JP2022092599A - 方法、コンピュータプログラムおよびコンピュータシステム（拡張現実で強化された状況認識） - Google Patents

Abstract

【課題】領域内の問題に対するユーザの状況認識を強化する方法。【解決手段】方法は、ユーザと関連付けられたデバイスから領域に対応する視覚情報を受信する、１または複数のコンピュータを含む。方法は更に、複数の物理的要素を含む領域内の１または複数のセンサのグループからデータを受信することを含む。方法は更に、センサのグループから受信したデータの解析に基づいて、第１の問題が領域内に存在することと、第１の問題に対応する領域内の第１の物理的要素とを判定することを含む。方法は更に、領域内に存在する第１の問題に関する拡張現実（ＡＲ）コンテンツを生成することを含む。方法は更に、ユーザと関連付けられたデバイスを介して、領域に対応する視覚情報内の問題に関する、生成されたＡＲコンテンツを表示することを含む。【選択図】図２

Description

本発明は、概して、拡張現実（ＡＲ）の分野に関し、より詳細には、モノインターネットセンサから取得された情報に基づいてＡＲコンテンツを生成することに関する。

モノインターネット（ＩｏＴ）は、様々な物理的デバイスおよび日常のオブジェクトを、インターネットを通して互いに接続することが可能であることと定義される。電子機器、インターネット接続、および他の形態のハードウェア（センサなど）が埋め込まれて、ＩｏＴデバイスは、インターネット、無線ネットワーク、および他のデバイス間通信方法を通じて、他のものと通信し対話することができ、それにより、ＩｏＴデバイスが情報を提供し、またそれをリモートで監視／制御することができる。ＩｏＴデバイスは、人・デバイス間通信を含むことができる。例えば、ユーザは、移動デバイスのアプリケーションを利用してＩｏＴデバイスに連絡して、サービスを識別するか、または建物もしくは場所内を進むか、あるいはその両方を行う。加えて、一部のＩｏＴデバイス（例えば、エッジデバイス）は、ある領域内で、センサからのデータを取得し、エッジコンピューティング解析を実行し、領域内の他のＩｏＴデバイスとインタフェース接続することができる。

拡張現実（ＡＲ）は、グラフィカル情報、力覚イベント、聴覚効果、もしくは他の感覚効果、またはそれらの組み合わせなど、コンピュータ生成の感覚入力によって拡張（オーバーレイ）された要素を含む、物理的な実世界環境の表示である。概して、拡張は、ほぼリアルタイムで、また様々な環境的要素を用いて意味的なコンテキストで行われる。ＡＲオーバーレイは、物理的世界の中の特徴と関連付けられた画像もしくはビデオストリーム内の、及び／またはそれらに関連付けられた、仮想情報（例えば、形状、色、テキスト、情報へのリンク、コンピュータ生成のグラフィックスなど）を統合することができる。例えば、スマートフォン、スマートグラス、ヘッドアップディスプレイ、タブレットコンピュータなど、様々な電子（例えば、コンピューティング）デバイスは、ＡＲ能力を含むか、もしくはＡＲコンテンツ情報を受信するか、またはその両方を行うことができる。

本発明の一態様によれば、領域内の問題に対するユーザの状況認識を強化する、方法、コンピュータプログラム製品、もしくはシステム、またはそれらの組み合わせが存在する。

方法は、ユーザと関連付けられたデバイスから領域に対応する視覚情報を受信する、少なくとも１つのコンピュータプロセッサを含む。方法は更に、複数の物理的要素を含む領域内の１または複数のセンサのグループからデータを受信する、少なくとも１つのコンピュータプロセッサを含む。方法は更に、複数の物理的要素を更に含む領域内の１または複数のセンサのグループからデータを受信する、少なくとも１つのコンピュータプロセッサを含む。方法は、少なくとも１つのコンピュータプロセッサが、センサのグループから受信したデータの解析に基づいて、第１の問題が領域内に存在することと、第１の問題に対応する領域内の第１の物理的要素とを判定することを含む。方法は、少なくとも１つのコンピュータプロセッサが、領域内に存在する第１の問題に関する拡張現実（ＡＲ）コンテンツを生成することを含む。方法は、少なくとも１つのコンピュータプロセッサが、ユーザのデバイスを介して、領域に対応する視覚情報内の問題に関する、生成されたＡＲコンテンツを表示することを含む。

本発明の一実施形態による、ネットワーク化されたサイト環境を示す図である。

本発明の一実施形態による、状況認識プログラムのステップを示すフローチャートである。

本発明の一実施形態による、時間可視化プログラムのステップを示すフローチャートである。

本発明の一実施形態による、コンピュータの構成要素を示すブロック図である。

本発明の実施形態は、領域内に存在する（即ち、発生している）様々な問題が軽微な課題として始まる可能性があり、個人が問題を無視するかまたはそれに取り組むのを遅らせる場合が多いことを認識する。本発明の実施形態は、無視されたまたは未解決の問題は徐々に悪化し、他のイベントもしくは危険またはその両方を生成することがあり、それが是正されなかった場合、最終的に壊滅的な状況またはイベントを作り出す可能性があることを認識する。同様に、本発明の実施形態は、ある個人が領域内の問題に対して一時的訂正のみを適用した場合、後の機会にその領域に入る異なる個人が、問題が完全に是正されていないことに気づかないで、問題と関連付けられた危険に知らずに自身を晒すか、または問題を悪化させる恐れがある動作を実行することがあることを認識する。

本発明の実施形態は、場合によっては、問題が１または複数の感覚的構成要素（例えば、視覚要素、振動要素、嗅覚要素、もしくは可聴要素、またはそれらの組み合わせ）を生じさせるので、領域内の問題が自明であることを認識する。他の場合は、問題が、オブジェクト、エンクロージャ、または機器の部品内に隠されていることにより、様々な感覚的構成要素を介して問題を検出することができないので、領域に入る個人は問題に気づかない。本発明の実施形態は、個人の観察スキルおよび能力を利用するよりも、取得したセンサデータを自動的に利用し、センサデータまたはセンサデータの解析を個人に提供して、問題を識別する方が簡単であることを認識する。

本発明の実施形態は、ユーザ（例えば、個人）が問題に気づき、当該問題と関連付けられた潜在的な危険を当該ユーザに通知し、当該問題がどのように是正されるかのログを取り、または当該問題がパッチもしくは無視されたことを判定する可能性を改善する。本発明の実施形態は、領域内の、及び／または領域内の様々な要素もしくは機器内に含まれる、センサから取得したデータを利用して、領域内の問題を自動的に検出し識別する。本発明の実施形態は、問題が存在するか否かについて、領域の要素内の、及び／または領域と関連付けられた、様々なセンサもしくはＩｏＴ使用可能デバイスまたはその両方から取得した、解析およびコンテキスト情報を利用し、ならびに／あるいは、領域内の条件に起因して、将来のある時点で問題が起こり得ることを予測する。条件は、摩耗、腐食、応力機器、進行中の工事、輸送の増加（例えば、人間、車両、もしくは材料、またはそれらの組み合わせ）などを増加させる、環境的要因を含んでもよい。

本発明の一態様は、例えば、ＡＲヘッドセット、スマートグラス、携帯電話などの、ユーザのデバイスの拡張現実（ＡＲ）能力を利用して、ユーザ（即ち、個人）の注意または注目を、問題が存在する、危険が存在する、または問題が将来起こると予測される、領域内の特定の位置に引き付ける。本発明の実施形態は、問題のタイプを判定し、続いて、問題もしくは問題に関する危険またはその両方を表すイメージを判定する。本発明の実施形態は、ＡＲおよびコンピュータ生成のグラフィックスを利用して、問題と関連付けられたイメージを強化及び／または拡大し、強化されたイメージをユーザの視野内に埋め込む。問題と関連付けられたイメージは、ユーザ／デバイスが問題の位置に面するまで、ユーザのデバイスの視野内を移動する。本発明の一実施形態が、ユーザの注意が問題の位置に向けられていないことを検出した場合、本発明の実施形態は更に、問題および問題の位置をより明白にするようにＡＲコンテンツを修正し、ならびに／あるいはユーザのデバイスを介して他の動作を開始する。

本発明の別の態様は、解析プログラム一式によって利用される係数として、ユーザによって入力される時間情報、問題に関する情報、ならびに問題を軽減または一時的に是正するために実装するのにユーザが実行するかもしくは選ぶ動作を利用する。本発明の実施形態は、解析スイートの出力および予測を使用して、問題の将来の状態ならびに／あるいは問題が位置する領域を示す、投影されたイベントの予報及び／またはタイムラプスシーケンスに関する、画像、仮想現実（ＶＲ）レンダリング、もしくはアニメーションシーケンス、またはそれらの組み合わせを生成するように、自動化コンピュータグラフィックスプログラムに命令する。

本発明に関する様々なシナリオ、例、および実施例の記載を、例示の目的で提示してきたが、網羅的であるか、または開示する実施形態に限定しようとするものではない。

以下、本発明について、図を参照して詳細に記載する。図１は、本発明の実施形態による、環境１００を示す機能的ブロック図である。一実施形態では、環境１００は、ネットワーク１４０を通じて全て相互接続された、システム１１０と、センサ１２５と、ユーザデバイス１３０とを含む。一実施形態では、環境１００は、センサ１２５のそれぞれの例によって監視される領域１２０の１または複数の例を含む。

システム１１０およびユーザデバイス１３０は、ラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、デスクトップコンピュータ、または当技術分野で知られている任意のプログラマブルコンピュータシステムであってもよい。特定の実施形態では、システム１１０およびユーザデバイス１３０は、データセンタでは一般的であり、クラウドコンピューティングアプリケーションで良く見られるような、ネットワーク１４０を通してアクセスされるとシームレスリソースの単一のプールとして作用する、クラスタ化されたコンピュータおよび構成要素（例えば、データベースサーバコンピュータ、アプリケーションサーバコンピュータなど）を利用する、コンピュータシステムを表す。いくつかの実施形態では、ユーザデバイス１３０は、携帯情報端末（ＰＤＡ）、スマートフォン、ウェアラブルデバイス（例えば、スマートグラス、スマートウォッチ、ｅ－テキスタイル、ＡＲヘッドセットなど）であることができる。一般に、システム１１０およびユーザデバイス１３０は、機械可読プログラム命令を実行し、ネットワーク１４０を介してセンサ１２５と通信することができる、任意のプログラマブル電子デバイス、またはプログラマブル電子デバイスの組み合わせを表す。システム１１０およびユーザデバイス１３０は、本発明の実施形態による、図４に関して更に詳細に図示され記載されるような、構成要素を含んでもよい。

システム１１０は、履歴情報１１２と、解析スイート１１３と、問題解決情報１１４と、メディアコンテンツのコーパス１１５と、コンピュータグラフィックススイート１１６と、時間可視化プログラム３００と、複数の他のプログラムおよびデータ（図示なし）とを含む。システム１１０に含まれる他のプログラムおよびデータの例は、１または複数のデータベース、ウェブブラウザ、認知プログラム（例えば、自然言語処理（ＮＬＰ）プログラム、画像認識プログラム、セマンティッククエリプログラム、ビデオ解析プログラム、音声認識プログラムなど）、位置マッピング／ジオフェンシングプログラム、近接性閾値、力覚イベント生成プログラム、領域１２０の例のマップ、修復サプライおよびツールのリスト、領域１２０の例の中で実行される機能もしくは動作またはその両方などを含んでもよい。

履歴情報１１２は、例えば、領域１２０内の要素に関するセンサデータおよび解析のログ、領域１２０と関連付けられた問題のステータスログ（例えば、解決済み、未解決、遅延、パッチ済み、もしくは部分的に訂正済みなど）、過去の問題に関する重大度の説明もしくは格付けまたはその両方、問題と関連付けられた危険、警告メッセージなど、領域１２０の例とそれぞれ関連付けられた複数の情報を含む。一実施形態では、履歴情報１１２はまた、領域１２０の例とそれぞれ関連付けられた、機器および機器位置のリスト、設備の概要（例えば、電気、水道設備、換気など）、センサ位置などを含む。いくつかの実施形態では、履歴情報１１２はまた、様々な動作条件と関連付けられた、アンペア数、温度、およびノイズレベルなど、領域１２０の要素と関連付けられた動作値もしくは設定またはその両方を含む。他の実施形態では、履歴情報１１２はまた、企業の保守安全データベースまたは規制機関など、他のネットワークアクセス可能リソースから取得した、複数の他の問題、イベント、およびそれぞれの危険に関する参照情報を含むことができる。

解析スイート１１３は、センサ１２５からのデータ、履歴情報１１２、もしくは問題解決情報１１４、またはそれらの組み合わせを利用する、複数の解析プログラムを含む。いくつかのシナリオでは、解析スイート１１３は、１または複数の問題が領域１２０内に存在すること、および関連する危険が存在し得るか否かを判定する。他のシナリオでは、解析スイート１１３は、様々な要因に基づいて、領域１２０内の問題と関連付けられた将来の状態を判定する。例えば、問題と関連付けられた将来の状態は、問題によって生成または解放された１もしくは複数の危険、別の問題を発生させる始動、問題によって影響されることになる領域１２０の要素、問題または危険によって影響される領域１２０内の領域のサイズの変化、問題を是正するコスト、問題を是正するのに必要なスキルもしくは個人用防護具（ＰＰＥ）またはその両方、問題を補償するために指示される調節のスケジュールなどを含んでもよい。様々な要因は、時間フレーム、ユーザの１または複数の動作、ユーザによる動作がないこと、問題が領域１２０内に同時に存在するか否か、領域１２０と関連付けられた１つの問題が領域１２０内に存在する別の問題に影響（例えば、相互作用、悪化）するか否かを含んでもよい。

いくつかの実施形態では、解析スイート１１３はまた、現在の問題の重大度格付けを推定し、時間及び／またはユーザの１もしくは複数の動作に基づいて、問題の重大度格付けに対する変化を外挿することができる。加えて、解析スイート１１３は、時間及び／またはユーザの１もしくは複数の動作に基づいて、領域１２０内の問題と関連付けられた危険もしくは危険インタラクションまたはその両方に関する変化を判定することができる。様々な実施形態では、解析スイート１１３はまた、例えば、画像認識プログラム、音声解析プログラムなど、システム１１０もしくはユーザデバイス１３０またはその両方の中に含まれる他のプログラムから取得した情報を利用する。いくつかの実施形態では、解析スイート１１３は、履歴情報１１２内のデータ、およびセンサ１２５からのデータを利用して、領域１２０内で問題が将来発生する確率を予測することができる。

問題解決情報１１４は、領域１２０の例の中で識別された問題または潜在的な問題を是正することに関する情報を含む。問題解決情報１１４は、決定木、ソフトコピーマニュアル、履歴の問題と、過去の問題例を是正するのに利用される対応するスキル、動作、サプライ、ＰＰＥ、もしくは機器、またはそれらの組み合わせ、許容可能な問題解決の遅延値などを含んでもよい。様々な実施形態では、問題解決情報１１４は、根本原因情報、および問題の是正、解決、または修復に利用される、対応する補正動作を含む。いくつかの実施形態では、問題解決情報１１４はまた、例えば、健康および安全と関連付けられた、企業の健康安全データベース、仮想エンジニア、ソフトコピーマニュアルへのリンク、規制機関から利用可能な安全および危険情報など、ネットワーク１４０を介してアクセス可能な他のリソースから取得される、複数の問題に関するリソース、イベントおよびそれぞれの補正動作、危険インタラクション、もしくは結果、またはそれらの組み合わせを表すことができる。

メディアコンテンツのコーパス１１５は、例えば、グラフィカル表現、画像、ビデオ、アニメーション画像など、問題もしくは危険またはその両方に関する、ライブラリ、データベース、もしくはメディアファイルの集合体（例えば、コンテンツ）、またはそれらの組み合わせを表す。メディアコンテンツのコーパス１１５はまた、例えば、金属の削れ、火のパチパチ音、アーク放電、水の流れ、構造的な材料欠陥など、様々な問題または危険の音声ファイルを含むことができる。いくつかの実施形態では、メディアコンテンツのコーパス１１５はまた、一般利用向けに識別されるか、または本発明の態様によって使用を許可され、インターネットなどのネットワーク１４０を介してアクセス可能な他のソースから取得された、メディアファイルを表すことができる。他の実施形態では、メディアコンテンツのコーパス１１５は、生成されたアニメーションシーケンスまたは抽出されたコンテンツなど、コンピュータグラフィックススイート１１６によって生成されたコンテンツを含む。

コンピュータグラフィックススイート１１６は、メディアコンテンツのコーパス１１５内の要素もしくは他のネットワークアクセス可能なソースまたはその両方からの、視覚もしくは音声またはその両方を編集、抽出、及び／または生成して、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を生成及び／または修正する、自動化プログラム一式を表す。ＡＲコンテンツもしくはＶＲコンテンツまたはその両方は、将来使用するために、ＡＲコンテンツ１１７内に記憶することができる。一実施形態では、コンピュータグラフィックススイート１１６は、少なくとも状況認識プログラム２００から取得した情報に基づいて、ＡＲコンテンツを生成する。いくつかの実施形態では、コンピュータグラフィックススイート１１６は、状況認識プログラム２００からの命令に基づいて、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を修正する。

他の実施形態では、コンピュータグラフィックススイート１１６は、ユーザによって入力された時間情報、解析スイート１１３によって生成された情報、および時間可視化プログラム３００からの情報もしくは命令またはその両方を利用して、時間の関数としての問題の進行に関する、あるいは問題の潜在的な将来の状態を示す、時間ベースの画像、アニメーションシーケンス、もしくは音声イベント、またはそれらの組み合わせを作成する。

一実施形態では、ＡＲコンテンツ１１７は、領域１２０内の１または複数の問題と関連付けられた、メディアコンテンツのコーパス１１５および状況認識プログラム２００から取得される、メディアファイルのライブラリである。別の実施形態では、ＡＲコンテンツ１１７はまた、領域１２０内の１または複数の問題と関連付けられた、時間可視化プログラム３００によってメディアコンテンツのコーパス１１５から取得される、メディアファイルを含む。更なる実施形態では、ＡＲコンテンツ１１７は更に、時間可視化プログラム３００からの命令に応答して、コンピュータグラフィックススイート１１６によって修正及び／または生成された、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を含む。

時間可視化プログラム３００は、問題に関する情報、問題を是正するユーザによる動作もしくは動作がないことと関連付けられた情報、およびユーザによって入力される１もしくは複数の時間的指示に基づいて、問題もしくは領域１２０またはその両方の１もしくは複数の将来の状態に関する、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方（例えば、メディアファイル）を生成するプログラムである。一例では、時間可視化プログラム３００は、将来の固定点における問題の状態の、または冷蔵ユニットの故障に応答して食物が悪くなるなど、時間の関数として問題の変化する状態（例えば、早送り、時間的漸増など）を見る、視覚的予報（即ち、予測）をユーザが取得できるようにする。別の例では、ユーザが、例えば、部分的または一時的修復、パラメータもしくは設定またはその両方の修正など、不完全な訂正を実行することを選んだ場合、時間可視化プログラム３００は、コンピュータグラフィックススイート１１６とインタフェース接続して、識別された問題に関する、問題の将来の状態と関連付けられたＡＲコンテンツもしくはＶＲコンテンツまたはその両方を生成することができる。

様々な実施形態では、時間可視化プログラム３００は、解析スイート１１３から取得した情報およびユーザからの入力を利用して、時間的に操作されたＡＲコンテンツもしくはＶＲコンテンツまたはその両方を生成してユーザに対して表示するように、コンピュータグラフィックススイート１１６に命令する。更なる実施形態では、時間可視化プログラム３００は、領域１２０内に２以上の問題が同時に（例えば、同じ時間間隔の間に）存在することの識別に応答して、相互作用を判定し、ＡＲ／ＶＲコンテンツを生成することができる。例えば、１つの問題が少なくとも部分的に訂正されない場合、時間可視化プログラム３００は、貯留水が近くに存在するときに流れる電気の問題を修復するよう試みるなど、問題間の相互作用から生じる追加の問題もしくは危険またはその両方を判定し、それにより、感電の危険のリスクもしくは重大度またはその両方が増加する（例えば、悪化する）。

領域１２０は、部屋などの物理的に結合された領域、場所の部屋もしくは倉庫の島などの、より大きい領域内のジオフェンスで囲まれた領域、及び／またはユーザデバイス１３０の位置に関してユーザに近接した（例えば、その周りの）動的に定義された領域を表してもよい。領域１２０は、例えば、機器、プロセスツール、コンピュータ、公共事業インフラストラクチャ（暖房、冷房、および換気システム、水道設備システム、配電システム、ならびに通信ネットワークなど）、１または複数のセーフティシステム、物理的インフラストラクチャ（廃液受けおよび汚水槽、輸送メカニズム）など、複数の要素（例えば、物理的特徴）（図示なし）を含むことができる。領域１２０のいくつかの要素は、ＩｏＴ使用可能デバイス（図示なし）を含む。いくつかの実施形態では、領域１２０はまた、傷みやすい物品、または製造中のアイテムなど、輸送中の要素を含む。場合によっては、１または複数の問題（図示なし）は、ユーザが領域１２０内にいる間、領域１２０内に存在する。問題は、規格外条件で動作すること、また例えば、損傷、摩耗、構造疲労、腐食、脆化、構造の変形、生分解、漏れ、アーク放電など、領域１２０の１または複数の要素と関連付けられた、影響もしくは欠陥またはその両方を指してもよい。問題はまた、感電または滑りやすい表面など、危険を生成することがある。

センサ１２５は、領域１２０に関する、及び／または領域１２０と関連付けられた様々な要素（上記に説明）内に含まれる情報を判定する、複数のセンサ、もしくはモノインターネット（ＩｏＴ）使用可能デバイスに動作可能に連結されたセンサ、またはその両方を表す。センサ１２５は、熱センサ、ノイズセンサ、化学センサ、人工鼻、様々な電気センサ（例えば、電圧センサ、電流センサ、サーミスタ、高調波ひずみセンサなど）、湿度センサ、環境センサ（例えば、温度、湿度、空気流など）などを含んでもよい。いくつかの実施形態では、センサ１２５の１または複数のセンサはまた、例えば、動作パラメータ、ビーコン信号、識別情報、機器ＩＤまたはサブアセンブリＩＤなどの、センサを含む領域１２０の要素と関連付けられたコンテキスト情報など、センサ測定値とは異なる情報を送信することができる。様々な実施形態では、センサ１２５の１または複数のセンサは、本発明の実施形態による、図４に関して更に詳細に図示され記載されるような、構成要素を含んでもよい。

一実施形態では、領域１２０と関連付けられたセンサ１２５のうちいくつかのセンサは、ネットワーク１４０を利用して、システム１１０およびユーザデバイス１３０と通信する。他の実施形態では、センサ１２５の１または複数のセンサは、異常または規格外条件の判定に基づいて、データを解析し選択的に送信することができる。別の実施形態では、領域１２０と関連付けられ、ＩｏＴ使用可能デバイス（図示なし）内に含まれる、センサ１２５のうち１または複数の他のセンサは、ネットワーク１４０を利用することなく、ユーザデバイス１３０と無線で通信することができる。いくつかのシナリオでは、ユーザデバイス１３０は、生のデータもしくは解析されたデータまたはその両方を、ネットワーク１４０を介して、センサ１２５の１または複数のセンサからシステム１１０に通信することができる。

加えて、領域１２０の例を制御及び／またはそれに関与するユーザ（例えば、所有者、管理者など）は、オプトインしており、例の領域１２０と関連付けられたセンサ１２５が領域１２０の例と関連付けられたデータを収集できることを認証する。更に、領域１２０の例を制御及び／またはそれに関与するユーザ（例えば、所有者、管理者など）は、本発明の様々な実施形態によれば、状況認識プログラム２００もしくは時間可視化プログラム３００またはその両方にオプトインしていて、センサ１２５から受信したデータを処理し、受信データを履歴データ１１２内もしくは他の位置またはその両方に記憶する。

一実施形態では、ユーザデバイス１３０は、ユーザインタフェース（ＵＩ）１３２と、出力デバイス１３４と、拡張現実（ＡＲ）プログラム１３５と、状況認識プログラム２００と、複数のプログラムおよびデータ（図示なし）とを含む。他のプログラムおよびデータの例は、全地球測位システム（ＧＰＳ）ソフトウェア、ウェブブラウザ、カメラ／ビデオアプリケーション、音声解析プログラム、画像認識ソフトウェア、認知アプリ、領域１２０の１または複数の例のマップ、履歴情報１１２の少なくとも一部分のローカルコピー、センサ１２５から取得したデータなどを含んでもよい。更なる実施形態では、ユーザデバイス１３０は、領域１２０内に含まれるリモートモニタリングシステム、またはユーザに影響し得る危険の検出に応答してなど、領域１２０の例に入るユーザとは対照的に領域１２０を横断することができる、ロボットモニタリングシステムを表す。

様々な実施形態では、ユーザデバイス１３０はまた、１もしくは複数のカメラなど、ＡＲプログラム１３５及び／または状況認識プログラム２００と関連付けられて利用される、複数の他のハードウェア機構（図示なし）、スピーカー、ヘッドフォン、力覚アクチュエータ、例えばＬＴＥ－Ｍ、狭帯域ＩｏＴ（ＮＢ－ＩｏＴ）、近距離無線通信（ＮＦＣ）など、センサ１２５の１もしくは複数のセンサとインタフェース接続する無線通信技術およびプロトコル、ユーザの位置、向き、及び／または１もしくは複数の物理的動作を感知する、コンパス及び／または慣性モニタリングシステム、ならびに／あるいはＡＲヘッドセット、一対のスマートグラス、ヘッドアップディスプレイなど、出力デバイス１３４の異なる例を含み、ならびに／あるいはそれらに動作可能に連結される。

本発明の様々な実施形態は、ユーザと関連付けられた記憶デバイスおよびコンテンツを含んでもよい、履歴データ１１２、問題解決情報１１４など、様々なアクセス可能データソースを利用することができる。例示の実施形態では、状況認識プログラム２００もしくは時間可視化プログラム３００またはその両方の例は、ユーザが、情報のタイプおよびカテゴリを明らかにするオプトインまたはオプトアウトするのを可能にする。状況認識プログラム２００もしくは時間可視化プログラム３００またはその両方の例は、位置情報など、ユーザ情報の認証された安全な取扱いができるようにし、ならびに取得されていることがある情報のタイプおよびカテゴリが維持され、及び／またはアクセス可能であることができるようにする。別の例では、ユーザはオプトインして、状況認識プログラム２００が、決定またはステータス情報のログは取るが、決定のログを取るか、ステータスを更新するか、または１もしくは複数の動作を実行した、ユーザのＩＤは匿名化することを可能にする。ユーザに、情報のタイプおよびカテゴリの収集、ならびに収集プロセスのオプトインまたはオプトアウトの機会の通知を提供することができる。同意はいくつかの形態を取ることができる。オプトインの同意は、データが収集される前に積極的措置を取るようにユーザに課すことができる。あるいは、オプトアウトの同意は、データが収集される前のデータの収集を防ぐ積極的措置を取るようにユーザに課すことができる。

一実施形態では、ＵＩ １３２は、グラフィカルユーザインタフェース（ＧＵＩ）またはウェブユーザインタフェース（ＷＵＩ）であってもよい。ＵＩ １３２は、テキスト、ドキュメント、フォーム、ウェブブラウザウィンドウ、ユーザオプション、アプリケーションインタフェース、および動作の命令を表示し、プログラムをユーザに提示する、グラフィック、テキスト、および音声などの情報を含むことができる。様々な実施形態では、ＵＩ １３２は、ユーザデバイス１３０と関連付けられてユーザが実行することができるアプリケーションを表す、１または複数のアイコンを表示する。一例では、ＵＩ １３２は、状況認識プログラム２００もしくは時間可視化プログラム３００またはその両方のアプリケーションインタフェースを表す。加えて、ＵＩ １３２は、状況認識プログラム２００もしくは時間可視化プログラム３００またはその両方と関連付けられた、動作に応答及び／またはそれを確認するのにユーザが利用する、動作のシーケンスを制御することができる。

いくつかの実施形態では、ユーザデバイス１３０のユーザは、ＧＵＩ／ＷＵＩに対する入力、ならびに１もしくは複数の実行中ソフトウェアアプリケーションを示すアプリ及び／または画像と関連付けられた複数のアイコンを提示する出力デバイス（例えば、ディスプレイ）としての両方を実行する、タッチスクリーン（例えば、ディスプレイ）など、単一のデバイスを介してＵＩ １３２と対話することができる。様々な実施形態では、ＵＩ １３２は、キーボード、触覚センサインタフェース（例えば、タッチスクリーン、タッチパッド）、仮想インタフェースデバイス、もしくはニューラルユーザインタフェース（例えば、音声制御ユニット、モーションキャプチャデバイス、視線追跡、サイバーグローブ、ヘッドアップディスプレイなど）、またはそれらの組み合わせを含むがそれらに限定されない、複数の入出力（Ｉ／Ｏ）デバイス（図示なし）からの入力を受け入れる。音声および視覚による対話に加えて、ＵＩ １３２は、デバイス１３０が情報もしくはコマンドまたはその両方として識別する、書き言葉または話し言葉などの自然言語を利用するデバイス１３０のユーザに応答して、入力を受信してもよい。

一実施形態では、出力デバイス１３４は、ユーザデバイス１３０内に含まれ、ユーザデバイス１３０のカメラ（図示なし）から取得したＡＲ／ＶＲコンテンツおよび画像／ビデオを表示する。別の実施形態では、出力デバイス１３４は、例えばヘッドアップディスプレイ、スマートグラス、仮想網膜ディスプレイなど、ユーザデバイス１３０に連結されて動作可能な表示技術を表す。様々な実施形態では、出力デバイス１３４は、ディスプレイおよび入力デバイスの両方として動作することができる、タッチスクリーンデバイスである。いくつかの実施形態では、出力デバイス１３４はまた、ユーザデバイス１３０で実行する他のプログラムに関する、ＵＩ １３２およびＧＵＩ要素を表示する。様々な実施形態では、出力デバイス１３４の異なる例は、異なる情報もしくはグラフィカル要素またはその両方をユーザに提示する。更なる実施形態では、出力デバイス１３４は、領域１２０の外部であり、リモートまたはロボットモニタリングシステムと関連付けられた、１または複数のディスプレイを表す。

ＡＲプログラム１３５は、ＡＲ要素もしくはＡＲコンテンツオーバーレイまたはその両方を、ユーザデバイス１３０と関連付けられたカメラによって取得される、キャプチャされた画像（即ち、静止画像）またはビデオフィード内に埋め込む、拡張現実プログラムである。一実施形態では、ＡＲプログラム１３５は、ＡＲコンテンツもしくはＡＲコンテンツオーバーレイまたはその両方を、状況認識プログラム２００もしくは時間可視化プログラム３００またはその両方によって命令及び／または生成されたものとして、埋め込み及び／または移動させる。別の実施形態では、ＡＲプログラム１３５は、コンピュータグラフィックススイート１１６によって生成されたＶＲコンテンツを表示する。いくつかの実施形態では、ＡＲプログラム１３５は、例えば、ＡＲコンテンツ要素のサイズを増加させる、視覚効果を追加する、センサイベントの持続時間を長くするなど、状況認識プログラム２００からの命令に基づいて、システム１１０から受信したＡＲコンテンツもしくはＶＲコンテンツまたはその両方を、追加及び／または修正することができる。他の実施形態では、ＡＲプログラム１３５は視野の複数の例を表示する。

状況認識プログラム２００は、領域１２０と関連付けられたセンサ１２５の中からのデータを利用して、問題もしくは危険またはその両方が存在するか否か、あるいは領域１２０内で発生する可能性を有するかを判定するプログラムである。一実施形態では、問題及び／または１もしくは複数の危険が存在する、あるいは領域１２０内で発生する可能性があり得るという判定に応答して、状況認識プログラム２００は、ＡＲプログラム１３５を利用して、問題、状況、もしくは危険、またはそれらの組み合わせに関するＡＲコンテンツを、領域１２０の一部分に対応する画像またはビデオフィード内に埋め込む。様々な実施形態では、状況認識プログラム２００は、ネットワーク１４０を利用して、システム１１０の複数のリソース、ファイル、およびプログラムにアクセスする。

いくつかの実施形態では、発生している問題と関連付けられる識別された位置にユーザの注意が引き付けられていないと、状況認識プログラム２００が判定した場合、状況認識プログラム２００は更に、ユーザの注意を引き付けるように、ＡＲコンテンツ及び／またはＡＲコンテンツの提示を修正（例えば、拡張、増幅など）する。様々な実施形態では、状況認識プログラム２００は、２以上の問題が領域１２０内に存在するという判定に応答し、ユーザ入力に基づいて異なるＡＲ／ＶＲコンテンツを生成することができる。更なる実施形態では、状況認識プログラム２００は、時間可視化プログラム３００とやり取りし、部分的もしくは一時的修復などの不完全な訂正に関する様々なユーザ入力、動作設定の修正／調節など、ならびに／あるいはユーザによって入力される時間情報に基づいた領域１２０内の問題の将来の状態の判定に基づいて、発生している問題に関する他のＡＲコンテンツもしくはＶＲコンテンツまたはその両方を取得する。

ネットワーク１４０は、例えば、ローカルエリアネットワーク（ＬＡＮ）、電気通信ネットワーク（例えば、セルラーネットワークの一部分）、イントラネットなどの無線ローカルエリアネットワーク（ＷＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、または上記の任意の組み合わせであることができ、有線、無線、または光ファイバー接続を含むことができる。一般に、ネットワーク１４０は、本発明の実施形態による、システム１１０、センサ１２５、ユーザデバイス１３０、もしくはインターネット、またはそれらの組み合わせの間の通信をサポートする、接続およびプロトコルの任意の組み合わせであることができる。様々な実施形態では、ネットワーク１４０は、有線、無線、または光接続を介してローカルで動作し、接続およびプロトコルの任意の組み合わせ（例えば、パーソナルエリアネットワーク（ＰＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）、レーザー、赤外線、超音波など）であることができる。

図２は、本発明の実施形態による、領域と関連付けられた１または複数のセンサから受信した情報を解析して、問題を識別し、続いて、問題に関するＡＲコンテンツを修正して、識別された問題にユーザの注意または注目を引き付けるプログラムである、状況認識プログラム２００に関する動作ステップを示すフローチャートである。様々な実施形態では、状況認識プログラム２００は、時間可視化プログラム３００とインタフェース接続して、問題に応答してユーザの１または複数の選択に基づいて、ＡＲ／ＶＲコンテンツを生成し、ならびに／あるいは１または複数の時間的指示の関数として、問題に対する潜在的な変化を示すようにＡＲ／ＶＲコンテンツを修正する。一実施形態では、ユーザは、状況認識プログラム２００がＡＲ／ＶＲコンテンツをユーザに提示している間、時間可視化プログラム３００によって、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方の生成を動的に修正することができる。

ステップ２０１で、状況認識プログラム２００はユーザの位置を判定する。状況認識プログラム２００は、ユーザデバイス１３０を利用して、領域１２０内のユーザの位置および移動を継続的に監視することができる。状況認識プログラム２００は、ユーザデバイス１３０を利用して、ユーザが領域１２０に近付いていると判定し、領域１２０内のユーザの位置を、またはユーザが領域１２０を出ることを判定する。いくつかの実施形態では、状況認識プログラム２００はまた、ユーザの向きを判定するのに、ユーザデバイス１３０を利用する。様々な実施形態では、状況認識プログラム２００は、例えば、ユーザのＩＤ、ユーザデバイス１３０と関連付けられたＩＤ、追跡データなど、１または複数のタイプのデータにユーザがオプトインすることを指示する。例えば、ユーザは、状況認識プログラム２００にオプトインして、ユーザデバイス１３０を追跡するが、ユーザデバイス１３０またはユーザデバイス１３０と関連付けられたユーザの識別からはオプトアウトしてもよい。

ステップ２０２で、状況認識プログラム２００は履歴問題情報を検索する。一実施形態では、ユーザが領域１２０に入るかまたは領域１２０の近接性閾値内に近付いているとの判定に応答して、状況認識プログラム２００は、履歴情報１１２から情報を検索して、知られている問題がアクティブ（例えば、進行中）であるか、または不完全に全体が是正されているか否かを判定する。状況認識プログラム２００はまた、領域１２０と関連付けられる是正された問題の以前の例に関する、履歴情報１１２からの情報を検索してもよい。様々な実施形態では、状況認識プログラム２００は、領域１２０の例と関連付けられた更なる情報を、例えば、動作と関連付けられた機器およびそれぞれの値のリスト、ユーティリティ図、レイアウト、センサ位置など、様々なソースから検索する。

ステップ２０４で、状況認識プログラム２００は、センサのグループからデータを取得する。状況認識プログラム２００は、ネットワーク１４０を介してセンサ１２５のセンサの中から、及び／または無線通信技術を介してユーザデバイス１３０に直接、データを受信してもよい。いくつかのシナリオでは、状況認識プログラム２００は、センサ１２５をポーリングして、領域１２０の要素に関するデータを取得する。他のシナリオでは、状況認識プログラム２００は、領域１２０に入る際など、ユーザデバイス１３０の位置に基づいて、センサ１２５のセンサの中からデータを自動的に取得し受信する。

別の実施形態では、状況認識プログラム２００は、履歴情報１１２から、以前に識別された問題と関連付けられた、領域１２０内におけるセンサ１２５のセンサのグループに関するデータを取得する。更なる実施形態では、状況認識プログラム２００は、ユーザデバイス１３０の１もしくは複数の特徴もしくはプログラムまたはその両方に基づいて、領域１２０と関連付けられた他のデータを判定する。

ステップ２０６で、状況認識プログラム２００はセンサデータを解析する。状況認識プログラム２００は、センサデータを解析して、１もしくは複数の問題が領域１２０内に存在するか否か、または領域１２０内で将来発生し得るかを判定する。問題が領域１２０内に存在しないと解析が示した場合、状況認識プログラム２００は終了する。一実施形態では、状況認識プログラム２００は、センサ１２５から取得したデータと、履歴情報１１２内に含まれるセンサデータもしくは機器動作規格またはその両方と比較して、その比較が領域１２０内に問題が存在することを示すか否かを判定する。状況認識プログラム２００はまた、様々な解析の中でユーザデバイス１３０の１または複数の特徴から取得したデータを含んでもよい。加えて、状況認識プログラム２００は、問題と関連付けられた領域１２０内の１または複数の要素を識別することができる。

別の実施形態では、状況認識プログラム２００は、問題が領域１２０内に存在するか否かを示す結果を、センサを含む１または複数のＩｏＴ使用可能デバイス（図示なし）から受信し、インシチュー解析を実行することができる。いくつかの実施形態では、状況認識プログラム２００は、解析スイート１１３もしくは認知プログラムまたはその両方を利用して、例えば、問題に関する重大度格付けの判定、問題が生成し得る将来のインパクトまたはイベントの判定など、より複雑な解析を実行する。

ステップ２０８で、状況認識プログラム２００は、問題と関連付けられたコンテキスト情報を判定する。状況認識プログラム２００は、領域１２０の一部分内で実行された動作などの、システム１１０内に記憶された履歴情報１１２もしくは他の情報など、１または複数のリソース内に含まれる情報に基づいて、コンテキスト情報を判定する。問題と関連付けられたコンテキスト情報は、煙、火花、水などの、問題が解放または生成する１もしくは複数の危険、問題が発生している領域１２０内の位置、「配電パネル内」もしくは「機器ＩＤ Ｘ２Ｂのサブアセンブリ３２５内に埋め込み」などの、問題の説明などを含んでもよい。更なる実施形態では、状況認識プログラム２００はまた、音声の識別および音声の方向の判定など、ユーザデバイス１３０の特徴もしくはプログラムまたはその両方に基づいて、領域１２０と関連付けられたコンテキスト情報を判定する。

いくつかの実施形態では、問題が危険を解放または生成しているという判定に応答して、状況認識プログラム２００は、ネットワーク１４０を利用して他のリソース（図示なし）にアクセスして、危険がユーザもしくは領域１２０の他の要素またはその両方にとって脅威であるか否かを判定する。別の実施形態では、状況認識プログラム２００はまた、問題解決情報１１４にアクセスして、問題を是正または一時的に訂正する１もしくは複数の動作を識別する。

ステップ２１０で、状況認識プログラム２００はＡＲコンテンツを生成する。一実施形態では、状況認識プログラム２００は、問題もしくは問題に関する危険またはその両方と関連付けられた情報を利用して、メディアコンテンツのコーパス１１５またはＡＲコンテンツ１１７の中から、問題もしくは問題に関する危険またはその両方を表す、少なくとも１つのメディアファイルを選択する。一例では、低速の漏れに関するＡＲコンテンツは、短い線を有するパイプおよび２つの液滴によって表すことができ、一方でより重大な漏れは、大きい亀裂を有するパイプおよび液体の流れによって表すことができる。別の例では、電気的問題に関するＡＲコンテンツは、一対の稲妻によって示されてもよい。アーク放電も存在する場合、状況認識プログラム２００は、音声コンテンツをメディアコンテンツのコーパス１１５からダウンロードするか、またはコンピュータグラフィックススイート１１６を利用して、メディアファイル内の稲妻にストロボ効果を適用してもよい。

様々な実施形態では、状況認識プログラム２００は、問題に関する情報に基づいてＡＲコンテンツを修正するように、ＡＲプログラム１３５に命令する。一例では、状況認識プログラム２００は、問題が明らかにされるか封じられるかに基づいて、ＡＲコンテンツの周りに異なる視覚効果を適用し、問題が領域１２０の表示部分の別の要素の後方にある場合は、別の視覚効果を適用し、問題の位置が出力デバイス１３４内に表示される領域１２０の部分の外部にある場合は、矢印などの方向指示を追加するように、ＡＲプログラム１３５に命令する。別の例では、状況認識プログラム２００は、問題の重大度格付けに基づいて、ＡＲコンテンツの明るさを変化させるか、またはＡＲコンテンツの周りの色などの視覚効果を修正するように、ＡＲプログラム１３５に命令する。更なる実施形態では、状況認識プログラム２００が、メディアコンテンツのコーパス１１５または他のネットワークアクセス可能リソース内の問題に適用可能なＡＲコンテンツを識別できない場合、状況認識プログラム２００は、認知プログラムおよびコンピュータグラフィックススイート１１６を利用して、問題の１または複数の態様に関するイメージから、ＡＲコンテンツを抽出し生成する。

引き続きステップ２１０を参照すると、いくつかの実施形態では、状況認識プログラム２００はまた、問題、問題に関連する危険、もしくは他の関連情報、またはそれらの組み合わせと関連付けられたコンテキスト情報を含む、ＡＲコンテンツオーバーレイを生成する。例えば、状況認識プログラム２００は、機器ＩＤ、問題の重大度格付け、警告メッセージ、ステータス情報などを含むホバーオーバー要素である、ＡＲコンテンツオーバーレイを生成する。更なる実施形態では、状況認識プログラム２００が問題または関連する危険の表現を識別できない場合、状況認識プログラム２００は、コンピュータグラフィックススイート１１６とインタフェース接続して、メディアコンテンツのコーパス１１５または他のネットワークアクセス可能メディアファイル内の他の記憶されたメディアファイルを利用して、問題もしくは関連する危険またはその両方をそれぞれ表す、１または複数のメディアファイル（例えば、ＡＲコンテンツ）を作成する。

決定ステップ２１１で、状況認識プログラム２００は、複数の問題が識別されたか否かを判定する。一実施形態では、状況認識プログラム２００は、ステップ２０６で実行された解析に基づいて、複数の問題が識別されたことを判定する。別の実施形態では、状況認識プログラム２００は、ステップ２０６で実行された解析、および履歴情報１１２内の問題のステータスログに基づいて、複数の問題が識別されたことを判定する。

複数の問題が識別されたという判定に応答して（「はい」の分岐、決定ステップ２１１）、状況認識プログラム２００は、複数の問題と関連付けられた影響を判定する（ステップ２１２）。

ステップ２１２で、状況認識プログラム２００は、複数の問題と関連付けられた影響を判定する。状況認識プログラム２００は、１または複数の認知プログラム（図示なし）を利用して、様々な情報ソース内に含まれる情報を探索し解析して、問題とそれぞれ関連付けられた影響もしくは危険またはその両方を判定してもよい。一実施形態では、状況認識プログラム２００は、履歴情報１１２内に含まれる情報、センサデータの解析、問題解決情報１１４、もしくは他の内部情報ソース、またはそれらの組み合わせに基づいて、複数の問題と関連付けられた影響（例えば、インパクト）もしくは危険またはその両方を判定する。例えば、領域１２０の一部分内のスタック値の識別は、領域１２０の異なる部分における機器内の過熱の問題を引き起こす。

別の実施形態では、状況認識プログラム２００はまた、解析スイート１１３を利用して、領域１２０内の複数の問題に取り組む（例えば、訂正する）優先順位を判定する。いくつかの実施形態では、状況認識プログラム２００は、１または複数の規制機関から利用可能な安全および危険情報など、ネットワークアクセス可能リソースを探索して、２以上の問題の影響もしくは危険またはその両方が相互作用し、問題の重大度を増加させ、及び／または領域１２０内のユーザに対するリスクを増加させるか否かを判定する。例えば、煙の危険を生成する問題と同時の換気減少の問題は、領域１２０を汚染するか、または安全でないレベルの煙をユーザが吸い込むリスクに晒すことがある。続いて、状況認識プログラム２００は、ステップ２１４で、問題に関するＡＲコンテンツをユーザに提示する。

決定ステップ２１１を参照すると、複数の問題が識別されていないとの判定に応答して（「いいえ」の分岐、決定ステップ２１１）、状況認識プログラム２００は、問題に関するＡＲコンテンツをユーザに提示する（ステップ２１４）。

ステップ２１４で、状況認識プログラム２００は、問題に関するＡＲコンテンツをユーザに提示する。状況認識プログラム２００は、ＡＲプログラム１３５を利用して、出力デバイス１３４を介して、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を表示する。一実施形態では、状況認識プログラム２００は、領域１２０内における問題の位置の判定もしくは他の要因またはその両方に基づいて、ＡＲコンテンツを選択して提示する（ステップ２１０に関して上記に説明）。いくつかの実施形態では、複数の問題が領域１２０内に存在するという判定に応答して、状況認識プログラム２００は、各問題に関するＡＲコンテンツを提示する。加えて、状況認識プログラム２００はまた、例えば、フェースマスクのアイコン、電気絶縁性のブーツおよびグローブなど、複数の問題の間での相互作用、もしくは複数の問題の間での相互作用に関する危険、またはその両方と関連付けられた、追加のＡＲコンテンツを提示してもよい。追加のＡＲコンテンツはまた、複数の問題の中での相互作用と関連付けられた、コンテキスト情報もしくは記述的情報またはその両方を含む、コンテンツオーバーレイを含んでもよい。更に、状況認識プログラム２００は、問題とそれぞれ関連付けられた重大度格付けに基づいて、それぞれのＡＲコンテンツの提示を調節するように、ＡＲプログラム１３５に命令することができる。

１つのシナリオでは、状況認識プログラム２００が、出力デバイス１３４内に表示される領域１２０の部分内に問題が位置すると判定した場合、状況認識プログラム２００は、出力デバイス１３４内に表示される問題の視覚的位置に近接した問題に関するＡＲコンテンツを適用する。別のシナリオでは、状況認識プログラム２００が、問題が見えない（例えば、隠れている、領域１２０の他の要素の後方にあるなど）と判定した場合、状況認識プログラム２００は、出力デバイス１３４内に表示される問題のおおよその視覚的位置で、問題に関する修正されたＡＲコンテンツを提示する。他のシナリオでは、状況認識プログラム２００が、問題の位置が領域１２０の表示部分内にないと判定した場合、状況認識プログラム２００は、問題の位置に関し、問題に関するＡＲコンテンツとそれぞれ関連付けられた、方向指示を更に含むように、ＡＲプログラム１３５に命令する。

ステップ２１６で、状況認識プログラム２００は、ＡＲコンテンツの提示に関するユーザ応答を判定する。一実施形態では、状況認識プログラム２００は、ユーザデバイスが問題の位置に向かって移動することに基づいて、ユーザがＡＲコンテンツの提示に応答すると判定する。様々な実施形態では、状況認識プログラム２００は、ユーザがＵＩ １３２を活性化させて動作に関する情報を調査して、問題の是正を実行するか、またはステップ２０８で判定された問題に対する一時的訂正を識別することに基づいて、ユーザ応答を判定する。

別の実施形態では、状況認識プログラム２００は、ユーザデバイス１３０が問題の位置から離れる方向に移動する、及び／または向いているという判定に基づいて、ユーザがＡＲコンテンツの提示に応答しないと判定する。いくつかの実施形態では、状況認識プログラム２００は、ユーザが、ＵＩ １３２に入力された情報に基づいて、提示されるＡＲと関連付けられた問題を承認するのみであると判定する。他の実施形態では、状況認識プログラム２００は、ユーザが時間可視化プログラム３００を実行して、問題の１または複数の将来の状態を判定するのに基づいて、ユーザが提示されるＡＲコンテンツと関連付けられた問題を承認すると判定する。

決定ステップ２１７で、状況認識プログラム２００は、ユーザが問題に応答するか否かを判定する。一実施形態では、状況認識プログラム２００は、ユーザが少なくとも問題解決情報１１４にアクセスすること、ならびに後に続くセンサから受信したデータの解析が、問題がない（例えば、問題が是正もしくは一時的に訂正されている）ことを示すと判定することによって、ユーザが問題に応答すると判定する。いくつかの実施形態では、状況認識プログラム２００は、ＵＩ １３２を介して問題の存在を承認することによって、ユーザが応答すると判定するが、問題を是正しないことを選ぶ。別の実施形態では、状況認識プログラム２００は、問題の位置とは異なる方向における、ユーザデバイス１３０の移動もしくは向きまたはその両方に基づいて、ユーザが問題に応答しないと判定する。他の実施形態では、状況認識プログラム２００は、ユーザが時間可視化プログラム３００を実行することに基づいて、ユーザが問題に応答しないと判定して、様々な入力もしくは選択またはその両方に基づいて、問題の１または複数の将来の状態を判定する。

ユーザが問題に応答しないという判定に応答して（「いいえ」の分岐、決定ステップ２１７）、状況認識プログラム２００は、ユーザに提示されるＡＲコンテンツを更新する（ステップ２１８）。

ステップ２１８で、状況認識プログラム２００は、ユーザに提示されるＡＲコンテンツを更新する。一実施形態では、問題の位置から離れるように移動していることに基づいて、ユーザが問題に応答しないという判定に応答して、状況認識プログラム２００は、ユーザの注意を引き付けるか、もしくは問題に対するユーザ応答を促すか、またはその両方のため、ＡＲコンテンツを更新及び／または追加する。一例では、状況認識プログラム２００は、ＡＲコンテンツのサイズを増加させる、またはＡＲコンテンツと関連付けられた方向指示を修正するなど、問題に関するＡＲコンテンツの１または複数の態様を修正するように、ＡＲプログラム１３５に命令してもよい。状況認識プログラム２００は、問題に対するユーザの後に続く応答または応答がないことに基づいて、ＡＲコンテンツを修正するように、ＡＲプログラム１３５に命令し続けてもよい。別の例では、状況認識プログラム２００はまた、ユーザが移動するにしたがって、出力デバイス１３４の視野内に留まるように、修正されたＡＲコンテンツを移動させるように、ＡＲプログラム１３５に命令する。更新されたＡＲコンテンツもしくはＶＲコンテンツまたはその両方をユーザに提示することに応答して、状況認識プログラム２００は、ステップ２１６にループして、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方の別の提示に関するユーザ応答を判定する。

他の実施形態では、状況認識プログラム２００は、問題の１または複数の将来の状態が、問題に関連するＡＲコンテンツとは対照的に、問題に応答して問題の１または複数の将来の状態を判定するユーザ遅延の判定、及び／または是正されていない問題と関連付けられたコンテンツと関連付けられることを示す、時間可視化プログラム３００から受信される、更新されたＡＲコンテンツもしくはＶＲコンテンツまたはその両方を提示する。いくつかの実施形態では、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方の複数のアイテムを、時間可視化プログラム３００から受信することに応答して、状況認識プログラム２００は、ＵＩ １３２を利用して、利用可能なコンテンツに関してユーザに通知し、ユーザが提示されるコンテンツを選択することを可能にする。

引き続きステップ２１８を参照すると、更なる実施形態では、状況認識プログラム２００は、１つの問題の異なる時間的スナップショット、または異なる問題の予報を見るなど、ユーザの指示に基づいて、異なるＡＲ／ＶＲコンテンツを含む領域１２０の同じ部分の複数の例を提示するように、ＡＲプログラム１３５に命令する。

決定ステップ２１７を参照すると、ユーザが問題に応答するという判定に応答して（「はい」の分岐、決定ステップ２１７）、状況認識プログラム２００は、問題と関連付けられた情報を更新する（ステップ２２０）。

ステップ２２０で、状況認識プログラム２００は、問題と関連付けられた情報を更新する。状況認識プログラム２００は、ユーザによって入力される情報、及び／または後に続くセンサ１２５の中からのデータに基づいて、履歴情報１１２もしくは問題解決情報１１４またはその両方を更新する。ユーザによって入力される情報は、動作、ツール、もしくはサプライ、またはそれらの組み合わせが、問題を是正するのに利用することを示す情報を含んでもよく、問題、問題に近接して見出される危険、及び／または領域１２０の１もしくは複数の要素に影響する問題のインパクトを文書化する（例えば、ノートを書く、写真を撮る、ステータス情報を更新するなど）。一実施形態では、状況認識プログラム２００が、ユーザが問題を承認するが、問題を是正しないと判定した場合、状況認識プログラム２００は、ＵＩ １３２を介して、問題に取り組むこと（例えば、訂正）をしなかった理由を文書化するようにユーザに促し、履歴情報１１２内に問題もしくは危険またはその両方のログを取る。

一実施形態では、状況認識プログラム２００は、ＵＩ １３２の別の態様を活性化して、ユーザが領域１２０内の問題を是正することと関連付けられたユーザ入力を受信する。別の実施形態では、状況認識プログラム２００は、ＵＩ １３２の別の態様を活性化して、例えば、一時的修復を適用する、パラメータ／設定を修正する、「ワークアラウンド」を実装するなど、ユーザが問題の不完全な訂正を実行することと関連付けられたユーザ入力を受信する。いくつかの実施形態では、状況認識プログラム２００はまた、例えば、ＶＲメディアファイル、問題の進行の説明、指示された時点における問題の将来の状態に関する変化など、ユーザ情報を、時間可視化プログラム３００への入力、時間可視化プログラム３００によって生成される出力、及び／または解析スイート１１３内に記憶する。

図３は、本発明の実施形態による、時間の関数として領域内に存在する問題を判定することに応答して、ユーザの１または複数の選択に基づいて、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を生成及び／または修正するプログラムである、時間可視化プログラム３００の動作ステップを示すフローチャートである。様々な実施形態では、時間可視化プログラム３００は、状況認識プログラム２００の実行中に開始される１または複数のユーザ動作に応答して実行する。

ステップ３０２で、時間可視化プログラム３００は、問題に関する情報を受信する。様々な実施形態では、時間可視化プログラム３００は、例えば、センサデータ、１もしくは複数の解析の結果、問題と関連付けられたコンテキスト情報、及び／または１もしくは複数の関連する危険、２以上の問題の中での相互作用など、状況認識プログラム２００によって判定される、領域１２０内の問題に関する情報を受信する。いくつかの実施形態では、時間可視化プログラム３００は、問題に関する追加の情報を、履歴問題情報１１２から取得する。一実施形態では、時間可視化プログラム３００は、ネットワークアクセス可能リソースにアクセスして、監視ビデオ、または制御された条件下で問題の進行を記録する安全ラボなど、領域１２０とは異なる領域内で発生した問題の類似の例に関する更なる情報を取得する。

ステップ３０４で、時間可視化プログラム３００は、ユーザから入力を受信する。一実施形態では、時間可視化プログラム３００は、例えば、問題の状態を判定する１または複数の将来の期間、重大度格付け閾値、問題を是正、軽減、または一時的に訂正する動作を実行するか実行しないか、複数の問題に取り組む順序など、ＵＩ １３２を介して、ユーザ入力から時間的指示および係数を受信する。いくつかの実施形態では、時間可視化プログラム３００はまた、２時間の漸増、１０：１の時間圧縮、または重大度格付けの変化もしくは危険が発生すると予測される間隔など、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方がユーザに対してどのように提示されるかを指示する、ユーザからの入力を受信する。

ステップ３０６で、時間可視化プログラム３００は、問題に関するＡＲコンテンツと関連付けられた時間的修正を判定する。様々な実施形態では、時間可視化プログラム３００は、ステップ３０２で取得した情報に基づいて、メディアコンテンツのコーパス１１５内に含まれる複数のメディアファイルの中から、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を識別し選択する。一実施形態では、時間可視化プログラム３００は、ステップ３０４で受信する元の時間的指示および係数に基づいて、問題に関する選択されたＡＲコンテンツもしくはＶＲコンテンツまたはその両方と関連付けられた、１または複数の時間的修正を判定する。別の実施形態では、時間可視化プログラム３００は、ユーザがＡＲコンテンツもしくはＶＲコンテンツまたはその両方の時間的修正を見るのに応答して受信したユーザ入力に基づいて（状況認識プログラム２００のステップ２１８）、問題に関するＡＲコンテンツもしくはＶＲコンテンツまたはその両方と関連付けられた、１または複数の時間的修正を判定する。他の実施形態では、時間可視化プログラム３００は更に、２以上の問題が相互作用し、問題の１もしくは複数の態様もしくは危険またはその両方を悪化させるという判定に基づいて、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を修正することができる。時間可視化プログラム３００は、修正及び／または生成されたＡＲおよびＶＲコンテンツを、ＡＲコンテンツ１１７内に記憶してもよい。

いくつかの実施形態では、時間可視化プログラム３００は、コンピュータグラフィックススイート１１６を利用して、ユーザから受信した入力に基づいて、選択されたＡＲコンテンツもしくはＶＲコンテンツまたはその両方を時間的に修正する。更なる実施形態では、時間可視化プログラム３００が、問題に関するＡＲコンテンツもしくはＶＲコンテンツまたはその両方を識別して、メディアコンテンツのコーパス１１５または他のネットワークアクセス可能リソース,内で時間的に修正できない場合、時間可視化プログラム３００は、認知プログラムおよびコンピュータグラフィックススイート１１６を利用して、問題の態様に関するイメージを少なくとも含むアクセス可能なコンテンツから、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を抽出し生成する。

ステップ３０８で、時間可視化プログラム３００は、時間的に修正されたＡＲコンテンツをユーザのデバイスに送信する。一実施形態では、時間可視化プログラム３００は、問題の将来の状態のスナップショットなど、時間的に修正されたＡＲをユーザデバイス１３０に送信して、ＡＲプログラム１３５によって、またはステップ２１８で状況認識プログラム２００を介して提示する。別の実施形態では、時間可視化プログラム３００は、ユーザによって入力される時間情報および係数に基づいて、問題の状態の予報または進行と関連付けられたアニメーションシーケンスなど、ＶＲコンテンツをユーザデバイス１２０に送信する。

決定ステップ３０９で、時間可視化プログラム３００は、追加のユーザ入力が受信されるか否かを判定する。一実施形態では、時間可視化プログラム３００は、追加のユーザ入力がＵＩ １３２を介してユーザデバイス１３０から受信されると判定する。一例では、時間可視化プログラム３００は、ユーザが、領域１２０と関連付けられた異なる問題のＶＲ進行を見ることを選ぶという情報を受信する。別の例では、時間可視化プログラム３００は、ユーザが、問題に対して一時的訂正を実装することを選び、１時間のスナップショットで、次の１０日間の間の領域１２０に対する影響を予報する、ＶＲシーケンスを見ることを要求するという情報を受信する。

追加のユーザ入力を受信したことに応答して（「はい」の分岐、決定ステップ３０９）、時間可視化プログラム３００は、ステップ３０６にループして、ユーザからの追加の入力に基づいて、問題に関するＡＲコンテンツもしくはＶＲコンテンツまたはその両方と関連付けられた別の時間的修正を判定する。決定ステップ３０９を参照すると、追加のユーザ入力が受信されないという判定に応答して（「いいえ」の分岐、決定ステップ３１１）、時間可視化プログラム３００は、ユーザが問題を是正するか否かを判定する。

決定ステップ３１１では、時間可視化プログラム３００は、ユーザが問題を是正するか否かを判定する。一実施形態では、時間可視化プログラム３００は、問題の位置に対するユーザの移動、履歴情報１１２に変化がないこと、または未解決、遅延などを示す、問題に関するログステータスの識別など、ステップ２１６もしくは決定ステップ２１７またはその両方で状況認識プログラム２００によって判定される情報に基づいて、ユーザ問題を是正しないと判定する。別の実施形態では、複数の問題が領域１２０内に存在する場合、時間可視化プログラム３００は、ユーザが是正しない別の問題に応答することができる。一例では、時間可視化プログラム３００は、ユーザが重大度格付けが低い問題を是正するのに応答するが、重大度格付けがより高い問題の訂正を遅延することを示す。別の例では、時間可視化プログラム３００は、ユーザが重大度格付けが高い問題を是正し、別の問題は許容可能な解決遅延の持続時間を有すると判定する。いくつかの実施形態では、時間可視化プログラム３００は、少なくとも履歴情報１１２に対する更新に基づいて、ユーザが問題を是正すると判定する。

ユーザが問題を是正しないという判定に応答して（「いいえ」の分岐、決定ステップ３１１）、時間可視化プログラム３００は、是正されていない問題と関連付けられたＡＲコンテンツを判定する（ステップ３１２）。

ステップ３１２で、時間可視化プログラム３００は、是正されていない問題と関連付けられたＡＲコンテンツを判定する。一実施形態では、時間可視化プログラム３００は、メディアコンテンツのコーパス１１５およびＡＲコンテンツ１１７内に含まれる複数のメディアファイルの中から、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を選択し、ステップ３０２およびステップ３０４で取得した情報に基づいて、コンテンツを修正する。別の実施形態では、時間可視化プログラム３００は、ユーザがＡＲコンテンツもしくはＶＲコンテンツまたはその両方の時間的修正を見るのに応答して受信したユーザ入力に基づいて（状況認識プログラム２００のステップ２１８）、是正されていない問題に関するＡＲコンテンツもしくはＶＲコンテンツまたはその両方と関連付けられた、１または複数の時間的修正を判定する。いくつかの実施形態では、時間可視化プログラム３００は更に、１つの是正されていない問題の１もしくは複数の態様もしくは危険またはその両方が、別の是正されていない問題によって悪化するという判定に基づいて、是正されていない問題に関する、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を修正することができる。

他の実施形態では、時間可視化プログラム３００は、コンピュータグラフィックススイート１１６を利用して、ユーザから受信した入力に基づいて、選択されたＡＲまたはＶＲコンテンツに時間的修正を適用する。更なる実施形態では、時間可視化プログラム３００が、是正されていない問題に関するＡＲコンテンツもしくはＶＲコンテンツまたはその両方を識別して、メディアコンテンツのコーパス１１５または他のネットワークアクセス可能リソース,内で修正できない場合、時間可視化プログラム３００は、認知プログラムおよびコンピュータグラフィックススイート１１６を利用して、問題の態様に関するイメージを少なくとも含むアクセス可能なコンテンツソースから、ＡＲコンテンツもしくはＶＲコンテンツまたはその両方を抽出し生成する。

ステップ３１４で、時間可視化プログラム３００は、時間的に修正されたＡＲコンテンツをユーザのデバイスに送信する。一実施形態では、時間可視化プログラム３００は、時間的に修正されたＡＲコンテンツもしくはＶＲコンテンツまたはその両方をユーザデバイス１３０に送信して、ユーザデバイス１３０のＡＲプログラム１３５を介してユーザに提示する。いくつかの実施形態では、時間可視化プログラム３００は、時間的に修正されたＡＲコンテンツもしくはＶＲコンテンツまたはその両方をユーザデバイス１３０に送信し、ステップ２１８、２１６および決定ステップ２１７と関連付けられたループなど、状況認識プログラム２００の様々な態様とインタフェース接続する。

決定ステップ３１１を参照すると、ユーザが問題を是正するという判定に応答して（「はい」の分岐、決定ステップ３１１）、時間可視化プログラム３００は終了する。

図４は、代表的なシステム１１０およびクライアントデバイス１３０である、コンピュータシステム４００を示している。コンピュータシステム４００はまた、センサ１２５の１または複数の例を表す。コンピュータシステム４００は、ソフトウェアおよびデータ４１２を含むシステムの一例である。コンピュータシステム４００は、プロセッサ４０１と、キャッシュ４０３と、メモリ４０２と、永続ストレージ４０５と、通信ユニット４０７と、入出力（Ｉ／Ｏ）インタフェース４０６と、通信ファブリック４０４とを含む。通信ファブリック４０４は、キャッシュ４０３、メモリ４０２、永続ストレージ４０５、通信ユニット４０７、および入出力（Ｉ／Ｏ）インタフェース４０６の間に通信を提供する。通信ファブリック４０４は、データもしくは制御情報またはその両方を、プロセッサ（例えば、マイクロプロセッサ、通信およびネットワークプロセッサなど）、システムメモリ、周辺デバイス、ならびにシステム内の他の任意のハードウェアコンポーネントの間で渡すように設計された、任意のアーキテクチャで実装することができる。例えば、通信ファブリック４０４は、１もしくは複数のバスまたはクロスバースイッチを用いて実装することができる。

メモリ４０２および永続ストレージ４０５はコンピュータ可読記憶媒体である。この実施形態では、メモリ４０２はランダムアクセスメモリ（ＲＡＭ）を含む。一般に、メモリ４０２は、任意の好適な揮発性または不揮発性コンピュータ可読記憶媒体を含むことができる。キャッシュ４０３は、メモリ４０２から、最近アクセスされたデータ、および最近アクセスされたデータに近いデータを保持することによって、プロセッサ４０１の性能を強化する高速メモリである。

本発明の実施形態を実践するのに使用されるプログラム命令およびデータは、永続ストレージ４０５およびメモリ４０２に記憶されて、キャッシュ４０３を介して、それぞれのプロセッサ４０１の１もしくは複数によって実行されてもよい。一実施形態では、永続ストレージ４０５は磁気ハードディスクドライブを含む。あるいは、または磁気ハードディスクドライブに加えて、永続ストレージ４０５は、プログラム命令またはデジタル情報を記憶することができる、固体ハードドライブ、半導体記憶デバイス、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、フラッシュメモリ、または他の任意のコンピュータ可読記憶媒体を含むことができる。

永続ストレージ４０５によって使用される媒体はまた、リムーバブルであってもよい。例えば、リムーバブルハードドライブが永続ストレージ４０５に使用されてもよい。他の例は、永続ストレージ４０５の一部でもある別のコンピュータ可読記憶媒体上に転送するために、ドライブに挿入される、光学および磁気ディスク、サムドライブ、ならびにスマートカードを含む。ソフトウェアおよびデータ４１２は、永続ストレージ４０５に記憶されて、キャッシュ４０３およびメモリ４０２の１または複数のメモリを介して、それぞれのプロセッサ４０１の１もしくは複数によってアクセス及び／または実行される。システム１１０に関して、ソフトウェアおよびデータ４１２は、履歴情報１１２、解析スイート１１３、問題解決情報１１４、メディアコンテンツのコーパス１１５、コンピュータグラフィックススイート１１６、ＡＲコンテンツ１１７、時間可視化プログラム３００、ならびに他のプログラムおよびデータ（図示なし）を含む。クライアントデバイス１３０に関して、ソフトウェアおよびデータ４１２は、ＡＲプログラム１３５、状況認識プログラム２００、ならびに他のデータおよびプログラム（図示なし）を含む。センサ１２５の例に関して、ソフトウェアおよびデータ４１２は、ファームウェア、他のデータ、プログラム（図示なし）を含む。

通信ユニット４０７は、これらの例では、リソースシステム１１０、センサ１２５、クライアントデバイス１３０を含む、他のデータ処理システムまたはデバイスとの通信を提供する。これらの例では、通信ユニット４０７は、１もしくは複数のネットワークインタフェースカードもしくは無線通信アダプタまたはその両方を含む。通信ユニット４０７は、物理的および無線通信リンクのどちらかまたは両方を使用することにより、通信を提供してもよい。本発明の実施形態を実践するのに使用されるプログラム命令およびデータは、通信ユニット４０７を通して、永続ストレージ４０５にダウンロードされてもよい。

Ｉ／Ｏインタフェース４０６は、各コンピュータシステムに接続されてもよい、他のデバイスとのデータの入力および出力を可能にする。例えば、Ｉ／Ｏインタフェース４０６は、キーボード、キーパッド、タッチスクリーン、もしくは他の何らかの好適な入力デバイス、またはそれらの組み合わせなど、外部デバイス４０８に対する接続を提供してもよい。外部デバイス４０８はまた、例えば、サムドライブ、携帯用光学もしくは磁気ディスク、およびメモリカードなど、携帯用コンピュータ可読記憶媒体を含むことができる。本発明の実施形態を実践するのに使用されるソフトウェアおよびデータは、かかる携帯用コンピュータ可読記憶媒体に記憶することができ、Ｉ／Ｏインタフェース４０６を介して永続ストレージ４０５にロードすることができる。Ｉ／Ｏインタフェース４０６はまた、ディスプレイ４０９に接続する。

ディスプレイ４０９は、データをユーザに対して表示するメカニズムを提供し、例えば、コンピュータモニタであってもよい。ディスプレイ４０９はまた、タブレットコンピュータまたはスマートフォンのディスプレイなど、タッチスクリーンとして機能することができる。あるいは、ディスプレイ４０９は、仮想網膜ディスプレイ、仮想ディスプレイ、または画像プロジェクタなど、投影技術に基づいて、情報をユーザに対して表示する。

本明細書に記載するプログラムは、それらが本発明の特定の実施形態で実装されるアプリケーションに基づいて識別される。しかしながら、本明細書における任意の特定のプログラムという命名は、単に便宜上使用されるものであり、したがって、本発明は、かかる命名によって識別及び／または示唆される、任意の特定のアプリケーションにおける使用のみに限定されるべきではないことが理解されるべきである。

本発明は、システム、方法、もしくはコンピュータプログラム製品、またはそれらの組み合わせであってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実施させるコンピュータ可読プログラム命令を有する、コンピュータ可読記憶媒体（もしくは複数の媒体）を含んでもよい。

コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持し記憶することができる、有形デバイスであることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の好適な組み合わせであってもよいが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯用コンパクトディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、命令が記録されたパンチカードもしくは溝内の隆起構造などの機械的に符号化されたデバイス、ならびに上記の任意の好適な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書で使用するとき、高周波または他の自由に伝播する電磁波、導波路または他の伝送媒体を通って伝播する電磁波（例えば、光ファイバーケーブルを通る光パルス）、あるいはワイヤを通って送信される電気信号など、それ自体が一時的な信号であるとは解釈されないものとする。

本明細書に記載するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、あるいはネットワークを、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくは無線ネットワーク、またはそれらの組み合わせを介して、外部コンピュータまたは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバー、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ、またはそれらの組み合わせを備えてもよい。各コンピューティング／処理デバイス受信におけるネットワークアダプタカードまたはネットワークインタフェースは、コンピュータ可読プログラム命令をネットワークから受信し、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体内に記憶する。

本発明の動作を実施するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＳｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向のプログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述された、ソースコードもしくはオブジェクトコードであってもよい。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータで、部分的にユーザのコンピュータで、独立型ソフトウェアパッケージとして、部分的にユーザのコンピュータで、かつ部分的にリモートコンピュータで、または全体的にリモートコンピュータもしくはサーバで、実行してもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通して、ユーザのコンピュータに接続されてもよく、または接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを通して）外部コンピュータに対して行われてもよい。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の情報を利用して電子回路を個人化することによって、コンピュータ可読プログラム命令を実行してもよい。

本発明の態様を、本発明の実施形態による、方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図、もしくはブロック図、またはその両方を参照して、本明細書に記載している。フローチャート図、もしくはブロック図、またはその両方における各ブロック、ならびにフローチャート図、もしくはブロック図、またはその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。

コンピュータ可読プログラム命令は、機械を生成するのに、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されてもよく、それにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行する命令は、フローチャートもしくはブロック図またはその両方のブロックもしくは複数のブロックにおいて指定された機能／動作を実装する手段を作成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ可読記憶媒体に記憶されてもよく、コンピュータ、プログラマブルデータ処理装置、もしくは他のデバイス、またはそれらの組み合わせに特定の方式で機能するように指令することができ、それにより、命令が記憶されたコンピュータ可読記憶媒体は、フローチャート、もしくはブロック図、またはその両方のブロックもしくは複数のブロックにおいて指定された機能／動作の態様を実装する命令を含む製品を備える。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされて、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実行させて、コンピュータ実装プロセスを生成してもよく、それにより、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令は、フローチャート、もしくはブロック図、またはその両方のブロックもしくは複数のブロックにおいて指定された機能／動作を実装する。

図面のフローチャートおよびブロック図は、本発明の様々な実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装する１もしくは複数の実行可能命令を備える、モジュール、セグメント、または命令の部分を表してもよい。いくつかの代替実装例では、ブロックに示される機能は、図面に示される以外の順序で行われてもよい。例えば、連続して示される２つのブロックは、実際には、関与する機能性に応じて、１つのステップとして遂行されるか、同時に、実質的に同時に、部分的もしくは全体的に時間的に重なり合う方式で実行されてもよく、またはブロックは、場合によっては逆の順序で実行されてもよい。また、ブロック図、もしくはフローチャート図、またはその両方の各ブロック、ならびにブロック図、もしくはフローチャート図、またはその両方におけるブロックの組み合わせは、指定された機能または動作を実行する特定用途向けのハードウェアベースのシステムによって実装されるか、あるいは特定用途向けのハードウェアとコンピュータ命令との組み合わせを実施できることが注目される。

本発明の様々な実施形態の記載は、例示の目的で提示してきたが、網羅的であるか、または開示する実施形態に限定しようとするものではない。本発明の範囲および趣旨から逸脱することなく、多くの修正および変形が当業者には明白となるであろう。本明細書で使用される専門用語は、実施形態の原理、実用的な適用、または市場で見出される技術に対する技術的改善を最も良く説明するように、あるいは当業者が本明細書に開示される実施形態を理解できるように選択したものである。

Claims (20)

1. １または複数のコンピュータプロセッサによって、ユーザと関連付けられたデバイスから領域に対応する視覚情報を受信する段階と、
   １または複数のコンピュータプロセッサによって、複数の物理的要素を含む前記領域内の１または複数のセンサのグループからデータを受信する段階と、
   １または複数のコンピュータプロセッサによって、前記１または複数のセンサのグループから受信した前記データの解析に基づいて、第１の問題が前記領域内に存在することと、前記領域内の前記第１の問題に対応する第１の物理的要素とを判定する段階と、
   １または複数のコンピュータプロセッサによって、前記領域内に存在する前記第１の問題に関する拡張現実（ＡＲ）コンテンツを生成する段階と、
   １または複数のコンピュータプロセッサによって、前記ユーザと関連付けられた前記デバイスを介して、前記領域に対応する前記視覚情報内の前記第１の問題に関する、生成された前記ＡＲコンテンツを表示する段階と、
   を備える、方法。
2. １または複数のコンピュータプロセッサによって、前記ユーザと関連付けられた前記デバイスに基づいて、前記領域内の前記ユーザに対応する位置および向きを判定する段階と、
   １または複数のプロセッサによって、前記ユーザに対応する前記位置および前記向きに基づいて、前記領域の一部分と関連付けられた視野を判定する段階と、
   １または複数のプロセッサによって、前記第１の問題に対応する位置に基づいて、前記領域と関連付けられる判定された前記視野内に、前記生成されたＡＲコンテンツを配置する段階と、
   を更に備える、請求項１に記載の方法。
3. １または複数のコンピュータプロセッサによって、前記１または複数のセンサのグループから受信したデータに基づいて、前記第１の問題に対応する前記領域内の位置、および前記第１の問題に対応する前記領域内の前記第１の物理的要素を判定する段階
   を更に備える、請求項１または２に記載の方法。
4. 問題に対応するＡＲコンテンツを生成する段階が更に、
   １または複数のコンピュータプロセッサによって、複数のメディアファイルの中から、前記問題に関するグラフィカル要素を選択する段階と、
   １または複数のコンピュータプロセッサによって、前記グラフィカル要素のサイズを増加させること、視覚効果を追加すること、および方向指示を追加することから成る群から選択された１または複数のアイテムに基づいて、前記問題に関する前記グラフィカル要素の１または複数の態様を修正する段階と、
   を有する、請求項１から３のいずれか一項に記載の方法。
5. 前記第１の問題に関する前記生成されたＡＲコンテンツを表示する段階が更に、
   １または複数のコンピュータプロセッサによって、前記第１の問題とそれぞれ関連付けられた重大度格付けを判定する段階と、
   １または複数のコンピュータプロセッサによって、前記第１の問題とそれぞれ関連付けられる判定された前記重大度格付けに基づいて、前記生成されたＡＲコンテンツの１または複数の態様を調節する段階と、
   を有する、請求項１から４のいずれか一項に記載の方法。
6. 問題が、規格外条件動作条件、前記領域のインフラストラクチャ内の欠陥、前記領域内の１または複数の物理的要素と関連付けられた欠陥、および前記問題によって生成される危険から成る群から選択された、１または複数のアイテムを含む、請求項１から５のいずれか一項に記載の方法。
7. １または複数のコンピュータプロセッサによって、前記ユーザが前記第１の問題の前記位置から離れるように移動していると判定する段階と、
   前記ユーザが前記第１の問題の前記位置から離れるように移動しているという判定に応答して、１または複数のコンピュータプロセッサによって、前記ユーザに対して表示される前記第１の問題に関する前記生成されたＡＲコンテンツの１または複数の態様を修正する段階と、
   を更に備える、請求項２に記載の方法。
8. １または複数のコンピュータプロセッサに対し、
   ユーザと関連付けられたデバイスから領域に対応する視覚情報を受信する手順と、
   複数の物理的要素を含む前記領域内の１または複数のセンサのグループからデータを受信する手順と、
   前記１または複数のセンサのグループから受信した前記データの解析に基づいて、第１の問題が前記領域内に存在することと、前記領域内の前記第１の問題に対応する第１の物理的要素とを判定する手順と、
   前記領域内に存在する前記第１の問題に関する拡張現実（ＡＲ）コンテンツを生成する手順と、
   前記ユーザと関連付けられた前記デバイスを介して、前記領域に対応する前記視覚情報内の前記第１の問題に関する、生成された前記ＡＲコンテンツを表示する手順と、を実行させるための、コンピュータプログラム。
9. 前記１または複数のプロセッサにさらに、
   前記ユーザと関連付けられた前記デバイスに基づいて、前記領域内の前記ユーザに対応する位置および向きを判定する手順と、
   前記ユーザに対応する前記位置および前記向きに基づいて、前記領域の一部分と関連付けられた視野を判定する手順と、
   前記第１の問題に対応する位置に基づいて、前記領域と関連付けられる判定された前記視野内に、前記生成されたＡＲコンテンツを配置する手順とを実行させるための、請求項８に記載のコンピュータプログラム。
10. 前記１または複数のプロセッサにさらに、前記１またはセンサのグループから受信したデータに基づいて、前記第１の問題に対応する前記領域内の位置、および前記第１の問題に対応する前記領域内の前記第１の物理的要素を判定する手順を実行させるための、請求項８または９に記載のコンピュータプログラム。
11. 問題に対応するＡＲコンテンツを生成する手順が更に、
    複数のメディアファイルの中から、前記問題に関するグラフィカル要素を選択する手順と、
    前記グラフィカル要素のサイズを増加させること、視覚効果を追加すること、および方向指示を追加することから成る群から選択された１または複数のアイテムに基づいて、前記問題に関する前記グラフィカル要素の１または複数の態様を修正する手順と、
    を有する、請求項８から１０のいずれか一項に記載のコンピュータプログラム。
12. 前記第１の問題に関する前記生成されたＡＲコンテンツを表示する手順が更に、
    前記第１の問題とそれぞれ関連付けられた重大度格付けを判定する手順と、
    前記第１の問題とそれぞれ関連付けられる判定された前記重大度格付けに基づいて、前記生成されたＡＲコンテンツの１または複数の態様を調節する手順と、
    を有する、請求項８から１１のいずれか一項に記載のコンピュータプログラム。
13. 問題が、規格外条件動作条件、前記領域のインフラストラクチャ内の欠陥、前記領域内の１または複数の物理的要素と関連付けられた欠陥、および前記問題によって生成される危険から成る群から選択された、１または複数のアイテムを含む、請求項８から１２のいずれか一項に記載のコンピュータプログラム。
14. 前記１または複数のプロセッサに対し、前記ユーザが前記第１の問題の前記位置から離れるように移動していると判定する手順と、
    前記ユーザが前記第１の問題の前記位置から離れるように移動しているという判定に応答して、前記ユーザに対して表示される前記第１の問題に関する前記生成されたＡＲコンテンツの１または複数の態様を修正する手順と、を更に実行させるための、請求項９に記載のコンピュータプログラム。
15. １または複数のコンピュータプロセッサと、
    １または複数のコンピュータ可読記憶媒体と、
    前記１または複数のコンピュータプロセッサの少なくとも１つによって実行される、前記１または複数のコンピュータ可読記憶媒体に記憶されたプログラム命令と、を備えるコンピュータシステムであって、前記プログラム命令が、
    ユーザと関連付けられたデバイスから領域に対応する視覚情報を受信する、プログラム命令と、
    複数の物理的要素を含む前記領域内の１または複数のセンサのグループからデータを受信する、プログラム命令と、
    前記１または複数のセンサのグループから受信した前記データの解析に基づいて、第１の問題が前記領域内に存在することと、前記領域内の前記第１の問題に対応する第１の物理的要素とを判定する、プログラム命令と、
    前記領域内に存在する前記第１の問題に関する拡張現実（ＡＲ）コンテンツを生成する、プログラム命令と、
    前記ユーザと関連付けられた前記デバイスを介して、前記領域に対応する前記視覚情報内の前記第１の問題に関する、生成された前記ＡＲコンテンツを表示する、プログラム命令と、
    を有する、コンピュータシステム。
16. 前記ユーザと関連付けられた前記デバイスに基づいて、前記領域内の前記ユーザに対応する位置および向きを判定する、プログラム命令と、
    前記ユーザに対応する前記位置および前記向きに基づいて、前記領域の一部分と関連付けられた視野を判定する、プログラム命令と、
    前記第１の問題に対応する位置に基づいて、前記領域と関連付けられる判定された前記視野内に、前記生成されたＡＲコンテンツを配置する、プログラム命令と、
    を更に備える、請求項１５に記載のコンピュータシステム。
17. 前記１または複数のセンサのグループから受信したデータに基づいて、前記第１の問題に対応する前記領域内の位置、および前記第１の問題に対応する前記領域内の前記第１の物理的要素を判定する、プログラム命令
    を更に有する、請求項１５または１６に記載のコンピュータシステム。
18. 問題に対応するＡＲコンテンツを生成するプログラム命令が更に、
    複数のメディアファイルの中から、前記問題に関するグラフィカル要素を選択する、プログラム命令と、
    前記グラフィカル要素のサイズを増加させること、視覚効果を追加すること、および方向指示を追加することから成る群から選択された１または複数のアイテムに基づいて、前記第１の問題に関する前記グラフィカル要素の１または複数の態様を修正する、プログラム命令と、
    を有する、請求項１５から１７のいずれか一項に記載のコンピュータシステム。
19. 前記第１の問題に関する前記生成されたＡＲコンテンツを表示する、プログラム命令が更に、
    前記第１の問題とそれぞれ関連付けられた重大度格付けを判定する、プログラム命令と、
    前記第１の問題とそれぞれ関連付けられる判定された前記重大度格付けに基づいて、前記生成されたＡＲコンテンツの１または複数の態様を調節する、プログラム命令と、
    を有する、請求項１５から１８のいずれか一項に記載のコンピュータシステム。
20. 前記ユーザが前記第１の問題の前記位置から離れるように移動していると判定する、プログラム命令と、
    前記ユーザが前記第１の問題の前記位置から離れるように移動しているという判定に応答して、前記ユーザに対して表示される前記第１の問題に関する前記生成されたＡＲコンテンツの１または複数の態様を修正する、プログラム命令と、
    を更に有する、請求項１６に記載のコンピュータシステム。

Images