JP2014505627A - 拡張コラボレーション・システム - Google Patents

拡張コラボレーション・システム Download PDF

Info

Publication number
JP2014505627A
JP2014505627A JP2013549399A JP2013549399A JP2014505627A JP 2014505627 A JP2014505627 A JP 2014505627A JP 2013549399 A JP2013549399 A JP 2013549399A JP 2013549399 A JP2013549399 A JP 2013549399A JP 2014505627 A JP2014505627 A JP 2014505627A
Authority
JP
Japan
Prior art keywords
information
person
image
video data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013549399A
Other languages
English (en)
Other versions
JP6078003B2 (ja
JP2014505627A5 (ja
Inventor
ブライアン デール ラフリン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2014505627A publication Critical patent/JP2014505627A/ja
Publication of JP2014505627A5 publication Critical patent/JP2014505627A5/ja
Application granted granted Critical
Publication of JP6078003B2 publication Critical patent/JP6078003B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

情報を表示するための方法および装置。カメラ・システムは、オブジェクトの場所においてカメラ・システムの視点からオブジェクトのビデオ・データを生成する。情報は、オブジェクトについて識別される。情報は、任意の数の場所において表示システムにビデオ・データの画像で表示される。任意の数の場所におけるビデオ・データの画像による情報を有する画像の表示は、カメラ・システムの視点からである。

Description

本開示は、一般に航空機、および特に航空機の保守に関する。さらにより詳細には、本開示は、航空機の保守の問題に関して異なる場所の人と人との連携を可能にするための方法および装置に関する。
航空機の保守は、任意の数の異なる作業を含む場合がある。これらの作業は、たとえば、点検、改造、アップグレード、再加工、再構成、および/または航空機に対して他の作業を行うことを含むことができる。
航空機の保守では、航空機の異なる構成部品が、取り外されまたは取り付けられる場合がある。さらに、異なる構成部品は、航空機内で再加工され、または航空機から取り外されることがある。
航空機の保守は、規則正しく予定された基準により、または保守が必要とされ得る指示に応じて行われ得る。たとえば、保守は、スキン・パネルの不整合の検出に応じて航空機の胴体の複合スキン・パネルを再加工するように行われ得る。この不整合は、ある場合には、スキン・パネルの表面を再塗装することを必要とする場合がある。他の例では、保守は、不整合を低減しまたは除去するようにスキン・パネルの一部の再加工を必要とする場合がある。
さらに他の例では、保守は、航空機のさまざまなシステムに対して行われる場合がある。たとえば、航空機の構成部品を接続する電気システムは、所望のレベルの性能を実現するように保守を必要とすることがある。この保守は、電気システムまたは他のシステムのワイヤリング・ハーネスまたは他の構成部品を識別し交換することを含む場合がある。
保守が予定されていない時間に行われる場合、航空機は、人々および/または貨物を輸送する場合の使用に利用できない。さらに、航空機の予期せぬ保守により、飛行の遅延または飛行のキャンセルさえ生じる場合がある。航空機がこのタイプの保守のために地上にある場合、航空会社または航空機の他の持ち主のコストは高価である。
ある場合には、保守は、幾時間、幾日、または幾週も必要とする場合がある。結果として、航空会社は、サービスを提供する場合に減少した能力を有する場合があり、または、保守のために地上にある航空機に代わる効率が悪い航空機を使用する場合がある。ある場合には、航空会社は、利用できる追加の航空機を有することによってこれらのタイプの予期せぬ保守に備える場合がある。しかし、追加の航空機は、これらの航空機の購入および保守のコストの増大を招く。これらの状況のために余分の航空機を有すると、特定の飛行が遅延されかつ/またはキャンセルされ得る可能性を低減することができる。
したがって、上で議論した問題のうちの少なくともいくつか、ならびに起こり得る他の問題を考慮に入れた方法および装置を有することが有利であろう。
1つの有利な実施形態では、装置は、コンピュータ・システムを備えている。コンピュータ・システムは、オブジェクトの場所においてカメラ・システムからオブジェクトのビデオ・データを受信し、オブジェクトについて情報を識別するように構成される。コンピュータ・システムは、ビデオ・データに情報を追加し、かつ任意の数の場所において表示システムにビデオ・データに追加された情報を有するビデオ・データを送信するように構成される。表示システム上のビデオ・データの表示は、カメラ・システムの視点からビデオ・データの画像による情報を表示する。
他の有利な実施形態では、方法は、情報を表示するために存在する。カメラ・システムは、オブジェクトの場所においてカメラ・システムの視点からオブジェクトのビデオ・データを生成する。情報は、オブジェクトについて識別される。情報は、任意の数の場所において表示システム上のビデオ・データの画像で表示される。任意の数の場所におけるビデオ・データの画像による情報を有する画像の表示は、カメラ・システムの視点からである。
さらに他の有利な実施形態では、航空機の保守を行うための拡張現実感情報システムが、ヘッドマウント・システム、任意の数の表示装置、および情報モジュールを備えている。ヘッドマウント・システムは、カメラ・システムおよび表示装置を有する。ヘッドマウント・システムは、ある場所においてオブジェクトのビデオ・データを生成するように構成される。任意の数の表示装置は、任意の数の場所にある。情報モジュールは、ヘッドマウント・システムのカメラ・システムからオブジェクトのビデオ・データを受信し、かつオブジェクトについて情報を識別するように構成される。情報モジュールは、ビデオ・データに情報を追加するように構成される。情報モジュールは、任意の数の表示装置のそれぞれを用いて人のプロファイルに基づいて任意の数の表示装置のそれぞれに対して選択された情報を識別し、かつ任意の数の表示装置に情報を有するビデオ・データを送信するように構成される。任意の数の表示装置へのビデオ・データの表示は、任意の数の表示装置のそれぞれに画像による選択された情報を表示する。
特徴、機能、および利点は、本開示のさまざまな実施形態で独立して達成されることができ、あるいは、さらなる詳細が次の説明および図面を参照して理解できる、さらに他の実施形態において結合され得る。
有利な実施形態の特性と思われる新規な特徴が、添付の特許請求項の範囲に記載されている。しかし、有利な実施形態、ならびに使用の好ましい態様、さらなる目的、およびそれの利点は、添付の図面と共に読む場合に、本開示の有利な実施形態の次の詳細な説明を参照することによって最もよく理解されるであろう。
有利な実施形態に従って航空機の製造および保守方法の説明の図である。 有利な実施形態が実施され得る航空機の説明の図である。 有利な実施形態に従ってオブジェクト情報環境の説明の図である。 有利な実施形態に従って拡張現実感情報システムのデータ・フローの説明の図である。 有利な実施形態に従ってデータ処理システムの説明の図である。 有利な実施形態に従ってプロファイルの説明の図である。 有利な実施形態に従ってポリシーの説明の図である。 有利な実施形態に従ってオブジェクト情報環境の説明の図である。 有利な実施形態に従って情報を表示するためのプロセスのフローチャートの図である。 有利な実施形態に従ってオブジェクトについて情報を識別するためのプロセスのフローチャートの図である。 有利な実施形態に従って情報をビデオ・データの画像と関連させるためのプロセスのフローチャートの図である。 有利な実施形態に従って情報を表示するためのプロセスのフローチャートの図である。 有利な実施形態に従って画像による情報を表示するためのプロセスのフローチャートの図である。 有利な実施形態に従って表示装置に情報を送信するためのプロセスのフローチャートの図である。 有利な実施形態に従ってディスプレイに表示するための画像をフィルタリングするためのプロセスのフローチャートの説明の図である。
より詳細には図面を参照して、本開示の実施形態は、図1に示されるような航空機の製造および保守方法100、ならびに図2に示されるような航空機200という面において説明することができる。まず図1に移って、航空機の製造および保守方法の説明は、有利な実施形態に従って示される。生産開始前に、航空機の製造および保守方法100は、図2の航空機200の仕様および設計102と、資材調達104とを含むことができる。
生産中に、構成要素およびサブアセンブリ製造106、ならびに図2の航空機200のシステム・インテグレーション108が行われる。その後は、航空機200は、サービス112に置かれるために認証および配信110を経ることができる。顧客によるサービス112中の間に、図2の航空機200は、定期整備及び保守114が予定されており、これは、改造、再構成、修復、および他の整備または保守を含むことができる。
航空機の製造および保守方法100のプロセスのそれぞれは、システム・インテグレータ、第3者、および/またはオペレータによって行われまたは実行され得る。これらの例では、オペレータは顧客であり得る。この説明の目的のため、システム・インテグレータは、制限されることなく、任意の数の航空機メーカ、および主要なシステム下請け会社を含むことができ、第3者は、制限されることなく、任意の数のベンダー、下請け会社、納入業者を含むことができ、オペレータは、航空会社、リース会社、軍事エンティティ、またはサービス機構であり得る。
次に図2を参照して、有利な実施形態が実施され得る航空機の説明が示されている。この例では、航空機200は、図1の航空機の製造および保守方法100によって製造され、複数のシステム204を有する機体202および内部206を含むことができる。システム204の例は、推進システム208、電気システム210、油圧システム212、および環境システム214のうちの1つまたは複数を含む。任意の数の他のシステムが含まれてもよい。航空宇宙の例が示されているが、異なる有利な実施形態が、自動車産業などの他の産業に適用され得る。
本明細書において具体化される装置および方法は、図1の航空機の製造および保守方法100の段階のうちの少なくとも1つの間に使用され得る。本明細書において用いられるように、項目の一覧表と共に用いられる場合には、フレーズ「のうちの少なくとも1つ」は、一覧表示された項目のうちの1つまたは複数の異なる組合せを使用することができ、一覧表の各項目の1つだけを必要とすることができることを意味する。たとえば、「項目A、項目B、項目Cのうちの少なくとも1つ」は、たとえば、制限されることなく、項目Aまたは項目Aおよび項目Bを含むことができる。また、この例は、項目A、項目B、および項目Cまたは項目Bおよび項目Cを含むこともできる。
1つの説明の例では、図1の構成要素およびサブアセンブリ製造106において製造される構成要素またはサブアセンブリは、航空機200が図1のサービス112中にある間に製造される構成要素またはサブアセンブリに類似する方法で製作されまたは製造され得る。さらに他の例のように、任意の数の装置の実施形態、方法の実施形態、またはこれらの組合せが、図1の構成要素およびサブアセンブリ製造106およびシステム・インテグレーション108などの製造段階中に使用され得る。項目を参照する場合、数字は、1つまたは複数の項目を意味する。たとえば、任意の数の装置の実施形態は、1つまたは複数の装置の実施形態である。任意の数の装置の実施形態、方法の実施形態、またはこれらの組合せは、航空機200が図1のサービス112中、ならびに/または整備及び保守114中である間に使用され得る。任意の数の異なる有利な実施形態の使用は、航空機200の組立てを実質的に促進し、かつ/または航空機200のコストを低減することができる。
異なる有利な実施形態は、任意の数の異なる考慮すべき事柄を認識し、考慮に入れる。たとえば、異なる有利な実施形態は、航空機が保守のために地上にある場合に保守に利用できる要員が限定され得ることを認識し、考慮に入れる。
たとえば、異なる要員は、異なる航空機に対して異なるレベルの技能および経験を有する場合がある。航空機が不整合のある複合スキン・パネルを有する場合、航空機に割り当てられた保守員は、そのタイプの人材に求められるのと同じくらいに経験を積んでいない場合がある。結果として、保守員は、航空機のスキン・パネルから不整合を低減しまたは除去するように不整合を点検し、適切な作業を識別することなどの、特定の保全業務を行うための研究を行うことができる。複合材料から製造されるスキン・パネルに関しては、層の配向、以前の再加工、および他の要因が、不整合を有するスキン・パネルに対して保守を行う方法に影響を及ぼす場合がある。
ある場合には、保守員は、実施すべき適切な作業を確認するように他の保守員または専門家との会合を設定することができる。異なる有利な実施形態は、このプロセスは時間がかかり、航空機の費用を増大させるということを認識し、考慮に入れる。費用は、航空機の使用不能によって増大される。
したがって、異なる有利な実施形態は、オブジェクトについて情報を得るための方法および装置を提供する。これらの説明の例では、異なる有利な実施形態は、特に、航空機について情報を得るのに、より詳細には航空機に保守作業を行うための情報を得るのに有用であり得る。
1つの有利な実施形態では、カメラ・システムは、オブジェクトの場所においてカメラ・システムの視点からオブジェクトのビデオ・データを生成する。オブジェクトについての情報が識別される。この情報は、任意の数の場所において表示システムにビデオ・データの画像で表示される。任意の数の場所における画像による情報を有する画像の表示は、カメラ・システムの視点からである。
このタイプのディスプレイの場合、異なる場所における異なる要員は、そのオブジェクトについてより多くの情報を提供するようにオブジェクトの場所における人と連携することができる。
たとえば、オブジェクトが航空機である場合、ビデオ・データの画像は、不整合が存在する航空機の一部であり得る。異なる場所における人は、専門家であり、または航空機の特定のタイプの不整合について知識を有する場合がある。これらの人は、必要とされ得る保守作業を確認するように航空機のところの保守員に入力を提供することができる。
次に図3を参照して、オブジェクト情報環境の説明は、有利な実施形態に従って示されている。オブジェクト情報環境300は、図1の航空機の製造および保守方法100のさまざまな部分の間に使用され得る。たとえば、オブジェクト情報環境300は、構成要素およびサブアセンブリ製造106ならびに図2の航空機200のシステム・インテグレーション108中に組み立てられている構成要素およびサブアセンブリについて情報を得るのに使用され得る。さらに、オブジェクト情報環境300はまた、航空機の製造および保守方法100の他の部分に加えて、さまざまな保守作業を行うように整備及び保守114中に使用され得る。
これらの説明の例では、オブジェクト情報環境300の情報システム302は、オブジェクト306について情報304を提供する。これらの説明の例では、オブジェクト306は、図2の航空機200の形をとることができる。
情報304は、任意の数の作業308を行うのに使用され得る。これらの説明の例では、任意の数の作業308は、保守作業310、設計作業312、訓練作業314、およびオブジェクト306に関して他の適切なタイプの作業のうちの少なくとも1つを含むことができる。保守作業310は、たとえば、制限されることなく、点検、構成要素の再加工、再構成、アップグレード、およびオブジェクト306の保守中に行われ得る他の適切なタイプの作業などの作業を含むことができる。
設計作業312は、オブジェクト306で使用するための構成要素を設計することを含み得る。これらのオブジェクトは、新しい構成要素、またはオブジェクト306内の構成要素のための置換構成要素であり得る。訓練作業314は、オブジェクト306に保守を行うことを含むオブジェクト306に異なる作業を行う訓練要員、オペレーティング・オブジェクト306、および他のタイプの作業を含むことができる。
これらの説明の例では、情報システム302は、航空機318の形のオブジェクト306に保守作業310を行うために拡張現実感情報システム316の形をとることができる。これらの例では、航空機318は、図2の航空機200を用いて実施され得る。
これらの説明の例では、拡張現実感情報システム316は、オブジェクト306のビデオ・データ324の画像322によってオブジェクト306についての情報320を表示するように構成される。これらの説明の例では、拡張現実感情報システム316は、オブジェクト306などの、オブジェクトのビューがコンピュータ生成情報によって増大される物理的な現実世界環境のライブ・ビューまたはダイレクト・ビューを生成する。この例では、画像322は、情報304で増大される。情報304は、任意の数の異なる形態をとることができる。たとえば、情報304は、テキスト、グラフィックス、または画像322に配置され得る他の情報であり得る。
この説明の例では、拡張現実感情報システム316は、情報モジュール326、カメラ・システム328、表示システム330、および他の適切な構成要素を備える。カメラ・システム328は、オブジェクト306のビデオ・データ324を生成するように構成される。これらの説明の例では、オブジェクト306は、場所332のところに配置される。ビデオ・データ324の画像322は、カメラ・システム328の視点334から生成される。
これらの説明の例では、カメラ・システム328は、画像322を含むビデオ・ストリーム335の形のビデオ・データ324を生成するように構成される。画像322は、オブジェクト306のビデオを提供するように表示システム330に表示され得る。これらの説明の例では、ビデオ・データ324は、後で見るためにビデオ・データ324を格納するのではなくて、ビデオ・データ324が生成されると表示システム330に送信される。しかし、ある説明の例では、ビデオ・データ324は、表示システム330に送信されているのに加えて、ビデオ・データ324が生成されると記憶装置に格納され得る。さらに他の説明の例では、ビデオ・データ324は、ビデオ・データ324が生成され、次いで後で見るために表示システム330のところに取り出されると、記憶装置に格納され得る。
これらの説明の例では、情報モジュール326は、ハードウェア、ソフトウェア、またはこの2つの組合せで実施され得る。情報モジュール326は、コンピュータ・システム336に配置されることができ、または示された例では別個の構成要素であり得る。コンピュータ・システム336は、任意の数のコンピュータ338を備える。任意の数のコンピュータ338は、これらの説明の例では、互いに通信している。任意の数のコンピュータ338は、特定の実施に応じて、同じ場所にあることができまたは異なる場所にあることができる。
示された例では、カメラ・システム328および表示装置340は、オブジェクト306の場所332において人342によって装着される。異なる説明の例では、表示装置340のカメラ・システム328は、ヘッドマウント・システム344の形をとることができる。
1つの例では、ヘッドマウント・システム344は、人342によって装着される眼鏡346になっている。この実施では、視点334は、オブジェクト306の場所332において眼鏡346を装着する人342の視点からである。
他の説明の例では、カメラ・システム328および表示装置340は、別個の構成要素であり得る。たとえば、カメラ・システム328は、人342によって装着されるジャケットまたはユニフォームと関連することができ、表示システム330は、眼鏡346に入っていることができる。さらに他の説明の例では、表示装置340は、特定の実施に応じて、ハンドヘルド装置であり得る。さらに他の説明の例では、カメラ・システム328および表示装置340は、たとえば、制限されることなく、ロボットによって操作され得る。
これらの説明の例では、情報モジュール326は、オブジェクトのデータベース348から情報320を識別する。情報320は、任意の数の異なる形態をとることができる。たとえば、情報320は、たとえば、制限されることなく、材料の識別、寸法、オブジェクト306の部分に実施されるべき作業、およびオブジェクト306についての他の適切な情報であり得る。これらの説明の例では、画像322に表示する情報320の識別は、オブジェクト306を識別するユーザ入力、オブジェクト306の一部を識別するユーザ入力、オブジェクト認識プロセス、および/または他の適切なタイプの識別によって行われ得る。
これらの説明の例では、表示システム330は、任意の数の場所352において任意の数の表示装置350を含むことができる。図示されていないが、表示システム330はまた、ビデオ・データ324を表示するのに必要とされる他の構成要素を含むことができる。たとえば、表示システム330はまた、グラフィックス・アダプタ、プロセッサ・ユニット、コンピュータ、および/または他の適切な構成要素を含むことができる。ある場合には、表示システム330は、単に任意の数の表示装置350を含む場合がある。
任意の数の場所352は、場所332より他の場所であることができ、場所332を含む場合もある。これらの説明の例では、任意の数の人354は、任意の数の場所352および表示装置350のビュー番号に配置され得る。情報320は、画像322およびビデオ・データ324に追加され得る。次いで、画像322に追加された情報320を有するビデオ・データ324は、表示のために任意の数の表示装置350に送信され得る。
ヘッドマウント・システム344の表示装置340上の画像322による情報320の表示に関しては、ヘッドマウント・システム344は、直接に画像322に情報320を追加するように構成されるプロセッサを含むことができる。換言すれば、情報320は、情報モジュール326から受信され得る。ビデオ・データ324は、カメラ・システム328から受信される。
ヘッドマウント・システム344は、カメラ・システム328から受信されたビデオ・データ324から画像322に情報320を追加する。他の説明の例では、ヘッドマウント・システム344は、任意の数の表示装置350の場合と同じ方法で情報モジュール326によって画像322に追加された情報320を有するビデオ・データ324を受信することができる。
このようにして、任意の数の人354は、オブジェクト306についての入力356を提供することができる。入力356は、たとえば、オブジェクト306で実施されるべき操作、カメラ・システム328によって見られるオブジェクト306の一部を移動しまたは変更すべき人342への命令、オブジェクト306に関する質問、および/または他の適切なタイプの入力を含むことができる。入力356の人342への命令は、テキスト、音声の形態、および/または他の適切な形態の命令の形をとることができる。
さらに、ヘッドマウント・システム344はまた、ビデオ・データ324を有するオーディオ362を含むことができる。オーディオ362は、人342の音声であり得る。このようにして、人342によるオーディオ362、および任意の数の人354からの入力356の音声の場合、人342がオブジェクト306のところに配置されながら議論が行われ得る。結果として、人342と任意の数の人354との間の連携が、人342が場所332を離れることなく行われ得る。
また、人342は、任意の数の人354の指揮の下で任意の数の操作308を行うことができる。任意の数の人354は、人342が任意の数の操作308を行いながら、画像322による情報320を有するビデオ・データ324を見ることによって任意の数の操作308に対して指揮を与えることができる。
このようにして、任意の数の操作308は、現在のシステムに比べて、拡張現実感情報システム316を用いてより迅速にオブジェクト306に対して実施され得る。オブジェクト306の場所332において人342によって見られるように、任意の数の人354がオブジェクト306を見ることができるようにすることによって、入力356を、現在のプロセスの場合よりもより迅速に得ることができる。たとえば、人342は、オブジェクト306に関しては研究を行うには及ばない場合がある。その代わりとして、情報モジュール326は、オブジェクト306の情報320を識別し、人342がオブジェクト306を見ながらビデオ・データ324の画像322による情報320を表示することができる。
他の例では、画像322による情報320を有するビデオ・データ324を送信することによって、任意の数の人354は、入力356をより迅速に提供することができる。入力356は、たとえば、人342が会合に出席するのにオブジェクト306を離れることなく提供され得る。
さらに他の説明の例では、画像322による情報320を有するビデオ・データ324は、記憶装置358に格納され得る。さらに、入力356はまた、教材360を形成するように記憶装置358に格納され得る。教材360は、議論されていることができる任意の数の操作308について知識を身につけるようにやがてはもっと後の時点で他の人によって見られ得る。
図3のオブジェクト情報環境300の説明は、異なる有利な実施形態が実施され得る方法に対して物理的または構造的な制限を暗示することが意図されるものではない。説明された構成要素に加えて、および/またはそれの代わりに他の構成要素を使用することができる。ある構成要素は、ある有利な実施形態には不必要であり得る。また、ブロックは、ある機能的構成要素を説明するように示されている。異なる有利な実施形態で実施される場合、これらのブロックのうちの1つまたは複数が、組み合わされ、かつ/または異なるブロックに分割され得る。
たとえば、ある説明の例では、任意の数の表示装置350は存在しない場合がある。他の説明の例では、コンピュータ・システム336は、オブジェクト306について入力356を提供するように構成されるプロセスを含むことができる。他の例のように、ある説明の例では、コンピュータ・システム336は、パターン認識プロセスを含むように構成され得る。これらのパターン認識プロセスは、たとえば、構成要素または画像の部分の識別を可能にすることができる。これらの部分または構成要素の認識に基づき、実施すべきその手続きに関して提案が行われ得る。
また、情報320は、画像322に表示される情報より他の形態をとることができる。たとえば、制限されることなく、情報320は、オーディオを含むことができる。オーディオは、画像322が表示されると与えられ得る音響または音声であり得る。
他の説明の例のように、表示装置340および任意の数の表示装置350などの表示装置は、画像322が与えられる表示画面の形態をとることができるが、これらの表示装置はまた、他の形態をとることもできる。たとえば、また、仮想網膜ディスプレイを使用することもできる。仮想網膜ディスプレイの場合、表示装置は、画像を見る人の眼の網膜に直接にラスタ表示を投影しかつ/または描く。
ある説明の例では、拡張現実感情報システム316は、カメラ・システム328に加えて、またはそれの代わりにビデオ・データ324を生成するように構成される任意の数の他の装置を含むことができる。たとえば、拡張現実感情報システム316は、超音波撮像装置、赤外線撮像装置、無線周波装置、ならびに/または、画像322および/もしくは画像322を形成するのに使用され得るデータを生成するように構成されるある他の適切なタイプの装置のうちの少なくとも1つを含むことができる。
次に図4を参照して、拡張現実感情報システムのデータ・フローの説明が、有利な実施形態に従って示されている。この説明の例では、拡張現実感情報システム400は、図3の拡張現実感情報システム316についての1つの実施の例である。
この説明の例では、拡張現実感情報システム400は、コンピュータ・システム404の情報モジュール402、ヘッドマウント・システム406、および任意の数の表示装置408を含む。ヘッドマウント・システム406は、場所412において人410によって装着されるように構成されるハードウェアである。これらの例では、航空機414は、場所412に配置される。任意の数の表示装置408は、任意の数の場所416に配置される。任意の数の場所416における任意の数の人418は、任意の数の表示装置408を使用することができる。
これらの説明の例では、ヘッドマウント・システム406は、航空機414のビデオ・データ420を生成する。ビデオ・データ420は、人410の視点424からの画像422を含む。これらの説明の例では、ビデオ・データ420は、情報モジュール402に送信される。この情報は、通信リンク426を通して送信され得る。通信リンク426は、特定の実施に応じて有線および/または無線通信リンクである。
情報モジュール402は、画像422による表示のための情報428を識別する。情報428これらの説明の例では航空機データベース430を用いて識別される。
さらに、情報428は、人410および任意の数の人418について同じであり得る。他の説明の例では、情報428は、人410および任意の数の人418について異なる場合がある。人410の情報428の識別は、選択された情報432の形をとることができる。さらに、情報428の選択された情報432はまた、任意の数の人418について識別され得る。ある場合には、選択された情報432は、情報428と同じである場合があり、または航空機414の情報の部分集合であり得る。
これらの説明の例では、情報モジュール402は、人410および任意の数の人418について選択された情報432を識別するようにプロファイル・データベース434を使用することができる。これらの例では、プロファイル・データベース434は、任意の数のプロファイル436を含む。この任意の数のプロファイルは、特定の人について選択された情報432を識別するように情報モジュール402によって使用され得る。
任意の数のプロファイル436の各プロファイルは、人410および任意の数の人418のうちの1人に対応する。たとえば、この例では、プロファイル438が人410に対応する。プロファイル438は、情報428からの選択された情報432に含まれるべきであるその情報の識別を可能にする。結果として、選択された情報432は、人410および任意の数の人418のそれぞれに基づいて整えられまたは特定的に選択され得る。
さらに、ポリシー450が、情報428からの選択された情報432を識別するように人410のプロファイル438に適用され得る。ポリシー450は、たとえば、制限されることなく、任意の数の規則、指針、および/または情報428のどの部分が人410について選択された情報432を形成するのに使用され得るかを選択するための基準であり得る。
ある説明の例では、選択された情報432だけが、任意の数の表示装置408のヘッドマウント・システム406に送信される。このようにして、すべてとは言えない情報428が、各表示装置に送信され得る。
他の説明の例では、情報428のすべてが、ヘッドマウント・システム406および任意の数の表示装置408に送信され得る。たとえば、情報428のすべては、ヘッドマウント・システム406に送信されることができ、ヘッドマウント・システム406は、プロファイル438およびポリシー450に基づいて人410に対する表示のために情報428からの選択された情報432を識別することができる。
この示された例では、情報428の選択された情報432だけが、ヘッドマウント・システム406および任意の数の表示装置408に表示される。たとえば、情報428は、暗号化された情報440を形成するように暗号化され得る。1つの例では、一組のキー442が、人410のプロファイル438を用いて人410について選択される。一組のキー442は、プロファイル438に基づいて人410について選択された情報432を復号化するように構成される。換言すれば、一組のキー442の1つのキーは、人410がヘッドマウント・システム406で見るべき情報428について含まれる。暗号化された情報440の復号化されていない情報は、ヘッドマウント・システム406上で人410に表示されない。
これらの示された例では、一組のキー442は、キーなしの空の集合または空集合、あるいは1つまたは複数のキーであり得る。換言すれば、ある場合には、一組のキー442は、いかなる情報も暗号化された情報440に表示されるべきでない空集合であり得る。
他の例では、画像422の各画像は、第1の数の部分444を有し、情報428は、第2の数の部分446を有する。これらの説明の例では、第1の数の部分444の部分は、画像内の領域である。
この領域は、任意の数の異なる方法で規定され得る。たとえば、領域は、特定の実施に応じて、画像の特定の構成要素のための領域として規定されることができ、またはユーザ定義である場合がある。たとえば、構成要素は、1人または複数の人に表示されるに及ばない画像内にあるアンテナであり得る。
情報428の第2の数の部分446内の情報428の部分は、いくつかの異なる形態をとることができる。たとえば、ある場合には、部分は、配線システムについての図情報もしくは他のタイプの情報、スキン・パネルの場所、スキン・パネルのプライの配向のプライの横断面、および/または他の適切なタイプの情報であり得る。
この示された例では、一組のキーは、任意の数の人418の各人に対して識別される。一組のキーは、暗号化された情報の選択された情報と、暗号化された情報440の各画像の選択された任意の数の部分とを復号化するように構成される。また、画像422は、暗号化された情報440の暗号化された画像448を形成するように暗号化され得る。
結果として、任意の数の人418の各人について任意の数の表示装置408の各表示装置上の任意の数の画像の選択された部分の選択された情報の表示は、表示装置のところのその人に対応する一組のキーを用いて行われる。結果として、暗号化された情報440と暗号化された画像448のうちの一組のキーを用いて暗号化されていない全ての部分が、表示装置を用いて特定の人に対して表示装置で表示されない。
このようにして、情報は、人のプロファイルに基づいて各人に識別され得る。このようにして、各人が必要としまたは見ることができる情報が、人によって使用される表示装置のところでその特定の人に表示される。結果として、人は、必要とされない、かつ/または人が見ることができない情報を見ることができない。
そのうえ、これらの説明の例では、情報モジュール402は、画像の選択された部分454を形成するように画像422をフィルタリングするようにフィルタリング・プロセス452を用いる。たとえば、制限されることなく、フィルタリング・プロセス452は、航空機414で現在行われている任意の数の操作に関連性のある画像422の部分のみを識別するように画像422をフィルタリングすることができる。
1つの説明の例のように、人410が不整合を有するスキン・パネルに操作を行っている場合には、フィルタリング・プロセス452は、スキン・パネルの周りの他の部分を含む画像422の部分を徹底的にフィルタリングすることができる。画像の選択された部分454は、スキン・パネルの関連性のある部分だけが表示されるように任意の数の表示装置408に表示される。たとえば、アンテナ、ドア、窓、または航空機の他の部分は、任意の数の表示装置408に表示されない場合がある。
さらに他の例では、画像422は、地上設備、要員、および/または人410によって航空機414で行われている任意の数の作業に関連性のない他のオブジェクトを含むことができる。フィルタリング・プロセス452は、航空機414で行われている任意の数の作業に関連性のある航空機414の部分だけが任意の数の人418に対し任意の数の表示装置408に表示されるようにこれらのオブジェクトを徹底的にフィルタリングすることができる。
ある説明の例では、情報モジュール402は、ヘッドマウント・システム406のところで表示される画像422にグラフィカル・インジケータを表示し、または画像422の部分が人410のプロファイル438に基づいて表示される方法を変更するように構成され得る。1つの説明の例のように、グラフィカル・ボックスなどのグラフィカル・インジケータは、人410が見るように認可されていない画像422の部分を通して表示され得る。他の説明の例のように、人410が見るように認可されていない画像422の部分は、陰にされ、遮られ、暗くされ、削除され、または、人410がこれらの部分を受け取りかつ/または見ることができないようにある他の適切な方法で変更され得る。
図4の拡張現実感情報システム400の説明は、異なる有利な実施形態が実施され得る方法に対して物理的または構造的な制限を暗示することが意図されるものではない。拡張現実感情報システム400は、1つの例示的な実施形態として与えられる。
たとえば、拡張現実感情報システム400のオブジェクトは、航空機414に向かって方向付けられる。他の説明の例では、拡張現実感情報システム400は、他のタイプのオブジェクトで使用され得る。たとえば、オブジェクトは、移動プラットフォーム、静止プラットフォーム、地上設置型構造物、水上設置型構造物、空間設置型構造物、航空機、水上船舶、タンク、人員運搬車、列車、宇宙船、宇宙ステーション、人工衛星、潜水艦、自動車、発電プラント、橋、ダム、製造設備、建築物、エンジン、翼、ならびにそれらの要素および構成要素のうちの1つから選択され得る。
次に図5に移って、データ処理システムの説明が、有利な実施形態に従って示されている。図5のデータ処理システム500は、異なる有利な実施形態において異なる装置を実施するのに使用され得るデータ処理システムの例である。たとえば、データ処理システム500は、図3のコンピュータ・システム336の任意の数のコンピュータ338のうちの1つもしくは複数、および/または図4のコンピュータ・システム404を実行するのに使用され得る。
この説明の例では、データ処理システム500は、通信ファブリック502を含み、これは、プロセッサ・ユニット504と、メモリ506と、パーシステント・ストレージ508と、通信ユニット510と、入力/出力(I/O)ユニット512と、ディスプレイ514との間の通信を行う。プロセッサ・ユニット504は、メモリ506にロードされ得るソフトウェアの命令を処理する。プロセッサ・ユニット504は、特定の実施に応じて、任意の数のプロセッサ、マルチプロセッサ・コア、またはある他のタイプのプロセッサであり得る。項目を参照して本明細書において使用されるように、数字は、1つまたは複数の項目を意味する。
さらに、プロセッサ・ユニット504は、メイン・プロセッサが単一のチップに二次プロセッサと共に存在する任意の数の異種のプロセッサ・システムを用いて実施され得る。他の説明の例のように、プロセッサ・ユニット504は、同じタイプのマルチ・プロセッサを含む対称マルチプロセッサ・システムであり得る。
メモリ506およびパーシステント・ストレージ508は、記憶装置516の例である。記憶装置は、たとえば、制限されることなく、一時的および/または永続的に、データ、機能的形態のプログラム・コード、および/または他の適切な情報などの情報を格納することができるハードウェアの任意の部分である。また、記憶装置516は、これらの例ではコンピュータ読み取り可能な記憶装置と呼ばれる場合がある。これらの例では、メモリ506は、たとえば、ランダム・アクセス・メモリまたは任意の他の適切な揮発性もしくは不揮発性記憶装置であり得る。パーシステント・ストレージ508は、特定の実施に応じて、さまざまな形態をとることができる。
たとえば、パーシステント・ストレージ508は、1つまたは複数の構成要素または装置を含むことができる。たとえば、パーシステント・ストレージ508は、ハード・ドライブ、フラッシュ・メモリ、書換え可能光ディスク、書換え可能磁気テープ、または上記のある組合せであり得る。また、パーシステント・ストレージ508によって使用される媒体は、取り外し可能であってもよい。たとえば、リムーバブル・ハード・ドライブは、パーシステント・ストレージ508に使用され得る。
これらの例では、通信ユニット510は、他のデータ処理システムまたは装置との通信に備えている。これらの例では、通信ユニット510は、ネットワーク・インターフェイス・カードである。通信ユニット510は、物理的および無線通信リンクのどちらかまたは両方の使用を通して通信を行うことができる。
入力/出力ユニット512は、データ処理システム500に接続され得る他の装置によってデータの入力および出力を可能にする。たとえば、入力/出力ユニット512は、キーボード、マウス、および/またはある他の適切な入力装置を通して人の入力について接続を行うことができる。さらに、入力/出力ユニット512は、プリンタに出力を送信することができる。ディスプレイ514は、人に情報を表示する仕組みを提供する。
オペレーティング・システム、アプリケーション、および/またはプログラムの命令は、記憶装置516に配置されることができ、これは、通信ファブリック502を通してプロセッサ・ユニット504と通信している。これらの説明の例では、命令は、パーシステント・ストレージ508の機能的形態の中にある。これらの命令は、プロセッサ・ユニット504による実行のためにメモリ506にロードされ得る。異なる実施形態のプロセスは、コンピュータ実施される命令を用いてプロセッサ・ユニット504によって実行されることができ、これは、メモリ506などのメモリにロードされ得る。
これらの命令は、プログラム・コード、コンピュータ使用可能なプログラム・コード、またはプロセッサ・ユニット504のプロセッサによって読み取られ実行され得るコンピュータ読み取り可能なプログラム・コードと呼ばれる。異なる実施形態のプログラム・コードは、メモリ506またはパーシステント・ストレージ508などの、異なる物理的またはコンピュータ読み取り可能な記憶媒体に具体化され得る。
プログラム・コード518は、選択的に取り外し可能であるコンピュータ読み取り可能な媒体520の機能的形態に配置され、プロセッサ・ユニット504による実行のためにデータ処理システム500にロードされまたは転送され得る。プログラム・コード518およびコンピュータ読み取り可能な媒体520は、これらの例では、コンピュータ・プログラム製品522を形成する。1つの例では、コンピュータ読み取り可能な媒体520は、コンピュータ読み取り可能な記憶媒体524またはコンピュータ読み取り可能な信号メディア526であり得る。
コンピュータ読み取り可能な記憶媒体524は、たとえば、ドライブまたは他の装置に挿入されまたは配置される光ディスクまたは磁気ディスクを含むことができ、このドライブまたは他の装置は、ハード・ドライブなどの、パーシステント・ストレージ508の一部である記憶装置に転送するためのパーシステント・ストレージ508の一部である。また、コンピュータ読み取り可能な記憶媒体524は、ハード・ドライブ、サム・ドライブ、またはフラッシュ・メモリなどの、データ処理システム500に接続されるパーシステント・ストレージの形をとることができる。
ある例では、コンピュータ読み取り可能な記憶媒体524は、データ処理システム500から取り外し可能でない場合がある。これらの例では、コンピュータ読み取り可能な記憶媒体524は、プログラム・コード518を伝達しまたは伝送する媒体ではなく、プログラム・コード518を格納するのに使用される物理的または実体的記憶装置である。
また、コンピュータ読み取り可能な記憶媒体524は、コンピュータ読み取り可能な実体的記憶装置、またはコンピュータ読み取り可能な物理的記憶装置と呼ばれる。換言すれば、コンピュータ読み取り可能な記憶媒体524は、人によって触れられ得る媒体である。
あるいは、プログラム・コード518は、コンピュータ読み取り可能な信号メディア526を用いてデータ処理システム500に転送され得る。コンピュータ読み取り可能な信号メディア526は、たとえば、伝播データ信号含有プログラム・コード518であり得る。たとえば、コンピュータ読み取り可能な信号メディア526は、電磁気信号、光信号、および/または任意の他の適切なタイプの信号であり得る。これらの信号は、無線通信リンク、光ファイバー・ケーブル、同軸ケーブル、ワイヤ、および/または任意の他の適切なタイプの通信リンクなどの、通信リンクを通して伝送され得る。換言すれば、通信リンクおよび/または接続は、説明の例の場合は物理的または無線であり得る。
ある有利な実施形態では、プログラム・コード518は、データ処理システム500内での使用のためにコンピュータ読み取り可能な信号メディア526を通して他の装置またはデータ処理システムからパーシステント・ストレージ508にネットワークを通してダウンロードされ得る。たとえば、サーバー・データ処理システムのコンピュータ読み取り可能な記憶媒体に格納されるプログラム・コードは、サーバーからデータ処理システム500にネットワークを通してダウンロードされ得る。プログラム・コード518を与えるデータ処理システムは、サーバー・コンピュータ、クライアント・コンピュータ、またはプログラム・コード518を格納し伝送することができるある他の装置であり得る。
データ処理システム500に対して説明される異なる構成要素は、異なる実施形態が実施され得る方法に対して構造的な制限を与えることが意図されるものではない。異なる有利な実施形態は、データ処理システム500に対して説明される構成要素に加えてまたはそれの代わりに構成要素を含むデータ処理システムで実施され得る。図5に示される他の構成要素は、示された説明の例から変更することができる。
たとえば、異なる実施形態が、プログラム・コードを実行することができる任意のハードウェア装置またはシステムを用いて実施され得る。1つの例として、データ処理システムは、無機成分と一体化した有機成分を含むことができ、かつ/または人間を除く有機成分から完全に成ることができる。たとえば、記憶装置は、有機半導体から成ることができる。
他の説明の例では、プロセッサ・ユニット504は、特定の使用のために製造されまたは構成される回路を有するハードウェア・ユニットの形をとることができる。このタイプのハードウェアは、操作を実施するように構成されるべき記憶装置からメモリにロードされるべきプログラム・コードを必要とすることなく操作を実行することができる。
たとえば、プロセッサ・ユニット504がハードウェア・ユニットの形をとる場合には、プロセッサ・ユニット504は、回路システム、特定用途向け集積回路(ASIC)、プログラマブル・ロジック・デバイス、または任意の数の操作を実施するように構成されるある他の適切なタイプのハードウェアであり得る。
プログラマブル・ロジック・デバイスの場合、デバイスは、任意の数の操作を実施するように構成される。デバイスは、後で再構成されることができ、または任意の数の操作を実施するように恒久的に構成され得る。プログラマブル・ロジック・デバイスの例には、たとえば、プログラマブル・ロジック・アレイ、プログラマブル・アレイ・ロジック、フィールド・プログラマブル・ロジック・アレイ、フィールド・プログラマブル・ゲート・アレイ、および他の適切なハードウェア装置がある。このタイプの実施の場合、プログラム・コード518は、異なる実施形態のプロセスがハードウェア・ユニットで実行されるので省略され得る。
さらに他の説明の例では、プロセッサ・ユニット504は、コンピュータおよびハードウェア・ユニットに見い出されるプロセッサの組合せを用いて実施され得る。プロセッサ・ユニット504は、プログラム・コード518を実行するように構成される任意の数のハードウェア・ユニットおよび任意の数のプロセッサを有することができる。この示された例の場合、プロセスのうちのいくつかが、任意の数のハードウェア・ユニットで実行されることができるが、他のプロセスは、任意の数のプロセッサで実行され得る。
他の例では、バス・システムが、通信ファブリック502を実施するのに使用されることができ、システム・バスまたは入力/出力バスなどの1つまたは複数のバスから成ることができる。もちろん、バス・システムは、異なる構成要素の間のデータの転送に備える任意の適切なタイプの構造、またはバス・システムに取り付けられる装置を用いて実行され得る。
そのうえ、通信ユニットは、データを伝送し、データを受信し、またはデータを伝送し受信するいくつかのより多くのデバイスを含むことができる。通信ユニットは、たとえば、モデムもしくはネットワーク・アダプタ、2つのネットワーク・アダプタ、またはそれらのある組合せであり得る。さらに、メモリは、たとえば、インターフェイス、および通信ファブリック502に存在し得るメモリ・コントローラ・ハブに見い出されるような、メモリ506、またはキャッシュであり得る。
次に図6を参照して、プロファイルの説明が、有利な実施形態に従って示されている。この説明の例では、プロファイル600は、図4のプロファイル・データベース434の任意の数のプロファイル436のプロファイルについての1つの実施の例である。この説明の例では、プロファイル600には、識別名602、名前604、クリアランス・レベル606、業務608、専門610、場所612、および他の適切な情報がある。識別名602は、特定の人を一意に識別するのに使用され得る。名前604は、これらの例では人の名前である。
クリアランス・レベル606は、人のクリアランス・レベルである。このクリアランス・レベルは、組織の内部にある、かつ/または政府規定を通してのセキュリティと関係があり得る。たとえば、クリアランス・レベルは、機密であり、かつ機密でない場合がある。他の例では、2つより多いクリアランス・レベルが、存在し、数字、文字、またはある他の標示によって識別され得る。他の例では、多数のクリアランス・レベルが、特定の組織内の異なるタイプの情報について設定され得る。
業務608は、人によって行われる業務を識別する。この業務は、人が見ることができる情報のタイプを識別するのに使用され得る。また、専門610は、人の技術背景の識別を可能にし、人の専門技術のレベルを含むことができる。
場所612は、輸出管理情報が特定の表示装置の場所において表示装置に表示され得るかどうかを決定するのに使用され得る。たとえば、画像および情報のうちの少なくとも1つが輸出管理されている場合には、場所612は、画像の部分が徹底的にフィルタリングされるべきか、情報のうちのいくつかが伝送されるべきでないか、または他のフィルタリングが輸出管理法によるコンプライアンスを維持するように発生するべきかどうかを決定するのに使用され得る。
次に図7を参照して、ポリシーの説明が、有利な実施形態に従って示されている。この説明の例では、ポリシー700は、図4のポリシー450の1つの実施の例である。
この説明の例では、ポリシー700は、任意の数の規則702およびデータ704を含む。ポリシー700の任意の数の規則702は、図6のプロファイル600などの、プロファイルに適用され得る。このようにして、プロファイルと関連する特定の人についての選択された情報が識別され得る。データ704は、任意の数の規則702をプロファイルに適用する際に使用される値または他の情報を含むことができる。
示されるように、任意の数の規則702は、任意の数の異なるタイプの規則を含むことができる。たとえば、任意の数の規則702は、制限されることなく、セキュリティ規則706、業務規則708、専門規則710、および/または他の適切なタイプの規則のうちの少なくとも1つを含むことができる。
セキュリティ規則706は、一定のクリアランスまたはセキュリティ・レベルが画像に追加され得る情報の一定の情報を見るのに必要とされるということを示すことができる。セキュリティ規則706は、画像の部分がセキュリティ・レベルを必要とする場合があるということを示すことができる。
そのうえ、セキュリティ規則706はまた、輸出管理情報が存在するかどうかを決定し、かつ特定のビュワーが異なる場所において情報を見ることができるかどうかを決定するように注視することができる。さらに、セキュリティ規則706はまた、機密情報が存在するかどうか、および表示装置のところの人が機密情報を見るように認可されているかどうかを決定する規則を含むことができる。
業務規則708は、特定の人に関連性のある情報を識別するのに使用され得る。たとえば、情報を見る人が電気技術者および材料専門家を含む場合、これらの2人の人々に表示される情報は異なる場合がある。たとえば、配線略図は材料専門家には表示され得ないが、パネルの複合材料についての情報は、電気技術者には表示され得ない。情報は、電気システムの配線略図、およびパネルの複合材料についての情報を含むことができる。専門規則710は、彼らの経験、教養、および/または他の適切な要因に基づいて特定の人に関連性のある情報を識別するのに使用され得る。
図6のプロファイル600および図7のポリシー700の説明は、異なるプロファイルおよびポリシーが実施され得る方法に対して制限を暗示することが意図されるものではない。他の説明の例では、ポリシーは、プロファイル600で説明される情報の代わりにまたはそれに加えて他の情報を含むことができる。他のポリシーは、任意の数の規則702について説明されるものより他の規則を含むことができる。
次に図8を参照して、オブジェクト情報環境の説明が、有利な実施形態に従って示されている。この説明の例では、オブジェクト情報環境800は、図3のオブジェクト情報環境300の1つの実施の例である。
この説明の例では、オブジェクト情報環境800は、ヘッドマウント・システム804、コンピュータ・システム808の情報モジュール806、表示装置810、表示装置812、表示装置814、および表示装置816を含む。表示装置810および表示装置812は、場所822にあるが、表示装置814および表示装置816は、場所824にある。場所822および場所824は、互いに遠く離れ、ヘッドマウント・システム804を装着する人820の場所に対して遠く離れている場合がある。人820は、航空機802の場所のところであり得る。
人823は、場所822の表示装置810および表示装置812を見ている。人825は、場所824の表示装置814および表示装置816を見ている。人825は、人823および人820よりも高いクリアランス・レベルを有することができる。さらに、人825は、人823および人820よりも専門的技術の高いレベルを有することができる。そのうえ、人823は、人820よりも高いクリアランス・レベルおよび専門的技術のレベルを有することができる。たとえば、人820は、技術者である場合があり、人823は、上級技術者である場合があり、人825は、人823および人820の上司である場合がある。
示されるように、ヘッドマウント・システム804は、眼鏡826の形をとる。眼鏡826は、人820の視点から航空機802のビデオ・データを生成するように構成されるカメラ・システムを含む。さらに、眼鏡826は、人820が眼鏡826を通した航空機802のライブ物理ビューに加えて航空機802についての拡張情報を見ることができる、表示装置を含む。示されるように、人820の視点からの航空機802の画像821は、眼鏡826を通して人823に表示される。
眼鏡826によって生成されるビデオ・データは、無線通信リンクを用いて情報モジュール806に送信される。また、情報モジュール806は、表示装置810、表示装置812、表示装置814、および表示装置816と無線で通信するように構成される。このようにして、眼鏡826と、表示装置810と、表示装置812と、表示装置814と、表示装置816との間の通信が、情報モジュール806を通して行われ得る。
情報モジュール806は、連続的なビデオ・ストリームとしてまたは周期的に眼鏡826からビデオ・データを受信することができる。この説明の例では、情報モジュール806は、ビデオ・データを処理する。たとえば、情報モジュール806は、航空機802のタイプおよび/またはモデルを識別する。また、情報モジュール806は、人820のプロファイルを識別する。さらに、情報モジュール806は、場所822の人823のプロファイル、および場所824の人825のプロファイルを識別する。
情報モジュール806は、表示装置810に人820の視点からの航空機802の画像821を表示する。このようにして、人823は、人820が見るものを見ることができる。さらに、人823のプロファイルならびに航空機802のタイプおよび/またはモデルに基づいて、情報モジュール806は、表示装置812に航空機802の概略図834を表示する。人823は、航空機802の領域836を識別するように、表示装置810に表示される画像821と、表示装置812に表示される概略図834とを用いる。領域836は、不整合が識別されている領域であり得る。
この説明の例では、人823は、概略図834および画像821上の領域836を選択するユーザ入力に入る。情報モジュール806は、このユーザ入力を受信し、人820によって見られる画像821にグラフィカル・インジケータ840を表示する。さらに、人823はまた、音声命令の形のユーザ入力に入ることができる。たとえば、人823は、領域836で探すべきもの、および/または領域836について任意の数の操作を行う方法を人820に命令することができる。
ある場合には、人820は、画像821から概略図834に眼鏡826を通してビューを切り替えることができる。さらに、人820は、同時に概略図834も画像821も見るように眼鏡を使用することができる。
この説明の例では、人823は、人820よりも高いクリアランス・レベルを有する。人823は、航空機802の領域842を見るためのクリアランスを有するが、人820は、領域842を見るためのクリアランスを有さない。概略図834が眼鏡826を通して人820に表示される場合には、領域842および/または領域842についての情報は、人820に表示されない。
そのうえ、情報モジュール806はまた、人825が見るように表示装置814に画像821と、表示装置816に概略図834とを表示することができる。人825は、示された例では、人823よりも高いクリアランス・レベルを有する。人825のクリアランスのレベルに基づいて、情報モジュール806は、人823用の表示装置812の概略図834よりも人825用の表示装置816の概略図834によって領域842についてより多くの情報を表示する。このようにして、情報モジュール806は、人がその人によって見られている表示装置上のクリアランスを有する情報を表示するだけである。
この説明の例では、人825は、実時間で人820によって領域836に行われている任意の数の操作、および人823によって与えられている命令の進行を監視することができる。さらに、人825は、表示装置814の画像821および表示装置816の概略図834に基づき、人823および/または人820にさらなる命令および/または情報を与えることができる。
図8のオブジェクト情報環境800の説明は、異なる有利な実施形態が実施され得る方法に対して物理的または構造的な制限を暗示することが意図されるものではない。たとえば、ある場合には、人823および/または人825によって見られる表示装置は、ヘッドマウント・システム804に類似した、ヘッドマウント・システムの部分であり得る。
次に図9を参照して、情報を表示するためのプロセスのフローチャートが、有利な実施形態に従って示されている。図9に説明されるプロセスは、図3のオブジェクト情報環境300などの、オブジェクト情報環境で実行され得る。
プロセスは、オブジェクトの場所においてカメラ・システムの視点からオブジェクトのビデオ・データを生成することによって開始する(操作900)。
オブジェクトについての情報が、ビデオ・データを用いて識別される(操作902)。次いで、プロセスは、任意の数の場所において表示システムにビデオ・データの画像による情報を表示する(操作904)。任意の数の場所における画像による情報を有する画像の表示は、これらの例ではカメラの視点からである。次いで、プロセスは、任意の数の場所において任意の数の人からオブジェクトについて入力を受信し(操作906)、プロセスは、その後に終了する。
次に図10を参照して、オブジェクトについて情報を識別するためのプロセスのフローチャートが、有利な実施形態に従って示されている。図10に説明されるプロセスは、図3の情報モジュール326などの構成要素で実行され得る。このプロセスは、ハードウェア、ソフトウェア、またはこの2つの組合せで実行され得る。
プロセスは、ヘッドマウント・システムからビデオ・データを受信することによって開始する(操作1000)。ビデオ・データは、航空機などの、オブジェクトについての画像のビデオ・ストリームである。次いで、プロセスは、ビデオ・データを用いてオブジェクトを識別する(操作1002)。たとえば、操作1002では、プロセスは、オブジェクトを識別するようにパターン認識ソフトウェアを使用することができる。ある場合には、プロセスは、オブジェクトを識別するようにユーザ入力を用いることができる。
次に、プロセスは、オブジェクトについて任意の数の操作を識別する(操作1004)。操作1004では、任意の数の操作は、オブジェクトに実施されている操作、および/または実施されるべきである操作を含むことができる。これらの操作は、たとえば、制限されることなく、保守、点検、再加工、インベントリ、および/または他の適切なタイプの操作を含むことができる。
次いで、プロセスは、任意の数の操作に基づいてオブジェクトについて情報を識別し(操作1006)、プロセスは、その後に終了する。情報は、たとえば、オブジェクトの概略図、オブジェクトに使用される材料のリスト、オブジェクトの寸法、オブジェクトの部品の連絡番号、および/または他の適切なタイプの情報を含むことができる。操作1006は、オブジェクトおよび/または他のオブジェクトについての情報を含むデータベースを用いて実行され得る。
次に図11を参照して、情報をビデオ・データの画像と関連させるためのプロセスのフローチャートが、有利な実施形態に従って示されている。図11に説明されるプロセスは、図3の情報モジュール326で実行され得る。このプロセスは、ハードウェア、ソフトウェア、またはこの2つの組合せで実行され得る。
プロセスは、オブジェクトの画像と関連するように情報を識別することによって開始する(操作1100)。情報は、たとえば、図10の操作1006で識別された情報、または操作1006で識別された情報のある部分であり得る。1つの説明の例として、オブジェクトが航空機のスキン・パネルである場合には、スキン・パネルの情報は、スキン・パネルの後ろに配置される配線システムの配線略図を含むことができる。
次いで、プロセスは、情報を表すように任意の数のグラフィカル要素を識別する(操作1102)。たとえば、グラフィカル要素は、テキスト、グラフィカル・インジケータ、絵、ボタン、および/または表示装置に表示され得る他のタイプのグラフィカル要素であり得る。1つの説明の例として、配線システムのグラフィカル要素は、スキン・パネルの後ろに配置される配線システムの配線略図の絵であり得る。
他の例では、グラフィカル要素は、選択される場合に配線略図を表示するウィンドーを開くグラフィカル・ボタンであり得る。さらに他の例では、任意の数のグラフィカル要素は、その後ろに配線システムが配置されるスキン・パネルに領域の輪郭を描くためのグラフィカル・インジケータ、および配線システムのテキスト記述を含むことができる。
その後に、プロセスは、グラフィカル要素および/または情報を画像と関連させ(操作1104)、プロセスは、その後に終了する。操作1104は、たとえば、表示装置に画像のグラフィカル要素を表示することによって実行され得る。
たとえば、配線システムまたはグラフィカル・ボタンの配線略図の絵は、スキン・パネルの画像を通して表示され得る。ある例では、操作1104は、画像による情報および/またはグラフィカル要素を表示するための命令を生成することによって実行され得る。
この説明の例では、操作1104は、ディスプレイのために表示装置に送信されている画像より前に実行され得る。このようにして、画像は、この画像と関連するグラフィカル要素と一緒に、人によって見るために表示装置に送信され得る。他の説明の例では、操作1104は、画像が表示される表示装置によって実行され得る。
たとえば、表示装置は、情報モジュールから画像および/またはグラフィカル要素を受信するように構成されるグラフィックス・アダプタを有することができる。グラフィックス・アダプタは、情報および/またはグラフィカル要素を画像と関連させる命令に基づいて、表示装置に表示される画像を通して情報および/またはグラフィカル要素を表示するように構成され得る。
次に図12を参照して、情報を表示するためのプロセスのフローチャートが、有利な実施形態に従って示されている。図12に説明されるプロセスは、図3の情報モジュール326で実行され得る。このプロセスは、ハードウェア、ソフトウェア、またはこの2つの組合せで実行され得る。
プロセスは、第1のウィンドーにヘッドマウント・システムのカメラ・システムによって生成される画像を表示することによって開始する(操作1200)。第1のウィンドーは、表示装置に表示されるウィンドーである。画像は、オブジェクトの小さな部分であり得る。たとえば、画像は、ヘッドマウント・システムを装着する人の視点からの航空機のドアの画像であり得る。
次いで、プロセスは、画像のオブジェクトを識別する(操作1202)。その後に、プロセスは、オブジェクトのより大きな部分を識別する(操作1204)。オブジェクトのより大きな部分は、オブジェクト全体、または画像の中にあるオブジェクトの小さな部分を含むオブジェクトのある部分を含むことができる。
その後に、プロセスは、第2のウィンドーにオブジェクトのより大きな部分を表示する(操作1206)。第2のウィンドーは、第1のウィンドーと同じ表示装置、または異なる表示装置に表示され得る。
次に、プロセスは、第2のウィンドーにオブジェクトのより大きな部分のグラフィカル・インジケータを表示し(操作1208)、プロセスは、その後に終了する。グラフィカル・インジケータは、表示されるオブジェクトのより大きな部分内にオブジェクトの小さな部分の場所を表示する。グラフィカル・インジケータは、たとえば、第2のウィンドーに表示されるオブジェクトのより大きな部分内の小さな部分の輪郭であり得る。
次に図13を参照して、画像による情報を表示するためのプロセスのフローチャートが、有利な実施形態に従って示されている。このプロセスは、各人に表示されるべき情報を識別することを含む。各人に選択される情報は、人のプロファイルおよびポリシーに基づいて識別され得る。また、このプロセスは、図3の情報モジュール326で実行され得る。このプロセスは、ハードウェア、ソフトウェア、またはこの2つの組合せで実行され得る。
プロセスは、任意の数の人を識別することによって開始する(操作1300)。その後に、プロセスは、処理のために任意の数の人から1人を選択する(操作1302)。プロファイルは、選択された人について識別される(操作1304)。次いで、プロセスは、使用のためのポリシーを識別する(操作1306)。
次いで、プロファイルおよびポリシーを用いて情報から選択された情報を識別する(操作1308)。たとえば、ポリシーは、選択された情報を識別するためにフィルタを形成するようにプロファイルに適用され得る。操作1308の情報は、たとえば、図10の操作1006で識別された情報であり得る。ある場合には、ポリシーは、識別された選択された情報が暗号化されるべきであるということを示すことができる。このようにして、操作1308は、暗号化された情報を形成するように選択された情報を暗号化することを含み得る。
次いで、プロセスは、プロファイルおよびポリシーを用いて人に表示されるべき画像の部分を識別する(操作1310)。ある場合には、ポリシーは、識別された画像の部分が暗号化されるべきであるということを示すことができる。このようにして、操作1310は、暗号化された情報を形成するように表示されるべき画像の部分を暗号化することを含み得る。
次いで、プロセスは、選択された情報および識別された画像の部分を表示装置に送信する(操作1312)。その後に、任意の数の人の中に処理されていない他の人が存在するかどうかについて、決定が行われる(操作1314)。他の人が存在する場合には、プロセスは操作1302に戻る。さもなければ、プロセスは終了する。
次に図14を参照して、表示装置に情報を送信するためのプロセスのフローチャートが、有利な実施形態に従って示されている。この図に説明されるプロセスは、図3の情報モジュール326で実行され得る。このプロセスは、ハードウェア、ソフトウェア、またはこの2つの組合せで実行され得る。さらに、このプロセスは、図13の操作1312の1つの実施の例である。特に、このプロセスは、選択された情報が暗号化された情報を形成するように暗号化される場合、および画像の部分が暗号化された画像を形成するように暗号化される場合に実行され得る。
プロセスは、人のプロファイルを用いて人の一組のキーを生成することによって開始する(操作1400)。次いで、プロセスは、処理された情報を形成するように一組のキーを用いで暗号化された情報を処理する(操作1402)。この処理は、一組のキーを用いて復号化され得る任意の情報を復号化すること、および暗号化された一組のキーを用いて復号化され得ない任意の情報を放置することを含むことができる。ある説明の例では、一組のキーは、キーの空集合であることができ、いかなる情報も復号化されない。
その後に、プロセスは、表示装置に処理された情報を送信し(操作1404)、プロセスは、その後に終了する。操作1404では、暗号化される情報だけが、表示装置に表示される。
次に図15を参照して、表示装置にディスプレイのための画像をフィルタリングするためのプロセスのフローチャートが、有利な実施形態に従って示されている。この図に説明されるプロセスは、図3の情報モジュール326で実行され得る。より詳細には、このプロセスは、図4の情報モジュール402のフィルタリング・プロセス452を用いて実行され得る。このプロセスは、ハードウェア、ソフトウェア、またはこの2つの組合せで実行され得る。さらに、このプロセスは、図13の操作1310の1つの実施の例である。
プロセスは、画像の対象となる任意の数の部分を識別することによって開始する(操作1500)。たとえば、対象となる任意の数の部分は、オブジェクトから成る画像の部分、または任意の数の操作が実行されているオブジェクトの部分のみを含むことができる。
たとえば、保守作業は、航空機の翼について実施され得る。翼の画像は、地上設備、航空機の胴体の部分、要員、および/または翼の保守を行うことに関連性のない他のオブジェクトを含むことができる。プロセスは、保守作業に関連性のある画像の部分に基づいて、画像の対象となる任意の数の部分を識別する。
次いで、プロセスは、画像の対象となる任意の数の部分だけがディスプレイに選択されるように画像をフィルタリングし(操作1502)、プロセスは、その後に終了する。
異なる示されている実施形態のフローチャートおよびブロック線図が、構造、機能性、および異なる有利な実施形態の装置および方法についてのいくつかの可能な実施の操作を説明している。この点については、フローチャートおよびブロック線図の各ブロックは、モジュール、セグメント、機能、および/または操作もしくはステップの部分を表すことができる。たとえば、ブロックのうちの1つまたは複数は、ハードウェアで、プログラム・コード、またはプログラム・コードおよびハードウェアの組合せとして実行され得る。ハードウェアで実行される場合、ハードウェアは、たとえば、フローチャートおよびブロック線図において1つまたは複数の操作を実行するように製造されまたは構成される集積回路の形をとることができる。
ある他の実施では、ブロックに留意される機能または複数の機能は、図に留意される順序の中から生じることができる。たとえば、ある場合には、連続して示される2つのブロックは、実質的に同時に実行されることができ、または、ブロックは、必要とされる機能性に応じて、時には逆の順序で実行される場合がある。また、他のブロックが、フローチャートまたはブロック線図で説明されたブロックに加えて追加され得る。
したがって、異なる有利な実施形態は、オブジェクトについて情報を得るための方法および装置を提供する。これらの説明の例では、異なる有利な実施形態は、特に、航空機について情報を得るのに、かつ、より詳細には航空機の保守作業を実施する情報を得るのに有用であり得る。
1つの有利な実施形態では、カメラ・システムが、オブジェクトの場所においてカメラ・システムの視点からオブジェクトのビデオ・データを生成する。オブジェクトについての情報が識別される。この情報は、任意の数の場所において表示システムにビデオ・データの画像で表示される。任意の数の場所における画像による情報を有する画像の表示は、カメラ・システムの視点からである。
異なる有利な実施形態の1つまたは複数を使って、調整可能な拡張および/または没入能力が提供され得る。換言すれば、図3の拡張現実感情報システム316などの装置は、異なるレベルの拡張を使用するように表示されるイメージを適応的に調整することができる。たとえば、ディスプレイは、オブジェクトについて直接の、拡張されていない独占的実世界ビューから、部分的没入かつ部分的拡張ディスプレイに、および完全没入かつ完全拡張仮想現実感ディスプレイに変化されまたは調整され得る。完全没入かつ完全仮想現実感ディスプレイは、目視されるオブジェクトが実世界ビデオ・イメージなしに操作の完全仮想現実感モードにおいて独占的に見られるディスプレイである。情報が画像のすべてを圧倒し、または画像はもはや使用されない。もちろん、適応が、必要または状況に応じて、オブジェクトの画像の任意のレベルの拡張を通して進むことができる。
この適応調整は、任意の数の異なる方法で行われ得る。たとえば、調整は、人、コンピュータ・システム、情報モジュールおよび他の適切な構成要素のうちの少なくとも1つの指示で行われ得る。
このようにして、たとえば、オブジェクトは、問題がオブジェクトの実世界視覚表示という面で議論され得るように、実世界で見られるように目視され得る。目視されるオブジェクトのより多くの情報が必要とされるにつれて、拡張現実感情報システム316は、徐々により多くの詳細を追加することができる。この詳細は、画像に表示される情報の拡張された詳細になっていることができる。そうすることで、さらなる例として、オブジェクトの層が、サブ構成要素および/または構造を明らかにするように事実上取り除かれ得る。
さらに、実世界画像は、位置的にインコンテキストの、詳細であるが完全な仮想拡張データと部分的にかつ/または完全に取り替えられ得る。このデータは、たとえば、配線概略図、静的および動的応力/歪みデータ、配管工事概略図、品質保証および点検情報、製造および組立手順、保守および修理部品データ、チェックリストおよび手順、ならびに他の適切なデータのうちの少なくとも1つを含むことができる。
したがって、異なる有利な実施形態は、オブジェクトのすべてまたは部分を見る人と人とのコラボレーションを可能にし、オブジェクトの多くのさまざまな学際的な工学的側面を理解する。結果として、異なる有利な実施形態は、たとえば、制限されることなく、保守、試験、またはオブジェクトの設計などの、作業を行うのに必要とされる時間および労力を低減することができる。
異なる有利な実施形態の記述は、説明および記述の目的のために与えられており、開示された形態の実施形態に網羅的でありまたは限定されることが意図されるものではない。多くの改変および変形が、当業者には明らかであろう。さらに、異なる有利な実施形態は、他の有利な実施形態に比べて異なる利点を提供することができる。選択された実施形態または複数の実施形態は、実施形態の原理、実際の用途を最もよく説明し、かつ当業者以外の人が、考えられる特定の使用に適するようにさまざまな改変を有するさまざまな実施形態の開示を理解できるようにするために、選択され記述されている。

Claims (23)

  1. カメラ・システムによって、オブジェクトの場所において前記カメラ・システムの視点から前記オブジェクトのビデオ・データを生成するステップと、
    前記オブジェクトについて情報を識別するステップと、
    任意の数の場所で任意の数の表示装置を有する表示システムに前記ビデオ・データの画像による情報を表示するステップであり、任意の数の場所における前記ビデオ・データの画像による情報を有する前記画像の表示が、前記カメラ・システムの視点からであるステップと
    を含む、情報を表示するための方法。
  2. 任意の数の場所で任意の数の人から、前記オブジェクトについて入力を受信するステップをさらに含む、請求項1に記載の方法。
  3. 前記カメラ・システムが、前記オブジェクトの場所において人によって装着され、
    前記人のプロファイルを用いて前記オブジェクトのところで前記人によって装着される前記表示装置に前記ビデオ・データの画像による前記情報を表示するステップをさらに含む、請求項1に記載の方法。
  4. 前記カメラ・システムおよび前記表示装置が、ヘッドマウント・システムの一部である、請求項3に記載の方法。
  5. 前記人について識別される前記プロファイルに適用されるポリシーに基づいて前記オブジェクトについて選択された情報を識別するステップと、
    前記ヘッドマウント・システムの前記ビデオ・データの前記画像による前記選択された情報を表示するステップと
    をさらに含む、請求項4に記載の方法。
  6. 前記人の前記プロファイルが、前記人の言語、前記人の業務、および前記人のセキュリティ・レベルのうちの少なくとも1つを識別する、請求項5に記載の方法。
  7. 前記ヘッドマウント・システムの前記ビデオ・データの前記画像による前記選択された情報を表示するステップが、
    暗号化された情報を形成するように前記情報を暗号化するステップと、
    前記人の一組のキーを選択するステップであり、一組のキーが、前記暗号化された情報の前記オブジェクトについて前記選択された情報を復号化するように構成されるステップと、
    前記一組のキーを用いて前記ビデオ・データの前記画像による前記暗号化された情報の前記選択された情報を表示するステップと
    を含む、請求項5に記載の方法。
  8. 前記ビデオ・データの前記画像が、前記オブジェクトの部分に対してであり、
    前記オブジェクトの前記部分の前記画像による前記情報を表示するステップに加えて、前記部分を含む前記オブジェクトのより大きな部分を表示するステップと、
    前記より大きな部分にグラフィカル・インジケータを表示するステップであり、前記グラフィカル・インジケータが前記より大きな部分内に前記部分を識別するステップと
    をさらに含む、請求項1に記載の方法。
  9. 複数の画像の各画像が第1の数の部分を有し、前記情報が第2の数の部分を有し、前記表示するステップが、
    前記カメラ・システムの任意の数の表示装置の表示装置を用いて各人のプロファイルを識別するステップと、
    前記各人の識別された前記プロファイルを用いることによって前記各人の選択された情報を識別するステップと、
    前記各人の前記識別されたプロファイルを用いて前記各人の複数の画像の前記各画像の選択された任意の数の部分を識別するステップと、
    暗号化された情報を形成するように前記情報を暗号化するステップと、
    暗号化された画像を形成するように前記画像を暗号化するステップと、
    前記各人の一組のキーを選択するステップであり、前記一組のキーが、前記暗号化された情報内の前記選択された情報と、前記暗号化された画像の前記各画像の前記選択された任意の数の部分とを復号化するように構成されるステップと、
    前記一組のキーを用いて前記各人の前記表示装置に前記画像の選択された前記任意の数の部分の前記選択された情報を表示するステップであり、前記暗号化された情報と前記暗号化された画像のうちの前記一組のキーを用いて暗号化されていない全ての部分が、前記表示装置に表示されないステップと
    を含む、請求項1に記載の方法。
  10. 航空機の保守を行うための拡張現実感情報システムであって、
    カメラ・システムおよび表示装置を有するヘッドマウント・システムであり、ある場所においてオブジェクトのビデオ・データを生成するように構成される前記ヘッドマウント・システムと、
    任意の数の場所における任意の数の表示装置と、
    前記ヘッドマウント・システムの前記カメラ・システムから前記オブジェクトの前記ビデオ・データを受信し、前記オブジェクトについて情報を識別し、前記ビデオ・データに前記情報を追加し、前記任意の数の表示装置のそれぞれを用いて人のプロファイルに基づいて前記任意の数の表示装置のそれぞれに対して選択された情報を識別し、かつ前記任意の数の表示装置に前記情報を有する前記ビデオ・データを送信するように構成される情報モジュールであり、
    前記任意の数の表示装置上の前記ビデオ・データの表示が、前記任意の数の表示装置のそれぞれの前記画像による前記選択された情報を表示する情報モジュールと
    を備える、拡張現実感情報システム。
  11. 情報モジュールが、暗号化された情報を形成するように前記情報を暗号化し、かつ前記任意の数の表示装置のそれぞれにおいて人の一組のキーを選択するように構成され、
    前記一組のキーが、前記暗号化された情報の前記オブジェクトについて前記選択された情報を復号化するように構成され、前記ビデオ・データの前記画像による前記暗号化された情報の前記選択された情報の表示が、前記一組のキーを用いて行われる、請求項10に記載の拡張現実感情報システム。
  12. 前記ビデオ・データの画像が、前記オブジェクトの部分に対してであり、前記任意の数の表示装置が、前記部分を含む前記オブジェクトのより大きな部分を表示し、かつ前記オブジェクトの前記部分の前記ビデオ・データの前記画像による前記情報を表示するように構成されることに加えて、より大きな部分にグラフィカル・インジケータを表示するように構成され、
    前記グラフィカル・インジケータが、前記より大きな部分内の前記部分を識別する
    請求項10に記載の拡張現実感情報システム。
  13. オブジェクトの場所においてカメラ・システムから前記オブジェクトのビデオ・データを受信し、前記オブジェクトについて情報を識別し、前記ビデオ・データに前記情報を追加し、任意の数の場所において表示システムに前記ビデオ・データに追加される前記情報を有する前記ビデオ・データを送信するように構成されるコンピュータ・システムを備え、
    前記表示システム上の前記ビデオ・データの表示が、前記カメラ・システムの視点から前記ビデオ・データの前記画像による前記情報を表示する、装置。
  14. 前記カメラ・システムと、
    前記ビデオ・データの前記画像による前記情報を表示するように構成される任意の数の表示装置を備える前記表示システムと
    をさらに備える、請求項13に記載の装置。
  15. 前記コンピュータ・システムが、前記任意の数の場所において任意の数の人から前記オブジェクトについて入力を受信するように構成される、請求項13に記載の装置。
  16. 前記カメラ・システムが、前記オブジェクトの前記場所において人によって装着され、
    前記オブジェクトのところで前記人によって装着され、かつ前記オブジェクトのところで前記人によって装着される前記表示装置に前記ビデオ・データの前記画像による前記情報を表示するように構成される表示装置を備える、請求項14に記載の装置。
  17. 前記カメラ・システムおよび前記表示装置が、前記人のヘッドマウント・システム内にある、請求項16に記載の装置。
  18. 前記コンピュータ・システムが、前記ヘッドマウント・システムを装着する前記人のプロファイルを識別し、かつ前記選択された情報が前記人の前記ヘッドマウント・システムの前記ビデオ・データの前記画像に表示されるようなポリシーに基づいて前記オブジェクトについて選択された情報を識別するように構成される、請求項17に記載の装置。
  19. 前記選択された情報が前記人の前記ヘッドマウント・システムの前記ビデオ・データの前記画像に表示されるような前記ポリシーに基づいて前記オブジェクトについて前記選択された情報を識別するように構成される際に、前記コンピュータ・システムは、前記選択された情報が前記人の前記ヘッドマウント・システムの前記ビデオ・データの前記画像に表示されるように前記人の前記プロファイルを用いて、前記オブジェクトについて前記選択された情報を識別するように構成される、請求項18に記載の装置。
  20. 前記人の前記プロファイルが、前記人の言語、前記人の業務、および前記人のセキュリティ・レベルのうちの少なくとも1つを識別する、請求項18に記載の装置。
  21. 前記コンピュータ・システムが、暗号化された情報を形成するように前記情報を暗号化し、かつ前記人の一組のキーを選択するように構成され、
    前記一組のキーが、前記暗号化された情報の前記オブジェクトについて前記選択された情報を復号化するように構成され、前記ビデオ・データの前記画像による前記暗号化された情報の前記選択された情報の表示が、前記一組のキーを用いて行われる、請求項19に記載の装置。
  22. 前記ビデオ・データの前記画像が、前記オブジェクトの部分に対してであり、前記任意の数の表示装置が、前記オブジェクトの前記部分の前記ビデオ・データの前記画像による前記情報を表示するように構成されるのに加えて、前記部分を含む前記オブジェクトのより大きな部分を表示し、かつ前記より大きな部分にグラフィカル・インジケータを表示するように構成され、前記グラフィカル・インジケータが、前記より大きな部分内に前記部分を識別する、請求項14に記載の装置。
  23. オブジェクトのビデオ・データを生成するように構成されるカメラ・システムであり、前記ビデオ・データが複数の画像を含み、前記複数の画像の各画像が第1の数の部分を有するカメラ・システムと、
    任意の数の表示装置を備える表示システムと、
    前記オブジェクトの場所において前記カメラ・システムから前記オブジェクトの前記ビデオ・データを受信し、前記オブジェクトについて情報を識別し、前記ビデオ・データに前記情報を追加し、前記表示システムの前記任意の数の表示装置の表示装置を用いて前記各人の前記プロファイルを識別し、前記各人の識別された前記プロファイルを用いて前記各人の前記情報の選択された情報を識別し、前記各人の識別された前記プロファイルを用いて前記各人の前記ビデオ・データの前記複数の画像の前記各画像の選択された任意の数の部分を識別し、暗号化された情報を形成するように前記情報を暗号化し、暗号化された画像を形成するように前記画像を暗号化し、かつ前記各人の一組のキーを選択するように構成されるコンピュータ・システムであって、前記一組のキーが、前記暗号化された情報内の前記選択された情報と、前記暗号化された画像の前記各画像の前記選択された任意の数の部分とを復号化し、かつ前記暗号化された情報および前記暗号化された画像を表示システムに送信するように構成される前記コンピュータ・システムとを備え、
    前記表示システムは、前記暗号化された情報と前記暗号化された画像のうちの前記一組のキーを用いて暗号化されていない全ての部分が前記各人の前記表示装置に表示されないように、前記各人の前記一組のキーを用いて前記各人の前記表示装置に前記各画像の前記選択された任意の数の部分の前記選択された情報を表示するように構成される装置。
JP2013549399A 2011-01-13 2011-09-21 拡張コラボレーション・システム Active JP6078003B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/005,753 2011-01-13
US13/005,753 US9113050B2 (en) 2011-01-13 2011-01-13 Augmented collaboration system
PCT/US2011/052636 WO2012096691A1 (en) 2011-01-13 2011-09-21 Augmented collaboration system

Publications (3)

Publication Number Publication Date
JP2014505627A true JP2014505627A (ja) 2014-03-06
JP2014505627A5 JP2014505627A5 (ja) 2014-09-11
JP6078003B2 JP6078003B2 (ja) 2017-02-08

Family

ID=44789591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013549399A Active JP6078003B2 (ja) 2011-01-13 2011-09-21 拡張コラボレーション・システム

Country Status (5)

Country Link
US (1) US9113050B2 (ja)
EP (2) EP2664135A1 (ja)
JP (1) JP6078003B2 (ja)
CN (1) CN103314580B (ja)
WO (1) WO2012096691A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026227B2 (en) 2010-09-02 2018-07-17 The Boeing Company Portable augmented reality
JP5844288B2 (ja) * 2011-02-01 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
US9779550B2 (en) * 2012-10-02 2017-10-03 Sony Corporation Augmented reality system
US20140098226A1 (en) * 2012-10-08 2014-04-10 Google Inc. Image capture component on active contact lens
US9508146B2 (en) 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
EP2936847B1 (en) * 2012-12-21 2019-11-20 Harman Becker Automotive Systems GmbH System for a vehicle and communication method
KR102270699B1 (ko) * 2013-03-11 2021-06-28 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
NZ735751A (en) 2013-03-15 2019-10-25 Magic Leap Inc Display system and method
CN103297233B (zh) * 2013-04-27 2016-11-23 天地融科技股份有限公司 安全设备和显示系统
JP2014219448A (ja) * 2013-05-01 2014-11-20 コニカミノルタ株式会社 表示システム、表示方法、表示端末および表示プログラム
US9645652B2 (en) 2013-05-28 2017-05-09 The Boeing Company Ubiquitous natural user system for human-machine interaction
US9395810B2 (en) 2013-05-28 2016-07-19 The Boeing Company Ubiquitous natural user system
WO2015006334A1 (en) * 2013-07-08 2015-01-15 Ops Solutions Llc Eyewear operational guide system and method
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9446856B1 (en) * 2013-07-31 2016-09-20 Rockwell Collins, Inc. Method and apparatus for maintaining aircraft
US9740935B2 (en) 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
TWM491897U (zh) * 2014-05-13 2014-12-11 Chi-Chung Lin 智慧社區擴增實境系統
US10723481B2 (en) * 2014-10-28 2020-07-28 Latecoere Method and system for monitoring and securing an enclosure of a vehicle, in particular of an aircraft
US9611055B2 (en) * 2014-11-12 2017-04-04 Honeywell International Inc. Context based content display in a wearable device
US10065750B2 (en) * 2015-02-10 2018-09-04 Honeywell International Inc. Aircraft maintenance systems and methods using wearable device
US9565176B2 (en) * 2015-03-10 2017-02-07 Citrix Systems, Inc. Multiscreen secure content access
JP2016192122A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10198620B2 (en) * 2015-07-06 2019-02-05 Accenture Global Services Limited Augmented reality based component replacement and maintenance
JP2017162102A (ja) * 2016-03-08 2017-09-14 株式会社東芝 保守支援方法、保守支援システム、及び保守支援プログラム
US11108708B2 (en) 2016-06-06 2021-08-31 Global Tel*Link Corporation Personalized chatbots for inmates
CN106707810B (zh) * 2016-12-02 2019-04-05 大连海事大学 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法
US10404804B2 (en) 2017-01-30 2019-09-03 Global Tel*Link Corporation System and method for personalized virtual reality experience in a controlled environment
FR3063713B1 (fr) * 2017-03-09 2019-07-05 Airbus Operations (S.A.S.) Systeme et procede d'affichage pour un aeronef
WO2018223229A1 (en) 2017-06-05 2018-12-13 2689090 Canada Inc. System and method for displaying an asset of an interactive electronic technical publication synchronously in a plurality of extended reality display devices
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
US10965941B2 (en) * 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
US10410426B2 (en) * 2017-12-19 2019-09-10 GM Global Technology Operations LLC Augmented reality vehicle user interface
JP7017689B2 (ja) * 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
GB201804383D0 (en) * 2018-03-19 2018-05-02 Microsoft Technology Licensing Llc Multi-endpoint mixed reality meetings
DE102018004618A1 (de) * 2018-06-09 2019-12-12 Linde Aktiengesellschaft Verfahren zur Fertigung im Apparate- und Anlagenbau
US10977867B2 (en) 2018-08-14 2021-04-13 Goodrich Corporation Augmented reality-based aircraft cargo monitoring and control system
WO2020047486A1 (en) 2018-08-31 2020-03-05 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
US11132845B2 (en) 2019-05-22 2021-09-28 Microsoft Technology Licensing, Llc Real-world object recognition for computing device
EP4014468A4 (en) 2019-08-12 2022-10-19 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793508A (ja) * 1993-09-21 1995-04-07 Kubota Corp 作業遠隔指示装置
JPH08223466A (ja) * 1995-02-13 1996-08-30 Hitachi Ltd 画像表示装置
JPH10148694A (ja) * 1996-11-20 1998-06-02 Toshiba Corp プラント内情報通信システム
JP2000184370A (ja) * 1998-12-18 2000-06-30 Shimadzu Corp 情報提供システム
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
JP2002132487A (ja) * 2000-10-25 2002-05-10 Oki Electric Ind Co Ltd 遠隔作業支援システム
JP2005236464A (ja) * 2004-02-18 2005-09-02 Hitachi Ltd 監視カメラ映像配信システム
WO2005093687A1 (ja) * 2004-03-26 2005-10-06 Atsushi Takahashi 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
JP2005322055A (ja) * 2004-05-10 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム
JP2009244768A (ja) * 2008-03-31 2009-10-22 Fujitsu Ltd 画像復号化装置
WO2010082547A1 (ja) * 2009-01-16 2010-07-22 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010130962A1 (fr) * 2009-05-14 2010-11-18 Airbus Operations (S.A.S.) Procede et systeme d'inspection a distance d'une structure

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USH1790H (en) * 1996-11-21 1999-03-02 The United States Of America As Represented By The Secretary Of The Army Medic-cam
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
WO2002025319A2 (en) * 2000-09-22 2002-03-28 Weatherford/Lamb, Inc. Methods and apparatus for interactive communications
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7428314B2 (en) * 2003-12-03 2008-09-23 Safehouse International Inc. Monitoring an environment
JP4162095B2 (ja) 2003-12-11 2008-10-08 ストライダー ラブス,インコーポレイテッド 遮蔽された部分の表面を対称性の算出により見込み復元するための技術
JP4197048B2 (ja) * 2005-04-25 2008-12-17 パナソニック株式会社 監視カメラシステム、撮影装置および映像表示装置
DE202006020474U1 (de) 2005-07-14 2008-12-11 Oesterle, Silke Vorrichtung zur Ferndiagnose bzw. Fernwartung technischer Einrichtungen
US7433505B2 (en) 2005-11-01 2008-10-07 Ben Yoo Method of dental microscopic procedure
US7480037B2 (en) 2005-12-02 2009-01-20 The Boeing Company System for projecting flaws and inspection locations and associated method
WO2007076555A2 (en) 2005-12-29 2007-07-05 Aechelon Technology, Inc. A location based wireless collaborative environment with a visual user interface
US20070229498A1 (en) 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20080030575A1 (en) * 2006-08-03 2008-02-07 Davies Paul R System and method including augmentable imagery feature to provide remote support
GB0616410D0 (en) 2006-08-21 2006-10-18 Anaglyph Ltd Visual aid for manufacturing assembly/component placement
CN101207787A (zh) * 2006-12-22 2008-06-25 南京理工大学 支持用户分级的多媒体数据广播方法
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8576282B2 (en) * 2008-12-12 2013-11-05 Honeywell International Inc. Security system with operator-side privacy zones
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US20110102460A1 (en) 2009-11-04 2011-05-05 Parker Jordan Platform for widespread augmented reality and 3d mapping
US8451266B2 (en) 2009-12-07 2013-05-28 International Business Machines Corporation Interactive three-dimensional augmented realities from item markers for on-demand item visualization
US8416263B2 (en) 2010-03-08 2013-04-09 Empire Technology Development, Llc Alignment of objects in augmented reality
US20110287811A1 (en) 2010-05-21 2011-11-24 Nokia Corporation Method and apparatus for an augmented reality x-ray
US8902254B1 (en) 2010-09-02 2014-12-02 The Boeing Company Portable augmented reality

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793508A (ja) * 1993-09-21 1995-04-07 Kubota Corp 作業遠隔指示装置
JPH08223466A (ja) * 1995-02-13 1996-08-30 Hitachi Ltd 画像表示装置
JPH10148694A (ja) * 1996-11-20 1998-06-02 Toshiba Corp プラント内情報通信システム
JP2000184370A (ja) * 1998-12-18 2000-06-30 Shimadzu Corp 情報提供システム
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
JP2002132487A (ja) * 2000-10-25 2002-05-10 Oki Electric Ind Co Ltd 遠隔作業支援システム
JP2005236464A (ja) * 2004-02-18 2005-09-02 Hitachi Ltd 監視カメラ映像配信システム
WO2005093687A1 (ja) * 2004-03-26 2005-10-06 Atsushi Takahashi 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
JP2005322055A (ja) * 2004-05-10 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム
JP2009244768A (ja) * 2008-03-31 2009-10-22 Fujitsu Ltd 画像復号化装置
WO2010082547A1 (ja) * 2009-01-16 2010-07-22 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010130962A1 (fr) * 2009-05-14 2010-11-18 Airbus Operations (S.A.S.) Procede et systeme d'inspection a distance d'une structure
JP2012526979A (ja) * 2009-05-14 2012-11-01 エアバス オペラシオン(エス.ア.エス) 構造の遠隔検査方法とシステム

Also Published As

Publication number Publication date
US20120183137A1 (en) 2012-07-19
JP6078003B2 (ja) 2017-02-08
WO2012096691A1 (en) 2012-07-19
CN103314580A (zh) 2013-09-18
EP2664135A1 (en) 2013-11-20
US9113050B2 (en) 2015-08-18
EP3416378A1 (en) 2018-12-19
CN103314580B (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6078003B2 (ja) 拡張コラボレーション・システム
US20230341850A1 (en) Robot Fleet Management Configured for Use of an Artificial Intelligence Chipset
US20220187847A1 (en) Robot Fleet Management for Value Chain Networks
CN106547939B (zh) 对象管理系统、飞机设计系统及管理对象的方法
WO2022133330A1 (en) Robot fleet management and additive manufacturing for value chain networks
JP5963781B2 (ja) 空港セキュリティシステム
US9852237B2 (en) Immersive object testing system
US9591009B2 (en) Air-based and ground-based security information and event management system
JP2006203882A (ja) 航空機等の遠隔総合サブシステム
US20170327247A1 (en) Automated Control System for Manufacturing Aircraft
US20190017945A1 (en) Aircraft Inspection System with Visualization and Recording
Jiang et al. Machine learning and mixed reality for smart aviation: Applications and challenges
CA2825404C (en) Bonded rework template system
US11631288B2 (en) Maintenance prediction system for a vehicle
Tabaković et al. Impact of industry 4.0 on aerospace and defense systems
Ceruti et al. A 3D user and maintenance manual for UAVs and commercial aircrafts based on augmented reality
EP4322108A1 (en) Verification of the correct presence of parts using contextual visualization
Brigantic et al. Airport Risk Assessment Model Stakeholder Symposium Event Report
Bapst et al. Portable maintenance aids
US20220187803A1 (en) Shop Floor Social Distancing for Aircraft Assembly
US20210181727A1 (en) Product Manufacturing with a Manufacturing Product and Process Structure
US10402766B1 (en) Systems, methods, and apparatus for operations simulation, visualization, and improvement
Igdal Game of Drones: Measuring the Progress and Shortcomings of the Federal Modernization and Reformation Act of 2012
Peralta et al. Observatory Improvements for SOFIA
Winkel et al. Civil use of night vision goggles within the National Airspace System

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170113

R150 Certificate of patent or registration of utility model

Ref document number: 6078003

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250