JP2021500690A - 自己展開型拡張現実ベースのサービス命令ライブラリ - Google Patents

自己展開型拡張現実ベースのサービス命令ライブラリ Download PDF

Info

Publication number
JP2021500690A
JP2021500690A JP2020542682A JP2020542682A JP2021500690A JP 2021500690 A JP2021500690 A JP 2021500690A JP 2020542682 A JP2020542682 A JP 2020542682A JP 2020542682 A JP2020542682 A JP 2020542682A JP 2021500690 A JP2021500690 A JP 2021500690A
Authority
JP
Japan
Prior art keywords
content
display
mobile device
live video
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020542682A
Other languages
English (en)
Other versions
JP2021500690A5 (ja
Inventor
スヴェン ペーター プレヴァハル
スヴェン ペーター プレヴァハル
ヨルグ サブシンスキ
ヨルグ サブシンスキ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021500690A publication Critical patent/JP2021500690A/ja
Publication of JP2021500690A5 publication Critical patent/JP2021500690A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

拡張現実（ＡＲ）サービス提供案内が、ディスプレイとカメラとをもつモバイルデバイス３０、９０を使用する。ＡＲコンテンツ８０を、カメラによってキャプチャされたライブビデオフィード９６と整合させるために、同時位置特定及びマッピング（ＳＬＡＭ）などのコンピュータビジョン（ＣＶ）処理１０２が実施される。整合されたＡＲコンテンツは、モバイルデバイスのディスプレイ上に表示される。一例では、モバイルデバイスは、透明ディスプレイ９２、９４とカメラ２０とをもつヘッドアップディスプレイ（ＨＵＤ）９０である。別の例では、モバイルデバイスは、前面ディスプレイ３４と後向きカメラ３６とをもつセルフォン又はタブレットコンピュータ３０である。ＡＲコンテンツ８０は、ＡＲコンテンツをサービスコールの記録されたビデオ４０と整合させる（７０）ためにＣＶ処理５４によって生成される。整合させること（７２）は、ユーザ入力によってサービスコールの記録されたビデオにおいて特定された関心ロケーション（ＬＯＩ）を整合させることを含む。

Description

以下は、一般に現場サービス提供（ｓｅｒｖｉｃｉｎｇ）技術に関し、より詳細には、医療イメージングデバイス及びシステムサービス提供技術、拡張ビジョン技術、並びに関連技術に関する。
医療イメージングデバイスは、磁気共鳴イメージング（ＭＲＩ）デバイス、透過型コンピュータ断層撮影（ＣＴ）イメージングデバイス、陽電子放射断層撮影（ＰＥＴ）イメージングデバイス及び単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）イメージングのためのガンマカメラなどの放射イメージングシステムなど、極めて複雑なシステム、単一のデバイスにおいて複数のモダリティを与えるハイブリッドシステム、例えばＰＥＴ／ＣＴイメージングデバイス又はＳＰＥＣＴ／ＣＴイメージングデバイス、並びに、一般に画像誘導治療（ｉＧＴ）デバイスと呼ばれる、生検又は他の介入医療プロシージャを案内するために設計されたイメージングデバイスを含む。これらは、例示的な例にすぎない。
現代の医療イメージングデバイス及びシステムは、保守の観点から異例の課題を提示する。これらは、一般に、多種多様な目的のための多数のサブシステムを含み、これらのサブシステムは、例えば、患者を載せ、イメージング検査エリアに移送し、その後、降ろすための機械及び電気機械システム、ＣＴイメージングデバイスの場合のＸ線管アセンブリ及びＸ線検出器アレイ、同じくＣＴの場合の回転ガントリーアセンブリ、ＰＥＴイメージングデバイスの場合の放射線検出器モジュールの環状リング、ガンマカメラの場合の放射線検出器ヘッド及び患者を中心としてそのヘッドを操作するための関連するロボットハードウェア、ＭＲＩの場合の超電導磁石及び関連する液体ヘリウムタンク及び／又は他のクリオスタットハードウェア、コンピュータ化されたコントローラ、制御ボタン、スイッチ、タッチセンシティブディスプレイなどのユーザインターフェーシング構成要素などを含む。医療イメージングデバイスのサービス提供は、通常、現場において、すなわち、医療イメージングデバイスが配備された病院又は他の医療施設において実施されなければならない。その上、病院及び他の医療施設は、患者にイメージング又は画像誘導治療を提供するために、これらのデバイスがほぼ連続的に利用可能であることを期待するので、サービス提供ダウンタイムを最小限に抑えることが極めて望ましい。
また、サービス提供の見地からのさらなる困難は、医療イメージングデバイスが、通常、製造業者によるほぼ恒常的な開発下にあり、様々なオプション構成要素及び構成要素パッケージを伴って販売され、結果として、同じ形式／モデルの医療イメージングデバイスの異なる配備された取付けでは、同じ形式／モデルにもかかわらず、医療イメージングデバイスがいつ製造されたかに応じて、及び顧客がどのオプションを購入することを決めたかに応じて、異なる構成要素を有する。
これらの考慮事項により、サービス担当者が、現場において遭遇するあらゆる潜在的保守タスクに関して完全に精通することは、特に難しくなる。サービス担当者は、書かれたサービスマニュアル及び／又はコンピュータ支援設計（ＣＡＤ）図面を調べるが、これらは、経時的に古くなり、又はいくつかのオプション構成要素を含めることができないことがある。ＣＡＤ図面の場合、サービス担当者は、参照されるべきである正しい図面（構成要素、バージョンなど）を確認するのが困難である。さらに、サービスマニュアルが現場サービス担当者によって書かれない場合、マニュアルは、現場サービス提供を実施するときにのみ明らかになる態様を扱うことができず、例えば、特定の構成要素は、現場においてアクセスすることが困難であるが、この困難は、サービスマニュアルを起草する設計技師によって認識されない。
現場におけるサービス担当者にとっての別のリソースは、サービスを受ける特定の構成要素、デバイスなどを専門とする専門家への電話又はビデオ会議アクセスである。これは、専門家の貴重な時間を占有し、現場サービス人員と専門家との間の協調を必要とし、専門家がサービス提供時間中に「オンコール（ｏｎ ｃａｌｌ）」でなければならないか、コールのための日／時が、前もってスケジュールされなければならないかのいずれかである。さらに、専門家は、限られた情報を有し、それに基づいて支援を与える。この情報は、一般に、サービス人員によって与えられる構成要素及びその環境の口頭説明と、場合によっては、セルラー電話（セルフォン）又は他のモバイルデバイスの内蔵カメラを使用して与えられる構成要素のビデオとを含む。サービス人員から専門家に状況データを転送する際に、及び／又はサービス人員に専門家のアドバイスを伝達する際に、重要な情報が失われ得る。
以下に、新規の改善されたシステム及び方法を開示する。
１つの開示される態様では、拡張現実（ＡＲ）ベースのサービス提供案内（ｓｅｒｖｉｃｉｎｇ ｇｕｉｄａｎｃｅ）デバイスが、ディスプレイとカメラとを備えるモバイルデバイスと、ＡＲコンテンツを、モバイルデバイスのカメラによってキャプチャされたライブビデオフィード（ｌｉｖｅ ｖｉｄｅｏ ｆｅｅｄ）と整合させることと、モバイルデバイスのディスプレイ上にライブビデオフィードと整合されたＡＲコンテンツを表示することとを行うために、コンピュータビジョン（ＣＶ）処理を実施するようにプログラムされた電子プロセッサとを備える。
別の開示される態様では、ＡＲベースのサービス提供案内方法が、コンピュータを使用して、サービスコールの記録されたビデオにおける少なくとも１つの関心ロケーション（ＬＯＩ）を特定する、コンピュータにおけるユーザ入力を受信する動作と、ＡＲコンテンツの部分を少なくとも１つのＬＯＩと整合させることを含む、ＡＲコンテンツをサービスコールの記録されたビデオと整合させるためにＣＶ処理を実施する動作とを有する、ＡＲコンテンツをオーサリングする（ａｕｔｈｏｒ）ステップと、電子プロセッサ、及びディスプレイとカメラとを備えるモバイルデバイスを使用して、オーサリングされたＡＲコンテンツを、モバイルデバイスのカメラによって作り出されたライブビデオフィードと整合させるために、電子プロセッサを使用してＣＶ処理を実施するステップと、モバイルデバイスのディスプレイ上に、ライブビデオフィードと整合されたオーサリングされたＡＲコンテンツを表示するステップとを有する、オーサリングされたＡＲコンテンツを提示するステップとを有する。
別の開示される態様では、サービス提供案内のためのＡＲコンテンツをオーサリングするためのＡＲコンテンツオーサリングデバイスが、開示される。ＡＲコンテンツオーサリングデバイスは、コンピュータと、ＡＲコンテンツオーサリング方法を実施するための、コンピュータによって読取り可能及び実行可能な命令を記憶する非一時的記憶媒体とを備え、ＡＲコンテンツオーサリング方法は、サービスコールの記録されたビデオにおける少なくとも１つのＬＯＩを特定する、コンピュータにおけるユーザ入力を受信するステップと、ＡＲコンテンツの部分を少なくとも１つのＬＯＩと整合させるステップを有する、ＡＲコンテンツをサービスコールの記録されたビデオと整合させるためにＣＶ処理を実施するステップとを有する。
１つの利点は、サービス担当者にリアルタイム自動支援を与えることにある。
別の利点は、サービスコールを支援するために、リアルタイム拡張現実（ＡＲ）コンテンツを与えることにある。
別の利点は、サービスコールを支援するために、サービス人員の視点から提示され、実施されるべきサービス動作と緊密に統合されたリアルタイムＡＲコンテンツを与えることにある。
別の利点は、サービスコールを支援するために、ＡＲコンテンツを組み込んだプレビューモードに切り替わる能力と組み合わせて、リアルタイムＡＲコンテンツを与えることにある。
別の利点は、適切なＡＲコンテンツを自動的に決定するためにリアルタイムビデオフィードを活用する、リアルタイムＡＲコンテンツを与えることにある。
別の利点は、ＡＲベースのサービス命令をオーサリングするためのデータを与えるために、既存のサービスコールを活用することにある。
別の利点は、既存のＡＲベースのサービス命令の更新を効果的にオーサリングするためのデータを与えるために、既存のサービスコールを活用することにある。
所与の実施形態は、上記の利点のいずれをも与えないか、又は上記の利点のうちの１つ、２つ、３つ以上又はすべてを与え、及び／或いは当業者が、本開示を読み、理解すると明らかになるような他の利点を与える。
本発明は、様々な構成要素及び構成要素の配置の形態、並びに様々なステップ及びステップの配置の形態をとる。図面は、好ましい実施形態を示すためのものにすぎず、本発明を限定するものと解釈されるべきではない。
拡張現実（ＡＲ）ベースのサービス命令をオーサリングするためのデータを与えるために、医療イメージングデバイスに対する保守を実施するためのサービスコールを活用するための実施形態を、そのデータを使用するＡＲコンテンツオーサリングデバイスの図式表現とともに、概略的に示す図である。 図１のＡＲコンテンツオーサリングデバイスのより詳細な実施形態を概略的に示す図である。 図１及び図２のＡＲコンテンツオーサリングデバイスによってオーサリングされたＡＲコンテンツを配信するための、ＡＲベースのサービス命令配信デバイスを概略的に示す図である。
本明細書で開示される改善では、拡張現実（ＡＲ）ベースのサービスマニュアルのためのＡＲコンテンツをオーサリングするための基礎を与えるために、医療イメージングデバイスに対する保守を実施するためのサービスコールの（随意にオーディオを含む）ビデオ記録が活用される。サービスコールは、通常のカメラを使用して記録され、又は深度情報を与えるために、ステレオカメラが使用され、及び／又はレンジカメラが使用される。単一の（非レンジ）カメラが使用される場合、技術者が動き回るにつれて、異なるバンテージポイント（ｖａｎｔａｇｅ ｐｏｉｎｔ）から深度情報が抽出される。カメラは、サービス人員の「一人称（ｆｉｒｓｔ−ｐｅｒｓｏｎ）」ビューを与えるために頭部装着される。サービスコール中に、ポインタが随意に、関心ロケーション（ＬＯＩ）をマークするために使用され、及び／又は、記録のために、流れている口頭解説を与える。
サービスコールの記録されたビデオを、同じ又は同様の保守タスクを対象とする将来のサービスコールをサポートするためのＡＲコンテンツに変換するために、オーサリングシステムが使用される。オーサリングシステムは、サービス人員のロケーションと顕著な環境（例えば、サービス提供される構成要素及び場合によっては隣接する構成要素）とを同時にマッピングするために、同時位置特定及びマッピング（ＳＬＡＭ）アルゴリズムなどのコンピュータビジョン（ＣＶ）技術を使用する。抽出されたマップは、記録されたビデオ中の構成要素を、構成要素のコンピュータ支援設計（ＣＡＤ）図面と整合させるために、及びＬＯＩを３次元空間に空間中で位置決めするために使用され得る。次いで、人間のエディタが口頭説明オーバーレイを追加する（又は、これは、書かれたサービスマニュアルのテキスト音声転写（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ ｔｒａｎｓｃｒｉｐｔｉｏｎ）を使用して行われる）。人間のエディタはまた、適宜に、ＬＯＩマーカーを示すオーバーレイを追加し、随意に、部品番号、ＣＡＤ図面、ＣＡＤアニメーション又は他の視覚に訴えるもの（ｖｉｓｕａｌ）を示すポップアップウィンドウ、主要な部品のカラー化された強調表示など、サービス技術者を支援する他のＡＲコンテンツを追加する。現場での使用を容易にするために、様々な停止ポイントが、ＡＲコンテンツに追加され、及び／又は、ＡＲコンテンツは、エピソードにセグメント化され、エピソードは、異なる順序で再生（すなわち非線形再生）されて、異なる順序でステップが実施されるサービスコールのハンドリングを可能にすることができる。
オーサリングされたＡＲベースのサービスマニュアルコンテンツを使用するために、サービス技術者は、サービス下の構成要素のサービス人員の実際のビューに重畳されるように、ＡＲオーバーレイをＨＵＤの透明スクリーン上に提示する、透明ディスプレイを有するヘッドアップディスプレイ（ＨＵＤ）（すなわち、シースルー（ｓｅｅ−ｔｈｒｏｕｇｈ）ディスプレイ）を着用する。ＨＵＤは、技術者のビューをキャプチャするカメラをさらに備え、ＡＲコンテンツオーバーレイ（及び、与えられた場合、オーディオ再生）を、サービス人員のリアルタイムビューと一致させるように、ＡＲコンテンツをこのリアルタイムビデオフィードと整合させるためにＳＬＡＭアルゴリズムを適用する。
随意に、サービス人員は、重畳ＡＲコンテンツを伴って、ＡＲコンテンツをオーサリングするために使用されるサービスコールのあらかじめ記録されたビデオが表示される、プレビューモードを選択することができる。このようにして、サービス人員は、保守タスクのステップがどのように実施されるかのプレビューを見ることができる。有利には、ＡＲ処理は、このプレビューモードでは、（ｉ）ＡＲコンテンツを、ライブビデオフィードではなくプレビュービデオと整合させるためにＳＬＡＭ処理を実施することと、（ｉｉ）透明ディスプレイ上にアンダーレイとして、あらかじめ記録されたビデオコンテンツを表示することとを除いて、変更されない。
さらなる企図された変形実施形態では、適切なＡＲコンテンツを自動的に取り出して、提示するために、ライブビデオフィードを処理して、特定の構成要素又は副構成要素を特定する。
例示的な実施形態では、ＨＵＤはシースルーディスプレイを採用し、シースルーディスプレイは、有利には、サービス人員がリアルタイムで構成要素を直接観測することを可能にするために、ＡＲコンテンツオーバーレイを除いて透明である。この変形実施形態では、ＨＵＤは、（ビデオ拡張現実として知られる）ＡＲコンテンツのアンダーレイとして、ライブビデオフィードが表示される不透明ディスプレイを採用し、この変形実施形態では、サービス人員は、リアルタイムビデオフィード表示を観察することによって、サービス提供されている構成要素を間接的に「見る」。
別の企図された変形実施形態では、ＨＵＤの代わりに、ＡＲコンテンツは、セルフォン又は他のモバイルデバイスのディスプレイスクリーン上に表示され得、リアルタイムビデオフィードを生成するために、たいていのセルフォン及び他のモバイルデバイスに設けられた内蔵カメラを活用する。この場合、デバイスは、セルフォンディスプレイ上にアンダーレイとしてライブビデオフィードを表示することによって、ビデオ拡張現実において動作する。
開示される手法は、ＡＲベースのサービスマニュアルを更新するためにも使用され得る。例えば、サービス人員が、例えば、サービス提供されている特定の配備された医療イメージングデバイスの構成要素における代替部品の使用により、予期しない問題に遭遇した場合、ＨＵＤのカメラによって与えられたライブフィードがオーサリングシステムとともに使用されて、この代替部品に適した更新されたＡＲコンテンツを作り出す。
図１を参照すると、サービスコールを記録するためのシステムが示されている。例示的なサービスコールの対象は、イメージングデバイス１０であり、この例示的な例では、イメージングデバイス１０は、透過型コンピュータ断層撮影（ＣＴ）イメージングガントリー１２と、陽電子放射断層撮影（ＰＥＴ）イメージングガントリー１４とを備えるハイブリッドイメージングデバイスであり、すなわち、例示的なイメージングデバイスは、ＣＴ／ＰＥＴイメージングデバイス１０である。より一般的には、サービスコールの対象は、任意のタイプのイメージングデバイス、例えば、スタンドアロンＰＥＴ又はスタンドアロンＣＴイメージングデバイス、磁気共鳴イメージング（ＭＲＩ）デバイス、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）イメージングのためのガンマカメラ、画像誘導治療（ｉＧＴ）デバイスなどである。さらにより一般的には、開示されるＡＲベースのサービス提供案内デバイス及び方法は、現場で実施されるサービス提供のための任意のタイプのシステム又はデバイスに適用され、例えば、放射線治療送出デバイス（ｒａｄｉａｔｉｏｎ ｔｈｅｒａｐｙ ｄｅｌｉｖｅｒｙ ｄｅｖｉｃｅ）、磁石などの調査デバイス、低温システム、工場ロボットシステム、処理炉などに適用される。サービスコールは、ビデオを記録することが可能であり、好ましくは、好都合なフォームファクタを有するモバイルカメラ１８を使用して記録される。例示的な例では、モバイルカメラ１８は、眼鏡２１に搭載されたステレオカメラ２０を備える。ステレオカメラ２０は、左眼カメラ２２と右眼カメラ２４とを備え、それにより、有利に、人間の両眼視をシミュレートするためにステレオビデオを取得する。ステレオカメラ２０を眼鏡２１に搭載することによって、モバイルカメラ１８は、「一人称」を与え、眼鏡２１が、サービス提供を実施する（又は、サービス提供の実施に参加する）サービス人員によって着用された場合、サービスコールの記録されたビデオは、有利には、サービス人員の視点又はバンテージポイントからのものである。構造的支持として眼鏡２１を採用する例示的なモバイルカメラ１８の代わりに、別のアイウェアフォームファクタ、例えばゴーグルが使用され、或いはヘッドバンド又はヘルメットなどに搭載されたカメラが、サービスコールのビデオを記録するために同様のバンテージ（ｖａｎｔａｇｅ）を与えることができる。ステレオカメラ２０を使用することによって、記録されたビデオは、有利には、本質的に両眼であり、３次元（３Ｄ）情報を抽出するための深度情報を与えることができる。ただし、代替実施形態では、単眼カメラが採用され、この場合、コンピュータビジョンは、概して、（サービス提供中のサービス人員の頭部の移動による）カメラの自然な移動によって与えられる異なるバンテージポイントに基づく３Ｄ情報を抽出することができる。別の企図された変形実施形態として、従来の光学カメラが、深度情報を与えるためにレンジカメラによって拡張される。
例示的なアイウェア搭載カメラ２０をもつモバイルカメラ１８に関する困難は、モバイルカメラ１８が、電子プロセッサを搭載するための限られた支持構造を与えることであり、すなわち、眼鏡２１上に、ビデオ生成及び随意の処理をハンドリングするための十分な処理能力をもつマイクロプロセッサ又はマイクロコントローラを組み込むことが困難であることである。このことは、例示的な実施形態では、例示的なセルラー電話（セルフォン、これは、アプリケーションプログラム又は「アプリ」を実行する能力があるときはスマートフォンと呼ばれることがある）又はタブレットコンピュータなど、モバイルデバイス３０とワイヤレス通信しているモバイルカメラ１８を有することによって対処される。ワイヤレス接続３２は、非限定的な例示として、Ｂｌｕｅｔｏｏｔｈ（商標）ワイヤレス接続、ＷｉＦｉ接続、又は他の短距離又は中距離ワイヤレス接続である。ワイヤード接続も企図され、例えば、ＵＳＢケーブルが、モバイルカメラ１８をモバイルデバイス３０と物理的に接続する。例示的なモバイルデバイス３０は、モバイルデバイス３０の前面上に配設された不透明ディスプレイ３４、及びモバイルデバイス３０の反対側の裏面上に配置された（図１では見えないように遮断され、したがって想像線で示されている）後向きカメラ３６など、一般的な構成要素を備える。そのようなモバイルデバイスにとって一般的であるように、ディスプレイ３４は、好ましくは、タッチセンシティブディスプレイ、例えば、静電容量式タッチセンシティブディスプレイ、又は表面弾性波（ＳＡＷ）ディスプレイであり、その結果、ユーザは、アプリケーションプログラム（「アプリ」）を実行すること、入力を与えること、「ソフト」キーボードを動作させることなどのために、タッチによってモバイルデバイス３０と対話することができる。
記録されたビデオ４０は、ワイヤレス接続３２を介してアイウェアベースのモバイルカメラ１８からモバイルデバイス３０に送信される。モバイルデバイス３０は、一般に、オーディオ成分を記録されたビデオ４０に与えるために使用されるマイクロフォン３８をも備え、又は代替的に、マイクロフォンが眼鏡２１に搭載され（図示せず）、別の代替として、記録されたビデオ４０は記録された音を有しない（映像のみ）。サービスコールの記録中に、モバイルデバイス３０は、随意に、例えば他のアプリを実行することによって、他のタスクを実施している。例えば、セルフォンの形態のモバイルデバイス３０は、サービスコールについてリモートの専門家４２（例えば、実施されている特定のサービスに関する、及び／又はサービスを受けている特定のデバイス１０又はそのデバイスの構成要素に関する専門的な知識をもつ人間の専門家）と電話で話し合うために使用される。
次に説明されるように、記録されたビデオ４０は、後続のサービスコール中での使用のために、拡張ビジョン（ＡＲ）コンテンツをオーサリングするための基礎を与える。この目的で、図１に概略的に示されているように、記録されたビデオ４０は、ＡＲコンテンツオーサリング方法５４を実施するための、非一時的記憶媒体（図示せず、ハードディスクドライブ、ＲＡＩＤ、又は他の磁気記憶媒体；フラッシュメモリ、ソリッドステートドライブ、又は他の電子記憶媒体；光ディスク又は他の光記憶媒体；それらの様々な組合せなど）から読み取られた命令を実行する、コンピュータ５２の形態のＡＲコンテンツオーサリングデバイス５０に転送される。ＡＲコンテンツオーサリングは、例えば、ＡＲコンテンツ（例えば、コンピュータ支援設計（ＣＡＤ）図面５６からとられた部品番号アノテーション、ＣＡＤ図面又はＣＡＤ図面の部分を示すピクチャインピクチャ（ＰＩＰ）ウィンドウ、或いはＣＡＤ図面５６から生成されたアニメーションなど）を、記録されたビデオ４０と整合させるために、同時位置特定及びマッピング（ＳＬＡＭ）処理などのコンピュータビジョン（ＣＶ）処理を使用して、ＣＡＤ図面５６を、記録されたビデオ４０に空間的に登録することを伴う。
図１が、サービスコールのビデオ４０をキャプチャするための１つの例示的な配置を示すにすぎないことを理解されたい。すでに述べたように、他のタイプのアイウェア又はヘッドウェア（例えばゴーグル、ヘッドバンド、ヘルメットなど）が、サービス提供プロセスの一人称ビューを与えるためのモバイルカメラ１８のための支持構造として働き、さらに、すでに述べたように、ステレオカメラ２０は、別のタイプのカメラ、例えば、単眼カメラ、カメラとレンジカメラとの組合せなどによって置き換えられる。他の実施形態では、サービスコールの記録されたビデオは、サービス人員の一人称ビューからのものでない。例えば、代替の実施形態では、モバイルカメラはモバイルデバイス３０を備え、モバイルデバイス３０の裏面上に配置された後向きカメラ３６がサービスコールを記録するためのカメラとして働く。この場合、バンテージは、一人称でないことになるが、サービス人員（又はアシスタント）は、サービスプロセス全体又は関心のサービスプロセスの部分（例えば困難な部分）のみを記録するように適宜に後向きカメラ３６を向けるようにモバイルデバイス３０を保持することができる。
ＡＲコンテンツをオーサリングするのを支援するために、いくつかの実施形態では、サービスコールの記録されたビデオ４０によってキャプチャされたサービス提供を実施するサービス人員は、ポインタ６２又は他の弁別的ポインティング機構（いくつかの例では、サービス人員の指又は手にすぎないことがある）を使用して関心ロケーション（ＬＯＩ）６０を能動的に指す。他の実施形態では、ＬＯＩは、記録されたビデオ４０を記録した後に、例えば、ユーザが、記録されたビデオ４０のフレーム中のＬＯＩをマークするためにコンピュータ５２の１つ又は複数のユーザ入力デバイス（例えば、例示的なキーボード６４及び／又はマウス６６）を操作することによって、ラベリングされる。
次に図２を参照しながら、非一時的記憶媒体（図示せず）から読み取られた命令を実行するコンピュータ５２によって実施されるＡＲコンテンツオーサリングデバイス５０の例示的な実施形態が説明される。ＡＲオーサリングプロセス５４は、記録されたビデオ４０と、（随意に、構成要素の部品番号、３Ｄレンダリング、アニメーションなどのデータを含む）ＣＡＤ図面５６など、ＡＲコンテンツを生成するための情報とを入力として受信する。動作７０において、イメージングデバイス１０の様々な構成要素（図１参照、より一般的には、サービス提供を受けるシステム又はデバイスの様々な構成要素）が、コンピュータビジョン（ＣＶ）処理を使用して、記録されたビデオ４０にマッピングされる。好ましい実施形態では、マッピング動作７０は、サービス人員のロケーション（一人称ビデオを仮定して、又は記録されたビデオ４０がモバイルデバイス３０によって取得された場合、モバイルデバイス３０のロケーション）と、一方では、構成要素又はデバイス１０上の基準ポイントとを、記録されたビデオ４０の連続フレームによって与えられる観測のシーケンスのコンテンツに最適にマッピングするために、ベイズ推定又は別の機械学習技法を採用する同時位置特定及びマッピング（ＳＬＡＭ）処理を使用して、実施される。随意に、ＣＡＤ図面５６によって与えられる構成要素基準ポイントの空間レイアウトなどのアプリオリに知られている情報が、マッピング７０を改善するために使用される。ＳＬＡＭ処理タスクは、確率論的定式化Ｐ（ｃ１（ｔ），ｃ２（ｔ），．．．，ｃｎ（ｔ），ｐ（ｔ）｜ｆ１，．．．，ｆｔ）によって数学的に定式化され、ここで、ｃ１（ｔ），ｃ２（ｔ），．．．，ｃｎ（ｔ）は、時間ｔにおける構成要素又はデバイス１０の基準ポイントのロケーションであり（ここで、一般性の喪失なしに、ｎ個の基準ポイントが仮定される）、ｐ（ｔ）は、時間ｔにおけるサービス人員のロケーションであり、ｆ１，．．．，ｆｎは、時間ｔまでの記録されたビデオ４０のフレームである。ロボットビジョンマッピング、自動運転車両ナビゲーション技術などのための知られている様々なＳＬＡＭアルゴリズムが、マッピング動作７０を実施するために好適に適用される。動作７２において、ＬＯＩは、（例えば、記録されたビデオ４０からのビデオフレームを表示し、ユーザがマウス６６を使用してＬＯＩ上をクリックすることを可能にすることによって）（１つ又は複数の）ユーザインターフェーシングデバイス６４、６６を介してユーザから受信されるか、又はＳＬＡＭ処理７０中に記録されたビデオ４０から自動的に抽出される。この後者の手法は、記録されたビデオ４０において少なくとも１つのＬＯＩ（例えば、図１に示されている例示的なＬＯＩ６０）を示す、記録されたビデオ４０によってキャプチャされたユーザ動作（例えば、ポインタ６２を使用して指すこと、図１参照）を検出するために、コンピュータ５２によってＳＬＡＭ又は他のＣＶ処理を実施することを伴う。この示されたＬＯＩ６０は、次いで、ＳＬＡＭ処理７０においてマッピングされるべき基準ポイント（ｃＬＯＩ（ｔ））のうちの１つになる。
動作７４において、ＳＬＡＭ処理７０及びＬＯＩ指定７２の結果を使用して、ＡＲコンテンツが、記録されたビデオ４０と整合される。例えば、ＣＡＤ情報の部品番号でＬＯＩを「ラベリング」するように、部品番号アノテーションなどのアノテーション、ＰＩＰウィンドウとして示されるＣＡＤ図面又はＣＡＤ図面部分、又はＰＩＰウィンドウとして示されるＣＡＤアニメーションが、ＬＯＩにおいて又はＬＯＩの極めて近くに追加される。より高度な手法では、主要な部品或いは部品組合せ又はアセンブリのワイヤフレーム図面が、ＣＡＤ図面５６から抽出され、ＡＲコンテンツとしてオーバーレイされ、この場合も、ＳＬＡＭ処理７０及びＬＯＩ指定７２によるマッピング出力を使用して、記録されたビデオ４０に示されている（１つ又は複数の）部品の実際の画像と整合される。このようにオーサリングされたＡＲコンテンツは、随意に、（例えば、部品アセンブリの異なる部品を区別するために異なる色を使用して）カラーコード化されるか、又は場合によっては強調表示される。口頭ナレーションの形態のＡＲコンテンツも、追加される。この場合、ＡＲコンテンツは、記録されたビデオ４０を作成するフレームの時間シーケンスと整合する、時間的シーケンスを有することが仮定され、ナレーションは、様々なサービス提供タスクがビデオ中で実施されるときと、時間的に同期するように追加される。随意の動作７６において、ＡＲコンテンツは、停止ポイントを追加すること及び／又はＡＲコンテンツを独立したエピソードにセグメント化することによって、時間的にセグメント化される。例えば、サービス提供が、サービス提供を必要とする第２のアセンブリをあらわにするために、第１のアセンブリをデバイス１０から取り外すことを伴う場合、第１のアセンブリの取外しは１つのエピソードであり、あらわにされた第２のアセンブリのサービス提供は、別個の異なるエピソードである。手動動作を可能にするためにＡＲコンテンツ時間進行を停止することを可能にするために、停止ポイントが追加され、例えば、取付け前に部品に注油する必要がある場合、注油プロセス中に停止ポイントを追加することは道理にかなう。
得られたオーサリングされたＡＲコンテンツは、保守プロシージャＡＲライブラリ構成要素８０を形成する。いくつかの実施形態では、本明細書で後で説明されるように、ＡＲライブラリ構成要素８０は、図２に概略的に示されているプレビュービデオ４１として（随意に、ＡＲコンテンツオーサリング動作７６と同様に、セグメント化及び／又は停止ポイントを追加した後に）記憶された、記録されたビデオ４０を含むか、又はそれへのアクセスを有する。このプレビュービデオ４１は、与えられた場合、サービス人員による要求時に、重畳ＡＲコンテンツを含むサービス提供プロシージャのプレビューを与えるために使用される。
全体的なＡＲ保守プロシージャライブラリの一部として、ＡＲライブラリ構成要素８０は随意に、動作８２において、サービス提供動作の知覚可能なシーケンスのＡＲサポートを与えるために他のＡＲライブラリ構成要素とさまざまにリンクされる。例えば、図１のＣＴガントリー１２のＸ線管を交換するプロセスについて考える。このサービス提供は、Ｘ線管にアクセスするためにＣＴガントリー１２を開くことと、Ｘ線管を取り外すことと、場合によっては、新しいＸ線管の何らかのセットアップ又は設定を実施することと、新しいＸ線管を取り付けることと、次いでＣＴガントリー１２を再構築することとを伴う。これらのステップの各々は、１つの手法では、別個のＡＲライブラリ構成要素によってサポートされ、次いでそれらが互いに好適にリンクされる。したがって、サービス人員は、ＣＴガントリーを開くことのＡＲコンテンツライブラリ構成要素を最初にロードし、観察し、これが完了すると、次のライブラリ構成要素（例えば新しいＸ線管を設定すること）が、自動的にリンクされ、起動されるなどである。変形実施形態では、リンキング動作８２は、ビデオコンテンツに基づいて自動化され、例えば、ＡＲコンテンツライブビデオフィードの再生中（図３を参照する、本明細書の後の説明を参照）、ライブビデオフィードはＣＶ処理を使用して分析されて、サービス提供下の特定のモデル、タイプ、又は他の固有の構成要素を検出し、次いで、その特定のモデル、タイプ、又は他の固有の構成要素のための正しいＡＲライブラリ構成要素を呼び出す。
図３を参照すると、図２に関して説明されたＡＲコンテンツオーサリングによって生成されたＡＲライブラリ構成要素８０は、後続のサービスコール（すなわち、図１に関して説明された記録されたビデオ４０を生成するために記録されたサービスコールの後で実施されるサービスコール）を実施するサービス人員に好適に提示される。ＡＲコンテンツは、ステレオカメラ２０が搭載された眼鏡２１の形態の例示的なヘッドアップディスプレイ（ＨＵＤ）９０など、好適なモバイルデバイスを使用して提示される。したがって、ＨＵＤ９０は、図１に関してすでに説明されたアイウェアベースのモバイルカメラ１８と同様であることがわかるが、ＨＵＤ９０は透明ディスプレイをさらに備え、例示的な場合には、眼鏡２１の左眼フレームにおいて搭載された左透明ディスプレイ９２と、眼鏡２１の右眼フレームにおいて搭載された右透明ディスプレイ９４とを備える。したがって、ＨＵＤ９０はシースルーＡＲディスプレイを構成し、シースルーＡＲディスプレイでは、ユーザ（例えばサービス人員）は、透明ディスプレイ９２、９４を通して観察することによって、実際のシーンを直接見て、一方、透明ディスプレイ９２、９４上にＡＲコンテンツを表示することによって、ＡＲコンテンツは、この実際に観察されたシーンに重畳される。例示的な眼鏡ベースのＨＵＤ９０は、一例であり、多数の他のＨＵＤ設計が企図される。変形実施形態では、ＨＵＤは、左眼と右眼の両方にわたって延在する単一のレンズをもつゴーグルを採用し、この実施形態では、透明ディスプレイは、左眼と右眼の両方にわたって同様に延在する単一の透明ディスプレイである。
シースルーＡＲディスプレイは、サービス人員が、その人の視覚によって与えられる最大視力を有するように、実際のシーンを直接見る（例えば、サービス提供されている構成要素を実際に見る）という点で非常に大きな利点を有する（サービス人員が、近視であるか或いは場合によっては処方眼鏡又はコンタクトを必要とする場合、サービス人員は、好適に、ＨＵＤ９０を使用するとともに処方コンタクトを着用するか、又は、随意に、透明ディスプレイ９２、９４を形成するガラスが、眼の処方（ｏｃｕｌａｒ ｐｒｅｓｃｒｉｐｔｉｏｎ）を組み込むように変更されるかのいずれかである）。しかしながら、代替実施形態では、ビデオＡＲディスプレイを採用することが企図される。この代替実施形態では、透明ディスプレイ９２、９４は、ステレオカメラ２０によってキャプチャされた実際のシーンのビデオフィードを表示する、不透明ディスプレイによって置き換えられる。その場合、表示されたビデオフィードは、表示されたＡＲコンテンツのアンダーレイとして働く。ビデオＡＲディスプレイを使用したこの手法は、一般に、ビデオディスプレイが、より粗い解像度のものになることになり、及び／又は、例示的なシースルーＨＵＤ９０によって与えられる実際のシーンの直接ビューと比較して、他の光学的低下を有するという欠点を有する。
サービスプロシージャをサポートするためのＡＲコンテンツを与えるために、ライブビデオフィード９６が、Ｂｌｕｅｔｏｏｔｈ（商標）又は別の短距離から中距離のワイヤレス通信プロトコルを介して（又は、代替的に、ワイヤードＵＳＢ又は他のワイヤード接続を介して）モバイルデバイス３０（例えばセルフォン又はタブレットコンピュータ）に通信され、モバイルデバイス３０は、ライブビデオフィード９６を、例えば、４Ｇなどのセルラー通信プロトコルを介して、或いはインターネットサービスプロバイダ（ＩＳＰ）へのＷｉＦｉリンク及び／又は病院電子ネットワークなどを介してサーバコンピュータ１００に中継する。サーバコンピュータ１００は、ＡＲライブラリ構成要素８０のＡＲコンテンツをライブビデオフィード９６にマッピングし、エージェント（この実施形態ではＨＵＤ９０）を位置特定するように、整合１０２を実施するために、非一時的記憶媒体（図示せず、ハードディスクドライブ、ＲＡＩＤ、又は他の磁気記憶媒体；フラッシュメモリ、ソリッドステートドライブ、又は他の電子記憶媒体；光ディスク又は他の光記憶媒体；それらの様々な組合せなど）に記憶された命令を実行する。整合１０２は、前に説明されたマッピング７０（図２参照）と同様にＳＬＡＭ処理によって実施される。ライブビデオフィード９６にマッピングされたＡＲコンテンツは、好適に、ＡＲライブラリ構成要素８０において定義されたＡＲコンテンツ、例えば、部品番号アノテーション、ＣＡＤ図面又はＣＡＤ図面の部分を表示するアノテーション付きピクチャインピクチャ（ＰＩＰ）ウィンドウ、及び／又は口頭ナレーションが付随するＣＡＤアニメーションなどを含む。例えば、整合されたＡＲコンテンツは、ＳＬＡＭ処理によって、ライブビデオフィード９６において特定されたＬＯＩと整合された、マーカーを含む。別の例として、整合されたＡＲコンテンツは、ＣＶ処理１０２によって、ライブビデオフィード９６において特定されたＬＯＩと整合されたアノテーション（部品番号アノテーション、ＣＡＤ図面又はＣＡＤ図面部分、或いはＣＡＤアニメーションなど）を含む。
得られたＡＲコンテンツ１０４は、４Ｇ、ＷｉＦｉ／ＩＳＰ／インターネット又は他の通信経路を介してモバイルデバイス３０に送信され、次には、Ｂｌｕｅｔｏｏｔｈ（商標）又は他の短距離から中距離のワイヤレス通信を介してモバイルデバイス３０からＨＵＤ９０に送信される。ＨＵＤ９０において、ＡＲコンテンツ１０４は、サービス人員が、透明ディスプレイ９２、９４を通して見るとき、サービス人員が見る実際のシーンのビュー上に重畳されるものとして視覚的に知覚する不透明又は半透明なテキスト及び／又は画像として、透明ディスプレイ９２、９４上に表示される（ビデオＡＲディスプレイが採用される代替実施形態では、ライブビデオフィード９６はアンダーレイとして表示され、ＡＲコンテンツ１０４がそのアンダーレイの上に重畳される）。
ＨＵＤ９０は、随意に、制御のためのユーザインターフェースを備える。例示的な一実施形態では、これは、モバイルデバイス３０上で動作するＡＲユーザインターフェース（ＵＩ）アプリケーションプログラム（「ＡＲ ＵＩアプリ」）１０６として実施される。ＡＲ ＵＩアプリ１０６を介して、サービス人員は、ＡＲコンテンツをオン又はオフにすること（例えば、後者は、サービス人員が、ＡＲコンテンツの支援を必要としないことを確信している場合、及び／又は、ＡＲコンテンツが、サービス提供されている構成要素を見えないように遮断している場合、有用である）、特定のＡＲコンテンツエピソードを実行すること、ＡＲコンテンツを休止すること（この場合も、ＡＲコンテンツは、概して、ライブビデオフィード９６と同期する時間シーケンスとして提示される）、ＡＲコンテンツの輝度、透過性、及び／又は他の表示特性を調節すること、オーディオナレーションをオン又はオフにすることなどを選択することなど、様々な制御動作を実施することができる。いくつかの実施形態では、ＡＲ ＵＩアプリ１０６は、サービス人員がＡＲコンテンツと対話するための１つ又は複数の機構を与え、例えば、ＨＵＤ９０が注視追跡技術を備える場合、好適な制御機構は、ＡＲコンテンツ要素（例えば、ＰＩＰウィンドウ、部品番号アノテーションなど）に注視を向け、次いで、コマンドを話すためのものであり、コマンドは、マイクロフォン３８によって検出され、話されたコマンドを解釈するために音声認識（ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）によって処理される。話されたコマンドを介してではなく、ユーザコマンドは、代わりに、モバイルデバイス３０のタッチセンシティブディスプレイ３４上に表示されたソフト制御（ボタン、スイッチ、ソフトキーボードなど）を介して入力される。これらは、例示的なユーザインターフェーシング能力及び制御入力機構にすぎず、より一般的には、ＡＲコンテンツの提示を制御するために好適に使用される実質的に任意のタイプのユーザインターフェーシング能力及び／又は制御入力機構が採用される。
引き続き図３を参照すると、いくつかの実施形態では、サービス提供プレビューが与えられる。すでに言及されたように、プレビュービデオ４１はこの目的で与えられ、プレビュービデオ４１は、何らかの随意の処理（例えば停止ポイントの挿入及び／又はエピソードへのセグメント化、図２の動作７６参照）を用いて（図２に関して前に説明された）ＡＲコンテンツ８０をオーサリングするための基礎として使用された、記録されたビデオ４０を含む。プレビューモードを採用するために、ユーザは、動作１１０において、例えばＡＲ ＵＩアプリ１０６を使用して、プレビューを要求する。応答する動作１１２において、サーバコンピュータ１００は、プレビューモードに切り替わるように命令される（例えば、コマンドが、ライブビデオフィード９６をサーバ１００に伝達するために使用される同じ４Ｇ又は他の通信経路に沿って送られ、随意に、プレビューモードに切り替わったとき、サーバへのライブビデオフィードのこの通信はオフにされる）。コマンド１１２は、サーバに、ＡＲ整合プロセス１０２に対する変更１１４を実施させる。この変更は、ＡＲコンテンツがプレビュービデオ４１と整合されるように、ライブビデオフィード９６の代わりにプレビュービデオ４１を使用することと、ＡＲコンテンツのアンダーレイとしてプレビュービデオ４１を追加することとを有する。アンダーレイプレビュービデオとともにプレビュービデオと整合されたＡＲコンテンツのこの合成は、次いで、モバイルデバイス３０に送信されるＡＲコンテンツ１０４になる。モバイルデバイス３０において、動作１１６において、重畳ＡＲコンテンツをもつプレビュービデオは、モバイルデバイスのディスプレイ３４上に表示される（同時に、ＨＵＤ９０へのＡＲコンテンツフィードはオフにされる）。次いで、サービス人員は、無関係のＡＲコンテンツが透明ディスプレイ９２、９４上に現れることによって妨害されることなしに、モバイルデバイス３０のディスプレイ３４上でプレビューを観察することができる。モバイルデバイス３０のディスプレイ３４上でのプレビューの表示は、このコンテンツがもはやステレオカメラ２０からのライブビデオフィードと空間的に整合されないので、概して好ましいが、別の実施形態では、透明ディスプレイ９２、９４上にプレビューを表示することが企図される。
図３の例示的な実施形態は、計算的に複雑なＳＬＡＭ処理１０２を実施するために、サーバコンピュータ１００を採用し、これは、モバイルデバイス３０及びＨＵＤ９０が、限られた処理能力を有する場合に有益である。同様に、ＡＲ ＵＩアプリ１０６を実行するモバイルデバイス３０を使用してユーザインターフェーシングを与えることは、モバイルデバイス３０のタッチセンシティブディスプレイ３４及び随意に他の特徴（例えばマイクロフォン３８）を活用して、ユーザフレンドリインターフェースシングを与える。代替実施形態では、これらの動作／処理は、場合によっては分散される。１つの企図される実施形態では、すべての処理及びユーザインターフェーシングがＨＵＤと統合され、ＨＵＤは、この企図される実施形態では、単一ユニットＡＲベースのサービス提供案内デバイスを提供するために、ＡＲライブラリ構成要素８０を記憶する（又は、クラウドサーバからこのコンテンツをダウンロードする）ためのフラッシュメモリなどを備える。別の変形実施形態として、動作１０２は、モバイルデバイス３０において、ＡＲライブラリ構成要素８０を使用して実施され、ＡＲライブラリ構成要素８０は、全体がモバイルデバイス３０にダウンロードされるか又はクラウドサーバからストリーミングされるかのいずれかである。これらは、同じく例示的な変形実施形態にすぎない。
その上、例示的なＨＵＤ９０は、ＡＲコンテンツを提示する別のモバイルデバイスによって置き換えられる。例えば、モバイルデバイス３０、例えばセルフォン又はタブレットコンピュータは、ＡＲコンテンツを提示するように働く（この変形実施形態では、ＨＵＤ９０は省略される）。モバイルデバイス３０を使用して、サービスコールをサポートするＡＲコンテンツを提示するために、サービス人員は、後向きカメラ３６をサービス提供されている構成要素に向け、ライブビデオフィード９６は後向きカメラ３６によって記録される。サーバコンピュータは、ＡＲコンテンツを生成するためにすでに説明された動作１０２を介してライブビデオフィードを処理し、それをモバイルデバイス３０に返送し、モバイルデバイス３０は、ＡＲコンテンツが重畳されたライブビデオフィード９６を表示する（又は、代替的に、ライブビデオフィード９６へのＡＲコンテンツの重畳は、サーバコンピュータ１００において実施され、サーバコンピュータ１００は次いで、アンダーレイライブビデオフィードが合成されたＡＲコンテンツを返送する）。有利には、サービス人員は、後向きカメラ３６が、サービス提供されている構成要素に向けられた状態で、モバイルデバイス３０のディスプレイ３４を観察することができ、その結果、モバイルデバイス３０は、ビデオＡＲディスプレイとして動作する。
図１と図３とを比較参照すると、いくつかの実施形態では、ＡＲコンテンツサポートにおいて使用されたＨＵＤ９０は、図１の記録されたビデオ４０を記録するためのモバイルカメラ１８としても使用され得、すなわち、ＨＵＤ９０は、図１のモバイルカメラ１８の代わりに使用され得ることが理解されよう。そのような相互運用性は、以下の貴重な利点を有する。サービスコール中にＨＵＤ９０によってキャプチャされたライブビデオフィード９６は、随意に図１の記録されたビデオ４０として使用されて、更新された又は追加のＡＲコンテンツを生成するために図２のようにさらなるＡＲオーサリングを実施するための基礎として働き得る。例えば、ＣＴガントリー１２のＸ線管を交換する前の例では、ＡＲコンテンツを与えるためにＨＵＤ９０を使用するサービス人員が、ＡＲコンテンツを作成するために記録されたサービスコール中で取り付けられたモデルとは異なる、新しいモデルのＸ線管を有すると仮定する。この場合、サービス人員は、新しいモデルのＸ線管を取り付けるときに、ライブビデオフィード９６を記録することができる。これは、図１に関して前に説明したように、リモートの専門家４２からの電話アドバイスを得ることを伴う。新しいモデルのＸ線管の取付けの記録されたライブビデオフィード９６は、次いで、図２のＡＲコンテンツオーサリングを実施するための基礎として働く記録されたビデオ４０になる。その後、新しいモデルのＸ線管が後続のサービスコールにおいて取り付けられるとき、新しいモデルのＸ線管に適した新たにオーサリングされたＡＲコンテンツが、ＡＲベースの案内を与えるために使用され得る。図２のように更新ＡＲコンテンツオーサリングを実施する際に、動作８２において、所与の後続のサービスコールのために、どのモデルのＸ線管が取り付けられているかに応じて古いモデルの管の取付けをサポートするためのＡＲコンテンツ又は新しいモデルの管の取付けをサポートするＡＲコンテンツのいずれかをロードするリンクが、追加され得る。このリンクは手動である（例えば、ユーザは、正しいＡＲサポートコンテンツをロードするために、ＡＲ ＵＩ１０６を介してＸ線管モデル番号を入力する）か、又は自動である（例えば、サービス人員がＸ線管を最初に注視したとき、モデル番号又はモデルを区別する特徴が、ＣＶ処理を介して検出され、取り付けられているＸ線管のための正しいＡＲコンテンツにリンクするために使用される）。
例示的な実施形態では、図２のＡＲコンテンツオーサリング方法５４は、図３に関して説明されたようにＡＲベースのサービス命令の送出において後で使用するためのＡＲコンテンツ８０を生成するために、医療イメージングデバイスを修理又は保守するために実施されたサービスコールの記録されたビデオ４０を処理する。しかしながら、図２のＡＲコンテンツオーサリング方法５４は、追加又は代替として、実施された保守又は修理アクションをイメージングデバイス１０に反映するためにアノテーション付きＡＲログエントリを作成することなど、他の目的のために、記録されたビデオ４０を処理するために適用される。オーサリングされたＡＲコンテンツは、保守を検証し、計画される保守の要件を相関させるためのツールを与えるために、保守チェックの記録として使用され得る。
保守又は修理ログ記録適用例において、ＡＲコンテンツログエントリは、一般に、動作７２、７４において作成されたＡＲコンテンツアノテーションとともに、記録されたビデオ４０を含み、（記録されたビデオ４０とＡＲアノテーションとを含む）ＡＲコンテンツログエントリは、好適に、イメージングデバイス１０の電子サービスログに記憶される。ＬＯＩ指定動作７２は、サービス人員がサービス提供したロケーションを特定するために、サービスコールの完了の直後にそのサービス人員によって実施され、動作７４は、サービス人員が、部品番号アノテーション、実施されたサービス及び／又はそのサービスの何らかの異例の態様の口頭及び／又はテキスト（随意に音声テキスト）口頭及び／又はテキスト説明、検査された構成要素の記録されたビデオの拡張として働くサービス人員によってもたらされた検査観測結果など、ＡＲコンテンツを追加することを伴う。これらの実施形態では、ユーザ動作７２、７４は、例えば、サービス人員によって携帯されたタブレットコンピュータ、セルフォン、又は他のポータブル電子デバイス上で実施される。何らかのアノテーション付きＡＲコンテンツが、自動的に生成され、例えば、タイムスタンプ情報、サービス担当者の識別情報（代替的に、これは手動で追加されるＡＲコンテンツであり得る）、構成要素のＣＶベースの自動識別情報、又は記録されたビデオ４０中に出現する他の物体などを追加する。
本発明は、好ましい実施形態に関して説明された。上記の詳細な説明を読み、理解した他者は、変更及び改変に想到する。本発明は、すべてのそのような変更及び改変が、添付の特許請求の範囲又はそれの均等物の範囲内に入る限りにおいて、それらの変更及び改変を含むものと解釈されるものである。

Claims (21)

  1. 拡張現実（ＡＲ）ベースのサービス提供案内デバイスであって、前記ＡＲベースのサービス提供案内デバイスは、
    ディスプレイとカメラとを備えるモバイルデバイスと、
    ＡＲコンテンツを、前記モバイルデバイスの前記カメラによってキャプチャされたライブビデオフィードと整合させることと、前記モバイルデバイスの前記ディスプレイ上に、前記ライブビデオフィードと整合された前記ＡＲコンテンツを表示することとを行うために、コンピュータビジョン（ＣＶ）処理を実施するようにプログラムされた電子プロセッサと
    を備える、拡張現実（ＡＲ）ベースのサービス提供案内デバイス。
  2. 整合された前記ＡＲコンテンツが、前記ＣＶ処理によって、前記ライブビデオフィードにおいて特定された関心ロケーション（ＬＯＩ）と整合された、マーカーを含む、
    請求項１に記載のＡＲベースのサービス提供案内デバイス。
  3. 整合された前記ＡＲコンテンツが、前記ＣＶ処理によって、前記ライブビデオフィードにおいて特定された前記関心ロケーション（ＬＯＩ）と整合された、アノテーションを含む、
    請求項１又は２に記載のＡＲベースのサービス提供案内デバイス。
  4. 前記アノテーションが、部品番号アノテーション、コンピュータ支援設計（ＣＡＤ）図面若しくはＣＡＤ図面部分、又はＣＡＤアニメーションである、
    請求項３に記載のＡＲベースのサービス提供案内デバイス。
  5. 前記モバイルデバイスがヘッドアップディスプレイ（ＨＵＤ）を備え、前記ディスプレイが透明ディスプレイであり、前記カメラが、前記透明ディスプレイを通して見る前記ＨＵＤのユーザの視点に対応する前記ライブビデオフィードをキャプチャするように配置され、
    前記電子プロセッサが、前記ＨＵＤの前記透明ディスプレイ上に前記ライブビデオフィードを表示することなしに、前記透明ディスプレイ上に、前記ライブビデオフィードと整合された前記ＡＲコンテンツを表示するようにプログラムされた、
    請求項１から４のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
  6. 前記モバイルデバイスがセルラー電話（セルフォン）又はタブレットコンピュータを備え、前記ディスプレイが、前記セルフォン又は前記タブレットコンピュータの前面上に配設された不透明ディスプレイであり、前記カメラが、前記セルフォン又は前記タブレットコンピュータの反対側の裏面上に配置された後向きカメラであり、
    前記電子プロセッサが、前記セルフォン又は前記タブレットコンピュータの前記不透明ディスプレイ上に、前記後向きカメラによってキャプチャされた前記ライブビデオフィードと整合された前記ＡＲコンテンツと、前記ＡＲコンテンツのアンダーレイとしての前記ライブビデオフィードとの両方を表示するようにプログラムされた、
    請求項１から４のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
  7. 前記電子プロセッサが、前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードの代わりに使用されるプレビュービデオと整合させるために、前記ＣＶ処理を実施することと、前記モバイルデバイスの前記ディスプレイ上に、前記プレビュービデオと整合された前記ＡＲコンテンツと、前記ＡＲコンテンツのアンダーレイとして表示される前記プレビュービデオとの両方を同時に表示することとによって、サービス提供プレビューを実施するようにさらにプログラムされた、
    請求項１から６のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
  8. 前記電子プロセッサが、
    前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードと整合させるために、前記ＣＶ処理を実施するようにプログラムされた、サーバコンピュータと、
    前記サーバコンピュータに、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードを送信することと、前記サーバコンピュータから、前記ライブビデオフィードと整合された前記ＡＲコンテンツを受信することと、前記モバイルデバイスの前記ディスプレイ上に、前記ライブビデオフィードと整合された前記ＡＲコンテンツを表示することとを行うようにプログラムされた、前記モバイルデバイスのプロセッサと
    を備える、
    請求項１から７のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
  9. 前記ＣＶ処理が、前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードと整合させるための同時位置特定及びマッピング（ＳＬＡＭ）処理を含む、
    請求項１から８のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
  10. 前記ＡＲコンテンツの少なくとも一部分を、ユーザ入力によってサービスコールの記録されたビデオにおいて特定された少なくとも１つの関心ロケーション（ＬＯＩ）と整合させることを含む、前記ＡＲコンテンツを前記サービスコールの前記記録されたビデオと整合させることを含む動作によって、前記ＡＲコンテンツを生成するために、ＣＶ処理を実施するようにプログラムされたコンピュータをさらに備える、
    請求項１から９のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
  11. 拡張現実（ＡＲ）ベースのサービス提供案内方法であって、前記ＡＲベースのサービス提供案内方法は、
    コンピュータを使用して、サービスコールの記録されたビデオにおける少なくとも１つの関心ロケーション（ＬＯＩ）を特定する、前記コンピュータにおけるユーザ入力を受信する動作と、ＡＲコンテンツの部分を前記少なくとも１つのＬＯＩと整合させることを含む、前記ＡＲコンテンツを前記サービスコールの前記記録されたビデオと整合させるためにコンピュータビジョン（ＣＶ）処理を実施する動作とを有する、ＡＲコンテンツをオーサリングするステップと、
    電子プロセッサ、及びディスプレイとカメラとを備えるモバイルデバイスを使用して、オーサリングされた前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出されたライブビデオフィードと整合させるために、前記電子プロセッサを使用してコンピュータビジョン（ＣＶ）処理を実施するステップと、前記モバイルデバイスの前記ディスプレイ上に、前記ライブビデオフィードと整合されたオーサリングされた前記ＡＲコンテンツを表示するステップとを有する、オーサリングされた前記ＡＲコンテンツを提示するステップと
    を有する、拡張現実（ＡＲ）ベースのサービス提供案内方法。
  12. 前記少なくとも１つのＬＯＩと整合された前記ＡＲコンテンツの前記部分が、部品番号アノテーション、コンピュータ支援設計（ＣＡＤ）図面アノテーション、及びＣＡＤアニメーションアノテーションのうちの１つ又は複数を含む、
    請求項１１に記載のＡＲベースのサービス提供案内方法。
  13. 前記モバイルデバイスがヘッドアップディスプレイ（ＨＵＤ）を備え、前記ディスプレイが透明ディスプレイであり、前記カメラが、前記透明ディスプレイを通して見る前記ＨＵＤのユーザの視点に対応する前記ライブビデオフィードをキャプチャするように配置され、オーサリングされた前記ＡＲコンテンツを提示するステップが、
    前記ＨＵＤの前記透明ディスプレイ上に前記ライブビデオフィードを表示することなしに、前記透明ディスプレイ上に、前記ライブビデオフィードと整合された前記ＡＲコンテンツを表示するステップ
    を有する、請求項１１又は１２に記載のＡＲベースのサービス提供案内方法。
  14. 前記モバイルデバイスがセルラー電話（セルフォン）又はタブレットコンピュータを備え、前記ディスプレイが、前記セルフォン又は前記タブレットコンピュータの前面上に配設された不透明ディスプレイであり、前記カメラが、前記セルフォン又は前記タブレットコンピュータの反対側の裏面上に配置された後向きカメラであり、オーサリングされた前記ＡＲコンテンツを前記提示するステップが、
    前記セルフォン又は前記タブレットコンピュータの前記不透明ディスプレイ上に、前記後向きカメラによってキャプチャされた前記ライブビデオフィードと整合された前記ＡＲコンテンツと、前記ＡＲコンテンツのアンダーレイとしての前記ライブビデオフィードとの両方を表示するステップ
    を有する、請求項１１又は１２に記載のＡＲベースのサービス提供案内方法。
  15. 前記電子プロセッサと前記モバイルデバイスとを使用して、オーサリングされた前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードの代わりに使用されるプレビュービデオと整合させるために、前記ＣＶ処理を実施することと、前記モバイルデバイスの前記ディスプレイ上に、前記プレビュービデオと整合されたオーサリングされた前記ＡＲコンテンツと、オーサリングされた前記ＡＲコンテンツのアンダーレイとして表示される前記プレビュービデオとの両方を同時に表示することとによって、サービス提供プレビューを実施するステップ
    をさらに有する、請求項１１から１４のいずれか一項に記載のＡＲベースのサービス提供案内方法。
  16. 前記電子プロセッサは、オーサリングされた前記ＡＲコンテンツを、前記カメラによって作り出された前記ライブビデオフィードと整合させるために前記ＣＶ処理を実施するために使用されるサーバコンピュータと、前記モバイルデバイスの前記ディスプレイ上に、前記ライブビデオフィードと整合されたオーサリングされた前記ＡＲコンテンツを表示するために使用される前記モバイルデバイスのプロセッサとを備え、前記ＡＲベースのサービス提供案内方法は、
    前記モバイルデバイスから前記サーバコンピュータに前記ライブビデオフィードを通信するステップと、
    前記サーバコンピュータから前記モバイルデバイスに前記ライブビデオフィードと整合されたオーサリングされた前記ＡＲコンテンツを通信するステップと
    をさらに有する、請求項１１から１５のいずれか一項に記載のＡＲベースのサービス提供案内方法。
  17. 前記ＡＲコンテンツを前記サービスコールの前記記録されたビデオと整合させるために実施される前記ＣＶ処理が、同時位置特定及びマッピング（ＳＬＡＭ）処理を含み、
    オーサリングされた前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出されたライブビデオフィードと整合させるために実施される前記ＣＶ処理が、ＳＬＡＭ処理を含む、
    請求項１１から１６のいずれか一項に記載のＡＲベースのサービス提供案内方法。
  18. サービス提供案内のために拡張現実（ＡＲ）コンテンツをオーサリングするためのＡＲコンテンツオーサリングデバイスであって、前記ＡＲコンテンツオーサリングデバイスは、
    コンピュータと、
    ＡＲコンテンツオーサリング方法を実施するための、前記コンピュータによって読取り可能及び実行可能な命令を記憶する非一時的記憶媒体とを備え、前記ＡＲコンテンツオーサリング方法が、
    サービスコールの記録されたビデオにおける少なくとも１つの関心ロケーション（ＬＯＩ）を特定する、前記コンピュータにおけるユーザ入力を受信するステップと、
    ＡＲコンテンツの部分を前記少なくとも１つのＬＯＩと整合させるステップを有する、前記ＡＲコンテンツを前記サービスコールの前記記録されたビデオと整合させるためにコンピュータビジョン（ＣＶ）処理を実施するステップとを有する、
    ＡＲコンテンツオーサリングデバイス。
  19. 少なくとも１つのＬＯＩを特定する前記ユーザ入力を受信することが、
    前記サービスコールの前記記録されたビデオにおける前記ユーザ入力を受信することであって、前記記録されたビデオにおける少なくとも１つのＬＯＩを示す、前記記録されたビデオによってキャプチャされたユーザ動作を検出するために、前記コンピュータによってＣＶ処理が実施される、受信することを含む、
    請求項１８に記載のＡＲコンテンツオーサリングデバイス。
  20. 前記ＣＶ処理が、同時位置特定及びマッピング（ＳＬＡＭ）処理を含む、
    請求項１８又は１９に記載のＡＲコンテンツオーサリングデバイス。
  21. 前記ＡＲコンテンツオーサリング方法が、前記サービスコールの前記記録されたビデオと、整合された前記ＡＲコンテンツとを、
    プレビュービデオを含む保守プロシージャＡＲライブラリ構成要素、又は
    医療イメージングデバイスの電子サービスログに記憶された、前記記録されたビデオと、整合された前記ＡＲコンテンツとを含むＡＲサービスログエントリ
    のうちの１つとして記憶するステップをさらに有する、
    請求項１８から２０のいずれか一項に記載のＡＲコンテンツオーサリングデバイス。
JP2020542682A 2017-10-23 2018-10-18 自己展開型拡張現実ベースのサービス命令ライブラリ Pending JP2021500690A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762575553P 2017-10-23 2017-10-23
US62/575553 2017-10-23
PCT/EP2018/078635 WO2019081350A1 (en) 2017-10-23 2018-10-18 SERVICE INSTRUCTION LIBRARY BASED ON SELF-EXPANSION ENHANCED REALITY

Publications (2)

Publication Number Publication Date
JP2021500690A true JP2021500690A (ja) 2021-01-07
JP2021500690A5 JP2021500690A5 (ja) 2021-11-25

Family

ID=63921550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020542682A Pending JP2021500690A (ja) 2017-10-23 2018-10-18 自己展開型拡張現実ベースのサービス命令ライブラリ

Country Status (5)

Country Link
US (1) US11861898B2 (ja)
EP (1) EP3701355A1 (ja)
JP (1) JP2021500690A (ja)
CN (1) CN111386511A (ja)
WO (1) WO2019081350A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021500690A (ja) * 2017-10-23 2021-01-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 自己展開型拡張現実ベースのサービス命令ライブラリ
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11896279B2 (en) 2018-09-07 2024-02-13 Cilag Gmbh International Surgical modular energy system with footer module
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11031128B2 (en) * 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US20220331048A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Utilization of surgical data values and situational awareness to control the overlay in surgical field view
CN113404318A (zh) * 2021-07-06 2021-09-17 中建八局第三建设有限公司 基于bim、uwb和ar技术的临边洞口施工管控方法
US20240045491A1 (en) * 2022-08-05 2024-02-08 Alexander Sourov Medical image overlays for augmented reality experiences

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012108711A (ja) * 2010-11-17 2012-06-07 Nec Casio Mobile Communications Ltd 端末装置、端末装置の動作方法、及び拡張現実システム
WO2013094366A1 (ja) * 2011-12-22 2013-06-27 村田機械株式会社 産業機械システムおよび産業機械システム用情報処理機器
JP2014123193A (ja) * 2012-12-20 2014-07-03 Kddi Corp フィールド作業支援装置
WO2014162823A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50003531D1 (de) * 1999-03-02 2003-10-09 Siemens Ag System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
US8489408B2 (en) * 2002-10-18 2013-07-16 Kabushiki Kaisha Toshiba Medical equipment management apparatus which predicts future status of medical equipment
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
US10387612B2 (en) * 2006-06-14 2019-08-20 Koninklijke Philips N.V. Multi-modality medical image layout editor
US20080123910A1 (en) * 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US20100159434A1 (en) * 2007-10-11 2010-06-24 Samsun Lampotang Mixed Simulator and Uses Thereof
US20100257252A1 (en) * 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110316845A1 (en) * 2010-06-25 2011-12-29 Palo Alto Research Center Incorporated Spatial association between virtual and augmented reality
US9424371B2 (en) * 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling
US20120166462A1 (en) * 2010-12-28 2012-06-28 Microsoft Corporation Automated image data processing and visualization
WO2012142250A1 (en) * 2011-04-12 2012-10-18 Radiation Monitoring Devices, Inc. Augumented reality system
US8832233B1 (en) * 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
EP2560145A3 (en) 2011-08-18 2017-03-15 Layar B.V. Methods and systems for enabling the creation of augmented reality content
US20150040074A1 (en) 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
US11397462B2 (en) * 2012-09-28 2022-07-26 Sri International Real-time human-machine collaboration using big data driven augmented reality technologies
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US20140320529A1 (en) 2013-04-26 2014-10-30 Palo Alto Research Center Incorporated View steering in a combined virtual augmented reality system
US9269003B2 (en) * 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
WO2014179745A1 (en) * 2013-05-02 2014-11-06 Qualcomm Incorporated Methods for facilitating computer vision application initialization
US9495761B2 (en) * 2013-11-04 2016-11-15 The Regents Of The University Of California Environment mapping with automatic motion model selection
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
JP2015118442A (ja) * 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
US20150262412A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Augmented reality lighting with dynamic geometry
US20150325047A1 (en) * 2014-05-06 2015-11-12 Honeywell International Inc. Apparatus and method for providing augmented reality for maintenance applications
EP3146729A4 (en) * 2014-05-21 2018-04-11 Millennium Three Technologies Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
US9723109B2 (en) * 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
CN104274247A (zh) * 2014-10-20 2015-01-14 上海电机学院 医学手术导航方法
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US20160140868A1 (en) * 2014-11-13 2016-05-19 Netapp, Inc. Techniques for using augmented reality for computer systems maintenance
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
GB2534359A (en) * 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
US11150482B2 (en) * 2015-02-25 2021-10-19 Facebook Technologies, Llc Augmented reality content creation
US9846972B2 (en) * 2015-04-06 2017-12-19 Scope Technologies Us Inc. Method and apparatus for sharing augmented reality applications to multiple clients
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration
US10037627B2 (en) * 2015-08-14 2018-07-31 Argis Technologies Llc Augmented visualization system for hidden structures
US10430040B2 (en) * 2016-01-18 2019-10-01 Microsoft Technology Licensing, Llc Method and an apparatus for providing a multitasking view
US10187686B2 (en) * 2016-03-24 2019-01-22 Daqri, Llc Recording remote expert sessions
GB2568426B (en) * 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system
US20180082414A1 (en) * 2016-09-21 2018-03-22 Astralink Ltd. Methods Circuits Assemblies Devices Systems Platforms and Functionally Associated Machine Executable Code for Computer Vision Assisted Construction Site Inspection
US20210327303A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
US20180239313A1 (en) * 2017-02-22 2018-08-23 Stellar Vdc Residential, Llc Building model with virtual capture of as built features and objective performance tracking
US10659768B2 (en) * 2017-02-28 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. System and method for virtually-augmented visual simultaneous localization and mapping
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US10249095B2 (en) * 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US20180324229A1 (en) * 2017-05-05 2018-11-08 Tsunami VR, Inc. Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
WO2018222756A1 (en) * 2017-05-30 2018-12-06 Ptc Inc. Object initiated communication
US10127290B1 (en) * 2017-07-19 2018-11-13 Facebook, Inc. Systems and methods for distributing augmented-reality effects
US10212000B1 (en) * 2017-07-25 2019-02-19 Daqri, Llc Computer vision based activation
EP3438859A1 (en) * 2017-08-01 2019-02-06 Predict Srl Method for providing remote assistance services using mixed and/or augmented reality visors and system for implementing it
JP2021500690A (ja) * 2017-10-23 2021-01-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 自己展開型拡張現実ベースのサービス命令ライブラリ
US10699165B2 (en) * 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
US10854006B2 (en) * 2018-11-15 2020-12-01 Palo Alto Research Center Incorporated AR-enabled labeling using aligned CAD models
US20200210967A1 (en) * 2018-12-31 2020-07-02 Palo Alto Research Center Incorporated Method and system for rule-based augmentation of perceptions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012108711A (ja) * 2010-11-17 2012-06-07 Nec Casio Mobile Communications Ltd 端末装置、端末装置の動作方法、及び拡張現実システム
WO2013094366A1 (ja) * 2011-12-22 2013-06-27 村田機械株式会社 産業機械システムおよび産業機械システム用情報処理機器
JP2014123193A (ja) * 2012-12-20 2014-07-03 Kddi Corp フィールド作業支援装置
WO2014162823A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US11861898B2 (en) 2024-01-02
WO2019081350A1 (en) 2019-05-02
CN111386511A (zh) 2020-07-07
EP3701355A1 (en) 2020-09-02
US20200342228A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
JP2021500690A (ja) 自己展開型拡張現実ベースのサービス命令ライブラリ
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
Sauer et al. Mixed reality in visceral surgery: development of a suitable workflow and evaluation of intraoperative use-cases
US20210022599A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
Silva et al. Emerging applications of virtual reality in cardiovascular medicine
CN109069103B (zh) 超声成像探头定位
EP2671114B1 (en) Imaging system and method for imaging and displaying an operator's work-site
US9001036B2 (en) Systems and methods of camera-based fingertip tracking
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
KR20130108643A (ko) 응시 및 제스처 인터페이스를 위한 시스템들 및 방법들
JP2015527760A (ja) 時空間的不確実性を管理するためのシステム及び方法
WO2020197621A1 (en) Spatially consistent representation of hand motion
EP3803540B1 (en) Gesture control of medical displays
EP3445249B1 (en) Ultrasound imaging probe positioning
US20230093342A1 (en) Method and system for facilitating remote presentation or interaction
CN110301013A (zh) 用于手术室中的预测性工作流程的增强现实
WO2021062375A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
CN113168906A (zh) 用于增强现实-增强现场维修支持的系统和方法
CN104969547A (zh) 用于3d视觉内容的自动化评估的技术
KR20220156870A (ko) 확장 현실 레코더
US10854005B2 (en) Visualization of ultrasound images in physical space
Tuladhar et al. A recent review and a taxonomy for hard and soft tissue visualization‐based mixed reality
Indhumathi et al. Multi-modal VR for medical simulation
Qian Augmented Reality Assistance for Surgical Interventions Using Optical See-through Head-mounted Displays
Karolczak et al. A stereoscopic viewer of the results of vessel segmentation in 3D magnetic resonance angiography images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221007

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230710

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240226