JP2021099866A - システム及び方法 - Google Patents

システム及び方法 Download PDF

Info

Publication number
JP2021099866A
JP2021099866A JP2021039443A JP2021039443A JP2021099866A JP 2021099866 A JP2021099866 A JP 2021099866A JP 2021039443 A JP2021039443 A JP 2021039443A JP 2021039443 A JP2021039443 A JP 2021039443A JP 2021099866 A JP2021099866 A JP 2021099866A
Authority
JP
Japan
Prior art keywords
information
user
procedure
component
healthcare
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021039443A
Other languages
English (en)
Inventor
ディバイン，ルーカス
Divine Lucas
ギビュート，カーティス
Gibeaut Curtis
ディッカーソン，ブライアン
Dickerson Bryan
ウィマー，メーガン
Wimmer Megan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2021099866A publication Critical patent/JP2021099866A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

【課題】ヘルスケア処置およびシステムパフォーマンスに関する補助情報の拡張現実を用いたシステム及び方法を提供する。【解決手段】システムにおいて、サーバ装置は、ユーザによるヘルスケア処置の実行中にリアルタイムで生成される入力データを受信する。入力データは、ヘルスケア関連処置の実行中にキャプチャされたユーザのビデオを含む。そして、処置の最中にユーザによって実行される少なくともアクションを特徴付ける記述情報を、入力データに基づいて決定し、記述情報とヘルスケア関連処置についての参照記述パラメータとの比較に基づいて、ユーザによって現時点において実行されているアクションのうちの１つのアクションの態様がヘルスケア関連処置について定められた手順から逸脱していないかどうかを判定し、態様が定められた手順から逸脱しているという判定に応答して、態様の修正に関するフィードバック情報を決定する。【選択図】図１７

Description

本明細書において開示される主題は、ヘルスケア処置およびシステムパフォーマンスに関する補助情報の拡張現実を用いたシステム及び方法に関する。
ヘルスケアの分野において、ヘルスケア関連処置の実行に関して、それが患者についてヘルスケア臨床医によって行われる医療処置、データ入力を含む事務処理、医療環境および関連機器の適切な維持の保証を含む保守処置、などのいずれであるかにかかわらず、ベストプラクティスが多くの場合に存在する。これらのベストプラクティスは、政府によって義務付けられても、あるいは医療組織の内部ポリシーによって実現されてもよいが、患者のケアの質および金銭的な報酬に関して、ヘルスケア組織の最適なパフォーマンスを促進することを目的とする。さらに、特定の行為は、そのヘルスケア行為についてどの政府または保険会社が支払いを行うかに基づいて、異なる公式の処置を有する可能性がある。
提供する医療サービスに起因する現代のヘルスケア組織の複雑さ、ならびに患者のケアのきわめて多様かつ繊細な性質に鑑み、そのようなベストプラクティスに従うことが、ヘルスケア専門家にとってきわめて困難であり得る。例えば、患者に対する医療処置は、伝統的に、きわめて変化しやすい不安定な状況において互いにやり取りをする多数のヘルスケア従事者に頼って施されている。各個人がベストプラクティスの基準を守ることができるか否かは、関係するすべての人々の行動、患者の状態、臨床医のストレスおよび疲労、必要な物資および機器の利用可能性および適切な機能、ならびに周囲の注意散漫の原因によって左右され得る。ヒューマンエラーが不可避である。ヘルスケアの分野において、ヒューマンエラーに関連するコストは、患者の健康ならびに担当のヘルスケア組織の金銭的コストに、重大な影響を及ぼす可能性がある。さらに、多くの保険会社は、特定の処置について、処置が定められた手順に従って実行された場合に限り、支払いを行う。したがって、定められたプラクティスの基準の順守を促進し、定められたプラクティスの基準からの逸脱に関連する誤りを最小限に抑えるためのメカニズムが、きわめて重要である。
米国特許第９，２５６，７１１号明細書
本発明の１つ以上の実施形態の基本的な理解をもたらすために、以下に概要を提示する。この概要は、不可欠な要素または重要な要素を特定しようとするものではなく、特定の実施形態の範囲または特許請求の範囲を境界付けようとするものでもない。この概要の唯一の目的は、後に提示されるさらに詳細な説明の前置きとして、概念を簡略化された形で提示することにある。本明細書に記載の１つ以上の実施形態において、拡張現実を使用してヘルスケアの処置およびシステムのパフォーマンスに関する補助情報の提供を容易にするシステム、コンピュータによって実行される方法、装置、および／またはコンピュータプログラム製品。
一実施形態において、コンピュータ実行可能コンポーネントを格納するメモリと、メモリに格納されたコンピュータ実行可能コンポーネントを実行するプロセッサとを備えるシステムが提供される。コンピュータ実行可能コンポーネントは、ユーザによるヘルスケア処置の実行の最中にリアルタイムで生成される入力データに基づいてユーザによるヘルスケア関連処置の実行に関する記述情報を決定するように構成された処置特徴付けコンポーネントを含むことができ、ここで入力データは、ヘルスケア関連処置の実行中にキャプチャされたユーザのビデオを含む。コンピュータ実行可能コンポーネントは、ユーザによって現時点において実行されているヘルスケア関連処置の実行の態様が、ヘルスケア関連処置について定められた手順から逸脱していないかどうかを、記述情報とヘルスケア関連処置についての参照記述パラメータとの比較に基づいて判断するように構成された処置評価コンポーネントと、態様が定められた手順から逸脱しているとの判断に応答して、態様の修正に関するフィードバック情報を決定するように構成されたフィードバックコンポーネントとをさらに含むことができる。いくつかの実施例において、コンピュータ実行可能コンポーネントは、態様が定められた手順から逸脱しているとの判断に応答して、ユーザの現在のビューに重ねてディスプレイ上に投影するために、フィードバック情報を表すオーバーレイデータを生成するように構成された拡張現実データコンポーネントをさらに含むことができる。
別の実施形態において、コンピュータ実行可能コンポーネントを格納するメモリと、メモリに格納されたコンピュータ実行可能コンポーネントを実行するプロセッサとを備えるシステムが提供される。コンピュータ実行可能コンポーネントは、キャプチャされたヘルスケア施設の物理的領域の画像データを分析し、キャプチャされた画像データ内の１つ以上のオブジェクトを識別する認識コンポーネントと、オブジェクトのうちの１つ以上に基づいてヘルスケア施設のパフォーマンスの状態を評価する評価コンポーネントとを含むことができる。コンピュータ実行可能コンポーネントは、パフォーマンスの状態に関するフィードバック情報を決定するフィードバックコンポーネントと、ユーザのコンテクストに部分的に基づいて、フィードバック情報の一部をユーザへの提供用に選択する選択コンポーネントと、ユーザが眺めるヘルスケア施設の物理的領域の現在のビューに重ねてディスプレイ上に投影するために、フィードバック情報の一部を表すオーバーレイデータを生成する拡張現実データコンポーネントとをさらに含むことができる。
１つ以上のさらなる実施形態においては、ユーザによるヘルスケア処置の実行中にリアルタイムで生成される入力データを、プロセッサを備えるシステムによって受信するステップを含む方法が説明され、ここで入力データは、ヘルスケア関連処置の実行中にキャプチャされたユーザのビデオを含む。この方法は、システムによって入力データに基づいて実行を特徴付ける記述情報を決定するステップをさらに含み、ここで記述情報は、処置の最中にユーザによって実行される少なくともアクションを特徴付ける。この方法は、システムによって、ユーザによって現時点において実行されているアクションのうちの一アクションの態様がヘルスケア関連処置について定められた手順から逸脱していないかどうかを、記述情報とヘルスケア関連処置についての参照記述パラメータとの比較に基づいて判断するステップと、システムによって、態様が定められた手順から逸脱しているとの判断に応答して、態様の修正に関するフィードバック情報を決定するステップとをさらに含む。いくつかの実施例において、この方法は、システムによって、態様が定められた手順から逸脱しているという判定に応答して、ユーザの現在のビューに重ねてディスプレイ上に投影するためのフィードバック情報を表すオーバーレイデータを生成するステップをさらに含むことができる。
本明細書において説明される１つ以上の実施形態による拡張現実（ＡＲ）を使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする典型的なシステムのブロック図を示している。 本明細書に記載の１つ以上の実施形態に従って臨床医によるヘルスケア処置の現在の実施に関して臨床医に提示される補助情報を含む典型的なＡＲ視覚化を示している。 本明細書に記載の１つ以上の実施形態に従って臨床医によるヘルスケア処置の現在の実施に関して臨床医に提示される補助情報を含む典型的なＡＲ視覚化を示している。 本明細書に記載の１つ以上の実施形態に従って臨床医によるヘルスケア処置の現在の実施に関して臨床医に提示される補助情報を含む典型的なＡＲ視覚化を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報を提供するための典型的な方法のフロー図を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする典型的なシステムのブロック図を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする典型的なシステムのブロック図を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケアの処置およびシステムのパフォーマンスに関する補助情報の提供を容易にする典型的なユーザ装置のブロック図を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケアの処置およびシステムのパフォーマンスに関する補助情報の提供を容易にする典型的なユーザ装置のブロック図を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケアシステムのパフォーマンスに関する補助情報の提供を容易にする典型的なシステムのブロック図を示している。 本明細書に記載の１つ以上の実施形態によるヘルスケアシステム機器の使用および／またはパフォーマンスに関する補助情報を含む典型的なＡＲ視覚化を示している。 本明細書に記載の１つ以上の実施形態によるヘルスケアシステム機器の使用および／またはパフォーマンスに関する補助情報を含む典型的なＡＲ視覚化を示している。 本明細書に記載の１つ以上の実施形態によるヘルスケアシステム機器の使用および／またはパフォーマンスに関する補助情報を含む典型的なＡＲ視覚化を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケアシステムのパフォーマンスに関する補助情報の提供を容易にする典型的なシステムのブロック図を示している。 本明細書に記載の１つ以上の実施形態によるヘルスケア組織の従業員に関する補助情報を含む典型的なＡＲ視覚化を示している。 本明細書に記載の１つ以上の実施形態による手術室環境の種々の態様に関する補助情報を含む典型的なＡＲ視覚化を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケアシステムのパフォーマンスに関する補助情報の提供を容易にする典型的なシステムのブロック図を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする典型的な方法のフロー図を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする別の典型的な方法のフロー図を示している。 本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケアシステムのパフォーマンスに関する補助情報の提供を容易にする典型的な方法のフロー図を示している。 本明細書に記載の１つ以上の実施形態を容易にすることができる典型的な動作環境（ただし、これに限られるわけではない）のブロック図を示している。
以下の詳細な説明は、単なる例示にすぎず、実施形態ならびに／あるいは実施形態の応用または使用を限定することを意図していない。さらに、前述の「背景技術」または「発明の概要」の箇所あるいは「発明を実施するための形態」の箇所に明示的または黙示的に示されるいかなる情報にも束縛されるものではない。
本開示の１つ以上の実施形態は、拡張現実（ＡＲ）を使用してヘルスケア処置の実行に関する補助情報を提供し、ヘルスケア専門家によるヘルスケア関連処置の実行に関連するヒューマンエラーの防止または最小化を容易にするコンピュータ処理システム、コンピュータによって実行される方法、装置、および／またはコンピュータプログラム製品に関する。とくに、開示されるシステムの１つ以上の実施形態は、ＡＲによる指導を通じて人間の行動を改善するための機構を提供する。例えば、本明細書において意図される本主題のＡＲシステムおよび方法は、どの政府および／または保険代理店が活動について支払いを行い得るかなど、本明細書において論じられる多数の要因に基づき、どの処置が正しいかに基づいて正しい処置のステップを完了させるようにスタッフを案内する助けとなることができる。さらに、いくつかの実施例において、本主題のＡＲシステムは、人間の行動が現在の処置および方法に対する改善となり得る場合を検出し、それらの改善を指導者に提案することができる。
用語「ヘルスケア専門家」は、本明細書において、ヘルスケア関連処置またはアクションを実行する任意のエンティティを指して使用される。ヘルスケア関連処置またはアクションの種類は、さまざまであり得る。例えば、ヘルスケア関連処置は、これらに限られるわけではないが、患者に対してヘルスケア臨床医によって行われる医療処置、事務員によって行われる事務処置、保守員によって行われる保守処置、などを含むことができる。したがって、ヘルスケア専門家は、例えば、これらに限られるわけではないが、臨床医（例えば、医師、看護師、医師の助手、セラピスト、医療技術者、など）、ヘルスケア組織の事務員（例えば、医療記録技術者、医療秘書、医療費請求アシスタント）、ヘルスケア組織の保守作業員（例えば、医療機器技術者）、などを含むことができる。医療処置は、ヘルスケアの提供において結果を達成するように意図された一連のアクションである。患者の状態またはパラメータを決定、測定、または診断することを目的とした医療処置は、医療検査とも呼ばれる。他の一般的な種類の医療処置は、外科的処置および身体的なリハビリテーション処置など、治療的（例えば、機能または構造の治療、治癒、または回復を目的とする）である。本開示に関して、医療処置は、臨床医と患者との間の何らかの物理的相互作用を含み得る。医療処置は、それぞれの処置が定められたコードを有する標準化されたコーディングシステムによって定義されることが多い。コーディングシステムは、医療機関ごとにさまざまであってよく、あるいは管理機関によって標準化されてもよい。
１つ以上の実施例において、ヘルスケア専門家がヘルスケア関連処置を実行しているときに、コンピュータシステムは、ヘルスケア専門家によって実行されるそれぞれのアクションをリアルタイムで監視することができる。例えば、いくつかの実施形態においては、処置を実行しているヘルスケア専門家の画像データ（例えば、ビデオおよび／または静止画像）およびオーディオデータをキャプチャすることができる。これらの実施形態において、コンピュータシステムは、リアルタイムで（例えば、キャプチャされているときに）画像および音声データを受信することができる。画像に基づくパターン認識技術（例えば、物体検出、移動／運動検出、など）を使用して、コンピュータシステムは、リアルタイムで実行されている処置のそれぞれの態様を判断することができる。例えば、画像データの分析に基づいて、コンピュータシステムは、ヘルスケア専門家によって行われている処置の具体的な種類（例えば、患者について行われる医療処置の具体的な種類、事務処置の具体的な種類、保守処置の具体的な種類、など）を識別することができる。さらに、コンピュータシステムは、処置の実行に関連してヘルスケア専門家によって行われたそれぞれのアクション、およびそれぞれのアクションの特徴をさらに識別することができる。例えば、静脈内（ＩＶ）カニューレ挿入処置を実行している臨床医の監視に関連して、コンピュータシステムは、これらに限られるわけではないが、ＩＶ部位の準備、管および流体バッグの準備、止血帯の適用、カテーテルの選択、カテーテルの挿入、止血帯の取り外し、管の取り付け、およびＩＶラインの開放など、処置のステップを識別し、特徴付けることができる。この例によれば、自動パターン認識画像分析技術を使用して、コンピュータシステムは、ヘルスケア専門家がＩＶカニューレ挿入処置のそれぞれのステップを実行しているか否か、およびいつ実行しているかを識別することができ、それぞれのステップの実行のタイミング、それぞれのステップの実行の順序、ならびにそれぞれのステップの種々の定められた特徴（例えば、ＩＶ部位の位置、管のサイズ、カテーテルのサイズ、流体バッグの用量、止血帯の位置、など）を識別することができる。
いくつかの実施形態において、コンピュータシステムは、ヘルスケア専門家によって実行されている処置のさまざまな態様の監視および特徴付けに使用することができる種々の他の形態の入力／フィードバックをさらに受け取ることができる。例えば、これらの他の形態の入力／フィードバックは、ヘルスケア専門家、患者、および／または処置に関与する他のヘルスケア専門家が話した音声、ならびに／あるいは処置に関連する機械が発生させた音声（例えば、警報音）を含むことができる。別の例において、フィードバックは、ヘルスケア専門家、患者、または処置に関与する他のヘルスケア専門家に装着された運動センサおよび／またはバイオメトリックセンサを介してキャプチャされた感覚フィードバックを含むことができる。さらに別の例において、フィードバックは、処置の際に使用される医療機器または装置の運動に関する運動データを含むことができる。さらに別の例において、フィードバックは、処置の際に使用される機械または器具によって受信またはキャプチャされた入力を含むことができる。
上述のさまざまな種類の入力／フィードバックに基づくヘルスケアによって実行される処置のそれぞれのステップの識別および特徴付けに関連して、コンピュータシステムは、ヘルスケア専門家が処置を正しく、処置について予め定められたベストプラクティスの基準に従って実行しているかどうかを判断するために、ステップをさらに分析することができる。いくつかの実施例において、ヘルスケア専門家が処置の一態様を誤って実行しており、あるいは他のかたちで処置について予め定められた基準から逸脱して実行しているとコンピュータシステムが判断した場合、コンピュータシステムは、その誤りに関する補助情報をヘルスケア専門家にリアルタイムで提供することができる。例えば、コンピュータシステムは、誤りを識別する補助情報をヘルスケア専門家に提供することができる。別の例において、コンピュータシステムは、誤りを修正する方法を示す補助情報をヘルスケア専門家に提供することができる。別の実施例においては、ヘルスケア専門家が処置の一態様を正しく実行しているとコンピュータシステムが判断した場合に、コンピュータシステムは、ヘルスケア専門家の良好な実行を承認または賞賛する補助情報をヘルスケア専門家にリアルタイムで提供することができる。さらに別の実施例においては、ヘルスケア専門家が実行している処置の種類の認識に基づいて、コンピュータシステムは、処置の実行を監視し、処置を正しく実行する方法に関するステップバイステップの指導を含む補助情報を提供することができる。
本明細書に記載のさまざまな実施形態によれば、補助情報を、ＡＲ装置の使用においてリアルタイムでヘルスケア専門家へと提供することができる。拡張現実（ＡＲ）は、その構成要素がグラフィック、サウンド、ビデオ、または他のデータなどのコンピュータによって生成された感覚入力によって増強（または、補足）されている物理的な現実世界の環境の生の直接的または間接的なビューである。本明細書において使用されるとき、「ＡＲ装置」は、ＡＲ体験を生成することができるコンピュータ装置を含む。いくつかの実施形態において、ＡＲ装置は、現実世界の物理的な環境の生のビュー上にオーバーレイデータを表示するように構成されたディスプレイを備える装置を含むことができる。例えば、いくつかの実施例において、ＡＲ装置は、眼鏡、ゴーグル、ヘッドアップディスプレイ（ＨＵＤ）、コンタクトレンズ、またはコンタクトレンズのペア、などの眼鏡装置であり、そのような眼鏡装置は、ユーザが眼鏡装置を着用して現実世界の環境を眺めているときに、眼鏡装置のディスプレイ上にオーバーレイデータを表示するように構成される。別の実施例において、ＡＲ装置は、キャプチャされた環境の生の画像またはビデオデータ上にオーバーレイデータを表示するように構成された眼鏡装置または携帯型コンピューティング装置（例えば、タブレット、スマートフォン、など）を含むことができる。他の実施例において、ＡＲ装置は、音声、振動、または他の感覚信号を現実世界の環境の視認に関連付けてもたらすように構成された装置を含むことができる。ＡＲ装置は、音声出力用のスピーカまたはヘッドホンを含むことができる。
この点に関し、１つ以上の実施形態においては、ヘルスケア専門家がヘルスケア関連処置を実行しているとき、ヘルスケア専門家は、ＡＲ装置を着用し、保持し、あるいは他のやり方で眺めることができる。ＡＲ装置は、ＡＲ装置のディスプレイによってヘルスケア専門家の視点からのヘルスケア専門家の環境のリアルな画像／ビデオビューまたは生の画像／ビデオビューを提供することができる。例えば、ＩＶカニューレ挿入処置の例を参照すると、ＩＶカニューレ挿入処置を実行するヘルスケア専門家は、ＩＶ部位、患者、流体バッグ、などの生のビューを、ヘルスケア専門家が処置の実行時にこれらの物体を眺めているときにヘルスケア専門家の視点から提示するＡＲ装置を、処置の際に装着し、あるいは他のやり方で使用することができる。ヘルスケア専門家が処置の一態様を誤って実行しており、あるいは誤って実行したとシステムが判断した場合に、システムは、この誤りに関する補助情報を、環境の生のビュー（例えば、現実またはビデオ／画像データのいずれか）に重ねてＡＲ装置のディスプレイ上に投影されるオーバーレイデータの形態で生成することができる。例えば、オーバーレイデータは、これらに限られるわけではないが、テキスト、記号、マーカ、タグ、画像、ビデオ、アニメーション、またはハイパーリンクを含むことができる。さらに、ＡＲ装置は、オーバーレイデータを、ＡＲ装置のディスプレイによって、ディスプレイ上に提示され、あるいはディスプレイを通して視認される環境の生のビュー（例えば、現実またはビデオ／画像のいずれか）に重ねて表示することができる。
いくつかの実施例においては、オーバーレイデータの種類および／またはオーバーレイデータが関連付けられた処置の態様に応じて、オーバーレイデータを、処置の態様に関係するオブジェクトまたはオブジェクトの一部に対して（例えば、二次元（２Ｄ）または三次元（３Ｄ）空間において）空間的に位置して見えるようなやり方で表示することができる。例えば、ＩＶカニューレ挿入処置の例を再び参照すると、ＩＶ針が患者のＩＶ部位に対して正しく配置されていないことをシステムが検出した場合、システムは、ＩＶ針が正しく配置されていないことを知らせ、患者のＩＶ部位に対するＩＶ針の配置の修正方法を識別するオーバーレイデータを生成することができる。さらに、ＡＲ装置は、オーバーレイデータを、患者のＩＶ部位の生のビューに対して空間的に位置して見えるように表示することができる。ＡＲを使用してリアルタイムでヘルスケア処置の実行に関する視覚的な補助情報を提供することにより、本開示の技術は、処置の最中に必要な調整を行うヘルスケア専門家を案内するリアルタイムの関連指示をヘルスケア専門家に与えることによって、ヒューマンエラーを大幅に減らす。
本開示の１つ以上のさらなる実施形態は、ＡＲを使用してリアルタイムでのヘルスケアシステムのパフォーマンスに関する補助情報の提供を容易にするコンピュータ処理システム、コンピュータによって実行される方法、装置、および／またはコンピュータプログラム製品に関する。種々の異なる患者サービスを提供し、相互に関連する種々の臨床的および非臨床的役割を実行する多数（例えば、数百、数千、またはそれ以上）の従業員を抱える大規模なヘルスケア組織に関して、全体としてのヘルスケア組織はもちろんのこと、ヘルスケア組織のさまざまな領域に関するヘルスケア組織の現在のパフォーマンスの状態を完全に理解することは、管理者にとってきわめて困難であり得る。ヘルスケア管理者は、一般に、組織の長期および短期の目標および目的を達成するために、ヘルスケア組織の業務の全体的な指揮を担当する。例えば、管理者は、組織の特定の部署または部門あるいは組織（例えば、外科手術）の日々の管理およびリーダーシップを担当し、財務管理、在庫管理、施設の維持、外科サービス、患者関係およびスタッフのあらゆる態様を指揮、調整、および管理する責任を負い、前向きな職場人間関係の促進ならびに運営組織、医療スタッフ、従業員、および部署のあらゆる領域の間の分野の間の連絡役としての働きを担当し、部署の臨床および財務業務の改善に対して責任を負う可能性がある。多くの場合、管理者にとって、単にチャートおよび数字を有するデータレポートを眺めるだけでこれらの職務を実行することは困難である。例えば、管理者は、どのように特定の部門に関連するさまざまな種類の機器、物資、および臨床医サービスが定期的に利用されているか、およびそれらのパフォーマンスに影響している現在の問題に関して、しっかり把握していない可能性がある。別の例において、管理者は、特定の機器が何に使用されるのか、その使用が病院の特定の医療部門のワークフローにどのように影響するのか、その使用がヘルスケア施設の他の物資およびシステムにどのように影響するのか、などについて、充分な理解を持たない可能性がある。
本開示は、ヘルスケア専門家が眺めており、あるいは他のやり方で調べている組織のヘルスケア施設の現在の物理的領域に関する補助情報をヘルスケア管理者に提供することによって、ヘルスケア組織のパフォーマンスの状態に関する情報の理解においてユーザ（例えば、ヘルスケア組織の管理者または別の適切なエンティティ）を手助けするコンピュータ処理システム、コンピュータによって実行される方法、装置、および／またはコンピュータプログラム製品を提供する。１つ以上の実施例において、パフォーマンスの状態は、ヘルスケア組織の臨床的および／または金銭的なパフォーマンス状態に関係し得る。とくには、キャプチャされた画像データおよび／または他の入力情報に基づいて、コンピューティングシステムは、ユーザが現時点において眺めており、あるいは眺めることを要求しているヘルスケア施設の領域を決定することができる。さらに、コンピューティングシステムは、その領域に含まれる（または、その領域に関連付けられている）オブジェクト、機器、物資、人々、などを識別し、オブジェクト、機器、物資、人々、などに関連付けられる補助情報をさらに決定することができる。
補助情報は、これらに限られるわけではないが、領域に関連する機器の利用および／またはパフォーマンスに関する機器情報、領域に関連する従業員の利用および／またはパフォーマンスに関する従業員情報、ならびに領域に関連する機器および／または従業員の利用および／またはパフォーマンスの態様の変更（例えば、リソースの追加または除去）に関連したヘルスケア組織のパフォーマンスの改善のための推奨に関する推奨情報を含むことができる。例えば、病院内の特定の部屋の観察に関連して、これらに限られるわけではないが部屋に含まれる医療物資および機器を識別する情報、医療物資および機器の使用に関する情報、ならびに医療物資および機器の使用に関する金銭的情報など、部屋の利用に基づくヘルスケア組織のパフォーマンスに関する補助情報をユーザに自動的に提供することができる。別の実施例において、補助情報は、部屋に含まれ、あるいは他のやり方で部屋に関連付けられた従業員に関する従業員情報を含むことができる。例えば、従業員情報は、これらに限られるわけではないが、部屋に含まれ、あるいは他のやり方で部屋に関連付けられた従業員（例えば、部屋を使用する従業員、部屋での処置が予定された従業員、部屋の維持を担当する従業員、など）の身元、従業員に提供される役割またはサービスの１つ以上の態様を記述する役割記述情報、それぞれの役割または職務に関する従業員のパフォーマンスに関するパフォーマンス情報、それぞれの従業員に関連するＲＯＩに関する金銭的情報、それぞれの従業員に関する個人情報、などであってよい。さらに、補助情報は、これらに限られるわけではないが、部屋において実行される処置、処置の頻度、処置の結果、処置のＲＯＩ、部屋に関する保守の問題、予定される部屋の更新、購買発注、など、ヘルスケア組織の臨床的および金銭的パフォーマンスに関係し、あるいはヘルスケア組織の臨床的および金銭的パフォーマンスに影響を及ぼす部屋の利用に関するさまざまな他の種類の情報を含むことができる。
さまざまな実施例において、個々の管理者へと提供される補助情報の量および種類を、ユーザの現在のコンテクストに基づいてフィルタ処理および選択することができる。例えば、保守作業員に提供される補助情報が、観察された領域内の機器に関する保守の問題を反映することができる一方で、財務担当役員に提供される補助情報は、その領域によってサポートされる機器および／または医療サービスに関するコストおよびＲＯＩ実行データに関することができる。別の例においては、ユーザへの対話相手の従業員に関する情報の提供に関連して、提供される補助情報は、ユーザと従業員との間の関係および／または従業員との対話の意図に基づくことができる。例えば、ユーザが充分には知らない従業員のそばを単に通り過ぎようとしている場合に、ユーザに従業員の名前を思い出させ、その従業員の昇進を祝福するように促す情報を、ユーザへと提供することができる。あるいは、ユーザが従業員と面談して従業員のパフォーマンスの改善について議論している場合に、何らかの重要な過去のパフォーマンス統計を強調する補助情報をユーザに提供することができる。
処置の実行に関連してユーザに提供される補助情報と同様に、いくつかの実施例においては、ヘルスケア組織のパフォーマンスの状態に関する補助情報を、ＡＲ体験を使用してユーザに提供することができる。例えば、ＡＲ装置を使用して、ユーザは、ヘルスケア施設の或る領域を物理的に訪問し、その領域に関連する機器および物資、その領域に関連する人々（例えば、従業員、患者、訪問者、など）、などを含むその領域のパフォーマンスに関する補助情報を受け取ることができる。補助情報を、ＡＲ装置のディスプレイによって、ディスプレイを通して視認され、あるいはディスプレイ上で視認される領域の現在のビューに重ねられるオーバーレイデータとして、ユーザへと提示することができる。別の実施例において、ユーザは、（例えば、ヘルスケア施設のあちこちに散らばった１つ以上のカメラを介して）キャプチャされた領域のビデオおよび／または画像データを眺めることによって、領域を離れた場所から眺めることができる。この実施例によれば、補助データを、ユーザの遠隔装置に表示された領域のビデオおよび／または画像データに重ねることができる。またさらに別の実施例において、ユーザは、仮想現実（ＶＲ）システム／装置を使用して領域を眺めることができる。ＶＲは、インタラクティブなソフトウェアおよびハードウェアを使用して生成され、体の動きによって体験または制御される三次元環境のリアルで実体験のように感じるシミュレーションである。この実施例によれば、ＶＲ装置を使用して、ユーザに、あたかもユーザが実際に３Ｄ空間モデル内に立っているかのようにユーザに見える領域の３Ｄ空間モデル／視覚化を提示することができる。領域に関する補助データを、その領域の３Ｄ空間モデルのビューへと投影することができ、あるいは他のやり方で統合することができる。
さまざまな実施形態において、ユーザがＡＲ装置またはＶＲ装置のいずれを用いて補助データを眺めているかにかかわらず、補助データを、関連するそれぞれのオブジェクト、人、機器／物資、などに空間的に位置合わせすることができる。例えば、室内の物資キャビネットにおいて特定の物資がどのように不足しているかに関する補助データを、物資キャビネットの直接のビュー（例えば、ＡＲ眼鏡またはゴーグルなどの透明ディスプレイを通して視認される物資キャビネット）に重ね合わせることができ、あるいは物資キャビネットの間接的なビュー（例えば、ディスプレイ上に表示された物資キャビネットのビデオ／画像データまたは３Ｄモデルデータ）に重ね合わせることができる。
次に、種々の実施形態を、図面を参照して説明するが、図面の全体を通して、類似する参照番号は、類似する要素を指すために使用されている。以下の説明においては、解説の目的で、多数の具体的な詳細が、１つ以上の実施形態のより完全な理解を提供するために述べられている。しかしながら、さまざまな場合において、１つ以上の実施形態を、これらの具体的な詳細によらずに実施できることは明らかである。
図１が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする典型的なシステム１００（ただし、これに限られるわけではない）のブロック図を示している。本開示において解説されるシステム（例えば、システム１００など）、装置、またはプロセスの態様は、例えば１つ以上の機械に関連付けられた１つ以上のコンピュータ可読媒体に具現化されるなど、機械内に具現化された機械実行可能コンポーネントを構成することができる。そのようなコンポーネントは、例えばコンピュータ、コンピューティングデバイス、仮想マシン、などの１つ以上の機械によって実行されるとき、本明細書に記載の動作を機械に実行させることができる。
システム１００は、ユーザ装置１０２と、サーバ装置１０８と、１つ以上の外部情報ソース１３８とを含む。システム１００のそれぞれの装置／ソースは、コンピュータ実行可能ハードウェアおよび／またはソフトウェアコンポーネントを含むことができる。例えば、図示の実施形態において、サーバ装置１０８は、コンピュータ実行可能コンポーネントを格納する少なくとも１つのメモリ１３０を含む（あるいは、そのようなメモリに動作可能に接続される）。１つ以上の実施形態において、これらのコンピュータ実行可能コンポーネントは、拡張現実（ＡＲ）支援モジュール１１０および関連のコンポーネントを含む。さらに、サーバ装置１０８は、メモリ１３０に格納されたコンピュータ実行可能コンポーネントを実行する少なくとも１つのプロセッサ１３４を含む（あるいは、そのようなプロセッサに動作可能に接続される）ことができる。サーバ装置１０８は、これらに限られるわけではないがＡＲ支援モジュール１１０、メモリ１３０、およびプロセッサ１３４などのサーバ装置１０８のさまざまなコンポーネントを接続することができるシステムバス１３６をさらに含むことができる。
ＡＲ支援モジュール１１０を、ヘルスケア専門家の職務の実行の手助けに関する種々のＡＲ式サービスを実行するように構成することができる。システム１００によれば、ＡＲ支援モジュール１１０は、実行中の処置の現在の態様に関連するリアルタイムで決定される補助情報をヘルスケア専門家に提供することによって、定められた処置を実行するときのヘルスケア専門家を支援するようにとくに構成される。さまざまな実施例において、補助情報は、処置の実行について予め定められた手順、基準、またはベストプラクティスに従って処置を実行するヘルスケア専門家を助けるように設計される。補助情報を、ヘルスケア専門家に関連付けられたユーザ装置１０２を介して処置の実行の最中にリアルタイムでヘルスケア専門家に提供することができる。
例えば、１つ以上の実施形態において、ユーザ装置１０２は、処置の実行時にヘルスケア専門家が着用し、あるいは他のやり方で眺めるＡＲ装置（例えば、眼鏡装置）である。これらの実施形態によれば、補助情報を、ヘルスケア専門家の環境の生のビューへと重ねられ、あるいは投影されるオーバーレイデータの形態で、ＡＲ装置のディスプレイ（例えば、ディスプレイ１０６）を介して表示することができる。例えば、生のビューは、ヘルスケア専門家の片目または両目を覆って着用される透明ディスプレイ（例えば、眼鏡、ゴーグル、コンタクトレンズ、など）などの透明ディスプレイ（例えば、ディスプレイ１０６）を通して見ることができるヘルスケア専門家の環境の直接のビューを含むことができる。別の例において、生のビューは、カメラ（例えば、カメラ１０４）によってヘルスケア専門家の視点からキャプチャされ、ＡＲ装置のディスプレイ（例えば、ディスプレイ１０６）上に表示される環境のビデオまたは画像データを含むヘルスケア専門家の環境の間接的なビューを含むことができる。
例えば、図示の実施形態において、ユーザ装置１０２は、少なくとも１つのカメラ１０４と、ディスプレイ１０６とを含む。いくつかの実施形態においては、スピーカまたは他の音声出力も含まれてよい。カメラ１０４は、静止画像および／またはビデオを含む画像データをキャプチャするように構成された任意の適切なカメラを含むことができる。例えば、１つ以上の実施形態において、カメラ１０４は、ヘルスケア専門家によるヘルスケア処置の実行に関連して、ヘルスケア専門家の環境の生のビデオをキャプチャすることができる。生のビデオを、ディスプレイ１０６を介して表示することができ、さらには／あるいはヘルスケア専門家のヘルスケア処置の実行の監視および実行に関するリアルタイムのフィードバックのヘルスケア専門家への提供に関連して、ＡＲ支援モジュールによる処理のためにサーバ装置１０８へと提供することができる。いくつかの実施例においては、カメラ１０４を、キャプチャされた画像データに含まれる特徴についての深度または距離情報を取得および／または決定するように構成することができる。深度情報を、画像データ内に現れるオブジェクトおよび／またはヘルスケア専門家の環境の実際の物理的なビューに対するオーバーレイデータの空間的な位置合わせを容易にするために使用することができる。空間データを、画像データに現れるオブジェクトの識別、画像データに現れるオブジェクトの空間的関係、および経時的にキャプチャされた一連の画像（すなわち、ビデオデータ）に現れるオブジェクトの動きの追跡を容易にするために使用することもできる。
他の実施形態においては、ユーザ装置１０２の外部の１つ以上の追加のカメラをヘルスケア環境の全体に分散させ、ヘルスケア処置を実行するヘルスケア専門家の画像データ（例えば、静止画像および／またはビデオ）をキャプチャすることができる。例えば、１つ以上のカメラを、手術室、診察室、実験室、病院全体、などのさまざまな位置に配置することができる。これらのカメラを、ヘルスケア環境において実行される処置に関連する画像データおよび／またはビデオデータをキャプチャし、ＡＲ支援モジュール１１０による処理のためにリアルタイムでサーバ装置１０８に画像データを提供するように構成することができる。
１つ以上の外部情報ソース１３８は、ヘルスケア関連処置の実行および／またはヘルスケア組織の種々の態様のパフォーマンスの評価を容易にする情報をＡＲ支援モジュール１１０に提供することができるさまざまなシステムおよびデータベースを含むことができる。例えば、１つ以上の外部情報ソース１３８は、サーバ装置１０８および関連のＡＲ支援モジュール１１０を提供および／または制御する特定のヘルスケア組織の内部のシステム、サーバ、装置、などを含むことができ、ネットワーク（例えば、インターネット）を介してアクセスできる種々のリモートシステム、サーバ、装置、なども含むことができる。さらに、１つ以上の外部情報ソース１３８は、実行の評価に基づくリアルタイムでの補助情報の生成およびヘルスケア専門家への提供に関してＡＲ支援モジュール１１０を手助けする種々のシステムおよびデータベースも含むことができる。
例えば、１つ以上の外部情報ソース１３８は、それぞれの処置を識別する情報ならびにそれぞれの処置の特性を記述する記述パラメータを含む記述情報など、ＡＲ支援モジュール１１０によって監視することができる種々の定められたヘルスケア関連処置に関する情報を有するソースを含むことができる。別の例において、１つ以上の外部情報ソース１３８は、それぞれのヘルスケア関連処置について定められた指針または手順に関する情報を含むことができる。これらの指針／手順は、ヘルスケア組織によって定められてよく、さらには／あるいは政府によって義務付けられたものであってよい。例えば、ｔｈｅ Ｕ．Ｓ．ｉｎｓｔｉｔｕｔｉｏｎｓ ｏｆ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅｓ ｏｆ Ｈｅａｌｔｈ ｏｒ Ｍｅｄｉｃａｒｅなどの政府機関が、特定の場合において義務付けられた処置を有する機関の例であり得る。
いくつかの実施例においては、これらの指針および手順を、さまざまな機械学習技術ならびに繰り返される処置または類似の処置について監視されたデータを使用して、経時的に最適化することができる。例えば、処置指針／手順情報は、処置に必要なステップまたはアクション、ならびにそれぞれのアクションの実行の順序などのそれぞれのステップまたはアクションのタイミングを定義する記述パラメータを含むことができる。さらに、処置指針／手順情報は、それぞれのアクション／ステップをどのように実行すべきか、どの物資／器具を使用すべきか、物資をどのように処分するか、処置の最中に患者および／または他のヘルスケア専門家とどのようにやり取りするか、などを定義する記述パラメータを含むことができる。別の例において、指針／手順情報は、種々の生じ得る事象、反応、または合併症が処置の最中に発生したときに取られるべき対応のアクション／ステップに関する記述パラメータを含むことができる。所望の基準に従って医療関連の処置をどのように実行するかに関する指針／手順情報に含まれるさまざまな種類の情報は、実行される処置の種類および指針／手順を定める組織に応じてさまざまであり得ることを、理解すべきである。図示の実施形態において、そのような処置指針／手順情報はサーバ装置１０８に（例えば、処置指針／手順情報１３２としてメモリ１３０内に）配置されているが、情報の具体的な位置は、ヘルスケア専門家によって実行されている処置のリアルタイムでの評価を容易にするためにＡＲ支援モジュールにとってアクセス可能である限り、さまざまであってよいことを理解すべきである。
別の例において、１つ以上の外部情報ソース１３８は、ヘルスケア組織のパフォーマンスの監視および改善を容易にするためにＡＲ支援モジュール１１０を使用するヘルスケア組織のすべてのヘルスケア専門家従業員を識別する従業員情報を含むことができる。そのようなヘルスケア組織として、病院ネットワーク、病院、養護ホーム、介護施設、理学療法組織、請求組織、薬局、などが挙げられるが、これらに限られるわけではない。例えば、従業員情報は、それぞれのヘルスケア専門家従業員、彼らの役割（例えば、役職）、どの患者について働くか（臨床医の役割を有する場合）、どの処置を実行する権限を有するか、どの処置を実行することが期待されるか、などを識別することができる。さらに、従業員情報は、勤務時間、実行した処置、処置の結果、処置の評価、患者の満足度、従業員のレビュー、従業員が他の従業員または他のベンチマークと比べて特定のタスクをどのように実行するかに関する情報、など、経時的に従業員について監視および記録され得る任意の可能なパフォーマンス情報を含むことができる。さらに、従業員情報は、それぞれの従業員の給与、それぞれの従業員から生み出される投資収益率（ＲＯＩ）、などに関する金銭的情報を含むことができる。さらに、従業員情報は、従業員の家族および友人、嗜好、誕生日、趣味、賞、休暇、などに関する情報など、それぞれの従業員に関する個人情報を含むことができる。従業員の職場生活および私生活のさまざまな態様に関する現在の情報が情報ソースによってもたらされるように、従業員情報を定期的に（例えば、毎時、毎日、毎週、など）更新することができる。
さらに、１つ以上の外部情報ソース１３８は、ヘルスケア組織またはヘルスケア提供者のパフォーマンスの監視および改善を容易にするためにＡＲ支援モジュール１１０を使用するヘルスケア組織またはヘルスケア提供者の患者を識別する情報など、患者記録情報を含むことができる。患者情報は、これらに限られるわけではないが、患者健康記録（例えば、電子医療記録または「ＥＭＲ」）、患者検査結果情報、患者イメージング研究情報、患者診断情報、スケジューリング情報、医師情報、処方箋情報、ケアプラン情報、アレルギー情報、保険情報、などを含むことができる。さらに、患者情報は、患者の家族および友人、嗜好、誕生日、趣味、などに関する情報など、患者に関する個人情報を含むことができる。
さらに、１つ以上の外部情報ソース１３８は、これらに限られるわけではないが、施設のレイアウトまたは間取りに関する情報、それぞれの建物、部門、部屋などの相対的な位置を識別する情報、それぞれの建物、部門、部屋などが何に用いられるのかを特定する情報、ヘルスケア施設の機器および機器の相対的な物理的位置に関する情報、ヘルスケア施設の医療物資および医療物資の相対的な場所に関する情報、など、ヘルスケア組織の施設の物理的な環境に関する情報を含むことができる。さらに、１つ以上の外部情報ソース１３８は、機器に関する動作状態および保守の問題に関する情報を含むことができる。さらに、１つ以上の外部情報ソース１３８は、提供されたサービス、患者の質、および施設の特定の領域および機器に基づくヘルスケア組織の金銭的パフォーマンスに関するパフォーマンス情報を含むことができる。例えば、そのようなパフォーマンス情報は、機器および物資の利用に関連する金銭的情報を含む機器および物資の利用、それぞれの建物、部門、部屋などで行われた処置、処置の結果、処置の品質、処置の頻度、処置の期間、ならびに処置に関する金銭的情報に関係することができる。そのようなパフォーマンス情報は、患者間の関係、患者の病状、患者の転帰、患者の質、患者ケアの経過の態様（例えば、診断、入院患者および外来患者の滞在期間、行われた手術／処置）、医療処置、医療関係者、使用されたリソース、使用された医薬品、使用された医療機器、費用、返済、投資収益率（ＲＯＩ）、などに関する情報を含むことができる。
図示の実施形態において、ユーザ装置１０２およびサーバ装置１０８は、サーバ／クライアントの関係で動作するように構成され、サーバ装置１０８が、ＡＲ支援モジュールを使用してヘルスケア専門家によって行われている医療関連の処置を監視および評価し、処置に関する補助情報をユーザ装置１０２においてヘルスケア専門家に提供する。いくつかの実施形態において、ユーザ装置１０２は、（例えば、カメラ１０４によって）処置を実行しているヘルスケア専門家の画像／ビデオデータをキャプチャしてサーバ装置１０８に提供することができ、これが、ＡＲ支援モジュール１１０によってパフォーマンスを評価するために使用される。他の実施形態においては、画像／ビデオデータを、医療関連の処置を実行しているヘルスケア専門家のビデオ／画像データをキャプチャするように構成されたヘルスケア専門家の環境内に位置する１つ以上の他のカメラによってキャプチャし、サーバ装置１０８に提供することができる。しかしながら、システム１００はサーバ／クライアントアーキテクチャを採用しているが、本開示のさまざまな特徴が、このアーキテクチャに限定されないことを、理解すべきである。例えば、いくつかの実施形態においては、ＡＲ支援モジュール１１０および／またはＡＲ支援モジュール１１０の１つ以上のコンポーネントを、ユーザ装置１０２または別の装置（図示せず）に設けてもよい。別の例において、１つ以上の外部情報ソース１３８は、ユーザ装置１０２および／またはサーバ装置１０８に位置することができる。
１つ以上の実施形態において、ユーザ装置１０２、サーバ装置１０８、および／または１つ以上の外部情報ソース１３８を、１つの通信ネットワーク（図示せず）を介して直接的または間接的に通信可能に接続することができる。そのような通信ネットワークは、これらに限られるわけではないがセルラーネットワーク、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）、またはローカルエリアネットワーク（ＬＡＮ）など、有線および無線ネットワークを含むことができる。例えば、ユーザ装置１０２を、これらに限られるわけではないが、ワイヤレスフィディリティ（Ｗｉ−Ｆｉ）、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、ユニバーサル・モバイル・テレコミュニケーション・システム（ＵＭＴＳ）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ＷｉＭＡＸ）、エンハンスト・ジェネラル・パケット・ラジオ・サービス（エンハンストＧＰＲＳ）、第３世代パートナーシッププロジェクト（３ＧＰＰ）、ロングタームエボリューション（ＬＴＥ）、第３世代パートナーシッププロジェクト２（３ＧＰＰ２）、ウルトラ・モバイル・ブロードバンド（ＵＭＢ）、高速パケットアクセス（ＨＳＰＡ）、Ｚｉｇｂｅｅおよび他の８０２．ＸＸワイヤレス技術ならびに／あるいはレガシー電気通信技術、ＢＬＵＥＴＯＯＴＨ（登録商標）、セッションイニシエーションプロトコル（ＳＩＰ）、ＺＩＧＢＥＥ（登録商標）、ＲＦ４ＣＥプロトコル、ＷｉｒｅｌｅｓｓＨＡＲＴプロトコル、６ＬｏＷＰＡＮ（低電力無線エリアネットワーク上のＩＰｖ６）、Ｚ−Ｗａｖｅ、および／またはウルトラワイドバンド（ＵＷＢ）標準プロトコル、などの実質的に任意の所望の有線または無線技術を使用してサーバ装置１０８と通信する（逆もまた然り）ように構成することができる。
ユーザ装置１０２は、ユーザに関連付けられ、ＡＲ支援モジュール１１０によって生成された補助情報を受信および／またはレンダリングすることができる任意の適切なコンピューティングデバイスを含むことができる。例えば、１つのユーザ装置は、デスクトップコンピュータ、ラップトップコンピュータ、テレビ、インターネット対応テレビ、携帯電話機、スマートフォン、タブレットユーザコンピュータ（ＰＣ）、または携帯情報端末（ＰＤＡ）を含むことができる。種々の典型的な実施形態において、ユーザ装置１０２は、ヘルスケア専門家による医療関連の処置の実行に関する補助データのレンダリングに関連してＡＲ、仮想現実（ＶＲ）、および／または複合現実の体験を提供するように構成されたウェアラブルコンピューティングデバイスを含む。例えば、ユーザ装置１０２は、眼鏡、ゴーグル、コンタクトレンズ、ＨＵＤ装置、などのユーザの目またはユーザの目の近くに装着されるように構成された装置を含むことができる。本開示において使用されるとき、用語「ユーザ」、「ヘルスケア専門家」、「臨床医」、「従業員」、「管理者」、などは、ユーザ装置１０２を用いてシステム１００（または、本開示において説明されるさらなるシステム）を使用することができる個人、団体、システム、またはこれらの組み合わせを指す。
図示の実施形態において、ＡＲ支援モジュール１１０は、処置識別コンポーネント１１２、処置評価コンポーネント１１６、コンテクストコンポーネント１１８、フィードバックコンポーネント１２０、および拡張現実（ＡＲ）コンポーネント１２８を含む。ヘルスケア専門家によって行われている医療関連の処置の現在の態様に関連する補助情報の生成およびヘルスケア専門家への提供を容易にするために、ＡＲ支援モジュール１１０は、（例えば、処置の実行の最中に）リアルタイムで受信されるヘルスケア専門家による処置の実行に関する入力を監視および評価することができる。１つ以上の実施形態において、このリアルタイムの入力は、ヘルスケア関連処置の実行中に（例えば、カメラ１０４またはヘルスケア専門家の環境内の１つ以上のさらなるカメラによって）キャプチャされたヘルスケア専門家のビデオまたは画像データを含む。例えば、いくつかの実施例において、ヘルスケア専門家は、処置の実行時にヘルスケア専門家の観点からビデオおよび／または画像データを取り込むことができるカメラ（例えば、カメラ１０４）を有する装置（例えば、ユーザ装置１０２）を、処置の実行時に着用することができる。例えば、ユーザが着用する装置は、眼鏡装置（例えば、ＡＲ眼鏡装置）、ＨＵＤ、または他のハンズフリー装置を含むことができる。この例によれば、カメラは、キャプチャされた画像および／またはビデオデータをリアルタイムで（例えば、キャプチャされたときに）サーバ装置１０８へとストリーミングし、あるいは他のやり方で提供することができる。他の実施例においては、ビデオ／画像データを、処置の実行時にヘルスケア専門家を狙うヘルスケア専門家と同じ部屋または環境に配置された１つ以上のカメラによってキャプチャすることができる。これらのカメラも、キャプチャされた画像データをリアルタイムでＡＲ支援モジュール１１０へとストリーミングし、あるいは他のやり方で提供することができる。
ヘルスケア関連処置の実行中にキャプチャされるヘルスケア専門家のビデオ／画像フィードバックに加え、他の実施形態において、ＡＲ支援モジュール１１０は、ヘルスケア専門家によって実行されている処置のさまざまな態様の監視および特徴付けに使用することができる他の形態の入力を受け取ることができる。いくつかの実施例において、この追加のフィードバック／入力は、ヘルスケア専門家による処置の実行をキャプチャする音声フィードバック、運動フィードバック、および／またはバイオメトリックフィードバックを含むことができる。例えば、音声フィードバックは、ヘルスケア専門家、患者、および／または処置に関与し得る他のヘルスケア専門家のスピーチなど、処置の最中に記録された音声を含むことができる。別の例において、音声フィードバックは、処置に関連する機械または他のコンピューティングシステムが発生させた音声（例えば、アラーム信号、心拍数モニタが発生させる心拍音、など）を含むことができる。運動フィードバックは、ヘルスケア専門家、患者、および／または処置に関与する他のヘルスケア専門家が着用する１つ以上の運動センサ（例えば、加速度計、ジャイロスコープ、など）から生成された運動データを含むことができる。例えば、運動フィードバックは、ユーザのそれぞれの身体部分の特定の位置、向き、および運動を含むユーザの位置、向き、および運動に関する情報を提供することができる。別の例において、運動フィードバックは、ヘルスケア専門家またはヘルスケア専門家が使用する医療器具によって患者へと加えられる圧力または力に関する情報（例えば、運動センサまたは圧力センサによってキャプチャされる）を含むことができる。さらに、運動フィードバックは、処置の最中に使用される医療機器または器具に関連する運動センサからキャプチャされた運動データを含むことができる。例えば、この種の運動フィードバックは、患者の身体構造に対する医療器具の位置、向き、および／または運動に関する情報を含むことができる。バイオメトリックフィードバックは、ヘルスケア専門家、患者、および／または処置に関与する他のヘルスケア専門家の生理学的反応に関するバイオメトリックセンサのフィードバックを含むことができる。例えば、バイオメトリックフィードバックは、ユーザのバイタルサイン（例えば、体温、脈拍数、呼吸数、血圧、など）、ストレスレベル、疲労レベル、注意レベル、などに関する情報を含むことができる。そのようなバイオメトリックフィードバックを、ヘルスケア専門家、患者、および／または処置に関与する他のヘルスケア専門家によって着用され、あるいは他のやり方で物理的に結合させられた１つ以上のバイオメトリックセンサまたはバイオメトリック検知装置によってキャプチャすることができる。
上述したさまざまな種類の視覚、音声、運動、およびバイオメトリックフィードバックに加えて、医療関連の処置が（上述のカメラならびに運動またはバイオメトリックセンサに加えて）データをキャプチャまたは生成するように構成された装置の使用を含むいくつかの実施例において、ＡＲ支援モジュール１１０は、このデータもフィードバックとして受け取ることができる。例えば、医療関連の処置がヘルスケア専門家による他のコンピューティングシステムへのデータ入力を含む実施例において、ＡＲ支援モジュールは、データ入力に関する他のコンピューティングシステムからフィードバックを受け取ることもできる。例えば、処置がコンピューティングシステムへの患者情報の入力を含む場合、ＡＲ支援モジュール１１０は、入力されたときにこの患者情報を受信し、あるいはこの患者情報にアクセスすることができる。別の例においては、処置が、処置に関与する医療機器を制御するコンピューティングシステム（例えば、埋込型医療機器（ＩＭＤ）、ロボット装置、撮像装置、レーザー装置、など）へのプログラミング情報の入力を含む場合に、ＡＲ支援モジュール１１０は、入力されたときにこのプログラミング情報を受信し、あるいはこのプログラミング情報にアクセスすることができる。別の例においては、処置が請求システムへの請求情報（例えば、請求コード、処置コード、保険情報、など）の入力を含む場合に、ＡＲ支援モジュール１１０は、入力されたときにこの請求情報を受信することができる。医療関連の処置が、処置の最中にデータをキャプチャまたは生成するように構成された医療機器または器具の使用を含む他の実施例において、ＡＲ支援モジュール１１０は、このデータを入力として受信することもできる。例えば、医療機器または器具を、さまざまなセンサを使用して患者に関連する生理学的データをキャプチャおよび／または測定し、このデータをＡＲ支援モジュールへと提供するように構成することができる。別の例において、医療機器または器具は、医療処置の最中に患者の身体の画像（例えば、内部または外部）をキャプチャする処置中に使用される撮像装置を含むことができる。例えば、そのような撮像装置は、これらに限られるわけではないが、放射線写真画像形成装置、磁気共鳴画像形成装置、核画像形成装置、超音波画像形成装置、エラストグラフィー画像形成装置、触覚画像形成装置、光音響画像形成装置、などを含むことができる。別の例において、ＡＲ支援モジュール１１０は、処置の最中に使用される医療器具に設けられた１つ以上のカメラからキャプチャされた画像データを受け取ることができる。例えば、プローブ、カテーテル、内視鏡、などの多くの侵襲性外科用装置は、外科的処置の最中に患者の体内の画像をキャプチャして処置を容易にする撮像センサを含む。さらに別の例において、ＡＲ支援モジュール１１０は、処置を容易にするために外科的処置の最中に使用および／または生成される患者の身体または内臓器官の２Ｄおよび３Ｄ撮像モデルを受け取ることができる。
１つ以上の実施形態においては、処置識別コンポーネント１１２を、この視覚、音声、運動、バイオメトリック、データ入力、および／または医療機器が生成する入力をリアルタイムで受信したときに分析して、リアルタイムで生じる処置のさまざまな態様の識別および特徴付けを行うように構成することができる。これは、処置の種類および処置のさまざまな特定の特徴を含むことができ、例えば処置のそれぞれのアクションおよびイベントならびにこれらのアクションまたはイベントの特徴などを含むことができる。例えば、医療処置の監視に関連して、処置識別コンポーネント１１２は、実行されている特定の医療処置を識別することができる。さらに、処置特徴付けコンポーネント１１４は、受け取った入力に基づいて処置の最中にヘルスケア専門家によって実行されたそれぞれのアクション／ステップを記述する記述情報を生成することができる。例えば、１つ以上の実施形態において、処置特徴付けコンポーネント１１４は、ヘルスケア専門家によって実行されているアクションまたはステップ、ならびにそれらのアクションまたはステップの特徴を識別することができる。特徴は、実行されている処置の種類および受け取った入力／フィードバックの種類に応じてさまざまであってよい。さまざまな実施例において、処置特徴付けコンポーネント１１４によって記述される特性は、一般に、ヘルスケア専門家が何を行っているか、ヘルスケア専門家がそれをどのように行っているか、ヘルスケア専門家が何をどのように使用または適用しているか（例えば、薬剤および用量）、処置のアクションまたはステップの実行前の患者、システム、または器具の状態、ならびに処置のアクションまたはステップの実行後の患者、システム、または器具の状態を記述することができる。例えば、いくつかの実施例において、特徴は、処置のアクション／ステップの実行に関連するヘルスケア専門家、ヘルスケア専門家の身体部分、またはヘルスケア専門家によって操作される器具の物理的な位置／向きまたは動きに関係することができる。別の例において、特徴は、処置において使用されるシステムおよび機器の様相、状態、または外観に関連することができる。別の例において、特徴は、ヘルスケア専門家、患者、および／または処置に関与する他のヘルスケア専門家の生理学的反応を含むことができる。いくつかの態様において、これらの生理学的反応は、処置の全体を通してのヘルスケア専門家の精神状態を示すことができる（例えば、集中、混乱、疲労、ストレス、心配、など）。
例えば、ＩＶカニューレ挿入処置に関して、処置の最中に受信された視覚、音声、運動、バイオメトリック、などの入力に基づいて、処置識別コンポーネント１１２は、ＩＶカニューレ挿入処置が行われていると識別または決定することができる。処置特徴付けコンポーネント１１４は、これらに限られるわけではないが、ＩＶ部位の準備、管および流体バッグの準備、止血帯の適用、カテーテルの選択、カテーテルの挿入、止血帯の取り外し、管の取り付け、およびＩＶラインの開放などの実行されるステップ／アクションに関する記述情報を、それらが実行されるときにさらに生成することができる。処置特徴付けコンポーネント１１４は、例えば、アクションのタイミング、アクションの順序、使用される器具、器具のサイジング、器具の場所、ＩＶ部位の場所、ヘルスケア専門家の手の位置、患者の生理学的反応、ヘルスケア専門家の生理学的反応（例えば、ストレス、疲労、などを示す）、針および管の挿入時に患者に加えられた圧力、ＩＶ流体に適用された用量、など、観察されたそれぞれのアクション／ステップについての詳細情報をさらに提供することができる。記述情報の量および種類は、実行されている処置の種類ならびに処置の最中にＡＲ支援モジュールによって受信された入力／フィードバックの種類に基づいてさまざまであることを、理解されたい。したがって、要約すると、処置識別コンポーネント１１２を、上述のさまざまな入力を分析して実行中の特定の処置を識別するように構成することができ、処置特徴付けコンポーネント１１４は、処置のそれぞれのアクションおよびイベントを記述または説明する記述情報を、それらの発生時にさらに生成することができる。
１つ以上の実施形態においては、ＡＲ支援モジュール１１０を、定められた１組のヘルスケア関連処置を監視および評価するように構成することができる。これらの処置は、医療処置、事務処置、および／または維持処置を含むことができる。各々の処置に、特定の処置を識別する一意の識別子またはコードを関連付けることができる。ＡＲ支援モジュール１１０は、ＡＲ支援モジュール１１０が監視および評価するように構成されているそれぞれの処置を識別する（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または別の装置／システムに格納された）情報にさらにアクセスすることができる。いくつかの実施形態において、ヘルスケア関連処置の実行前または実行中に、処置識別コンポーネント１１２は、実行されている処置を識別する明示的情報（例えば、処置の識別子、処置の名称、など）を受け取ることができる。これは、処置がシステムにおいてスケジュールされているからであってよい。例えば、施設内の各々の医療室について、その日の処置が定められ得る。あるいは、看護師のスケジュールに、その日に特定の順序で実行すべき処置が設定され得る。いくつかの実施例において、医療関連の処置の開始に関連して、ヘルスケア専門家は、実行されている特定の処置を識別する情報をユーザ装置１０２に（例えば、適切な入力機構を介して）入力し、あるいは他のやり方で提供することができる。ユーザ装置１０２は、この情報をＡＲ支援モジュール１１０にさらに提供することができる。
他の実施形態において、処置識別コンポーネント１１２は、受信した処置の実行に関連する入力データの分析に基づいて、実行されている処置を決定することができる。例えば、受信した入力（例えば、視覚、音声、運動、バイオメトリック、データ入力、医療機器によって生成されたもの、など）に基づいて、処置特徴付けコンポーネント１１４は、観察された処置の特徴（例えば、識別されたオブジェクト、人、言葉、アクションまたはイベント、それらのアクションまたはイベントの特徴、など）に関する１つ以上の記述パラメータを生成することができる。処置識別コンポーネント１１２は、１つ以上の記述パラメータを、１つ以上の記述パラメータ（例えば、識別されたオブジェクト、人、言葉、アクションまたはイベント、それらのアクションまたはイベントの特徴、など）または記述パラメータ内のパターンを定められた処置の種類に関連付ける予め定められた情報（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または他の装置に位置する）と比較することによって、実行されている処置の種類をさらに決定することができる。
処置情報を格納するデータ構造は、この予め定められた情報をトリガ状況として有することができる。処置は、薬剤の特定の画像が画像データにキャプチャされ、あるいは特定の種類の医療器具が画像データにおいて発見され、あるいは特定のフレーズが音声データにキャプチャされる（「今からあなたの処方を投与します」）など、４つのトリガ状況を有し得る。さらに、処置情報を格納するデータ構造は、処置が進行中であることをシステムが検出するためにトリガ状況のうちのいくつを満たす必要があるかを指定することができる。したがって、処置識別コンポーネント１１２が１つ以上のトリガ状況を予め定められた情報として検出した場合、処置はオンザフライで検出され得る。
例えば、患者のＩＶ部位を準備するヘルスケア専門家を含む画像データの受信に基づいて、処置特徴付けコンポーネント１１４は、「ＩＶ部位の準備」が行われたこと、または「患者ＩＶ部位の画像」が検出されたことを示す記述情報を生成することができる。処置識別コンポーネント１１２は、決定された記述情報をＩＶカニューレ挿入処置に関連付けるデータに基づいて、ヘルスケア専門家がＩＶカニューレ挿入処置を行っているとさらに決定することができる。別の例においては、「ＩＶ部位の準備中」と述べる処置に関与するヘルスケア専門家からの音声入力の受信に基づいて、処置特徴付けコンポーネント１１４は、音声信号において識別されたキーワード（例えば、準備、ＩＶ、および部位）に対応する記述データを決定および／または生成することができる。これらのキーワード記述子、トリガ状況、およびこれらのキーワード記述子をＩＶカニューレ挿入処置に関連付ける情報に基づいて、処置識別コンポーネント１１２は、ヘルスケア専門家がＩＶカニューレ挿入処置を行っていると決定することができる。
処置識別コンポーネント１１２が行われている処置を識別する直接的または明示的な情報を受け取らないいくつかの実施形態において、処置識別コンポーネント１１２は、処置特徴付けコンポーネント１１４によって生成される記述情報に加えて、コンテクスト情報を使用して行われている処置の識別を容易にすることができる。このコンテクスト情報は、これに限定されるわけではないが、処置に関連する場所（例えば、病院の特定の部屋、領域、部門、など）、処置を実行するユーザの役割（例えば、医師、医師の種類、看護師、など）、時刻、および／または処置に関係する患者に関する患者情報に関連し得る。例えば、ヘルスケア環境における特定の場所が、１つ以上の既知の処置に関連付けられ得る。したがって、処置を実行しているユーザがどこに位置しているかに応じて、処置識別コンポーネント１１２は、どの種類のプロセスが発生している可能性が高いかを判断することができる（例えば、手術室Ｂは多くの場合に心臓の処置が行われる場所であり、３階は通常はリハビリテーションの処置が行われる場所である、など）。さらに、ヘルスケア専門家の役割または肩書きも、その者による実行が許可されている処置の数および種類を限定する可能性がある。したがって、処置識別コンポーネント１１２は、特定のヘルスケア専門家によって行われる処置の検出を、そのヘルスケア専門家による実行が許可されている処置だけに限定することができる。さらに他の実施形態において、それぞれのヘルスケア専門家に、（例えば、それぞれのヘルスケア専門家の過去のパフォーマンスに関する履歴データに基づいて）彼らが実行する可能性が高い処置を示す情報を関連付けることができる。処置識別コンポーネント１１２は、ヘルスケア専門家が実行する可能性が高い処置に基づいて、特定のヘルスケア専門家による処置の実行の検出をさらに限定することができる。別の例においては、さまざまな処置に、１日のうちの異なる時間または１週間のうちの異なる曜日における実行を関連付けることができる。したがって、いくつかの実施例において、処置識別コンポーネント１１２は、１日のうちの時間または１週間のうちの曜日に基づいて、実行されている特定の手順の識別を限定することができる。処置に患者が含まれるさらに他の実施例において、処置識別コンポーネント１１２は、患者が受けるように計画された処置および／または患者が受けることが許可されている処置に基づいて、その患者に関する処置の検出を限定することができる。
これらの実施形態によれば、ＡＲ支援モジュール１１０は、これらに限られるわけではないが処置に関連する現在位置、処置を実行するユーザの役割、１日のうちの時間、および／または処置に関係する患者に関する患者情報など、このコンテクスト情報の決定を容易にするためのコンテクストコンポーネント１１８を含むことができる。例えば、コンテクストコンポーネント１１８は、処置を実行しているヘルスケア専門家の位置の特定、ヘルスケア専門家の役割、ヘルスケア専門家の身元、患者の身元、および１日のうちの時刻／１週間のうちの曜日を決定することができる。コンテクストコンポーネント１１８は、特定の処置をヘルスケア施設内の特定の場所、１日のうちの特定の時刻／１週間のうちの特定の曜日、特定のヘルスケア専門家またはヘルスケア専門家の役割、特定の患者、などのうちの１つ以上に関連付ける予め定められた情報（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または別の装置に格納される）にさらにアクセスすることができる。コンテクストコンポーネント１１８は、ユーザの現在位置を決定するためにさまざまな既知の技術を使用することができる。例えば、これらの技術は、ユーザまたはユーザによって使用されるユーザ装置１０２に関連する全地球測位システム（ＧＰＳ）データ、三角測量に基づく位置特定方法、無線周波数識別タグ（ＲＦＩＤ）検出方法、カメラ、ビーコン、および／または運動センサを用いたユーザの移動の監視、ユーザのために監視された移動情報、などに基づくことができる。さらに、コンテクストコンポーネントは、ヘルスケア専門家および／または患者の身元を決定するためにさまざまな機構を使用することができる。例えば、いくつかの実施形態において、コンテクストコンポーネント１１８は、キャプチャされたユーザの画像データおよび適切な顔認識技術に基づいて、ユーザの身元を決定することができる。他の実施形態において、コンテクストコンポーネント１１８は、ユーザとユーザによって操作される特定の装置（例えば、ユーザ装置１０２）とを関連付ける情報および処置の実行に関連するユーザによるその装置の使用に部分的に基づいて、処置を実行しているユーザの身元を決定することができる。
処置特徴付けコンポーネント１１４は、処置の過程にわたって処置のさまざまな態様を記述する記述情報をさらに生成することができる。１つ以上の実施形態においては、実行されている処置の識別を容易にする他に、この記述情報を、処置の過程にわたってリアルタイムで処置のパフォーマンスを評価するために処置評価コンポーネント１１６によって使用することができる。上記のように、処置特徴付けコンポーネント１１４によって識別および／または生成された記述パラメータは、処置のそれぞれのアクションおよびイベント、ならびにそれらのアクションまたはイベントの特徴など、実行中の処置のさまざまな態様を記述することができる。例えば、処置の過程にわたって処置特徴付けコンポーネントによって生成される記述情報は、これらに限られるわけではないが、処置または処置環境に関連するオブジェクト、それらのオブジェクトの特徴、処置または処置環境に関連する人々、それらの人々の特徴、実行された処置のアクション／ステップ、それらの処置のアクション／ステップの特徴、ユーザまたは器具によって実行された物理的なアクション／運動、ユーザまたは器具の外観の変化、話された言葉、検出された音、生理学的反応、などを含むことができる。
処置特徴付けコンポーネント１１４が処置環境および／またはヘルスケア専門家によって行われている処置についての記述パラメータを生成する機構は、受け取った入力の種類に基づいてさまざまであってよい。例えば、処置環境および／または処置を実施するヘルスケア専門家についてキャプチャされたビデオおよび／または静止画像データに関して、１つ以上の実施形態において、処置特徴付けコンポーネント１１４は、画像データ内のオブジェクト（人物／顔など）およびオブジェクトの特徴（例えば、色、サイズ、ブランド、相対位置、向き、など）を識別するためのさまざまな画像認識アルゴリズムを使用することができる。さらに、画像の並びまたは一連の画像（例えば、ビデオデータ）を分析することによって、処置特徴付けコンポーネント１１４は、画像データによって表されるアクション、運動、挙動、および表情を識別することができる。画像認識アルゴリズムは、外観ベースまたは特徴ベースの技術を使用したマッチング、学習、またはパターン認識アルゴリズムに依存する。一般的な技術として、エッジ、勾配、配向勾配ヒストグラム（ＨＯＧ）、ハールウェーブレット、および線形バイナリパターンが挙げられる。さまざまな実施形態において、処置特徴付けコンポーネント１１４は、これらに限られるわけではないが、抽出された特徴およびブーストされた学習アルゴリズム、スピーデッドアップロバストフィーチャー（ＳＵＲＦ）およびマキシマリーステーブルエクストリーマルリージョン（ＭＳＥＲ）などの特徴を有するバッグオブワードモデル、勾配ベースおよび導関数ベースのマッチング手法、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズム、テンプレートマッチング、ならびに画像分割およびブロブ解析など、さまざまなモデルを使用して画像データに現れるオブジェクト、人物、表情、アクション、挙動、運動、などを識別する情報を生成することができる。
音声フィードバックに関して、処置特徴付けコンポーネント１１４は、音声信号内の固有の特徴を識別するためにパターン認識技術を使用することができる。固有の特性に基づいて、処置特徴付けコンポーネント１１４は、別個の単語または音声を識別し、その単語または音声を識別する記述情報を生成することができる。ヘルスケア専門家、患者、または処置に関与する他の個人によって着用された運動センサから受信される運動データに関して、処置特徴付けコンポーネント１１４は、既知の動きまたはジェスチャに対応する運動データ内のパターンを識別することができる。例えば、処置特徴付けコンポーネント１１４は、ユーザが特定の身体部分を動かしているかどうか、どのように動かしているか、およびユーザが歩いているか、立っているか、座っているか、などを判断することができる。同様に、ツールまたは器具の動きに関する運動センサデータに基づいて、処置特徴付けコンポーネント１１４は、器具の（例えば、患者、器具を操作している者、などに対する）相対位置および向き、ならびに器具の動きを判断することができる。処置特徴付けコンポーネント１１４は、処置全体にわたるユーザおよび器具の動きを定める記述情報をさらに生成することができる。さらに、処置特徴付けコンポーネント１１４は、圧力センサ、バイオメトリックデバイス、および他のコンピューティングデバイスから受信した入力に対応する記述情報を生成することができる。例えば、処置の最中のユーザ（例えば、ヘルスケア専門家、患者、他のヘルスケア専門家、など）によって着用されたバイオメトリックデバイスからの生理学的情報の受信に応答して、記述子生成コンポーネント１１４は、生理学的情報（例えば、心拍数、バイタルサイン、など）を識別する記述データを生成することができる。別の例において、患者へと適用される薬剤の用量に関する関連の計算システムへのデータの入力に応答して、処置特徴付けコンポーネント１１４は、イベント、薬剤、および特定の用量を識別する記述情報を生成することができる。
さまざまな実施形態において、処置特徴付けコンポーネント１１４は、観察されたオブジェクト、人、運動、生理学的反応、などの組み合わせに基づいて実行されている処置の態様を記述する記述情報を生成することができる。例えば、さまざまな機械学習技術を使用して、定められた処置のイベントに一致するそのようなデータのさまざまな組み合わせにおけるパターンを学習することができる。とくに、処置の多数のイベントを、特定の身体部分または器具を含む一連の運動およびその後の患者の定められた生理学的反応、ならびに定められた位置／場所における器具または身体部分の位置での終了など、いくつかの記述子の組み合わせによって特徴付けることができる。
機械学習は、明示的にプログラムされることなく学習する能力をコンピュータに提供する一種の人工知能（ＡＩ）である。機械学習は、新しいデータが与えられたときに変化することができるコンピュータプログラム（例えば、処置識別コンポーネント１１２、処置特徴付けコンポーネント１１４、および処置評価コンポーネント１１６）の開発に注力する。機械学習技術は、そのコンパイルされたデータを使用してデータ内のパターンを検出し、それに応じてプログラムの動作を調整する。機械学習アルゴリズムは、多くの場合、教師付きアルゴリズムまたは教師なしアルゴリズムに分類される。教師付きアルゴリズムは、過去に学習した内容を新しいデータに適用することができる。教師なしアルゴリズムは、データセットから推論を引き出すことができる。深層学習が、人間が特定の種類の知識を習得するために使用する学習手法を模倣することに関係するＡＩの一態様である。最も単純な場合、深層学習を、予測分析を自動化する方法と考えることができる。伝統的な機械学習アルゴリズムは線形であるが、深層学習アルゴリズムは、高い複雑性および抽象化の階層に積み上げられる。階層内の各々のアルゴリズムは、入力に非線形変換を適用し、学習した内容を使用して出力としての統計モデルを生成する。出力が許容可能な精度レベルに達するまで、反復が続けられる。データが通過しなければならない処理層の数が、「深層」というラベルの由来である。
したがって、１つ以上の実施形態においては、長期にわたる同じ処理の多数の実行（例えば、同じユーザまたは異なるユーザによる）について受信されたフィードバックデータ（例えば、視覚データ、運動データ、可聴データ、バイオメトリックデータ、医療機器が生成したデータ、など）を評価する１つ以上の機械学習または深層学習技術を使用して、処置の定められたステップまたはアクションならびにそれらのステップおよびアクションの特徴に相関するフィードバックデータ内のパターンを識別することができる。これを、ＡＲ支援モジュール１１０によって評価される可能性があるすべての処置について繰り返すことができる。したがって、各々の処置について、画像記述子、音声記述子、運動記述子、生理学的記述子、などにおける組み合わせおよび／またはパターンを、定められた処置のイベントまたはアクションならびに処置のアクションおよびイベントの特徴に関連付ける参照パターン情報を作成することができる。処置特徴付けコンポーネント１１４は、この参照パターン情報（例えば、メモリ、１つ以上の外部情報ソース、または他の装置に格納される）にアクセスして、ヘルスケア専門家による処置の実行の最中の現時点において受信したフィードバックデータ（例えば、視覚データ、運動データ、可聴データ、バイオメトリックデータ、医療機器が生成したデータ、など）においてパターンを識別し、対応する参照パターンならびに関連の処置のアクションおよび／またはそれらのアクションの特徴を識別することができる。
１つ以上の実施形態においては、処置評価コンポーネント１１６を、処置特徴付けコンポーネント１１４によって生成／決定された記述情報に基づいてリアルタイムで実行されている処置を査定または評価するように構成することができる。とくに、ＡＲ支援モジュール１１０を、１組の既知の医療関連処置を評価するように構成することができる。これらの処置の各々は、処置を実行するための望ましいやり方を定義する定められた指針または手順を有することができる。これらの指針／手順は、ヘルスケア組織によって定められてよく、さらには／あるいは政府によって義務付けられたものであってよい。いくつかの実施例においては、これらの指針および手順を、さまざまな機械学習技術ならびに繰り返される処置または類似の処置について監視されたデータを使用して、経時的に最適化することができる（最適化コンポーネント６０４を参照して後述されるとおり）。それぞれの処置を識別する情報、およびそれぞれの処置についての指針／手順は、メモリ１３０（例えば、処置指針／手順情報１３２として）、１つ以上の外部情報ソース１３８、またはＡＲ支援モジュールにとってアクセス可能な別のソースに含まれてよい。各々の処置の指針／手順情報は、これらに限られるわけではないが、処置のための必要なステップまたはアクション、ならびにそれぞれのアクションの実行の順序を含むそれぞれのステップまたはアクションのためのタイミングなど、処置のさまざまな態様を記述する参照記述パラメータを含むことができる。さらに、処置指針／手順情報１３２は、これらに限られるわけではないが、それぞれのアクション／ステップをどのように実行すべきか、どの物資／器具を使用すべきか、物資をどのように処分するか、処置の最中に患者および／または他のヘルスケア専門家とどのようにやり取りするか、などに関する記述パラメータなど、必要なステップまたはアクションの特徴を定義する参照記述パラメータを含むことができる。別の例において、指針／手順情報は、種々の生じ得る事象、反応、または合併症が処置の最中に発生したときに取られるべき対応のアクション／ステップに関する記述パラメータを含むことができる。
種々の実施形態においては、ヘルスケア専門家による処置の実行の最中に、処置評価コンポーネント１１６を、処置特徴付けコンポーネント１１４によって生成された処置のさまざまな態様を特徴付ける記述パラメータを、処置について定められた指針／手順に含まれる参照記述パラメータと比較するように構成することができる。比較に基づいて、処置評価コンポーネント１１６は、定められた処置指針／手順に含まれるどのステップまたはアクションが、ヘルスケア専門家によって現時点において実行されているかを判断することができる。処置評価コンポーネント１１６は、処置について定められた指針／手順と比較して、ヘルスケア専門家が処置のさまざまな態様をどのように実行しているかをさらに判断することができる。とくに、１つ以上の実施形態において、処置評価コンポーネント１１６は、ヘルスケア専門家が処置について定められた指針／手順から逸脱しているか、いつ逸脱したか、あるいは他のかたちで処置の態様を誤って（例えば、処置について定められた指針および手順に逆らって）実行していないかを、判断することができる。さらに、処置評価コンポーネント１１６は、ヘルスケア専門家が誤って実行している処置の特定の態様を識別することもできる。
例えば、実行された処置のステップ／アクションに関して処置特徴付けコンポーネント１１４によって生成された記述情報と、その処置に関する参照記述情報との比較に基づいて、処置評価コンポーネント１１６は、ヘルスケア専門家が正しくない順序でステップ／アクションを実行したのではないか、ヘルスケア専門家によるステップまたはアクションの実行の速度が遅すぎ、または速すぎではないか、ヘルスケア専門家が或るステップまたはアクションを省いたのではないか、ヘルスケア専門家が不必要なステップまたはアクションを実行したのではないか、などを判断することができる。別の例において、処置の特定のアクションまたはステップに関して、処置評価コンポーネント１１６は、ヘルスケア専門家によって実行されている特定のアクションまたはステップの１つ以上の特徴を記述する処置特徴付けコンポーネント１１４によって生成された情報を、処置のアクションについて必要な特徴を定める参照情報と比較することができる。比較に基づいて、処置評価コンポーネント１１６は、ヘルスケア専門家の処置のアクションの実行が、処置のアクションについて必要とされる特徴と同等であるか否かを判断することができる。例えば、外科的処置の特定のステップに関して、処置評価コンポーネントは、ヘルスケア専門家が患者に対して正しく位置しているか、ヘルスケア専門家が患者の正しい側および／または身体部分を処置しているか、ヘルスケア専門家が正しい器具を使用しているか、患者のバイタルサインがそのステップにとって適切であるか、ヘルスケア専門家の疲労レベルが許容範囲か、などを判断することができる。ヘルスケア専門家が処置の態様を誤って実行したか、もしくは実行しているか、およびどのように誤って実行したか、もしくは実行しているかの判断に加え、さまざまな実施形態において、処置評価コンポーネント１１６は、ヘルスケア専門家が処置の態様を正しく実行したか、もしくは実行しているか、およびいつ正しく実行したか、もしくは実行しているかも判断することができる。
いくつかの実施形態において、処置評価コンポーネント１１６は、処置の特定のコンテクストに基づいて、ヘルスケア専門家の処置の実行の評価をさらに調整することができる。例えば、特定の医療処置の実行のやり方は、患者の状態、患者の身体の健康、患者の健康記録、患者の病気の重症度、患者の感受性、患者の嗜好、患者の年齢、患者のアレルギー、患者の精神的安定性、などに基づき、患者に合わせて調整されることが多い。そのような条件因子は、実行される処置の特定のアクション／ステップ、それらの実行のやり方、適用される医薬品、医薬品の用量、などに影響を及ぼす可能性がある。いくつかの実施例においては、処置の実行に先立ち、臨床医が、特定の患者に合わせて調整された処置のさまざまな態様に関する情報を決定および提供することができる。この情報は、（例えば、１つ以上の外部情報ソース１３８または他の装置において）処置評価コンポーネントにとってアクセス可能にされてよい。別の例において、特定の医療処置の実行のやり方は、利用可能な機器および物資に依存し得る。したがって、さまざまな実施形態において、コンテクストコンポーネント１１８は、処置に関連する患者、利用可能な機器／物資、および処置の環境に関するそのようなコンテクスト情報を決定することができる（例えば、１つ以上の外部情報ソース１３８内の関連のコンテクスト情報を識別することによって）。処置評価コンポーネント１１６は、そのようなコンテクスト情報に基づいて処置の評価をさらに調整することができる。
いくつかの実施形態において、実行されている処置を説明する記述情報の生成に加えて、処置特徴付けコンポーネント１１４は、処置が発生している環境、または発生するであろう環境をさらに評価して、環境を特徴付けることができる。例えば、環境からキャプチャされた画像データを使用して、処置特徴付けコンポーネント１１４は、環境内のオブジェクト、ならびに医療器具、物資、および装置を含むオブジェクトの様相または状態（例えば、オン／オフ、使用／未使用、正しく作動／不適切な作動、など）、およびオブジェクトの相対位置を識別することができる。さらに、処置特徴付けコンポーネント１１４は、オブジェクトの様相または状態に関する情報を提供する情報（例えば、メモリ１３０、外部情報ソース１３８、または他の装置に格納されている）にアクセスすることもできる。処置環境を記述する情報に基づいて、処置評価コンポーネント１１６は、環境が予め定められた品質管理の基準に従って処置の実行のために適切に準備および装備されているか否かに関する判断を行うことができる。処置評価コンポーネント１１６は、存在すべきすべての器具、物資、機器、および人員が存在するかどうか、器具、物資、機器、および人員が正しい位置にあるかどうか、ならびに器具、物資、機器、および人員が正しい様相／状態にあるかどうかを判断するために、処置の最初から最後までの種々の時点および処置の完了時において処置環境をさらに評価することができる。
これらの実施形態によれば、処置指針／手順情報１３２は、これらに限られるわけではないが、どんな機器および物資が環境内に含まれていなければならないか、処置の最初から最後までの種々の時点における機器／物資の様相／状態（例えば、オン／オフ、適切／不適切な動作、使用／未使用、など）、処置の最初から最後までの種々の時点における機器／物資の相対位置（例えば、患者の外、患者内、衛生バッグ内、ごみ箱内、など）、処置環境に存在すべき者、その者がどこに、いつ、どのように現れるべきか（例えば、何を着用しているべきか）、など、処置の最初から最後までの種々の時点における処置環境に関する要件を識別する参照情報をさらに含むことができる。処置環境に関する処置特徴付けコンポーネントによって決定された情報に基づいて、処置評価コンポーネント１１６は、処置の開始前、処置の最初から最後までのさまざまな時点、および処置の完了時に、処置環境が必要な指針と同等であるか否かを判断するために、処置環境をさらに評価することができる。例えば、処置評価コンポーネント１１６は、特定の物資または機器が処置環境において欠けていないか、特定の物資または機器が正しく機能していないのではないか、使用されていなければならない物資／ツールが未使用のままでないか、使用された特定の物資／ツールが正しく廃棄されていないのではないか（例えば、スポンジが患者に残されていないか）、などを判断することができる。別の例において、処置評価コンポーネント１１６は、ヘルスケア専門家が手術において誤った物資／機器を取り出していないかどうかを判断することができる。
フィードバックコンポーネント１２０を、ヘルスケア専門家による処置の実行および／または処置環境に関する処置評価コンポーネント１１６によって行われた決定に応答して、リアルタイムでフィードバック情報を決定および／または生成するように構成することができる。フィードバックコンポーネント１２０は、このフィードバックを、処置を行っているヘルスケア専門家、処置の実行を監督するユーザ、または別のエンティティ（例えば、遠隔監視システム／サービス、管理職員、など）にさらに提供することができる。ヘルスケア専門家が誤って実行し、あるいは誤って実行している処置の態様に関する処置の実行中に受信されたフィードバックに基づいて、ヘルスケア専門家は、ミスを速やかに修正するための適切な措置を取ることができ、したがってミスによる将来の合併症の可能性を最小にすることができる。これは、患者、支払人、開業医、臨床医、政府、およびヘルスケアシステム全般に大きな利益をもたらす。ミスを減らすことで、人命を救い、コストを削減することができる。
１つ以上の実施形態において、フィードバックコンポーネント１２０は、誤って実行され、もしくは誤って実行されている処置の態様、および／または不適切である処置環境の態様に関する修正フィードバックを決定および／または生成するための修正コンポーネント１２２を含むことができる。例えば、ヘルスケア専門家が処置の或るステップまたはアクションを省いたという処置評価コンポーネント１１６による判定に基づいて、修正コンポーネント１２２は、省かれたステップまたはアクションを識別し、省かれたステップまたはアクションに関してヘルスケア専門家に通知する情報を決定または生成することができる。別の例において、ヘルスケア専門家が不必要なステップまたはアクションを実行しているという処置評価コンポーネント１１６による判定に基づいて、修正コンポーネント１２２は、不必要なステップまたはアクションを識別し、不必要なステップまたはアクションに関してヘルスケア専門家に通知する情報を決定または生成することができる。別の例において、ヘルスケア専門家が正しくない順序でステップまたはアクションを実行しているという処置評価コンポーネント１１６による判定に基づいて、修正コンポーネント１２２は、正しくない順序で実行されたステップまたはアクションを識別する情報を決定または生成することができる。情報は、ステップの正しい順序をさらに記述することができる。例えば、情報は、ヘルスケア専門家が開始しており、あるいは現時点において実行しているステップまたはアクションの前に実行されるべき１つ以上のステップまたはアクションを識別することができる。
別の例において、ヘルスケア専門家がステップまたはアクションを誤って実行し、あるいは実行しているという処置評価コンポーネント１１６による判定に基づいて、修正コンポーネント１２２は、そのステップまたはアクションを識別する情報を決定または生成することができる。いくつかの実施形態において、修正コンポーネント１２２は、誤ったステップまたはアクションの特定の態様に関する情報をさらに決定または生成することができる。さらに、修正コンポーネント１２２は、誤りの修正の方法に関する情報を決定または生成することができる。例えば、修正コンポーネント１２２は、ステップまたはアクションあるいはステップまたはアクションの特定の態様をどのように実行すべきかを定義する参照データ構造内の特定のステップまたはアクションに関する参照情報を取り出すことができる。処置についてのデータ構造は、処置の各々のステップまたはアクションに関して格納されたテキスト、ビデオ、画像、および音声を有することができる。これらすべてを、ＡＲインタフェースを介したヘルスケア専門家の支援に使用することができる。
処置環境に関して識別された誤りに関して、修正コンポーネント１２２は、処置について定められた指針／要件に適合しない処置環境の態様を識別する情報を決定および／または生成することができる。例えば、処置に必要な特定の器具が処置環境から欠けているという判定に基づいて、修正コンポーネント１２２は、欠けている器具を示す情報を決定および／または生成することができる。別の例において、外科処置の最中に使用されたスポンジが患者の手術部位の閉鎖の開始時に患者から取り出されていないという判定に基づいて、修正コンポーネント１２２は、スポンジの誤った位置および／または廃棄を示す情報を決定および／または生成することができる。別の例において、補佐の看護師が、処置の一ステップにおいて主たるヘルスケア専門家を手助けするために患者の頭部の付近に位置している必要がある処置の最中の時点において、患者の脚の近くに位置しているとの判定に基づいて、修正コンポーネント１２２は、看護師の位置が正しくないことを示し、正しい位置を特定する情報を決定および／または生成することができる。別の例において、ヘルスケア専門家が手術のために誤った物資／機器を取り出したとの判定に基づいて、修正コンポーネントは、誤った物資／機器が選択されたことを示す修正フィードバックを生成し、物資／機器が誤りであることを示し、必要でない物資／機器を開いて無駄にすることがないように正しい物資／機器を取り出すようにヘルスケア専門家に指示するフィードバックを、ヘルスケア専門家に提供することができる。
さらに、フィードバックコンポーネント１２０は、ヘルスケア専門家が正しく実行しており、あるいは正しく実行した処置の１つ以上の態様に関する賞賛情報を決定および／または生成するための賞賛コンポーネント１２４を含むことができる。例えば、処置の過程において、処置評価コンポーネント１１６が、ヘルスケア専門家が処置のアクションまたはステップを正しく実行したと判定した場合に、賞賛コンポーネント１２４は、正しく実行されたステップまたはアクションを識別する情報を生成することができる。
さらに、フィードバックコンポーネント１２０は、処置の全体を通してヘルスケア専門家を案内する案内情報をヘルスケア専門家に提供することを容易にするための案内コンポーネント１２６を含むことができる。例えば、この案内情報は、処置の各々のステップをいつどのように実行するかについて、ヘルスケア専門家に知らせることができる。そのような情報は、新たな処置をどのように実行するかについてヘルスケア専門家を訓練し、さらには／あるいはそのような順を追った支援を必要とし、もしくは所望するヘルスケア専門家を案内するために有用であり得る。例えば、いくつかの実施形態において、案内コンポーネント１２６は、実行されている処置に関する参照指針／手順情報を取り出すことができる。参照指針／手順情報は、処置の各々のステップまたはアクションをどのように実行するか、各々のステップまたはアクションをいつ実行するか、およびそれぞれのステップまたはアクションの特徴など、処置をどのように実行するかを定義することができる。案内コンポーネント１２６は、各々のステップについての情報をステップが実行されるべき時点においてヘルスケア専門家にさらに提供して、処置の各々のステップをどのように実行するかを説明する実況の順を追ったチュートリアルを生成することができる。いくつかの実施形態において、案内コンポーネント１２６は、特定のステップまたはアクションがいつヘルスケア専門家によって完了または開始させたかに関する処置評価コンポーネント１１６によって決定された情報に基づいて、さまざまな時点においてヘルスケア専門家に提供する情報を決定することができる。例えば、１０個のステップを含む処置に関して、ヘルスケア専門家がステップ１を完了させ、かつ／またはステップ２を開始しているという処置評価コンポーネント１１６によって決定された情報に基づいて、案内コンポーネント１２６は、ステップ２をどのように実行するかを説明する情報を決定し、あるいは取り出し、この情報をこの実施形態点においてヘルスケア専門家に提供することができる。
さらに、いくつかの実施形態において、フィードバックコンポーネント１２０は、ヘルスケア専門家によって現時点において実行されている処置と同じ処置のヘルスケア専門家による過去のパフォーマンスに関してヘルスケア専門家について（例えば、図６に関して後述される記録コンポーネント６０２によって）記録された過去パフォーマンス情報（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または別の装置に格納されている）にアクセスすることができる。例えば、ヘルスケア専門家による特定の処置の実行がＡＲ支援モジュール１１０によって評価されるたびに、ＡＲ支援モジュール（例えば、記録コンポーネント６０２を介して）は、正しく実行されたステップ／アクションがどれであり、正しく実行されなかったステップ／アクションがどれであるか、それらのアクションのどの態様が正しく実行され、あるいは正しく実行されなかったか、それぞれのステップの実行の時間、などに関する情報など、ヘルスケア専門家による実行に関して処置識別コンポーネント１１２、処置評価コンポーネント１１６、および／またはフィードバックコンポーネント１２０によって決定および／または生成された情報を文書化するレポート情報を生成することができる。さらに、フィードバックコンポーネント１２０は、過去パフォーマンス情報を現在のパフォーマンス情報と比較して、ヘルスケア専門家が処置のそれぞれのステップを同じステップの過去のパフォーマンスと比べてどのように実行しているかをリアルタイムで判断することができる。さらに、フィードバックコンポーネント１２０は、ヘルスケア専門家による処置のステップの現在の実行がこのヘルスケア専門家による同じステップの過去のパフォーマンスとどのように比肩するかを示す情報を決定し、ヘルスケア専門家に提供することができる。例えば、１０個の処置ステップを含む外科的処置に関して、フィードバックコンポーネント１２０は、各々のステップの実行の成功率を示す過去パフォーマンス情報にアクセスすることができる。例えば、そのような情報は、ヘルスケア専門家がステップ１〜５を時間の９０％において正しく実行するが、ステップ６を時間の５０％において誤って実行することを示すことができる。したがって、ヘルスケア専門家が現在の処置の実行中にステップ６に到達したとき、処置評価コンポーネント１１６が、ヘルスケア専門家がステップ６を誤って実行していると判断した場合、修正コンポーネント１２２は、ステップ６の誤った実行に関する情報を決定および／または生成することができる。さらに、修正コンポーネント１２２は、過去のステップ６の成功率が５０％であることを示し、かつ現在の誤りに基づいてステップ６についてのこのヘルスケア専門家の成功率がどの程度低下したかを示すフィードバック情報を、生成することができる。あるいは、処置評価コンポーネント１１６が、ヘルスケア専門家がステップ６を正しく実行したと判断した場合、賞賛コンポーネント１２４は、正しい実行およびヘルスケア専門家のステップ６の成功率の向上に関する情報を生成し、ヘルスケア専門家に提供することができる。
さらに、いくつかの実施形態においては、案内コンポーネント１２６を、処置の特定のステップをどのように実行するかに関する案内情報を、それらのステップについての過去パフォーマンス情報に基づいて自動的に生成および提供するように構成することができる。例えば、このヘルスケア専門家がステップ６を誤って実行することが多いことを示す過去パフォーマンス情報に基づき、ヘルスケア専門家が処置の最中にステップ６に到達すると、案内コンポーネント１２６は、ステップ６を正しく実行するやり方を説明する指針情報をヘルスケア専門家に生成／提供することができる。
フィードバックコンポーネント１２０がヘルスケア処置の実施に関連してヘルスケア専門家（または、他の個人／団体）にフィードバックを提供するやり方は、さまざまであってよい。しかしながら、種々の典型的な実施形態において、ＡＲ支援モジュール１１０は、ＡＲビジョン技術を使用してヘルスケア専門家にフィードバックコンポーネント１２０によって決定／生成されたフィードバックを提供することを容易にするＡＲコンポーネント１２８を含むことができる。これらの実施形態によれば、ＡＲコンポーネント１２８を、フィードバックコンポーネント１２０によって決定／生成されたフィードバック情報を含み、あるいは他のやり方で表すオーバーレイデータを生成するように構成することができる。例えば、オーバーレイデータは、ヘルスケア専門家の観点からのヘルスケア専門家の環境の視覚化を眺め、あるいはそのような視覚化を含むディスプレイ上に投影することができるテキスト、画像、ビデオ、シンボル、マーカ、アイコン、ハイパーリンク、または他の適切な視覚データオブジェクトを含むことができる。例えば、さまざまな実施形態において、ユーザ装置１０２は、処置の実行時にヘルスケア専門家が着用するＡＲ装置を含む。いくつかの実施形態において、ユーザ装置１０２のディスプレイ１０６は、透明ディスプレイを含むことができ、ヘルスケア専門家は、透明ディスプレイを通して環境を眺めることができる。別の例において、ディスプレイ１０６は、ヘルスケア専門家の環境の生のビデオまたは画像を提示することができる。ディスプレイの種類にかかわらず、オーバーレイデータを、ディスプレイにおいて環境のビュー上またはビュー内にレンダリングされるように構成することができる。
いくつかの実施形態においては、オーバーレイデータを、環境に含まれ、ディスプレイ上で視認またはディスプレイを通して視認される１つ以上のオブジェクトに、空間的に位置合わせすることができる。例えば、ヘルスケア専門家が切開部位を誤って準備している場合に、オーバーレイデータを、空間的に切開部位の上または付近にレンダリングすることができる。これらの実施形態によれば、ＡＲコンポーネント１２８は、フィードバック情報および／またはオーバーレイデータが基づく処置の特定の態様に基づいて、オーバーレイデータを空間的に位置合わせするオブジェクトを決定することができる。ＡＲコンポーネント１２８は、ユーザ装置１０２（または、オーバーレイデータが表示されるデバイス）に、オーバーレイ情報およびオーバーレイデータを空間的に位置合わせするためのオブジェクトを識別する情報をさらに提供することができる。ユーザ装置１０２を、それに応じてディスプレイに含まれるオブジェクトに対してオーバーレイデータをレンダリングするようにさらに構成することができる。
例えば、いくつかの実施形態において、フィードバックコンポーネント１２０によって生成されるフィードバック情報を、各々の処置についての１組の定められたフィードバック選択肢から決定または選択することができる。これらの実施形態によれば、各々のフィードバック選択肢に、オーバーレイ情報との関連付けのために１つ以上のオブジェクトを識別する情報（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、他の場所に含まれる）を関連付けることができる。したがって、ＡＲコンポーネント１２８は、フィードバック情報をオブジェクトに関連付ける以前に決定された情報に基づいて、オーバーレイデータを空間的に位置合わせするためのオブジェクトを決定することができる。別の実施形態において、ＡＲコンポーネント１２８は、オーバーレイデータが含み、あるいは表すフィードバック情報に関連付けられたキーワードまたは用語を識別することができる。例えば、フィードバック情報は、「切開部位が誤って準備されている」ことを示すことができる。これらの実施例において、キーワード「切開部位」の認識に基づいて、ＡＲコンポーネント１２８は、オーバーレイデータを関連付けるためのオブジェクトが切開部位であると決定することができる。この実施形態のいくつかの実施例において、ＡＲコンポーネント１２８は、フィードバックコンポーネント１２０によって決定または生成されるフィードバック情報に含まれる可能性がある以前に決定されたキー用語をオブジェクトに関連付けるインデックス情報（例えば、メモリ、１つ以上の外部情報ソース１３８、または別の装置に格納される）をさらに使用することができる。いくつかの実施形態においては、各々の処置に、その処置に関連するキー用語および関連オブジェクトを含むその処置に合わせたインデックスを関連付けることができる。いくつかの実施例において、インデックスは、オーバーレイデータによって表されるべきフィードバック情報に２つ以上のキー用語が含まれる場合にどのキー用語および／または関連オブジェクトを選択するかを示す階層情報をさらに含むことができる。例えば、フィードバック情報が「切開部位に対する医師の器具の位置が正しくない」ことを示す場合、ＡＲコンポーネント１２８は、用語「器具」および「切開部位」の両方を認識することができる。しかしながら、階層情報は、用語「器具」が用語「切開部位」よりも優先されることを示すことができ、ＡＲコンポーネント１２８は、オーバーレイデータを関連付けるためのオブジェクトとして器具よりも切開部位を選択することができる。
いくつかの実施形態においては、オーバーレイデータとの対話が可能であってよい。例えば、オーバーレイデータがビデオを含む実施形態において、ビデオをディスプレイ１０６による再生のために選択することができる。例えば、ビデオは、処置の特定の態様をどのように実行するかに関する視覚的な実演を含むことができる。この例によれば、ヘルスケア専門家は、自身による処置の実行を中断して、処置を続ける前に提示されたビデオを眺めることができる。オーバーレイデータがハイパーリンクを含む別の例において、ヘルスケア専門家は、ハイパーリンクを選択して、そのハイパーリンクに関連付けられた情報を取り出すことができる。
図２〜図４が、本明細書に記載の１つ以上の実施形態に従って臨床医によるヘルスケア処置の現在の実施に関して臨床医に提示される補助情報を含む典型的なＡＲ視覚化を示している。典型的なＡＲ視覚化の１つ以上の態様は、システム１００（および、本明細書に記載の追加のシステム）の特徴および機能を実証する。
図１および図２を参照すると、視覚化２００は、患者２０４について医療処置を実行する臨床医２０２を示している。臨床医２０２による医療処置の実行を容易にするために、臨床医は、透明ディスプレイ（例えば、ディスプレイ１０６）（図示せず）を含むＡＲ装置２０６を装着しており、臨床医２０２は、透明ディスプレイを通して自身の環境を明瞭に眺めることができる。さまざまな実施形態において、ＡＲ装置２０６は、ユーザ装置１０２であってよく、あるいはユーザ装置１０２を含むことができる。さらに、ＡＲ装置２０６は、臨床医２０２による処置の実行のリアルタイムでの監視、および臨床医２０２による処置の実行を案内または支援するオーバーレイデータの臨床医２０２への提供を容易にするために、ＡＲ支援モジュール１１０を含むことができ、あるいはＡＲ支援モジュール１１０に通信可能に接続されてよい。
図示の実施形態において、臨床医２０２は患者２０４へと供給されるＩＶ流体の濃度を制御するコンピューティングシステム２０８へのＩＶ情報の入力を含む医療処置のアクションを現時点において実行している。ＡＲ支援モジュール１１０によって受信されたフィードバックおよび患者のための適切なＩＶ濃度を示す患者情報に基づいて、ＡＲ支援モジュール１１０は、臨床医２０２が患者２０４について誤ったＩＶ濃度を入力したと判定している。１つ以上の実施形態において、フィードバックは、誤ったＩＶ濃度を入力している臨床医をキャプチャした画像データを含むことができる。例えば、画像データは、臨床医（例えば、カメラ１０４を有する）の視野に対応または実質的に対応する視野を有するＡＲ装置２０６上のカメラ（図示せず）によってキャプチャされた（例えば、ビデオおよび／または静止画像）を含むことができる。他の実施例においては、手術室内の他のカメラによって画像データをキャプチャすることができる。他の実施形態において、フィードバックは、臨床医によってコンピューティングシステム２０８へと入力された実際の濃度情報データを含むことができる。
検出された誤りの結果として、ＡＲ支援モジュール１１０は、誤ったＩＶ濃度に関するフィードバックを含むオーバーレイデータを生成している。オーバーレイデータは、ディスプレイを通して見ることができる処置環境の現在のビューに重ね合わせられて臨床医によって視認されるように、ＡＲ装置２０６のディスプレイ（図示せず）上にさらにレンダリングされる。例えば、視覚化２００によれば、この現在のビューは、少なくとも、臨床医が情報の入力を行っているコンピューティングシステム２０８のタッチスクリーンと、ＩＶバッグとを含んでいる。オーバーレイデータは、誤ったＩＶ濃度の入力というミスを知らせるテキストおよび警告シンボルを有する半透明ポップアップ表示ウインドウ２１０を含む。さらに、オーバーレイデータは、表示ウインドウ２１０を実際のＩＶバッグに接続する線を含み、これは、ＩＶバッグに注目を集める追加の着色データ２１２で強調表示されている。一態様において、着色データ２１２は、臨床医の注意がＩＶバッグに向けられるように明るい色（例えば、赤色、黄色）または点滅であってよい。１つ以上の実施態様においては、ミスが修正されるまでオーバーレイデータを臨床医のビュー内に残すことができ、ミスが修正された時点でオーバーレイデータを消すことができる。例えば、臨床医が正しいＩＶ濃度情報を入力したというＡＲ支援モジュール１１０による判定に基づいて、ＡＲ支援モジュール１１０は、ユーザ装置１０２に対してオーバーレイデータをディスプレイから削除するように指示するメッセージを、ユーザ装置１０２に提供することができる。
当然ながら、オーバーレイデータ（例えば、表示ウインドウ２１０および着色データ２１２）の外観および位置は、単なる例示であり、ＡＲ装置２０６を介して臨床医２０２によって実際に視認される内容の概念を伝えることを意図しているにすぎない。しかしながら、視覚化２００におけるオーバーレイデータの外観および位置は、オーバーレイデータの実際の位置が画像内の臨床医の位置に鑑みて見て取ることができないＡＲ装置２０６のガラス／ディスプレイ上にあると考えられるため、技術的に正確ではない。
図１および図３を参照すると、視覚化３００は、患者３０４について医療処置を実行している別の臨床医３０２を示している。臨床医３０２による医療処置の実行を容易にするために、臨床医は、透明ディスプレイ（例えば、ディスプレイ１０６）（図示せず）を含むＡＲ装置３０６を装着しており、臨床医３０２は、透明ディスプレイを通して自身の環境を明瞭に眺めることができる。さまざまな実施形態において、ＡＲ装置３０６は、ユーザ装置１０２であってよく、あるいはユーザ装置１０２を含むことができる。さらに、ＡＲ装置３０６は、臨床医３０２による処置の実行のリアルタイムでの監視、および臨床医３０２による処置の実行を案内または支援するオーバーレイデータの臨床医３０２への提供を容易にするために、ＡＲ支援モジュール１１０を含むことができ、あるいはＡＲ支援モジュール１１０に通信可能に接続されてよい。
図示の実施形態において、臨床医３０２は、現時点において患者３０４について手術中である。ＡＲ支援モジュール１１０によって受信されたフィードバック、および処置のこの段階において臨床医３０２にとってアクセス可能であるべき医療物資に関する情報に基づいて、ＡＲ支援モジュール１１０は、１２ゲージの針が物資テーブルに欠けていると判定している。１つ以上の実施形態において、フィードバックは、臨床医（例えば、カメラ１０４を有する）の視野に対応または実質的に対応する視野を有するＡＲ装置３０６上のカメラ（図示せず）によってキャプチャされた処置環境の画像データを含むことができる。他の実施例においては、手術室内の他のカメラによって画像データをキャプチャすることができる。検出された誤りの結果として、ＡＲ支援モジュール１１０は、１２ゲージの針の欠落に関するフィードバックを含むオーバーレイデータを生成している。オーバーレイデータは、ディスプレイを通して見ることができる処置環境の現在のビューに重ね合わせられて臨床医３０２によって視認されるように、ＡＲ装置３０６のディスプレイ（図示せず）上にさらにレンダリングされる。例えば、視覚化３００によれば、この現在のビューは、少なくとも患者の手術領域（例えば、患者の胃）、補佐の臨床医の一部分、および物資テーブルを含んでいる。オーバーレイデータは、１２ゲージの供給針がないことを知らせるテキストおよび警告シンボルを有する半透明ポップアップ表示ウインドウ３０８を含む。さらに、オーバーレイデータは、臨床医の注意を物資テーブルおよび欠けている針へと引き付けるために、表示ウインドウ３０８をテーブル上に重ね合わせられた１２ゲージの供給針のグラフィック画像３１０へと結ぶ線を含む。
当然ながら、オーバーレイデータ（例えば、表示ウインドウ３０８およびグラフィック画像３１０）の外観および位置は、単なる例示であり、ＡＲ装置３０６を介して臨床医３０２によって実際に視認される内容の概念を伝えることを意図しているにすぎない。しかしながら、視覚化３００におけるオーバーレイデータの外観および位置は、オーバーレイデータの実際の位置が画像内の臨床医の位置に鑑みて見て取ることができないＡＲ装置３０６のガラス／ディスプレイ上にあると考えられるため、技術的に正確ではない。
図１および図４を参照すると、視覚化４００は、患者４０４について医療処置を実行している別の臨床医４０２を示している。臨床医４０２による医療処置の実行を容易にするために、臨床医は、透明ディスプレイ（例えば、ディスプレイ１０６）を含むＡＲ装置４０６を装着しており、臨床医４０２は、透明ディスプレイを通して自身の環境を明瞭に眺めることができる。さまざまな実施形態において、ＡＲ装置４０６は、ユーザ装置１０２であってよく、あるいはユーザ装置１０２を含むことができる。さらに、ＡＲ装置４０６は、臨床医４０２による処置の実行のリアルタイムでの監視、および臨床医４０２による処置の実行を案内または支援するオーバーレイデータの臨床医４０２への提供を容易にするために、ＡＲ支援モジュール１１０を含むことができ、あるいはＡＲ支援モジュール１１０に通信可能に接続されてよい。
図示の実施形態において、臨床医４０２は、現時点において患者４０４について手術中である。ＡＲ支援モジュール１１０によって受信されたフィードバック、および医療処置の定められたステップに関する情報に基づいて、ＡＲ支援モジュール１１０は、臨床医が切開部位を適切に準備することなくカテーテル器具を挿入していると判断している。１つ以上の実施形態において、フィードバックは、臨床医（例えば、カメラ１０４を有する）の視野に対応または実質的に対応する視野を有するＡＲ装置４０６上のカメラ（図示せず）によってキャプチャされた処置環境の画像データを含むことができる。他の実施例においては、手術室内の他のカメラによって画像データをキャプチャすることができる。別の実施形態において、フィードバックは、臨床医４０２によって着用され、さらには／あるいはカテーテル器具に取り付けられた１つ以上の運動センサによってキャプチャされた運動データに基づくことができる。検出された誤りの結果として、ＡＲ支援モジュール１１０は、挿入ステップを実行する前の切開部位の準備が行われていないことについてのフィードバックを含むオーバーレイデータを生成している。オーバーレイデータは、ディスプレイを通して見ることができる処置環境の現在のビューに重ね合わせられて臨床医４０２によって視認されるように、ＡＲ装置４０６のディスプレイ（図示せず）上にさらにレンダリングされる。例えば、視覚化４００によれば、この現在のビューは、少なくとも患者４０４の手術領域を含む。オーバーレイデータは、挿入前の中断および切開部位の準備を臨床医に対して指示するテキストおよび警告シンボルを有する半透明ポップアップ表示ウインドウ４０８を含む。
やはり、当然ながら、オーバーレイデータ（例えば、表示ウインドウ４１０）の外観および位置は、単なる例示であり、ＡＲ装置４０６を介して臨床医４０２によって実際に視認される内容の概念を伝えることを意図しているにすぎない。しかしながら、視覚化４００におけるオーバーレイデータの外観および位置は、オーバーレイデータの実際の位置がＡＲ装置４０６のガラス／ディスプレイ上にあると考えられるため、技術的に正確ではない。
図５が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してリアルタイムでヘルスケア処置のパフォーマンスに関する補助情報を提供するための典型的な方法５００のフロー図を示している。さまざまな実施形態において、方法５００を、ユーザ装置１０２、サーバ装置１０８、および／または１つ以上の外部情報ソース１３８を使用してシステム１００などによって実行することができる。方法５００の一実施例においては、ヘルスケア環境で働いているユーザ（すなわち、ヘルスケア専門家）が、労働時間の最初から最後までＡＲ装置（例えば、ユーザ装置１０２）を着用する。例えば、ＡＲ装置は、ユーザが透明ディスプレイ（例えば、ディスプレイ１０６）を通して環境を視認することを可能にする眼鏡装置（例えば、ＨＵＤ、眼鏡、ゴーグル、など）を含むことができる。眼鏡装置は、ユーザの視点からユーザの環境のビデオおよび／または静止画像をキャプチャするカメラ（例えば、カメラ１０４）を含むことができる。他の実施例においては、１つ以上のカメラをユーザの環境全体のさまざまな場所に配置して、ユーザが労働時間において歩き回るときにユーザの画像データ（例えば、ビデオおよび／または静止画像）をキャプチャすることができる。
図１および図５を参照すると、５０２において、カメラがユーザの現在のビューをキャプチャする。例えば、カメラは、ユーザの視点からユーザの環境のビデオをキャプチャすることができる。システム１００によれば、ビデオデータを、ＡＲ支援モジュール１１０による処理のために、リアルタイム（例えば、キャプチャされたときにストリーミングされる）でＡＲ支援モジュール１１０に提供することができる。５０４において、ビデオデータが分析され、ユーザが処置を実行しているように見受けられるか否か、あるいは処置の実行を開始しているように見受けられるか否かが判断される（例えば、処置識別コンポーネント１１２によって）。処置識別コンポーネント１１２が、処置が開始されていないと判断した場合、ＡＲ支援モジュール１１０は、ユーザが処置を開始していると判断されるまで、新たなビデオデータの受信および分析を続けることができる。ユーザが処置を開始したという判断に基づいて、５０６において、ＡＲ支援モジュールは、処置について指針が設定されているか否かを判断する（例えば、処置評価コンポーネント１１６によって）。
いくつかの実施形態においては、処置について指針が設定されていない場合に、５０８において、ＡＲ支援モジュール１１０は（例えば、処置特徴付けコンポーネント１１４、処置評価コンポーネント１１６、および／または記録コンポーネント６０２によって）処置についての将来の指針の作成を容易にするために、実行されている処置を記録／監視することができる。例えば、処置特徴付けコンポーネント１１４および／または処置評価コンポーネント１１６は、処置について、実行されたさまざまなアクションまたはステップならびにそれらのアクションまたはステップの特徴に関する記述情報を決定することができる。処置について生成された記述情報を、処置のための指針を作成するための処置の評価を容易にするために（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または別の装置に）格納することができる。例えば、記述情報を、（ユーザおよび／または他のユーザによる）同じ処置の実行に関する追加の記述データと組み合わせることができる。組み合わされたデータを、１つ以上の機械学習または深層学習技術を使用して処理することで、処置の最適なステップおよびステップの特徴に関する指針を作成することができる。
処置について指針が設定されている場合、５１０において、ＡＲ支援モジュール１１０は、（例えば、処置評価コンポーネント１１６を使用して）ユーザのアクション（および、処置特徴付けコンポーネント１１４によって決定されるアクションの特徴）を指針と比較することができる。比較に基づいて、５１２において、ＡＲ支援モジュール１１０は、ユーザが指針から逸脱しているかどうかを判断することができる。ユーザが指針を逸脱していない場合、ＡＲ支援モジュールは、ユーザのパフォーマンスの監視を続けることができる。いくつかの実施例において、ＡＲ支援モジュールは、良好なパフォーマンスに関する賞賛情報をユーザに提供することもできる。しかしながら、ユーザが指針から逸脱している場合、５１６において、ＡＲ支援モジュール１１０は、逸脱に基づいてユーザに提供するためのフィードバックを決定することができ、５１８において、（例えば、ユーザ装置１０２において）ＡＲを使用してリアルタイムでユーザにフィードバックを提供することができる。他の実施例において、ユーザが指針から逸脱している場合、５１４において、ＡＲ支援モジュールは、リアルタイムでユーザの監督者に通知を行うことができる。そのような通知の生成および送信に関する詳細は、図７および通知コンポーネント７０２を参照して後述される。
図６が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする典型的なシステム６００のブロック図を示している。システム６００は、システム１００と同じまたは類似の特徴および機能を含み、記録コンポーネント６０２および最適化コンポーネント６０４がＡＲ支援モジュール１１０に追加されている。これまでの実施形態において説明したコンポーネントと同様のコンポーネントの同一または類似の機能の繰り返しの説明は、簡潔にするために省略する。
１つ以上の実施形態において、ＡＲ支援モジュール１１０は、経時的にＡＲ支援モジュール１１０によって受信および処理されたデータを記録およびコンパイルするための記録コンポーネント６０２を含むことができる。このコンパイルされたデータを、処置識別コンポーネント１１２、処置特徴付けコンポーネント１１４、および処置評価コンポーネント１１６によって行われる決定の正確さおよび品質の自動的な最適化または強化を容易にするために、１つ以上の機械学習技術および／または深層学習技術を使用して最適化コンポーネント６０４によって定期的に処理することができる。
例えば、ＡＲ支援モジュールがヘルスケア従事者によって行われる処置の監視および評価に使用されるたびに、記録コンポーネント６０２は、処置を評価するために使用された受信した入力に関する情報を（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または別の装置に）記録または格納することができる。この情報は、例えば、受信した視覚（例えば、画像および／またはビデオ）データ、受信した音声データ、受信した運動データ、受信したバイオメトリックデータ、機械が生成したデータ、などを含むことができる。記録コンポーネント６０２は、受信した入力に基づいて処置特徴付けコンポーネント１１４によって決定された記述情報をさらに記録することができる。この情報は、例えば、検出されたオブジェクトおよび人々に関する情報、人々およびオブジェクトの動きに関する情報、実行されている処置を識別する情報、（例えば、人々、オブジェクト、および運動、ならびに他の入力に基づいて決定される）実行されたアクションまたはステップに関する情報、処置のアクション／ステップの特徴に関する情報、などを含むことができる。記録コンポーネント６０２は、さまざまなヘルスケア専門家によって実行され、ＡＲ支援モジュールによって経時的に監視されるすべての処置について、そのような情報を記録することができる。このコンパイルされたデータならびに１つ以上の外部情報ソース１３８において利用可能なデータを使用して、最適化コンポーネント６０４は、１つ以上の機械学習および／または深層学習技術を実行して、実行中の処置の正確な特定に関して処置識別コンポーネント１１２によって行われる決定を改善することができる。さらに、このコンパイルされたデータならびに１つ以上の外部情報ソース１３８において利用可能なデータを使用して、最適化コンポーネント６０４は、１つ以上の機械学習および／または深層学習技術を実行して、実行中の処置の種々のアクションおよび特徴ならびに処置環境の正確な特徴付けに関して処置特徴付けコンポーネント１１４によって行われる決定を改善することができる。
同様に、評価された各々の処置について、記録コンポーネント６０２は、処置特徴付け識別コンポーネント１１４および処置特徴付けコンポーネントによって決定および／または生成されたデータに基づいて処置評価コンポーネント１１６によって行われるさまざまな評価に関する情報を（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または別の装置に）記録または格納することができる。例えば、記録コンポーネント６０２は、ユーザによる処置の実行が処置について定められた指針／手順から逸脱しているかどうか、およびどのように逸脱しているかに関する情報を記録することができる。さらに、記録コンポーネント６０２は、処置環境の態様が処置について定められた指針／手順に一致しているか否か、およびどのように一致していないかに関する情報を記録することもできる。記録コンポーネント６０２は、さまざまなヘルスケア専門家によって実行され、ＡＲ支援モジュール１１０によって経時的に監視されるすべての処置について、そのような情報を記録することができる。このコンパイルされたデータならびに１つ以上の外部情報ソース１３８において利用可能なデータを使用して、最適化コンポーネント６０４は、１つ以上の機械学習および／または深層学習技術を実行して、ユーザによる処置の実行および／または処置の環境が実行中の処置についての指針／手順から逸脱していないかどうか、およびどのように逸脱しているかの正確な判断に関して処置評価コンポーネント１１６によって行われる決定を改善することができる。いくつかの実施形態においては、コンパイルされたデータならびに監視された処置に関する患者および金銭的結果に関する情報に基づき、機械学習および／または深層学習技術を使用して、最適化コンポーネント６０４は、それぞれの処置について定められた指針／手順を修正することができる。
本明細書に記載の多数の推論をもたらし、あるいはそのような推論に役立つように、最適化コンポーネント６０４は、アクセスが許可されているデータの全体または一部分を調べ、イベントおよび／またはデータを介してキャプチャされた観測一式からシステム（例えば、システム６００など）、環境、などの状態についての推理をもたらし、あるいはそのような状態を推論することができる。推論は、特定のコンテクストまたはアクションを識別するために使用されてよく、あるいは例えば状態についての確率分布を生成することができる。推論は、確率的であってよい（例えば、対象の状態についての確率分布の計算は、データおよびイベントの考慮に基づくことができる）。推論は、１組のイベントおよび／またはデータからより高いレベルのイベントを構成するために使用される技術を指すこともできる。
そのような推論は、イベントが密接な時間的近接にて相関しているかどうか、ならびにイベントおよびデータが１つのイベントおよびデータソースから由来するか、あるいはいくつかのイベントおよびデータソースから由来するかにかかわらず、１組の観測されたイベントおよび／または格納されたイベントデータからの新しいイベントまたはアクションの構築をもたらすことができる。請求される主題に関する自動および／または推論によるアクションの実行に関して、さまざまな分類（明示的および／または暗黙的に訓練される）の仕組みおよび／またはシステム（例えば、サポートベクターマシン、ニューラルネットワーク、エキスパートシステム、ベイズ信念ネットワーク、ファジー論理、データ融合エンジン、など）を採用することができる。
分類器は、入力属性ベクトルｘ＝（ｘ１、ｘ２、ｘ３、ｘ４、ｘｎ）を、ｆ（ｘ）＝ｃｏｎｆｉｄｅｎｃｅ（ｃｌａｓｓ）などにより、入力が或るクラスに属するという信頼度にマッピングすることができる。そのような分類は、ユーザが自動的に実行されることを望むアクションを予知または推論するために、確率論的分析および／または統計ベースの分析（例えば、ユーティリティおよびコストを分析に考慮する）を使用することができる。サポートベクターマシン（ＳＶＭ）が、採用可能な分類器の一例である。ＳＶＭは、可能性のある入力の空間内で超曲面を見つけることによって動作し、ここで超曲面は、トリガ基準を非トリガイベントから分割しようと企てる。直感的に、これは、訓練データに近いが同一ではないテストデータについて、分類を正しくする。他の有向および無向モデル分類手法として、例えば、ナイーブベイズ、ベイジアンネットワーク、決定木、ニューラルネットワーク、ファジー論理モデル、および異なる独立パターンをもたらす確率的分類モデルを用いることができる。本明細書において使用される分類は、優先モデルを開発するために利用される統計的回帰を含む。
図７が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする別の典型的なシステムのブロック図を示している。システム７００は、システム６００と同じまたは類似の特徴および機能を含み、通知コンポーネント７０２、音声フィードバックコンポーネント７０４、およびライブ遠隔支援コンポーネント７０６がＡＲ支援モジュール１１０に追加されている。これまでの実施形態において説明したコンポーネントと同様のコンポーネントの同一または類似の機能の繰り返しの説明は、簡潔にするために省略する。
さまざまな実施形態においては、ＡＲ視覚化を使用して処置の実行または処置の環境に関するフィードバックをユーザへと提供する他に、ＡＲ支援モジュール１１０を、処置の最中に通知、音声フィードバック、および／またはライブ遠隔支援を生成および提供するように構成することも可能である。例えば、通知コンポーネント７０２を、処置について定められた指針／手順から逸脱する実行中の処置の態様に関する通知をリアルタイムで生成するように構成することができる。そのような通知を、処置を実行しているユーザ以外のエンティティに提供することができる。例えば、ヘルスケア専門家によって実行されている処置の態様が、その処置について定められた指針／手順から逸脱しているという（例えば、処置評価コンポーネント１１６による）判定に基づいて、通知コンポーネント７０２を、逸脱に関する通知を生成してヘルスケア専門家の監督者または他の適切なエンティティへと送信するように構成することができる。例えば、通知を、電子メッセージ、電話、などの形態で監督者の装置へと送信することができる。
いくつかの実施形態において、通知コンポーネント７０２が通知を送信するエンティティ（および、関連する装置）は、通知の種類または通知の理由に基づくことができる。これらの実施形態によれば、通知コンポーネント７０２は、通知の根拠である逸脱に基づいて通知の種類を決定することができる。例えば、通知が、物資または機器の不足または不良に関係する場合、通知コンポーネント７０２を、通知を特定の保守担当者に送信するように構成することができる。他の実施例においては、特定の生じ得る誤りを、さまざまな重大度分類に関連付けることができる。この実施例によれば、処置の特定の態様が手順から逸脱しているという判定に基づいて、通知コンポーネント７０２は、現在の誤りについての分類を示す情報（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または他の装置に格納）にアクセスすることができる。例えば、誤りが特定の処置のステップ２の誤った実行である場合、通知コンポーネント７０２は、この特定の処置のステップ２の誤った実行についての重大度分類を示す情報にアクセスすることができる。重大度分類に基づいて、通知コンポーネント７０２を、その重大度分類を有する通知を管理するように指示された所定のエンティティへと通知を送信するように構成することができる。別の態様において、通知コンポーネント７０２は、通知内の誤りの重大度を示す情報を含むことができる。通知の種類も、重大度分類に基づいて変えることができる（例えば、コードブルーの通知が中程度の重大度を示すことができ、コードレッドの通知が高い重大度を示す）。
いくつかの実施例においては、通知コンポーネント７０２を、所定のしきい値レベルを超える重大度分類を有する特定の種類の誤りのみについて通知を送信するように構成することができる。さらに別の実施例においては、通知コンポーネント７０２を、ヘルスケア専門家による処置の実行の最中に検出された誤りまたは逸脱に関する回数、頻度、および／または重大度レベルを監視するように構成することができる。通知コンポーネント７０２を、しきい値レベルを超える誤り／逸脱の回数、頻度、および／またはコンパイルされた重大度レベルに基づいて、定められたエンティティ（例えば、監督者）へと通知を生成および送信するようにさらに構成することができる。例えば、特定の処置を、重大度分類として、高リスク、中リスク、および低リスクに分類することができる。重大度が高いほど、処置が正しく行われなかった場合に患者の健康またはヘルスケア機関に生じる損害が大きくなる可能性がある。例えば、受付での患者のチェックインは低リスクの処置であり、心臓手術の実行は高リスクの処置であり得る。
音声フィードバックコンポーネント７０４を、フィードバックコンポーネント１２０によって決定および／または生成されたフィードバックを（ＡＲ形式に加え、あるいはＡＲ形式に代えて）音声形式で処置を実行しているヘルスケア専門家へと提供するように構成することができる。実施形態によれば、ヘルスケア専門家は、スピーカ（例えば、ユーザ装置１０２に含まれる）を装着することができ、あるいは他のやり方でスピーカの可聴範囲内に位置することができ、そのようなスピーカを介して音声フィードバックコンポーネント７０４は再生のために音声フィードバックを送信することができる。いくつかの実施例において、音声フィードバックコンポーネント７０４は、誤りが検出されたときにそれを示すために定められた音（例えば、警報音）をヘルスケア専門家に提供することができる。同様に、音声フィードバックコンポーネント７０４は、ヘルスケア専門家が処置の態様を正しく実行した場合に、ヘルスケア専門家に別のデバイスサウンドを提供することもできる。他の実施例において、音声フィードバックコンポーネント７０４は、スピーチとしてヘルスケア専門家へと再生するために、フィードバックコンポーネント１２０によって生成されたフィードバックの口述レンダリングを生成することができる。例えば、ヘルスケア専門家が処置のステップ２を誤って実行した場合、音声フィードバックコンポーネント７０４は、ステップ２が誤って実行されたと述べる口頭指示を生成し、ヘルスケア専門家へと提示することができる。さらに、口頭指示は、誤って実行されたステップ２の態様を説明することができ、どのようにその誤りを訂正するかに関する指示をさらに提供することができる。したがって、処置の実行の最中に、ヘルスケア専門家は、フィードバックを聞き、リアルタイムで相応に応答することができる。
ライブ遠隔支援コンポーネント７０６を、ヘルスケア専門家への処置の最中のライブ遠隔支援の提供を、そのような支援が必要とされ、あるいは要求されたときに行うように構成することができる。例えば、いくつかの実施形態において、高い重大度レベル（例えば、予め定められた重大度分類システムに基づく）に関連付けられた特定の誤り、特定の量、頻度、重大度を上回る誤り、などの検出に基づき、ライブ遠隔支援コンポーネント７０６を、ヘルスケア専門家を遠隔地にいる他の者に自動的に接続して、ヘルスケア専門家の指導を容易にするように構成することができる。他の実施形態において、ヘルスケア医師は、オンデマンドでライブ遠隔支援機能を開始および要求することができる。接続を使用して、ヘルスケア専門家および遠方の支援エンティティは、音声ならびに／あるいは音声ビデオメディアセッションを介して通信することができる。ライブ遠隔支援エンティティは、処置の最中のライブ支援をヘルスケア専門家にさらに提供することができる。いくつかの実施例においては、遠隔支援エンティティに、ヘルスケア専門家の支援を容易にするために、処置および／または処置環境の生の視覚的フィード（例えば、処置環境内のカメラ１０４または別のカメラによるキャプチャ）を提供することができる。例えば、いくつかの実施例において、ユーザ装置１０２は、音声および／またはビデオ機能を備えた電話機または電話アプリケーションを含むことができる。この例によれば、ライブ遠隔支援コンポーネント７０６は、ヘルスケア専門家を遠隔支援エンティティに接続するユーザの電話機または電話アプリケーションを自動的に呼び出すことができる。別の典型的な実施例においては、通話またはライブメディアセッションを、遠隔支援エンティティとヘルスケア専門家にとって視認および／または聞き取り可能な処置環境内の他の装置との間に確立させることができる。
図８が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してリアルタイムでのヘルスケア処置およびシステムパフォーマンスに関する補助情報の提供を容易にする典型的なユーザ装置（例えば、ユーザ装置１０２）のブロック図を示している。それぞれの実施形態において使用される類似の実施形態の繰り返しの説明は、説明を簡潔にするために省略される。
ユーザ装置１０２は、１つ以上の入力装置８０２と、通信コンポーネント８１０と、レンダリングコンポーネント８１２と、ディスプレイ１０６とを含むことができる。さらに、ユーザ装置１０２は、コンピュータ実行可能コンポーネント（例えば、レンダリングコンポーネント８１２）を格納する少なくとも１つのメモリ８１８を含むことができ、あるいは他のやり方でそのようなメモリに関連付けられてよい。さらに、ユーザ装置１０２は、メモリ８１８に格納されたコンピュータ実行可能コンポーネントを実行する少なくとも１つのプロセッサ８１６を含むことができ、あるいは他のやり方でそのようなプロセッサに関連付けられてよい。ユーザ装置８００は、これらに限られるわけではないが１つ以上の入力装置８０２、通信コンポーネント８１０、レンダリングコンポーネント８１２、ディスプレイ１０６、プロセッサ８１６、およびメモリ８１８などの種々のコンポーネントを接続することができるデバイスバス８１４をさらに含むことができる。
１つ以上の実施形態において、ユーザ装置１０２は、ヘルスケア専門家によるヘルスケア処置の実施および／またはヘルスケア環境に関するフィードバックをキャプチャすることができる。さらに、ユーザ装置１０２は、処置の実施および／または環境の評価に関連するリアルタイムでの処理のために、このフィードバックをＡＲ支援モジュール１１０に提供することができる。例えば、１つ以上の入力装置８０２は、すでに述べたカメラ１０４を含むことができる。また、１つ以上の入力装置８０２は、これらに限られるわけではないが音声キャプチャ装置８０４、１つ以上の運動センサ８０６、および／または１つ以上のバイオメトリックセンサを含むことができる。音声キャプチャ装置８０４は、処置を実行中のヘルスケア専門家、患者、および／または処置に係わる１名以上の他のヘルスケア専門家が話すスピーチなど、処置の最中に音声を受け取って記録することができるマイクロフォンまたは別の種類の音声キャプチャ装置を含むことができる。さらに、いくつかの実施例において、音声キャプチャ装置８０４は、キャプチャされた音声を処理し、検出されたスピーチをＡＲ支援モジュール１１０へと提供するためのテキストに変換することができる。１つ以上の運動センサ８０６は、例えば、ユーザによって着用、保持、または他のやり方で操作されたときのユーザ装置１０２の運動を検出することができる加速度計および／またはジャイロスコープを含むことができる。１つ以上のバイオメトリックセンサ８０８は、これらに限られるわけではないが心拍数、呼吸数、ユーザのストレスホルモンレベル、などの処置の実行時のユーザのバイオメトリック情報を検出するバイオメトリックセンサを含むことができる。いくつかの実施例において、運動センサ８０６および／またはバイオメトリックセンサ８０８のうちの１つ以上は、ユーザ装置１０２（例えば、ユーザによって着用されている、ユーザに埋め込まれている、など）の外部にあり、ユーザ装置１０２に通信可能に接続されてよい。
通信コンポーネント８１０は、ユーザ装置１０２とサーバ装置１０８、１つ以上の外部情報ソース１３８、および／または他の適切な外部装置（図示せず）との間の有線および／または無線通信を容易にすることができる。例えば、通信コンポーネント８１０は、ＡＲ支援モジュールから（例えば、ＡＲコンポーネント１２８、通知コンポーネント７０２、音声フィードバックコンポーネント７０４、および／またはライブ遠隔支援コンポーネント７０６を介して）処置の実行または処置の環境に関するリアルタイムのフィードバック情報を受信することができる。通信コンポーネント８１０は、本明細書に記載の情報のさまざまな種類の無線情報通信を容易にするハードウェア（例えば、中央処理装置（ＣＰＵ）、トランシーバ、デコーダ）、ソフトウェア（例えば、スレッドの組、プロセスの組、実行中のソフトウェア）、またはハードウェアとソフトウェアとの組み合わせであってよく、あるいはこれらを含むことができる。
レンダリングコンポーネント８１２を、ＡＲ支援モジュール１１０から受信したフィードバックをリアルタイムでレンダリングするように構成することができる。例えば、補助情報が音声を含む実施形態において、レンダリングコンポーネント８１２は、ユーザ装置のスピーカ（例えば、図示せず）によるユーザ装置１０２における音声の再生を生じさせることができる。別の例においては、フィードバックがＡＲコンポーネント１２８によって提供される視覚的オーバーレイデータ（例えば、テキスト、シンボル、アイコン、画像、ビデオ、ハイパーリンク、など）を含む実施形態において、レンダリングコンポーネント８１２は、ユーザ装置１０２のディスプレイ１０６によって表示することができるグラフィカルユーザインタフェースを生成することができる。グラフィカルユーザインタフェースは、ユーザの環境のビュー上に重ねられたオーバーレイデータを含むことができる。いくつかの実施例において、ビューは、透明ディスプレイ（例えば、眼鏡、ゴーグル、コンタクトレンズ、など）を通して眺めた環境の実際の直接のビューを含む。他の実施例において、ビューは、環境に対するユーザの現在の視点からレンダリングされた環境の生のビデオ／画像データまたは録画のビデオ／画像データを含むことができる。別の典型的な実施例において、ビューは、環境に対するユーザの現在の視点からレンダリングされた環境の２Ｄまたは３Ｄモデルを含むことができる。
グラフィカルユーザインタフェースにおけるオーバーレイデータのレンダリングのやり方は、さまざまであってよい。例えば、図２〜図４に例示されるように、オーバーレイデータを、半透明のポップアップ表示ウインドウまたはフレームに含まれるテキストおよび／または記号として表示することができる。いくつかの実施例において、オーバーレイデータは、ディスプレイを介してユーザによって眺められる特定のオブジェクトを（例えば、区別できる色で）強調し、あるいは他のやり方でそのようなオブジェクトに注意を引き付ける視覚データを含むことができる。例えば、図２に例示されるように、オーバーレイデータは、ＩＶ流体バッグの外観を強調する色データを含むことができる。いくつかの実施形態においては、オーバーレイデータを選択することができ、あるいは他のやり方でオーバーレイデータと対話することができる（例えば、オーバーレイデータに表されたハイパーリンクを辿る、オーバーレイデータに表されたビデオを再生する、など）。
１つ以上の実施形態において、レンダリングコンポーネント８１２は、ディスプレイ１０６を通して視認され、あるいはディスプレイ１０６上で視認されるユーザの環境のビュー（例えば、現実の直接的なビューあるいは画像／ビデオデータまたはモデルデータからなる間接的なビュー）に含まれる１つ以上の定められたオブジェクトと空間的に整列するようにオーバーレイデータをレンダリングすることができる。これらの実施形態によれば、オーバーレイデータを空間的に位置合わせするための１つ以上のオブジェクトは、ＡＲコンポーネント１２８によって決定され、（例えばメタデータとして）オーバーレイデータとともにレンダリングコンポーネント８１２に提供されてよい。例えば、ＡＲコンポーネント１２８は、オーバーレイデータと、オーバーレイデータを「切開部位」などの特定のオブジェクトと整列させるべきであることを示す情報とを、レンダリングコンポーネント８１２に提供することができる。オブジェクトを識別する情報に基づいて、いくつかの実施例においては、画像分析技術を使用して、レンダリングコンポーネント８１２は、環境に対するユーザの現在の視点に対応する環境の画像データ内の切開部位を識別することができる。例えば、画像データは、環境に対するユーザの現在の視点から見たときの環境の静止画像、環境の生のビデオデータ、または環境のモデルデータを含むことができる。レンダリングコンポーネント８１２は、さらに、ユーザに対するオブジェクトの相対（３Ｄ）位置など、ユーザに対する画像データ内のオブジェクトの相対空間位置を（例えば、オブジェクトに関連付けられた奥行き情報およびユーザの既知の位置／向きに基づいて）決定することができる。他の実施形態において、レンダリングコンポーネント８１２は、対応する画像データ内のユーザに対するオブジェクトの相対空間位置を識別する情報を処置特徴付けコンポーネント１１４から受け取ることができる。さらに、レンダリングコンポーネント８１２は、画像データ内のオブジェクトの相対空間位置およびオブジェクトに対するユーザの現在の視点に基づいて、オブジェクト上またはオブジェクトの付近に空間的に位置合わせされて現れるように、オーバーレイデータをディスプレイ１０６上にレンダリングすることができる。
図９が、本明細書において説明される１つ以上の別の実施形態によるＡＲを使用してリアルタイムでのヘルスケア処置およびシステムパフォーマンスに関する補助情報の提供を容易にする別の典型的なユーザ装置（例えば、ユーザ装置１０２）のブロック図を示している。とくに、図示の実施形態において、ユーザ装置１０２は、ＡＲ支援モジュール１１０を含む。さらに、ユーザ装置１０２はまた、メモリ８１８内の処置指針／手順情報１３２を含む。この実施形態によれば、ユーザ装置１０２は、サーバ装置１０８と通信することなくＡＲ支援モジュール１１０によって提供されるさまざまな処理機能を実行することができる。さらに、ユーザ装置１０２は、必要に応じて情報にアクセスするために１つ以上の外部情報ソース１３８と通信することができる。それぞれの実施形態において使用される類似の実施形態の繰り返しの説明は、説明を簡潔にするために省略される。
ここで図１０を参照すると、本明細書において説明される１つ以上の実施形態によるＡＲを使用してリアルタイムでのヘルスケアシステムのパフォーマンスに関する補助情報の提供を容易にする典型的なシステム１０００のブロック図が示されている。システム１０００は、システム１００、６００、および７００と同じまたは類似の特徴および機能を含むことができる。しかしながら、システム１０００は、ユーザによって現時点において眺められているヘルスケア施設の物理的要素の利用およびパフォーマンスに関し、リアルタイムでのユーザ補助情報の提供に関連するＡＲ支援モジュール１１０の追加の機能および／または代替の機能を容易にするいくつかの追加のコンポーネントをＡＲ支援モジュール１１０に追加する。これらの追加のコンポーネントは、環境認識コンポーネント１００２および関連の環境特徴付けコンポーネント１００４、環境評価コンポーネント１００６および関連の機器／物資評価コンポーネント１００８、選択コンポーネント１０１６、ならびに仮想現実（ＶＲ）コンポーネント１０１８を含む。さらに、これらの追加のコンポーネントは、記述フィードバックコンポーネント１０１０、利用フィードバックコンポーネント１０１２、およびパフォーマンスフィードバックコンポーネント１０１４など、フィードバックコンポーネント１２０のいくつかの新しいサブコンポーネントも含む。同様のコンポーネントの同一または類似の機能の繰り返しの説明は、簡潔にするために省略する。
ＡＲ支援モジュール１１０を、ヘルスケア専門家の職務の実行の手助けに関する種々のＡＲ式サービスを実行するように構成することができる。システム１００、６００、および７００を参照して説明したように、さまざまな実施形態においては、ＡＲ支援モジュール１１０を、実行中の処置の現在の態様に関連するリアルタイムで決定される補助情報をヘルスケア専門家に提供することによって、定められたヘルスケア処置を実行するときのヘルスケア専門家を支援するように構成することができる。
種々の追加の実施形態においては、システム１０００（ならびに、上述の追加のシステム１３００および１６００）に例示されるように、ＡＲ支援モジュール１１０を、ヘルスケア専門家が眺めており、あるいは他のやり方で調べている組織のヘルスケア施設の現在の物理的領域に関連する補助情報をヘルスケア管理者に提供することによって、ヘルスケア組織のパフォーマンスの状態の種々の態様の理解および評価においてヘルスケア管理者（または、ヘルスケア組織の他の種類の従業員）を支援するように構成することができる。例えば、ヘルスケア組織として、これらに限られるわけではないが、病院ネットワーク、病院、養護ホーム、介護施設、理学療法施設、薬局、診療所、医療撮像施設、実験室、などを挙げることができる。ヘルスケア施設のさまざまな領域は、ヘルスケア施設の種類に基づいてさまざまである。例えば、病院に関して、種々の領域は、異なる医療サービス（例えば、救急、外科、小児科、内科、婦人科、看護、実験室、撮像、など）を提供する病院の異なる部門または部署、ならびにそれぞれの部門または部署の異なる部屋／領域（例えば、患者待合室、患者検査室、事務室、補給室、など）に関連付けられてよい。
１つ以上の実施形態においては、環境認識コンポーネント１００２を、ユーザが現時点において眺めており、あるいは眺めようとしているヘルスケア施設の領域または環境を決定するように構成することができ、環境特徴付けコンポーネント１００４を、環境または領域のさまざまな態様を特徴付けるように構成することができる。これに関して、環境特徴付けコンポーネント１００４を、その領域に含まれる物理的オブジェクト（例えば、機器、物資、調度品、人、など）を識別するように構成することができる。さらに、環境特徴付けコンポーネント１００４を、ユーザの現在の視点に基づいて、オブジェクトの互いの相対的な２Ｄおよび／または３Ｄ空間位置ならびに領域を眺めているユーザに対する相対的な２Ｄおよび／または３Ｄ空間位置を決定するように構成することができる。
いくつかの実施形態において、環境認識コンポーネント１００２は、領域／環境についてキャプチャされて受信された画像データ（例えば、ビデオおよび／または静止画像）に基づいて、領域／環境を決定することができる。例えば、一実施例において、ユーザは、ヘルスケア施設の各所を移動する際にユーザ装置１０２を着用または保持し、ユーザの視点からカメラ１０４によってヘルスケア施設の画像データ（例えば、ビデオおよび／または静止画像）をキャプチャすることができる。さらに、ユーザ装置１０２は、画像データをリアルタイムでの処理のためにＡＲ支援モジュール１１０に提供することができる。この実施例によれば、１つ以上の画像解析技術を使用して、環境特徴付けコンポーネント１００４は、ユーザによって視認されている現在の領域または環境の１つ以上のオブジェクトおよび特徴を識別することができる。例えば、環境特徴付けコンポーネント１００４は、パターン認識技術または他の画像解析技術を使用して画像データに含まれるオブジェクト（例えば、機器、物資、調度品、人）を識別することができる。さらに、環境特徴付けコンポーネント１００４を、ユーザの現在の視点に基づいて、オブジェクトの互いの相対的な２Ｄおよび／または３Ｄ空間位置ならびに領域を眺めているユーザに対する相対的な２Ｄおよび／または３Ｄ空間位置を決定するように構成することができる。例えば、いくつかの実施例において、画像データに、画像データに含まれるそれぞれのオブジェクト（すなわち、それぞれのオブジェクトを形成する識別されたピクセルのグループ）についての深度または距離情報を関連付けることができる。この深度情報を、画像データをキャプチャするカメラによってキャプチャすることができ、さらには／あるいは部分的に重なり合う画像の立体分析を使用して決定することができる。環境特徴付けコンポーネント１００４は、深度または距離情報に基づいてオブジェクトの空間位置をさらに決定することができる。いくつかの実施例において、環境認識コンポーネント１００２は、（例えば、オブジェクトの相対位置およびオブジェクトの種類に関する）画像データ内の１つ以上のオブジェクトおよび／またはパターンをヘルスケア施設内の定められた物理的場所または位置（例えば、カメラ位置／視点）に関連付けるインデックス付き情報（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または別の装置に格納）にさらにアクセスすることができる。次いで、環境認識コンポーネント１００２は、検出されたオブジェクトおよび／または検出されたオブジェクト内のパターンとインデックス付き情報との比較に基づいて、眺められている環境の領域の場所および／または現在の位置／視点を決定することができる。
別の実施形態において、環境認識コンポーネント１００２は、ユーザがヘルスケア施設を動き回るときにユーザの画像データ（例えば、ビデオおよび／または静止画像）を受け取ることができる。例えば、画像データを、ヘルスケア施設の全体のさまざまな場所に配置されたカメラによってキャプチャし、処理のためにリアルタイムでＡＲ支援モジュール１１０に提供することができる。この実施例によれば、１つ以上の画像解析技術を使用して、環境特徴付けコンポーネント１００４は、ユーザを識別し、ユーザが環境のあちこちを移動するときにユーザを追跡することができる。画像に基づく１つ以上の分析技術を使用して、環境特徴付けコンポーネント１００４は、ユーザがヘルスケア施設のあちこちを移動するときにユーザによって視認されている現在の領域または環境に含まれるオブジェクトをさらに識別することができる。例えば、環境特徴付けコンポーネント１００４は、オブジェクト（例えば、機器、物資、調度品、人）、ならびに割り出されたユーザの視野の範囲内に現れる画像データ内のオブジェクトの相対位置を識別することができる。いくつかの実施例において、環境認識コンポーネント１００２は、画像データ内の１つ以上のオブジェクトおよび／またはパターンをヘルスケア施設内の定められた物理的場所または位置（例えば、カメラ位置／視点）に関連付けるインデックス付き情報（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または別の装置に格納）にさらにアクセスすることができる。次いで、環境認識コンポーネント１００２は、検出されたオブジェクトおよび／または検出されたオブジェクト内のパターンとインデックス付き情報との比較に基づいて、眺められている環境の領域の場所および／または現在の位置／視点を決定することができる。
ユーザがヘルスケア施設のあちこちを移動するときに、ヘルスケア施設内のさまざまな領域および関連するオブジェクトに対するユーザの現在位置を決定するために、さまざまな追加の技術を使用することができる。例えば、ユーザが施設のあちこちを移動するときにユーザ装置１０２を着用または保持する実施形態においては、ユーザ装置１０２を、さまざまな位置に基づく検出方法（例えば、ＧＰＳ、三角測量、ビーコン、施設の定められた位置情報および／または視点に関連付けられたＲＦＩＤタグの検出）を用いてユーザの現在位置を決定するように構成することができる。別の例において、コンテクストコンポーネント１１８は、ユーザについてキャプチャされ、さらには／あるいはユーザの視点から（例えば、ユーザがユーザ装置を着用または保持する実施例においてカメラ１０４によって）キャプチャされた画像データに基づき、ユーザの動きを評価することによって、ユーザの位置を判断することができる。同様に、いくつかの実施例において、ユーザ装置は、ユーザがヘルスケア施設のあちこちを移動し、さらには／あるいは（例えば、ユーザ装置１０２が眼鏡装置を含む場合に）ユーザ装置でさまざまな方向／向きを見つめるときに運動データを生成するように構成された１つ以上の運動センサを含むことができる。コンテクストコンポーネント１１８および／またはユーザ装置は、（例えば、動きおよび向きの情報を含む）運動データに基づいてユーザの現在の位置および／または視点を決定するために、運動データをリアルタイムでさらに評価することができる。
いくつかの実施例において、ヘルスケア施設の領域／環境に対するユーザの現在の位置および／または視点の決定（例えば、ＧＰＳデータ、三角測量、ＲＦＩＤタグ、運動情報、などを使用して決定される）に基づき、環境特徴付けコンポーネント１００４は、既知のオブジェクトを現在の位置／視点と関連付けるインデックス付き情報を使用して、ユーザの現在の位置および視点に関連付けられたオブジェクトを決定することができる。さらに他の実施形態においては、ユーザ装置１０２を、カメラ１０４によってキャプチャされた画像データおよびユーザの既知の位置／向きに基づいて、ユーザの視線内および／または現在の視野内のオブジェクトを識別するように構成することができる。さらに、ユーザ装置１０２は、ユーザの現在の位置／向きに基づいて、オブジェクトおよびユーザに対するオブジェクトの相対位置を識別するオブジェクト情報をＡＲ支援モジュール１１０に提供することができる。
別の実施例において、ユーザは、自身が眺めたいと望むヘルスケア施設の領域または環境に対して、異なる場所に位置することができる。例えば、離れた場所に位置する装置（例えば、ユーザ装置１０２）を使用して、ユーザは、ヘルスケア施設の選択された領域の画像データ（例えば、ビデオおよび／または静止画像データ）にアクセスし、これらを眺めることができる。例えば、ユーザは、自身が眺めたいと考えるヘルスケア施設の領域を示す入力（例えば、手術室Ｂのビューを要求する入力など）を提供することができる。ヘルスケア施設の所望の領域および／またはビューを示すユーザ入力の受信に基づいて、ユーザ装置１０２を、（例えば、レンダリングコンポーネント８１２によって）所望の領域の画像データをレンダリングするように構成することができる。画像データは、選択された領域のキャプチャ中の生のビデオデータ、選択された領域についてキャプチャされた静止画像データ、または選択された領域の再生表現またはモデルを含むモデルデータ（例えば、２Ｄ／３Ｄモデルデータ）を含むことができる。この実施例において、環境の特定の領域および／またはビューは、ユーザによって行われた入力選択に基づいて環境認識コンポーネント１００２に知られることになる。或る１つ以上の実施形態において、環境特徴付けコンポーネント１００４は、画像解析を使用して、ユーザへとレンダリングされる画像データ内のオブジェクトおよびオブジェクトの相対位置を識別することができる。例えば、選択された位置の生のビデオデータがユーザへとレンダリングされる実施例において、環境特徴付けコンポーネント１００４は、画像データを分析して、画像データ内のオブジェクトおよびオブジェクトの相対位置を識別することができる。他の実施形態において、環境特徴付けコンポーネント１００４は、既知のオブジェクトをヘルスケア施設内のそれぞれの領域に関連付けるインデックス付き情報（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または別の装置に位置する）にアクセスすることができる。選択された領域に基づいて、環境特徴付けコンポーネント１００４は、選択された領域に含まれるオブジェクトを識別するためにインデックス付き情報を使用することができる。いくつかの実施例において、環境特徴付けコンポーネント１００４は、このインデックス付き情報を使用して、１つ以上の画像ベースの分析技術を使用するレンダリング画像データに含まれるオブジェクトの識別を支援することができる。
環境評価コンポーネント１００６を、現在のエリアを識別する環境認識コンポーネント１００２によって決定、生成、および／または受信された情報、ならびに／あるいはユーザの現在のビューに含まれるオブジェクトおよびオブジェクトの相対位置を識別する環境特徴付けコンポーネント１００４によって決定、生成、および／または受信された情報に基づいて、ユーザによって眺められる（または、眺められるように選択された）ヘルスケア施設の現在の領域を評価するように構成することができる。環境評価コンポーネント１００６を、その領域およびその領域のビューに含まれる１つ以上のオブジェクトに関連するさまざまな情報を決定するように構成することができる。
１つ以上のオブジェクトが機器または物資を含む実施例において、環境評価コンポーネント１００６は、機器または物資に関するさまざまな種類の機器／物資情報を決定するために、機器／物資評価コンポーネント１００８を使用することができる。例えば、機器は、医療機器（例えば、撮像装置、麻酔装置、など）および非医療機器（例えば、事務用に使用されるコンピュータ、メンテナンス機器、など）を含むことができる。物資は、例えば処置の実行に使用されるツールまたは器具（例えば、外科用物資）など、任意の種類の医療物資、実験室用物資、医薬品、などを含むことができる。いくつかの実施例において、物資は、医療以外の物資（例えば、事務用品）も含むことができる。機器／物資情報は、これらに限られるわけではないが、機器または物資の仕様を記述する記述情報、機器または物資の利用に関する利用情報、ならびに機器または物資に関連するヘルスケア施設の臨床的および／または金銭的パフォーマンスに関するパフォーマンス情報を含むことができる。例えば、特定の医療機器または物資に関する記述情報は、これらに限られるわけではないが、機器または物資の名称または肩書き、用途の説明、製造者による型式またはモデル、寸法またはサイズ情報、コスト情報、など、販売仕様書において機器または物資供に関連付けられる可能性が高い情報の種類を含むことができる。特定の医療機器または物資の利用に関する利用情報は、現在のヘルスケア組織による医療機器または物資の使用に関する情報を含むことができる。例えば、そのような使用情報は、その医療物資または機器をヘルスケア施設がどのように使用するか、過去の使用の程度に関する情報、過去の使用の頻度に関する情報、予想される使用に関する情報、などを記述することができる。別の例において、使用情報は、医療物資または機器の現在の使用の様相または状態（例えば、使用または未使用）に関係し得る。さらに別の例において、使用情報は、医療機器または物資に関連する保守タイプの問題に関する情報など、医療物資または機器の使用をもたらす情報を含むことができる。
機器または物資に関連するヘルスケア施設の臨床パフォーマンスに関するパフォーマンス情報は、例えば、医療機器または医療物資の使用に関連する患者成功結果情報およびケアの質に関する情報を含むことができる。いくつかの実施形態において、この種のパフォーマンス情報は、相対的な成功率およびケアの相対的な質など、代替の物資の使用と比較されてよい。さらに、医療物資に関連する臨床パフォーマンス情報は、ヘルスケア組織の臨床パフォーマンスに影響する物資の使用および利用可能性に関する情報を含むことができる。例えば、そのような情報は、患者のニーズを満たすために利用可能な物資の量に余剰が存在するか、あるいは不足があるかを示すことができる。別の例において、そのような情報は、物資またはツールが適切に使用されたか否か、適切に処分されたか否か、適切に洗浄されたか否か、適切に保管されたか否か、などを示すことができる。同様に、機器または物資に関連するヘルスケア施設の金銭的パフォーマンスに関するパフォーマンス情報は、医療機器または医療物資の使用に起因する金銭上の損益情報を含むことができる。
さまざまな実施形態において、環境特徴付けコンポーネント１００４によって識別された機器および物資に関連する記述、利用および／またはパフォーマンス情報は、予め決定され、ＡＲ支援モジュール１１０にとってアクセス可能な１つ以上のデータベース（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または他の装置に位置する）に含まれてよい。例えば、そのような情報は、さまざまな在庫ログ、装置ログ、購入報告、保守報告、およびパフォーマンス評価報告／ログ、請求報告、などにおいて以前に生成され、それぞれの物資および／または機器に関連付けられていてよい。通常は、このような装置ログおよびエラーログは、深い技術的ノウハウを有する者だけがレビューする。本明細書において考えられるシステムおよび方法によれば、システム１００が関連情報を見つけ、臨床医および病院管理者などの非技術系の人々にとって閲覧および理解を容易にすることができる。
これらの実施形態によれば、機器／物資評価コンポーネント１００８は、さまざまなデータベースおよびソースをスキャンして、ユーザの現在のビューに含まれる物資または医療機器に関連するそのような情報を発見して取り出すことができる。他の実施例において、機器／物資評価コンポーネント１００８は、さまざまなデータベースおよびソースに含まれるデータについてリアルタイムのレポートを実行して、利用およびパフォーマンス情報をリアルタイムで生成することができる。例えば、ユーザが眺めるヘルスケア施設の領域に含まれる機器および物資に関する金銭的パフォーマンス情報に関して、機器／物資評価コンポーネント１００８は、それぞれの物資および機器の使用およびパフォーマンスに関する購入情報、使用情報、メンテナンス情報、請求情報、などにアクセスし、それぞれの物資および機器に関するコストを示す金銭的な値を決定することができる。例えば、コスト情報は、それぞれの物資および／または機器の購入、使用、および維持に起因するヘルスケア組織にとってのコスト、ならびに／あるいは物資および／または機器に関連するＲＯＩを示すことができる。さらに、機器／物資評価コンポーネント１００８は、機器および物資の予想コストおよび／または予算化されたコストに関する情報にアクセスし、特定の物資および機器に関する実際のコストがどの程度予算を超え、あるいは予算を下回っているかについての情報を決定することができる。
フィードバックコンポーネント１２０を、環境評価コンポーネント１００６によって取り出され、生成され、あるいは決定された情報を、リアルタイムでのフィードバックとして、評価された領域を眺めているユーザに補助情報として提供することができるよう、照合するように構成することができる。例えば、記述フィードバックコンポーネント１０１０は、機器または物資の仕様を記述する機器／物資評価コンポーネント１００８によって生成された記述情報を収集および照合することができる。利用フィードバックコンポーネント１０１２は、機器または物資の利用に関して機器／物資評価コンポーネント１００８によって生成された利用情報を収集および照合することができ、パフォーマンスフィードバックコンポーネント１０１４は、機器または物資に関連するヘルスケア施設の臨床的および／または金銭的パフォーマンスに関する機器／物資評価コンポーネント１００８によって生成されたパフォーマンス情報を収集および照合することができる。記述情報、利用情報、およびパフォーマンス情報のそのような収集および照合は、各々の情報が関連付けられているそれぞれのオブジェクト（例えば、機器または物資）に基づいて情報をクリーニングおよびインデキシングすることを含むことができる。さまざまな実施形態において、フィードバックコンポーネント１２０は、各々の情報に、その情報が関連付けられている特定のオブジェクトを識別するメタデータを関連付けることができる。
ユーザによって眺められているヘルスケア施設の領域に関してフィードバックコンポーネント１２０によって収集され得るフィードバック情報の量を考えると、多くの状況において、すべてのフィードバック情報をユーザに提供することは実行不可能であるかもしれず、あるいは有用ではないかもしれない。例えば、識別された物資およびハードウェアに関して、ユーザは、部屋内の１つの機器に関する金銭的パフォーマンス情報を受け取ることだけに関心があるかもしれない。さまざまな実施例において、特定のユーザに提供されるフィードバック情報の量および種類を、ユーザの現在のコンテクストに基づいて選択コンポーネント１０１６によってフィルタ処理および選択することができる。とくには、選択コンポーネント１０１６は、ヘルスケア施設の一領域を眺めているユーザに提供するために、ユーザの現在のコンテクストに基づいて（例えば、フィードバックコンポーネント１２０によって生成／照合された）フィードバック情報の一部を選択することができる。いくつかの実施例においては、ユーザの現在のコンテクストを、コンテクストコンポーネント１１８によって決定（例えば、メモリまたは１つ以上の外部情報ソース１３８に含まれる情報に基づいて決定、ユーザの移動に関する受信情報などに基づいて決定、など）することができる。この点に関して、現在のコンテクストは、これらに限られるわけではないが、ヘルスケア施設におけるユーザの役割（例えば、役職および説明）、さまざまな種類の情報を受け取るためのユーザの権限（例えば、ＣＥＯは新入りの秘書と比べて特定の金銭的情報に通じる）、または特定の領域を眺めるユーザの目的（例えば、金銭的情報を入手する、衛生および保守を評価する、保守作業を実行する、など）を含むことができる。例えば、保守作業員に提供される補助情報が、観察された領域内の機器に関する保守の問題を反映することができる一方で、財務担当役員に提供される補助情報は、その領域によってサポートされる機器および／または医療サービスに関するコストおよびＲＯＩ実行データに関することができる。
いくつかの実施例において、コンテクストは、ユーザの移動度も含むことができる。この実施例によれば、ユーザが眺める各々のオブジェクトについて表示されるべき情報の量は、ユーザがそのオブジェクトを眺める時間と、提供される情報量を読み取り、あるいは理解するユーザの能力とを反映するべきである。例えば、ユーザが病院を通って歩いている場合、ユーザは、多数の異なるオブジェクトの傍らを素早く通過し、したがって各々のオブジェクトに関する詳細な情報を読み取る充分な時間を持たない可能性がある。しかしながら、ユーザが立ち止まり、ヘルスケア施設の一領域を見つめている場合には、ユーザに、領域内のそれぞれのオブジェクトについてのより多くの情報を提供することができる。
処置の実行に関連してユーザに提供されるフィードバック情報と同様に、いくつかの実施例において、ＡＲコンポーネント１２８は、ＡＲ体験を使用してヘルスケア組織のパフォーマンスの状態に関するフィードバック情報をユーザに提供することができる。これらの実施例によれば、ＡＲコンポーネント１２８は、ユーザへと提供するために選択コンポーネント１０１６によって選択された情報の一部を含み、あるいは表すオーバーレイデータを生成することができる。例えば、ＡＲ装置（例えば、ユーザ装置１０２）を使用して、ユーザは、ヘルスケア施設の或る領域を物理的に訪問し、その領域に関連する機器および物資、その領域に関連する人々／従業員、などを含むその領域のパフォーマンスに関するオーバーレイデータを受け取ることができる。オーバーレイデータを、ＡＲ装置のディスプレイによって、ディスプレイを通して視認され、あるいはディスプレイ上で視認される領域の現在のビューに重ねて、ユーザへとレンダリングすることができる。さらなる実施例において、ユーザは、領域についてキャプチャされたビデオおよび／または画像データを眺めることによって、その領域を遠隔的に眺めることができる。この実施例によれば、オーバーレイデータを、ユーザの遠隔装置に表示されている領域のビデオおよび／または画像データに重ねることができる。ＡＲコンポーネント１２８がユーザへの提示のためのオーバーレイデータを生成および提供するやり方について、繰り返しとなる説明は、簡潔さの目的で省略する。
現実世界のヘルスケアオブジェクトの近くに物理的に位置しつつ、現実世界のヘルスケアオブジェクトの物理的なビューにパフォーマンスデータおよび金銭的データを重ね合わせることができることは、臨床医および病院管理者にとって価値がある。彼らは、成功および改善の必要な領域など、ヘルスケア機関がどのように機能しているかについてのより現実的かつ具体的な理解を持つことができる。
別の実施例において、ユーザは、仮想現実（ＶＲ）システム／装置を使用して領域を眺めることができる。この実施例によれば、ＡＲ支援モジュール１１０は、ＶＲ体験においてユーザへとレンダリングするためのオーバーレイデータの生成を容易にするためにＶＲコンポーネント１０１８を含むことができる。例えば、ＶＲ装置（例えば、ユーザ装置１０２）を使用して、ユーザに、あたかもユーザが実際に３Ｄ空間モデル内に立っているかのようにユーザに見える領域の３Ｄ空間モデル／視覚化を提示することができる。領域に関する補助データを、その領域の３Ｄ空間モデルのビューへと投影することができ、あるいは他のやり方で統合することができる。ヘルスケア施設の一領域のＶＲ視覚化にオーバーレイデータを含ませるための機構は、一領域の実際のビュー上にオーバーレイデータを統合するために使用される機構と同様であってよい。しかしながら、いくつかの実施例において、ＶＲ体験において提供されるオーバーレイデータは、３Ｄオブジェクトであってよく、あたかもユーザによる保持、タッチ、移動、などが可能なオブジェクトであるかのようにユーザによる相互作用が可能であってよい。さまざまな実施形態において、ユーザがＡＲ装置またはＶＲ装置のいずれを用いて補助データを眺めているかにかかわらず、補助データを、関連するそれぞれのオブジェクト、人、機器／物資、などに空間的に位置合わせすることができる。例えば、室内の物資キャビネットにおいて特定の物資がどのように不足しているかに関する補助データを、物資キャビネットの直接のビュー（例えば、ＡＲ眼鏡またはゴーグルなどの透明ディスプレイを通して視認される物資キャビネット）に重ね合わせることができ、あるいは物資キャビネットの間接的なビュー（例えば、ディスプレイ上に表示された物資キャビネットのビデオ／画像データまたは３Ｄモデルデータ）に重ね合わせることができる。
１つ以上のさらなる実施形態において、システム１０００は、ユーザから受信した明示的な入力に基づいてヘルスケア環境内の場所に関連する機器および物資に関するＡＲまたはＶＲフィードバック情報のユーザへの提供を容易にする。例えば、さまざまな実施例において、選択コンポーネント１０１６は、ユーザのコンテクスト（例えば、ユーザの役割または役職、ユーザのその場所の訪問の目的、ユーザの移動状態、など）に基づいてユーザへと提供するための適切なＡＲまたはＶＲフィードバックの自動的な選択をもたらす。他の実施形態において、ユーザは、ＡＲまたはＶＲを介してユーザへと提供される特定の種類のフィードバックを指示、要求、または選択する直接の入力をＡＲ支援モジュールへともたらすことができる。例えば、ユーザは、ユーザ装置１０２を介して、適切な入力機構（例えば、キーボード、キーパッド、タッチスクリーン、ジェスチャに基づく入力、音声認識に基づく入力、など）を使用して、オブジェクトを識別し、そのオブジェクトに関する情報を要求する入力をもたらすことができる。別の例において、ユーザは、例えば特定の物資が部屋のどこに配置されているかに関する情報を要求するなど、ヘルスケア施設内の場所または部屋に関する情報を求める質問を提起することができる。別の例において、ユーザは、ヘルスケア施設内の場所に関する特定の種類の情報を求める入力をもたらすことができる。この例によれば、ユーザは、例えば、「在庫の少ない物資を示して」、「保守の問題を抱えている機器を示して」、「この撮像装置のうちの正常に動作していない部分を示して」、などと述べることができる。この入力を、環境評価コンポーネント１００６および／またはフィードバックコンポーネント１２０によって受信することができる。ユーザの入力および作業者の現在位置などの他の入力の受信に基づいて、環境評価コンポーネント１００６は、本明細書に記載の機構を使用してユーザの質問／要求に対する答えを決定することができる。フィードバックコンポーネントは、ユーザの質問に答え、あるいはユーザの要求に応答するフィードバック情報をさらに生成することができ、ＡＲコンポーネント１２８は、ＡＲまたはＶＲを使用してフィードバックをユーザにさらに提供することができる。
例えば、音声認識入力機構を含むＡＲ装置（例えば、ユーザ装置１０２）を着用している新しい保守作業員が、部屋の中へと歩き、非ラテックス手袋がどこにあるのかを尋ねる口頭入力をもたらすことができる。次いで、機器評価コンポーネント１００８が、非ラテックス手袋が部屋のどこにあるかを判断することができ、ＡＲコンポーネント１２８が、非ラテックス手袋を含む部屋の特定の場所を示すオーバーレイの形態でユーザにフィードバックを提供することができる。例えば、非ラテックス手袋が物資キャビネットの左側の第２の棚にある場合、オーバーレイデータは、物資キャビネットの左側の第２の棚を強調し、マーキングし、あるいは他のやり方で注目させることができる。いくつかの実施例において、フィードバックコンポーネント１２０は、非ラテックス手袋がどこにあるのかを作業者に指示する音声フィードバックをユーザに提供することもできる。
図１１、図１２Ａ、および図１２Ｂは、本明細書に記載の１つ以上の実施形態によるヘルスケアシステム機器の使用および／またはパフォーマンスに関する補助情報をそれぞれ含む典型的なＡＲ視覚化１１００および１２００を示している。典型的なＡＲ視覚化１１００および１２００の１つ以上の態様は、システム１０００（および、本明細書に記載の追加のシステム）の特徴および機能を実証する。視覚化１１００および１２００はそれぞれ、ユーザによって眺められているヘルスケア施設の一領域を示している。図示の実施形態において、ユーザ１１０２は、ＡＲ装置１１０４を着用しており、ＡＲ装置１１０４の透明ディスプレイを通してヘルスケア施設の一領域を直接眺めつつ、ヘルスケア施設内に物理的に立っている。しかしながら、他の実装形態において、ユーザ１１０２は、離れた場所に位置して、遠隔装置上で一領域の画像／ビデオデータおよび／または一領域のモデルデータを眺めてもよい。さまざまな実施形態において、ＡＲ装置１１０４は、ユーザ装置１０２であってよく、あるいはユーザ装置１０２を含むことができる。さらに、ＡＲ装置１１０４は、ヘルスケアシステム機器の視認に関連した機器の使用および／またはパフォーマンスに関する補助情報のユーザへの提供を容易にするために、ＡＲ支援モジュール１１０を含むことができ、あるいはＡＲ支援モジュール１１０に通信可能に接続されてよい。
図１１を参照すると、視覚化１１００において、ユーザ１１０２は、撮像装置１１０６と、関連するコンピューティングシステム１１０８とを含むヘルスケア施設の撮像室を眺めている。視覚化１１００は、撮像室および関連機器の利用および／またはパフォーマンスに関係する撮像装置１１０６、コンピューティングシステム１１０８、および撮像室全体に関するオーバーレイデータをさらに含む。例えば、オーバーレイデータは、撮像装置１１０６に関連付けられた表示ウインドウ１１１０を含む。表示ウインドウ１１１０は、撮像装置をスーパーＣＴ（コンピュータ断層撮影）装置として識別し、稼働時間が８７％であることを示すテキスト情報を含む。さらに、オーバーレイデータは、配電ユニット（ＰＤＵ）が今年２回故障したことを示すテキストを有する表示ウインドウ１１１２を含む。さらに、オーバーレイデータは、高放射線が検出されたことを示すテキストを有する撮像室全体に関する表示ウインドウ１１１４を含む。これは、室内またはＣＴ装置自体の放射線センサによって検出することが可能である。
図１２Ａを参照すると、視覚化１２００において、ユーザ１１０２は、撮像装置１２０２を含むヘルスケア施設の撮像室をやはり眺めている。さらに、視覚化１２００は、撮像装置が破損した管に関する保守の問題を抱えていることを示すテキストを有する表示ウインドウ１２０４を含む撮像装置１２０２に関するオーバーレイデータを含む。さらに、テキストは、撮像装置１２０２について予定された保守予約に関する追加の情報も提供する。表示ウインドウ１２０４は、テキストに関連付けられた記号および画像を含む。オーバーレイデータは、壊れている撮像装置の特定の部分のグラフィック描写１２０６をさらに含む。
図示の実施形態による図１０、図１１、および図１２Ａを参照すると、オーバーレイデータ（例えば、表示ウインドウ１１１０、１１１２、１１１４、１２０４、およびグラフィック描写１２０６）は、ユーザ１１０２に関連した機器の記述、利用、および／またはパフォーマンス情報に関する選択コンポーネント１０１６から選択されるフィードバックに基づいて、ＡＲコンポーネント１２８によって生成された。１つ以上の実施形態において、フィードバックは、システム１０００を参照して説明した技術に従って、フィードバックコンポーネント１２０によって（例えば、記述フィードバックコンポーネント１０１０、利用フィードバックコンポーネント１０１２、および／またはパフォーマンスフィードバックコンポーネント１０１４を介して）決定および／または生成された。さらに、オーバーレイデータは、ＡＲ装置１１０４の透明ディスプレイを通してユーザ１１０２によって視認される撮像室の機器の直接のビューを覆って、ＡＲ装置１１０４のディスプレイ上にレンダリングされた。
視覚化１１００および１２００におけるオーバーレイデータ（例えば、表示ウインドウ１１１０、１１１２、および１１１４）の外観および位置が、単なる例示であり、ＡＲ装置１１０４を介してユーザによって実際に視認される内容の概念を伝えることを意図しているにすぎないことを、理解すべきである。しかしながら、視覚化１１００および１２００におけるオーバーレイデータの外観および位置は、オーバーレイデータの実際の位置がＡＲ装置１１０４のガラス／ディスプレイ上にあると考えられるため、技術的に正確ではない。例えば、図１２Ｂが、ＡＲ装置１１０４のレンズを通して見たときの視覚化１２００の別の斜視図を示す。
図１３が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してリアルタイムでヘルスケアシステムのパフォーマンスに関する補助情報の提供を容易にする別の典型的なシステム１３００のブロック図を示している。システム１３００は、システム１０００と同じまたは類似の特徴および機能を含み、従業員評価コンポーネント１３０２が環境評価コンポーネント１００６に追加されている。これまでの実施形態において説明したコンポーネントと同様のコンポーネントの同一または類似の機能の繰り返しの説明は、簡潔にするために省略する。
ユーザによって眺められるヘルスケア施設の領域に含まれる機器および物資の評価に加えて、環境評価コンポーネント１００６は、その領域に含まれるヘルスケア組織の従業員を評価するための従業員評価コンポーネント１３０２を含むことができる。例えば、ユーザがヘルスケア施設の或る部屋（例えば、手術室）を眺めている実施例において、従業員評価コンポーネント１３０２は、部屋内のそれぞれの従業員に関する情報を決定することができる。別の例においては、ユーザがヘルスケア施設内のさまざまな領域を通って歩いている実施例において、従業員評価コンポーネント１３０２は、ユーザがそばを通り過ぎ、あるいは遭遇するそれぞれの従業員に関する情報を決定することができる。別の例においては、環境特徴付けコンポーネント１００４が、ユーザが目を向けている（例えば、ユーザの直接の視線内の）従業員を識別し、ユーザが目を向けている特定の従業員に関する情報を決定することができる。
従業員評価コンポーネント１３０２は、環境認識コンポーネント１００２によって識別された従業員に関するさまざまな情報を決定することができる。例えば、従業員情報は、これらに限られるわけではないが、従業員についてのさまざまな事実を記述する記述情報、従業員がヘルスケア施設によってどのように使用されるかに関する利用情報、およびヘルスケア組織における従業員のパフォーマンスを評価する従業員に関するパフォーマンス情報を含むことができる。例えば、記述情報は、従業員を識別する情報（すなわち、従業員の名前）、従業員の役職を識別する情報、従業員の資格を識別する情報、従業員がヘルスケア組織のために働いた期間を識別する情報、従業員の給与を識別する情報、などを含むことができる。別の例において、記述情報は、従業員の嗜好、家族、趣味、などに関するより個人的な情報を含むことができる。従業員に関する使用情報は、例えば、ヘルスケア組織における従業員の職務に関する情報、従業員のスケジュールに関する情報、そのような職務の実行の頻度および量に関する情報（例えば、種類Ｘの処置の１週間当たりの実行回数）、などを含むことができる。従業員に関するパフォーマンス情報は、従業員がヘルスケア組織における自身の業務をどの程度上手に遂行しているかに関する情報、ならびに従業員に帰するヘルスケア組織の金銭的および／または臨床的なパフォーマンスに関する情報を含むことができる。例えば、医師に関するパフォーマンス情報は、患者の転帰および満足度、その医師の職務の遂行に関する効率、ヘルスケア組織におけるその医師のパフォーマンスに帰するＲＯＩ、などに関する情報を含むことができる。
さまざまな実施形態において、環境特徴付けコンポーネント１００４によって識別されたそれぞれの従業員に関する記述、利用および／またはパフォーマンス情報は、予め決定され、ＡＲ支援モジュール１１０にとってアクセス可能な１つ以上のデータベース（例えば、メモリ１３０、１つ以上の外部情報ソース１３８、または他の装置に位置する）に含まれてよい。これらの実施形態によれば、機器／物資評価コンポーネント１００８は、さまざまなデータベースおよびソースをスキャンして、ユーザの現在のビューに含まれる物資または医療機器に関連するそのような情報を発見して取り出すことができる。例えば、１つ以上の外部情報ソース１３８は、ヘルスケア組織のパフォーマンスの監視および改善を容易にするためにＡＲ支援モジュール１１０を使用するヘルスケア組織のすべてのヘルスケア専門家従業員を識別する従業員情報を含むことができる。例えば、従業員情報は、それぞれのヘルスケア専門家従業員、彼らの役割（例えば、役職）、どの患者について働くか（臨床医の役割を有する場合）、どの処置を実行する権限を有するか、どの処置を実行することが期待されるか、などを識別することができる。さらに、従業員情報は、勤務時間、実行した処置、処置の結果、処置の評価、患者の満足度、従業員のレビュー、従業員が他の従業員または他のベンチマークと比べて特定のタスクをどのように実行するかに関する情報、など、経時的に従業員について監視および記録され得る任意の可能なパフォーマンス情報を含むことができる。さらに、従業員情報は、それぞれの従業員の給与、その従業員が残業時間に入ったか否か、それぞれの従業員から生み出される投資収益率（ＲＯＩ）、などに関する金銭的情報を含むことができる。さらに、従業員情報は、従業員の家族および友人、嗜好、誕生日、趣味、賞、休暇、などに関する情報など、それぞれの従業員に関する個人情報を含むことができる。従業員の職場生活および私生活のさまざまな態様に関する現在の情報が情報ソースによってもたらされるように、従業員情報を定期的に（例えば、毎時、毎日、毎週、など）更新することができる。他の実施例において、従業員評価コンポーネント１３０２は、さまざまなデータベースおよびソースに含まれるデータについてリアルタイムのレポートを実行して、利用およびパフォーマンス情報をリアルタイムで生成することができる。
従業員評価コンポーネント１３０２を、ヘルスケア施設の一領域において識別された従業員以外の他の人々についての情報を決定するように構成することができる。例えば、従業員評価コンポーネント１３０２は、患者およびヘルスケア施設の訪問者に関する情報を決定することができる。そのような情報を、１つ以上の外部情報ソース１３８（例えば、患者情報および記録）において見つけることもできる。
フィードバックコンポーネント１２０を、従業員評価コンポーネント１３０２によって取り出され、生成され、あるいは決定された情報を、リアルタイムでのフィードバックとして、評価された領域を眺めているユーザに補助情報として提供することができるよう、照合するように構成することができる。例えば、記述フィードバックコンポーネント１０１０は、従業員を記述する従業員評価コンポーネント１３０２によって生成された記述情報を収集および照合することができる。利用フィードバックコンポーネント１０１２は、ヘルスケア組織がそれぞれの従業員をどのように使用するかに関する従業員評価コンポーネント１３０２によって生成された利用情報を収集および照合することができ、パフォーマンスフィードバックコンポーネント１０１４は、従業員に関連するヘルスケア施設の臨床的および／または金銭的パフォーマンスに関する従業員評価コンポーネント１３０２によって生成されたパフォーマンス情報を収集および照合することができる。記述情報、利用情報、およびパフォーマンス情報のそのような収集および照合は、各々の情報が関連付けられているそれぞれの従業員に基づいて情報をクリーニングおよびインデキシングすることを含むことができる。さまざまな実施形態において、フィードバックコンポーネント１２０は、各々の情報に、その情報が関連付けられている特定の従業員を識別するメタデータを関連付けることができる。
ユーザによって眺められている従業員に関してフィードバックコンポーネント１２０によって収集され得るフィードバック情報の量を考えると、各々の従業員についてのすべてのフィードバック情報をユーザに提供することは実行不可能であるかもしれず、あるいは有用ではないかもしれない。例えば、いくつかの状況において、ユーザは、何名かの従業員と接触する領域に含まれる特定の従業員に関する情報だけに関心があるかもしれない。別の例では、ユーザは、一般的な記述情報とは対照的に、従業員に関連するパフォーマンス情報を受け取ることだけに関心があるかもしれない。さまざまな実施例において、従業員に関して特定のユーザに提供されるフィードバック情報の量および種類を、ユーザの現在のコンテクストに基づいて選択コンポーネント１０１６によってフィルタ処理および選択することができる。とくには、選択コンポーネント１０１６は、ヘルスケア施設の一領域を眺めているユーザに提供するために、ユーザの現在のコンテクストに基づいて（例えば、フィードバックコンポーネント１２０によって生成／照合された）フィードバック情報の一部を選択することができる。
いくつかの実施例においては、ユーザの現在のコンテクストを、コンテクストコンポーネント１１８によって決定（例えば、メモリまたは１つ以上の外部情報ソース１３８に含まれる情報に基づいて決定、ユーザの移動に関する受信情報などに基づいて決定、など）することができる。この点に関して、現在のコンテクストは、これらに限られるわけではないが、ヘルスケア施設におけるユーザの役割（例えば、役職および説明）、さまざまな種類の情報を受け取るためのユーザの権限（例えば、ＣＥＯは新入りの秘書と比べて特定の金銭的情報に通じる）、または特定の領域を眺めるユーザの目的（例えば、金銭的情報を入手する、特定のタスクに関するパフォーマンスを評価する、など）を含むことができる。例えば、ユーザが請求問題に関連する従業員のパフォーマンスを調査している実施例において、選択コンポーネント１０１６を、従業員が請求コードの入力をどのように行うかについての情報、提出された保険請求の数、拒否された請求の数、など、請求に関連する従業員についてレンダリングすべき情報を選択するように構成することができる。ユーザのコンテクストは、ユーザが現時点において眺めている従業員に関する情報も含むことができる。この実施例によれば、選択コンポーネント１０１６を、ユーザが眺めている特定の従業員のみに関する情報を選択するように構成することができる。ユーザのコンテクストは、ユーザと、ユーザが眺める領域に含まれる１人以上の従業員との間の関係にも関連することができる。例えば、従業員の監督者であるユーザに提供される情報は、従業員の部下であるユーザに提供される情報と、おそらくは異なると考えられる。ユーザのコンテクストは、ユーザの移動度も含むことができる。例えば、ユーザが充分には知らない従業員のそばを単に通り過ぎようとしている場合に、ユーザに従業員の名前を思い出させ、その従業員の昇進を祝福するように促す情報を、ユーザへと提供することができる。あるいは、ユーザが従業員と面談して従業員のパフォーマンスの改善について議論している場合に、何らかの重要な過去のパフォーマンス統計を強調する補助情報をユーザに提供することができる。
機器および物資に関連してユーザに提供されるフィードバック情報と同様に、いくつかの実施例において、ＡＲコンポーネント１２８は、ＡＲ体験を使用して従業員フィードバック情報をユーザに提供することができる。これらの実施例によれば、ＡＲコンポーネント１２８は、ユーザへと提供するために選択コンポーネント１０１６によって選択された従業員フィードバック情報の一部を含み、あるいは表すオーバーレイデータを生成することができる。他の実施例においては、ＶＲコンポーネント１０１８が、ＶＲ体験においてユーザへとレンダリングされるオーバーレイデータを生成する。ＡＲまたはＶＲのいずれかによるオーバーレイデータのレンダリングに関して、１つ以上の実施形態においては、オーバーレイデータを、オーバーレイデータに関係するそれぞれの従業員に一致する位置に関連付けるように、ユーザ装置を（例えば、レンダリングコンポーネント８１２によって）構成することができる。
数百人または数千人の従業員と、さらに多くの患者とを抱える大規模なヘルスケア機関において、チームのメンバーおよびリーダーに同僚に関する素早い理解および情報を提供できることは、チームの成長および全体的な従業員管理に大きな価値がある。このような技術および従業員のコーチングの改善によって、関係を強化することができる。
図１４が、本明細書に記載の１つ以上の実施形態によるヘルスケア組織の従業員に関する補助情報を含む典型的なＡＲ視覚化１４００を示している。典型的なＡＲ視覚化１４００の１つ以上の態様は、従業員評価コンポーネント１３０２に関するシステム１３００（および、本明細書に記載の追加のシステム）の特徴および機能を実証する。視覚化１４００は、ユーザ１１０２によって眺められているヘルスケア施設の一領域を示している。この領域には、４人の人々、すなわち２人の医師ＡｎｎｅおよびＢｏｂと、２人の管理職員とが含まれている。図示の実施形態において、ユーザ１１０２は、ＡＲ装置１１０４を着用しており、ＡＲ装置１１０４の透明ディスプレイを通してヘルスケア施設の一領域を直接眺めつつ、ヘルスケア施設内に物理的に立っている。しかしながら、他の実装形態において、ユーザ１１０２は、離れた場所に位置して、遠隔装置上で一領域の画像／ビデオデータおよび／または一領域のモデルデータを眺めてもよい。さまざまな実施形態において、ＡＲ装置１１０４は、ユーザ装置１０２であってよく、あるいはユーザ装置１０２を含むことができる。さらに、ＡＲ装置１１０４は、ヘルスケアシステム機器の視認に関連した機器の使用および／またはパフォーマンスに関する補助情報のユーザへの提供を容易にするために、ＡＲ支援モジュール１１０を含むことができ、あるいはＡＲ支援モジュール１１０に通信可能に接続されてよい。
視覚化１４００は、表示ウインドウ１４０２および１４０４にそれぞれ提示された医師ＡｎｎｅおよびＢｏｂに関するオーバーレイデータをさらに含む。例えば、Ａｎｎｅに関する表示ウインドウ１４０２は、彼女の資格、専門知識、嗜好、および支払いコードの正確な入力に関する実績など、Ａｎｎｅについてのいくつかの事実を記述するテキストによるいくつかの箇条書きを含む。同様に、Ｂｏｂに関する表示ウインドウ１４０４は、彼の資格、チェックイン時間、給与、経験、ＨＲプロファイルデータ、使用および日々の活動データ、ならびに手術室のセットアップの実績に関する統計など、Ｂｏｂについてのいくつかの事実を記述するテキストによるいくつかのさらに多くの箇条書きを含む。
図示の実施形態による図１３および図１４を参照すると、オーバーレイデータ（例えば、表示ウインドウ１４０２および１４０４）は、ユーザ１１０２に関連した従業員の記述、パフォーマンス、および利用情報に関する選択コンポーネント１０１６から選択されるフィードバックに基づいて、ＡＲコンポーネント１２８によって生成された。１つ以上の実施形態において、フィードバックは、システム１０００および１３００を参照して説明した技術に従って、フィードバックコンポーネント１２０によって（例えば、記述フィードバックコンポーネント１０１０、利用フィードバックコンポーネント１０１２、および／またはパフォーマンスフィードバックコンポーネント１０１４を介して）決定および／または生成された。さらに、オーバーレイデータは、ＡＲ装置１１０４の透明ディスプレイを通してユーザ１１０２によって視認される撮像室の機器の直接のビューを覆って、ＡＲ装置１１０４のディスプレイ上にレンダリングされた。視覚化１４００におけるオーバーレイデータ（例えば、表示ウインドウ１４０２および１４０４）の外観および位置が、単なる例示であり、ＡＲ装置１１０４を介してユーザによって実際に視認される内容の概念を伝えることを意図しているにすぎないことを、理解すべきである。しかしながら、視覚化１４００におけるオーバーレイデータの外観および位置は、オーバーレイデータの実際の位置がＡＲ装置１１０４のガラス／ディスプレイ上にあると考えられるため、技術的に正確ではない。
図１５が、本明細書に記載の１つ以上の実施形態による手術室環境の種々の態様に関する補助情報を含む典型的なＡＲ視覚化１５００を示している。典型的なＡＲ視覚化１５００の１つ以上の態様は、機器／物資評価コンポーネント１００８および従業員評価コンポーネント１３０２に関するシステム１０００および１３００（および、本明細書に記載の追加のシステム）の特徴および機能を実証する。
視覚化１５００は、ユーザ１１０２によって眺められているヘルスケア施設の手術室環境を示している。環境は、患者の手術を行っている３人の医師を含む。図示の実施形態において、ユーザ１１０２は、ＡＲ装置１１０４を着用しており、ＡＲ装置１１０４の透明ディスプレイを通して手術室環境の一領域を直接眺めつつ、ヘルスケア施設内に物理的に立っている。しかしながら、他の実装形態において、ユーザ１１０２は、離れた場所に位置して、遠隔装置上で一領域の画像／ビデオデータおよび／または一領域のモデルデータを眺めてもよい。さまざまな実施形態において、ＡＲ装置１１０４は、ユーザ装置１０２であってよく、あるいはユーザ装置１０２を含むことができる。さらに、ＡＲ装置１１０４は、ヘルスケアシステム機器の視認に関連した機器の使用および／またはパフォーマンスに関する補助情報のユーザへの提供を容易にするために、ＡＲ支援モジュール１１０を含むことができ、あるいはＡＲ支援モジュール１１０に通信可能に接続されてよい。
視覚化１５００は、設備／物資評価コンポーネント１００８および従業員評価コンポーネント１３０２によってそれぞれ決定された手術室に含まれるさまざまな物資、設備、および人（例えば、医師および患者）に関連する情報を含むオーバーレイデータをさらに含む。オーバーレイデータに表される特定の情報は、ユーザ１１０２のコンテクストに関連していたと選択コンポーネント１０１６によって決定されたさまざまな物資、機器、および、人に関する利用およびパフォーマンス情報を含む。例えば、表示ウインドウ１５０２は、物資キャビネット内の手袋および針に関する物資利用情報を含む。表示ウインドウ１５０２は、手袋および針に帰するコストに関する金銭的なパフォーマンス情報も含む。表示ウインドウ１５０４は、物資の利用およびそれに関連するコストに関する情報など、ごみ箱に関連するコストに関する情報を含む。表示ウインドウ１５０６は、手術についての記述情報および金銭的なパフォーマンス情報など、患者について実行中の手術に関する情報を含む。さらに、オーバーレイデータは、現在の手術のためのそれぞれの医師の利用に帰するコストに関するコスト情報をそれぞれ提供する表示ウインドウ１５０８、１５１０、および１５１２を含む。本明細書に記載の他の視覚化と同様に、視覚化１５００におけるオーバーレイデータ（例えば、表示ウインドウ１５０２〜１５１２）の外観および位置が、単なる例示であり、ＡＲ装置１１０４を介してユーザによって実際に視認される内容の概念を伝えることを意図しているにすぎないことを、理解すべきである。しかしながら、視覚化１５００におけるオーバーレイデータの外観および位置は、オーバーレイデータの実際の位置がＡＲ装置１１０４のガラス／ディスプレイ上にあると考えられるため、技術的に正確ではない。
ユーザは、空中運動信号などのユーザインタフェースを介してＡＲを制御して、自身の意図に基づいて表示を示して、編集し、かつ変更することができる。カメラが、そのような信号を検出することができ、システム１００は、それに応じてオーバーレイデータを調整することができる。
図１６が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してリアルタイムでヘルスケアシステムのパフォーマンスに関する補助情報の提供を容易にする別の典型的なシステム１６００のブロック図を示している。システム１６００は、システム１３００と同じまたは類似の特徴および機能を含むが、推奨コンポーネント１６０２が追加されている。これまでの実施形態において説明したコンポーネントと同様のコンポーネントの同一または類似の機能の繰り返しの説明は、簡潔にするために省略する。
１つ以上の実施形態においては、推奨コンポーネント１６０２を、１つ以上の外部情報ソース１３８（および／またはメモリ１３０）に含まれるさまざまな情報／データ、ならびに環境評価コンポーネント１００６によって経時的に決定された情報を分析して、ヘルスケア組織のパフォーマンス状態の態様を改善する方法に関する推奨情報を決定するように構成することができる。例えば、推奨コンポーネント１６０２は、ヘルスケア組織のさまざまな機器、物資、および従業員の利用に関連するヘルスケア組織の臨床的および／または金銭的パフォーマンスに関する過去パフォーマンス情報を評価することができる。１つ以上の機械学習および／または深層学習技術を使用して、推奨コンポーネント１６０２は、金銭的および／または臨床的な利益および損失に帰するデータ内のパターンを識別し、金銭的および／または臨床的な利益を改善し、金銭的および／または臨床的な損失を最小にする方法についての推奨情報を決定することができる。例えば、そのような推奨情報は、リソースの追加または削除、ヘルスケア組織におけるそれぞれの機器、物資、および従業員の使用のやり方の変更、などを含むことができる。さらに、関連する推奨情報（例えば、ユーザが眺めている現在の領域およびユーザの現在のコンテクストに関連する）を選択コンポーネント１０１６によって選択し、ＡＲまたはＶＲ体験におけるオーバーレイデータとしてユーザに提供することができる。
１つ以上のさらなる実施形態において、推奨コンポーネント１６０２は、ユーザが出会う相手（例えば、従業員、患者、または他の種類の人）に対してユーザが語ることが提案される内容に関して、ユーザによるその人への提示のための推奨情報を決定することができる。推奨は、ユーザの現在のコンテクスト、相手に関する現在の関連情報、およびユーザと相手との間の関係に基づくことができる。例えば、従業員に関して、推奨コンポーネント１６０２は、ユーザが出会う特定の従業員に対して伝えることが提案される内容であって、ヘルスケア組織の臨床的および金銭的パフォーマンスを改善すると考えられる内容を、決定することができる。この例によれば、１つ以上の機械学習または深層学習技術を使用して、推奨コンポーネント１６０２は、従業員に関する過去パフォーマンス情報を評価し、従業員の過去のパフォーマンスのうちの改善を必要とする態様を決定することができる。さらに、推奨コンポーネント１６０２は、ユーザおよび従業員の現在のコンテクストに基づいて、ユーザが従業員に伝えることが提案される関連の寸評であって、従業員を自身のパフォーマンスを向上させるように促す寸評を決定することができる。さらに、提案される寸評を、ユーザがその従業員に遭遇したときに、ＡＲまたはＶＲ内のオーバーレイデータとしてユーザに提供することができる。
例えば、他の従業員に遭遇したユーザに関連して、推奨コンポーネント１６０２は、（例えば、従業員記録の誕生日、現在の日付との比較、および従業員の誕生日が６日前であったという判定に基づいて推奨コンポーネント１６０２によって決定されるとおりに）「先週のお誕生日はいかがでしたか」と述べることをユーザに提案することができる。別の例において、病院で医師に遭遇したユーザに関連して、推奨コンポーネント１６０２は、（例えば、医師が１２回の手術を行ったことを示す利用情報、この情報と、この医師が行う手術の平均の回数との比較、および普段よりも２５％多いという判定に基づいて推奨コンポーネント１６０２によって決定されるとおりに）「昨日は多くの手術をされたようですが、いかがでしたか」と述べることをユーザに提案することができる。別の例において、別の従業員に遭遇したユーザに関連して、推奨コンポーネント１６０２は、（例えば、ユーザおよび従業員がベイ２１１に位置しており、ＣＴ装置が標準的な時間を超えて修理中であるという推奨コンポーネント１６０２による判定に基づいて）「ベイ２１１のＣＴ装置は依然として問題ですか」と述べることをユーザに提案することができる。ヘルスケア機関または業界の他の人たちに対して「平均的」または「中庸」な情報を提供することは、管理にとってきわめて有益であり、スタッフにそれぞれの分野において優秀であり続けるために自身を向上させる競争の動機を提供することもできる。
図１７が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする典型的な方法１７００のフロー図を示している。本明細書に記載の他の実施形態において使用されている類似の構成要素の繰り返しの説明は、説明を簡潔にするために省略される。
１７０２において、プロセッサを備えるシステム（例えば、システム１００、６００、または７００）は、ユーザによるヘルスケア処置の実行中にリアルタイムで生成される入力データを受信し、ここで入力データは、ヘルスケア関連処置の実行中にキャプチャされたユーザのビデオを含む。１７０４において、システムは、入力データに基づいてパフォーマンスを特徴付ける記述情報を決定し、ここで記述情報は、（例えば、処置特徴付けコンポーネント１１４によって）処置の最中にユーザによって実行された少なくともアクションを特徴付ける。１７０６において、システムは、（例えば、処置評価コンポーネント１１６による）記述情報とヘルスケア関連処置の参照記述パラメータとの比較に基づいて、ユーザによって現時点において実行されているアクションのうちの一アクションの態様がヘルスケア関連処置について定められた手順から逸脱していないかどうかを判定する。１７０８において、システムは、態様が定められた手順から逸脱しているという判定に応答して、（例えば、フィードバックコンポーネント１２０によって）態様の修正に関するフィードバック情報を決定する。
図１８が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してヘルスケア処置のパフォーマンスに関する補助情報の提供を容易にする別の典型的な方法１８００のフロー図を示している。本明細書に記載の他の実施形態において使用されている類似の構成要素の繰り返しの説明は、説明を簡潔にするために省略される。
１８０２において、プロセッサを備えるシステム（例えば、システム１００、６００、または７００）が、（例えば、処置評価コンポーネント１１６によって）ユーザによるヘルスケア処置の実行の最中にリアルタイムで生成される入力データに基づいてユーザによるヘルスケア関連処置の実行に関する記述情報を決定し、ここで入力データは、ヘルスケア関連処置の実行中にキャプチャされたユーザのビデオを含む。１８０４において、システムは、（例えば、処置評価コンポーネント１１６による）記述情報とヘルスケア関連処置の参照記述パラメータとの比較に基づいて、ユーザによって現時点において実行されているヘルスケア関連処置の実行の態様がヘルスケア関連処置について定められた手順から逸脱していないかどうかを判定する。１８０６において、システムは、態様が定められた手順から逸脱しているという判定に応答して、（例えば、フィードバックコンポーネント１２０によって）態様の修正に関するフィードバック情報を決定する。１８０８において、システムは、態様が定められた手順から逸脱しているという判定に応答して、（例えば、ＡＲコンポーネント１２８によって）ユーザの現在のビューに重ねてディスプレイ上に投影するためのフィードバック情報を表すオーバーレイデータを生成する。１８１０において、システムは、（例えば、レンダリングコンポーネント８１２によって）ユーザによるヘルスケア関連処置の実行中にリアルタイムでディスプレイ上にオーバーレイデータを表示する。
図１９が、本明細書において説明される１つ以上の実施形態によるＡＲを使用してリアルタイムでのヘルスケアシステムのパフォーマンスに関する補助情報の提供を容易にする典型的な方法１９００のフロー図を示している。本明細書に記載の他の実施形態において使用されている類似の構成要素の繰り返しの説明は、説明を簡潔にするために省略される。
１９０２において、プロセッサを備えるシステム（例えば、システム１０００、１３００、または１６００）が、（例えば、環境特徴付けコンポーネント１００４によって）ヘルスケア施設の物理的領域についてキャプチャされた画像データを分析し、キャプチャされた画像データ内の１つ以上のオブジェクトを識別する。１９０４において、システムは、（例えば、環境評価コンポーネント１００６によって）オブジェクトのうちの１つ以上に基づいてヘルスケア施設のパフォーマンスの状態を評価する。１９０６において、システムは、（例えば、フィードバックコンポーネント１２０によって）パフォーマンスの状態に関するフィードバック情報を決定する。１９０８において、システムは、（例えば、選択コンポーネント１０１６によって）ユーザのコンテクストに部分的に基づいてユーザへと提供するためのフィードバック情報の一部を選択する。１９１０において、システムは、（例えば、ＡＲコンポーネント１２８によって）ユーザによって視認されているヘルスケア施設の物理的領域の現在のビューに重ねてディスプレイ上に投影するためのフィードバック情報の一部を表すオーバーレイデータを生成する。
本開示の主題のさまざまな態様のための背景を提示するために、図２０および以下の説明が、本開示の主題のさまざまな態様を実施することができる適切な環境の一般的な説明を提供することを意図する。図２０は、本明細書に記載の１つ以上の実施形態を容易にすることができる典型的な動作環境（ただし、これに限られるわけではない）のブロック図を示している。本明細書に記載の他の実施形態において使用されている類似の構成要素の繰り返しの説明は、説明を簡潔にするために省略される。
図２０を参照すると、本開示のさまざまな態様を実施するための適切な動作環境２００１は、コンピュータ２０１２も含むことができる。さらに、コンピュータ２０１２は、処理装置２０１４と、システムメモリ２０１６と、システムバス２０１８とを含むことができる。システムバス２０１８は、これに限られるわけではないが、システムメモリ２０１６などのシステムコンポーネントを処理装置２０１４に接続する。処理装置２０１４は、さまざまな利用可能なプロセッサのうちのいずれかであってよい。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャも、処理装置２０１４として採用することが可能である。システムバス２０１８は、これらに限られるわけではないが業界標準アーキテクチャ（ＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＳＡ）、拡張ＩＳＡ（ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（ＩＤＥ）、ＶＥＳＡローカルバス（ＶＬＢ）、周辺機器相互接続（ＰＣＩ）、カードバス、ユニバーサルシリアルバス（ＵＳＢ）、アドバンストグラフィックポート（ＡＧＰ）、Ｆｉｒｅｗｉｒｅ（ＩＥＥＥ ２０９４）、およびスモールコンピュータシステムインターフェース（ＳＣＳＩ）などの任意のさまざまな利用可能なバスアーキテクチャを使用するメモリバスまたはメモリコントローラ、ペリフェラルバスまたは外部バス、および／またはローカルバスなど、いくつかの種類のバス構造のいずれかであってよい。さらに、システムメモリ２０１６は、揮発性メモリ２０２０および不揮発性メモリ２０２２も含むことができる。起動時などにコンピュータ２０１２内の構成要素間で情報を伝達するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）が、不揮発性メモリ２０２２に格納される。これらに限られるわけではないが、例示として、不揮発性メモリ２０２２は、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、または不揮発性ランダムアクセスメモリ（ＲＡＭ）（例えば、強誘電体ＲＡＭ（ＦｅＲＡＭ））を含むことができる。さらに、揮発性メモリ２０２０は、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）を含むことができる。これらに限られるわけではないが、例示として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）、ダイレクトＲａｍｂｕｓ ＲＡＭ（ＤＲＲＡＭ）、ダイレクトＲａｍｂｕｓダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびＲａｍｂｕｓダイナミックＲＡＭなどの多数の形態で利用可能である。
さらに、コンピュータ２０１２は、リムーバブル／非リムーバブルの揮発性／不揮発性コンピュータ記憶媒体を含むことができる。例えば、図２０はディスク記憶装置２０２４を示している。さらに、ディスク記憶装置２０２４は、これらに限られるわけではないが、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ−１００ドライブ、フラッシュメモリカード、またはメモリスティックなどのデバイスを含むことができる。さらに、ディスク記憶装置２０２４は、これらに限られるわけではないがコンパクトディスクＲＯＭ装置（ＣＤ−ＲＯＭ）、ＣＤ記録可能ドライブ（ＣＤ−Ｒドライブ）、ＣＤ書き換え型ドライブ（ＣＤ−ＲＷドライブ）、またはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ−ＲＯＭ）などの光ディスクドライブを含む記憶媒体を、他の記憶媒体と別に含むことができ、あるいは他の記憶媒体と組み合わせて含むことができる。ディスク記憶装置２０２４のシステムバス２０１８への接続を容易にするために、典型的には、インタフェース２０２６などの取り外し可能または取り外し不可能なインタフェースが使用される。さらに、図２０は、ユーザと適切な動作環境２００１において説明される基本的なコンピュータリソースとの間の仲介者として機能するソフトウェアを示している。さらに、そのようなソフトウェアは、例えばオペレーティングシステム２０２８を含むことができる。オペレーティングシステム２０２８は、ディスク記憶装置２０２４に格納されてよいが、コンピュータ２０１２のリソースの制御および割り当てを行うように機能する。システムアプリケーション２０３０は、例えばシステムメモリ２０１６またはディスク記憶装置２０２４のいずれかに格納されたプログラムモジュール２０３２およびプログラムデータ２０３４を介し、オペレーティングシステム２０２８によるリソースの管理を利用する。本開示を、さまざまなオペレーティングシステムまたはオペレーティングシステムの組み合わせを用いて実施できることを、理解されたい。ユーザは、入力装置２０３６を介してコンピュータ２０１２にコマンドまたは情報を入力する。入力装置２０３６として、これらに限られるわけではないが、マウス、トラックボール、スタイラス、およびタッチパッドなどのポインティングデバイス、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ、などが挙げられる。これらの入力装置および他の入力装置は、インタフェースポート２０３８によってシステムバス２０１８を介して処理装置２０１４につながる。インタフェースポート２０３８は、例えば、シリアルポート、パラレルポート、ゲームポート、およびユニバーサルシリアルバス（ＵＳＢ）を含む。出力装置２０４０は、入力装置２０３６と同じ種類のポートのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、コンピュータ２０１２へと入力をもたらし、コンピュータ２０１２から出力装置２０４０へと情報を出力することが可能である。出力アダプタ２０４２が、他の出力装置２０４０の中でもとりわけ特別なアダプタを必要とするモニタ、スピーカ、およびプリンタなどのいくつかの出力装置２０４０が存在することを示すために提示されている。出力アダプタ２０４２は、これらに限られるわけではないが、例示として、出力装置２０４０とシステムバス２０１８との間の接続手段を提供するビデオおよびサウンドカードを含む。リモートコンピュータ２０４４などの他の装置および／または装置のシステムが、入力および出力の両方の機能を提供することに留意されたい。
コンピュータ２０１２は、リモートコンピュータ２０４４などの１つ以上のリモートコンピュータへの論理接続を使用して、ネットワーク環境において動作することができる。リモートコンピュータ２０４４は、コンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピアデバイス、または他の一般的なネットワークノードなどであってよく、典型的には、コンピュータ２０１２に関して説明した要素のうちの多数またはすべてをやはり含むことができる。簡潔にするために、リモートコンピュータ２０４４についてはメモリ記憶装置２０４６だけが図示されている。リモートコンピュータ２０４４は、コンピュータ２０１２にネットワークインタフェース２０４８を介して論理的に接続され、次いで通信接続２０５０を介して物理的に接続される。ネットワークインタフェース２０４８は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、などの有線および／または無線通信ネットワークを包含する。ＬＡＮ技術は、ファイバ分散データインタフェース（ＦＤＤＩ）、銅線分散データインタフェース（ＣＤＤＩ）、イーサネット（登録商標）、トークンリング、などを含む。ＷＡＮ技術は、これらに限られるわけではないが、ポイントツーポイントリンク、統合デジタル通信網（ＩＳＤＮ）およびその変種などの回線交換網、パケット交換網、およびデジタル加入者線（ＤＳＬ）を含む。通信接続２０５０は、ネットワークインタフェース２０４８をシステムバス２０１８に接続するために使用されるハードウェア／ソフトウェアを指す。通信接続２０５０は、説明をわかりやすくするためにコンピュータ２０１２内部に示されているが、コンピュータ２０１２の外部にあってもよい。さらに、ネットワークインタフェース２０４８への接続のハードウェア／ソフトウェアは、あくまでも例示の目的で、通常の電話グレードのモデム、ケーブルモデム、およびＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ、ならびにイーサネット（登録商標）カードなどの内部および外部技術を含むことができる。
本発明の実施形態は、任意の可能な技術的詳細レベルの統合におけるシステム、方法、装置、および／またはコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または、複数のコンピュータ可読記憶媒体）を含むことができる。コンピュータ可読記憶媒体は、命令実行装置による使用のために命令を保持および格納することができる有形の装置であってよい。コンピュータ可読記憶媒体は、例えば、これらに限られるわけではないが、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせであってよい。さらに、コンピュータ可読記憶媒体のより具体的な例のリスト（ただし、これらですべてではない）は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、命令が記録されたパンチカードまたは溝内の隆起構造などの機械的に符号化された装置、およびこれらの任意の適切な組み合わせを含むことができる。本明細書で使用されるとき、コンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波路または他の伝送媒体を通って伝播する電磁波、あるいは配線を通って伝わる電気信号などの一時的な信号自体であると解釈されるべきではない。
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置へとダウンロード可能であり、あるいはインターネット、ローカルエリアネットワーク、広域ネットワーク、および／またはワイヤレスネットワークなどのネットワークを介して外部コンピュータまたは外部記憶装置へとダウンロード可能である。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含むことができる。各々のコンピューティング／処理装置内のネットワークアダプタカードまたはネットワークインタフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令をそれぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に格納するために転送する。本発明の種々の態様の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の設定データ、あるいはＳｍａｌｌｔａｌｋ、Ｃ＋＋、などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、独立したソフトウェアパッケージとして、完全にユーザのコンピュータ上で実行されても、一部分がユーザのコンピュータ上で実行されてもよく、一部分がユーザのコンピュータ上で実行され、一部分がリモートコンピュータ上で実行されても、あるいは完全にリモートコンピュータまたはサーバ上で実行されてもよい。後者の状況において、リモートコンピュータをローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、あるいは接続を（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータへと行うことができる。いくつかの実施形態においては、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実行するためにコンピュータ可読プログラム命令の状態情報を利用して電子回路をカスタマイズすることによってコンピュータ可読プログラム命令を実行することができる。
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書で説明される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図内のブロックの組み合わせを、コンピュータ可読プログラム命令によって実施できることを理解できるであろう。これらのコンピュータ可読プログラム命令が、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサへと提供され、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって命令が実行されることでフローチャートおよび／またはブロック図の１つ以上のブロックに指定の機能／動作を実現するための手段が生み出されるようなマシンをもたらすことができる。さらに、これらのコンピュータ可読プログラム命令を、コンピュータ、プログラム可能なデータ処理装置、および／または他のデバイスを特定のやり方で機能するように導くことができるコンピュータ可読記憶媒体に格納することができ、命令を格納したコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１つ以上のブロックに指定の機能／動作の態様を実施する命令を含む製品を含む。さらに、コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスへとロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の動作行為の実行を生じさせることができ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令によってフローチャートおよび／またはブロック図の１つ以上のブロックに指定の機能／動作が実行されるようなコンピュータによって実施されるプロセスを生み出すことができる。
図中のフローチャートおよびブロック図は、本発明のさまざまな実施形態によるシステム、方法、およびコンピュータプログラム製品について可能な実施例のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各々のブロックは、指定された論理機能を実施するための１つ以上の実行可能命令を含むモジュール、セグメント、または命令の一部を表すことができる。いくつかの代替の実施例において、ブロックに示されている機能は、図に示されている順序とは異なる順序で発生してもよい。例えば、連続して示されている２つのブロックを、実際には、実質的に同時に実行してもよく、あるいはブロックを、該当の機能に応じて、時には逆の順序で実行することも可能である。さらに、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図内のブロックの組み合わせを、指定の機能を実行し、あるいは専用のハードウェアとコンピュータ命令との組み合わせを実行する専用のハードウェアに基づくシステムによって実行できることに注意すべきである。
本主題を、１つ以上のコンピュータ上で実行されるコンピュータプログラム製品のコンピュータ実行可能命令という一般的な文脈において上述したが、本開示を他のプログラムモジュールとの組み合わせにおいて実施してもよいことを、当業者であれば理解できるであろう。一般に、プログラムモジュールは、特定のタスクを実行し、かつ／または特定の抽象データ型を提供するルーチン、プログラム、コンポーネント、データ構造、などを含む。さらに、本発明のコンピュータによって実行される方法が、シングルプロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピューティングデバイス、メインフレームコンピュータ、ならびにコンピュータ、ハンドヘルドコンピューティングデバイス（例えば、ＰＤＡ、電話機）、マイクロプロセッサベースまたはプログラム可能な消費者向けまたは産業用電子機器など、他のコンピュータシステムの構成において実施されてもよいことを、当業者であれば理解できるであろう。さらに、例示した態様を、タスクが通信ネットワークによって結び付けられた遠方の処理装置によって実行される分散コンピューティング環境において実施することも可能である。しかしながら、本開示のすべての態様またはいくつかの態様をスタンドアロンのコンピュータ上で実行することも可能である。分散コンピューティング環境において、プログラムモジュールは、現場および遠方の両方のメモリ記憶装置に位置することができる。
本出願において使用されるとき、「コンポーネント」、「システム」、「プラットフォーム」、「インタフェース」、などの用語は、１つ以上の特定の機能を有するコンピュータ関連のエンティティまたは動作機械に関連するエンティティを指すことができ、さらには／あるいは含むことができる。本明細書に開示されるエンティティは、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかであってよい。例えば、コンポーネントは、これらに限られるわけではないが、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、プログラム、および／またはコンピュータであってよい。例として、サーバ上で実行中のアプリケーションおよびサーバの両方が、コンポーネントとなり得る。１つ以上のコンポーネントが、プロセスおよび／または実行のスレッド内に存在でき、コンポーネントは、１つのコンピュータ上に局在でき、さらには／あるいは２つ以上のコンピュータの間に分散されてもよい。別の例においては、それぞれのコンポーネントを、さまざまなデータ構造を格納したさまざまなコンピュータ可読媒体から実行することができる。コンポーネントは、例えば１つ以上のデータパケット（例えば、信号を介してローカルシステム、分散システム、および／または他のシステムを有するインターネットなどのネットワークにおける他のコンポーネントと相互作用する１つのコンポーネントからのデータ）を有する信号に従ってローカルおよび／またはリモートプロセスを介して通信することができる。別の例として、コンポーネントは、プロセッサによって実行されるソフトウェアまたはファームウェアアプリケーションによって操作される電気または電子回路によって操作される機械的部分によって提供される特定の機能を有する装置であってよい。そのような場合、プロセッサは、装置の内部にあっても、外部にあってもよく、ソフトウェアまたはファームウェアアプリケーションの少なくとも一部を実行することができる。さらに別の例として、コンポーネントは、機械的部分によらずに電子コンポーネントを介して特定の機能を提供する装置であってよく、電子コンポーネントは、電子コンポーネントの機能を少なくとも部分的に与えるソフトウェアまたはファームウェアを実行するプロセッサまたは他の手段を含むことができる。一態様において、コンポーネントは、例えばクラウドコンピューティングシステム内の仮想マシンを介して電子コンポーネントをエミュレートすることができる。
さらに、用語「または」は、排他的な「または」ではなく、包括的な「または」を意味するように意図されている。すなわち、とくに指定されず、あるいは文脈から明らかでない限り、「ＸはＡまたはＢを使用する」は、任意の自然な包含順列を意味するように意図されている。すなわち、ＸがＡを使用している場合、ＸがＢを使用している場合、またはＸがＡおよびＢの両方を使用している場合、「ＸはＡまたはＢを使用する」は、以上の例のいずれのもとでも満たされる。さらに、本明細書および添付の図面において使用されるとき、冠詞「ａ」および「ａｎ」は、とくに指定されず、あるいは単数形を対象とすることが文脈から明らかでない限り、一般に「１つ以上」を意味すると解釈されるべきである。本明細書において使用されるとき、用語「例」および／または「典型的」は、例、実例、または例示として役立つことを意味するために利用される。誤解を避けるために、本明細書に開示された主題は、そのような例によって限定されない。さらに、「例」および／または「典型的」として本明細書に記載された態様または設計のいずれも、必ずしも他の態様または設計よりも好ましい、または有利であると解釈されるべきでなく、当業者に知られた同等の典型的構造または技術を排除することを意味しない。
本明細書において使用されるとき、用語「プロセッサ」は、これらに限られるわけではないがシングルコアプロセッサ、ソフトウェアマルチスレッド実行機能を備えたシングルプロセッサ、マルチコアプロセッサ、ソフトウェアマルチスレッド実行機能を備えたマルチコアプロセッサ、ハードウェアマルチスレッド技術を搭載したマルチコアプロセッサ、並列プラットフォーム、および分散共有メモリを備えた並列プラットフォームを含む実質的に任意のコンピューティング処理装置またはデバイスを指すことができる。さらに、プロセッサは、本明細書に記載の機能を実行するように設計された集積回路、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックコントローラ（ＰＬＣ）、結合プログラマブル論理デバイス（ＣＰＬＤ）、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいはこれらの任意の組み合わせを指すことができる。さらに、プロセッサは、スペースの使用を最適化し、あるいはユーザ機器の性能を向上させるために、これらに限られるわけではないが分子および量子ドットに基づくトランジスタ、スイッチ、およびゲートなどのナノスケールアーキテクチャを利用することができる。さらに、プロセッサを、コンピューティング処理装置の組み合わせとして実現することも可能である。本開示においては、「記憶部」、「記憶装置」、「データ記憶部」、「データ記憶装置」、「データベース」、などの用語、ならびにコンポーネントの動作および機能に関連する実質的に任意の他の情報記憶コンポーネントが、「メモリコンポーネント」、「メモリ」内に具現化されたエンティティ、またはメモリを含むコンポーネントを指して利用される。本明細書に記載のメモリおよび／またはメモリコンポーネントが、揮発性メモリまたは不揮発性メモリのいずれかであってよく、あるいは揮発性および不揮発性の両方のメモリを含んでよいことを、理解されたい。これらに限られるわけではないが、例示として、不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、または不揮発性ランダムアクセスメモリ（ＲＡＭ）（例えば、強誘電体ＲＡＭ（ＦｅＲＡＭ））を含むことができる。揮発性メモリは、例えば外部キャッシュメモリとして機能することができるＲＡＭを含むことができる。これらに限られるわけではないが、例示として、ＲＡＭは、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）、ダイレクトＲａｍｂｕｓ ＲＡＭ（ＤＲＲＡＭ）、ダイレクトＲａｍｂｕｓダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびＲａｍｂｕｓダイナミックＲＡＭ（ＲＤＲＡＭ）などの多数の形態で利用可能である。さらに、本明細書のシステムまたはコンピュータによって実行される方法の開示されたメモリコンポーネントは、これらに限定されることなく、これらおよび任意の他の適切な種類のメモリを含むように意図される。
以上の説明の内容は、システムおよびコンピュータによって実行される方法の単なる例を含むにすぎない。当然のことながら、本開示を説明する目的において、コンポーネントまたはコンピュータによって実行される方法について、考えられるすべての組み合わせを述べることは不可能であり、当業者であれば、本開示について多数のさらなる組み合わせおよび置き換えが可能であることを、理解できるであろう。さらに、「・・・を含む」、「・・・を有する」、「・・・を所有する」、などの用語が詳細な説明、特許請求の範囲、付録、および図面において使用される限りにおいて、そのような用語は、用語「・・・を備える」が請求項におけるつなぎの用語として使用されるときの「・・・を備える」の解釈と同様のやり方で、包括的であるように意図される。さまざまな実施形態の説明は、例示の目的で提示されているにすぎず、すべてを述べ尽くそうとしたものでも、開示された実施形態への限定を意図したものでもない。本明細書に記載の実施形態の範囲および精神から逸脱することなく、多数の変更および変種が当業者にとって明らかであろう。本明細書で使用されている用語は、実施形態の原理、実際の応用、または市場において見られる技術に対する技術的改善を最も良好に説明し、あるいは本明細書に開示の実施形態の理解を当業者にとって可能にするように選択された。
１００ システム
１０２ ユーザ装置
１０４ カメラ
１０６ ディスプレイ
１０８ サーバ装置
１１０ 拡張現実（ＡＲ）支援モジュール
１１２ 処置識別コンポーネント
１１４ 処置特徴付けコンポーネント、記述子生成コンポーネント
１１６ 処置評価コンポーネント
１１８ コンテクストコンポーネント
１２０ フィードバックコンポーネント
１２２ 修正コンポーネント
１２４ 賞賛コンポーネント
１２６ 案内コンポーネント
１２８ 拡張現実コンポーネント
１３０ メモリ
１３２ 処置指針／手順情報
１３４ プロセッサ
１３６ システムバス
１３８ 外部情報ソース
２００ 視覚化
２０２ 臨床医
２０４ 患者
２０６ ＡＲ装置
２０８ コンピューティングシステム
２１０ 表示ウインドウ
２１２ 着色データ
３００ 視覚化
３０２ 臨床医
３０４ 患者
３０６ ＡＲ装置
３０８ 表示ウインドウ
３１０ グラフィック画像
４００ 視覚化
４０２ 臨床医
４０４ 患者
４０６ ＡＲ装置
４０８ 表示ウインドウ
５００ 方法
６００ システム
６０２ 記録コンポーネント
６０４ 最適化コンポーネント
７００ システム
７０２ 通知コンポーネント
７０４ 音声フィードバックコンポーネント
７０６ ライブ遠隔支援コンポーネント
８０２ 入力装置
８０４ 音声キャプチャ装置
８０６ 運動センサ
８０８ バイオメトリックセンサ
８１０ 通信コンポーネント
８１２ レンダリングコンポーネント
８１４ デバイスバス
８１６ プロセッサ
８１８ メモリ
１０００ システム
１００２ 環境認識コンポーネント
１００４ 環境特徴付けコンポーネント
１００６ 環境評価コンポーネント
１００８ 機器／物資評価コンポーネント
１０１０ 記述フィードバックコンポーネント
１０１２ 利用フィードバックコンポーネント
１０１４ パフォーマンスフィードバックコンポーネント
１０１６ 選択コンポーネント
１０１８ 仮想現実（ＶＲ）コンポーネント
１１００ ＡＲ視覚化
１１０２ ユーザ
１１０４ ＡＲ装置
１１０６ 撮像装置
１１０８ コンピューティングシステム
１１１０ 表示ウインドウ
１１１２ 表示ウインドウ
１１１４ 表示ウインドウ
１２００ 視覚化
１２０２ 撮像装置
１２０４ 表示ウインドウ
１２０６ グラフィック描写
１３００ システム
１３０２ 従業員評価コンポーネント
１４００ ＡＲ視覚化
１４０２ 表示ウインドウ
１４０４ 表示ウインドウ
１５００ ＡＲ視覚化
１５０２ 表示ウインドウ
１５０４ 表示ウインドウ
１５０６ 表示ウインドウ
１５０８ 表示ウインドウ
１５１０ 表示ウインドウ
１５１２ 表示ウインドウ
１６００ システム
１６０２ 推奨コンポーネント
１７００ 方法
１８００ 方法
１９００ 方法
２００１ 動作環境
２０１２ コンピュータ
２０１４ 処理装置
２０１６ システムメモリ
２０１８ システムバス
２０２０ 揮発性メモリ
２０２２ 不揮発性メモリ
２０２４ ディスク記憶装置
２０２６ インタフェース
２０２８ オペレーティングシステム
２０３０ システムアプリケーション
２０３２ プログラムモジュール
２０３４ プログラムデータ
２０３６ 入力装置
２０３８ インタフェースポート
２０４０ 出力装置
２０４２ 出力アダプタ
２０４４ リモートコンピュータ
２０４６ メモリ記憶装置
２０４８ ネットワークインタフェース
２０５０ 通信接続

Claims (14)

  1. コンピュータ実行可能コンポーネントを格納するメモリ（１３０、８１８）と、
    前記メモリ（１３０、８１８）に格納されたコンピュータ実行可能コンポーネントを実行するプロセッサ（１３４、８１６）と
    を備えており、
    前記コンピュータ実行可能コンポーネントは、
    ユーザ（１１０２）によるヘルスケア関連処置の実行に関する記述情報を、ユーザ（１１０２）によるヘルスケア処置の実行の最中にリアルタイムで生成され、前記ヘルスケア関連処置の実行中にキャプチャされた前記ユーザ（１１０２）のビデオを含む入力データに基づいて、決定するように構成された処置特徴付けコンポーネント（１１４）と、
    前記ユーザ（１１０２）によって現時点において実行されている前記ヘルスケア関連処置の実行の態様が、前記ヘルスケア関連処置について定められた手順から逸脱していないかどうかを、前記記述情報と前記ヘルスケア関連処置についての参照記述パラメータとの比較に基づいて判断するように構成された処置評価コンポーネント（１１６）と、
    前記態様が前記定められた手順から逸脱しているとの判断に応答して、前記態様の修正に関するフィードバック情報を決定するように構成されたフィードバックコンポーネント（１２０）と
    を含む、システム（１００、６００、７００、１０００、１３００、１６００）。
  2. 前記態様が前記定められた手順から逸脱しているとの判断に応答して、前記ユーザ（１１０２）の現在のビューに重ねてディスプレイ（１０６）上に投影するために、前記フィードバック情報を表すオーバーレイデータを生成するように構成された拡張現実データコンポーネント（１２８）
    をさらに備える、請求項１に記載のシステム（１００、６００、７００、１０００、１３００、１６００）。
  3. 前記ユーザ（１１０２）による前記ヘルスケア関連処置の実行の最中にリアルタイムで前記オーバーレイデータを前記ディスプレイ（１０６）上に表示するように構成されたレンダリングコンポーネント（８１２）
    をさらに備える、請求項２に記載のシステム（１００、６００、７００、１０００、１３００、１６００）。
  4. 前記ディスプレイ（１０６）は、前記ユーザ（１１０２）が装着する眼鏡類に一体化されている、請求項２に記載のシステム（１００、６００、７００、１０００、１３００、１６００）。
  5. 前記処置の前記態様は、前記現在のビューに含まれるオブジェクトに関係し、前記レンダリングコンポーネント（８１２）は、前記オーバーレイデータをオブジェクトに空間的に位置合わせするようにさらに構成されている、請求項２に記載のシステム（１００、６００、７００、１０００、１３００、１６００）。
  6. 前記記述情報は、前記処置の最中に実行されるアクションを特徴付けており、前記態様は、前記アクションのうちの１つを含み、前記処置特徴付けコンポーネント（１１４）は、前記アクションが前記定められた手順に含まれるか否かに基づいて、前記処置の前記態様が前記定められた手順から逸脱していないかどうかを判断するように構成されている、請求項１に記載のシステム（１００、６００、７００、１０００、１３００、１６００）。
  7. 前記記述情報は、前記処置の最中に使用される物資を特徴付けており、前記態様は、前記物資のうちの１つの使用に関し、前記処置特徴付けコンポーネント（１１４）は、前記物資の前記使用が前記定められた手順に含まれるか否かに基づいて、前記処置の前記態様が前記定められた手順から逸脱していないかどうかを判断するように構成されている、請求項１に記載のシステム（１００、６００、７００、１０００、１３００、１６００）。
  8. ユーザ（１１０２）によるヘルスケア処置の実行中にリアルタイムで生成され、前記ヘルスケア関連処置の実行中にキャプチャされた前記ユーザ（１１０２）のビデオを含む入力データを、プロセッサ（１３４、８１６）を備えるシステム（１００、６００、７００、１０００、１３００、１６００）によって受信するステップ（１７０２）と、
    前記実行を特徴付ける記述情報であって、前記処置の最中に前記ユーザ（１１０２）によって実行される少なくともアクションを特徴付ける記述情報を、前記入力データに基づいて、前記システム（１００、６００、７００、１０００、１３００、１６００）によって決定するステップ（１７０４）と、
    前記システム（１００、６００、７００、１０００、１３００、１６００）によって、前記記述情報と前記ヘルスケア関連処置についての参照記述パラメータとの比較に基づいて、前記ユーザ（１１０２）によって現時点において実行されているアクションのうちの１つのアクションの態様が前記ヘルスケア関連処置について定められた手順から逸脱していないかどうかを判定するステップ（１７０６）と、
    前記システム（１００、６００、７００、１０００、１３００、１６００）によって、前記態様が前記定められた手順から逸脱しているという判定に応答して、前記態様の修正に関するフィードバック情報を決定するステップ（１７０８）と
    を含む方法（５００、１７００、１８００、１９００）。
  9. 前記システム（１００、６００、７００、１０００、１３００、１６００）によって、前記態様が前記定められた手順から逸脱しているという判定に応答して、前記ユーザ（１１０２）の現在のビューに重ねてディスプレイ（１０６）上に投影するための前記フィードバック情報を表すオーバーレイデータを生成するステップ
    をさらに含む、請求項８に記載の方法（５００、１７００、１８００、１９００）。
  10. 前記システム（１００、６００、７００、１０００、１３００、１６００）によって、前記オーバーレイデータを、前記ユーザ（１１０２）による前記ヘルスケア関連処置の実行の最中にリアルタイムで前記ディスプレイ（１０６）上にレンダリングするために、前記ディスプレイ（１０６）を備える前記ユーザ（１１０２）に関連付けられたデバイスへと送信するステップ
    をさらに含む、請求項９に記載の方法（５００、１７００、１８００、１９００）。
  11. 前記システム（１００、６００、７００、１０００、１３００、１６００）によって、前記オーバーレイデータを、前記ユーザ（１１０２）による前記ヘルスケア関連処置の実行の最中にリアルタイムで前記ディスプレイ（１０６）上に表示するステップ
    をさらに含む、請求項９に記載の方法（５００、１７００、１８００、１９００）。
  12. 前記処置の前記態様は、前記現在のビューに含まれるオブジェクトに関係し、前記表示するステップは、前記オーバーレイデータをオブジェクトに空間的に位置合わせすることを含む、請求項１１に記載の方法（５００、１７００、１８００、１９００）。
  13. 前記ディスプレイ（１０６）は、前記ユーザ（１１０２）が装着する眼鏡類に一体化されている、請求項９に記載の方法（５００、１７００、１８００、１９００）。
  14. 前記記述情報は、前記処置の最中に使用される物資を特徴付けており、前記態様は、前記物資のうちの１つの使用に関し、前記処置の前記態様が前記定められた手順から逸脱していないかどうかを判定するステップ（１７０６）は、前記物資の前記使用が前記定められた手順に含まれるか否かに基づく、請求項８に記載の方法（５００、１７００、１８００、１９００）。
JP2021039443A 2017-02-24 2021-03-11 システム及び方法 Pending JP2021099866A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/442,386 US11250947B2 (en) 2017-02-24 2017-02-24 Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US15/442,386 2017-02-24
JP2019544806A JP6949128B2 (ja) 2017-02-24 2017-06-23 システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019544806A Division JP6949128B2 (ja) 2017-02-24 2017-06-23 システム

Publications (1)

Publication Number Publication Date
JP2021099866A true JP2021099866A (ja) 2021-07-01

Family

ID=59276896

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019544806A Active JP6949128B2 (ja) 2017-02-24 2017-06-23 システム
JP2021039443A Pending JP2021099866A (ja) 2017-02-24 2021-03-11 システム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019544806A Active JP6949128B2 (ja) 2017-02-24 2017-06-23 システム

Country Status (5)

Country Link
US (3) US11250947B2 (ja)
EP (2) EP3703070A1 (ja)
JP (2) JP6949128B2 (ja)
CN (1) CN110301012A (ja)
WO (1) WO2018156192A1 (ja)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US20180344286A1 (en) * 2017-06-01 2018-12-06 General Electric Company System and methods for at-home ultrasound imaging
US10916058B2 (en) * 2017-09-21 2021-02-09 Becton, Dickinson And Company Augmented reality devices for hazardous contaminant testing
CN209559735U (zh) 2017-09-21 2019-10-29 贝克顿·迪金森公司 用于引导收集有害污染物样本的系统
CN111108214B (zh) 2017-09-21 2023-10-13 贝克顿·迪金森公司 危险污染物收集试剂盒和快速测试
CN209400538U (zh) 2017-09-21 2019-09-17 贝克顿·迪金森公司 引导从表面收集有害污染物样品的模板和包括其的系统
EP3685159A4 (en) 2017-09-21 2021-06-09 Becton, Dickinson and Company KIT FOR SAMPLING HAZARDOUS POLLUTANTS AND QUICK TEST
CN111278987B (zh) 2017-09-21 2024-02-23 贝克顿·迪金森公司 以高拾取和脱落效率收集有害污染物的采样系统和技术
AU2018337650A1 (en) 2017-09-21 2020-04-09 Becton, Dickinson And Company High dynamic range assays in hazardous contaminant testing
US10614616B1 (en) * 2017-09-26 2020-04-07 Amazon Technologies, Inc. Virtual reality user interface generation
USD916860S1 (en) 2017-09-26 2021-04-20 Amazon Technologies, Inc. Display system with a virtual reality graphical user interface
USD896235S1 (en) 2017-09-26 2020-09-15 Amazon Technologies, Inc. Display system with a virtual reality graphical user interface
JP2019079144A (ja) * 2017-10-20 2019-05-23 オリンパス株式会社 作業支援システム，撮像装置，ウェアラブル装置，作業支援方法
US10734119B2 (en) * 2018-01-11 2020-08-04 International Business Machines Corporation Body centric communication and authentication with an active implanted medical device
US20190252063A1 (en) * 2018-02-14 2019-08-15 International Business Machines Corporation Monitoring system for care provider
US11157845B2 (en) * 2018-03-30 2021-10-26 At&T Intellectual Property I, L.P. Deviations from workflows associated with physical items
JPWO2019208654A1 (ja) * 2018-04-27 2021-04-30 富士フイルム株式会社 内視鏡検査情報分析装置、内視鏡検査情報入力支援システム、及び内視鏡検査情報分析方法
EP3788570A1 (en) * 2018-04-30 2021-03-10 Telefonaktiebolaget LM Ericsson (publ) Automated augmented reality rendering platform for providing remote expert assistance
EP3788510A4 (en) * 2018-04-30 2021-12-08 Hewlett-Packard Development Company, L.P. VISUAL OVERLAYS BASED ON OPERATOR CHARACTERISTICS
WO2019226688A1 (en) 2018-05-22 2019-11-28 Agilent Technologies, Inc. Method and system for implementing augmented reality (ar)-based assistance within work environment
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11116587B2 (en) 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
US11315667B2 (en) * 2018-08-13 2022-04-26 Zoll Medical Corporation Patient healthcare record templates
EP3621086A1 (en) * 2018-09-06 2020-03-11 Koninklijke Philips N.V. Augmented reality user guidance during examinations or interventional procedures
AT521845B1 (de) * 2018-09-26 2021-05-15 Waits Martin Verfahren zur Fokuseinstellung einer Filmkamera
US20210225502A1 (en) * 2018-10-12 2021-07-22 Sony Corporation An operating room control system, method, and program
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
EP3660860A1 (de) * 2018-11-27 2020-06-03 Siemens Healthcare GmbH Verfahren und vorrichtung zur steuerung einer anzeigeeinheit in einem medizintechnischen gerätesystem
WO2020120180A1 (en) * 2018-12-10 2020-06-18 Koninklijke Philips N.V. Systems and methods for augmented reality-enhanced field services support
US11361040B2 (en) * 2019-01-11 2022-06-14 Johnson Controls Tyco IP Holdings LLP Systems and methods for providing persona-adjusted data
JP7479385B2 (ja) 2019-01-28 2024-05-08 ベクトン・ディキンソン・アンド・カンパニー 一体化されたスワブ及び検査デバイスを有する有害汚染物質採取デバイス
US11645745B2 (en) * 2019-02-15 2023-05-09 Surgical Safety Technologies Inc. System and method for adverse event detection or severity estimation from surgical data
US20200273560A1 (en) 2019-02-21 2020-08-27 Theator inc. Surgical image analysis to determine insurance reimbursement
KR102572006B1 (ko) 2019-02-21 2023-08-31 시어터 인코포레이티드 수술 비디오의 분석을 위한 시스템 및 방법
EP3928326A4 (en) * 2019-02-22 2022-11-23 Identi Healthcare Ltd. MEDICAL SUPPLIES MANAGEMENT APPARATUS, SYSTEMS, AND METHODS
US11733781B2 (en) * 2019-04-02 2023-08-22 Project Dasein Llc Leveraging machine learning and fractal analysis for classifying motion
US20200365258A1 (en) * 2019-05-17 2020-11-19 David J. Langer Apparatus for generating and transmitting annotated video sequences in response to manual and image input devices
US11048760B1 (en) * 2019-07-31 2021-06-29 Splunk Inc. Techniques for placing content in and applying layers in an extended reality environment
US20210090736A1 (en) * 2019-09-24 2021-03-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for anomaly detection for a medical procedure
US11488027B2 (en) 2020-02-21 2022-11-01 Optum, Inc. Targeted data retrieval and decision-tree-guided data evaluation
EP3886112A1 (en) * 2020-03-26 2021-09-29 Roche Diagnostics GmbH Method and devices for tracking laboratory resources
US20210313050A1 (en) 2020-04-05 2021-10-07 Theator inc. Systems and methods for assigning surgical teams to prospective surgical procedures
US20210358584A1 (en) * 2020-05-12 2021-11-18 International Business Machines Corporation Risk based presentation of healthcare protocols
EP3923298A1 (en) * 2020-06-11 2021-12-15 Koninklijke Philips N.V. Image-based adapting of medical equipment
WO2022035910A1 (en) * 2020-08-10 2022-02-17 Orcana Inc. Method and platform for portable remote support during medical device implantation using augmented reality devices
CN111982116A (zh) * 2020-08-13 2020-11-24 上海联影医疗科技股份有限公司 诊疗环境内的ar导航方法、装置、服务器设备及存储介质
US11896323B2 (en) * 2020-09-01 2024-02-13 Aibolit Technologies, Llc System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure
CN112099629B (zh) * 2020-09-11 2024-04-16 河北冀联人力资源服务集团有限公司 一种提供工作操作指引的方法和系统
EP4268706A1 (en) * 2020-12-25 2023-11-01 Shenzhen Mindray Bio-Medical Electronics Co., Ltd Medical information display system and medical system
WO2022150480A1 (en) * 2021-01-08 2022-07-14 Expanded Existence, Llc System and method for medical procedure room supply and logistics management
WO2022150419A1 (en) * 2021-01-08 2022-07-14 Expanded Existence, Llc System and method for medical procedure room set-up optimization
US11854074B1 (en) 2021-01-12 2023-12-26 Wells Fargo Bank, N.A. Geolocation-based mesh automatic lending network
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
US11776004B1 (en) 2021-01-12 2023-10-03 Wells Fargo Bank, N.A. Systems and methods for geolocation-based city and community promoted augmented reality rewards
US11556951B1 (en) 2021-01-12 2023-01-17 Wells Fargo Bank, N.A. Systems and methods for geolocation-based city and community promoted augmented reality rewards
US11694018B2 (en) * 2021-01-29 2023-07-04 Salesforce, Inc. Machine-learning based generation of text style variations for digital content items
CN116868163A (zh) * 2021-02-11 2023-10-10 纽奥斯通讯有限公司 医疗智能系统和方法
US11501502B2 (en) * 2021-03-19 2022-11-15 International Business Machines Corporation Augmented reality guided inspection
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11436806B1 (en) * 2021-04-07 2022-09-06 Penumbra, Inc. Dual perspective rendering in virtual reality
US11681539B2 (en) 2021-05-28 2023-06-20 International Business Machines Corporation Transforming asset operation video to augmented reality guidance model
CN113239447B (zh) * 2021-06-11 2023-08-15 重庆电子工程职业学院 室内管路异常探测系统及方法
WO2022271668A1 (en) 2021-06-22 2022-12-29 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
CN113730715B (zh) * 2021-10-15 2023-10-03 核工业总医院 一种遥控麻醉辅助控制方法、装置、电子设备及存储介质
EP4177905A1 (en) * 2021-11-09 2023-05-10 Koninklijke Philips N.V. Systems and methods for extracting diagnostic and resolution procedures from heterogenous information sources
WO2023083647A1 (en) * 2021-11-09 2023-05-19 Koninklijke Philips N.V. Systems and methods for extracting diagnostic and resolution procedures from heterogenous information sources
KR102504405B1 (ko) 2021-11-26 2023-02-28 한국생산기술연구원 객체 어포던스 시각화를 통한 작업 가이드라인을 생성하는 사용자 인터페이스 제공 방법 및 그 시스템
US11627547B1 (en) 2022-06-07 2023-04-11 Rev Llc Data-driven encampment management systems and methods
US20230401507A1 (en) * 2022-06-13 2023-12-14 International Business Machines Corporation Support device deployment
WO2024007785A1 (en) * 2022-07-04 2024-01-11 Mediatek Inc. Method and user equipment for reporting assistance information
US20240013902A1 (en) * 2022-07-07 2024-01-11 CalmWave, Inc. Information Management System and Method
EP4345839A1 (en) * 2022-09-29 2024-04-03 Koninklijke Philips N.V. Assessing operator behavior during a medical procedure
WO2024080977A1 (en) * 2022-10-11 2024-04-18 Carefusion 303, Inc. Intelligent infusion based on anticipating procedural events

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130093829A1 (en) * 2011-09-27 2013-04-18 Allied Minds Devices Llc Instruct-or
US20150187038A1 (en) * 2013-12-27 2015-07-02 General Electric Company System for integrated protocol and decision support
WO2015116805A1 (en) * 2014-01-29 2015-08-06 Becton, Dickinson And Company System and method for collection confirmation and sample tracking at the clinical point of use
WO2016078919A1 (en) * 2014-11-18 2016-05-26 Koninklijke Philips N.V. User guidance system and method, use of an augmented reality device
JP2017510880A (ja) * 2014-01-29 2017-04-13 ベクトン・ディキンソン・アンド・カンパニーＢｅｃｔｏｎ， Ｄｉｃｋｉｎｓｏｎ Ａｎｄ Ｃｏｍｐａｎｙ 臨床的な使用時に収集確認およびサンプル追跡を行うためのシステムおよび方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745387A (en) 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
US6230142B1 (en) * 1997-12-24 2001-05-08 Homeopt, Llc Health care data manipulation and analysis system
US6551243B2 (en) * 2001-01-24 2003-04-22 Siemens Medical Solutions Health Services Corporation System and user interface for use in providing medical information and health care delivery support
DE10128521A1 (de) * 2001-06-13 2003-01-02 Siemens Ag Verfahren zur Überwachung telemedizinischer Gesundheitsdienstleistungen
WO2004025411A2 (en) * 2002-09-13 2004-03-25 Natural Selection, Inc. Intelligently interactive profiling system and method
US8073731B1 (en) * 2003-12-30 2011-12-06 ProcessProxy Corporation Method and system for improving efficiency in an organization using process mining
US7774044B2 (en) * 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
JP4873384B2 (ja) * 2004-09-16 2012-02-08 オリンパス株式会社 医療行為管理方法ならびにそれを利用した管理サーバおよび医療行為管理システム
US7331929B2 (en) * 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
US20080059292A1 (en) * 2006-08-29 2008-03-06 Myers Lloyd N Systems and methods related to continuous performance improvement
US7716150B2 (en) * 2006-09-28 2010-05-11 Microsoft Corporation Machine learning system for analyzing and establishing tagging trends based on convergence criteria
US20080106374A1 (en) * 2006-11-02 2008-05-08 Upmc Patient Room Information System
US7518502B2 (en) * 2007-05-24 2009-04-14 Smith & Nephew, Inc. System and method for tracking surgical assets
US8688607B2 (en) * 2007-11-12 2014-04-01 Debra Pacha System and method for detecting healthcare insurance fraud
US20130006649A1 (en) * 2008-09-26 2013-01-03 Vasu Rangadass System and Method Healthcare Diagnostics and Treatment
WO2010045459A1 (en) * 2008-10-15 2010-04-22 Workscape, Inc. Benefits management for enterprise-level human capital management
US20100167248A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
US20110153341A1 (en) 2009-12-17 2011-06-23 General Electric Company Methods and systems for use of augmented reality to improve patient registration in medical practices
US20140031668A1 (en) 2010-09-08 2014-01-30 Disruptive Navigational Technologies, Llc Surgical and Medical Instrument Tracking Using a Depth-Sensing Device
US20120301854A1 (en) * 2011-05-26 2012-11-29 Medprodigy, Inc. Computer program, method, and system for physician learning and reference content
US8686851B2 (en) 2011-06-08 2014-04-01 General Electric Company System and method for rapid location of an alarm condition
US9256711B2 (en) 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
US9595115B1 (en) * 2011-09-19 2017-03-14 Amazon Technologies, Inc. Visualizing change in augmented reality environments
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US20140328570A1 (en) * 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
CN109738621B (zh) 2012-05-14 2021-05-11 高斯外科公司 用于估计液体罐中的血液成分的量的系统和方法
US10650925B2 (en) * 2013-05-24 2020-05-12 Carefusion 303, Inc. Automated utilization driven inventory management
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US20160246929A1 (en) 2013-10-07 2016-08-25 President And Fellows Of Harvard College Computer implemented method, computer system and software for reducing errors associated with a situated interaction
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
FR3032544B1 (fr) 2015-02-05 2018-03-09 Schneider Electric Industries Sas Procede de gestion de l'affichage, produit programme d'ordinateur et dispositif electronique associes
US20160306505A1 (en) * 2015-04-17 2016-10-20 Avincel Group, Inc. Computer-implemented methods and systems for automatically creating and displaying instant presentations from selected visual content items
US20170061088A1 (en) * 2015-06-19 2017-03-02 Healthcare Value Analytics, LLC System and method for determining and indicating value of healthcare
US9824437B2 (en) * 2015-12-11 2017-11-21 Daqri, Llc System and method for tool mapping
US10339497B2 (en) 2016-07-21 2019-07-02 Ebay Inc. System and method for dynamic inventory management
KR102662173B1 (ko) * 2017-01-11 2024-04-30 매직 립, 인코포레이티드 의료 보조기
US11527321B2 (en) * 2017-01-17 2022-12-13 Koninklijke Philips N.V. Augmented reality for predictive workflow in an operating room
US20210327304A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equpment systems
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
AU2018262533B2 (en) * 2017-05-05 2024-01-18 Stryker European Operations Limited Surgical navigation system
US20210267710A1 (en) * 2018-08-16 2021-09-02 Cartosense Private Limited Visual guidance for aligning a physical object with a reference location
US11786206B2 (en) * 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
US20220335696A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Mixed reality feedback systems that cooperate to increase efficient perception of complex data feeds

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130093829A1 (en) * 2011-09-27 2013-04-18 Allied Minds Devices Llc Instruct-or
US20150187038A1 (en) * 2013-12-27 2015-07-02 General Electric Company System for integrated protocol and decision support
WO2015116805A1 (en) * 2014-01-29 2015-08-06 Becton, Dickinson And Company System and method for collection confirmation and sample tracking at the clinical point of use
JP2017510880A (ja) * 2014-01-29 2017-04-13 ベクトン・ディキンソン・アンド・カンパニーＢｅｃｔｏｎ， Ｄｉｃｋｉｎｓｏｎ Ａｎｄ Ｃｏｍｐａｎｙ 臨床的な使用時に収集確認およびサンプル追跡を行うためのシステムおよび方法
WO2016078919A1 (en) * 2014-11-18 2016-05-26 Koninklijke Philips N.V. User guidance system and method, use of an augmented reality device
JP2018503416A (ja) * 2014-11-18 2018-02-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザガイダンスシステム及び方法、拡張現実デバイスの使用

Also Published As

Publication number Publication date
CN110301012A (zh) 2019-10-01
WO2018156192A1 (en) 2018-08-30
EP3586253A1 (en) 2020-01-01
US11250947B2 (en) 2022-02-15
US20180247024A1 (en) 2018-08-30
US10991461B2 (en) 2021-04-27
JP2020510915A (ja) 2020-04-09
EP3703070A1 (en) 2020-09-02
US20210225497A1 (en) 2021-07-22
JP6949128B2 (ja) 2021-10-13
US20180247023A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
JP6949128B2 (ja) システム
US20220383998A1 (en) Artificial-intelligence-based facilitation of healthcare delivery
US11227686B2 (en) Systems and methods for processing integrated surgical video collections to identify relationships using artificial intelligence
US11809431B2 (en) System and method for achieving goals
US10679754B2 (en) Systems and methods to improve lung function protocols
US20210142907A1 (en) System for Surgical Decisions Using Deep Learning
US20210313051A1 (en) Time and location-based linking of captured medical information with medical records
CA2899006A1 (en) System and method for augmenting healthcare-provider performance
WO2021207016A1 (en) Systems and methods for automating video data management during surgical procedures using artificial intelligence
WO2019136137A1 (en) System and method for automated healthcare service
Li et al. A cyber-physical management system for delivering and monitoring surgical instruments in the OR
Pauker et al. How (should) physicians think?: a journey from behavioral economics to the bedside
US20220093220A1 (en) System and method for patient assessment using disparate data sources and data-informed clinician guidance via a shared patient/clinician user interface
US20240135301A1 (en) Intraoperative video review
Goel et al. DETERMINING THE ‘RESPONSIBILITY’PARADOX THE CRIMINAL LIABILITY OF ARTIFICIAL INTELLIGENCE IN THE HEALTHCARE SECTOR
US20220061681A1 (en) Systems and methods for human behavior management in medical and behavioral treatment
Mehta et al. Patient health record system
Cafiero et al. Improving Healthcare by Designing AI-Human-Centered Systems
Pickering et al. The Impact of COVID-19 on California’s Plans for Caring for its Aging Population
Pickering et al. The Impact of COVID-19 on California's Plans for Caring for its Aging Population: Technology Adoption and Employment
Božić Roles of Artifical Intelligence in Various eHealth Applications
Krcmar Digitizing Health Care Processes using Augmented Reality Mobile Health Applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210317

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220323

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221012