JP2021512440A - 患者エンゲージメントのシステムおよび方法 - Google Patents

患者エンゲージメントのシステムおよび方法 Download PDF

Info

Publication number
JP2021512440A
JP2021512440A JP2020561606A JP2020561606A JP2021512440A JP 2021512440 A JP2021512440 A JP 2021512440A JP 2020561606 A JP2020561606 A JP 2020561606A JP 2020561606 A JP2020561606 A JP 2020561606A JP 2021512440 A JP2021512440 A JP 2021512440A
Authority
JP
Japan
Prior art keywords
patient
display
dimensional model
view
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020561606A
Other languages
English (en)
Inventor
ゲリ，アロン，ヤコブ
アヴィサル，モルデチャイ
ザッカーマン，アロン
Original Assignee
サージカル シアター インコーポレイテッド
サージカル シアター インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サージカル シアター インコーポレイテッド, サージカル シアター インコーポレイテッド filed Critical サージカル シアター インコーポレイテッド
Publication of JP2021512440A publication Critical patent/JP2021512440A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Bioethics (AREA)
  • Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

方法は、患者の静的医療画像を記憶することと、患者の医療画像を患者の解剖学的構造の３次元モデルに変換することによって、３次元モデルを生成することと、３次元モデルを記憶することと、第１のディスプレイ上で、ユーザに、対話的な形で患者の３次元モデルを表示することと、第２のディスプレイ上で、患者に、第１のディスプレイ上で対話的な形で同時に表示される３次元モデルを表示することと、患者に適合された医療に関する情報を表す明らかにする材料をユーザから受け入れるように構成された入力インターフェースをユーザに提供することと、前記明らかにする材料を用いて変更された形で第１のディスプレイ上に３次元モデルを表示することと、前記明らかにする材料を用いて変更された形で第２のディスプレイ上にも３次元モデルを表示することとを含む。【選択図】図１

Description

関連出願の相互参照
本願は、参照によってその全体が本明細書に組み込まれている、２０１８年１月２６日に出願した米国特許仮出願第６２／６２２５８１号からの優先権を主張するものである。
本開示は、外科処置の分野に関し、より具体的には患者エンゲージメントに関する。
複雑な外科処置に直面する時に、患者は、しばしば、手術までの数日または数週間に恐怖および不安を経験する場合がある。これは、患者が処置を明瞭に理解せず、したがって何を期待すべきかを知らないことの結果である場合がある。外科処置の前に患者をエンゲージさせ、教育することが、この恐怖および不安を軽減するのを助ける可能性がある。患者の病理学的状況および提案される解決策に関する、治療する医師と患者との間のより明瞭なコミュニケーションは、患者が感じる可能性がある疑念を克服し、一方の患者と他方の医師およびヘルスケア・プロバイダとの間の信頼を確立するのに重要である。また、これは、ヘルスケア・プロバイダが現在活動する競争環境と、医師およびプロバイダを選択する際に患者が直面する多数のオプションとに起因して重要である。さらに、患者にエンゲージさせ、処置に関して患者を教育することによって、患者は、複雑化なしに、フォロー・アップ・ケアのために病院に戻る必要なしに、正しい回復を保証するのに適当なケアおよびステップを講じる可能性がより高くなる。しかし、解剖学的構造または３Ｄモデルの画像を患者に見せるなど、患者をエンゲージさせ、教育する既存の技法は、特に手術が抽象的なまたは単独の画像もしくは３Ｄモデルの文脈ですら理解がむずかしい解剖学的構造の部分を含む時に、有効ではない可能性がある。
さらに、外科医または他の医療専門家が、病院の規制を満足するために、患者のエンゲージメントに関するデータを収集することが望ましい場合がある。たとえば、病院は、患者が外科処置に関する情報を提示されたこと、患者がその処置を理解したこと、および患者がその外科処置に同意することの、何らかの形の承諾書を患者が提供することを要求する場合がある。しかし、患者エンゲージメントを文書化する既存の形は、効率的または有効ではない場合がある。さらに、患者エンゲージメントを文書化する既存の形は、複数のステップを含む場合がある複雑な外科処置のすべてのステップならびにそのような処置に関連するリスクを患者が真に理解することの保証に関して、正しいデータを提供しない場合がある。
最後に、外科処置の前の協議に関して患者とエンゲージする時に、その一部が患者および／または主な治療する医師に関してリモート位置に配置される可能性がある複数の医療専門家を含めることが有益である場合がある。患者をエンゲージさせる既存のプロトコルおよび手順は、リモートに配置された医療専門家をプロセスに含めることを可能にせず、またはこれに対処しない場合がある。
患者の解剖学的構造のシミュレーションを介して患者をエンゲージさせるシステムは、第１のディスプレイと、第２のディスプレイと、１つまたは複数のプロセッサ、１つまたは複数のコンピュータ可読有形ストレージ・デバイス、および１つまたは複数のプロセッサのうちの少なくとも１つによる実行のために１つまたは複数のストレージ・デバイスのうちの少なくとも１つに記憶されたプログラム命令を含むコンピュータとを含む。プログラム命令は、患者の静的医療画像を画像データベースに記憶し、患者の医療画像を３次元モデルに変換することによって、患者の解剖学的構造の３次元モデルを生成し、患者の解剖学的構造の３次元モデルをモデル・データベースに記憶し、第１のディスプレイ上で、医療サービスのプロバイダであるユーザに、対話的な形で患者の３次元モデルを表示し、第２のディスプレイ上で、患者に、第１のディスプレイ上で対話的な形で同時に表示される患者の３次元モデルを表示し、患者に適合された医療に関する情報を表す明らかにする材料をユーザから受け入れるように構成された入力インターフェースをユーザに提供し、ユーザからの明らかにする材料の受信に応答して、前記明らかにする材料を用いて変更された形で第１のディスプレイ上に３次元モデルを表示し、ユーザからの明らかにする材料の受信に応答して、前記明らかにする材料を用いて変更された形で第２のディスプレイ上にも３次元モデルを表示するように構成される。
患者をエンゲージさせるのに患者の解剖学的構造のシミュレーションを使用する方法は、患者の静的医療画像を画像データベースに記憶するステップと、患者の医療画像を患者の解剖学的構造の３次元モデルに変換するためにコンピュータ・システム上でソフトウェアを実行することによって、３次元モデルを生成するステップと、患者の解剖学的構造の３次元モデルをモデル・データベースに記憶するステップと、第１のディスプレイ上で、医療サービスのプロバイダであるユーザに、対話的な形で患者の３次元モデルを表示するためにコンピュータ・システム上でソフトウェアを実行するステップと、第２のディスプレイ上で、患者に、第１のディスプレイ上で対話的な形で同時に表示される患者の３次元モデルを表示するためにコンピュータ・システム上でソフトウェアを実行するステップと、患者に適合された医療に関する情報を表す明らかにする材料をユーザから受け入れるように構成された入力インターフェースをユーザに提供するためにコンピュータ・システム上でソフトウェアを実行するステップと、ユーザからの明らかにする材料の受信に応答して、前記明らかにする材料を用いて変更された形で第１のディスプレイ上に３次元モデルを表示するためにコンピュータ・システム上でソフトウェアを実行するステップと、ユーザからの明らかにする材料の受信に応答して、前記明らかにする材料を用いて変更された形で第２のディスプレイ上にも３次元モデルを表示するためにコンピュータ・システム上でソフトウェアを実行するステップとを含む。
添付図面では、下で提供される詳細な説明と一緒に、請求される発明の例示的実施形態を説明する構造が示される。同様の要素は、同一の符号を用いいて識別される。単一の構成要素として示された要素を複数の構成要素に置換でき、複数の構成要素として示された要素を単一の構成要素に置換できることを理解されたい。図面は、原寸通りではなく、ある種の要素の比率が、例示のために誇張される場合がある。
例の患者エンゲージメント・システムを示す図である。 例の患者エンゲージメント・システムの例の拡張現実感アプリケーションを示す図である。 例の患者エンゲージメント・システムを示す図である。 例の患者エンゲージメント・システムの例の患者同意アプリケーションを示す図である。 例の患者エンゲージメント・システムを示す図である。 例の患者エンゲージメント・システムを示す図である。 例の患者エンゲージメント・システムの例の電子カルテ・アプリケーションを示す図である。 例の患者エンゲージメント・システムの例の患者エンゲージメント・コンピュータを示すブロック図である。 患者をエンゲージさせる例の方法を示す図である。 例の患者エンゲージメント・コンピュータを実施する例のコンピュータを示す図である。
以下の頭字語および定義は、この詳細な説明の理解を助ける。
ＡＲ 拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ） その要素がサウンド、ビデオ、またはグラフィックスなどのコンピュータ生成された感覚要素によって強化されている、物理的な実世界環境のライブ・ビュー。
ＶＲ 仮想現実感（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ） 変化する度合で人によって探検され、対話され得る、３次元のコンピュータ生成された環境。
ＨＭＤ ヘッド・マウント・ディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）は、ＡＲ環境またはＶＲ環境で使用できるヘッドセットを指す。ＨＭＤは、有線または無線とすることができる。ＨＭＤは、ヘッドフォン、マイクロホン、ＨＤカメラ、赤外線カメラ、ハンド・トラッカ、位置トラッカ、その他などの１つまたは複数のアドオンを含む場合もある。
コントローラ ボタンと方向コントローラとを含むデバイス。コントローラは、有線または無線とすることができる。このデバイスの例は、Ｘｂｏｘゲームパッド、ＰｌａｙＳｔａｔｉｏｎゲームパッド、Ｏｃｕｌｕｓ ｔｏｕｃｈなどである。
ＳＮＡＰモデル ＳＮＡＰケースは、ＤＩＣＯＭファイル・フォーマットの、患者の１つまたは複数のスキャン（ＣＴ、ＭＲ、ｆＭＲ、ＤＴＩなど）を使用して作成された３Ｄテクスチャまたは３Ｄ物体を指す。これは、３Ｄテクスチャ内の特定の範囲をフィルタリングし、他の範囲を着色するセグメンテーションの異なるプリセットをも含む。これは、特定の点または関心を持たれている解剖学的構造をマークする３Ｄ形状、３Ｄラベル、３Ｄ測定マーカー、案内用の３Ｄ矢印、および３Ｄ外科ツールを含むシーン内に配置された３Ｄ物体をも含むことができる。外科ツールおよびデバイスは、教育と、特に動脈瘤クリップのサイズを適当に定めるための患者固有リハーサルとのためにモデル化されている。
アバタ アバタは、仮想環境の内部でユーザを表す。
ＭＤ６ＤＭ 多次元完全球面仮想現実感６自由度モデル（Ｍｕｌｔｉ Ｄｉｍｅｎｓｉｏｎ ｆｕｌｌ ｓｐｈｅｒｉｃａｌ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ， ６ Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ Ｍｏｄｅｌ）。これは、完全球面仮想現実感環境で医師が介入を経験し、計画し、実行し、ナビゲートすることを可能にする、グラフィカル・シミュレーション環境を提供する。
参照によって本明細書に組み込まれている米国特許第８３１１７９１号で前に説明された手術リハーサルおよび準備ツールは、静的なＣＴおよびＭＲＩの医療画像をリアル・タイムで医学的手技をシミュレートするのに医師によって使用され得る動的で対話型の多次元完全球面仮想現実感６自由度モデル（「ＭＤ６ＤＭ」）に変換するために開発された。ＭＤ６ＤＭは、完全球面仮想現実感環境で医師が介入を経験し、計画し、実行し、ナビゲートすることを可能にするグラフィカル・シミュレーション環境を提供する。具体的には、ＭＤ６ＤＭは、完全ボリュメトリック球面仮想現実感モデル内で球面仮想現実感６自由度（すなわち、線形ｘ、ｙ、ｚおよび角度ヨー、ピッチ、ロールーる）を与える、伝統的な２次元患者医療スキャンから構築された独自の多次元モデルを使用してナビゲートする能力を外科医に与える。
ＭＤ６ＤＭは、ＣＴ、ＭＲＩ、ＤＴＩなどを含む医療イメージングの患者自身のデータ・セットから構築され、患者固有である。外科医が望む場合には、Ａｔｌａｓ ｄａｔａなどの代表的な脳モデルを一体化して、部分的に患者固有のモデルを作成することができる。このモデルは、ＭＤ６ＤＭ上の任意の点からの３６０°球面ビューを与える。ＭＤ６ＤＭを使用すると、見る人は、仮想的に解剖学的構造の内部に位置決めされ、患者の体内に立っているかのように解剖学的構造と病理学的構造との両方を見、観察することができる。見る人は、上、下、肩越しなどで見ることができ、正確に患者内で見られる通りに、天然構造をお互いに関して見る。内部構造の間の空間的関係が保存され、ＭＤ６ＤＭを使用して了解され得る。
ＭＤ６ＤＭのアルゴリズムは、医療画像情報をとり、これを球面モデルすなわち、解剖学的構造の内部を「飛んでいる」間に任意の角度から見ることのできる完全な連続リアル・タイム・モデルに構築する。具体的には、ＣＴ、ＭＲＩなどが実際の有機体を撮影し、これを数千個の点から作られた数百枚の薄いスライスに分解した後に、ＭＤ６ＤＭは、これを、内部と外部との両方からのこれらの点のそれぞれの３６０°ビューを表すことによって、３Ｄモデルに戻す。
図１は、有効に効率的に患者をエンゲージさせるために、事前に構築されたＭＤ６ＤＭモデルを活用する、例の患者エンゲージメント・システム１００を示す。具体的には、患者エンゲージメント・システム１００は、医師が、外科処置に関して患者を教育すると同時に、外科処置および関連するリスクの患者の理解を同時に自動的に文書化することを可能にする。
患者エンゲージメント・システム１００は、ＭＤ６ＤＭデータ・ストア１０４と通信し、これから事前に構築されたＭＤ６ＤＭ ３６０モデル（図示せず）を受信する患者エンゲージメント・コンピュータ１０２を含む。一例では、患者エンゲージメント・コンピュータ１０２は、医師１０６または他のユーザもしくは管理者が、患者１０８との協議の前に３６０モデルを変更することを可能にする。たとえば、医師は、協議中に有することまたは患者１０８に示すことが有益である可能性があるメモまたは他の適切な情報を３６０モデルに追加することができる。
患者エンゲージメント・コンピュータ１０２は、３６０仮想モデルがデータ・ストア１０４からロードされた後に、これを使用して患者１０８に医療を説明することによって、医師１０６が患者１０８をエンゲージさせることを可能にする。具体的には、医師１０６は、コントローラ１１０または他の適切な入力デバイスを介して患者エンゲージメント・コンピュータ１０２と対話し、３６０モデルの中および周囲にナビゲートし、この３６０モデルは、患者１０８の解剖学的構造を表す。言い換えると、医師１０６は、患者１０８の身体の内部を仮想的に旅行し、身体の内部を飛ぶことができる。患者ＨＭＤ １１２は、医師１０６が３６０モデルをナビゲートする時に、患者１０８が後に続き、３６０モデルによって表される彼／彼女自身の解剖学的構造を仮想的に見ることを可能にする。これは、患者エンゲージメント・コンピュータ１０２が、コントローラ１１０からナビゲーション制御命令を受信することと、適当な画像をレンダリングするためにこれらの命令を翻訳することによって可能にされ、この適当な画像は、患者１０８が見るために、患者エンゲージメント・コンピュータ１０２が患者ＨＭＤ １１２に通信する。これは、コントローラ１１０を介する医師１０６からの入力に基づいて、リアル・タイムで達成される。
患者エンゲージメント・システム１００は、患者エンゲージメント・コンピュータ１０２によって生成され、患者ＨＭＤ １１２に通信されるものと同一の画像を受信するために、医師ＨＭＤ １１４をさらに含む。したがって、医師１０６は、３６０モデルによって表された解剖学的構造の患者１０８が見ているものと同一の同時仮想３６０ビューを与えられる。医師ＨＭＤ １１４によって提供される仮想ビューは、患者１０８をエンゲージさせるために、医師がコントローラ１１０を使用して３６０モデル内の位置を正確に同定し、そこにナビゲートすることをも可能にする。言い換えると、患者ＨＭＤ １１２は、医師ＨＭＤ １１４の画像および対話を鏡映する。
一例では、患者エンゲージメント・システム１００は、患者エンゲージメント・コンピュータ１０２によって生成され、患者ＨＭＤ １１２に通信されるものと同一の画像を受信するために、ディスプレイ・スクリーン１１６を含む。したがって、一例では、医師１０６は、医師ＨＭＤ １１４を使用するのではなくディスプレイ・スクリーン１１６上で３６０モデルを見ることができ、患者１０８は、患者ＨＭＤ １１２を介して３６０モデルを見る。一例では、医師１０６と患者１０８との両方が、一緒に同時にディスプレイ・スクリーン１１４上で３６０モデルによって表される解剖学的構造を見ることができる。
医師１０６が、３６０モデルによって表される解剖学的構造をナビゲートする時に、医師１０６は、実行される外科処置に関するさまざまな重要な点を説明するのを止めることによって、患者１０８をエンゲージさせる。たとえば、医師１０６は、解剖学的構造の異なる部分が何であるのかと、特に解剖学的構造の特定の部分に関して外科処置がどのように実行されるのかと、を説明することができる。医師１０６は、患者１０８をエンゲージさせ、患者１０８が実行される外科処置をよりよく理解するのを助けるために、解剖学的構造の異なる部分を視察またはナビゲートし、あるいは、解剖学的構造の同一部分の異なる透視図を得るために異なる側面および角度にナビゲートすることができる。医師１０６は、適宜、質問に答えるために立ち止まり、または部分または位置をもう一度説明するために、同じ道を引き返し、解剖学的構造内の位置に戻ってナビゲートすることができる。
一例では、患者エンゲージメント・コンピュータ１０２は、患者１０８が見るモデル３６０内に表示する、医師１０６のメモ、マーカー、または他のタイプの入力を示すデータ入力をコントローラ１１０から受信し、所望のメモ、マーカーなどを表すデータを表示のために患者ＨＭＤ １１２に通信することができる。たとえば、医師１０６は、医師１０６が関連箇所に関して単純に話すことと比較して、患者１０８にとってよりエンゲージする経験を創作するために、解剖学的構造内の特定の関連箇所を強調表示し、または外科処置が特定の箇所に関してどこでどのように実行されるのかに関するメモをとることを望む場合がある。一例では、そのようなメモまたは他のデータ入力を、後の参照のためにＭＤ６ＤＭデータ・ストア１０４内に３６０モデルと共に保存することができる。一例では、メモまたは他のデータは、クラウド１２０内に配置されたリモート・データ・ストア１１８に保存される。
一例では、医師１０６のメモは、解剖学的構造内の特定の関連箇所に対応するオーディオ説明を含むことができる。さらに、オーディオ説明は、複数の関連箇所に対応する複数の箇所を含むことができる。したがって、患者エンゲージメント・コンピュータ１０２は、オーディオが、解剖学的構造内の対応する関連箇所の提示と一致するタイミングで患者１０８に提示されるように、医師１０６によって準備されたオーディオ説明または他の適切なオーディオなどのオーディオを３６０モデルと同期化することができる。
例の患者エンゲージメント・コンピュータ１０２が、患者ＨＭＤ １１２を介して患者１０８に仮想現実感ビューを提供するものとして説明されるが、患者エンゲージメント・コンピュータ１０２が、一例で、患者ＨＭＤ １１２を介して患者１０８に混合現実感ビューまたは拡張現実感ビューを提供することもできることを了解されたい。そのような例では、図２に示されているように、患者拡張現実感ＨＭＤ ２０２および医師拡張現実感ＨＭＤ ２０４を半透明とすることができ、その結果、患者２０６は、医師２０８が外科処置について患者２０６に教育している間に医師２０８とのアイ・コンタクトを維持できると同時に、患者協議室２１２の内部の拡張されたビュー内で同時に３６０モデル２１０によって表される解剖学的構造を見られるようになる。したがって、図１で説明した患者エンゲージメント・コンピュータ１０２は、拡張現実感ビューまたは混合現実感ビューに適するように仮想３６０モデルを変更するように構成され得る。さらに、患者２０６および医師は、３６０モデル２１０が患者協議室２１２に関してどこにどのように提示されるのかを指示することができる。
一例では、図３に示されているように、患者エンゲージメント・システム１００は、医師１０６および患者１０８が、ＳＮＡＰモデル３０８が頭骨４０６の上にオーバーレイされた物理モデル頭骨３０６または解剖学的構造の他の適切な部分を見ることを可能にするために、医師拡張現実感ＨＭＤ ３０２および患者拡張現実感ＨＭＤ ３０４を含む。そのような例では、患者エンゲージメント・コンピュータ１０２は、それぞれ医師１０６および患者１０８の現在の位置および画角を示すトラッキング情報を受信し、判定された位置および画角に対応するＳＮＡＰ画像をリアル・タイムで生成し、生成された画像をそれぞれ医師拡張現実感ＨＭＤ ３０２および患者拡張現実感ＨＭＤ ３０４に通信する。これは、医師１０６および患者１０８が、物理モデル頭骨３０６を調べ、実際の脳の内部を見ているかのように内部の解剖学的構造を見ることを可能にする。トラッキング情報を活用することによって、医師１０６および患者１０８は、モデル頭骨３０６の回りを移動し、異なる位置および角度からこれを見る時に、モデル頭骨３０６のリアル・タイム調整された拡張現実感ビュー できる。これは、患者１０８エンゲージメントおよび実行される外科処置の理解をさらに促進する。
一例では、患者エンゲージメント・コンピュータ１０２は、患者１０８が医師１０６から外科処置に関する情報を受け取ったことと、患者１０８が処置および関連するリスクを理解したこととの確認を示すデータを受信し、記録する。たとえば、医師１０６および患者１０８が、解剖学的構造を通る視察または飛行および外科処置の議論を終了した時に、患者エンゲージメント・コンピュータ１０２は、患者１０８が処置を理解し合意することを示すために署名すべき、図４に示されたデジタル・フォーム４０２を患者に提示する。患者エンゲージメント・コンピュータ１０２は、必要に応じて後のアクセスのために署名された同意フォームを記憶する。一例では、患者エンゲージメント・コンピュータ１０２は、患者１０８が、患者ＨＭＤ １１２を介して３６０仮想モデル内で同意フォームに署名することを可能にすることができる。たとえば、患者１０８は、同意を示すチェック・ボックスを指すように３６０仮想モデル内のポインタを整列させる形で彼の手を動かすことによって、同意フォームに署名することができる。
一例では、患者エンゲージメント・コンピュータ１０２は、医師１０６が、協議中または飛行中に複数回、停止し、患者１０８に、同意するか処置の理解を確認するよう求めることを可能にする。たとえば、医師１０６が、解剖学的構造内の第１の位置にナビゲートし、外科処置の第１ステップまたは外科処置のある部分および適当な場合に関連するリスクを説明した後に、患者エンゲージメント・コンピュータ１０２は、患者１０８から入力を受け取った時に患者１０８が情報のその特定の部分を理解し、同意することを確認する仮想チェック・ボックスまたはなんらかの他の適切な入力の要求を患者１０８に提供することができる。その後、医師１０６は、外科処置の追加の情報またはステップの説明に進むことができ、患者エンゲージメント・コンピュータ１０２は、情報の後続のステップまたは部分ごとに、適宜、患者１０８同意を記録し続ける。同意プロセスを複数のステップに分解することは、医師１０６が情報のある特定の部分を強調することを可能にすることと、必要に応じて患者１０８が情報の各すべての特定の部分を理解することを保証することとによって、患者１０８エンゲージメントをさらに促進する
本明細書で説明するＨＭＤ、コンピュータ、およびデータ・ストアの間の通信を、有線接続または無線接続のいずれかを介して促進することができることを了解されたい。さらに、本明細書で説明する例が、単一の医師１０６と対話する単一の患者１０８を示すが、患者エンゲージメント・コンピュータ１０２が、同一室内の複数の当事者の間のエンゲージメントを促進することができることを了解されたい。たとえば、患者１０８の友人または親族が参加し、別のＨＭＤ（図示せず）またはディスプレイ・スクリーン１１６を介して同様にエンゲージされ得る。同様に、複数の医師が協議に参加し、患者１０８とエンゲージすることができる。複数の人が協議に同時にエンゲージする例では、各当事者は、対話を促進するために、３６０仮想モデル内で個々のアバタによって表される。
一例では、図５に示されているように、協議に参加する当事者のうちの１つまたは複数が、リモート位置に配置されてもよい。たとえば、医師１０６が、物理的に第１の病院５０２に位置し、協議に参加する患者が、自宅５０４に位置してもよい。第２の医師５０６が、第１の病院５０２から離れた第２の病院５１０から、患者エンゲージメント・コンピュータ１０２と通信している第２の医師ＨＭＤ ５０８を介して同一の協議に参加することができる。これは、異なるレベルの専門知識および専門化の複数の医師が協議に同時に参加することを可能にし、したがって、患者の経験をさらに改善する。
図５に示されたシナリオ以外に、さまざまな位置から協議に参加する当事者の他の適切な組合せを、患者エンゲージメント・コンピュータ１０２によって促進できることを了解されたい。たとえば、患者１０８が、第１の医師１０６と同一の病室内に物理的に位置しながら、第２の離れた病院５１０内の第２の医師５０６と対話することができる。
一例では、患者エンゲージメント・コンピュータ１０２は、患者１０８が、自宅５０４などのリモート位置から、前に説明したように同意／承諾書に署名することを可能にすることができる。一例では、図６に示されているように、患者エンゲージメント・コンピュータ１０２は、患者１０８が、医師１０６との最初の協議の後に、後刻に自宅でまたは蟻任意の便利な時および位置で協議を再検討し、最初の協議の後、実際の外科処置の時の前の任意の時に同意／承諾書に署名することを可能にすることができる。具体的には、患者エンゲージメント・コンピュータ１０２は、医師１０６と患者１０８との間の協議のレコーディングを自動的に生成し、医師１０６と患者１０８との間の協議中に取り込まれた任意の適切なオーディオを含む、協議中に経験された解剖学的構造を通る３６０仮想視察または飛行の患者エンゲージメント・ビデオ６０２を作成する。患者エンゲージメント・ビデオ６０２は、医師１０６が協議中または任意の他の適用可能な対話中に３６０モデルに追加した任意の適切なメモまたは追加情報をも含むことができる。患者エンゲージメント・コンピュータ１０２は、クラウド１２０内のリモート・データ・ストア１１８に患者エンゲージメント・ビデオ６０２をアップロードする。
患者エンゲージメント・コンピュータ１０２は、リモート・データ・ストア１１８の患者エンゲージメント・ビデオ６０２にアクセスするためのカスタマイズされたセキュア・ビデオ・リンク６０４をも作成する。したがって、許可されないアクセスが防がれる。患者エンゲージメント・コンピュータ１０２は、ビデオ・リンク６０４を医師１０６に通信する。医師１０６がリンク６０４を受信した後に、医師１０６は、患者エンゲージメント・ビデオ６０２を再検討し、編集し、または必要に応じて追加のメモを追加し、その後、ビデオ・リンク６０４を患者１０８に送る。
ビデオ・リンク６０４を、郵便、電子メール、テキスト・メッセージ、その他によるなど、任意の適切な手段を介して通信できることを了解されたい。一例では、患者エンゲージメント・コンピュータ１０２は、患者エンゲージメント・ビデオ６０２にどのようにアクセスすべきかに関する情報と共にビデオ・リンク６０４を含む、患者１０８用のプリントアウトを生成し、または協議の直後に他の適切な手段を介して患者１０８に直接にリンクを通信することができる。そのような例では、患者エンゲージメント・ビデオ６０２へのアクセスは、医師１０６がビデオを再検討し、承認し、患者１０８にアクセスを許可するまで、ロックされ得る。これは、医師が患者１０８にビデオ・リンク６０４を転送することを要求するという余分なステップを除去する。
患者エンゲージメント・ビデオ６０２がリモート・データ・ストア１１８にアップロードされた後に、最初の協議の後、実際の外科処置の日まで、患者１０８がエンゲージされ続けるために、患者エンゲージメント・ビデオ６０２は、患者１０８に便利なように、いつでも任意の位置から患者１０８によってアクセスされ得る。一例では、患者エンゲージメント・コンピュータ１０２は、患者１０８がどれほど頻繁にいつビデオ６０２にアクセスするのかを監視し、その情報を医師１０６に通信する。そのような情報を有することは、医師１０６が、外科処置の前に患者１０８とよりよく対話し、エンゲージさせることを可能にすることができる。
一例では、患者１０８が患者エンゲージメント・ビデオ６０２にアクセスしなかった、または要求される同意フォームを完成させなかったと患者エンゲージメント・コンピュータ１０２が判定する場合に、患者エンゲージメント・コンピュータ１０２は、電子メール、テキスト・メッセージ、電話呼、その他などの適切な通信方法を介して、患者１０８または医師１０６のいずれかまたは両方にアラートまたはリマインダを送ることができる。
患者エンゲージメント・ビデオ６０２が、ＨＩＰＡＡ規則または他の適用可能な取締規則および規定に従ってリモート・データ・ストア１１８で記憶され、許可されないアクセスが防がれることを了解されたい。
一例では、患者エンゲージメント・コンピュータ１０２は、電子カルテ（ＥＨＲ）システムなどの追加のデータ供給源（図示せず）と相互作用する。そのような例では、患者エンゲージメント・コンピュータ１０２は、３６０仮想モデルの提供に加えて、仮想的なまたは拡張された形で追加の適切なコンテンツまたは情報を患者に提供し、これによって、さらなるエンゲージメントを可能にすることができる。たとえば、図７に示されているように、患者に固有のＥＨＲレコードを検索し、仮想ビューまたは拡張ビューでＨＭＤを介してＥＨＲビュー７０２として患者に提供することができる。これは、医師と患者との間のエンゲージメントをさらに促進し、患者のカルテに含まれる特定の情報に関する議論を可能にすると同時に、異なるシステムまたはディスプレイの間で切り替える必要なしに、単一の仮想環境または拡張環境内で、実行される外科処置を議論することもできる。
図８は、例の患者エンゲージメント・コンピュータ８００（すなわち、図１の患者エンゲージメント・コンピュータ１０２）のブロック図を示す。患者エンゲージメント・コンピュータ８００は、ＨＭＤなどの第１のディスプレイ（図示せず）に患者の解剖学的構造を表す対話側３次元モデル（すなわち、前に説明した３６０仮想モデル）を提供するように構成されたディスプレイ・モジュールを含む。
患者エンゲージメント・コンピュータ８００は、第１のディスプレイを介する３次元モデルとの対話を示すデータ入力を受信するように構成された対話モジュール８０４をさらに含む。患者エンゲージメント・コンピュータ８００は、対話の患者の理解の確認の要求を３次元モデルに関連付けるように構成された理解モジュール８０６をさらに含む。一例では、対話は、解剖学的構造を通る経路に沿った移動のシミュレーションを含む。一例では、理解モジュール８０６は、経路内の複数の位置と共に患者の理解の確認の複数の要求を３次元モデルに関連付けるように構成される。一例では、対話は、解剖学的構造の一部にオーディオ・レコーディングを関連付けることを含む。一例では、対話は、解剖学的構造の一部にグラフィカル・メモを関連付けることを含む。
患者エンゲージメント・コンピュータ８００は、患者をエンゲージさせるように構成されたエンゲージメント・モジュール８０８をさらに含む。エンゲージメント・モジュール８０８は、第２のＨＭＤなどの第２のディスプレイに対話型３次元モデルを供給することと、３次元モデルとの対話を第２のディスプレイ上で鏡映することと、確認の関連する要求を第２のディスプレイに通信することと、対話の患者の理解の確認を示すデータを受信することとによって、患者をエンゲージさせる。
一例では、エンゲージメント・モジュール８０８は、対話型３次元モデルのビデオ表現、３次元モデルとの鏡映される対話、および確認の関連する要求を生成し、ビデオへのリンクを通信するようにさらに構成される。一例では、エンゲージメント・モジュール８０８は、リンクをアクティブ化し、これによってビデオへのアクセスを許可するようにさらに構成される。一例では、エンゲージメント・モジュール８０８は、リンクの通信の後に経過した時間の長さを監視し、患者の理解の確認を示すデータを受信せずに所定の時間が経過することを示すアラートを通信するようにさらに構成される。
一例では、患者エンゲージメント・コンピュータ８００は、患者に関連する電子カルテを受信し、その電子カルテを第１のディスプレイに供給するように構成された電子カルテ（「ＥＨＲ」）モジュール８１０をさらに含む。ＥＨＲモジュール８１０は、電子カルテとの対話を示すデータ入力を受信し、電子カルテを第２のディスプレイに供給し、電子カルテとの対話を第２のディスプレイ上に鏡映するようにさらに構成される。
一例では、第１および第２のディスプレイは、拡張現実感ヘッド・マウント・ディスプレイである。そのような例では、拡張現実感（「ＡＲ」）モジュール８１２が、物理的物体の第１のビューに関する第１の拡張現実感ヘッド・マウント・ディスプレイの第１の現在の位置および画角を示す第１のトラッキング情報を受信し、物理的物体の第２のビューに関する第２の拡張現実感ヘッド・マウント・ディスプレイの第２の現在の位置および画角を示す第２のトラッキング情報を受信するように構成される。ＡＲモジュール８１２は、第１のトラッキング情報に対応する３次元モデルの第１のビューを生成し、第２のトラッキング情報に対応する３次元モデルの第２のビューを生成するようにさらに構成される。ＡＲモジュール８１２は、第１の拡張現実感ヘッド・マウント・ディスプレイに３次元モデルの第１のビューを提供し（３次元モデルの第１のビューは、物体の第１のビューと整列し、これにオーバーレイする）、第２の拡張現実感ヘッド・マウント・ディスプレイに３次元モデルの第２のビューを提供する（３次元モデルの第２のビューは、物体の第２のビューと整列し、これにオーバーレイする）ようにさらに構成される。
図９は、患者をエンゲージさせる例の方法９００を示す流れ図である。ステップ９０２では、コンピュータ・システム上で実行するソフトウェアが、患者の記憶された医療画像を３次元モデルに変換することによって、患者の解剖学的構造の３次元モデルを生成し、患者の解剖学的構造の３次元モデルをモデル・データベースに記憶する。ステップ９０４では、コンピュータ・システム上で実行するソフトウェアが、医療サービスのプロバイダであるユーザに、第１のディスプレイ上で対話的な形で患者の３次元モデルを表示する。９０６では、コンピュータ・システム上で実行するソフトウェアが、患者に、第２のディスプレイ上で、第１ディスプレイ上で対話的な形で同時に表示される患者の３次元モデルを表示する。９０８では、コンピュータ・システム上で実行するソフトウェアが、ユーザに入力インターフェースを提供し、この入力インターフェースは、患者に適合された医療に関する情報を表す明らかにする材料をユーザから受け入れるように構成される。９１０では、ユーザからの明らかにする材料の受信に応答して、コンピュータ・システム上で実行するソフトウェアが、前記明らかにする材料を用いて変更された形で第１のディスプレイ上で３次元モデルを表示する。９１２では、ユーザからの明らかにする材料の受信に応答して、コンピュータ・システム上で実行するソフトウェアが、前記明らかにする材料を用いて変更された形で第２のディスプレイ上でも３次元モデルを表示する。
図１０は、図１〜図８の例の患者エンゲージメント・コンピュータ１０２を実施する例のコンピュータの概略図である。例のコンピュータ１０００は、ラップトップ、デスクトップ、ハンドヘルド・コンピュータ、タブレット・コンピュータ、スマートホン、サーバ、および他の同様のタイプのコンピューティング・デバイスを含む、さまざまな形のデジタル・コンピュータを表すことを意図されたものである。コンピュータ１０００は、バス１０１２を介してインターフェース１０１０によって動作可能に接続された、プロセッサ１００２、メモリ１００４、ストレージ・デバイス１００６、および通信ポート１００８を含む。
プロセッサ１００２は、コンピュータ８００内での実行のために、メモリ１００４を介して命令を処理する。例の実施形態では、複数のプロセッサを、複数のメモリと一緒に使用することができる。
メモリ１００４は、揮発性メモリまたは不揮発性メモリとすることができる。メモリ１００４は、磁気ディスクまたは光ディスクなど、コンピュータ可読媒体とすることができる。ストレージ・デバイス１００６は、フロッピ・ディスク・デバイス、ハード・ディスク・デバイス、光ディスク・デバイス、テープ・デバイス、フラッシュ・メモリ、相変化メモリ、または他の同様のソリッド・ステート・メモリ・デバイス、あるいは他の構成のストレージ・エリア・ネットワーク内のデバイスを含むデバイスのアレイなど、コンピュータ可読媒体とすることができる。コンピュータ・プログラム製品を、メモリ１００４またはストレージ・デバイス１００６などのコンピュータ可読媒体内で有形に実施することができる。
コンピュータ１０００を、ディスプレイ１０１４、プリンタ１０１６、スキャナ１０１８、およびマウス１０２０などの１つまたは複数の入力デバイスおよび出力デバイスに結合することができる。
当業者によって了解されるように、例の実施形態は、方法、システム、コンピュータ・プログラム製品、または前述の組合せとして実現され得、あるいは、一般にこれらを利用することができる。したがって、実施形態のいずれもが、コンピュータ・ハードウェア上での実行のためにストレージ・デバイスに記憶された実行可能命令を含む特殊化されたソフトウェアの形をとることができ、ソフトウェアは、媒体内で実施されたコンピュータ使用可能プログラム・コードを有するコンピュータ使用可能記憶媒体に記憶され得る。
データベースは、開示されるサーバまたは追加のコンピュータ・サーバ上で動作できる、ＭｙＳＱＬなどのオープン・ソース・ソリューションまたはＭｉｃｒｏｓｏｆｔ ＳＱＬなどのクローズド・ソリューションなど、市販コンピュータ・アプリケーションを使用して実施され得る。データベースは、上で開示した例の実施形態に使用されるデータ、モデル、およびモデル・パラメータを記憶するのにリレーショナル・パラダイムまたはオブジェクト指向パラダイムを利用することができる。そのようなデータベースを、本明細書で開示される特殊化された適用可能性のために既知のデータベース・プログラミング技法を使用してカスタマイズすることができる。
任意の適切なコンピュータ使用可能（コンピュータ可読）媒体を、実行可能命令を含むソフトウェアの記憶に利用することができる。コンピュータ使用可能媒体またはコンピュータ可読媒体は、たとえば、電子、磁気、光学、電磁、赤外線、または半導体のシステム、装置、デバイス、または伝搬媒体とすることができるが、これに限定されない。コンピュータ可読媒体のより特定の例（非網羅的リスト）は、１つまたは複数のワイヤを有する電気接続か、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラム可能読取専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、コンパクト・ディスク読取専用メモリ（ＣＤＲＯＭ）、または他の有形の光学ストレージ・デバイスもしくは磁気ストレージ・デバイスなどの有形の媒体か、あるいはインターネットまたはイントラネットをサポートするものなどの伝送媒体か、を含む。
本文書の文脈では、コンピュータ使用可能媒体またはコンピュータ可読媒体は、１つまたは複数のプログラム可能なまたは専用のプロセッサ／コントローラを含む任意の適切なコンピュータ（またはコンピュータ・システム）を含むことのできる命令実行システム、プラットフォーム、装置、またはデバイスによる使用またはこれらに関連する使用のためにプログラム命令を含み、記憶し、通信し、伝搬させ、または移動させることができる任意の媒体とすることができる。コンピュータ使用可能媒体は、ベースバンド内または搬送波の一部としてのいずれかでコンピュータ使用可能プログラム・コードをそれと共に実施された伝搬されるデータ信号を含むことができる。コンピュータ使用可能プログラム・コードを、インターネット、地上通信線、光ファイバ・ケーブル、ローカル通信バス、ラジオ周波数（ＲＦ）、または他の手段を含むがこれに限定されない任意の適当な媒体を使用して伝送することができる。
例の実施形態の動作を実行する実行可能命令を有するコンピュータ・プログラム・コードは、ＢＡＳＩＣ、Ｌｉｓｐ、ＶＢＡ、もしくはＶＢＳｃｒｉｐｔ、またはｖｉｓｕａｌ ｂａｓｉｃなどのＧＵＩ実施形態などの、解釈される言語もしくはイベント駆動言語、ＦＯＲＴＲＡＮ、ＣＯＢＯＬ、もしくはＰａｓｃａｌなどのコンパイルされるプログラミング言語、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、Ｏｂｊｅｃｔ Ｐａｓｃａｌ、もしくは類似物などの、スクプティングされるかスクプティングされないオブジェクト指向のプログラミング言語、Ｐｒｏｌｏｇなどの人工知能言語、Ａｄａなどのリアル・タイム組込み言語、または、ラダー・ロジック、アセンブラ言語、もしくは適当な機械語を使用する直接プログラミングを使用するより直接的なまたは単純化されたプログラミングを含むがこれに限定されない任意のコンピュータ言語を使用して従来の手段によって記述され得る。
用語「ｉｎｃｌｕｄｅｓ」または「ｉｎｃｌｕｄｉｎｇ」が本明細書または特許請求の範囲で使用される範囲で、これは、用語「ｃｏｍｐｒｉｓｉｎｇ」が請求項で前後を接続する語として使用される時にこの用語が解釈される時の用語「ｃｏｍｐｒｉｓｉｎｇ」に似た形で包括的であることが意図されている。さらに、用語「ｏｒ」が使用される（たとえばＡ ｏｒ Ｂ）範囲で、これは、「ＡまたはＢまたは両方」を意味することが意図されている。本出願人が、「ＡまたはＢのみで両方ではない」と示すことを意図する時には、用語「ｏｎｌｙ Ａ ｏｒ Ｂ ｂｕｔ ｎｏｔ ｂｏｔｈ」が使用される。したがって、本明細書での用語「ｏｒ」の使用は、包括的であって排他的ではない。Ｂｒｙａｎ Ａ．Ｇａｒｎｅｒ、Ａ Ｄｉｃｔｉｏｎａｒｙ ｏｆ Ｍｏｄｅｒｎ Ｌｅｇａｌ Ｕｓａｇｅ ６２４（２ｄ． Ｅｄ． １９９５年）を参照されたい。また、用語「ｉｎ」または「ｉｎｔｏ」が本明細書または特許請求の範囲で使用される範囲で、これは、「ｏｎ」または「ｏｎｔｏ」をさらに意味することが意図されている。さらに、用語「ｃｏｎｎｅｃｔ」が本明細書または特許請求の範囲で使用される範囲で、これは、「ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ ｔｏ（〜に直接に接続される）」だけを意味するのではなく、別の１つまたは複数の構成要素を介して接続されるなど、「ｉｎｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ ｔｏ（〜に間接に接続される）」をも意味することが意図されている。
本願が、その実施形態の説明によって示され、実施形態が、かなり詳細に説明されたが、添付の請求項の範囲をそのような詳細に制限し、またはいかなる形であれ限定することは、本出願人の意図ではない。追加の利益および変更が、当業者にはたやすく明らかになる。したがって、本願は、その最も広い態様において、示され説明された特定の詳細、代表的な装置および方法、ならびに例示的な例に限定されない。したがって、本出願人の全般的な発明的概念の趣旨または範囲から逸脱せずに、そのような詳細から新案を作ることができる。

Claims (20)

  1. 患者の解剖学的構造のシミュレーションを介して前記患者をエンゲージさせるシステムであって、
    第１のディスプレイと、
    第２のディスプレイと、
    １つまたは複数のプロセッサ、１つまたは複数のコンピュータ可読有形ストレージ・デバイス、および前記１つまたは複数のプロセッサのうちの少なくとも１つによる実行のために前記１つまたは複数のストレージ・デバイスのうちの少なくとも１つに記憶されたプログラム命令を含むコンピュータであって、前記プログラム命令は、
    前記患者の静的医療画像を画像データベースに記憶し、
    前記患者の前記医療画像を前記患者の解剖学的構造３次元モデルに変換することによって前記３次元モデルを生成し、
    前記患者の前記解剖学的構造の前記３次元モデルをモデル・データベースに記憶し、
    前記第１のディスプレイ上で、医療サービスのプロバイダであるユーザに、対話的な形で前記患者の前記３次元モデルを表示し、
    前記第２のディスプレイ上で、前記患者に、前記第１のディスプレイ上で対話的な形で同時に表示される前記患者の前記３次元モデルを表示し、
    前記患者に適合された医療に関する情報を表す明らかにする材料を前記ユーザから受け入れるように構成された入力インターフェースを前記ユーザに提供し、
    前記ユーザからの前記明らかにする材料の受信に応答して、前記明らかにする材料を用いて変更された形で前記第１のディスプレイ上に前記３次元モデルを表示し、
    前記ユーザからの前記明らかにする材料の受信に応答して、前記明らかにする材料を用いて変更された形で前記第２のディスプレイ上にも前記３次元モデルを表示する
    ように構成される、コンピュータと
    を含むシステム。
  2. 前記プログラム命令は、前記患者に第２の入力インターフェースを提供するようにさらに構成され、前記第２の入力インターフェースは、前記患者に適合された前記医療の前記患者の理解および同意を表すデータを前記患者から受け入れるように構成される、請求項１に記載のシステム。
  3. 前記明らかにする材料は、前記患者の解剖学的構造を通る経路に沿った移動のシミュレーションを含む、請求項１に記載のシステム。
  4. 前記明らかにする材料は、オーディオ・レコーディングおよびグラフィカル・メモのうちの少なくとも１つを含む、請求項１に記載のシステム。
  5. 前記プログラム命令は、
    電子カルテ（「ＥＨＲ」）システムから前記患者に関連するＥＨＲを受信するように構成されたＥＨＲインターフェースを提供し、
    前記ＥＨＲの受信に応答して、前記ＥＨＲを用いて変更された形で前記第１のディスプレイ上に前記３次元モデルを表示し、
    前記ＥＨＲの受信に応答して、前記ＥＨＲを用いて変更された形で前記第２のディスプレイ上にも前記３次元モデルを表示する
    ようにさらに構成される、請求項１に記載のシステム。
  6. 前記第１のディスプレイは、第１のヘッド・マウント・ディスプレイを含み、前記第２のディスプレイは、第２のヘッド・マウント・ディスプレイを含む、請求項１に記載のシステム。
  7. 前記第１のヘッド・マウント・ディスプレイは、第１の拡張現実感ヘッド・マウント・ディスプレイを含み、前記第２のヘッド・マウント・ディスプレイは、第２の拡張現実感ヘッド・マウント・ディスプレイを含む、請求項６に記載のシステム。
  8. 前記プログラム命令は、
    物理的物体の第１のビューに関する前記第１の拡張現実感ヘッド・マウント・ディスプレイの第１の現在の位置および画角を示す第１のトラッキング情報と、前記物理的物体の第２のビューに関する前記第２の拡張現実感ヘッド・マウント・ディスプレイの第２の現在の位置および画角を示す第２のトラッキング情報を受信することとを受信し、
    前記第１のトラッキング情報に対応する前記３次元モデルの第１のビューと、前記第２のトラッキング情報に対応する前記３次元モデルの第２のビューを生成することとを生成し、
    前記物体の前記第１のビューと整列し、これにオーバーレイする、前記３次元モデルの前記第１のビューを前記第１の拡張現実感ヘッド・マウント・ディスプレイに、前記物体の前記第２のビューと整列し、これにオーバーレイする、前記３次元モデルの前記第２のビューを前記第２の拡張現実感ヘッド・マウント・ディスプレイに提供することを提供する
    ようにさらに構成される、請求項７に記載のシステム。
  9. 前記プログラム命令は、
    前記明らかにする材料を用いて変更され、前記患者に適合された前記医療の前記患者の理解および同意を表す前記データの前記第２の入力インターフェースによる要求を用いてさらに変更された前記３次元モデルを表すビデオを生成し、
    前記ビデオを記憶し、
    前記ビデオへのリンクを通信する
    ようにさらに構成される、請求項２に記載のシステム。
  10. 前記プログラム命令は、
    前記リンクの通信の後に経過した時間の長さを監視し、
    前記患者に適合された前記医療の前記患者の理解および同意を表す前記データを前記患者から受信せずに所定の時間が経過することを示すアラートを通信する
    ようにさらに構成される、請求項９に記載のシステム。
  11. 患者をエンゲージさせるのに前記患者の解剖学的構造のシミュレーションを使用する方法であって、
    前記患者の静的医療画像を画像データベースに記憶するステップと、
    前記患者の前記医療画像を前記患者の解剖学的構造の３次元モデルに変換するためにコンピュータ・システム上でソフトウェアを実行することによって、前記３次元モデルを生成するステップと、
    前記患者の前記解剖学的構造の前記３次元モデルをモデル・データベースに記憶するステップと、
    第１のディスプレイ上で、医療サービスのプロバイダであるユーザに、対話的な形で前記患者の前記３次元モデルを表示するためにコンピュータ・システム上でソフトウェアを実行するステップと、
    第２のディスプレイ上で、前記患者に、前記第１のディスプレイ上で対話的な形で同時に表示される前記患者の前記３次元モデルを表示するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記患者に適合された医療に関する情報を表す明らかにする材料を前記ユーザから受け入れるように構成された入力インターフェースを前記ユーザに提供するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記ユーザからの前記明らかにする材料の受信に応答して、前記明らかにする材料を用いて変更された形で前記第１のディスプレイ上に前記３次元モデルを表示するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記ユーザからの前記明らかにする材料の受信に応答して、前記明らかにする材料を用いて変更された形で前記第２のディスプレイ上にも前記３次元モデルを表示するために前記コンピュータ・システム上でソフトウェアを実行するステップと
    を含む方法。
  12. 前記患者に第２の入力インターフェースを提供するために前記コンピュータ・システム上でソフトウェアを実行するステップをさらに含み、前記第２の入力インターフェースは、前記患者に適合された前記医療の前記患者の理解および同意を表すデータを前記患者から受け入れるように構成される、請求項１１に記載の方法。
  13. 前記明らかにする材料は、前記患者の解剖学的構造を通る経路に沿った移動のシミュレーションを含む、請求項１１に記載の方法。
  14. 前記明らかにする材料は、オーディオ・レコーディングおよびグラフィカル・メモのうちの少なくとも１つを含む、請求項１１に記載の方法。
  15. 電子カルテ（「ＥＨＲ」）システムから前記患者に関連するＥＨＲを受信するように構成されたＥＨＲインターフェースを提供するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記ＥＨＲの受信に応答して、前記ＥＨＲを用いて変更された形で前記第１のディスプレイ上に前記３次元モデルを表示するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記ＥＨＲの受信に応答して、前記ＥＨＲを用いて変更された形で前記第２のディスプレイ上にも前記３次元モデルを表示するために前記コンピュータ・システム上でソフトウェアを実行するステップと
    をさらに含む、請求項１１に記載の方法。
  16. 前記第１のディスプレイは、第１のヘッド・マウント・ディスプレイを含み、前記第２のディスプレイは、第２のヘッド・マウント・ディスプレイを含む、請求項１１に記載の方法。
  17. 前記第１のヘッド・マウント・ディスプレイは、第１の拡張現実感ヘッド・マウント・ディスプレイを含み、前記第２のヘッド・マウント・ディスプレイは、第２の拡張現実感ヘッド・マウント・ディスプレイを含む、請求項１６に記載の方法。
  18. 物理的物体の第１のビューに関する前記第１の拡張現実感ヘッド・マウント・ディスプレイの第１の現在の位置および画角を示す第１のトラッキング情報と、前記物理的物体の第２のビューに関する前記第２の拡張現実感ヘッド・マウント・ディスプレイの第２の現在の位置および画角を示す第２のトラッキング情報を受信することとを受信するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記第１のトラッキング情報に対応する前記３次元モデルの第１のビューと、前記第２のトラッキング情報に対応する前記３次元モデルの第２のビューを生成することとを生成するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記第１の拡張現実感ヘッド・マウント・ディスプレイに前記物体の前記第１のビューと整列し、これにオーバーレイする、前記３次元モデルの前記第１のビューを、および前記物体の前記第２のビューと整列し、これにオーバーレイする、前記３次元モデルの前記第２のビューを前記第２の拡張現実感ヘッド・マウント・ディスプレイに提供することを提供するために前記コンピュータ・システム上でソフトウェアを実行するステップと
    をさらに含む、請求項１７に記載の方法。
  19. 前記明らかにする材料を用いて変更され、前記患者に適合された前記医療の前記患者の理解および同意を表す前記データの前記第２の入力インターフェースによる要求を用いてさらに変更された前記３次元モデルを表すビデオを生成するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記ビデオを記憶するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記ビデオへのリンクを通信するために前記コンピュータ・システム上でソフトウェアを実行するステップと
    をさらに含む、請求項１２に記載の方法。
  20. 前記リンクの通信の後に経過した時間の長さを監視するために前記コンピュータ・システム上でソフトウェアを実行するステップと、
    前記患者に適合された前記医療の前記患者の理解および同意を表す前記データを前記患者から受信せずに所定の時間が経過することを示すアラートを通信するために前記コンピュータ・システム上でソフトウェアを実行するステップと
    をさらに含む、請求項１９に記載の方法。
JP2020561606A 2018-01-26 2019-01-25 患者エンゲージメントのシステムおよび方法 Pending JP2021512440A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862622581P 2018-01-26 2018-01-26
US62/622,581 2018-01-26
PCT/US2019/015203 WO2019147972A1 (en) 2018-01-26 2019-01-25 System and method for patient engagement

Publications (1)

Publication Number Publication Date
JP2021512440A true JP2021512440A (ja) 2021-05-13

Family

ID=67392302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020561606A Pending JP2021512440A (ja) 2018-01-26 2019-01-25 患者エンゲージメントのシステムおよび方法

Country Status (7)

Country Link
US (1) US20190236840A1 (ja)
EP (1) EP3735695A4 (ja)
JP (1) JP2021512440A (ja)
CN (1) CN110520932A (ja)
IL (1) IL276301A (ja)
TW (1) TW201935490A (ja)
WO (1) WO2019147972A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11684401B2 (en) 2018-09-07 2023-06-27 Cilag Gmbh International Backplane connector design to connect stacked energy modules
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
USD959477S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959447S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
US11205296B2 (en) * 2019-12-20 2021-12-21 Sap Se 3D data exploration using interactive cuboids
USD959476S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
US20210295730A1 (en) * 2020-03-18 2021-09-23 Max OROZCO System and method for virtual reality mock mri
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US20220331047A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Method for intraoperative display for surgical systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273362A (ja) * 2000-03-23 2001-10-05 Toshiba Corp 医療診断支援方法、そのシステム、そのための検索端末及び医療情報端末
JP2006072533A (ja) * 2004-08-31 2006-03-16 Toshiba Corp 治療方針決定支援システム
US20060178913A1 (en) * 2005-02-09 2006-08-10 Anne Lara Medical and other consent information management system
JP2015062119A (ja) * 2013-09-22 2015-04-02 株式会社リコー 医療関係者用モバイル情報ゲートウェイ
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544649A (en) * 1992-03-25 1996-08-13 Cardiomedix, Inc. Ambulatory patient health monitoring techniques utilizing interactive visual communication
US20070214002A1 (en) * 2001-04-30 2007-09-13 Smith James C System for outpatient treatment of chronic health conditions
US7302488B2 (en) * 2002-06-28 2007-11-27 Microsoft Corporation Parental controls customization and notification
US7658611B2 (en) 2004-03-18 2010-02-09 Reality Engineering, Inc. Interactive patient education system
US10037820B2 (en) * 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
CA2871845A1 (en) * 2012-06-08 2013-12-12 Hewlett-Packard Development Company, L.P. Patient information interface
DE102015226669B4 (de) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273362A (ja) * 2000-03-23 2001-10-05 Toshiba Corp 医療診断支援方法、そのシステム、そのための検索端末及び医療情報端末
JP2006072533A (ja) * 2004-08-31 2006-03-16 Toshiba Corp 治療方針決定支援システム
US20060178913A1 (en) * 2005-02-09 2006-08-10 Anne Lara Medical and other consent information management system
JP2015062119A (ja) * 2013-09-22 2015-04-02 株式会社リコー 医療関係者用モバイル情報ゲートウェイ
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation

Also Published As

Publication number Publication date
EP3735695A4 (en) 2021-10-20
US20190236840A1 (en) 2019-08-01
IL276301A (en) 2020-09-30
WO2019147972A1 (en) 2019-08-01
EP3735695A1 (en) 2020-11-11
TW201935490A (zh) 2019-09-01
CN110520932A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
JP2021512440A (ja) 患者エンゲージメントのシステムおよび方法
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
Silva et al. Emerging applications of virtual reality in cardiovascular medicine
Sutherland et al. Applying modern virtual and augmented reality technologies to medical images and models
US20210015583A1 (en) Augmented reality system and method for tele-proctoring a surgical procedure
US20200038119A1 (en) System and method for training and collaborating in a virtual environment
US11983824B2 (en) System and method for augmenting and synchronizing a virtual model with a physical model
JP2022541233A (ja) 外科手術のためのパラメータを推奨するためのシステムおよび方法
Rachmad MediVerse: Challenges And Development Of Digital Health Transformation Towards Metaverse in Medicine
JP2023521714A (ja) ビデオコラボレーションのための方法及びシステム
Sugimoto Cloud XR (extended reality: virtual reality, augmented reality, mixed reality) and 5g mobile communication system for medical image-guided holographic surgery and telemedicine
Gupta et al. Augmented reality based human-machine interfaces in healthcare environment: benefits, challenges, and future trends
Zhang et al. Immersive augmented reality (I am real)–remote clinical consultation
Riva et al. Virtual reality as telemedicine tool: technology, ergonomics and actual applications
US20210358218A1 (en) 360 vr volumetric media editor
Proniewska et al. Holography as a progressive revolution in medicine
US20220130039A1 (en) System and method for tumor tracking
Pucer et al. Augmented Reality in Healthcare
Sutherland et al. Augmented and Virtual Reality in Medicine
Bailey et al. Streaming Virtual Reality: An Innovative Approach to Distance Healthcare Simulation
Virag Contributions to the visualization process and manipulation of pseudo-holographic images
TW202131875A (zh) 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法
Marsh Virtual Reality and Its Integration into a Twenty‐First Century Telemedical Information Society
Marsh The integration of virtual reality into a Web-based telemedical information society
Huber et al. Highly-Immersive Virtual Reality Laparoscopy Simulation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230815