JP2021510224A

JP2021510224A - 患者および手術ロボットを配置するためのガイダンス

Info

Publication number: JP2021510224A
Application number: JP2020538094A
Authority: JP
Inventors: ドワイトメグラン，
Original assignee: コヴィディエンリミテッドパートナーシップ
Priority date: 2018-01-10
Filing date: 2019-01-09
Publication date: 2021-04-15
Also published as: CN111670018A; US20240197419A1; WO2019139935A1; AU2019206392A1; US11925423B2; CA3088004A1; US20200337789A1; EP3737321A1; EP3737321A4

Abstract

本開示に従って提供されるのは、身体および手術ロボットを配置するためのガイダンスを提供するためのシステム、方法、およびコンピュータ可読媒体である。例示的なシステムは、手術訓練環境の画像をキャプチャし、手術訓練環境の画像データを生成するように構成されている画像キャプチャデバイスと、ヘッドマウントディスプレイと、手術訓練パラメータを受信し、手術訓練環境の画像データを受信し、テーブルと手術ロボットの姿勢を検出し、手術訓練環境に基づいて、仮想訓練環境を生成し、手術訓練環境に対するユーザの姿勢を判定し、手術訓練パラメータおよび判定したユーザの姿勢に基づいて、テーブル上の身体または身体の周りに手術ロボットを配置するためのガイダンスを生成し、ヘッドマウントディスプレイに生成されたガイダンス表示させるように構成されているコンピューティングデバイスと、を含む。【選択図】図３Ａ

Description

ロボット手術により、外科医が、開腹手術および／または腹腔鏡手術処置などの手動による手術技術では不可能であるか、または効率が低いであろう様々な手術処置を実施することが可能となる。しかしながら、外科医がロボット手術処置のために手術ロボットを快適に使用するためには、広範な訓練と準備が必要となることが多い。ロボット手術の準備の１つの重要な側面としては、手術テーブルに患者を位置付ける、患者の周りに手術ロボットのさまざまなアームを位置付けるなどの手術環境を準備することを伴う。しかしながら、特定の手術処置のために患者をどのように配置するか、その後、手術領域への最良のアクセスを確実にするために患者の周りに手術ロボットをどのように配置するかを外科医に教示する従来の訓練アプローチでは、かなりの時間がかかり、場合によっては、ロボット手術システムの採用をやめさせることさえある。以下に開示されるのは、ロボット手術のための患者および手術ロボットを配置するためのガイダンスおよび／または訓練を提供するための改善されたシステム、方法、およびコンピュータ可読媒体である。

本開示は、患者および／または手術ロボットを配置するためのガイダンスの提供に関連し、より詳細には、仮想または拡張現実視覚ガイダンスを生成および表示して、様々なタイプの手術ロボット処置のために患者および／または手術ロボットの１つ以上の構成要素をどのように配置するかについて臨床者をガイドおよび／または訓練するシステム、方法、およびコンピュータ可読媒体に関連する。

本開示の実施形態に従って提供されるのは、身体および手術ロボットを配置するためのガイダンスを提供するためのシステムである。本開示の一態様では、システムは、画像キャプチャデバイスであって、テーブルと手術ロボットを含む手術訓練環境の画像をキャプチャすることと、キャプチャした画像に基づいて手術訓練環境の画像データを生成することと、を行うように構成されている、画像キャプチャデバイスと、ユーザによって着用されるヘッドマウントディスプレイ（ＨＭＤ）と、プロセッサおよび命令を記憶しているメモリを含むコンピューティングデバイスであって、命令は、プロセッサによって実行されると、コンピューティングデバイスに、手術訓練パラメータを受信することと、画像キャプチャデバイスから手術訓練環境の画像データを受信することと、受信された画像データに基づいて、テーブルおよび手術ロボットの姿勢を検出することと、手術訓練環境の画像データに基づいて、仮想訓練環境を生成することであって、仮想環境はテーブルおよび手術ロボットの表現を含む、生成することと、受信された画像データおよび生成された仮想訓練環境に基づいて、手術訓練環境に対するユーザの姿勢を判定することと、手術訓練パラメータ、および手術訓練環境に対する、ＨＭＤを着用しているユーザの判定された姿勢に基づいて、テーブル上の身体の少なくとも一部または身体の周りの手術ロボットの少なくとも一部のうちの少なくとも１つを配置するためのガイダンスを生成することと、ＨＭＤに、生成したガイダンスを表示させることと、を行わせる、コンピューティングデバイスと、を含む。

本開示の別の態様では、身体はマネキンであり、手術訓練環境はテーブル上の身体をさらに含む。

本開示のさらなる態様では、ガイダンスは、手術訓練パラメータに基づいて、身体の少なくとも一部をテーブル上に配置するための指示を含む。

本開示のさらなる態様では、指示は、ＨＭＤによって表示されるテキスト指示を含む。

本開示のなおさらなる態様では、コンピューティングデバイスは、ＨＭＤに、身体に重なるように身体の少なくとも１つの器官の位置の拡張現実画像を表示させる。

本開示の別の態様では、指示は、身体の少なくとも一部が位置付けられるべき推奨位置の拡張現実画像を含む。

本開示のさらなる態様では、ガイダンスは、ユーザが身体の少なくとも一部を推奨位置に位置付けたときに、位置付けたことを示す。

本開示の別の態様では、ガイダンスは、身体の少なくとも１つの器官の位置の拡張現実画像を含む。

本開示のさらなる態様では、身体の少なくとも１つの器官の位置の拡張現実画像は、患者の身体内部の器官の位置のモデルに基づく。

本開示の別の態様では、指示は、手術ロボットの少なくとも一部が位置付けられるべき推奨位置の拡張現実画像を含む。

本開示のさらなる別の態様では、仮想訓練環境は、仮想身体の表現をさらに含む。

本開示のさらなる別の態様では、画像キャプチャデバイスは、ＨＭＤに結合されている。

本開示のさらなる別の態様では、画像キャプチャデバイスは、複数の画像キャプチャデバイスのうちの１つであり、複数の画像キャプチャデバイスは、手術訓練環境の周りの複数のそれぞれの位置に配置される。

本開示のさらなる別の態様では、手術ロボットの少なくとも一部は、ベース、第１の関節、第１の関節に結合された第１のアーム、第１のアームに結合された第２の関節、および第２の関節に結合された第２のアームのうちの１つ以上を含み、ベースが、第１の関節、第１のアーム、および第２の関節を介して第２のアームに結合されている。

本開示のさらなる別の態様では、手術訓練パラメータを受信することは、メモリから事前設定された手術訓練パラメータをロードすることを含む。

本開示のさらなる別の態様では、手術訓練パラメータを受信することは、ユーザによる入力から手術訓練パラメータの選択を受信することを含む。

本開示のさらなる別の態様では、手術訓練パラメータは、訓練プログラムに基づく。

本開示のさらなる態様では、訓練プログラムは、訓練プログラムのデータベースから選択される。

本開示のさらなる別の態様では、訓練プログラムのデータベースは、手術のタイプ、患者のタイプ、患者の特徴、および治療される病状のタイプのうちの１つ以上に関連する訓練プログラムを含む。

本開示のさらなる態様では、訓練プログラムは、グラフィカルユーザインターフェースを介して選択される。

本開示の別の態様では、手術訓練パラメータは、手術のタイプ、患者の年齢、患者の体重、患者のサイズ、および患者の病状のうちの１つ以上を含む。

本開示のさらなる別の態様では、コンピューティングデバイスに、手術訓練環境に対するＨＭＤを着用しているユーザの姿勢を判定させるための命令は、プロセッサによって実行されると、コンピューティングデバイスに、受信された画像データを分析して、受信された画像データ内のユーザ、ならびにテーブルおよび手術ロボットのうちの１つ以上を識別することと、テーブルおよび手術ロボットのうちの１つ以上に対するユーザの位置を判定することと、テーブルまたは手術ロボットのうちの１つ以上に対するユーザの判定された位置に基づいて、仮想環境内にユーザの表現を生成することと、を行わせるさらなる命令を含む。

本開示のさらなる別の態様では、命令が、プロセッサによって実行されると、コンピューティングデバイスにさらに、ガイダンスによって示されたアクションをユーザが実施したか否かを判定させる。

本開示のさらなる態様では、画像キャプチャデバイスは、手術訓練環境の追加の画像データをキャプチャするように構成されており、ガイダンスによって示されるアクションをユーザが実施したか否かを判定することは、追加の画像データを分析して、ユーザの動きを検出することと、ユーザの検出された動きに基づいて、ガイダンスによって示されるアクションをユーザが実施したか否かを判定することと、を含む。

本開示のさらなる態様では、命令が、プロセッサによって実行されると、コンピューティングデバイスに、ユーザの検出された動きに基づいて、スコアを判定することと、ＨＭＤに判定されたスコアを表示させることと、をさらに行わせる。

本開示の実施形態に従って提供されるのは、身体および手術ロボットを配置するためのガイダンスを提供するための方法である。本開示の一態様では、本方法は、手術訓練パラメータの選択を受信することと、テーブルおよび手術ロボットを含む手術訓練環境の画像データを取得することと、取得された画像データに基づいて、テーブルおよび手術ロボットの位置を検出することと、手術訓練環境の取得された画像データに基づいて、仮想訓練環境を生成することであって、仮想訓練環境が、テーブルおよび手術ロボットの表現を含む、生成することと、取得された画像データと生成された仮想訓練環境に基づいて、手術訓練環境に対するヘッドマウントディスプレイデバイス（ＨＭＤ）を着用しているユーザの姿勢を判定することと、手術訓練パラメータおよび手術訓練環境に対するユーザの判定された姿勢に基づいて、テーブル上の身体の少なくとも一部または身体の周りの手術ロボットの少なくとも一部のうちの少なくとも１つを配置するためのガイダンスを生成することと、ＨＭＤに生成したガイダンスを表示させることと、を含む。

本開示のなおさらなる態様では、本方法は、ＨＭＤに、身体に重なるように身体の少なくとも１つの器官の位置の拡張現実画像を表示させることをさらに含む。

本開示の別の態様では、指示は、身体の少なくとも一部が位置付けらえるべき推奨位置の拡張現実画像を含む。

本開示のなおさらなる態様では、訓練プログラムのデータベースは、手術のタイプ、患者のタイプ、患者の特徴、および治療されている病状のタイプのうちの１つ以上に関連する訓練プログラムを含む。

本開示のなおさらなる態様では、訓練プログラムは、グラフィカルユーザインターフェースを介して選択される。

本開示のなお別の態様では、手術訓練環境に対するＨＭＤを着用しているユーザの姿勢を判定することは、受信された画像データを分析して、受信された画像データ内のユーザ、ならびにテーブルおよび手術ロボットのうちの１つ以上を識別することと、テーブルおよび手術ロボットのうちの１つ以上に対するユーザの位置を判定することと、テーブルまたは手術ロボットのうちの１つ以上に対するユーザの判定された位置に基づいて、仮想環境内にユーザの表現を生成することと、を含む。

本開示のさらなる別の態様では、方法は、ガイダンスによって示されたアクションをユーザが実施したか否かを判定することをさらに含む。

本開示のさらなる態様では、方法は、手術訓練環境の追加の画像データをキャプチャすることをさらに含み、ガイダンスによって示されたアクションをユーザが実施したか否かを判定することは、追加の画像データを分析して、ユーザの動きを検出することと、ユーザの検出された動きに基づいて、ガイダンスによって示されたアクションをユーザが実施したか否かを判定することと、を含む。

本開示のなおさらなる態様では、方法は、ユーザの検出された動きに基づいてスコアを判定することと、ＨＭＤに判定されたスコアを表示させることと、をさらに含む。

本開示の実施形態に従って提供されるのは、命令を含む非一時的なコンピュータ可読記憶媒体であって、命令は、コンピュータによって実行されると、コンピュータに、手術訓練パラメータの選択を受信することと、テーブルおよび手術ロボットを含む手術訓練環境の画像データを取得することと、取得された画像データに基づいて、テーブルおよび手術ロボットの位置を検出することと、手術訓練環境の取得された画像データに基づいて、仮想訓練環境を生成することであって、仮想訓練環境が、テーブルおよび手術ロボットの表現を含む、生成することと、取得された画像データと生成された仮想訓練環境に基づいて、手術訓練環境に対する、ヘッドマウントディスプレイデバイス（ＨＭＤ）を着用しているユーザの姿勢を判定することと、手術訓練パラメータおよび手術訓練環境に対するユーザの判定された姿勢に基づいて、テーブル上の身体の少なくとも一部を配置し、身体の周りの手術ロボットの少なくとも一部を配置するためのガイダンスを生成することと、ＨＭＤに、生成されたガイダンスを表示させることと、を行わせる。

本開示のなおさらなる態様では、指示は、ＨＭＤによって表示されるテキスト指示を含む。

本開示のなおさらなる態様では、命令が、プロセッサによって実行されると、コンピュータは、ＨＭＤに、身体に重なるように身体の少なくとも１つの器官の位置の拡張現実画像を表示させる。

本開示のさらなる態様では、訓練プログラムのデータベースは、手術のタイプ、患者のタイプ、患者の特徴、および治療されている病状のタイプのうちの１つ以上に関連する訓練プログラムを含む。

本開示の別の態様では、命令が、プロセッサによって実行されると、コンピュータにさらに、ガイダンスによって示されたアクションをユーザが実施したか否かを判定させる。

本開示のさらなる態様では、命令が、プロセッサによって実行されると、コンピュータにさらに、手術訓練環境の追加の画像データをキャプチャさせ、ガイダンスによって示されたアクションをユーザが実施したか否かを判定することは、追加の画像データを分析して、ユーザの動きを検出することと、ユーザの検出された動きに基づいて、ガイダンスによって示されたアクションをユーザが実施したか否かを判定することと、を含む。

本開示のなおさらなる態様では、命令が、プロセッサによって実行されると、コンピュータにさらに、ユーザの検出された動きに基づいて、スコアを判定させ、ＨＭＤに判定されたスコアを表示させる。

本開示の上記態様および実施形態のいずれも、本開示の範囲から逸脱することなく組み合わせられ得る。

本開示の様々な態様および特徴は、図面を参照して、本明細書で以下に説明される。

本開示の実施形態による、患者および手術ロボットを配置するためのガイダンスを提供するためのシステムの概略図である。図１のシステムの一部を形成する例示的なコンピューティングデバイスのブロック図である。本開示の実施形態による、患者および手術ロボットを配置するためのガイダンスを提供するための例示的な方法のフローチャートを示す。本開示の実施形態による、患者および手術ロボットを配置するためのガイダンスを提供するための例示的な方法のフローチャートを示す。本開示の実施形態による、図１のシステムの一部を形成するヘッドマウントディスプレイデバイスによって表示され得る例示的なグラフィカルユーザインターフェースを示す。本開示の実施形態による、図１のシステムの一部を形成するヘッドマウントディスプレイデバイスによって表示され得る別の例示的なグラフィカルユーザインターフェースを示す。

本開示は、患者の身体（または、いくつかの例では、患者もしくは別の被験者の身体に基づいてモデル化されたマネキン、仮想身体、および／もしくは同様のものなどの非人体）および手術ロボットを配置するためのガイダンスを提供するためのシステム、方法、およびコンピュータ可読媒体に関する。より具体的には、本開示は、外科医、看護師、技術者、および／または他の手術室スタッフ（以下、臨床者と呼ぶ）などのユーザに、どのように身体を手術室テーブルに配置するか、およびどのように身体の周りに手術ロボットを配置するかを示して、身体内の手術部位への手術ロボットに結合された手術ツールの最良のアクセスを確実にする。拡張現実ヘッドギアおよび／または仮想現実ヘッドギアなどのヘッドマウントディスプレイ、ならびに身体、手術室テーブル、および／または手術室の周りの別の場所の上に視覚ガイダンスを表示するように構成されているプロジェクタを含む様々な表示デバイスおよび／またはスピーカによって、様々な形式の視覚および／または聴覚ガイダンスが表示および／または放出され得る。ガイダンスは、身体またはその任意の部分を手術室のテーブル上の特定の位置に動かし、次いで、ある特定の方法で身体の周りに手術ロボットの様々なアームを配置するように臨床者に指導する１つ以上の指示を含み得る。したがって、本明細書に開示されるシステム、方法、およびコンピュータ可読媒体は、ロボット手術の訓練中および／または実際のロボット手術処置中に使用されて、手術室における人間の患者および手術ロボットの配置を支援し得る。

図１を参照すると、本開示の実施形態による、患者および手術ロボットを配置するためのガイダンスを提供するためのシステム１００が示されている。システム１００は、身体Ｂを支持するテーブル１１０、ヘッドマウントディスプレイデバイス（ＨＭＤ）１２０、１つ以上の画像キャプチャデバイス１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄ、ロボットアーム１５５を含む手術ロボット１５０、ならびにコンピューティングデバイス２００を含み得る。ＨＭＤ１２０は、拡張および／または仮想現実画像を出力するように構成されている任意のヘッドマウントディスプレイデバイスであり得る。画像キャプチャデバイス１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄは、ビデオカメラ、スチルカメラ、立体カメラ、ＲＧＢ−Ｄカメラを含む３次元カメラ、ＬＩＤＡＲセンサー、ならびに／または同様のものなど当業者に知られている画像キャプチャデバイスであり得、手術訓練環境の周りに配置され得る。画像キャプチャデバイス１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄのうちの１つ以上、例えば、図１に示されるような画像キャプチャデバイス１２５ｄは、ＨＭＤ１２０に含まれるか、またはＨＭＤ１２０に結合され得る。追加的または代替的に、画像キャプチャデバイス１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄは、無線接続または有線接続のいずれかによって、コンピューティングデバイス２００に結合または他の方法で接続され得る。画像キャプチャデバイス１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄを以下ではまとめて画像キャプチャデバイス１２５と呼ぶ。

ロボットアーム１５５に加えて、手術ロボット１５０は、ベース１５１、ベース１５１に結合された第１の関節１５２、第１の関節１５２に結合されたロボットアーム１５５などの第１のロボットアーム、第１のロボットアーム１５５に結合された第２の関節１５３、第２の関節１５３に結合された第２のアーム１５４、および第２のアーム１５４に結合された器具駆動ユニット１５６をさらに含み得る。手術ロボット１５０は図１に単一のロボットアセンブリとして示されているが、複数のロボットアセンブリが手術訓練環境に含まれてもよく、当業者は、以下に説明する方法が、本開示の範囲から逸脱することなく、単一および／または複数のロボットアセンブリを有する手術ロボット１５０に適用されてもよく、各々が少なくとも１つのベース１５１と、ロボットアーム１５４および１５５と、関節１５２および１５３と、器具駆動ユニット１５６と、を含むことを認識するだろう。身体Ｂは、患者の身体などの人体、マネキンもしくは他のシミュレートされた身体などの非人体、および／または、場合によっては、患者もしくは被験者の人体に基づいてモデル化された仮想身体であり得る。例えば、身体Ｂが仮想身体である実施形態では、身体Ｂは、特定の患者および／または被験者のパラメータに基づいて生成されてもよく、コンピューティングデバイス２００に記憶されて、訓練手順中にロードされ得る。身体Ｂが仮想身体である実施形態では、身体Ｂは、手術訓練環境ではテーブル１１０上に物理的に存在しないが、以下で説明するように、仮想訓練環境において表示される。さらに、身体Ｂが仮想身体である実施形態では、テーブル１１０はまた、コンピューティングデバイス２００および／またはＨＭＤ１２０によって生成され、ＨＭＤ１２０を介して表示される仮想テーブルであってもよい。

コンピューティングデバイス２００は、当業者に知られているロボット手術の訓練中に使用するように構成可能な任意のコンピューティングデバイスであり得る。例えば、コンピューティングデバイス２００は、デスクトップコンピュータ、ラップトップコンピュータ、サーバおよび端末構成、ならびに／または手術ロボット１５０のための制御コンピュータ、ならびに／または同様のものであり得る。いくつかの実施形態では、コンピューティングデバイス２００は、ＨＭＤ１２０に含まれ得る。以下でさらに説明するように、システム１００は、どのようにテーブル１１０上に身体Ｂを配置するか、およびどのように身体Ｂの周りに手術ロボット１５０を配置するかについての訓練などのロボット手術ための訓練中に使用され得る。

ここで、図２を参照すると、本開示の実施形態による図１のシステム１００の一部を形成するコンピューティングデバイス２００の概略図が示されている。コンピューティングデバイス２００は、メモリ２０２、プロセッサ２０４、入力インターフェース２０６、通信インターフェース２０８、および出力インターフェース２１０を含む。メモリ２０２は、データベース２４０およびアプリケーション２８０を記憶する。アプリケーション２８０は、プロセッサ２０４によって実行されると、以下で説明するように、コンピューティングデバイス２００に様々な機能を実施させる命令を含む。アプリケーション２８０は、プロセッサ２０４によって実行されると、コンピューティングデバイス２００に、例えば、図４に示す例示的なグラフィカルユーザインターフェース（ＧＵＩ）などの１つ以上のＧＵＩ（図２に図示せず）を生成させるＧＵＩ命令２８５をさらに含む。データベース２４０は、様々な手術訓練パラメータを含む様々な訓練プログラムを記憶する。

訓練プログラムは、ロボット手術のために、手術訓練環境によってシミュレートされるような作業環境を準備するようにユーザに指示するように設計された指示のセットである。例えば、訓練プログラムは、テーブル１１０上に身体Ｂを位置付け、および／もしくはこれの位置を調整し、身体Ｂおよび／もしくはテーブル１１０に対して手術ロボット１５０を位置付け、および／もしくはこれの位置を調整し、ならびに／または身体Ｂに対する手術ロボット１５０の姿勢を調整するように、ユーザに指示する指示を含み得る。訓練プログラムは、それぞれ独自の指示のセットを備えた様々なステップおよび／またはフェーズを含み得る。例えば、訓練プログラムの各ステップおよび／またはフェーズは、ロボット手術のための作業環境を準備するために異なるアクションを実施するようにユーザに指示する１つ以上の指示を含み得る。第１のステップまたはフェーズは、身体Ｂをテーブル１１０上に配置することに向けられてもよく、第２のステップまたはフェーズは、テーブル１１０上の身体Ｂの位置を調整して、手術部位への最良のアクセスを確保することに向けられてもよく、第３のステップまたはフェーズは、身体Ｂおよび／またはテーブル１１０の周りに手術ロボット１５０を位置付けることに向けられてもよく、第４のステップまたはフェーズは、身体Ｂに対する手術ロボット１５０の姿勢を調整することに向けられてもよい。

本明細書で使用される場合、「姿勢」という用語は、物体の位置および配向として定義される。例えば、手術ロボット１５０の姿勢は、手術訓練環境内の手術ロボット１５０の位置、手術訓練環境および手術訓練環境内の他の物体に対する手術ロボット１５０の配向、ならびに／またはベース１５１、ロボットアーム１５４および１５５、関節１５２および１５３、ならびに器具駆動ユニット１５６のうちの１つ以上の構成を指す。同様に、テーブル１１０、身体Ｂなどのような、手術訓練環境における他の物体の姿勢も判定されてもよい。

いくつかの実施形態では、ロボット手術の作業環境を準備するために異なるタスクを実施するなどのために、複数のユーザが同時に訓練されてもよい。各ユーザは、訓練プログラムのそれぞれの部分のガイダンスを生成および表示するように構成されたＨＭＤ１２０を着用してもよい。そのような実施形態では、訓練プログラムは、割り当てられた様々なステップおよび／またはタスクを実施するよう各ユーザに指示する、各個別のユーザに向けられた指示を含み得る。訓練プログラムは、各ユーザに向けられた指示をさらに順序付けて、様々なユーザにどのようにそれぞれのタスクを実施するのかだけでなく、１人のユーザのタスクが別のユーザが最初にタスクを完了することに依存するときに様々なタスクが実施されるべき順番を教示してもよい。他の実施形態では、ユーザの一部またはすべてがＨＭＤ１２０を着用しなくてもよく、ガイダンスは、代わりに、身体Ｂ、テーブル１１０、および／または手術訓練環境の周りの他の場所にガイダンスを直接表示するプロジェクタによって表示されてもよい。

手術訓練パラメータは、さまざまなタイプの手術、患者のタイプ、患者の特徴、手術によって治療される病状のタイプ、患者の身体内の手術部位の位置、および／または手術部位にアクセスするための患者の身体上の手術ポートの推奨位置を含む。いくつかの実施形態では、手術訓練パラメータのうちの１つ以上は、別の手術パラメータに依存し、および／または別の手術パラメータから導出され得る。例えば、ユーザが手術のタイプとして「虫垂切除術」を選択する場合、手術部位の場所は「下腹部」として導出され得る。同様に、手術ポートの推奨位置は、選択された手術のタイプ、および手術部位の場所に基づいて判定され得る。同様に、手術ロボット１５０の推奨姿勢は、手術部位の位置および／または手術ポートの推奨位置に基づいて判定されてもよく、したがって、どのように手術ロボット１５０の姿勢を配置し、および／または調整するかをユーザに指示する指示は、手術部位の位置および／または身体Ｂ上の手術ポートの推奨位置に依存および／またはこれらに基づいて判定されてもよい。患者の特徴は、身長、体重、身体タイプ、既存の病状および／もしくは以前に患者に対して実施された手術、ならびに／または患者の他の属性を含む。実施形態では、訓練プログラムおよび／または指示は、手術訓練パラメータに基づき得る。したがって、ＨＭＤ１２０によって表示されるガイダンスは、以下でさらに説明するように、手術部位および／または手術ポートの推奨位置の視覚的表現を含み得る。

メモリ２０２は、プロセッサ２０４によって実行可能であり、かつコンピューティングデバイス２００の動作を制御する、データおよび／またはソフトウェアを記憶するための任意の非一時的なコンピュータ可読記憶媒体を含み得る。実施形態において、メモリ２０２は、フラッシュメモリチップなどの、１つ以上のソリッドステート記憶デバイスを含み得る。１つ以上のソリッドステート記憶デバイスの代替または追加として、メモリ２０２は、大容量記憶コントローラ（図２に図示せず）および通信バス（図２に図示せず）を介してプロセッサ２０４に接続された１つ以上の大容量記憶デバイスを含み得る。本明細書に含まれるコンピュータ可読媒体の説明は、ソリッドステート記憶装置を指すが、コンピュータ可読記憶媒体が、プロセッサ２０４によってアクセス可能な任意の利用可能な媒体であり得ることは当業者によって理解されるべきである。すなわち、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実装された非一時的、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含み得る。例えば、コンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のソリッドステートメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイもしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスクス記憶装置もしくは他の磁気記憶デバイス、または所望の情報を記憶するために使用することができ、かつコンピューティングデバイス２００によってアクセスすることができる任意の他の媒体を含み得る。

入力インターフェース２０６は、マウス、キーボード、もしくは他のハンドヘルドコントローラ、フットペダル、タッチスクリーン、音声インターフェース、および／またはユーザがコンピューティングデバイス２００と対話することができる任意の他のデバイスもしくはインターフェースであり得る。通信インターフェース２０８は、有線ネットワークおよび／もしくは無線ネットワークからからなるローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線モバイルネットワーク、ブルートゥース（登録商標）ネットワーク、ならびに／またはインターネットなどのネットワークに接続するように構成され得る。出力インターフェース２１０は、コンピューティングデバイス２００によって画像またはデータを出力するために使用可能なスクリーンまたは他のディスプレイデバイスであり得る。

図３Ａおよび図３Ｂを参照すると、本開示の実施形態による、身体および手術ロボットを配置するためのガイダンスを提供するための例示的な方法３００のフローチャートが示されている。いくつかの実施形態では、方法３００の一部またはすべてのステップが、手術処置の開始前に、手術室などの手術作業環境で実施され得る。他の実施形態では、方法３００の一部またはすべてのステップが、カリキュラムが教示される訓練施設などの教育または手術訓練環境で実施され得る。以下で説明するのは、方法３００のステップを実施するためにシステム１００の様々な構成要素を使用する様々な例である。しかしながら、当業者であれば、これらのステップの一部またはすべてが、本開示の範囲から逸脱することなく、説明されたものとは異なる順番もしくは順序で実施され、繰り返され、省略され、または異なる構成要素を使用することによって実施され得ると認識するであろう。特に、以下に提供される例は、表示デバイスとしてＨＭＤ１２０を使用することを説明しているが、当業者であれば、上記のように、１つ以上のプロジェクタを含む様々な他の表示デバイスが、本開示の範囲を逸脱することなく、ＨＭＤ１２０の代わりに、またはこれに追加する表示デバイスとして使用できることも認識するであろう。

ステップＳ３０２で開始し、少なくとも１つの画像キャプチャデバイス１２５が、手術訓練環境の少なくとも１つの画像をキャプチャする。上述のように、手術訓練環境は、テーブル１１０および手術ロボット１５０を含む。いくつかの実施形態では、手術訓練環境は、テーブル１１０上の身体Ｂをさらに含み得る。次いで、ステップＳ３０４で、画像キャプチャデバイス１２５は、キャプチャした画像に基づいて手術訓練環境の画像データを生成する。

ステップＳ３０６で、コンピューティングデバイス２００が、少なくとも１つの手術訓練パラメータを受信する。手術訓練パラメータは、訓練プログラムに基づいてもよい。上記のように、データベース２４０は、様々なタイプの手術、患者のタイプ、患者の特徴、および／または手術によって治療されている病状のタイプを含む、様々な手術訓練パラメータを含む様々な訓練プログラムを記憶している。実施形態では、臨床者などのユーザは、ＧＵＩ（例えば、ＧＵＩ命令２８５に基づいて生成されたＧＵＩ）を介して訓練プログラムおよび／または特定の手術訓練パラメータを選択してもよく、その後、訓練プログラムおよび／または手術訓練パラメータは、コンピューティングデバイス２００に提供される。

その後、またはそれと同時に、ステップＳ３０８で、コンピューティングデバイス２００は、画像キャプチャデバイス１２５から手術訓練環境の画像データを受信する。いくつかの実施形態では、画像キャプチャデバイス１２５は、手術訓練環境の画像データを生成せず、代わりに、キャプチャした画像をコンピューティングデバイス２００に送信し、次に、コンピューティングデバイス２００が、キャプチャされた画像に基づいて手術訓練環境の画像データを生成する。そのような実施形態では、ステップＳ３０８で受信されるのはキャプチャされた画像であり、手術訓練環境の画像データではない。

次に、ステップＳ３１０で、コンピューティングデバイス２００は、画像データを処理して、画像データに基づいてテーブル１１０および／または手術ロボット１５０の姿勢を検出する。例えば、コンピューティングデバイス２００は、画像データ内のテーブル１１０および手術ロボット１５０を含む様々な物体を識別するために、様々な画像処理および／またはモデリング技法を実施してもよい。次いで、コンピューティングデバイス２００は、ステップＳ３１２で、手術訓練環境の画像データ、ならびにテーブル１１０および／または手術ロボット１５０の検出した姿勢に基づいて仮想訓練環境を生成する。仮想訓練環境は、いくつかの例では、テーブル１１０および／または手術ロボット１５０の仮想表現を含み得る。

次いで、コンピューティングデバイス２００は、ステップＳ３１４で、手術訓練環境に対するユーザの姿勢を判定する。判定は、受信された画像データおよび／または生成された仮想訓練環境に基づいてもよい。例えば、コンピューティングデバイス２００は、当業者に知られている様々な画像処理および／または物体検出アルゴリズムを利用して、画像キャプチャデバイス１２５から受信された画像データをさらに処理および分析して、画像データ内のユーザを識別してもよい。実施形態では、ユーザは、テーブル１１０および／または手術ロボット１５０対して画像データ内で識別される。次いで、コンピューティングデバイス２００は、テーブル１１０および／または手術ロボット１５０に対するユーザの姿勢を判定し、テーブル１１０および／または手術ロボット１５０に対するユーザの判定された姿勢に基づいて、仮想訓練環境におけるユーザの表現を生成する。コンピューティングデバイス２００は、ユーザの判定された姿勢に基づいて、仮想訓練環境をさらに増強し、それにより、仮想訓練環境内にユーザの表現を含み得る。

その後、ステップＳ３１６で、コンピューティングデバイス２００は、ステップＳ３０６で受信した手術訓練パラメータおよびステップＳ３１４で判定した手術訓練環境に対するユーザの姿勢に基づいて、テーブル１１０上に身体Ｂを配置するためのガイダンスを生成する。ガイダンスは、身体Ｂをテーブル１１０上に配置するための少なくとも１つの指示を含む。例えば、ガイダンスは、テキスト指示、仮想および／もしくは拡張現実画像などのグラフィックもしくは他の視覚指示、ならびに／または聴覚指示を含み得る。実施形態では、ガイダンスは、身体Ｂの１つ以上の部分を推奨位置に再配置するなど、特定のアクションを実施するようにユーザに指示する指示を含み得る。例えば、ガイダンスは、身体Ｂが位置付けられるべき推奨位置の拡張現実画像を介して表示される指示を含み得る。いくつかの実施形態では、ガイダンスは複数の指示を含んでもよく、指示は並べられた順序で提供され得る。

ガイダンスはさらに、テーブル１１０上の身体Ｂの仮想および／または拡張現実画像と、身体Ｂ内部の１つ以上の器官または他の内部構造の位置とを含み得る。１つ以上の器官または他の内部構造の位置は、身体の内部の器官および／もしくは内部構造の位置のモデル、ならびに／または実際の患者の身体のスキャンに基づいてもよい。いくつかの実施形態では、身体Ｂ内部の１つ以上の器官または他の内部構造の位置の仮想および／または拡張現実画像は、１つ以上の器官または他の内部構造を明らかにするために身体Ｂの皮膚が「はがされた」画像を含む。

実施形態では、ガイダンスは、ステップＳ３０６で受信された手術訓練パラメータおよび／または訓練プログラム、ならびにステップＳ３１０で生成された仮想訓練環境に基づいてもよい。例えば、コンピューティングデバイス２００は、身体Ｂおよび／または手術ロボット１５０の姿勢、ならびに身体Ｂおよび手術ロボット１５０に対するユーザの姿勢を分析して、手術訓練環境における身体Ｂおよび手術ロボット１５０の特定の姿勢に基づいて修正されるように、訓練プログラムに含まれる指示に基づいてガイダンスを生成してもよい。

コンピューティングデバイス２００は、ステップＳ３０６で受信した手術訓練パラメータおよびステップＳ３１４で判定した手術訓練環境に対するユーザの姿勢に基づいて、テーブル１１０上の身体Ｂの周りに手術ロボット１５０を配置し、および／または手術ロボット１５０の姿勢を推奨姿勢に調整するためのさらなるガイダンスを生成する。上述のようにテーブル１１０上に身体Ｂを配置するためのガイダンスと同様に、身体Ｂの周りに手術ロボット１５０を配置し、および／または手術ロボット１５０の姿勢を調整するためのガイダンスは、１つ以上のアクションを実施するようにユーザに指示する様々な指示を含み得る。例えば、ガイダンスは、テキスト指示、仮想および／もしくは拡張現実画像などのグラフィックもしくは他の視覚指示、ならびに／または聴覚指示を含み得る。実施形態では、ガイダンスは、手術ロボット１５０が位置付けられるべき推奨位置および／または手術ロボット１５０が調整されるべき推奨姿勢の拡張現実画像を介して表示される指示を含み得る。

次いで、コンピューティングデバイス２００は、ステップＳ３１８で、ＨＭＤ１２０に、生成されたガイダンスを表示させる。コンピューティングデバイス２００はさらに、ＨＭＤ１２０に、身体Ｂの１つ以上の器官または他の内部構造の位置の拡張現実画像を表示させてもよい。拡張現実画像は、身体Ｂ上に重ねられ得る。

ガイダンスを表示した後、コンピューティングデバイス２００は、ステップＳ３２０で、画像キャプチャデバイス１２５から手術訓練環境の追加の画像データを受信する。例えば、ユーザが指示を満たすために必要な１つ以上のアクションを実施することによって表示されたガイダンスに作用すると、画像キャプチャデバイス１２５は、少なくとも１つの追加の画像をキャプチャし、追加の画像を処理して追加の画像データを生成してもよく、次いで、追加の画像データは、コンピューティングデバイス２００に送信される。

次いで、コンピューティングデバイス２００は、ステップＳ３２２で、追加の画像データを処理および／または分析して、ユーザによって実施されたアクションを識別し、ガイダンスに含まれる指示を満たすために必要なすべてのアクションをユーザが実施したか否かを判定する。例えば、アクションは、手術ロボット１５０のすべてまたは１つ以上の部分（例えば、ロボットアーム１５５）、および／または身体Ｂのすべてまたは１つ以上の部分（例えば腕、脚、胴など）を動かすか、または再配置する、ユーザによって実施される動きであり得る。例えば、コンピューティングデバイス２００は、追加の画像データを分析して、手術訓練環境、特にテーブル１１０および／または手術ロボット１５０に対するユーザの腕および／または手の動きなどのユーザの動きを検出して、ガイダンスによって示された特定のアクションをユーザが実施したか否かを判定してもよい。コンピューティングデバイス２００が、ユーザがアクションを実施したと判定した場合（Ｓ３２２で「はい」）、処理はステップＳ３２４に進む。代替的には、コンピューティングデバイス２００がユーザの動きを検出できない場合（Ｓ３２２で「いいえ」）、処理はステップＳ３１８に戻る。

ステップＳ３２４で、コンピューティングデバイス２００は、ユーザによって実施され、Ｓ３２２で識別したアクションが、Ｓ３１８で表示されたガイダンスに対応するか否かを判定する。例えば、コンピューティングデバイス２００は、次いで、ユーザの検出された動きに基づいて、ユーザがステップＳ３１８で表示されたガイダンスによって示されたアクションを実施して指示を満たしたか否かを判定してもよい。コンピューティングデバイス２００はさらに、指示によって示されるアクションのユーザの実施に基づいて、評価される訓練スコアを判定してもよい。例えば、訓練スコアの評価は、指示によって示されるアクションのユーザの実施の精度、速度、一貫性、などに基づいてもよい。コンピューティングデバイス２００が、ユーザによって実施されたアクションがガイダンスに対応しないと判定した場合（ステップＳ３２４で「いいえ」）、処理はステップＳ３１８に戻る。

代替的には、コンピューティングデバイス２００が、ユーザによって実施されたアクションがガイダンスに対応すると判定した場合（ステップＳ３２４で「はい」）、処理はステップＳ３２６に進み、コンピューティングデバイス２００は、ユーザが指示を満たしたか否かを示す更新されたガイダンスを生成し、ＨＭＤ１２０に表示させる。例えば、コンピューティングデバイスは、ＨＭＤ１２０に、指示のステータス、例えば、指示が満たされたか否か、ユーザのアクションが指示を満たした精度の程度、および／または指示によって示されるアクションのユーザの実施に基づいて評価される訓練スコアを示す拡張現実画像を表示させてもよい。

その後、ステップＳ３２８で、コンピューティングデバイス２００は、訓練プログラムが完了したか否かを判定する。例えば、ガイダンスに含まれる指示によって必要とされるすべてのアクションが実施された場合、コンピューティングデバイス２００は、訓練プログラムが完了したと判定してもよい。コンピューティングデバイス２００が、訓練プログラムが完了したと判定した場合（ステップＳ３２８で「はい」）、コンピューティングデバイス２００は、ＨＭＤ１２０にユーザの最終スコアを表示させ、その後、処理は終了する。代替的に、コンピューティングデバイス２００が、訓練プログラムが完了していないと判定した場合（ステップＳ３２８で「いいえ」）、処理はステップＳ３３０に進む。

ステップＳ３３０で、コンピューティングデバイス２００は、テーブル１１０上に身体Ｂを配置し、手術訓練環境の周りに手術ロボット１５０を配置し、および／または手術ロボット１５０の姿勢を調整するための新たなガイダンスを生成する。例えば、新たなガイダンスは、ステップＳ３１６で生成されたガイダンスに含まれる指示によって要求されるアクションが実施された後に、ユーザによって実施される追加のアクションを含み得る。実施形態では、新たなガイダンスは、上記のように、訓練プログラムの次のステップまたはフェーズを実施するようにユーザに指示する１つ以上の指示を含み得る。例えば、新たなガイダンスは、身体Ｂの異なる部分および／または手術ロボット１５０の異なる部分を再配置するようにユーザに指示する１つ以上の指示を含み得る。

その後、処理はステップＳ３３２に進み、コンピューティングデバイス２００は、ＨＭＤ１２０に、生成した新たなガイダンスを表示させる。コンピューティングデバイス２００はさらに、ＨＭＤ１２０に、身体Ｂの１つ以上の器官または他の内部構造の位置の拡張現実画像も表示させる。

ガイダンスを表示した後、コンピューティングデバイス２００は、ステップＳ３３４で、画像キャプチャデバイス１２５から手術訓練環境の追加の画像データを受信する。次いで、コンピューティングデバイス２００は、ステップＳ３３６で、追加の画像データを処理および／または分析して、ユーザによって実施されたアクションを識別し、ユーザによって実施されたアクションが新たなガイダンスに含まれる指示を満たすか否かを判定する。例えば、コンピューティングデバイス２００は、追加の画像データを分析して、手術訓練環境、特にテーブル１１０および／または手術ロボット１５０に対するユーザの腕および／または手の動きなどのユーザの動きを検出してもよい。コンピューティングデバイス２００が、ユーザがアクションを実施したと判定する場合（ステップＳ３３６で「はい」）、処理はステップＳ３３８に進む。代替的には、コンピューティングデバイスがユーザの動きを検出することができない場合（ステップＳ３３６で「いいえ」）、処理はステップＳ３３２に戻る。

ステップＳ３３８で、コンピューティングデバイス２００は、ユーザによって実施され、ステップＳ３３４で識別したアクションが、新たなガイダンスに含まれる指示に対応するか否かを判定する。例えば、コンピューティングデバイス２００は、ユーザの検出された動きに基づいて、指示を満たすためにガイダンスによって示されるアクションをユーザが実施したか否かを判定してもよい。コンピューティングデバイス２００はさらに、指示によって示されるアクションのユーザの実施に基づいて評価された訓練スコアを判定する。コンピューティングデバイス２００が、ユーザによって実施されたアクションがガイダンスに対応しないと判定した場合（ステップＳ３３８で「いいえ」）、処理はステップＳ３３２に戻る。代替的には、コンピューティングデバイス２００が、ユーザによって実施され、かつステップＳ３３４で識別されたアクションがステップＳ３３２で表示された新たなガイダンスに対応すると判定した場合（ステップＳ３３８で「はい」）、処理はステップＳ３２８に戻り、コンピューティングデバイス２００は再度、訓練プログラムが完了しているか否かを判定し、方法３００は、ステップＳ３２８に関して上述したように続く。

図３の方法３００に関連する上述の説明は、コンピューティングデバイス２００によって実施される機能を指すが、当業者であれば、そのような機能が、アプリケーション２８０などの１つ以上のアプリケーションの実行に基づいて、ならびに／またはコンピューティングデバイス２００に含まれる専用ハードウェアおよび／もしくは他のソフトウェアに基づいて、コンピューティングデバイス２００によって実施され得ると理解するであろう。したがって、コンピューティングデバイス２００によって実施されるものとして説明されているが、方法３００の説明は、ハードウェアの実施形態に限定されるものとして解釈されるべきではない。

ここで、図４Ａおよび図４Ｂを参照すると、本開示の実施形態による、ＨＭＤ１２０によって表示され得る例示的なグラフィカルユーザインターフェース（ＧＵＩ）４００が示されている。ＧＵＩ４００は、図３Ａおよび図３Ｂの方法３００に関して上述した処理などの手術準備および／または訓練処置中の様々なポイントでＨＭＤ１２０によって表示され得る。図４Ａに実証される実施形態では、テーブル１１０および手術ロボット１５０は、ユーザに見える手術訓練環境内の物理的物体である。身体Ｂは、テーブル１１０上に横になって示されている。この例では、身体Ｂは仮想身体であり、ガイダンスは、身体Ｂの左腕を特定の方向に３インチ動かすようにユーザに指示している。身体Ｂの左腕が移動すべき位置は、身体Ｂ上に表示されるゴーストオーバーレイ４１０によって示される。矢印４２０などの方向インジケータは、身体Ｂの左腕が動くべき方向を示す。指示はまた、テキスト指示４３０として表示される。さらに、１つ以上の器官４４０の拡張現実画像が、身体Ｂにオーバレイされ、および／または重ねられて示されている。１つ以上の器官４４０の拡張現実画像に加えて、ＧＵＩ４００は同様に、手術部位のグラフィック表現（図示せず）、および／または手術ポートの推奨位置のグラフィック表現（図示せず）を含んでもよく、２０１８年１月１０日にＣｏｖｉｄｉｅｎＬＰによって出願され共同所有されている米国特許出願第６２／６１５，４８１号（代理人整理番号Ｃ０００１４５２０．ＵＳＰ１（２０３−１１４８２））にさらに説明され、その内容全体が参照により本明細書に組み込まれる。

ユーザが身体Ｂの左腕を示された位置に動かした後、ＧＵＩ４００は、図４Ｂに示されるように更新されてもよい次いで、ＧＵＩ４００は、身体Ｂが正しく配置されたことを示す確認画像４５０を示し得る。インジケータ４５５はまた、指示を満たすアクションが無事に実施されたことをユーザに通知するために示され得る。ＧＵＩ４００はまた、訓練プログラムにおける次の指示、例えば、手術ロボット１５０を再配置するための指示を示し得る。ＧＵＩ４００は、手術ロボット１５０が配置されるべき位置および姿勢で、手術ロボット１５０のゴースト画像４１５を示し得る。矢印４２５などの方向インジケータもまた、手術ロボット１５０および／またはロボットアーム１５５が動くべき方向を示すように示され得る。テキスト指示４３０はまた、新たな指示に基づいて更新され得る。

デバイス、そのようなデバイスを組み込んだシステム、およびそれらを使用する方法の詳細な実施形態が本明細書に記載されてきた。しかしながら、これらの詳細な実施形態は、本開示の単なる実施例であり、様々な形態で実施され得る。したがって、本明細書に開示された具体的な構造的および機能的詳細は、限定するものと解釈されるべきではなく、単に請求項の根拠として、および当業者が本開示を適切に適切な詳細な構造で様々に用いることを可能にするための、代表的な根拠として解釈されるべきである。

Claims

身体と手術ロボットを配置するためのガイダンスを提供するシステムであって、
画像キャプチャデバイスであって、
テーブルと手術ロボットを含む手術訓練環境の画像をキャプチャすることと、
前記キャプチャした画像に基づいて前記手術訓練環境の画像データを生成することと、を行うように構成されている、画像キャプチャデバイスと、
ユーザによって着用されるヘッドマウントディスプレイ（ＨＭＤ）と、
プロセッサおよび命令を記憶しているメモリを含むコンピューティングデバイスであって、前記命令は、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
手術訓練パラメータを受信することと、
前記画像キャプチャデバイスから前記手術訓練環境の前記画像データを受信することと、
前記受信された画像データに基づいて、前記テーブルおよび前記手術ロボットの姿勢を検出することと、
前記手術訓練環境の前記画像データに基づいて、仮想訓練環境を生成することであって、前記仮想環境は前記テーブルおよび前記手術ロボットの表現を含む、生成することと、
前記受信された画像データおよび前記生成された仮想訓練環境に基づいて、前記手術訓練環境に対する前記ユーザの姿勢を判定することと、
前記手術訓練パラメータ、および前記手術訓練環境に対する、前記ＨＭＤを着用している前記ユーザの前記判定された姿勢に基づいて、前記テーブル上の身体の少なくとも一部または前記身体の周りの前記手術ロボットの少なくとも一部のうちの少なくとも１つを配置するためのガイダンスを生成することと、
前記ＨＭＤに、前記生成されたガイダンスを表示させることと、を行わせる、コンピューティングデバイスと、を含む、システム。
前記身体がマネキンであり、前記手術訓練環境が前記テーブル上の前記身体をさらに含む、請求項１に記載のシステム。
前記ガイダンスが、前記手術訓練パラメータに基づいて、前記テーブル上の前記身体の少なくとも一部を配置するための指示を含む、請求項２に記載のシステム。
前記指示が、前記ＨＭＤによって表示されるテキスト指示を含む、請求項３に記載のシステム。
前記コンピューティングデバイスが、前記ＨＭＤに、前記身体に重なるように前記身体の少なくとも１つの器官の位置の拡張現実画像を表示させる、請求項４に記載のシステム。
前記指示が、前記身体の少なくとも一部が位置付けられるべき推奨位置の拡張現実画像を含む、請求項３に記載のシステム。
前記ガイダンスは、前記ユーザが前記身体の少なくとも一部を前記推奨位置に位置付けたときに、位置付けたことを示す、請求項６に記載のシステム。
前記ガイダンスが、前記身体の少なくとも１つの器官の位置の拡張現実画像を含む、請求項３に記載のシステム。
前記身体の前記少なくとも１つの器官の前記位置の前記拡張現実画像が、患者の身体内部の器官の位置のモデルに基づく、請求項８に記載のシステム。
前記指示が、前記手術ロボットの少なくとも一部が位置付けられるべき推奨位置の拡張現実画像を含む、請求項３に記載のシステム。
前記仮想訓練環境が、仮想身体の表現をさらに含む、請求項１に記載のシステム。
前記画像キャプチャデバイスが、前記ＨＭＤに結合されている、請求項１に記載のシステム。
前記画像キャプチャデバイスが、複数の画像キャプチャデバイスのうちの１つであり、前記複数の画像キャプチャデバイスが、前記手術訓練環境の周りの複数のそれぞれの位置に配置される、請求項１に記載のシステム。
前記手術ロボットの前記少なくとも一部が、
ベース、
第１の関節、
前記第１の関節に結合された第１のアーム、
前記第１のアームに結合された第２の関節、および
前記第２の関節に結合された第２のアームのうちの１つ以上を含み、
前記ベースが、前記第１の関節、前記第１のアーム、および前記第２の関節を介して前記第２のアームに結合されている、請求項１に記載のシステム。
前記手術訓練パラメータを受信することが、事前設定された手術訓練パラメータを前記メモリからロードすることを含む、請求項１に記載のシステム。
前記手術訓練パラメータを受信することが、ユーザによる入力から手術訓練パラメータの選択を受信することを含む、請求項１に記載のシステム。
前記手術訓練パラメータが、訓練プログラムに基づく、請求項１に記載のシステム。
前記訓練プログラムが、訓練プログラムのデータベースから選択される、請求項１７に記載のシステム。
前記訓練プログラムのデータベースが、
手術のタイプ
患者のタイプ
前記患者の特徴、および
治療されている病状のタイプのうちの１つ以上に関連する訓練プログラムを含む、請求項１８に記載のシステム。
前記訓練プログラムが、グラフィカルユーザインターフェースを介して選択される、請求項１９に記載のシステム。
前記手術訓練パラメータが、
手術のタイプ
患者の年齢
前記患者の体重
前記患者のサイズ、および
前記患者の病状のうち１つ以上を含む、請求項１に記載のシステム。
前記コンピューティングデバイスに、前記手術訓練環境に対する前記ＨＭＤを着用している前記ユーザの姿勢を判定させるための前記命令が、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
前記受信された画像データを分析して、前記受信された画像データ内の前記ユーザ、ならびに前記テーブルおよび前記手術ロボットのうちの１つ以上を識別することと、
前記テーブルおよび前記手術ロボットのうちの１つ以上に対する前記ユーザの位置を判定することと、
前記テーブルまたは前記手術ロボットのうちの１つ以上に対する前記ユーザの前記判定された位置に基づいて、前記仮想環境内に前記ユーザの表現を生成することと、を行わせるさらなる命令を含む、請求項１に記載のシステム。
前記命令が、前記プロセッサによって実行されると、前記コンピューティングデバイスに、前記ガイダンスによって示されるアクションを前記ユーザが実施したか否かを判定することをさらに行わせる、請求項１に記載のシステム。
前記画像キャプチャデバイスが、前記手術訓練環境の追加の画像データをキャプチャするように構成されており、前記ガイダンスによって示される前記アクションを前記ユーザが実施したか否かを判定することが、
前記追加の画像データを分析して、前記ユーザの動きを検出することと、
前記ユーザの前記検出された動きに基づいて、前記ガイダンスによって示される前記アクションを前記ユーザが実施したか否かを判定することと、を含む、請求項２３に記載のシステム。
前記命令が、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
前記ユーザの前記検出された動きに基づいて、スコアを判定することと、
前記ＨＭＤに前記判定されたスコアを表示させることと、をさらに行わせる、請求項２４に記載のシステム。
身体および手術ロボットを配置するためのガイダンスを提供するための方法であって、
手術訓練パラメータの選択を受信することと、
手術訓練環境であって、
テーブルと、
手術ロボットと、を含む手術訓練環境の画像データを取得することと、
前記取得された画像データに基づいて、前記テーブルおよび前記手術ロボットの位置を検出することと、
前記手術訓練環境の前記取得された画像データに基づいて、仮想訓練環境を生成することであって、前記仮想訓練環境が、前記テーブルおよび前記手術ロボットの表現を含む、生成することと、
前記取得された画像データと前記生成された仮想訓練環境に基づいて、前記手術訓練環境に対するヘッドマウントディスプレイデバイス（ＨＭＤ）を着用しているユーザの姿勢を判定することと、
前記手術訓練パラメータおよび前記手術訓練環境に対する前記ユーザの前記判定された姿勢に基づいて、前記テーブル上の身体の少なくとも一部または前記身体の周りの前記手術ロボットの少なくとも一部のうちの少なくとも１つを配置するためのガイダンスを生成することと、
前記ＨＭＤに前記生成されたガイダンスを表示させることと、を含む、方法。
前記身体がマネキンであり、前記手術訓練環境が前記テーブル上の前記身体をさらに含む、請求項２６に記載の方法。
前記ガイダンスが、前記手術訓練パラメータに基づいて、前記テーブル上の前記身体の少なくとも一部を配置するための指示を含む、請求項２７に記載の方法。
前記指示が、前記ＨＭＤによって表示されるテキスト指示を含む、請求項２８に記載の方法。
前記ＨＭＤに、前記身体に重なるように前記身体の少なくとも１つの器官の位置の拡張現実画像を表示させることをさらに含む、請求項２９に記載の方法。
前記指示が、前記身体の少なくとも一部が位置付けられるべき推奨位置の拡張現実画像を含む、請求項２８に記載の方法。
前記ガイダンスは、前記ユーザが前記身体の少なくとも一部を前記推奨位置に位置付けたときに、位置付けたことを示す、請求項３１に記載の方法。
前記ガイダンスが、前記身体の少なくとも１つの器官の位置の拡張現実画像を含む、請求項２８に記載の方法。
前記身体の前記少なくとも１つの器官の前記位置の前記拡張現実画像が、患者の身体内部の器官の位置のモデルに基づく、請求項３３に記載の方法。
前記指示が、前記手術ロボットの少なくとも一部が位置付けられるべき推奨位置の拡張現実画像を含む、請求項２８に記載の方法。
前記仮想訓練環境が、仮想身体の表現をさらに含む、請求項２６に記載の方法。
前記手術訓練パラメータが、訓練プログラムに基づく、請求項２６に記載の方法。
前記訓練プログラムが、訓練プログラムのデータベースから選択される、請求項３７に記載の方法。
前記訓練プログラムのデータベースが、
手術のタイプ
患者のタイプ
前記患者の特徴、および
治療されている病状のタイプのうちの１つ以上に関連する訓練プログラムを含む、請求項３８に記載の方法。
前記訓練プログラムが、グラフィカルユーザインターフェースを介して選択される、請求項３９に記載の方法。
前記手術訓練パラメータが、
手術のタイプ
患者の年齢
前記患者の体重
前記患者のサイズ、および
前記患者の病状のうち１つ以上を含む、請求項２６に記載の方法。
前記手術訓練環境に対する前記ＨＭＤを着用している前記ユーザの姿勢を判定することが、
前記受信された画像データを分析して、前記受信された画像データ内の前記ユーザ、ならびに前記テーブルおよび前記手術ロボットのうちの１つ以上を識別することと、
前記テーブルおよび前記手術ロボットのうちの１つ以上に対する前記ユーザの位置を判定することと、
前記テーブルまたは前記手術ロボットのうちの１つ以上に対する前記ユーザの前記判定された位置に基づいて、前記仮想環境内に前記ユーザの表現を生成することと、を含む、請求項２６に記載の方法。
前記ガイダンスによって示されるアクションを前記ユーザが実施したか否かを判定することをさらに含む、請求項２６に記載の方法。
前記手術訓練環境の追加の画像データをキャプチャすることをさらに含み、
前記ガイダンスによって示される前記アクションを前記ユーザが実施したか否かを判定することが、
前記追加の画像データを分析して、前記ユーザの動きを検出することと、
前記ユーザの前記検出された動きに基づいて、前記ガイダンスによって示される前記アクションを前記ユーザが実施したか否かを判定することと、を含む、請求４３に記載の方法。
前記ユーザの前記検出された動きに基づいて、スコアを判定することと、
前記ＨＭＤに、前記判定されたスコアを表示させることと、をさらに含む、請求項４４に記載の方法。
命令を含む非一時的なコンピュータ可読記憶媒体であって、前記命令は、コンピュータによって実行されると、前記コンピュータに、
手術訓練パラメータの選択を受信することと、
手術訓練環境であって、
テーブルと、
手術ロボットと、を含む手術訓練環境の画像データを取得することと、
前記取得された画像データに基づいて、前記テーブルおよび前記手術ロボットの位置を検出することと、
前記手術訓練環境の前記取得された画像データに基づいて、仮想訓練環境を生成することであって、前記仮想訓練環境が、前記テーブルおよび前記手術ロボットの表現を含む、生成することと、
前記取得された画像データと前記生成された仮想訓練環境に基づいて、前記手術訓練環境に対するヘッドマウントディスプレイデバイス（ＨＭＤ）を着用しているユーザの姿勢を判定することと、
前記手術訓練パラメータおよび前記手術訓練環境に対する前記ユーザの前記判定された姿勢に基づいて、前記テーブル上の身体の少なくとも一部を配置するため、および前記身体の周りの前記手術ロボットの少なくとも一部を配置するためのガイダンスを生成することと、
前記ＨＭＤに、前記生成されたガイダンスを表示させることと、を行わせる、非一時的なコンピュータ可読記憶媒体。
前記身体がマネキンであり、前記手術訓練環境が前記テーブル上の前記身体をさらに含む、請求項４６に記載の非一時的なコンピュータ可読記憶媒体。
前記ガイダンスが、前記手術訓練パラメータに基づいて、前記テーブル上の前記身体の少なくとも一部を配置するための指示を含む、請求項４７に記載の非一時的なコンピュータ可読記憶媒体。
前記指示が、前記ＨＭＤによって表示されるテキスト指示を含む、請求項４８に記載の非一時的なコンピュータ可読記憶媒体。
前記プロセッサによって実行されると、前記コンピュータが、前記ＨＭＤに、前記身体に重なるように前記身体の少なくとも１つの器官の位置の拡張現実画像を表示させるようにする、さらなる命令を含む、請求項４９に記載の非一時的なコンピュータ可読記憶媒体。
前記指示が、前記身体の少なくとも一部が位置付けられるべき推奨位置の拡張現実画像を含む、請求項４８に記載の非一時的なコンピュータ可読記憶媒体。
前記ガイダンスは、前記ユーザが前記身体の少なくとも一部を前記推奨位置に位置付けたときに、位置付けたことを示す、請求項５１に記載の非一時的なコンピュータ可読記憶媒体。
前記ガイダンスが、前記身体の少なくとも１つの器官の位置の拡張現実画像を含む、請求項４８に記載の非一時的なコンピュータ可読記憶媒体。
前記身体の前記少なくとも１つの器官の前記位置の前記拡張現実画像が、患者の身体内部の器官の位置のモデルに基づく、請求項５３に記載の非一時的なコンピュータ可読記憶媒体。
前記指示が、前記手術ロボットの少なくとも一部が位置付けられるべき推奨位置の拡張現実画像を含む、請求項４８に記載の非一時的なコンピュータ可読記憶媒体。
前記仮想訓練環境が、仮想身体の表現をさらに含む、請求項４６に記載の非一時的なコンピュータ可読記憶媒体。
前記手術訓練パラメータが、訓練プログラムに基づく、請求項４６に記載の非一時的なコンピュータ可読記憶媒体。
前記訓練プログラムが、訓練プログラムのデータベースから選択される、請求項５７に記載の非一時的なコンピュータ可読記憶媒体。
前記訓練プログラムのデータベースが、
手術のタイプ
患者のタイプ
前記患者の特徴、および
治療されている病状のタイプのうちの１つ以上に関連する訓練プログラムを含む、請求項５８に記載の非一時的なコンピュータ可読記憶媒体。
前記訓練プログラムが、グラフィカルユーザインターフェースを介して選択される、請求項５９に記載の非一時的なコンピュータ可読記憶媒体。
前記手術訓練パラメータが、
手術のタイプ
患者の年齢
前記患者の体重
前記患者のサイズ、および
前記患者の病状のうちの１つ以上を含む、請求項４６に記載の非一時的なコンピュータ可読記憶媒体。
前記手術訓練環境に対する前記ＨＭＤを着用している前記ユーザの姿勢を判定することが、
前記受信された画像データを分析して、前記受信された画像データ内の前記ユーザ、ならびに前記テーブルおよび前記手術ロボットのうちの１つ以上を識別することと、
前記テーブルおよび前記手術ロボットのうちの１つ以上に対する前記ユーザの位置を判定することと、
前記テーブルまたは前記手術ロボットのうちの１つ以上に対する前記ユーザの前記判定された位置に基づいて、前記仮想環境内に前記ユーザの表現を生成することと、を含む、請求項４６に記載の非一時的なコンピュータ可読記憶媒体。
前記プロセッサによって実行されると、前記コンピュータに、前記ガイダンスによって示されるアクションを前記ユーザが実施したか否かを判定させるさらなる命令を含む、請求項４６に記載の非一時的なコンピュータ可読記憶媒体。
前記プロセッサによって実行されると、前記コンピュータに、
前記手術訓練環境の追加の画像データをキャプチャさせる、さらなる命令を含み、
前記ガイダンスによって示される前記アクションを前記ユーザが実施したか否かを判定することが、
前記追加の画像データを分析して、前記ユーザの動きを検出することと、
前記ユーザの前記検出された動きに基づいて、前記ガイダンスによって示される前記アクションを前記ユーザが実施したか否かを判定することと、を含む、請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
前記プロセッサによって実行されると、前記コンピュータに、
前記ユーザの前記検出された動きに基づいて、スコアを判定することと、
前記ＨＭＤに前記判定されたスコアを表示させることと、を行わせる、さらなる命令を含む、請求項６４に記載の非一時的なコンピュータ可読記憶媒体。