JP2021510110A

JP2021510110A - 外科用ポートの配置のためのガイダンス

Info

Publication number: JP2021510110A
Application number: JP2020538103A
Authority: JP
Inventors: ドワイトメグラン，; メイアローゼンバーグ，
Original assignee: コヴィディエンリミテッドパートナーシップ
Priority date: 2018-01-10
Filing date: 2019-01-09
Publication date: 2021-04-15
Also published as: US20240033014A1; WO2019139931A1; EP3737322A4; CN111655184B; EP3737322A1; US11806085B2; CN111655184A; US20200330166A1

Abstract

身体上の外科用ポートの配置を誘導するためのシステムは、動作環境の画像を捕捉し、捕捉された画像に基づいて画像データを生成するように構成された画像捕捉装置と、表示装置と、身体内の手術部位の場所に関する情報を取得し、画像捕捉装置から画像データを受信し、身体内の手術部位の場所と画像データとに基づいて、身体上に外科用ポートを配置するためのグラフィックによるガイダンスを生成し、表示装置に、生成されたグラフィックによるガイダンスを表示させるように構成されたコンピューティング装置と、を含む。【選択図】なし

Description

ロボット手術により、外科医は、開腹手術および／または腹腔鏡手術等の、手で行う手術技法では不可能であるかまたは効率が低い、様々な外科的処置を行うことが可能になる。しかしながら、外科医がロボットによる外科的処置用に外科用ロボットを快適に使用するためには、外科用ポートを正確に配置して、ロボット外科用ツールが手術部位にアクセスすることを確実にすることが必要とされる。外科用ポートを正しく配置することは、手術部位の場所、治療される病状のタイプ、患者の特性、および行われる外科的処置のタイプを含む、様々な要因に依存する。したがって、外科医が外科用ポートを配置するために最良の場所と、上記の要因に基づいてこれらの場所を調整する方法とを学習するために、多くの場合、広範な訓練および準備が必要とされる。以下に開示されるのは、外科用ポートを配置するためのガイダンスを提供するための改善されたシステム、方法、およびコンピュータ可読媒体である。

本開示は、患者の身体上に外科用ポートを配置するためのガイダンスの提供に関し、より具体的には、仮想または拡張現実視覚ガイダンスを生成および表示して、患者の身体上に外科用ポートを配置する計画中および配置中に、臨床医を誘導および／または支援するためのシステム、方法、およびコンピュータ可読媒体に関する。

本開示の実施形態に従って提供されるのは、身体上の外科用ポートの配置を誘導するためのシステムである。本開示の一態様では、本システムは、身体を含む動作環境の画像を捕捉し、捕捉された画像に基づいて画像データを生成するように構成された画像捕捉装置と、ユーザが装着する表示装置と、プロセッサおよび命令を記憶するメモリを含むコンピューティング装置と、を含み、命令は、プロセッサによって実行されると、コンピューティング装置に、身体内の手術部位の場所に関する情報を得ることと、画像捕捉装置から画像データを受信することと、身体内の手術部位の場所と画像データとに基づいて、外科用ポートを身体上に配置するためのグラフィックによるガイダンスを生成することと、生成されたグラフィックによるガイダンスを、表示装置に表示させることと、を行わせる。

本開示の別の態様では、命令は、プロセッサによって実行されると、さらにコンピューティング装置に、画像捕捉装置から受信された画像データに基づいて、外科用ポートが身体上に配置されたことを検出させ、内視鏡を外科用ポートから身体内に挿入するためのグラフィックによるガイダンスを生成させ、内視鏡が外科用ポートから挿入されたことを検出させる。

本開示のさらなる態様において、外科用ポートが身体上に配置されたことを検出することは、外科用ポートが身体上に配置されたことを検出するために、画像捕捉装置から受信された追加の画像データを分析することを含む。

本開示の別の態様では、内視鏡が外科用ポートを通して挿入されたことを検出することは、内視鏡が外科用ポートを通して挿入されたことを検出するために、画像捕捉装置から受信された追加の画像データを分析することを含む。

本開示のさらに別の態様では、外科用ポートは第１の外科用ポートであり、命令は、プロセッサによって実行されると、さらにコンピューティング装置に、身体内の手術部位の場所、および第１の外科用ポートが身体上に配置された検出された場所に基づいて、第２の外科用ポートを身体上に配置するためのグラフィックによるガイダンスを生成させ、生成されたグラフィックによるガイダンスを、表示装置に表示させる。

本開示のさらに別の態様では、生成されたグラフィックによるガイダンスは、身体上に表示された仮想外科用ポートを含み、命令は、プロセッサによって実行されると、さらにコンピューティング装置に、画像捕捉装置から受信された追加の画像データを分析して、ユーザの手の動きを検出させ、検出されたユーザの手の動きに基づいて、ユーザが身体上の仮想外科用ポートの姿勢を調整していることを判定させ、身体上の仮想外科用ポートの姿勢の判定された調整に基づいて、グラフィックによるガイダンスを更新させる。

本開示のさらなる態様では、命令は、プロセッサによって実行されると、身体上の仮想外科用ポートの姿勢の判定された調整が、所定の距離またはグラフィックによるガイダンスによって推奨されている姿勢からの配向の変化を上回るとき、さらにコンピューティング装置に警告を提供させる。

本開示の別の態様では、ユーザの手の動きを検出することは、ユーザの手によって行われるジェスチャを検出することを含む。

本開示のさらなる態様において、ユーザが身体上の仮想外科用ポートの姿勢を調整していると判定することは、ユーザの手によって行われた検出されたジェスチャにさらに基づく。

本開示の別の態様では、画像捕捉装置は、表示装置に結合されている。

本開示のさらに別の態様では、グラフィックによるガイダンスは、表示装置を介して表示されるテキスト命令を含む。

本開示のさらに別の態様では、グラフィックによるガイダンスは、外科用ポートの推奨された姿勢の拡張現実画像を含む。

本開示のさらなる態様において、外科用ポートの推奨される姿勢は、推奨される外科用ポートの配置の所定のモデルに基づいて決定される。

本開示の別の態様において、外科用ポートの推奨された姿勢は、所定の治療計画に基づいて決定される。

本開示のさらに別の態様において、外科用ポートの推奨された姿勢は、身体のスキャンに基づいて決定される。

本開示のさらに別の態様では、グラフィックによるガイダンスは、身体内の手術部位の拡張現実画像を含む。

本開示のさらなる態様において、コンピューティング装置は、表示装置に、身体内の手術部位の拡張現実画像を、身体上に重ね合わせるように表示させる。

本開示の別の態様において、手術部位の拡張現実画像は、身体内の少なくとも１つの器官の位置を含む。

本開示のさらなる態様において、身体内の少なくとも１つの器官の位置は、器官の位置の所定のモデルに基づく。

本開示の別の態様では、システムは、ベースと、第１のジョイントと、第１のジョイントに結合された第１アームと、第１のアームに結合された第２のジョイントと、第２のジョイントに結合された第２のアームと、を含む１つ以上のロボットアセンブリを含む外科用ロボットをさらに含み、ベースは、第２のジョイントに結合され、ベースは、第１のジョイント、第１のアーム、および第２のジョイントを介して第２のアームに結合される。

本開示のさらなる態様では、命令は、プロセッサによって実行されると、さらにコンピューティング装置に、身体内の手術部位の判定された位置に基づいて、外科用ロボットを配置するためのグラフィックによるガイダンスを生成させる。

本開示のさらに別の態様では、命令は、プロセッサによって実行されると、さらにコンピューティング装置に、身体上の外科用ポートの配置に基づいて、外科用ロボットの動作範囲を判定させ、表示装置に、外科用ロボットの動作範囲の指標を表示させる。

本開示のさらなる態様において、外科用ロボットの動作範囲は、外科用ロボットの特性に基づいて決定される。

本開示のなおさらなる態様において、外科用ロボットの特性は、外科用ロボットの構成、身体に対する外科用ロボットの姿勢、および外科用ロボットに結合されたツールのタイプのうちの１つ以上を含む。

本開示の別の態様では、画像捕捉装置は第１の画像捕捉装置であり、システムは、第２の画像捕捉装置をさらに含み、命令は、プロセッサによって実行されると、さらにコンピューティング装置に、第１および第２の画像捕捉装置から受信された画像データに基づいて、動作環境の３次元シーンを生成させる。

本開示のさらなる態様では、第１および第２の画像捕捉装置は、動作環境の周囲に配置される。

本開示の別の態様では、画像捕捉装置はコンピューティング装置に含まれる。

本開示のさらに別の態様では、コンピューティング装置は表示装置に含まれる。

本開示のさらに別の態様では、身体内の手術部位の場所に関する情報を得ることは、ユーザからの入力を介して手術部位の選択を受信することを含む。

本開示のさらに別の態様では、身体内の手術部位の場所に関する情報を得ることは、身体のスキャン中に取得された画像データに基づいて、手術部位の場所を判定することを含む。

本開示のさらに別の態様では、身体内の手術部位の場所に関する情報を得ることは、所定の治療計画に基づいて、手術部位の場所を判定することを含む。

本開示のさらに別の態様では、命令は、プロセッサによって実行されると、受信された画像データに基づいて、さらにコンピューティング装置に身体内の手術部位の位置を判定させる。

本開示のさらに別の態様では、身体は、マネキンの少なくとも一部である。

本開示のさらに別の態様では、身体は、患者の少なくとも一部である。

本開示の実施形態によれば、身体上の外科用ポートの配置を誘導するための方法が提供される。本開示の一態様では、本方法は、身体内の手術部位の場所に関する情報を得ることと、画像捕捉装置から、動作環境の画像に基づいて生成された画像データを受信することと、身体内の手術部位の位置と画像データとに基づいて、外科用ポートを身体上に配置するためのグラフィックによるガイダンスを生成することと、生成されたグラフィックによるガイダンスを表示することと、を含む。

本開示の実施形態によれば、命令を含む非一時的コンピュータ可読記憶媒体が提供され、命令は、コンピュータによって実行されると、コンピュータに、身体内の手術部位の場所に関する情報を得て、画像捕捉装置からの動作環境の画像に基づいて生成された画像データを受信し、身体内の手術部位の場所と画像データに基づいて外科用ポートを身体上に配置するためにガイダンスを生成し、表示装置に生成されたグラフィックによるガイダンスを表示させる。

本開示の上記態様および実施形態のいずれも、本開示の範囲から逸脱することなく組み合わせることができる。

本開示の様々な態様および特徴は、図面を参照して、本明細書に後述される。

本開示の実施形態による、外科用ポートを配置するためのガイダンスを提供するためのシステムの概略図である。図１のシステムの一部を形成する例示的なコンピューティング装置のブロック図である。本開示の実施形態による、外科用ポートを配置するためのガイダンスを提供するための例示的な方法のフローチャートを示す。本開示の実施形態による、外科用ポートを配置するためのガイダンスを提供するための例示的な方法のフローチャートを示す。本開示の実施形態による、図１のシステムの一部を形成するヘッドマウント表示装置によって表示され得る例示的なグラフィカルユーザインターフェースを示す。本開示の実施形態による、図１のシステムの一部を形成するヘッドマウント表示装置によって表示され得る別の例示的なグラフィカルユーザインターフェースを示す。

本開示は、患者の身体（または、いくつかの例では、患者の身体または別の被験者の身体に基づいてモデル化されている、マネキン、仮想身体等の非人体）（以下、集合的に「身体」と称される）上に外科用ポートを配置するためのガイダンスを提供するためのシステム、方法、およびコンピュータ可読媒体を対象とする。より具体的には、本開示は、外科医、看護師、技士、および／または他の手術室スタッフ等のユーザ（以下、臨床医またはユーザと称される）に、外科用ロボットに結合された外科用ツールの、身体内の手術部位への好適なアクセスを確保するためにどのようにして、身体上のどこに外科用ポートを配置するかを指示することに関する。様々な形態の視覚的および／または聴覚的ガイダンスが、ヘッドマウントディスプレイ、例えば、拡張現実ヘッドギアおよび／または仮想現実ヘッドギア等の１つ以上の表示装置によって表示および／または発せられ得る。いくつかの実施形態では、表示装置は、外科用ロボットの１つ以上のロボットアームおよび／または外科的環境の周囲の他のマウントまたはアセンブリに結合された１つ以上のプロジェクタまたは他の発光体であり得、表示装置は、ガイダンスを表示するように構成され、および／または身体の１つ以上の部分を照らすように構成される。ガイダンスは、臨床医に身体上の特定の場所に外科用ポートを配置するように指示し、臨床医が外科用ポートの場所を調整することを可能にする１つ以上のコマンドを含み得る。したがって、本明細書に開示されるシステム、方法、およびコンピュータ可読媒体は、ロボット手術の訓練中および／または実際のロボットによる外科的処置中に使用され、臨床医がロボット手術の準備をすることを支援することができる。

図１を参照すると、本開示の実施形態による、外科用ポートを配置するためのガイダンスを提供するためのシステム１００が示されている。システム１００は、身体Ｂを支持することが可能であるテーブル１１０と、ヘッドマウント表示装置（ＨＭＤ）１２０と、１つ以上の画像捕捉装置１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄと、１つ以上の外科用ポート１３０ａ、１３０ｂ、１３０ｃ、および１３０ｄと、外科用ロボットアセンブリ１５０と、腹腔鏡１４０と、コンピューティング装置２００と、を含み得る。画像捕捉装置１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄは、ビデオカメラ、スチルカメラ、立体カメラ、３次元深度カメラ、ＬＩＤＡＲセンサ、および／または類似のもの等の当業者に周知の任意の画像捕捉装置であってもよく、動作環境の周囲に位置付けられ得る。本明細書で使用される場合、「動作環境」という用語は、ロボット手術が行われる設定、部屋、またはシーンを指す。したがって、動作環境は、テーブル１１０と、ＨＭＤ１２０と、１つ以上の画像捕捉装置１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄと、を含む。いくつかの実施形態では、動作環境は、テーブル１１０上の身体Ｂ、１つ以上の外科用ポート１３０ａ、１３０ｂ、１３０ｃ、および１３０ｄ、外科用ロボットアセンブリ１５０、ならびに／または腹腔鏡１４０をさらに含む。他の実施形態では、システム１００は、訓練および／または計画処置で使用され得、身体Ｂ、外科用ポート１３０ａ、１３０ｂ、１３０ｃ、および１３０ｄ、外科用ロボットアセンブリ１５０、ならびに／または腹腔鏡１４０の一部もしくは全部は、動作環境内に存在しない場合もある。このような訓練および／または計画処置の間、身体Ｂは、以下でさらに説明されるように、仮想または非人体であり得る。

捕捉装置１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄの１つ以上の画像、例えば、図１に示されるような画像捕捉装置１２５ｄは、ＨＭＤ１２０に含まれるか、またはＨＭＤ１２０に結合されてもよい。加えて、または代替的に、画像捕捉装置１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄは、無線接続であれ有線接続であれ、コンピューティング装置２００に結合され得るか、または他の方法で接続され得る。画像捕捉装置１２５ａ、１２５ｂ、１２５ｃ、および１２５ｄは、以下、集合的に画像捕捉装置１２５と称される。外科用ポート１３０ａ、１３０ｂ、１３０ｃ、および／または１３０ｄは、トロカール等の外科用ツールを身体Ｂに挿入するために使用可能な任意のポートまたは装置であり得る。外科用ポート１３０ａ、１３０ｂ、１３０ｃ、および１３０ｄは、以下、集合的に外科用ポート１３０と称される。

外科用ロボットアセンブリ１５０は、ベース１５１と、ベース１５１に結合された第１のジョイント１５２と、第１のジョイント１５２に結合された第１のロボットアーム１５５と、第１のロボットアーム１５５に結合された第２のジョイント１５３と、第２のジョイント１５３に結合された第２のロボットアーム１５４と、第２のアーム１５４に結合された器具駆動ユニット１５６と、を含み得る。腹腔鏡１４０は、器具駆動ユニット１５６を介して外科用ロボットアセンブリ１５０に取り付けられ得る。実施形態において、外科用ロボットアセンブリ１５０は、同時に使用され得、かつ一緒に外科用ロボットを形成し得る。図１には単一の外科用ロボットアセンブリ１５０が示されているが、複数の外科用ロボットアセンブリ１５０が外科的訓練環境に含まれてもよく、当業者には、以下に説明する方法が、本開示の範囲から逸脱することなく、各々が少なくとも１つのベース１５１と、ロボットアーム１５４および１５５と、ジョイント１５２および１５３と、器具駆動ユニット１５６と、を含む単一および／または複数の外科用ロボットアセンブリ１５０を有する外科用ロボットに適用され得ることが認識されよう。

当業者には、システム１００が、本開示の範囲から逸脱することなく、ＨＭＤ１２０に加えて、またはＨＭＤ１２０の代わりに、他の表示装置も含み得ることが認識されよう。例えば、１つ以上のプロジェクタまたは他の発光装置は、ロボットアーム１５４および／または１５５、他の機器、照明、または手術環境の周りのマウント等に結合されてもよい。加えて、または代替的に、タブレットコンピュータ、スマートフォン等の様々な他の拡張現実有効化装置もシステム１００に含まれ得る。したがって、本明細書では、例示的な実施形態としてＨＭＤ１２０が使用されるが、本開示は、表示装置としてＨＭＤ１２０のみを有することに限定されることを意図していない。

身体Ｂは、外科的処置を受けている患者の身体等の人体、マネキン等の非人体、物理的なモックアップ、もしくは他のシミュレートされた身体、および／または仮想身体であってもよく、これは、場合によっては、患者または被験者の人体に基づいてモデル化される。例えば、身体Ｂが仮想身体である実施形態では、身体Ｂは、特定の患者および／または被験者のパラメータに基づいて生成され得、かつ外科処置中および／または訓練処置中にロードされるためにコンピューティング装置２００に記憶され得る。身体Ｂが仮想身体である実施形態では、身体Ｂはテーブル１１０上に物理的に存在しないが、以下でさらに説明するように、ＨＭＤ１２０を介して拡張および／または仮想現実画像として表示される。さらに、身体Ｂが仮想身体である実施形態では、テーブル１１０はまた、コンピューティング装置２００および／またはＨＭＤ１２０によって生成され、ＨＭＤ１２０を介して表示される仮想テーブルであってもよい。したがって、本開示のシステムおよび方法は、訓練ならびに実際の外科的目的のために使用され得る。タブレットまたは他のハンドヘルドコンピューティング装置等の異なるタイプの表示装置が使用される実施形態では、身体Ｂおよび／またはシステム１００の他の構成要素は、「ウィンドウ付き拡張現実」を使用して表示され得、すなわち、テーブル１１０が表示装置によって表示されるビュー内にあるとき、表示装置は、身体Ｂをテーブル１１０上に表示し得る。さらに、当業者には、身体Ｂおよび／またはシステム１００の他の構成要素を表示するために仮想および／または拡張現実を使用する様々な他の実施形態が、本開示の範囲から逸脱することなく、本明細書に記載の実施形態に加えて、またはその代わりに使用されてもよいことが認識されよう。

コンピューティング装置２００は、当業者に周知のロボット手術の訓練中に使用するように構成可能な任意のコンピューティング装置であってよい。例えば、コンピューティング装置２００は、デスクトップコンピュータ、ラップトップコンピュータ、サーバおよび端末構成、および／または外科用ロボットアセンブリ１５０を含む外科用ロボットのための制御コンピュータ等であってもよい。いくつかの実施形態では、コンピューティング装置２００は、ＨＭＤ１２０に含まれ得る。以下でさらに説明するように、システム１００は、身体Ｂ上に外科用ポートを配置するための方法に関する訓練等の、ロボット手術の訓練中に使用することができる。

次に図２を参照すると、本開示の実施形態による、図１のシステム１００の一部を形成するコンピューティング装置２００の概略図が示されている。コンピューティング装置２００は、メモリ２０２と、プロセッサ２０４と、入力インターフェース２０６と、通信インターフェース２０８と、出力インターフェース２１０と、を含む。メモリ２０２は、データベース２４０およびアプリケーション２８０を格納する。アプリケーション２８０は、以下で説明するように、プロセッサ２０４によって実行されると、コンピューティング装置２００に様々な機能を行わせる命令を含み得る。アプリケーション２８０はさらに、プロセッサ２０４によって実行されると、コンピューティング装置２００に、例えば、図４Ａおよび図４Ｂに示されるような例示的なＧＵＩ４００等の１つ以上のＧＵＩ（図２には図示せず）を生成させる、グラフィカルユーザインターフェース（ＧＵＩ）命令２８５を含む。データベース２４０は、１人以上の患者の身体の様々なスキャンおよび／もしくはモデル、ならびに／または外科的処置のための治療計画を格納し得る。例えば、所定のおよび／または患者に特化した治療計画は、手術部位の場所および手術部位で行われる様々な治療に基づき得る。

メモリ２０２は、プロセッサ２０４によって実行可能であり、かつコンピューティング装置２００の動作を制御する、データおよび／またはソフトウェアを格納するための任意の非一時的コンピュータ可読記憶媒体を含み得る。実施形態において、メモリ２０２は、フラッシュメモリチップ等の、１つ以上のソリッドステート記憶装置を含み得る。１つ以上のソリッドステート記憶装置の代替として、またはそれに加えて、メモリ２０２は、大容量記憶コントローラ（図２には図示せず）および通信バス（図２には図示せず）を介してプロセッサ２０４に接続された１つ以上の大容量記憶装置を含んでもよい。本明細書に含まれるコンピュータ可読媒体の説明は、ソリッドステート記憶装置に言及しているが、当業者には、コンピュータ可読記憶媒体が、プロセッサ２０４によってアクセス可能である任意の利用可能な媒体であり得ることが理解されるべきである。すなわち、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶するための任意の方法または技術で実装された非一時的、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含み得る。例えば、コンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のソリッドステートメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイもしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または所望の情報を記憶するために使用することができ、かつコンピューティング装置２００によってアクセス可能な任意の他の媒体を含み得る。

入力インターフェース２０６は、マウス、キーボード、もしくは他のハンドヘルドコントローラ、フットペダル、タッチスクリーン、音声インターフェース、および／またはユーザがコンピューティング装置２００と対話することができる他の任意の装置もしくはインターフェースであり得る。通信インターフェース２０８は、有線ネットワークおよび／または無線ネットワークから構成されるローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線モバイルネットワーク、ブルートゥース（登録商標）ネットワーク、および／またはインターネット等の、ネットワークに接続するように構成され得る。出力インターフェース２１０は、コンピューティング装置２００によって画像またはデータを出力するために使用可能な画面または他の表示装置であってもよい。

図３Ａおよび図３Ｂを参照すると、本開示の実施形態による、外科用ポートを配置するためのガイダンスを提供するための例示的な方法３００のフローチャートが示されている。いくつかの実施形態では、方法３００のステップの一部またはすべては、外科的処置の開始前に、手術室等の外科的環境で実行され得る。他の実施形態では、方法３００のステップの一部またはすべては、カリキュラムが教示される訓練施設等の教育環境で実行されてもよい。以下に説明される例示的な実施形態は、単に例示目的で提供され、限定として解釈されるべきではなく、当業者には、他の多くの実施形態も本開示の範囲内で企図されることが認識されよう。

ステップＳ３０２で開始し、１つ以上の画像捕捉装置１２５は、動作環境の画像を捕捉する。上記のように、動作環境は、テーブル１１０および外科用ロボットアセンブリ１５０を含む。いくつかの実施形態では、動作環境は、テーブル１１０上の身体Ｂをさらに含み得る。次に、画像取込装置１２５は、ステップＳ３０４において、ステップＳ３０２で捕捉された画像に基づいて動作環境の画像データを生成する。さらに、画像捕捉装置１２５は、動作環境の画像を連続的に捕捉することができるため、ステップＳ３０２およびＳ３０４は方法３００の開始時に示されているが、画像を捕捉し、捕捉された画像に基づいて動作環境の画像データを生成することは、方法３００全体にわたって行われる連続的なアクションであり得る。このように、以下で説明するステップの一部またはすべての間に、追加の画像が捕捉され、動作環境の追加の画像データが生成され、画像および／または画像データがコンピューティング装置２００に提供され得る。

その後、ステップＳ３０６では、ステップＳ３０４で生成された画像データがコンピューティング装置２００に提供される。いくつかの実施形態では、画像捕捉装置１２５は、動作環境の画像データを生成せず、代わりに、捕捉された画像をコンピューティング装置２００に提供し、次にコンピューティング装置２００は、捕捉された画像に基づいて動作環境の画像データを生成する。そのような実施形態では、ステップＳ３０６でコンピューティング装置２００に提供されるのは捕捉された画像であり、動作環境の画像データではない。次に、コンピューティング装置２００は、画像データを処理して、動作環境の３次元（３Ｄ）シーンを生成する。動作環境の３Ｄシーンは、画像データ、他のソースから受信されたデータ、および／またはユーザによって提供された入力に基づいている。

次に、コンピューティング装置２００は、ステップＳ３０８において、身体Ｂ内部の手術部位に関する情報を取得する。手術部位に関する情報は、入力インターフェース２０６等を介して、ユーザによって提供され得る。いくつかの実施形態では、手術部位に関する情報は、外科的処置の開始前に事前構成されている。手術部位に関する情報は、外科的処置が行われる身体Ｂ内の場所、外科的処置に関与する器官および／もしくは他の構造の位置および／もしくはタイプ、ならびに／または行われる外科的処置のタイプを含み得る。例えば、手術部位に関する情報は、外科的処置が患者の肺の一部の除去を含むことを示し得る。

その後、ステップＳ３１０において、コンピューティング装置２００は、身体Ｂ内の手術部位の位置を判定する。この判定は、ステップＳ３０８で受信された手術部位に関する情報、身体Ｂの放射線画像データ、および／またはステップＳ３０６で受信された画像データに基づくことができる。例えば、処置の開始前に取得された、身体Ｂのコンピュータ断層撮影および／または磁気共鳴画像データ等の放射線画像データは、ステップＳ３０６で受信された画像データ内で検出された身体Ｂの観察された姿勢に一致するようにロードおよびワープされるか、または変形され得る（放射線画像データが取得された場合、身体Ｂの姿勢と整合しない可能性が高い）。加えて、または代替的に、統計的手法では、以下でさらに説明するように、器官の位置の様々なモデルを使用して、身体Ｂ内の器官および他の構造の場所を推定し得る。判定はさらに、治療計画に基づき得る。例えば、ステップＳ３０８を参照して上述した例では、コンピューティング装置２００は、画像データを処理して、画像データ内の身体Ｂを特定し、次いで、手術部位の位置、例えば患者の肺を、テーブル１１０上の身体Ｂの姿勢に基づいて特定し得る。本明細書で使用される場合、「姿勢」という用語は、物体の位置および配向として定義される。例えば、身体Ｂの姿勢は、テーブル１１０上の身体Ｂの位置、テーブル１１０に対する身体Ｂの配向、および／または動作環境、ならびに動作環境内の他の物体を指す。同様に、テーブル１１０および外科用ロボットアセンブリ１５０等のような、動作環境における他の物体の姿勢も判定され得る。

患者の身体内の手術部位の位置を特定することは、器官の場所のモデルおよび患者の身体内の他の構造の場所に基づき得る。器官の場所のモデルは、様々な患者から受信された器官の場所に関連するデータポイントに基づく一般的なモデルであってもよく、または器官の場所のモデルは、治療されている患者の１つ以上のスキャンおよび／または他の放射線画像に基づいて生成されたモデルであってもよい。

次に、コンピューティング装置２００は、ステップＳ３１２において、第１の外科用ポート１３０を身体Ｂに配置するためのガイダンスを生成する。ガイダンスは、ステップＳ３１０で判断された身体Ｂ内の手術部位の位置、およびステップＳ３０６で生成された動作環境の３Ｄシーンに基づいて生成される。ガイダンスはさらに、特定の手術部位および／または特定のタイプの手術のための推奨される外科用ポート配置場所のモデルに基づくことができる。加えて、ガイダンスは、所定の治療計画に含まれる推奨される外科用ポート配置場所に基づいてもよい。例えば、推奨される外科用ポートの配置は、外科用ポートを通して挿入される外科用ツールの精巧なワークスペースに基づいて決定され得、すなわち、推奨される外科用ポート配置場所は、外科用ポートを通って挿入される外科用ツールの精巧なワークスペースが集合的に、手術部位全体、または少なくともその所定の部分を含むように決定され得る。

実施形態では、外科用ツールの精巧なワークスペースは、外科用ロボットアセンブリ１５０および／またはロボットアーム１５４、１５５の双方向の動作範囲に基づいて決定される。外科用ロボットアセンブリ１５０の双方向の動作範囲の決定は、外科用ロボットアセンブリ１５０の構成、身体Ｂに対する外科用ロボットアセンブリ１５０の姿勢、および／または外科用ロボットアセンブリ１５０に結合された外科用ツール具のタイプを含む、外科用ロボットアセンブリ１５０の特性に基づき得る。身体Ｂの周囲の外科用ロボットアセンブリ１５０の配置および／または姿勢は、外科用ツールの精巧なワークスペースを決定するときに考慮に入れてもよく、したがって、推奨される外科用ポートの配置場所は、外科用ロボットアセンブリ１５０の配置および／または姿勢に基づいて決定され得る。またさらには、ガイダンスは、患者の身体のスキャンに基づいて決定された推奨される外科用ポート配置場所に基づいてもよい。ガイダンスは、グラフィックによるガイダンスであり得、身体Ｂ内の手術部位の位置を示す１つ以上の拡張現実画像（図４Ａおよび図４Ｂに示され、以下で説明される）と、第１の外科用ポート１３０が身体Ｂ上のどこに配置されるべきかを指示する仮想外科用ポートと、を含み得る。他の実施形態では、グラフィックによるガイダンスは、１つ以上の表示装置（例えば、プロジェクタまたは発光装置）によって患者の身体上に投影された画像を含み得る。ガイダンスはさらに、矢印、ポインタ等の視覚的インジケータ、ならびにユーザに外科用ポート１３０を配置する場所を指示するテキストおよび聴覚的コマンド（図４Ａおよび図４Ｂに示され、それらを参照してさらに説明される）を含み得る。次に、コンピューティング装置２００は、ステップＳ３１４において、ステップＳ３１２で生成されたガイダンスを表示する（図４Ａに示される）。実施形態では、コンピューティング装置２００は、ＨＭＤ１２０にガイダンスを表示させ、および／または他の表示装置にガイダンスを身体Ｂ上に投影させ得る。例えば、コンピューティング装置２００は、ＨＭＤ１２０に、外科用ポート４１０ａ、４１０ｂ、４１０ｃ、４１０ｄ、４１０ｅ、手術部位４２０、および／または１つ以上の外科用ポート４１０を通して挿入された外科用ツールの精巧なワークスペース４３０の仮想表現を、図４Ａおよび図４Ｂに示されるように、身体Ｂ上を覆うものとして、および／または身体Ｂ上に重ね合わせて表示させ得る。いくつかの実施形態では、コンピューティング装置２００は、少なくとも１つの外科用ポート１３０を通して挿入された内視鏡からの予想されるビューの仮想レンダリングを生成し得る。仮想レンダリングは、手術部位および／または身体Ｂの前述のモデルに基づいて生成され得る。仮想レンダリングは、ガイダンスとともに表示され得る。

次に、ステップＳ３１６において、コンピューティング装置２００は、ユーザが動いたかどうか、特に、ユーザの手が動いたかどうかを判定する。判定は、画像捕捉装置１２５からコンピューティング装置２００によって受信された追加の画像データに基づくことができる。コンピューティング装置２００は、追加の画像データを処理および分析して、ユーザを特定し、ユーザの手が動いたかどうかを検出することができる。ユーザの手が動いていないと判定された場合（ステップＳ３１６における「いいえ」）、処理は、ステップＳ３２６にスキップして進む。代替的に、ユーザの手が動いたと判定された場合（ステップＳ３１６における「はい」）、ステップＳ３１８に進む。

ステップＳ３１８において、コンピューティング装置２００は、ユーザの手の動きが、ユーザがガイダンスの一部として表示された仮想外科用ポートの姿勢を調整したことを示しているかどうかを判定する。例えば、コンピューティング装置２００は、ステップＳ３１６中に受信された追加の画像データを処理および分析して、ユーザの手によって行われるジェスチャを検出することができる。様々なジェスチャ、例えば、つまむジェスチャ、広げるジェスチャ、つつくジェスチャ、および／または移動するジェスチャを行い得る。様々なジェスチャは、ユーザが行った異なるアクションを示し得、例えば、ＨＭＤ１２０によって表示されるような、ユーザの手が特定の仮想外科用ポートに向けられている間のつまむジェスチャは、ユーザが特定の仮想外科用ポートを選択しているか、または「ピックアップ」していることを示し得る。同様に、ＨＭＤ１２０によって表示されるように、ユーザの手が特定の仮想外科用ポートに向けられている間に実行される広げるジェスチャは、ユーザが特定の仮想外科用ポートを選択解除しているか、または「ドロップ」していることを示し得る。同様に、特定の仮想外科用ポートが選択されている間のユーザの手の動きは、ユーザが特定の仮想外科用ポートをユーザの手が動いた方向に動かしていることを示し得る。いくつかの実施形態では、ユーザは、音声コマンドに基づいて、および／または視線追跡によって仮想ポートを移動させることができる。

ユーザの手の動きが、ユーザが仮想外科用ポートの姿勢を調整したことを示さないか、またはユーザが仮想外科用ポートの姿勢を調整するために音声および／もしくは視線追跡コマンドを与えていないと判定されると（ステップＳ３１８で「いいえ」）、処理はステップＳ３２６にスキップして進む。代替的に、ユーザの手の動きが、ユーザが仮想外科用ポートの姿勢を調整したことを示すか、またはユーザが仮想外科用ポートの姿勢を調整するために音声および／または視線追跡コマンドを与えたと判定されると（ステップＳ３１８で「はい」）、処理はステップＳ３２０に進み、コンピューティング装置２００は、調整に基づいてガイダンスを更新する。例えば、コンピューティング装置２００は、ステップＳ３１８で判定されたように、仮想外科用ポートの姿勢を、ステップＳ３１２で生成されたガイダンスで推奨される姿勢から、ユーザが仮想外科用ポートを動かした姿勢に調整し得る。

その後、ステップＳ３２２において、コンピューティング装置２００は、仮想外科用ポートの調整が、ステップＳ３１２で生成されたガイダンスで推奨される姿勢からの所定の距離または配向の変化より大きいかどうかを判定する。所定の距離および配向は、身体Ｂ内の手術部位の位置および／または実行されている外科的処置のタイプに基づき得る。例えば、結腸直腸外科的処置は、外科用ポートのより正確な配置を必要としない場合があるため、外科用ポートを配置する際にユーザにより大きな柔軟性を与えるが、一方で脊椎および／または神経外科的処置は、外科用ポートのより正確な配置を必要とする場合がある。仮想外科用ポートの調整が所定の距離または配向の変化よりも大きいと判定された場合（ステップＳ３２２で「はい」）、処理はステップＳ３２４に進み、ここでユーザに警告が提供され、仮想外科用ポートの姿勢が、推奨される姿勢から所定の距離を超えて調整されていることをユーザに示す。その後、またはステップＳ３２２で仮想外科用ポートの調整が所定の距離または配向の変化より大きくないと判断された場合（ステップＳ３２２で「いいえ」）、処理はステップＳ３１４に戻り、ステップＳ３２０で更新されたガイダンスが表示される。

ステップＳ３２６において、コンピューティング装置２００は、第１の外科用ポート１３０が身体Ｂ上に配置されているかどうかを判定する。例えば、ステップＳ３０２に関して上述したように、コンピューティング装置２００は、画像捕捉装置１２５から追加の画像データを受信し、追加の画像データを処理および分析して、第１の外科用ポート１３０が身体Ｂ上に配置されているかどうかを判定することができる。第１の外科用ポート１３０が身体Ｂ上に配置されていないと判定されると（ステップＳ３２６で「いいえ」）、処理はステップＳ３１４に戻る。代替的に、第１の外科用ポート１３０が身体Ｂ上に配置されていると判断されると（ステップＳ３２６で「はい」）、処理はステップＳ３２８に進み、身体Ｂ上に配置される追加の外科用ポート１３０があるかどうかが判定される。例えば、コンピューティング装置２００は、所定の治療計画および／または外科用ポート配置場所のモデルに基づいて、追加の外科用ポート１３０が身体Ｂ上に配置されるべきかどうかを判定し得る。また、コンピューティング装置２００は、追加の外科用ポート１３０を身体Ｂ上に配置すべきかどうかを示すユーザからの入力を受信し得る。

身体Ｂ上に配置される追加の外科用ポート１３０があると判定されると（ステップＳ３２８で「はい」）、処理はステップＳ３３０に進み、コンピューティング装置２００は、身体Ｂ上に別の外科用ポート１３０を配置するためのガイダンスを生成する。ガイダンスは、ステップＳ３１０で判定された身体Ｂ内の手術部位の位置、ステップＳ３０６で生成された動作環境の３Ｄシーン、および／または身体Ｂ上に配置された第１の外科用ポート１３０の姿勢に基づいて生成され得る。例えば、ガイダンスは、身体Ｂ内の手術部位の位置を示す１つ以上の拡張現実画像、および追加の外科用ポート１３０を身体Ｂ上のどこに配置すべきかを指示する仮想外科用ポートを含み得る。その後、処理はステップＳ３１４に戻り、ここでガイダンスが表示される。

代替的に、ステップＳ３２８において、身体Ｂ上に配置される追加の外科用ポート１３０がないと判定されると（ステップＳ３２８で「いいえ」）、処理はステップＳ３３２に進み、コンピューティング装置２００は、少なくとも１つの外科用ポート１３０を介して身体Ｂ内に内視鏡１４０を挿入するためのガイダンスを生成する。ガイダンスは、身体Ｂ内の手術部位の位置、身体Ｂ上に外科用ポート１３０が配置された場所、および／またはステップＳ３０６で生成された動作環境の３Ｄシーンに基づいて生成され得る。ガイダンスは、グラフィックによるガイダンスであってもよく、身体Ｂ内の手術部位の位置を示す１つ以上の拡張現実画像、身体Ｂ上の外科用ポート１３０、および内視鏡１４０が挿入されるべき外科用ポート１３０の指示を含み得る。ガイダンスはさらに、矢印、ポインタ等の視覚的インジケータ、ならびにテキストおよび聴覚コマンドを含むことができる。いくつかの実施形態では、内視鏡１４０は、第１の外科用ポート１３０が身体上に配置された後に挿入され、したがって、そのような実施形態では、ステップＳ３３２、Ｓ３３４、およびＳ３３６は、ステップＳ３２８の前に実行され得る。

その後、ステップＳ３３４において、コンピューティング装置２００は、ステップＳ３３２で生成されたガイダンスを表示する。例えば、コンピューティング装置２００は、ＨＭＤ１２０にガイダンスを表示させ得る。次に、ステップＳ３３６において、コンピューティング装置２００は、内視鏡１４０が外科用ポート１３０を介して身体Ｂ内に挿入されているかどうかを判定する。例えば、コンピューティング装置２００は、ステップＳ３０２に関して上述したように、画像捕捉装置１２５から追加の画像データを受信し得、追加の画像データを処理および分析して、内視鏡１４０が外科用ポート１３０を介して身体Ｂ内に挿入されているかどうかを判定し得る。内視鏡１４０が挿入されていないと判定されると（ステップＳ３３６で「いいえ」）、処理はステップＳ３３４に戻る。代替的に、内視鏡１４０が挿入されたと判断された場合（ステップＳ３３６で「はい」）、処理は、ステップＳ３３８に進む。

ステップＳ３３８において、コンピューティング装置２００は、外科用ロボットアセンブリ１５０を配置するためのガイダンスを生成する。例えば、コンピューティング装置２００は、外科用ポート１３０が配置された場所、および身体Ｂ内の手術部位の位置に基づいて、身体Ｂの周囲に外科用ロボットアセンブリ１５０を配置するための推奨された姿勢を判定し得る。拡張現実および／または仮想現実表示装置を使用した外科用ロボットの配置のためのガイダンスの生成は、２０１８年１月１０日にＣｏｖｉｄｉｅｎＬＰによって提出された共有の同時係属中の米国特許出願第ＵＳ６２／６１５，４９５号、発明の名称ＧＵＩＤＡＮＣＥＦＯＲＰＯＳＩＴＩＯＮＩＮＧＡＰＡＴＩＥＮＴＡＮＤＳＵＲＧＩＣＡＬＲＯＢＯＴにさらに記載され、その内容全体は参照により本明細書に組み込まれる。

その後、ステップＳ３４０において、コンピューティング装置２００は、ステップＳ３３０で生成されたガイダンスを表示する。例えば、コンピューティング装置２００は、ＨＭＤ１２０にガイダンスを表示させることができる。その後、処理は終了する。

図３の方法３００に関する上記の説明は、コンピューティング装置２００によって行われる機能に言及しているが、当業者には、そのような機能が、アプリケーション２８０等の１つ以上のアプリケーションの実行に基づいて、ならびに／または専用ハードウェアおよび／もしくはコンピューティング装置２００に含まれる他のソフトウェアに基づいて、コンピューティング装置２００によって行われてもよいことが理解されよう。したがって、コンピューティング装置２００によって行われるものとして説明されているが、方法３００の説明は、ハードウェアの実施形態に限定されるものとして解釈されるべきではない。

ここで図４Ａおよび図４Ｂを参照すると、本開示の実施形態による、ＨＭＤ１２０および／または１つ以上の他の表示装置によって表示され得る例示的なグラフィカルユーザインターフェース（ＧＵＩ）４００が示されている。ＧＵＩ４００は、図３Ａおよび図３Ｂの方法３００に関して上述した処置等の外科的処置中の様々な時点で、ＨＭＤ１２０および／または他の表示装置によって表示され得る。図４Ａに示されている実施形態では、テーブル１１０および外科用ロボットアセンブリ１５０は、ユーザに示されている動作環境内の物理的物体である。身体Ｂはテーブル１１０に横たわって示されている。仮想外科用ポート４１０ａ、４１０ｂ、４１０ｃ、４１０ｄ、および４１０ｅと手術部位４２０の拡張現実画像は、身体Ｂ上を覆うことができる。ＧＵＩ４００は、身体Ｂ上の仮想外科用ポート４１０ａ、４１０ｂ、４１０ｃ、４１０ｄ、および４１０ｅの位置によって示されるように、外科用ポート１３０を配置するようにユーザに指示するガイダンスをさらに含む。外科用ポート１３０に挿入された外科用ツールの双方向の動作範囲のインジケータ４３０の拡張現実画像は、身体Ｂ上をさらに覆ってもよい。ＧＵＩ４００はまた、テキスト命令４４０は、ユーザにテキストコマンドを表示することができる。

ユーザが仮想外科用ポート４１０ａ、４１０ｂ、４１０ｃ、４１０ｄ、および４１０ｅのうちの１つ以上の姿勢を調整することを選択した場合、ＧＵＩ４００は、移動された仮想外科用ポートの新しい姿勢を示すように更新され得る。例えば、図４Ｂに示されるように、更新されたＧＵＩ４００は、仮想外科用ポート４１０ａが移動され、その移動により仮想外科用ポート４１０ａが手術部位へのアクセスのための推奨配置範囲から外れたことを示す。そのような実施形態では、テキスト命令４４０は、仮想外科用ポート４１０ａが、ガイダンスによって推奨される姿勢から所定の距離または配向の変化を超えて調整されたことを示す警告をユーザに提供し得る。

当業者が理解するように、本開示に記載されたシステム、方法、およびコンピュータ可読媒体は、外科用ロボットに結合された外科用ツールの、身体内の手術部位への好適なアクセスを確保するためにどのようにして、かつ身体上のどこに外科用ポートを配置するかを臨床医に指示する様々な態様を説明している。様々な形式の視覚的および／または聴覚的ガイダンスが、臨床医に身体上の特定の場所に外科用ポートを配置することを指示し、かつ臨床医が外科用ポートの場所を調整できるようにする１つ以上のコマンドなどを、ヘッドマウントディスプレイおよび／またはプロジェクタまたはハンドヘルド表示装置を含む１つ以上の装置によって表示および／または発され得る。したがって、本明細書で開示されるシステム、方法、およびコンピュータ可読媒体は、ロボットによる外科的処置の訓練および／または準備の改善を提供する。

装置、そのような装置を組み込んだシステム、およびそれらを使用する方法の詳細な実施形態が本明細書に記載されてきた。しかしながら、これらの詳細な実施形態は、本開示の単なる実施例であり、様々な形態で実施され得る。したがって、本明細書に開示された具体的な構造的および機能的詳細は、限定するものと解釈されるべきではなく、単に請求項の根拠として、および当業者が本開示を適切に詳細な構造で様々に用いることを可能にするための、代表的な根拠として解釈されるべきである。

Claims

身体上の外科用ポートの配置を誘導するためのシステムであって、
画像捕捉装置であって、
身体を含む動作環境の画像を捕捉することと、
前記捕捉された画像に基づいて画像データを生成することと、を行うように構成された、画像捕捉装置と、
表示装置と、
プロセッサおよび命令を記憶するメモリを含むコンピューティング装置と、を備え、前記命令は、前記プロセッサによって実行されると、前記コンピューティング装置に、
前記身体内の手術部位の場所に関する情報を得ることと、
前記画像捕捉装置から前記画像データを受信することと、
前記身体内の前記手術部位の前記場所と前記画像データとに基づいて、外科用ポートを前記身体上に配置するためのグラフィックによるガイダンスを生成することと、
前記生成されたグラフィックによるガイダンスを、前記表示装置上に表示させることと、を行わせる、システム。
前記命令が、前記プロセッサによって実行されると、前記コンピューティング装置に、
前記画像捕捉装置から受信された前記画像データに基づいて、前記外科用ポートが前記身体上に配置されたことを検出することと、
前記外科用ポートを通して、内視鏡を前記身体内に挿入するためのグラフィックによるガイダンスを生成することと、
前記内視鏡が前記外科用ポートを通して挿入されたことを検出することと、をさらに行わせる、請求項１に記載のシステム。
前記外科用ポートが前記身体上に配置されたことを検出することが、前記画像捕捉装置から受信された追加の画像データを分析して、前記外科用ポートが前記身体上に配置されたことを検出することを含む、請求項２に記載のシステム。
前記内視鏡が前記外科用ポートを通して挿入されたことを検出することが、前記画像捕捉装置から受信された追加の画像データを分析して、前記内視鏡が前記外科用ポートを通して挿入されたことを検出することを含む、請求項２に記載のシステム。
前記外科用ポートが、第１の外科用ポートであり、前記命令が、前記プロセッサによって実行されると、前記コンピューティング装置に、
前記身体内の前記手術部位の前記場所、および前記第１の外科用ポートが前記身体上に配置された検出された場所に基づいて、第２の外科用ポートを前記身体上に配置するためのグラフィックによるガイダンスを生成することと、
前記生成されたグラフィックによるガイダンスを、前記表示装置上に表示させることと、をさらに行わせる、請求項２に記載のシステム。
前記生成されたグラフィックによるガイダンスが、前記身体上に表示された仮想外科用ポートを含み、前記命令が、前記プロセッサによって実行されると、前記コンピューティング装置に、
前記画像捕捉装置から受信された追加の画像データを分析して、ユーザの手の動きを検出することと、
前記ユーザの手の前記検出された動きに基づいて、前記ユーザが前記身体上の前記仮想外科用ポートの姿勢を調整していることを判定することと、
前記身体上の前記仮想外科用ポートの前記姿勢の前記判定された調整に基づいて、前記グラフィックによるガイダンスを更新することと、をさらに行わせる、請求項１に記載のシステム。
前記命令が、前記プロセッサによって実行されると、前記身体上の前記仮想外科用ポートの前記姿勢の前記判定された調整が、所定の距離または前記グラフィックによるガイダンスによって推奨される前記姿勢からの配向の変化を上回るとき、さらに前記コンピューティング装置に警告を提供させる、請求項６に記載のシステム。
前記ユーザの手の動きを検出することが、前記ユーザの手によって行われるジェスチャを検出することを含む、請求項６に記載のシステム。
前記ユーザが前記身体上の前記仮想外科用ポートの前記姿勢を調整していると判定することが、前記ユーザの手によって行われる前記検出されたジェスチャにさらに基づく、請求項８に記載のシステム。
前記画像捕捉装置が、前記表示装置に結合されている、請求項１に記載のシステム。
前記グラフィックによるガイダンスが、前記表示装置を介して表示されるテキストによる命令を含む、請求項１に記載のシステム。
前記グラフィックによるガイダンスが、前記外科用ポートの推奨される姿勢の拡張現実画像を含む、請求項１に記載のシステム。
前記外科用ポートの前記推奨される姿勢が、推奨される外科用ポート配置の所定のモデルに基づいて判定される、請求項１２に記載のシステム。
前記外科用ポートの前記推奨される姿勢が、所定の治療計画に基づいて判定される、請求項１２に記載のシステム。
前記外科用ポートの前記推奨される姿勢が、前記身体のスキャンに基づいて判定される、請求項１２に記載のシステム。
前記グラフィックによるガイダンスが、前記身体内の前記手術部位の位置の拡張現実画像を含む、請求項１に記載のシステム。
前記コンピューティング装置が、前記表示装置に、前記身体内の前記手術部位の位置の前記拡張現実画像を、前記身体上に重ね合わせるように表示させる、請求項１６に記載のシステム。
前記手術部位の前記拡張現実画像が、前記身体内の少なくとも１つの器官の位置を含む、請求項１６に記載のシステム。
前記身体内の前記少なくとも１つの器官の位置が、器官の位置の所定のモデルに基づく、請求項１８に記載のシステム。
ベースと、
第１のジョイントと、
前記第１のジョイントに結合された第１のアームと、
前記第１のアームに結合された第２のジョイントと、
前記第２のジョイントに結合された第２のアームと、を含む１つ以上のロボットアセンブリを含む外科用ロボットをさらに備え、
前記ベースが、前記第１のジョイント、第１のアーム、および第２のジョイントを介して、前記第２のアームに結合される、請求項１に記載のシステム。
前記命令が、前記プロセッサによって実行されると、さらに前記コンピューティング装置に、前記身体内の前記手術部位の判定された位置に基づいて、前記外科用ロボットを配置するためのグラフィックによるガイダンスを生成させる、請求項２０に記載のシステム。
前記命令が、前記プロセッサによって実行されると、さらに前記コンピューティング装置に、
前記身体上の前記外科用ポートの配置に基づいて、前記外科用ロボットの動作範囲を判定させ、
前記表示装置に、前記外科用ロボットの前記動作範囲の指標を表示させる、請求項２１に記載のシステム。
前記外科用ロボットの前記動作範囲が、前記外科用ロボットの特性に基づいて決定される、請求項２２に記載のシステム。
前記外科用ロボットの特性が、
前記外科用ロボットの構成と、
前記身体に対する前記外科用ロボットの姿勢と、
前記外科用ロボットに結合されたツールのタイプと、のうちの１つ以上を含む、請求項２３に記載のシステム。
前記画像捕捉装置が、第１の画像捕捉装置であり、前記システムが、
第２の画像捕捉装置をさらに含み、
前記命令が、前記プロセッサによって実行されると、さらに前記コンピューティング装置に、前記第１および第２の画像捕捉装置から受信された画像データに基づいて、前記動作環境の３次元シーンを生成させる、請求項１に記載のシステム。
前記第１および第２の画像捕捉装置が、前記動作環境の周囲に位置付けられる、請求項２５に記載のシステム。
前記画像捕捉装置が、前記コンピューティング装置に含まれる、請求項１に記載のシステム。
前記コンピューティング装置が、前記表示装置に含まれる、請求項１に記載のシステム。
前記身体内の前記手術部位の場所に関する情報を得ることが、ユーザからの入力を介して前記手術部位の選択を受信することを含む、請求項１に記載のシステム。
前記身体内の前記手術部位の場所に関する情報を得ることが、前記身体のスキャン中に取得された画像データに基づいて、前記手術部位の前記場所を判定することを含む、請求項１に記載のシステム。
前記身体内の前記手術部位の場所に関する情報を得ることが、所定の治療計画に基づいて、前記手術部位の前記場所を判定することを含む、請求項１に記載のシステム。
前記命令が、前記プロセッサによって実行されると、さらに前記コンピューティング装置に、前記受信された画像データに基づいて、前記身体内の前記手術部位の位置を判定させる、請求項１に記載のシステム。
前記身体が、マネキンの少なくとも一部である、請求項１に記載のシステム。
前記身体が、患者の少なくとも一部である、請求項１に記載のシステム。
身体上の外科用ポートの配置を誘導するための方法であって、
前記身体内の手術部位の場所に関する情報を得ることと、
画像捕捉装置から、動作環境の画像に基づいて生成された画像データを受信することと、
前記身体内の前記手術部位の前記場所と前記画像データとに基づいて、外科用ポートを前記身体上に配置するためのグラフィックによるガイダンスを生成することと、
生成されたグラフィックによるガイダンスを表示することと、を含む、方法。
前記画像捕捉装置から受信された前記画像データに基づいて、前記外科用ポートが前記身体上に配置されたことを検出することと、
前記外科用ポートを通して、内視鏡を前記身体内に挿入するためのグラフィックによるガイダンスを生成することと、
前記内視鏡が前記外科用ポートを通して挿入されたことを検出することと、をさらに含む、請求項３５に記載の方法。
前記外科用ポートが前記身体上に配置されたことを検出することが、前記画像捕捉装置から受信された追加の画像データを分析して、前記外科用ポートが前記身体上に配置されたことを検出することを含む、請求項３６に記載の方法。
前記内視鏡が前記外科用ポートを通して挿入されたことを検出することが、前記画像捕捉装置から受信された追加の画像データを分析して、前記内視鏡が前記外科用ポートを通して挿入されたことを検出することを含む、請求項３６に記載の方法。
前記外科用ポートが、第１の外科用ポートであり、前記方法が、
前記身体内の前記手術部位の前記場所、および前記第１の外科用ポートが前記身体上に配置された検出された場所に基づいて、第２の外科用ポートを前記身体上に配置するためのグラフィックによるガイダンスを生成することと、
前記生成されたグラフィックによるガイダンスを表示することと、をさらに含む、請求項３５に記載の方法。
前記生成されたグラフィックによるガイダンスが、前記身体上に表示された仮想外科用ポートを含み、前記方法が、
前記画像捕捉装置から受信された追加の画像データを分析して、ユーザの手の動きを検出することと、
前記検出された前記ユーザの手の動きに基づいて、前記ユーザが前記身体上の前記仮想外科用ポートの姿勢を調整していることを判定することと、
前記身体上の前記仮想外科用ポートの前記姿勢の前記判定された調整に基づいて、グラフィックによるガイダンスを更新することと、をさらに含む、請求項３５に記載の方法。
前記身体上の前記仮想外科用ポートの前記姿勢の前記判定された調整が、所定の距離または前記グラフィックによるガイダンスによって推奨される前記姿勢からの配向の変化を上回るとき、警告を提供することをさらに含む、請求項４０に記載の方法。
前記ユーザの手の動きを検出することが、前記ユーザの手によって実行されるジェスチャを検出することを含む、請求項４０に記載の方法。
前記ユーザが前記身体上の前記仮想外科用ポートの前記姿勢を調整していると判定することが、前記ユーザの手によって行われる前記検出されたジェスチャにさらに基づく、請求項４２に記載の方法。
前記画像捕捉装置が、ヘッドマウントディスプレイに結合される、請求項３５に記載の方法。
前記グラフィックによるガイダンスが、ヘッドマウントディスプレイを介して表示されるテキストによる指示を含む、請求項３５に記載の方法。
前記グラフィックによるガイダンスが、前記外科用ポートの推奨された姿勢の拡張現実画像を含む、請求項３５に記載の方法。
前記外科用ポートの前記推奨された姿勢が、推奨された外科用ポート配置の所定のモデルに基づいて決定される、請求項４６に記載の方法。
前記外科用ポートの前記推奨された姿勢が、所定の治療計画に基づいて決定される、請求項４６に記載の方法。
前記外科用ポートの前記推奨された姿勢が、前記身体のスキャンに基づいて決定される、請求項４６に記載の方法。
前記グラフィックによるガイダンスが、前記身体内の前記手術部位の位置の拡張現実画像を含む、請求項３５に記載の方法。
前記身体内の前記手術部位の前記位置の前記拡張現実画像を、前記身体上に重ね合わせるように表示することをさらに含む、請求項５０に記載の方法。
前記手術部位の前記拡張現実画像は、前記身体内の少なくとも１つの器官の位置を含む、請求項５０に記載の方法。
前記身体内の前記少なくとも１つの器官の位置が、器官の位置の所定のモデルに基づく、請求項５２に記載の方法。
前記身体内の前記手術部位の前記判定された位置に基づいて、外科用ロボットを配置するためのグラフィックによるガイダンスを生成することをさらに含む、請求項３５に記載の方法。
前記身体上の前記外科用ポートの前記配置に基づいて、前記外科用ロボットの動作範囲を決定することと、
前記外科用ロボットの前記動作範囲の指標を表示することと、をさらに含む、請求項５４に記載の方法。
前記外科用ロボットの前記動作範囲が、前記外科用ロボットの特性に基づいて決定される、請求項５５に記載の方法。
前記外科用ロボットの前記特性が、
前記外科用ロボットの構成と、
前記身体に対する前記外科用ロボットの姿勢と、
前記外科用ロボットに結合されたツールのタイプと、のうちの１つ以上を含む、請求項５６に記載の方法。
前記画像捕捉装置が、複数の画像捕捉装置であり、前記方法が、前記複数の画像捕捉装置から受信された画像データに基づいて、前記動作環境の３次元シーンを生成することをさらに含む、請求項３５に記載の方法。
前記複数の画像捕捉装置が、前記動作環境の周囲に位置付けられる、請求項５８に記載の方法。
前記身体内の前記手術部位の場所に関する情報を得ることが、ユーザからの入力を介して前記手術部位の選択を受信することを含む、請求項３５に記載の方法。
前記身体内の前記手術部位の場所に関する情報を得ることが、前記身体のスキャン中に取得された画像データに基づいて、前記手術部位の前記場所を決定することを含む、請求項３５に記載の方法。
前記身体内の前記手術部位の場所に関する情報を得ることが、所定の治療計画に基づいて、前記手術部位の前記場所を決定することを含む、請求項３５に記載の方法。
前記受信された画像データに基づいて、前記身体内の前記手術部位の位置を決定することをさらに含む、請求項３５に記載の方法。
前記身体が、マネキンの少なくとも一部である、請求項３５に記載の方法。
前記身体が、患者の少なくとも一部である、請求項３５に記載の方法。
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、コンピュータによって実行されると、前記コンピュータに、
前記身体内の手術部位の場所に関する情報を得ることと、
画像捕捉装置から、動作環境の画像に基づいて生成された画像データを受信することと、
前記身体内の前記手術部位の前記場所と前記画像データとに基づいて、外科用ポートを前記身体上に配置するためのガイダンスを生成することと、
前記生成されたグラフィックによるガイダンスを、表示装置上に表示させることと、を行わせる、非一時的コンピュータ可読記憶媒体。
前記命令が、前記コンピュータによって実行されると、前記コンピュータに、
前記画像捕捉装置から受信された前記画像データに基づいて、前記外科用ポートが前記身体上に配置されたことを検出することと、
前記外科用ポートを通して、内視鏡を前記身体内に挿入するためのグラフィックによるガイダンスを生成することと、
前記内視鏡が前記外科用ポートを通して挿入されたことを検出することと、をさらに行わせる、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記外科用ポートが前記身体上に配置されたことを検出することが、前記画像捕捉装置から受信された追加の画像データを分析して、前記外科用ポートが前記身体上に配置されたことを検出することを含む、請求項６７に記載の非一時的コンピュータ可読記憶媒体。
前記内視鏡が前記外科用ポートを通して挿入されたことを検出することが、前記画像捕捉装置から受信された追加の画像データを分析して、前記内視鏡が前記外科用ポートを通して挿入されたことを検出することを含む、請求項６７に記載の非一時的コンピュータ可読記憶媒体。
前記外科用ポートが、第１の外科用ポートであり、前記命令が、前記コンピュータによって実行されると、さらに前記コンピュータに、
前記身体内の前記手術部位の前記場所、および前記第１の外科用ポートが前記身体上に配置された検出された場所に基づいて、第２の外科用ポートを前記身体上に配置するためのグラフィックによるガイダンスを生成させ、
前記生成されたグラフィックによるガイダンスを、前記表示装置上に表示させる、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記生成されたグラフィックによるガイダンスが、前記身体上に表示された仮想外科用ポートを含み、前記命令が、前記コンピュータによって実行されると、前記コンピュータに、
前記画像捕捉装置から受信された追加の画像データを分析して、ユーザの手の動きを検出することと、
前記検出された前記ユーザの手の動きに基づいて、前記ユーザが前記身体上の前記仮想外科用ポートの姿勢を調整していることを判定することと、
前記身体上の前記仮想外科用ポートの前記姿勢の前記判定された調整に基づいて、前記グラフィックによるガイダンスを更新することと、をさらに行わせる、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記命令が、前記コンピュータによって実行されると、前記身体上の前記仮想外科用ポートの前記姿勢の前記判定された調整が、所定の距離または前記グラフィックによるガイダンスによって推奨される前記姿勢からの配向の変化を上回るとき、さらに前記コンピュータに警告を提供させる、請求項７１に記載の非一時的コンピュータ可読記憶媒体。
前記ユーザの手の動きを検出することが、前記ユーザの手によって行われたジェスチャを検出することを含む、請求項７１に記載の非一時的コンピュータ可読記憶媒体。
前記ユーザが前記身体上の前記仮想外科用ポートの前記姿勢を調整していると判定することが、前記ユーザの手によって行われる前記検出されたジェスチャにさらに基づく、請求項７３に記載の非一時的コンピュータ可読記憶媒体。
前記画像捕捉装置が、前記表示装置に結合される、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記グラフィックによるガイダンスが、前記表示装置を介して表示されるテキストによる命令を含む、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記グラフィックによるガイダンスが、前記外科用ポートの推奨された姿勢の拡張現実画像を含む、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記外科用ポートの前記推奨された姿勢が、推奨された外科用ポート配置の所定のモデルに基づいて決定される、請求項７７に記載の非一時的コンピュータ可読記憶媒体。
前記外科用ポートの前記推奨された姿勢が、所定の治療計画に基づいて決定される、請求項７７に記載の非一時的コンピュータ可読記憶媒体。
前記外科用ポートの前記推奨された姿勢が、前記身体のスキャンに基づいて決定される、請求項７７に記載の非一時的コンピュータ可読記憶媒体。
前記グラフィックによるガイダンスが、前記身体内の前記手術部位の位置の拡張現実画像を含む、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記命令が、前記コンピュータによって実行されると、さらに前記コンピュータに、前記表示装置に、前記身体内の前記手術部位の前記位置の前記拡張現実画像を、前記身体上に重ね合わせるように表示させる、請求項８１に記載の非一時的コンピュータ可読記憶媒体。
前記手術部位の前記拡張現実画像が、前記身体内の少なくとも１つの器官の位置を含む、請求項８２に記載の非一時的コンピュータ可読記憶媒体。
前記身体内の前記少なくとも１つの器官の前記位置が、器官の位置の所定のモデルに基づく、請求項８３に記載の非一時的コンピュータ可読記憶媒体。
前記命令が、前記コンピュータによって実行されると、さらに前記コンピュータに、前記身体内の前記手術部位の決定された位置に基づいて、前記外科用ロボットを配置するためのグラフィックによるガイダンスを生成させる、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記命令が、前記コンピュータによって実行されると、前記コンピュータに、
前記身体上の前記外科用ポートの前記配置に基づいて、前記外科用ロボットの動作範囲を決定することと、
前記外科用ロボットの前記動作範囲の指標を表示することと、をさらに行わせる、請求項８５に記載の非一時的コンピュータ可読記憶媒体。
前記外科用ロボットの前記動作範囲は、前記外科用ロボットの特性に基づいて決定される、請求項８６に記載の非一時的コンピュータ可読記憶媒体。
前記外科用ロボットの前記特性が、
前記外科用ロボットの構成と、
前記身体に対する前記外科用ロボットの姿勢と、
前記外科用ロボットに結合されたツールのタイプと、のうちの１つ以上を含む、請求項８７に記載の非一時的コンピュータ可読記憶媒体。
前記画像捕捉装置が、複数の画像捕捉装置であり、さらに前記命令が、前記コンピュータによって実行されると、前記コンピュータに、前記複数の画像捕捉装置から受信された画像データに基づいて、前記動作環境の３次元シーンを生成させる、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記複数の画像捕捉装置が、前記動作環境の周囲に位置付けられる、請求項８９に記載の非一時的コンピュータ可読記憶媒体。
前記身体内の前記手術部位の場所に関する情報を得ることが、ユーザからの入力を介して前記手術部位の選択を受信することを含む、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記身体内の前記手術部位の場所に関する情報を得ることが、前記身体のスキャン中に取得された画像データに基づいて、前記手術部位の前記場所を決定することを含む、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記身体内の前記手術部位の場所に関する情報を得ることが、所定の治療計画に基づいて、前記手術部位の前記場所を決定することを含む、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記命令が、前記コンピュータによって実行されると、さらに前記コンピュータに、前記受信された画像データに基づいて、前記身体内の前記手術部位の位置を決定させる、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記身体が、マネキンの少なくとも一部である、請求項６６に記載の非一時的コンピュータ可読記憶媒体。
前記身体が、患者の少なくとも一部である、請求項６６記載の非一時的コンピュータ可読記憶媒体。