JP2022519307A - ロボット手術システム用のハンドアイ協働システム - Google Patents

Abstract

ツールがユーザコンソールの入力ハンドルの入力に従うように処理ユニットを備えた手術ロボットのツールを制御する方法は、ユーザコンソールのマスターフレームでの入力ハンドルの動きを受信すること、マスターフレームでの入力ハンドルの動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでのツールの動きに変換すること、カメラフレームでのツールの動きを、手術室で定められたワールドフレームでのツールの動きに変換すること、ワールドフレームでのツールの動きを、ツールを支持するアームによって定められるツールフレームでのツールの動きに変換すること、およびツールが入力ハンドルの動きに従うように、ツールを制御するモーターに制御コマンドを送信すること、を含む。【選択図】図１

Description

ロボット手術システムは、低侵襲医療処置で使用されている。医療処置中、ロボット手術システムは、ユーザインターフェースとインターフェースする外科医によって制御される。ユーザインターフェースは、外科医が、患者に作用する手術機器のエンドエフェクタを操作することを可能にする。ユーザインターフェースは、ロボット手術システムを制御するために外科医によって動かされる入力コントローラまたはハンドル、および外科医が手術部位内のエンドエフェクタを視覚化できるディスプレイを含む。手術部位の視覚化は、手術部位のリアルタイム画像を提示する内視鏡などの１つまたは複数のカメラによってもたらされる。

手術部位の視覚化の改善と手術ロボットの直感的な制御に対する継続的な必要性がある。

本開示は、一般に、ユーザコンソールの入力ハンドルの動きを、手術ロボットのツールの動きに変換し、ツールが意図されたように、またユーザコンソールのディスプレイ上で見られるように動くようにするための方法に関する。

本開示の態様では、ツールがユーザコンソールの入力ハンドルの入力に従うように、処理ユニットを備えた手術ロボットのツールを制御する方法が、ユーザコンソールのマスターフレームでの入力ハンドルの動きを受信すること、マスターフレームでの入力ハンドルの動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでのツールの動きに変換すること、カメラフレームでのツールの動きを、手術室で定められたワールドフレームでのツールの動きに変換すること、ワールドフレームでのツールの動きを、ツールを支持するアームによって定められるツールフレームでのツールの動きに変換すること、およびツールが入力ハンドルの動きに従うように、ツールを制御するモーターに制御コマンドを送信すること、を含む。

態様では、マスターフレームでの入力ハンドルの動きを、カメラフレームでのツールの動きに変換することは、表示回転行列をマスターフレームでの入力ハンドルの動きに適用して、入力ハンドルの動きを、ユーザコンソールのディスプレイの表示フレームへ変換することを含む。ディスプレイは手術部位のリアルタイム画像の視覚化をもたらし得る。表示回転行列は、マスターフレームの軸を中心に動きを３０度回転させることができる。

いくつかの態様では、マスターフレームでの入力ハンドルの動きを、カメラフレームでのツールの動きに変換することは、反転回転行列をマスターフレームでの入力ハンドルの動きに適用して、入力ハンドルの動きを、カメラフレームへ変換することを含む。反転回転行列は、表示フレームの軸を中心に動きを１８０度回転させることができる。方法は、反転フラグを受信して、反転フラグが、カメラからのリアルタイム画像がディスプレイに表示される前に反転されることを示している場合に、反転回転行列を適用することを含み得る。

特定の態様では、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換することは、ワールドフレームに対するカメラフレームのヨー角とピッチ角を決定して、ワールドフレームに対するカメラフレームのヨー角とピッチ角を含むワールドフレーム回転行列を適用して、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換することを含む。

特定の態様では、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換することは、カメラのオフセットを受信すること、およびカメラのオフセットを含む調整回転行列を、カメラフレームでのツールの動きに適用することにより、カメラのオフセットによってカメラフレームでの動きを調整することを含む。

いくつかの態様では、ワールドフレームでのツールの動きをツールフレームでのツールの動きに変換することは、ワールドフレームに対するツールフレームのヨー角とピッチ角を決定すること、およびワールドフレームに対するツールフレームのヨー角とピッチ角を含むツールフレーム回転行列の転置を適用して、ワールドフレームでのツールの動きをツールフレームの動きに変換することを含む。この方法は、制御コマンドを、ツールを制御するモーターに送信する前に、入力ハンドルの動いている間にカメラが固定されていることを確認することを含み得る。

本開示の別の態様では、ロボット手術システムは、手術ロボットとユーザコンソールと処理ユニットとを含む。手術ロボットは、カメラを支持する第１のアームと、ツールを支持する第２のアームとを含む。カメラはカメラフレームを定め、手術部位のリアルタイム画像をキャプチャするように構成されている。第２のアームはツールフレームを定め、ツールフレーム内で、ツールを操作するように構成される手術ロボットがワールドフレームを定める。ユーザコンソールには、入力ハンドルとディスプレイが含まれている。入力ハンドルは、ユーザコンソールで定められたマスターフレーム内で移動できる。ディスプレイは、カメラによって提示される手術部位のリアルタイム画像を表示するように構成されている。処理ユニットは、マスターフレームでの入力ハンドルの動きを受信すること、マスターフレームでの入力ハンドルの動きをカメラフレームでのツールの動きに変換すること、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換すること、ワールドフレームでのツールの動きをツールフレームでのツールの動きに変換すること、およびツールが入力ハンドルの動きに従うように、制御コマンドを第２のアームに送信すること、に対して構成される。

態様では、ディスプレイは、マスターフレームの１つの軸に対して回転される表示フレームを定める。ディスプレイは、マスターフレームの１つの軸を中心に３０度回転させることができる。処理ユニットは、マスターフレームでの入力ハンドルの動きに表示回転行列を適用して、入力ハンドルの動きを表示フレームに変換するように構成される。

いくつかの態様では、ディスプレイは、リアルタイム画像を表示する前に、カメラによって提示されるリアルタイム画像を１８０度反転するように構成される。処理ユニットは、ディスプレイで反転されているリアルタイム画像を示す反転フラグを受信し、ツールの動きに反転回転行列を適用して、ツールの動きをカメラフレームに変換するように構成される。

特定の態様では、処理ユニットは、ワールドフレームに対するカメラフレームのヨー角とピッチ角を受信して、ワールドフレームに対するカメラフレームのヨー角とピッチ角を含むワールドフレーム回転行列を適用して、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換するよう構成される。処理ユニットは、カメラのオフセット角度を受信し、カメラのオフセット角度を含む調整回転行列を適用して、カメラフレームでのツールの動きを調整するように構成することができる。

特定の態様では、処理ユニットは、ワールドフレームに対するツールフレームのヨー角およびピッチ角を受信し、ワールドフレームに対するツールフレームのヨー角およびピッチ角を含むツールフレーム回転行列の転置を適用して、ワールドフレームでのツールの動きをツールフレームでのツールの移動へ変換するように構成される。処理ユニットは、制御コマンドを送信する前に、入力ハンドルの動いている間にカメラが固定されていることを確認するように構成することができる。

本開示の別の態様では、コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、ユーザコンソールでのマスターフレームで入力ハンドルの動きを受信すること、マスターフレームでの入力ハンドルの動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでのツールの動きに変換すること、カメラフレームでのツールの動きを手術室で定められたワールドフレームでのツールの動きに変換すること、ワールドフレームでのツールの動きを、ツールを支持するアームにより定められるツールフレームでのツールの動きに変換すること、およびツールが入力ハンドルの動きに従うように、ツールを制御するモーターに制御コマンドを送信すること、を生じさせる一連の命令を格納する。

さらに、矛盾しない程度に、本明細書に記載される態様のいずれかを、本明細書に記載される他の態様のいずれかまたは全てと併せて使用することができる。

本開示の様々な態様を、本明細書に組み込まれ、その一部を構成する図面を参照して以下で説明する。

図１は、本開示による、ロボット手術システムの概略図である。 図２は、図１のロボット手術システムの例示的なユーザコンソールの概略図である。 図３Ａは、図１のロボット手術システムのカメラおよびツールを支持する例示的なロボットベースおよびアームの側面図である。 図３Ｂは、図１のロボット手術システムのカメラおよびツールを支持する例示的なロボットベースおよびアームの側面図である。 図４は、図２のユーザコンソールの入力ハンドルの動きを図３Ｂのツールの動きに変換する方法のフローチャートである。 図５は、例えば、図１のロボット手術システムの一部として、本システムの様々な実施形態で使用され得るコンピューティング装置の例示的な実施形態の概略的なブロック図である。

ここで本開示の実施形態が図面を参照して詳細に記載され、図面の中で同様の参照番号は、いくつかの図の各々において同一のまたは対応する要素を示す。本明細書で使用される際、「臨床医」という用語は、医師、看護師、または任意の他の医療提供者を指し、医療支援従事者を含み得る。

図１を参照すると、本開示によるロボット手術システム１は、概して、手術ロボット１０、処理ユニット３０、およびユーザコンソール４０として示されている。手術ロボット１０は、一般に、リンク機構またはアーム１２および１つまたは複数のロボットベース１８を含む。リンク機構１２は、組織に作用するように構成されたエンドエフェクタまたはツール２０を可動に支持する。リンク機構１２は、各々が組織に作用するように構成されたエンドエフェクタまたはツール２０を支持する端部１４を有するアームの形態であり得る。さらに、リンク機構１２の端部１４は、手術部位「Ｓ」を撮像するための撮像装置１６を含むことができる。ユーザコンソール４０は、処理ユニット３０を介してロボットベース１８と通信する。

ユーザコンソール４０は、３次元画像を表示するように構成されたディスプレイ装置４４を含む。ディスプレイ装置４４は、手術部位「Ｓ」の３次元画像を表示し、これは、リンク機構１２の端部１４に配置された撮像装置１６によってキャプチャされたデータを含み、かつ／または手術現場の周りに配置された撮像装置（例えば、手術部位「Ｓ」内に配置された撮像装置、患者「Ｐ」に隣接して配置された撮像装置、撮像アーム５２の遠位端に配置された撮像装置５６）によってキャプチャされたデータを含み得る。撮像装置（例えば、撮像装置１６、５６）は、手術部位「Ｓ」の視覚画像、赤外線画像、超音波画像、Ｘ線画像、熱画像、および／または任意の他の既知のリアルタイム画像をキャプチャしてもよい。撮像装置は、キャプチャした撮像データを処理ユニット３０に送信し、処理ユニット３０は、撮像データからリアルタイムで手術部位「Ｓ」の３次元画像を作成し、その３次元画像を表示するためにディスプレイ装置４４に送信する。

ユーザコンソール４０はまた、臨床医が手術ロボット１０を操作する（例えば、リンク機構１２、リンク機構１２の端部１４、および／またはツール２０を動かす）ことを可能にする制御アーム４３上に支持された入力ハンドル４２も含む。入力ハンドル４２の各々は、処理ユニット３０と通信し、そこに制御信号を送信し、そこからフィードバック信号を受信する。追加的または代替的に、入力ハンドル４２の各々は、外科医がリンク機構１２の端部１４に支持されたツール２０を操作する（例えば、挟持する、把持する、発射する、開く、閉じる、回転させる、突き出す、スライスするなど）ことを可能にする入力装置（明示的には図示せず）を含み得る。

入力ハンドル４２の各々は、手術部位「Ｓ」内でリンク機構１２の端部１４、例えば、ツール２０を動かすために、所定の作業空間を通して可動である。ディスプレイ装置４４の３次元画像は、入力ハンドル４２の動きにより、ディスプレイ装置４４で見られるようにリンク機構１２の端部１４を動かせるように向けられている。入力ハンドル４２の動きが、３次元画像内のリンク機構１２の端部１４の動きに合わせてスケーリングされている間、３次元画像は静止したままである。３次元画像の向きを維持するために、入力ハンドル４２の運動学的マッピングは、リンク機構１２の端部１４の向きに対するカメラの向きに基づいている。ディスプレイ装置４４の３次元画像の向きは、撮像装置１６、５６によってキャプチャされた視界に対して反映または回転され得る。加えて、ディスプレイ装置４４の３次元画像のサイズは、臨床医が手術部位「Ｓ」内の構造をよりよく見ることができるように、手術部位の実際の構造よりも大きくまたは小さくスケーリングされ得る。入力ハンドル４２が動かされると、ツール２０は、以下に詳述するように手術部位「Ｓ」内で動かされる。ツール２０の動きは、ツール２０を支持するリンク機構１２の端部１４の動きも含むことができる。

ロボット手術システム１の構成および操作の詳細な説明については、米国特許第８，８２８，０２３号を参照することができ、その内容全体が参照により本明細書に組み込まれる。

図１～３Ｂを参照すると、ロボット手術システム１はワールドフレームＦ_ｗを有し、ユーザコンソール４０はマスターフレームＦ_ｍを有し、ディスプレイ４４は表示フレームＦ_ｄを有し、各ツールまたはエンドエフェクタ２０はツールフレームＦ_ｔを有し、カメラ５６は、カメラフレームＦ_ｃを有する。ワールドフレームＦ_ｗは、Ｘ_ｗ－Ｙ_ｗ－Ｚ_ｗ軸によって定められる、外科的処置の間に固定された固定フレームである。特に図３Ａおよび３Ｂを参照すると、ワールドフレームＦ_ｗは、手術室の床または地面に配置されたフレームであり、ツールフレームＦ_ｔおよびカメラフレームＦ_ｃのそれぞれによって参照することができる。示されるように、ワールドフレームＦ_ｗは、カメラアーム５２とツール２０を支持するベース１８との間にあり、Ｘ_ｗ軸は床に平行な水平方向に定められ、Ｙ_ｗ軸は床に平行な水平方向に定められ、Ｚ_ｍ軸は、床から天井までの高さ方向に定められる。

特に図２を参照すると、マスターフレームＦ_ｍは、ユーザコンソール４０のワークスペースＷのフレームであり、Ｘ_ｍ－Ｙ_ｍ－Ｚ_ｍ軸によって定められる。マスターフレームＦ_ｍの軸は、入力ハンドル４２およびディスプレイ４４に関連し、Ｘ_ｍ軸はディスプレイ４４に向かって、またディスプレイ４４から離れ、Ｙ_ｍ軸は、ディスプレイ４４に対して水平または横方向で、例えば、ディスプレイ４４に対して左／右で、Ｚ_ｍ軸は床に対して垂直である。

図３Ａに戻って参照すると、カメラフレームＦ_ｃは、手術部位Ｓに対するカメラ５６のビューを定めるためのカメラ５６のフレームであり、Ｘ_ｃ－Ｙ_ｃ－Ｚ_ｃ軸によって定められる。カメラフレームＦ_ｃは、手術部位Ｓに対して１つより多いカメラから取得された画像から形成される合成画像に対して定められ得る。Ｙ_ｃ軸およびＺ_ｃ軸は互いに垂直であり、それぞれがカメラ５６のレンズによって定められる平面に平行である。Ｘ_ｃ軸は、カメラ５６のレンズによって定められる平面に直交し、カメラ５６の対象物距離がＸ_ｃ軸に沿って定められるように、実質的に手術部位Ｓに向けられる。

図３Ｂを参照すると、ツールフレームＦ_ｔは、ツール２０を支持するベース１８に対する手術部位Ｓ内のツール２０の動きを定めるための、ツール２０を支持するベース１８のフレームであり、Ｘ_ｔ－Ｙ_ｔ－Ｚ_ｔ軸によって定められる。Ｘ_ｔ軸とＹ_ｔ軸は互いに垂直であり、床に実質的に平行である。Ｚ_ｔ軸は、Ｘ_ｔ軸およびＹ_ｔ軸の各々に垂直であり、天井に向かって、例えば、床から離れ、実質的に垂直である。

図１のロボット手術システムおよび図２～３Ｂのフレームを参照すると、医療処置中、処理ユニット３０は、それぞれのツールフレームＦ_ｔで入力ハンドル４２の動きに従うときに、マスターフレームＦ_ｍ内のユーザコンソール４０の入力ハンドル４２の動きを、入力ハンドル４２に割り当てられたツール２０にマッピングする。例えば、入力ハンドル４２が所望の方向に、例えば、マスターフレームＦ_ｍで上に動かされると、ツール２０は、ツールフレームＦ_ｔにおいて、表示フレームＦ_ｄの所望の方向、例えばディスプレイ４４に示されるように、上に対応する方向に動かされる。マスターフレームＦ_ｍでの入力ハンドル４２の動きがツールフレームＦ_ｔでのツール２０の所望の動きをもたらすことを確実にするために、処理ユニット３０は、マスターフレームＦ_ｍからツールフレームＦ_ｔへの動きを、カメラフレームＦ_ｃおよびワールドフレームＦ_ｗに対するツールフレームＦ_ｔの位置を使用することによって変換する。処理を単純化するために、処理ユニット３０は、それぞれのフレームでの動きに対するワールドフレームＦ_ｗの中央処理ユニット３０からの命令またはコマンドを変換するコントローラ、例えば、コントローラ３２、３４を含む各ベース１８を備えた分散処理ユニットであり得る。

本明細書で詳述するように、それぞれの座標フレームｒ内のベクトルｖは、ｖ_ｒ＝［ｖ_ｘ ｖ_ｙ ｖ_ｚ］として表される。また、座標フレームＦ_ａと座標フレームＦ_ｂを関連付ける回転行列は^ａ _ｂＲと表され、^ａ _ｂＲｖ_ｂ＝ｖ_ａとなる。このことから、^ａ _ｂＲ^ｂ _ＣＲ＝^ａ _ｃＲ、また^ａ _ｂＲ＝（^ｂ _ａＲ）^Ｔと理解される。

以下に詳述するように、処理ユニット３０は、マスターフレームＦ_ｍ内の動きを決定し、その動きを表示フレームＦ_ｄに変換する。次に、動きは、ワールドフレームＦ_ｗに関連するカメラフレームＦ_ｃに変換され得る。カメラフレームＦ_ｃとワールドフレームＦ_ｗとの関係により、処理ユニット３０は、動きをワールドフレームＦ_ｗに変換することができる。次に、ツールフレームＦ_ｔとワールドフレームＦ_ｗとの間の関係により、処理ユニット３０は、ワールドフレームＦ_ｗからツールフレームＦ_ｔへの動きを変換することができる。

マスターフレームＦ_ｍでの入力ハンドル４２のそれぞれの１つの動きを、ツールフレームＦ_ｔでの割り当てられたツール２０の所望の動きに対してマッピングするために、時間ｋ－１から時間ｋまでのマスターフレームＦ_ｍでの入力ハンドル４２の動きは、Δｐ_ｍ＝［ｖ_ｘ ｖ_ｙ ｖ_ｚ］のように表すことができる。

示されるように、ディスプレイ４４は、表示フレームＦ_ｄがマスターフレームＦ_ｍに対してオフセットまたは回転されるように、ユーザコンソール４０とインターフェースする臨床医にとって快適な視界を提供するように角度が付けられている。具体的には、表示フレームＦ_ｄは、約３０°、つまりπ／６の表示角度θ_ｄにてＸ_ｄ軸の周りに回転される。しかし、いくつかの実施形態において、表示フレームＦ_ｄが、実質的にマスターフレームＦ_ｍに、または異なる表示角度θ_ｄで整列されるように、ディスプレイ４４が、臨床医に対して快適な視野をもたらすように配置され得る。

表示フレームＦ_ｄがマスターフレームＦ_ｍからオフセットされている場合は、表示フレームＦ_ｄにマスターフレームＦ_ｍでの動きを変換する必要がある。マスターフレームＦ_ｍの動きを表示フレームＦ_ｄに変換するために、回転行列は、

とし、表示フレームＦ_ｄのΔｐ_ｍは、
Δｐ_ｄ＝（^ｍ _ｄＲ）^ＴΔｐ_ｍ＝^ｄ _ｍＲΔｐ_ｍ、（これより

が得られる）として、回転行列の転置を使用して変換できる。

いくつかの実施形態では、ディスプレイ４４は、Ｚ_ｄ軸を中心に反転または回転された手術部位Ｓの画像を表示して、表示された画像の向きに基づいてツール２０のより快適な操作を可能にすることができる。実施形態では、ディスプレイ４４は、単一の制御装置の操作、例えば、ボタンを押すことまたはスイッチを切り替えることによって、表示された画像を１８０°反転させることを可能にする。表示フレームＦ_ｄからカメラフレームＦ_ｃへ動きを変換するために、表示画像の向きの反転回転行列Ｒ_ｆが、カメラフレームＦ_ｃの動きがΔｐ_ｃ＝Ｒ_ｆΔｐ_ｄのように表されるように、表示フレームＦ_ｄの動きに適用される。表示された画像のこの１８０°の反転は、画像が反転されたときに反転フラグが「真」または「１」であり、画像が反転されていないときに反転フラグが「偽」または「０」であるようなフラグによって表すことができる。反転フラグが偽の場合、反転回転行列Ｒ_ｆは

とし、ディスプレイ４４の正のＺ_ｄつまり上への動きは、負のＹ_ｃ動きにおけるツール２０の動きに変換され、ディスプレイ４４での正のＹ_ｄ、または左の動きは、正のＺ_ｃにおけるツール２０の動きに変換され、正のＸ_ｄまたはディスプレイ４４内への動きは、正のＸ_ｃにおけるツール２０の動きに変換される。あるいは、反転フラグが真の場合、反転回転行列Ｒ_ｆは

とし、ディスプレイ４４の正のＺ_ｄつまり上への動きは、正のＹ_ｃの動きにおけるツール２０の動きに変換され、ディスプレイ４４での正のＹ_ｄ、つまり左の動きは、負のＺ_ｃにおけるツール２０の動きに変換され、正のＸ_ｄまたはディスプレイ４４内への動きは、正のＸ_ｃにおけるツール２０の動きに変換される。Ｘ_ｄに沿った動きは、反転フラグの状態の影響を受けないことに留意されたい。

手術ロボット１０がツール２０を動かすために、カメラフレームΔｐ_ｃでのツールの動きは、ツールフレームΔｐ_ｔでのツールの動きに変換される。カメラフレームΔｐ_ｃでツールの動きを変換するのは、ツールフレームΔｐ_ｔでのツールの動きに変換されることであり、カメラフレームΔｐ_ｃでのツールの動きは、最初にワールドフレームΔｐ_ｗでのツールの動きに変換される。ワールドフレームΔｐ_ｗでのツールの動きは、次に、ツールフレームΔｐ_ｔでのツールの動きに変換される。

ワールドフレームＦ_ｗのツールまたはカメラ、例えば、ツール２０またはカメラ５６の動きを、別のオブジェクトのフレーム、例えば、カメラフレームＦ_ｃまたはツールフレームＦ_ｔとの間で変換するために、ワールドフレームＦ_ｗと他のフレームとの間の関係を使用できる。例えば、カメラフレームＦ_ｔとワールドフレームＦ_ｗとの間の関係を使用して、カメラフレームＦ_ｃからの動きをワールドフレームＦ_ｗにおける動きに変換することができる。カメラフレームＦ_ｔとワールドフレームＦ_ｗとの間の関係は、レーザー１９ａ、１９ｂを利用してカメラフレームＦ_ｔとワールドフレームＦ_ｗとの間の関係を決定するセットアップアームシステム１５を使用して決定することができる。具体的には、セットアップアームシステム１５は、各ロボットベース１８にてレーザー１９ａ、１９ｂを含み、それぞれのロボットベースと地面との間のヨー角θ_ヨーおよびピッチ角θ_ピッチを決定する。これは、ワールドフレームＦ_ｗの平面である。適切なセットアップアームシステム、およびロボットベースのフレームと別のフレーム基準との関係を決定する方法についての詳細な説明は、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＬＩＧＮＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＡＲＭ」と題された、２０１９年４月１５日に出願された米国仮特許出願第６２／８３３，８７６号（現在は２０１９年６月１２日に出願された国際特許出願シリアル番号ＰＣＴ／ＵＳ２０１９／０３６６５７）でなされており、その全内容は参照により本明細書に組み込まれる。

ワールドフレームＦ_ｗにカメラフレームＦ_ｃを変換するために、ヨーとピッチの回転を、ワールドフレームＦ_ｗ内のカメラフレームＦ_ｃを位置特定するためにワールドフレームＦ_ｗに適用する。回転の順序は、ピッチ角θ_ピッチのＺ_ｗ軸を中心としたヨー角θ_ヨーで回転されるＹ_ｗ軸である中間的なＹｉ軸（明示的には図示せず）を中心とした先行回転に関する回転に先行する、ヨー角θ_ヨーのＺ_ｗ軸周りの回転について、決定される。これにより、ワールドフレームＦ_ｗにカメラフレームＦ_ｃを変換するための次の回転行列が得られる。

実施形態では、カメラ５６は０°の内視鏡であり、カメラフレームを平行移動するための回転行列が、上に示されるままであるようにする。しかしながら、いくつかの実施形態では、カメラ５６は、オフセット内視鏡であり得、その結果、オフセット内視鏡の追加の調整回転行列Ｒ_ａは、ワールドフレームＦ_ｗをカメラフレームＦ_ｃに変換するために必要とされる。調整回転行列

式中θ_ａはカメラ５６のオフセットの調整角度である。例えば、３０°のオフセット内視鏡をカメラ５６に用いた場合、θ_ａの調整角度はπ／６であり、調整回転行列が

である。これにより、調整回転行列Ｒ_ａを含むワールドフレームＦ_ｗにカメラフレームＦ_ｃを変換するための回転行列を、以下のように表し得るようになる。

または、３０°オフセット内視鏡がカメラ５６に使用される場合、次のように表される。

カメラフレームＦ_ｃとワールドフレームＦ_ｗとの間の関係を、カメラフレームでの動きΔｐ_ｃに適用することによって、次のようなワールドフレームでの動きが得られる。
Δｐ_ｗ＝^ｗ _ｃＲ Ｒ_ａΔｐ_ｃ

ワールドフレームでのその動きΔｐ_ｗが決定された今、ワールドフレームＦ_ｗとツールフレームＦ_ｔとの関係は、ワールドフレームの動きΔｐ_ｗをツールフレームでの動きΔｐ_ｔに変換するために使用され、回転行列^ｗ _ｔＲが決定できる。ワールドフレームＦ_ｗからツールフレームＦ_ｔの回転を決定することが必要であるとき、^ｗ _ｔＲ回転行列の転置は次のように使用される。

式中θ_ヨーおよびθ_ピッチは、ワールドフレームＦ_ｗに対してツールフレームＦ_ｔから取得される。

これにより、ツールフレームΔｐ_ｔでの動きへの、ワールドフレームΔｐ_ｗでの移動の変換がもたらされ、Δｐ_ｔ＝（^ｗ _ｔＲ）^ＴΔｐ_ｗのように表現される。上記の変換とこの変換を組み合わせて、マスターフレームＦ_ｍからツールフレームＦ_ｔへの全体的な変換可能が、ハンドアイ変換Ｔ_{ハンドアイ}として表され得る；
Ｔ_{ハンドアイ}＝（^ｗ _ｔＲ）^Ｔ・Ｒ_ａ・^ｗ _ｃＲ・Ｒ_ｆ・^ｄ _ｍＲ
上で詳述したように、反転回転行列Ｒ_ｆは、表示フレームＦ_ｄをカメラフレームＦ_ｃに変換するために、真または偽のいずれかであるという反転フラグに依存している。したがって、入力ハンドル４２の動きを、割り当てられたツール２０の動きに変換するために、変換は以下を提供する。
Δｐ_ｔ＝Ｔ_{ハンドアイ}Δｐ_ｍ

上記の変換は、入力ハンドル４２が動いている間にカメラ５６が静止していることに依存している。したがって、変換を適用する場合、カメラ５６が移動、回転、および／またはズームしているときに、ツール２０の移動を一時停止するために、カメラフラグを含めることができる。

図４を参照すると、ロボット手術システムを使用して入力ハンドルの動きをツールの動きに変換するために、上記の変換を使用する方法１００が、図１～３Ｂのロボット手術システム１を参照して本開示に従って説明されている。ロボット手術システム１は、手術ロボット１０と同じ物理的位置にあるユーザコンソール４０を備えた単一の場所に収容され得るか、またはロボット手術システム１は、手術ロボット１０から、遠隔位置、例えば、別の建物、都市、または国にあるユーザコンソール４０を備えた遠隔手術システムであり得る。

最初に、ユーザコンソール４０の入力ハンドル４２の動きは、処理ユニット３０によってマスターフレームＦ_ｍにおいて決定される（ステップ１１０）_。制御アーム４３は、入力ハンドル４２の動きを決定するためのエンコーダおよび／またはモーターを含み得る。適切なエンコーダおよびモーターの詳細な説明については、２０１７年５月２５日に出願された国際特許出願番号ＰＣＴ／ＵＳ２０１７／０３４４３３および２０１７年６月２日に出願されたＰＣＴ／ＵＳ２０１７／０３５５８０を参照することができる。これらの出願それぞれの全内容は、参照により本明細書に組み込まれている。

入力ハンドル４２の動きを、割り当てられたツール２０の動きに変換する前に、処理ユニット３０は、カメラ５６、例えば、カメラフレームＦ_ｃが、入力ハンドル４２の動いている間に静止または固定されていることを確認する（ステップ１２０）。処理ユニット３０は、カメラ５６が固定されている場合は「真」または「１」であり、カメラが静止していない場合は「偽」または「０」である、カメラフラグの形式の入力を含み得る。カメラフラグが静止していないとき、処理ユニット３０は、入力ハンドル４２の動きを変換せず、入力ハンドル４２の動きを検出するための準備完了状態に戻る（ステップ１２２）。

カメラ５６が静止しているとき、処理ユニット３０は、回転行列^ｄ _ｍＲを使用して、入力ハンドル４２の動きを、マスターフレームＦ_ｍからディスプレイ４４の表示フレームＦ_ｄに変換する（ステップ１２４）。上で詳述したように、回転行列^ｄ _ｍＲは、マスターフレームＦ_ｍからの表示フレームＦ_ｄのオフセットを担う。動きが表示フレームＦ_ｄに変換された後、処理ユニット３０は、動きをカメラフレームＦ_ｃに変換する（ステップ１３０）。カメラフレームＦ_ｃへ動きを変換するために、処理ユニット３０は、ディスプレイ４４に提示されるビューを、カメラ５６から反転させているか、カメラ５６に対して反転させていないかどうかを決定する、反転フラグを確認する。ディスプレイ４４のビューが反転されると、処理ユニットは、移動をワールドフレームＦ_ｗに変換することに進む前に、反転回転Ｒ_ｆを移動に適用する（ステップ１３２）。画像がカメラ５６から反転されない場合、処理ユニット３０は、反転回転Ｒ_ｆを適用せずに、動きをワールドフレームＦ_ｗに変換し始めるか、または反転回転Ｒ_ｆを１に等しいものとして扱うことができる。

動きをワールドフレームＦ_ｗに変換するために、処理ユニット３０は、カメラ５６を支持するアーム１２のヨー角およびピッチ角を受信する（ステップ１４０）。アーム１２のヨー角およびピッチ角は、アーム１２のセットアップレーザー１９ａ、１９ｂによって決定され得、アーム１２を処理ユニット３０に対して支持するベース１８によってもたらされ得る。ベース１８内のコントローラ３２は、アーム１２のヨー角およびピッチ角を決定および計算することができる。アーム１２のヨー角およびピッチ角は、セットアップアーム１９について決定され得、次いで、カメラ５６を支持するアーム１２のジョイントの位置を決定することによって、カメラ５６に伝達され得る。カメラ５６のヨー角およびピッチ角を用いて、処理ユニット３０は、回転行列^ｗ _ｃＲを使用して、動きをワールドフレームＦ_ｗに変換する（ステップ１４２）。処理ユニット３０が動きをワールドフレームＦ_ｗに変換すると、処理ユニット３０は、カメラ５６のオフセットを確認する（ステップ１４４）。カメラ５６がオフセットゼロのカメラである場合、処理ユニット３０は、動きをツールフレームＦ_ｔに変換するように進むか、または調整回転Ｒ_ａに値「１」を割り当てる。カメラ５６のオフセットがゼロ以外の場合、処理ユニット３０は、動きをツールフレームＦ_ｔに変換することに進む前に、動きに調整回転Ｒ_ａを適用する（ステップ１４６）。

ワールドフレームＦ_ｗでの動きに伴い、処理ユニット３０は、ツール２０を支持するベース１８からツールフレームＦ_ｔのヨー角およびピッチ角を受信する。ツールフレームＦ_ｔのヨー角およびピッチ角は、アーム１２のセットアップレーザー１９ａ、１９ｂによって決定され、アーム１２を処理ユニット３０に対して支持するベース１８によって提供される（ステップ１５０）。ツール２０を支持するベース１８のヨー角およびピッチ角で、処理ユニット３０は、回転行列^ｗ _ｃＲの転置を使用して、動きをツールフレームＦ_ｔに変換する（ステップ１５２）。

動きがツールフレームＦ_ｔに変換されると、処理ユニット３０は、ベース１８および／または機器駆動ユニット内のモーターが、アーム１２および／またはツール２０を作動させるように、ツール２０を支持するベース１８に制御コマンドを送信し、ツール２０が入力ハンドル４２の動きに従うように、ツール２０がマスターフレームＦ_ｍ（ステップ１６０）での入力ハンドル４２の動きに応答して所望の方法で動かされるようにする。ベース１８内に配置されたコントローラ３４は、制御コマンドを受信し、制御コマンドに応答してアーム１２および／またはツール２０を作動させることができる。

図５を参照すると、コンピューティング装置は、本明細書の様々な実施形態に従って使用され得る。明示的に示されていないが、いくつかの実施形態では、コンピューティング装置３００、またはその構成要素の１つまたは複数は、ロボット手術システム１の１つまたは複数の構成要素（例えば、処理ユニット３０、ベース１８、コントローラ３２、３４、および／または類似物）をさらに表せる。コンピューティング装置３００は、様々な実施形態において、１つ以上のメモリ３０２、プロセッサ３０４、ディスプレイ装置３０６、ネットワークインターフェース３０８、入力装置３１０、および／または出力モジュール３１２を含み得る。メモリ３０２は、プロセッサ３０４によって実行可能であり、またコンピューティング装置３００の動作を制御するデータおよび／またはソフトウェアを記憶するための非一時的コンピュータ可読記憶媒体を含む。実施形態では、メモリ３０２は、フラッシュメモリチップなどの１つ以上のソリッドステート記憶装置を含んでもよい。１つ以上のソリッドステート記憶装置の代替または追加として、メモリ３０２は、大容量記憶コントローラ（図５に図示せず）および通信バス（図５に図示せず）を介してプロセッサ３０４に接続された１つ以上の大容量記憶デバイスを含み得る。本明細書に含まれるコンピュータ可読媒体の説明は、ソリッドステートストレージに言及しているが、コンピュータ可読記憶媒体は、プロセッサ３０４によってアクセス可能な任意の利用可能な媒体とすることができることが当業者によって理解されるべきである。すなわち、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実装された非一時的、揮発性および不揮発性、取り外し可能および取り外し不可能な媒体を含む。コンピュータ可読記憶媒体の例は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のソリッドステートメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイもしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは他の磁気記憶装置、または所望の情報を記憶するために使用することができ、またコンピューティング装置３００によってアクセスされることができる任意の他の媒体を含む。

いくつかの実施形態では、メモリ３０２は、データ３１４および／またはアプリケーション３１６を格納する。いくつかの態様では、アプリケーション３１６は、プロセッサ３０４によって実行されると、ディスプレイ装置３０６に、ユーザインターフェース（図５には示されていない）を提示させるユーザインターフェース構成要素３１８を含む。ネットワークインターフェース３０８は、いくつかの実施形態では、コンピューティング装置３００および／またはその個々の構成要素を、有線ネットワーク、無線ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ワイヤレスモバイルネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、インターネット、および／または別のタイプのネットワークといったネットワークに連結するよう構成される。入力装置３１０は、それによってユーザがコンピューティング装置３００と対話することができる任意のデバイスであり得る。入力装置３１０の例には、マウス、キーボード、タッチスクリーン、音声インターフェース、および／または類似物が含まれるが、これらに限定されない。様々な実施形態で、出力モジュール３１２は、任意の接続ポートまたはバス、例えば、パラレルポート、シリアルポート、ユニバーサルシリアルバス（ＵＳＢ）、または当業者に知られている任意の他の同様の接続ポートを含むことができる。

本開示のいくつかの実施形態が図面に示されているが、本開示は当該技術分野が許容するのと同程度に広範であるべきであり、かつ本明細書は同様に読み取られるべきであると意図されているので、本開示はこれらの実施形態に限定されることを意図しない。上記実施形態の任意の組み合わせがさらに考えられ、添付の特許請求の範囲に含まれる。したがって、上記の説明は、限定的であるとして解釈されるべきではなく、特定の実施形態の単なる例示として解釈されるべきである。当業者であれば本明細書に添付される特許請求の範囲内での他の変更を想定するであろう。

Claims (20)

1. ツールがユーザコンソールの入力ハンドルの入力に従うように、処理ユニットを備えた手術ロボットの前記ツールを制御する方法であって、
   前記ユーザコンソールのマスターフレームでの前記入力ハンドルの動きを受信すること、
   前記マスターフレームでの前記入力ハンドルの前記動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでの前記ツールの動きに変換すること、
   前記カメラフレームでの前記ツールの前記動きを、手術室で定められたワールドフレームでの前記ツールの動きに変換すること、
   前記ワールドフレームでの前記ツールの前記動きを、前記ツールを支持するアームによって定められるツールフレームでの前記ツールの動きに変換すること、および
   前記ツールが前記入力ハンドルの動きに従うように、前記ツールを制御するモーターに制御コマンドを送信すること、を含む、方法。
2. 前記マスターフレームでの前記入力ハンドルの前記動きを、前記カメラフレームでの前記ツールの動きに変換することは、表示回転行列を前記マスターフレームでの前記入力ハンドルの動きに適用して、前記入力ハンドルの動きを、前記ユーザコンソールのディスプレイの表示フレームへ変換することを含み、前記ディスプレイは前記手術部位の前記リアルタイム画像の視覚化をもたらす、請求項１に記載の方法。
3. 前記表示回転行列は、前記マスターフレームの軸を中心に前記動きを３０度回転させる、請求項２に記載の方法。
4. 前記マスターフレームでの前記入力ハンドルの前記動きを前記カメラフレームでの前記ツールの動きに変換することは、反転回転行列を前記マスターフレームでの前記入力ハンドルの動きに適用して、前記入力ハンドルの動きを前記カメラフレームに変換することを含み、前記反転回転行列は、前記表示フレームの軸を中心に１８０度動きを回転する、請求項１に記載の方法。
5. 反転フラグを受信すること、および
   前記反転フラグが、前記カメラからの前記リアルタイム画像がディスプレイに表示される前に反転されることを示している場合に、前記反転回転行列を適用することをさらに含む、請求項４に記載の方法。
6. 前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの前記動きに変換することは、
   前記ワールドフレームに対する前記カメラフレームのヨー角とピッチ角を決定すること、および
   前記ワールドフレームに対する前記カメラフレームの前記ヨー角とピッチ角を含むワールドフレーム回転行列を適用して、前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの動きに変換すること、を含む、請求項１に記載の方法。
7. 前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの前記動きに変換することは、
   前記カメラのオフセットを受信すること、および
   前記カメラの前記オフセットを含む調整回転行列を、前記カメラフレームでの前記ツールの前記動きに適用することにより、前記カメラの前記オフセットによって前記カメラフレームでの動きを調整すること、を含む、請求項１に記載の方法。
8. 前記ワールドフレームでの前記ツールの前記動きを前記ツールフレームでの前記ツールの動きに変換することは、
   前記ワールドフレームに対する前記ツールフレームのヨー角とピッチ角を決定すること、および
   前記ワールドフレームに対する前記ツールフレームの前記ヨー角とピッチ角を含むツールフレーム回転行列の転置を適用して、前記ツールフレームの動きに前記ワールドフレームでの前記ツールの前記動きを変換すること、を含む、請求項１に記載の方法。
9. 前記制御コマンドを、前記ツールを制御する前記モーターに送信する前に、前記入力ハンドルの前記動きのある間に前記カメラが固定されていることを確認することをさらに含む、請求項１に記載の方法。
10. ロボット手術システムであって、
    カメラを支持する第１のアームおよびツールを支持する第２のアームを含む手術ロボットであって、前記カメラはカメラフレームを定め、手術部位のリアルタイム画像をキャプチャするように構成され、前記第２のアームはツールフレームを定め、前記ツールフレームで前記ツールを操作するように構成され、前記手術ロボットがワールドフレームを定める、手術ロボット、
    入力ハンドルおよびディスプレイを含むユーザコンソールであって、前記入力ハンドルが前記ユーザコンソールによって定められたマスターフレーム内で移動可能であり、前記ディスプレイが前記カメラによって提示される手術部位のリアルタイム画像を表示するように構成されている、ユーザコンソール、および
    処理装置であって、
    前記マスターフレームでの前記入力ハンドルの動きを受信すること、
    前記マスターフレームでの前記入力ハンドルの前記動きを前記カメラフレームでの前記ツールの動きに変換すること、
    前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの動きに変換すること、
    前記ワールドフレームでの前記ツールの前記動きを前記ツールフレームでの前記ツールの動きに変換すること、および
    前記ツールが前記入力ハンドルの動きに従うように、制御コマンドを前記第２のアームに送信すること、に対して構成された処理装置を備える、ロボット手術システム。
11. 前記ディスプレイは、前記マスターフレームの１つの軸に対して回転される表示フレームを定める、請求項１０に記載のロボット手術システム。
12. 前記ディスプレイは、前記マスターフレームの前記１つの軸を中心に３０度回転される、請求項１１に記載のロボット手術システム。
13. 前記処理ユニットは、前記マスターフレームでの前記入力ハンドルの動きに表示回転行列を適用して、前記入力ハンドルの動きを前記表示フレームに変換するように構成される、請求項１１に記載のロボット手術システム。
14. 前記ディスプレイは、前記リアルタイム画像を表示する前に、前記カメラによって提示される前記リアルタイム画像を１８０度反転するように構成される、請求項１０に記載のロボット手術システム。
15. 前記処理ユニットは、前記ディスプレイで反転されている前記リアルタイム画像を示す反転フラグを受信し、前記ツールの動きに反転回転行列を適用して、前記ツールの前記動きを前記カメラフレームに変換するように構成される、請求項１４に記載のロボット手術システム。
16. 前記ワールドフレームに対する前記カメラフレームのヨー角とピッチ角を受信して、前記ワールドフレームに対する前記カメラフレームの前記ヨー角とピッチ角を含むワールドフレーム回転行列を適用して、前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの動きに変換するよう前記処理ユニットが構成される、請求項１０に記載のロボット手術システム。
17. 前記処理ユニットは、前記カメラのオフセット角度を受信し、前記カメラの前記オフセット角度を含む調整回転行列を適用して、前記カメラフレームでの前記ツールの前記動きを調整するように構成される、請求項１０に記載のロボット手術システム。
18. 前記処理ユニットは、前記ワールドフレームに対する前記ツールフレームのヨー角およびピッチ角を受信し、前記ワールドフレームに対する前記ツールフレームの前記ヨー角およびピッチ角を含むツールフレーム回転行列の転置を適用して、前記ワールドフレームでの前記ツールの前記動きを前記ツールフレームでの前記ツールの移動へ変換するように構成される、請求項１０に記載のロボット手術システム。
19. 前記処理ユニットは、前記制御コマンドを送信する前に、前記入力ハンドルの前記動きのある間に前記カメラが固定されていることを確認するように構成される、請求項１０に記載のロボット手術システム。
20. プロセッサによって実行されると、前記プロセッサに、
    ユーザコンソールのマスターフレームでの入力ハンドルの動きを受信すること、
    前記マスターフレームでの前記入力ハンドルの前記動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでのツールの動きに変換すること、
    前記カメラフレームでの前記ツールの前記動きを手術室で定められたワールドフレームでの前記ツールの動きに変換すること、
    前記ワールドフレームでの前記ツールの前記動きを、前記ツールを支持するアームにより定められるツールフレームでの前記ツールの前記動きに変換すること、および
    前記ツールが前記入力ハンドルの動きに従うように、前記ツールを制御するモーターに制御コマンドを送信すること、を生じさせる一連の命令を格納する、コンピュータ可読媒体。

Images