JP2020532383A - 手術ロボットシステムのためのカメラ制御 - Google Patents

Abstract

手術ロボットシステム内のカメラ制御のためのシステムおよび方法が提供される。１つのシステムは、コンピューティング装置と、複数のロボットアセンブリと、外科医コンソールと、を含む。複数のロボットアセンブリのうちの各ロボットアセンブリは、ロボットアームを含む。第１のロボットアセンブリのロボットアームは、画像捕捉装置に結合されている。第１のロボットアセンブリとは異なるロボットアセンブリの少なくとも１つのサブセットのロボットアームは、手術器具に結合されている。外科医コンソールは、複数のハンドルを含み、各ハンドルは、手術器具に結合されたロボットアセンブリに通信可能に結合されている。外科医コンソールは、少なくとも１つのハンドルの移動に関連するデータを含む１つ以上のパケットを、コンピューティング装置に送信するように構成されている。【選択図】図２

Description

手術ロボットシステムを使用して手術を実施することは、通常、患者の体内に挿入されたカメラを使用して、外科医が患者の体内の手術部位を見ることができるようにすることを伴う。多くの場合、手術器具がカメラによって提供される画像フレームの外側、またはさらには画像フレームの縁部近くにある新しい位置に移動されると、外科医は、カメラを再配置して新しい位置の手術器具を適切に捕捉する必要がある。外科医は、カメラを再配置するために手術器具の制御を停止する必要があることが多く、これにより、外科医が外科手術を完了できる効率が低下する。したがって、手術ロボットシステムのカメラ制御を改善し、外科医が手術ロボットシステムを使用して、より効率的に手術を実施することを可能にするためのシステムおよび装置が必要である。

本開示の一態様によれば、上述のニーズに対処するシステムおよび方法が提供される。本開示の一態様では、ロボット手術システムが提供される。システムは、コンピューティング装置と、複数のロボットアセンブリと、外科医コンソールと、を含む。複数のロボットアセンブリのうちの各ロボットアセンブリは、ロボットアームを含む。複数のロボットアセンブリのうちの第１のロボットアセンブリのロボットアームは、画像捕捉装置に結合される。第１のロボットアセンブリとは異なるロボットアセンブリの少なくとも１つのサブセットのロボットアームは、手術器具に結合される。外科医コンソールは、複数のハンドルを含み、複数のハンドルのうちの各ハンドルは、手術器具に結合されたロボットアームを含む、ロボットアセンブリに通信可能に結合される。外科医コンソールは、複数のハンドルのうちの少なくとも１つのハンドルの移動に関連するデータを含む１つ以上のパケットを、コンピューティング装置に送信するように構成されている。コンピューティング装置は、画像捕捉装置の新しい位置を計算し、画像捕捉装置を新しい位置に移動するための命令を、第１のロボットアセンブリに送信するように構成されている。

実施形態では、少なくとも１つのハンドルの移動に関連するデータは、少なくとも１つのハンドルが進行した距離に関連するデータを含み、画像捕捉装置の新しい位置は、少なくとも１つのハンドルが進行した距離に関連するデータに少なくとも部分的に基づいて計算される。

実施形態では、画像捕捉装置の新しい位置は、少なくとも１つのハンドルが進行した距離に関連するデータ、および少なくとも１つのハンドルが進行した距離に適用される倍率に少なくとも部分的に基づいて計算される。

実施形態では、距離に適用される倍率は、複数の倍率のうちのものであり、複数の倍率のうちの各倍率は、移動の方向に関連付けられている。

実施形態では、システムは、少なくとも１つのハンドルが進行した方向に少なくとも基づいて、倍率を選択するように構成されたコンピューティング装置をさらに含む。

実施形態では、少なくとも１つのハンドルの移動に関連するデータは、少なくとも１つのハンドルが進行した方向に関連するデータを含み、画像捕捉装置の新しい位置は、少なくとも１つのハンドルが進行した方向に関連するデータに少なくとも部分的に基づいて計算される。

実施形態では、画像捕捉装置の現在位置に対する画像捕捉装置の新しい位置の方向は、少なくとも１つのハンドルが進行した方向と同じ方向である。

実施形態では、コンピューティング装置は、少なくとも１つのハンドルの移動の速度が移動閾値よりも大きいという決定に応じて、画像捕捉装置の新しい位置を計算するようにさらに構成されている。

実施形態では、コンピューティング装置は、少なくとも１つのハンドルの移動の速度が顕著な移動閾値よりも小さいという決定に応じて、画像捕捉装置の新しい位置を計算するようにさらに構成されている。

実施形態では、コンピューティング装置は、カルマンフィルタを使用して、少なくとも１つのハンドルの移動の速度が顕著な移動閾値よりも小さいかどうかを決定するようにさらに構成されている。

実施形態では、コンピューティング装置は、ローパスフィルタを使用して、少なくとも１つのハンドルの移動の速度が顕著な移動閾値よりも小さいかどうかを決定するようにさらに構成されている。

本開示の別の態様によれば、コンピューティング装置および複数のロボットアセンブリを含む手術ロボットシステムが提供され、複数のロボットアセンブリのうちの各ロボットアセンブリは、ロボットアームを含む。複数のロボットアセンブリのうちの第１のロボットアセンブリのロボットアームは、画像捕捉装置に結合される。第１のロボットアセンブリとは異なるロボットアセンブリの少なくとも１つのサブセットのロボットアームは、手術器具に結合される。手術器具に結合されたロボットアームを有するロボットアセンブリの少なくとも１つのサブセットは、手術器具に結合されたロボットアームの運動学的データを、コンピューティング装置に送信するように構成されている。コンピューティング装置は、手術器具に結合されたロボットアームの運動学的データに少なくとも部分的に基づいて、画像捕捉装置の新しい位置を計算し、かつ画像捕捉装置を新しい位置に移動するための命令を、第１のロボットアセンブリに送信するように構成されている。

実施形態では、コンピューティング装置は、ロボットアームに結合された手術器具の各々の以前の位置を識別し、かつ手術器具の各々の以前の位置および受信された運動学的データに少なくとも部分的に基づいて、画像捕捉装置の新しい位置を計算するようにさらに構成されている。

実施形態では、コンピューティング装置は、手術器具の各々の以前の位置および新しい位置に基づいて、手術器具の各々の位置の変化を計算し、画像捕捉装置の現在の位置を識別し、画像捕捉装置の現在の位置および手術器具の各々の位置の変化に少なくとも部分的に基づいて、画像捕装置の新しい位置を計算するようにさらに構成されている。

本開示の別の態様によれば、コンピューティング装置および複数のロボットアセンブリを含む手術ロボットシステムが提供され、複数のロボットアセンブリのうちの各ロボットアセンブリは、ロボットアームを含む。画像捕捉装置に結合された複数のロボットアセンブリのうちの第１のロボットアセンブリのロボットアームであって、画像捕捉装置は、１つ以上の画像を捕捉するように構成されている。第１のロボットアセンブリは、１つ以上の捕捉された画像をコンピューティング装置に送信するように構成されている。第１のロボットアセンブリとは異なるロボットアセンブリの少なくとも１つのサブセットのロボットアームは、手術器具に結合される。コンピューティング装置は、１つ以上の画像内の手術器具を識別し、識別された手術器具に基づいて相対的な関心点を識別し、相対的な関心点に少なくとも部分的に基づいて画像捕捉装置の新しい位置を計算し、画像捕捉装置を新しい位置に移動するための命令を、第１のロボットアセンブリに送信するように構成されている。

実施形態では、相対的な関心点は、１つ以上の画像内の手術器具の位置に基づいて計算された重心である。

実施形態では、相対的な関心点は、１つ以上の画像内の手術器具の位置に基づいて計算された中心点からの位置オフセットである。

実施形態では、コンピューティング装置は、画像捕捉装置の現在位置および相対的な関心点に少なくとも部分的に基づいて、画像捕捉装置の新しい位置を計算するようにさらに構成されている。

実施形態では、手術ロボットシステムは、第２の画像捕捉装置に結合された複数のロボットアセンブリのうちの第２のロボットアセンブリのロボットアームをさらに含む。第２の画像捕捉装置は、手術器具および第１のロボットアセンブリに結合された画像捕捉装置を含む、１つ以上の画像を捕捉するように構成されている。第２のロボットアセンブリは、１つ以上の捕捉された画像をコンピューティング装置に送信するように構成されている。コンピューティング装置は、第２の画像捕捉装置によって捕捉された１つ以上の画像内で、手術器具および記第１のロボットアセンブリに結合された画像捕捉装置を識別し、識別された手術器具に基づいて相対的な関心点を識別し、第２の画像捕捉装置によって捕捉された１つ以上の画像を使用して、識別された手術器具に基づいて相対的な関心点を識別し、第１のロボットアセンブリに結合された画像捕捉装置を新しい位置に移動するための命令を、第１のロボットアセンブリに送信するようにさらに構成されている。

実施形態では、第２の画像捕捉装置のズームレンズは、第２の画像捕捉装置の画像フレームが、手術器具および第１のロボットアセンブリに結合された画像捕捉装置を含むように、広角視野に配置されている。

実施形態では、手術ロボットシステム内のカメラ制御のための方法が提供される。方法は、外科医コンソールの複数のハンドルのうちの少なくとも１つのハンドルの移動に関連するデータを受信することを含む。移動に関連するデータに少なくとも部分的に基づいて、画像捕捉装置の新しい位置が計算され、画像捕捉装置を新しい位置に移動させるための命令が、画像捕捉装置に結合された第１のロボットアセンブリに送信される。

実施形態では、方法は、少なくとも１つのハンドルが進行した方向に少なくとも基づいて、倍率を選択することをさらに含む。

実施形態では、手術ロボットシステム内のカメラ制御のための方法が提供される。方法は、手術器具に結合されたロボットアームの運動学的データを受信することを含む。運動学的データに少なくとも部分的に基づいて、画像捕捉装置の新しい位置が計算される。画像捕捉装置を新しい位置に移動させるための命令が、画像捕捉装置に結合された第１のロボットアセンブリに送信される。

実施形態では、方法は、ロボットアームに結合された手術器具の各々の以前の位置を識別することをさらに含み、手術器具の各々の以前の位置および受信された運動学的データに少なくとも部分的に基づいて、画像捕捉装置の新しい位置が計算される。

実施形態では、手術器具の各々の以前の位置および新しい位置に基づいて、手術器具の各々の位置の変化を計算すること。画像捕捉装置の新しい位置が識別され、画像捕捉装置の新しい位置は、画像捕捉装置の現在の位置および手術器具の各々の位置の変化に少なくとも部分的に基づいて計算される。

本開示の別の態様によれば、手術ロボットシステム内のカメラ制御のための方法が提供される。方法は、複数のロボットアセンブリのうちの第１のロボットアセンブリのロボットアームに結合された画像捕捉装置によって捕捉された１つ以上の画像を受信することを含む。１つ以上の画像内で、第１のロボットアセンブリとは異なる、複数のロボットアセンブリのうちのロボットアセンブリの少なくとも１つのサブセットのロボットアームに結合された手術器具が識別される。識別された手術器具に基づいて相対的な関心点が識別される。相対的な関心点に少なくとも部分的に基づいて、画像捕捉装置の新しい位置が計算され、画像捕捉装置を新しい位置に移動するための命令が、第１のロボットアセンブリに送信される。

実施形態では、方法は、複数のロボットアセンブリのうちの第２のロボットアセンブリのロボットアームに結合された第２の画像捕捉装置によって捕捉された１つ以上の画像を受信することをさらに含み、第２の画像捕捉装置によって捕捉された１つ以上の画像は、手術器具および第１のロボットアセンブリに結合された画像捕捉装置を含む。第２の画像捕捉装置によって捕捉された１つ以上の画像内で、手術器具および第１のロボットアセンブリに結合された画像捕捉装置が識別される。第２の画像捕捉装置によって捕捉された１つ以上の画像を使用して、識別された手術器具に基づいて、相対的な関心点が識別される。第２の画像捕捉装置によって捕捉された１つ以上の画像を使用して識別された相対的な関心点に基づいて、画像捕捉装置の新しい位置が計算される。第１のロボットアセンブリに結合された画像捕捉装置を新しい位置に移動するための命令が、第１のロボットアセンブリに送信される。

本開示の様々な態様および特徴は、図面を参照して、本明細書に後述される。
本明細書の例示的な実施形態による例示的なロボット手術システムを示す。 図１の手術ロボットシステムを用いて、何らかのタイプの同時移動制御モードが有効化されているかどうかを決定する、例示的な方法を示すフローチャートである。 図１の手術ロボットシステムを用いて、手術コンソールのハンドルの動きに基づいてカメラを移動させる、例示的な方法を示すフローチャートである。 図１の手術ロボットシステムを用いて、運動学的データに基づいてカメラを移動させる、例示的な方法を示すフローチャートである。 図１の手術ロボットシステムを用いて、画像処理に基づいてカメラを移動させる例示的な方法を示す、フローチャートである。

本開示は、ロボット手術のための手術ロボットシステム、方法、およびコンピュータ可読媒体を対象とし、手術ロボットシステムを使用して手術を実施しながらユーザ体験を改善する。より詳細には、本開示は、手術ロボットシステムにおけるカメラ制御のためのシステムおよび方法に関する。具体的には、本明細書に記載のシステムおよび方法は、手術ロボットシステムの１つ以上のカメラ、および手術ロボットシステムに結合された１つ以上の手術器具を同時に制御しながら、手術ロボットシステムを使用して手術を実施するための様々な技法を提供する。１つ以上のカメラおよび１つ以上の手術器具の同時制御により、手術中に手術器具のみの移動からカメラのみの移動に制御を切り替えるプロセスの実施から中断し、次いで、カメラを所望の位置に移動し、次いで、制御をカメラのみの移動から手術器具のみの移動に戻し、次いで、手術を再開することが減少する。したがって、本明細書に記載の技術、技法、および実施形態を利用して、外科医は、手術器具と患者の手術部位との直接的な視覚的接触（例えば、カメラの使用を伴わない視覚的接触）を実施する手術を行っているときに経験するのと同様の経験を与えられ、これにより、手術ロボットシステムを使用した手術のパフォーマンスがより効率的になる。

ここで本開示の実施形態が図面を参照して詳細に記載され、図面の中で同様の参照番号は、いくつかの図の各々において同一のまたは対応する要素を示す。本明細書で使用される「ユーザ」および「臨床医」という用語は、医師、外科医、看護師、技術者、医療助手、または同様のサポート要員、または本明細書に記載の手術ロボットシステムを使用できる任意の他の人物を指す。さらに、図面中および続く説明において、例えば、前側、後側、上側、下側、頂部、底部、および類似の方向性の用語などの用語は、単に説明の便宜のために使用されており、本開示を限定することを意図するものではない。以下の記載では、周知の機能または構成は、本開示を不必要に詳細に示して不明瞭にすることを避けるために、詳細には記載されていない。

ここで図１を参照すると、本明細書の様々な例示的実施形態に従って用いられる例示的なロボット手術システム１００が示されている。本明細書に記載の手術システム１００は、手術システム１００で利用される１つ以上のカメラおよび手術器具の移動の同時制御を含むがこれらに限定されない様々な動作モードで動作するように構成されている。手術システム１００の１つ以上のカメラおよび手術器具の移動に対する同時制御の動作モードは、本明細書では、一般に、「同時移動制御」モードと呼ばれる。手術システム１００は、ハンドルの動きに基づく同時移動制御モード（例えば、図３を参照）、運動学的データに基づく同時移動制御モード（例えば、図４を参照）、および画像処理に基づく同時移動制御モード（例えば、図５を参照）などの複数の同時移動制御モードで動作するように構成されている。同時移動モードの追加の詳細は、本明細書では、図２、図３、図４、および図５の文脈で提供される。図１に示されるシステム１００の特定の数の構成要素、ならびにその配置および構成は、例示目的のみのために提供され、限定するものとして解釈されるべきではない。例えば、本明細書の様々な実施形態は、図１に示される構成要素の全てよりも少ないまたは多い構成要素を用いる。さらに、図１に示されるシステム１００は、本明細書の様々な例示的実施形態が適用可能な例示的な文脈として提供される。

システム１００は、外科手術中に患者１０４が横たわる手術台１０２、外科手術中にユーザが対話する外科医コンソール１７０、コンピューティング装置１８０、およびロボットアセンブリ１９０ａ、１９０ｂ（本明細書では、集合的にロボットアセンブリ１９０と呼ぶ）などの１つ以上のロボットアセンブリを含む。便宜上、本説明は、２つのロボットアセンブリ１９０ａ、１９０ｂの文脈で行われるが、本開示は、３つ以上のロボットアセンブリを含む実施形態にも同様に適用可能であることを理解されたい。外科医コンソール１７０およびコンピューティング装置１８０は、それぞれの通信経路１０６（個別に、１０６ａ、１０６ｂ、および１０６ｃ）を介して互いに、ならびにロボットアセンブリ１９０ａおよび１９０ｂに通信可能に結合され、これは、本明細書の様々な実施形態では、有線通信経路および／または無線通信経路として実装されてもよい。特に、外科医コンソール１７０およびコンピューティング装置１８０は、通信経路１０６ａを介して互いに通信可能に結合される。コンピューティング装置１８０およびロボットアセンブリ１９０ａは、通信経路１０６ｂを介して互いに通信可能に結合され、コンピューティング装置１８０およびロボットアセンブリ１９０ｂは、通信経路１０６ｃを介して互いに通信可能に結合される。外科医コンソール１７０およびロボットアセンブリ１９０ａは、通信経路１０６ａ、コンピューティング装置１８０、および通信経路１０６ｂを介して互いに通信可能に結合される。同様に、外科医コンソール１７０およびロボットアセンブリ１９０ｂは、通信経路１０６ａ、コンピューティング装置１８０、および通信経路１０６ｃを介して互いに通信可能に結合される。

ロボットアセンブリ１９０ａは、複数のサブユニット１９１ａ、１９２ａ、１９３ａ、１９４ａを含む。同様に、ロボットアセンブリ１９０ｂは、複数のサブユニット１９１ｂ、１９２ｂ、１９３ｂ、および１９４ｂを含む。サブユニット１９１ａおよび１９１ｂ（集合的に１９１）はカートユニットであり、サブユニット１９２ａおよび１９２ｂ（集合的に１９２）はセットアップアームユニットであり、サブユニット１９３ａおよび１９３ｂ（集合的に１９３）はロボットアームユニットであり、サブユニット１９４ａおよび１９４ｂ（集合的に１９４）は器具駆動ユニットである。いくつかの実施形態では、本明細書に記載のロボットアセンブリのロボットアームユニットは、ロボットアームユニットがサブユニット１９３ａ（または１９３ｂ）およびサブユニット１９４ａ（または１９４ｂ）を含むように、器具駆動ユニットを含む。ロボットアセンブリ１９０ａのサブユニット１９１ａ、１９２ａ、１９３ａ、および１９４ａは、直接的または間接的に相互に動作可能に結合される。例えば、カートユニット１９１ａは、セットアップアームユニット１９２ａ、ロボットアームユニット１９３ａ、および器具駆動ユニット１９４ａに動作可能に結合される。同様に、セットアップアームユニット１９２ａは、カートユニット１９１ａ、ロボットアームユニット１９３ａ、および器具駆動ユニット１９４ａに動作可能に結合され、ロボットアームユニット１９３ａは、カートユニット１９１ａ、セットアップアームユニット１９２ａに動作可能に結合され、器具駆動ユニット１９４ａおよび器具駆動ユニット１９４ａは、カートユニット１９１ａ、セットアップアームユニット１９２ａ、およびロボットアームユニット１９３ａに動作可能に結合される。サブユニット１９１ａ、１９２ａ、１９３ａ、および１９４ａはまた、１つ以上の通信経路（図１には示さず）を介して直接的または間接的に相互に通信可能に結合される。ロボットアセンブリ１９０ｂのサブユニット１９１ｂ、１９２ｂ、１９３ｂ、および１９４ｂは、ロボットアセンブリ１９０ａのサブユニット１９１ａ、１９２ａ、１９３ａ、および１９４ａとして、それぞれに動作可能および通信可能に結合される。

カートユニット１９１ａおよび１９１ｂは、外科手術を受ける患者１０４の範囲内で手術台１０２に隣接して配置される。器具駆動ユニット１９４ａおよび１９４ｂは、手術器具１９５ａなどの１つ以上の対応する手術器具、および／または実施される特定の外科手術に応じて、交換可能に固定され得る画像捕捉装置１９６ａなどの画像捕捉装置に結合可能である。図１は、手術器具１９５ａに結合された単一のロボットアセンブリ１９０ａを有するシステム１００を示しているが、システム１００は、各々が手術器具１９５ａ（集合的に１９５）に結合されたいくつかのロボットアセンブリ１９０、および各々が、画像捕捉装置１９６ａ（集合的に１９６）に結合されたいくつかのロボットアセンブリ１９０を含んでもよい。本明細書に記載するように、例示的なタイプの画像捕捉装置１９６は、内視鏡カメラ、腹腔鏡カメラ、任意のタイプの画像捕捉装置、または画像捕捉装置に結合された器具を含むが、これらに限定されない。任意のタイプの手術器具１９５ａを用いることができるが、そのような手術器具１９５の例示的なタイプは、限定ではなく例として、プローブ、エンドエフェクタ、把持器、ナイフ、はさみ、および／または同類のものを含む。本明細書のいくつかの実施形態によれば、器具駆動ユニット１９４ｂに結合された画像捕捉装置１９６ａなどの画像捕捉装置１９６のうちの１つ以上は、プローブに含まれる立体画像捕捉装置であり、外科手術中に患者１０４の内部の関心領域の立体画像を捕捉するために患者１０４に挿入される。画像捕捉装置１９６ａによって捕捉された画像は、画像を外科医に表示する外科医コンソール１７０の表示装置１２２（本明細書では「ディスプレイ」とも呼ばれる）に送信される。

カートユニット１９１ａおよび１９１ｂは、手術台１０２または患者１０４の側面に沿って、手術台１０２または患者１０４に向かって、および手術台１０２または患者１０４から離れるように移動するように構成されている。いくつかの実施形態では、ロボットアセンブリ１９０ａまたは１９０ｂなどの手術システム１００のロボットアセンブリは、１つ以上の駆動モータ（図１には示さず）を含み、駆動モータは、対応するサブユニットおよび／または手術器具１９５ａまたはそれに結合された画像捕捉装置１９６ａの運動を引き起こすために、セットアップアームユニット１９２、ロボットアームユニット１９３、および／またはロボットアセンブリの器具駆動ユニット１９４に結合される。

コンピューティング装置１８０は、１つ以上のプロセッサ１１８と、１つ以上のメモリユニット１２０と、を含む。１つ以上のプロセッサ１１８は、１つ以上のメモリユニット１２０に動作可能に結合される。様々な実施形態では、コンピューティング装置１８０は、外科医コンソール１７０と統合されてもよく、または手術室の内部または近くに配設されたコンピューティングタワーなどのスタンドアロン装置であってもよい。１つ以上のプロセッサ１１８は、本明細書に記載の技法または動作または命令を実施または実行するように適合される任意のタイプの好適なプロセッサであってもよい。例えば、プロセッサは、ファームウェア、メモリ、または他の記憶装置、またはそれらの組み合わせの命令に従って、本明細書に記載の技法を実施するようにプログラムされたハードウェアプロセッサであってもよい。同様に、プロセッサはまた、本明細書に記載の技法または動作を実施するように持続的にプログラムされる１つ以上の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）でもあってもよい。プロセッサはまた、中央処理装置（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロプロセッサ、または本明細書に記載の動作または技法を実施するためのハードワイヤードロジックまたはプログラムロジック、あるいはその両方を組み込む任意の他の装置でもあってもよい。

１つ以上のメモリユニット１２０は、１つ以上のプロセッサ１１８によって実行される命令１３６（一例ではソフトウェア）などの命令を記憶し、本明細書に記載の技法は、１つ以上のメモリユニット１２０に記憶された命令を実行する１つ以上のプロセッサ１１８に応答して、コンピューティング装置１８０によって実施される。１つ以上のメモリユニット１２０は、データを記憶するために使用される任意のタイプのハードウェア装置であってもよい。１つ以上のメモリユニット１２０は、ランダムアクセスメモリ（ＲＡＭ）（例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、および／または同類のもの）などの揮発性メモリであってもよい。１つ以上のメモリユニット１２０は、読み取り専用メモリ（ＲＯＭ）（例えば、プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、不揮発性ＲＡＭ（ＮＶＲＡＭ）、および／または同類のもの）などの不揮発性メモリであってもよい。１つ以上のメモリユニット１２０はまた、磁気媒体、光学媒体、または電気媒体であってもよい。理解されるように、プロセッサ１１８およびメモリユニット１２０の実装は、例としてのみ提供されており、限定するものとして解釈されるべきではない。例えば、本開示の実施形態のいずれかの手順は、ハードウェア構成要素、ファームウェア構成要素、ソフトウェア構成要素、および／またはそれらの任意の組み合わせによって実装されてもよい。

外科医コンソール１７０は、ユーザが外科手術中にやり取りする、表示装置１２２、ハンドル１１２Ａ、およびハンドル１１２Ｂ（集合的にハンドル１１２）と、フットペダル１２８と、を含む。いくつかの実施形態では、ハンドル１１２Ａは左ハンドルであり、ハンドル１１２Ｂは右ハンドルであり、それぞれユーザの左手および右手によって操作される。表示装置１２２は、外科医コンソール１７０によって受信された画像を表示するように構成されている。外科医コンソール１７０は、画像捕捉装置１９６ａを含む複数の画像捕捉装置１９６から、患者１０４内の手術部位に関連する画像を受信し、受信された画像を表示装置１２２に表示するように構成されている。いくつかの実施形態では、表示装置１２２は、３次元（３Ｄ）画像を表示するように構成されている。いくつかの実施形態では、外科医コンソール１７０は、画像捕捉装置１９６ａなどの立体画像を捕捉するように構成された１つ以上の画像捕捉装置１９６から１つ以上の立体画像を受信し、表示装置１２２に表示される３Ｄ画像を生成するように構成されたコントローラ（図示せず）を含む。いくつかの実施形態では、表示装置１２２は、タッチディスプレイであるか、または臨床医のタッチを介して入力を受信するように構成されたタッチスクリーンを含む。手術システム１００の動作中、臨床医は、外科医コンソール１７０のハンドル１１２を移動して、セットアップアームユニット１９２ａなどのセットアップアームユニット、ロボットアームユニット１９３ａなどのロボットアームユニット、器具駆動ユニット１９４ａなどの器具駆動ユニット、および／または器具駆動ユニット１９４ａに結合された外科器具１９５ａなどの１つ以上の手術器具１９５の対応する移動および／または作動を生成する。臨床医によるハンドル１１２とのやり取りに基づいて、外科医コンソール１７０は、ロボットアセンブリ１９０ａまたは１９０ｂに信号および／またはメッセージを提供する。ロボットアセンブリ１９０ａまたは１９０ｂに信号および／またはメッセージを提供する際に、外科医コンソール１７０は、通信経路１０６ａを介して信号および／またはメッセージをコンピューティング装置１８０に送信する。コンピューティング装置１８０は、通信経路１０６ｂを介してロボットアセンブリ１９０ａに、および／または通信経路１０６ｃを介してロボットアセンブリ１９０ｂに、信号および／またはメッセージを送信する。いくつかの実施形態では、信号および／またはメッセージは、ロボットアセンブリ１９０ａまたは１９０ｂのカートユニット１９１ａまたはカートユニット１９１ｂにそれぞれ送信され、これは、命令されたアクションの実施を引き起こすために、他の通信経路（図１には示さず）を介して、対応する信号または命令をそれぞれのロボットアセンブリのサブユニットに提供する。

外科医コンソール１７０は、それぞれ、ハンドル１１２Ａおよびハンドル１１２Ｂの動きに関連する測定基準を決定するように構成されるセンサ１３０Ａおよび１３０Ｂ（集合的にセンサ１３０）を含む。ハンドル１１２の動きに関連する測定基準の例示的なタイプは、ハンドル１１２の動きの方向、ハンドル１１２の動きの速度、ハンドル１１２の移動の距離、ハンドル１１２の動きの力、ハンドル１１２の動きのトルク、および／または同類のものを含むが、これらに限定されない。外科医コンソール１７０は、ハンドル１１２の動きに関連する測定基準データを、コンピューティング装置１８０、ならびに／またはロボットアセンブリ１９０ａおよびロボットアセンブリ１９０ｂなどの手術システム１００のロボットアセンブリに送信する。

ハンドル１１２Ａは、いくつかの実施形態では、様々な触覚部１２４Ａおよび／またはアクチュエータ１２６Ａを含み、これらは、操作、切断、または別の方法の処置に起因する組織抵抗、器具による組織への圧力、組織温度、組織インピーダンス、および／または同類のものなどの様々な組織パラメータまたは状態に関連するフィードバックを外科医に提供する。同様に、ハンドル１１２Ｂは、いくつかの実施形態では、触覚部１２４Ａおよび／またはアクチュエータ１２６Ａと同様に構成される様々な触覚部１２４Ｂおよび／またはアクチュエータ１２６Ｂを含む。触覚部１２４Ａおよび１２４Ｂは、本明細書では集合的に触覚部１２４と呼ばれる。アクチュエータ１２６Ａおよび１２６Ｂは、本明細書で集合的にアクチュエータ１２６と呼ばれる。理解され得るように、そのような触覚部１２４は、筋肉および関節を通じて検知され得る運動感覚フィードバック（例えば、総力フィードバック、総運動フィードバック、および／もしくは同類のもの）などの強化されたフィードバック、ならびに／または皮膚の機械受容器を通じて検知され得る触覚フィードバック（例えば、振動フィードバック、温度フィードバック、小規模形状フィードバック、および／もしくは同類のもの）を外科医に提供し、これによって、実際の手術状態をシミュレートする。触覚部１２４は、振動モータ、電気活性ポリマー、圧電装置、静電装置、亜音速音波表面作動装置、逆電気振動、またはユーザに触覚フィードバックを提供できる任意の他の装置を含んでもよい。上述のように、ハンドル１１２はまた、例えば、実際の手術状態をシミュレートする外科医の能力をさらに高める繊細な組織操作および／または治療に用いられ得る、様々な異なるアクチュエータ１２６も含んでもよい。いくつかの実施形態では、１つ以上のモータ（図１には別個に示されていない）は、触覚部１２４および／またはアクチュエータ１２６を駆動して、例えば、１つ以上の組織特性を示し、手術器具１９５ａの運動範囲を示し、かつ／または衝突もしくは別の運動障害に起因し得る追跡エラーが大きくなったことを示す運動感覚力フィードバックを提供する。

フットペダル１２８は、臨床医から外科医コンソール１７０への１つ以上の入力を受け取るように構成されている。フットペダル１２８から外科医コンソール１７０への入力の例示的なタイプは、同時移動制御モードを含む、手術システム１００の１つ以上の動作モードを有効化および無効化するための入力を含むが、これらに限定されない。フットペダル１２８は、２つ以上の位置に配置されるように構成されており、フットペダル１２８の位置は、外科医コンソール１７０への入力に関連付けられている。フットペダル１２８の位置の選択は、外科医コンソール１７０への関連入力を提供する。例えば、フットペダル１２８の第１の位置が手術システム１００の動作モードの有効化に関連付けられており、フットペダル１２８の第２の位置が手術システム１００の動作モードの解除に関連付けられている場合、第１の位置の選択は、外科医コンソール１７０への入力を提供して動作モードを有効化し、第２の位置の選択は、外科医コンソール１７０への入力を提供して動作モードを無効化する。フットペダル１２８の位置のうちの１つは、フットペダル１２８の静止位置になるように構成されている。フットペダル１２８が静止位置にあるときに、入力信号は外科医コンソール１７０に送信されない。いくつかの実施形態では、フットペダル１２８が静止位置にあるときに、フットペダル１２８がユーザによってやり取りされていないことを示す入力が、外科医コンソール１７０に送信される。いくつかの実施形態では、フットペダル１２８は瞬間的なフットペダルスイッチであり、外科医コンソール１７０への入力は、フットペダル１２８をダブルタップするなど、フットペダル１２８による一連のやり取りに基づいて送信される。

外科医コンソール１７０は、フットペダル１２８を介して受け取った入力に基づいて実施される１つ以上の動作を決定するように構成されている。外科医コンソール１７０は、フットペダル１２８を介して受け取った入力を、コンピューティング装置１８０および／または手術システム１００のロボットアセンブリに送信する。外科医コンソール１７０はまた、フットペダル１２８を介して受け取った入力に基づいて手術システム１００の動作モードが選択されるかどうかを決定し、次いで、フットペダル１２８を介して受け取った入力に基づいて実施される、選択された動作モードに関連付けられている１つ以上の動作を決定するように構成されている。

いくつかの実施形態では、フットペダル１２８は、コンピューティング装置１８０に動作可能および／または通信可能に結合されており、フットペダル１２８の位置の選択などのユーザからの入力の受け取りに応答して、フットペダル１２８は、選択された位置に関連付けられている入力信号を直接コンピューティング装置１８０に送信する。コンピューティング装置１８０は、フットペダル１２８から受け取った入力信号に基づいて実施される、手術システム１００の動作モードの有効化または無効化を含む、１つ以上の動作を決定するように構成されている。いくつかの実施形態では、コンピューティング装置１８０は、フットペダル１２８を介してユーザから受け取った入力を識別するデータを含む、メッセージまたはパケットを外科医コンソール１７０に送信する。

上述のように、外科医コンソール１７０、コンピューティング装置１８０、ロボットアセンブリ１９０、および／または同類のものなどのシステム１００の構成要素は、互いにデータを送受信するように構成されている。いくつかの実施形態では、システム１００の構成要素によって送受信されるデータは、データの型を示す識別子に関連付けられている。この文脈で本明細書で使用される「データの型」という用語は、一般に、データが関連する情報のカテゴリを指す。データの各型は、本明細書では「データ型識別子」と呼ばれる一意の識別子に関連付けられている。例えば、外科医コンソール１７０のハンドル１１２の動きに関連するデータは、データ型識別子に関連付けられており、確認を提供するデータは、別のデータ型識別子に関連付けられている。システム１００の構成要素は、データに関連付けられているデータ型識別子を、データを受信する構成要素に送信するように構成されている。システム１００の構成要素は、受信したデータに関連付けられているデータ型識別子に基づいて、構成要素によって受信したデータの型を決定するように構成されている。システム１００の構成要素は、データの型を、本明細書では「データ型ルール」と呼ばれる、対応するデータ型識別子に関連付けられている一連のルールで構成されている。

システム１００の構成要素は、データ型ルールに基づいて、データ型に関連付けられているデータ型識別子を識別するように構成されている。例えば、外科医コンソール１７０は、データ型ルールに基づいてハンドル１１２の動きに関連するデータに対応するデータ型識別子を識別し、ハンドル１１２の動きに関連するデータを対応するデータ型識別子に関連付け、コンピューティング装置１８０などのハンドル１１２の動きに関連するデータを受信したシステム１００の構成要素に、関連するデータタイプ識別子を送信するように構成されている。コンピューティング装置１８０などのハンドル１１２の動きに関連するデータを受信した構成要素は、データ型ルール、および構成要素によって受信されて受信したデータに関連付けられているデータ型識別子に基づいて、受信したデータの型を決定するように構成されている。いくつかの実施形態では、システム１００の構成要素は、１つ以上のパケットで互いにデータを送受信するように構成されている。いくつかの実施形態では、１つ以上のパケットでデータを送信するシステム１００の構成要素は、送信された１つ以上のパケットのうちの少なくとも１つのデータに関連付けられているデータ型識別子を含む。

ここで図２を参照すると、同時移動制御モードが有効化されているかどうかを決定し、有効化されたタイプの同時移動制御モードを識別する例示的な方法２００が示されている。ユーザは、ユーザが手術システム１００の同時移動制御モードを有効化することを望むことを示す入力を提供することによって、外科システム１００の同時移動制御モードを有効化する。ユーザがそのような入力を提供する一例は、ユーザがフットペダル１２８上の対応する位置を選択することによって、外科医コンソール１７０がコンピューティング装置１８０にデータを送信し、同時移動制御モードを有効化するようにコンピューティング装置１８０に命令することによるものである。フットペダル１２８がコンピューティング装置１８０に動作可能および／または通信可能に直接結合される実施形態では、コンピューティング装置１８０は、フットペダル１２８からの入力信号を直接受信し、入力信号は、ユーザが手術システム１００の同時移動制御モードを有効化することを望むことを示し、コンピューティングデバイス１８０はユーザが手術システム１００の同時移動制御モードを有効化することを望むデータを外科医コンソール１７０に送信する。

ユーザが手術システム１００の同時移動制御モードを有効化することを望むことを示す入力を提供するユーザの別の例は、ユーザに提示されるグラフィカルユーザインターフェース（ＧＵＩ）上の１つ以上のグラフィカルアイテムの選択によるものである。外科医コンソール１７０は、そのようなＧＵＩ（図２には示さず）を表示装置１２２上に提示するように構成されている。表示装置１２２に表示されるＧＵＩは、同時移動制御モードを含むがこれに限定されない、手術システム１００の様々な動作モードを有効化または無効化するための、外科医コンソール１７０への入力を受け取るように構成されている１つ以上のグラフィカルアイテムを提示する。外科医コンソール１７０は、同時移動制御モードを有効化するためのＧＵＩを介した入力の受け取りに応答して、データを送信して、同時移動制御モードを有効化し、コンピューティング装置１８０に送信する。いくつかの実施形態では、外科医コンソール１７０は、音声を処理し、ユーザから口頭で入力を受け取り、口頭でプロンプトまたは要求をユーザに出力するように構成され、外科医コンソール１７０への同時移動制御モードを有効化するための入力は、口頭で提供される。同時移動制御モードの有効化により、外科医コンソール１７０のハンドル１１２は、手術器具１９５ａなどの手術器具１９５の移動の制御から切り離されない。さらに、同時移動制御モードの有効化により、ハンドル１１２Ａおよびハンドル１１２Ｂは一緒にロックされず、ユーザが互いに独立してハンドル１１２Ａとハンドル１１２Ｂを移動できるように互いに独立したままである。

ステップ２０２において、コンピューティング装置１８０は、外科医コンソール１７０のハンドル１１２の動きに関連するデータを受信する。外科医コンソール１７０のハンドル１１２の動きに関連するデータは、ロボットアセンブリ１９０などのシステム１００のロボットアセンブリに結合された１つ以上の手術器具１９５を移動するための、ハンドル１１２を介した外科医コンソール１７０へのユーザ入力に基づくデータである。いくつかの実施形態では、コンピューティング装置１８０によって受信されたデータは、ハンドル１１２の動きの距離、方向、速度、および／または同類のものなどのハンドル１１２の動きに関連する測定基準データを含む。ステップ２０４において、コンピューティング装置１８０は、同時移動制御モードが有効化されているかどうかを決定する。同時移動制御モードが有効化されていない（ステップ２０４で「いいえ」）ことを決定することに応じて、ステップ２０８において、コンピューティング装置１８０は、ロボットアセンブリ１９０ｂなどの手術システム１００のロボットアセンブリに結合された画像捕捉装置１９６ａなどの１つ以上の画像捕捉装置１９６を移動しない。

同時制御モードが有効化されていると決定することに応じて（ステップ２０４で「はい」）、ステップ２０６において、コンピューティング装置１８０は、有効化された同時移動制御モードのタイプを決定する。ユーザが同時移動制御モードを有効化するための入力を提供した後、ユーザは、ユーザが有効化することを望む同時移動制御モードのタイプを指定するように促される。いくつかの実施形態では、ユーザは、ディスプレイ１２２上に提示されたＧＵＩ上に表示されるグラフィカルプロンプトアイテムを介して、同時移動制御モードのタイプを指定するように促される。グラフィカルプロンプトアイテムは、手術システム１００が動作するように構成されている様々なタイプの同時移動制御モードを表示し、タイプの同時移動制御モードのうちの１つを選択するようにユーザに要求する。外科医コンソール１７０が音声を処理し、ユーザから口頭で入力を受け取るように構成される実施形態では、外科医コンソールは、同時移動制御モードのタイプを指定するために口頭でプロンプトまたは要求を出力する。例えば、外科医コンソール１７０は、同時移動制御モードを有効化するためのユーザからの口頭入力の受け取りに応じて、有効化する同時移動制御モードのタイプを記述するプロンプトをユーザに出力する。フットペダル１２８がコンピューティング装置１８０に動作可能および／または通信可能に直接結合される実施形態では、コンピューティング装置１８０は、同時移動制御モードのタイプを指定するようにユーザに要求するためのデータを外科医コンソール１７０に送信する。

いくつかの実施形態では、外科医コンソール１７０は、ハンドル、スイッチ、ノブ、ジョイスティック、および／または同類のものなどのうちの１つ以上の入力装置（図示せず）を含み、入力装置の各位置は、同時移動制御モードのタイプに関連付けられ、入力装置の位置を選択すると、対応する信号が外科医コンソール１７０に送信される。例えば、外科医コンソール１７０が複数の位置を有するノブで構成され、ノブの第１の位置がハンドル１１２の移動に基づく同時移動制御モードに関連付けられている場合、第２の位置は、手術器具に結合されたロボットアセンブリのロボットアームユニットの運動学的データに基づく同時移動制御モードに関連付けられ、第３の位置は、画像処理に基づく同時移動制御モードに関連付けられ、次いで、ノブの第３の位置の選択は、画像処理に基づく同時移動制御モードが選択されるという外科医コンソール１７０への入力を提供する。

ユーザによって選択された同時移動制御モードのタイプを示すデータの受信に応じて、コンピューティング装置１８０は、選択された同時移動制御モードのタイプが有効化されることを示すデータを記憶することによって、手術システム１００の同時移動制御モードのタイプを有効化し、外科医コンソール１７０からのハンドル１１２の移動に関連するデータの受信に応じて、コンピューティングデバイス１８０は、記憶されたデータをチェックして、手術システム１００の１つ以上の画像捕捉装置１９６を移動すべきかどうかを決定するように構成されている。いくつかの実施形態では、コンピューティング装置１８０は、デフォルトタイプの同時移動制御モードで構成され、ユーザが同時移動制御モードを有効化することを望む入力の受け取りに応じて、コンピューティング装置１８０は、デフォルトのタイプの同時移動制御モードが有効化されたことを示すデータを記憶することによって、デフォルトタイプの同時移動制御モードを有効化する。いくつかの実施形態では、同時移動制御モードの有効化されたタイプを変更するオプションがユーザに提示され、オプションの選択に応じて、コンピューティング装置１８０は、同時移動制御モードの有効化されたタイプを無効化し、新しいタイプの同時移動制御モードを有効化する。例えば、同時移動制御モードのデフォルトタイプが外科医コンソール１７０のハンドル１１２の動きに基づく同時移動制御モードであり、ユーザが外科手術システム１００の同時移動制御モードを有効化するための入力を提供すると、コンピューティング装置は１８０は、デフォルトタイプの同時移動制御モードを有効化し、データを外科医コンソール１７０に送信して、ディスプレイ１２２に表示されるＧＵＩを介して他のタイプの同時移動制御モードのオプションをユーザに提示する。ＧＵＩに表示されるオプションの選択に応じて、コンピューティング装置１８０は、有効化された同時移動制御モード（外科医コンソール１７０のハンドル１１２の動きに基づく同時移動制御モード）を無効化し、選択されたオプションに関連付けられている同時移動制御モードを有効化する。

ステップ２０６において、同時移動制御モードのタイプが手術システム１００の外科医コンソール１７０のハンドル１１２の動きに基づいている（ステップ２０６の「ハンドルベース」）と決定することに応じて、コンピューティング装置１８０は、サブプロセス３０２を実施し、その追加の詳細は、図３の文脈で本明細書に提供される。同時移動制御モードのタイプが運動学的データに基づいていると決定することに応じて（ステップ２０６の「運動学的ベース」）、コンピューティング装置１８０は、サブプロセス４０２を実施し、その追加の詳細は、図４の文脈で本明細書に提供される。同時移動制御モードのタイプが画像処理に基づいている決定することに応じて（ステップ２０６の「画像処理ベース」）、コンピューティング装置１８０は、サブプロセス５０２を実施し、その追加の詳細は、図５の文脈で本明細書に提供される。

ここで図３を参照すると、外科手術システム１００の外科医コンソール１７０のハンドル１１２の動きに基づいて、同時移動制御モードで画像捕捉装置１９６を移動するための例示的な方法３００が示されている。ステップ３０６において、コンピューティング装置１８０は、追跡される外科医コンソール１７０のハンドル１１２を識別する。上述のように、ハンドル１１２の動きに基づく同時移動制御モードに関連付けられている設定は、コンピューティング装置１８０に送信され、コンピューティング装置１８０は、設定をコンピューティング装置１８０に動作可能に結合されたデータ記憶ユニットに記憶する。ハンドル１１２の動きに基づく同時移動制御モードに関連付けられている設定のうちの１つは、追跡するハンドル１１２を指定する。例えば、設定は、ハンドル１１２Ａなどのハンドル１１２のうちの１つのみが追跡されることを示す場合がある。同様に、設定は、全てのハンドル１１２が追跡されることを示す場合がある。コンピューティング装置１８０は、有効化された同時移動制御モードに関連付けられている設定データに基づいて追跡するハンドル１１２を識別する。

コンピューティング装置１８０は、外科医コンソール１７０のハンドル１１２の意図しない移動が、画像捕捉装置１９６ａなどの１つ以上の画像捕捉装置１９６の移動に変換されるのを防止するように構成されている。ハンドル１１２の意図しない移動の変換を防止することにより、コンピューティング装置１８０は、ハンドル１１２の意図しない移動の前の位置に、画像捕捉装置１９６を再配置するために、ユーザからの任意のさらなるステップまたは入力を排除する。したがって、コンピューティング装置１８０は、画像捕捉装置１９６の意図しない移動を効率的に排除し、ハンドル１１２の急激な動きに起因する手術部位の不安定な画像を防止する。これらの技法の例は、ステップ３０８および３１０に示されている。ステップ３０８において、コンピューティング装置１８０は、識別されたハンドル１１２の各々の動きの速度を識別する。ステップ３１０において、コンピューティング装置１８０は、識別されたハンドル１１２の速度が顕著な移動閾値を上回るかどうかを決定する。本明細書で使用される「顕著な移動閾値」という用語は、外科手術中に移動されるときのハンドル１１２の予想される速度よりも著しく大きい、移動されるときのハンドル１１２の速度の値に対応する。いくつかの実施形態では、顕著な移動閾値は、コンピューティング装置１８０の１つ以上のメモリまたはコンピューティング装置１８０に動作可能に結合された記憶ユニットに格記憶される構成データで指定され、コンピューティング装置１８０は、識別されたハンドル１１２の速度が顕著な移動閾値を上回るかどうかを決定する際に、メモリまたはデータ記憶ユニットから顕著な移動閾値を取得するように構成されている。

コンピューティング装置１８０が、識別されたハンドル１１２のいずれかの速度が顕著な移動閾値を超えると決定する場合（ステップ３１０の「はい」）、コンピューティング装置１８０は、ハンドル１１２の移動を意図的ではないと識別し、プロセスを図２のステップ２０８に戻す。コンピューティング装置１８０は、１つ以上の画像捕捉装置１９６を移動するための命令を、ロボットアセンブリ１９０ｂなどの１つ以上の画像捕捉装置１９６に結合されたシステム１００の１つ以上のロボットアセンブリに送信しない。いくつかの実施形態では、コンピューティング装置１８０は、顕著な移動閾値を上回る識別されたハンドル１１２の速度をフィルタリングするために、ハンドル１１２の動きに関連するデータにローパスフィルタまたはカルマンフィルタを適用するように構成されている。いくつかの実施形態では、コンピューティング装置１８０は、ハンドル１１２の移動が意図しない移動であると決定されたこと、およびロボットアセンブリ１９０に結合された１つ以上の画像捕捉装置１９６が移動されないであろうことを示すメッセージを外科医コンソール１７０に送信する。いくつかの実施形態では、外科医コンソール１７０は、ハンドル１１２の速度が安全閾値を超えたため、ロボットアセンブリ１９０に結合された１つ以上の画像捕捉装置１９６が移動されなかったことを示す警告メッセージをＧＵＩに表示する。

コンピューティング装置１８０が、識別された各ハンドル１１２の速度が顕著な移動閾値を上回っていないと決定する場合（ステップ３１０の「いいえ」）、ステップ３１４において、コンピューティング装置１８０は、識別された各ハンドル１１２の速度が移動閾値を上回っているかどうかを決定する。本明細書で使用される「移動閾値」という用語は、ハンドル１１２の移動をユーザによる計画的で意図的な移動として決定するために必要な、ハンドル１１２の最小速度を示す値を指す。いくつかの実施形態では、顕著な移動閾値と同様に、移動閾値は、コンピューティング装置１８０のメモリまたはコンピューティング装置１８０に動作可能に結合された記憶装置に記憶された構成データで指定され、コンピューティング装置１８０は、識別されたハンドル１１２の速度が移動閾値を上回るかどうかを決定する際に、メモリまたはデータ記憶ユニットから移動閾値を取得するように構成されている。

いくつかの実施形態では、識別されたハンドル１１２の速度にフィルタリングが適用されて、以下のように動作するバックラッシュタイプの機能が実装される。ハンドル（単数または複数）１１２は、画像捕捉装置１９６が対応する方向に移動し始めるように、一方向に十分遠くに移動しなければならない。画像捕捉装置１９６は、ハンドル（単数または複数）１１２がほぼ同様の方向に移動し続ける限り、限界内で対応する方向に移動し続ける。ハンドル（単数または複数）１１２が方向を反転する場合、画像捕捉装置１９６が新しい（反転）方向のハンドル（単数または複数）の動きを追跡し始める前に、ハンドル１１２は、不感帯を移動しなければならない。このように、外科医は、画像捕捉装置１９６の対応する動きを引き起こすことなく、不感帯内でハンドル１１２を移動し、次いで、ハンドル１１２を不感帯を越えて移動して、画像捕捉装置１９６に対応する方向に追跡させ、不感帯を同様の方向に沿って進めることができる。

コンピューティング装置１８０が、識別されたハンドル１１２のいずれかの速度が移動閾値を上回っていないと決定する場合（ステップ３１４の「いいえ」）、ステップ３１６において、コンピューティング装置１８０は、画像フレーム内の相対的な関心点を調整すべきかどうかを決定する。本明細書で使用する「画像フレーム内の相対的な関心点」という用語は、システム１００のロボットアセンブリに結合された１つ以上の手術器具１９５に対する画像フレーム内の特定の位置または点、例えば、手術ツールの先端の中心点、２つ以上の手術ツールの先端間の中心点、２つ以上の手術ツールの先端の重心、２つ以上の手術ツールの先端の中心点または重心からオフセットされた位置、および／または同類のものを指す。

画像フレーム内の相対的な関心点を調整すべきかどうかを決定する際に、コンピューティング装置１８０は、手術ツールの先端の位置の変化に基づいて、画像フレーム内の新しい相対的な関心点を計算し、次いで、画像フレーム内の新しい相対関心点と以前の相対関心点の間の距離が閾値よりも大きいかどうかを決定する。コンピューティング装置１８０が、距離が閾値よりも大きくないと決定する場合（ステップ３１６の「いいえ」）、コンピューティング装置１８０は、プロセスを図２のステップ２０８に戻し、画像捕捉装置１９６を移動するための命令をロボットアセンブリに送信しない。コンピューティング装置１８０が、距離が閾値よりも大きいと決定する場合（ステップ３１６の「はい」）、ステップ３１８において、コンピューティング装置１８０は、画像捕捉装置１９６を画像フレーム内の新しい相対関心点に移動するための命令を生成する。いくつかの実施形態では、画像フレーム内の新しい相対的な関心点は、手術ツールの先端が移動される距離および角度に基づいて計算される。

コンピューティング装置１８０が、識別されたハンドル１１２の各々の速度が移動閾値を上回ると決定する場合（ステップ３１４の「はい」）、ステップ３２０において、コンピューティング装置１８０は、識別されたハンドル１１２の移動距離の各々の移動の距離を識別する。いくつかの実施形態では、コンピューティング装置１８０は、識別されたハンドル１１２の各々の移動の距離に関連するデータを受信する。例えば、識別されたハンドル１１２の各々の移動の距離は、識別されたハンドル１１２の移動に関連するデータに対応する１つ以上のパケットで受信される。ハンドル１１２のうちの２つ以上のハンドルが識別される場合、コンピューティング装置１８０は、識別された各ハンドル１１２の各々の移動距離に基づいて、平均などの統計的測定値を計算することによって、識別されたハンドル１１２の移動距離を識別する。例えば、ハンドル１１２のうち２つのハンドルが、追跡するハンドル１１２として識別され、１つのハンドルが１０センチメートル（単一方向に）移動し、もう１つのハンドルが１５センチ（同じ単一方向に）移動し、計算する統計的測定値として平均が選択されると、コンピューティング装置１８０は、ハンドル１１２の合計移動距離１２．５センチメートルを計算し、識別されたハンドル１１２の移動距離として１２．５センチメートルを識別する。

ステップ３２２において、コンピューティング装置１８０は、識別されたハンドル１１２の移動の方向を識別する。上述のように、外科医コンソール１７０のハンドル１１２は、左、右、上、および／または下を含むがこれらに限定されない様々な方向に、および／または画像捕捉装置１９６をズームインまたはズームアウトさせる方法で移動するように構成されている。いくつかの実施形態では、コンピューティング装置１８０は、識別されたハンドル１１２の動きに関連するデータに対応する、１つ以上のパケット内の識別されたハンドル１１２の移動の方向に関連するデータを受信する。いくつかの実施形態では、識別されたハンドル１１２の移動の方向に関連するデータは、０〜３５９度の範囲の値として指定される。

ステップ３２４において、コンピューティング装置１８０は、識別されたハンドル１１２の各々について倍率を識別する。本明細書で使用される「倍率」という用語は、ハンドル１１２の移動とロボットアセンブリに結合された手術器具の動きとの比を指す。例えば、倍率が３：１であるということは、ハンドル１１２の３インチの移動がロボットアセンブリに結合された手術ツールの１インチの移動に変換されることを示す。同様に、２：１の倍率は、ハンドル１１２の２インチの移動がロボットアセンブリに結合された手術ツールの１インチの移動に変換されることを示し、５：１の倍率は、ハンドル１１２の５インチの移動が、ロボットアセンブリに結合された外科ツールの１インチの移動に変換されることを示す。システム１００の倍率は、外科医コンソール１７０のディスプレイ１２２に表示されるＧＵＩを介して、ノブなどのアナログ入力機構を介して、同時移動制御モードの有効化の最中または後に、フットペダル１２８の位置を選択することによって、倍率を選択することを含むが、これらに限定されない任意の１つ以上の方法で選択することができる。例えば、同時移動制御モードが有効化され、フットペダル１２８の第１の位置が、倍率を増加させて、ハンドル１１２の移動を画像捕捉装置１９６の移動に変換することに関連付けられており、フットペダル１２８の第２の位置が、倍率を減少させて、ハンドル１１２の移動を画像捕捉装置１９６の移動に変換することに関連付けられている場合、第１の位置を選択すると倍数が増加し、第２の位置を選択すると倍数が減少する。

システム１００は、同時移動制御動作モードのうちの１つなどの特定の動作モードに対する複数の倍率の選択を可能にするように構成されている。各倍率は、外科医コンソール１７０のハンドル１１２の異なる移動の方向、および／またはロボットアセンブリ１９０ｂなどのシステム１００のロボットアセンブリに結合された画像捕捉装置１９６ａなどの画像捕捉装置１９６のレンズの異なる位置に関連付けられる。倍率は、コンピューティング装置１８０のメモリまたはコンピューティング装置１８０に動作可能に結合されたデータ記憶ユニットに記憶された構成データ内で指定され、コンピューティング装置１８０は、ハンドル１１２の移動の識別された方向、または手術器具１９５に対する画像捕捉装置１９６のレンズの位置に基づいて、ハンドル１１２の倍率を識別するように構成されている。例えば、３：１の倍率がハンドル１１２の左への移動に関連付けられており、２：１の倍率がハンドル１１２の右への移動に関連付けられている場合、コンピューティング装置１８０は、左に移動されるハンドル１１２に対して３：１の倍率を選択し、右に移動されるハンドル１１２に対して２：１の倍率を選択する。同様に、例えば、画像捕捉装置１９６のレンズがズームアウトされているレンズに対応する位置にある場合、コンピューティング装置１８０は、レンズがズームアウト位置にあるかどうかを決定し、レンズがズームアウト位置にあると決定することに応じて、ズームアウト位置のレンズに指定された倍率を識別する。いくつかの実施形態では、各ハンドル１１２が同じ方向に移動される場合、単一の倍率がハンドル１１２の各々に適用される。例えば、ハンドル１１２Ａおよびハンドル１１２Ｂが左に移動される場合、左方向に関連付けられている倍率がハンドル１１２Ａおよび１１２Ｂの両方に適用される。

ステップ３２６において、コンピューティング装置１８０は、識別された距離、方向、および倍率に基づいて、画像捕捉装置１９６の新しい位置を計算する。コンピューティング装置１８０は、そのハンドル１１２の対応する倍率をそのハンドル１１２の識別された移動の距離に適用することによって、識別された各ハンドル１１２のスケーリングされた移動の距離を計算することによって、ならびに識別されたハンドル１１２の各々のスケーリングされた移動の距離および識別されたハンドル１１２の各々の移動の方向を入力として受け入れる数学関数に基づいて、画像捕捉装置１９６の移動の最終距離および移動方向を計算することによって、画像捕捉装置１９６の新しい位置を計算する。識別されたハンドル１１２の各々のスケーリングされた移動の距離および識別されたハンドル１１２の各々の移動の方向を入力として受け入れる数学関数の一例は、入力として、大きさおよび方向を有するベクトルを受け入れる平均化関数である。例えば、ハンドル１１２のうちの２つのハンドルが識別され、識別されたハンドル１１２のうちの１つが右に１０ｃｍ移動される場合（つまり、移動の方向が０度）、識別されたハンドル１１２の他方が左に１５ｃｍ移動され（つまり、移動の方向は１８０度）、倍率が５：１であり、数学関数が平均化関数である場合、スケーリングされた距離は、右に２ｃｍ、左に３ｃｍであり、スケーリングされた距離およびそれらのそれぞれの方向に平均化関数を適用すると、画像捕捉装置１９６の移動の最終距離および方向は、左（または１８０度）に０．５ｃｍになる。したがって、画像捕捉装置１９６の新しい位置は、画像捕捉装置１９６の現在の位置の左（または１８０度）に０．５ｃｍである。

ステップ３３０において、コンピューティング装置１８０は、画像捕捉装置１９６を新しい位置に移動させるための命令を生成し、画像捕捉装置１９６に結合されたロボットアセンブリ１９０に送信する。いくつかの実施形態では、コンピューティング装置１８０は、画像捕捉装置１９６に結合されたロボットアセンブリに関連付けられている一意の識別子を識別し、一意の識別子を使用して命令を生成し、ロボットアセンブリに送信する。ステップ２０４および２０８に関連して上述したように、例えば、画像捕捉装置１９６がクラッチアウトまたはホールドモードにある期間中に同時移動制御モードが有効化されない場合（ステップ２０４の「いいえ」）、画像捕捉装置１９６は、ハンドル１１２の移動を追跡しない。

ここで図４を参照すると、手術システム１００のロボットアセンブリの手術器具１９５に結合されたロボットアーム１９３の運動学的データに基づいて、同時移動制御モードで画像捕捉装置１９６を例示的な方法４００が示されている。本明細書で使用する「運動学的データ」という用語は、セットアップアームユニット１９２、ロボットアームユニット１９３、器具駆動ユニット１９４、および／またはロボットアセンブリ１９０の他の関節の位置および／または向きに関連するデータを指す。ステップ４０６において、コンピューティング装置１８０は、手術器具１９５ａなどの外科用器具１９５に結合されたロボットアーム１９３の運動学的データを識別する。ロボットアセンブリ１９０は、ロボットアーム１９３ａなどのロボットアームの運動学的データを出力するように構成されるエンコーダを含む。運動学的データは、ロボットアーム１９３ａの左、右、上、下への移動、患者に向かう、患者から離れるアームの移動、アームの回転度に関連するデータを含む。ロボットアーム１９３の運動学的データは、ロボットアーム１９３が移動される手術器具１９５ａなどの手術器具１９５に結合されているロボットアセンブリ１９０から、コンピューティング装置１８０に送信される。いくつかの実施形態では、コンピューティング装置１８０は、ロボットアームを移動するロボットアセンブリに送信されるコマンドまたは命令に基づいて、手術器具１９５ａに結合されたロボットアーム１９３ａなどの手術器具１９５に結合されたロボットアームの運動学的データを識別するように構成されている。

ステップ４０８において、コンピューティング装置１８０は、手術器具１９５ａなどの手術器具１９５の以前の位置を識別する。手術器具１９５の位置は、３次元座標系で表され、ｘ、ｙ、およびｚ方向の座標系で表される。コンピューティング装置１８０は、コンピューティング装置１８０のメモリまたはコンピューティング装置１８０に動作可能に結合されたデータ記憶ユニットに、手術器具１９５の以前の位置を保存するように構成されている。いくつかの実施形態では、コンピューティング装置１８０は、手術器具１９５に結合されたロボットアセンブリから手術器具１９５の位置を受信し、受信した手術器具１９５の位置をコンピューティング装置１８０のメモリまたはコンピューティング装置１８０に動作可能に結合されたデータ記憶ユニットに記憶するように構成されている。ステップ４１０において、コンピューティング装置１８０は、手術器具１９５に結合されたロボットアームの識別された運動学的データおよび手術器具１９５の以前の位置に基づいて移動され、１つ以上のハンドル１１２に関連付けられている手術器具１９５の各々の新しい位置を計算する。

ステップ４１２において、コンピューティング装置１８０は、各手術器具の以前の位置と新しい位置との間の位置の変化を計算する。位置の変化は、ｘ、ｙ、およびｚ方向の点を有する３次元座標空間で計算される。ステップ４１４において、コンピューティング装置１８０は、画像捕捉装置１９６の現在位置を識別する。いくつかの実施形態では、コンピューティング装置１８０は、画像捕捉装置１９６が移動された後、画像捕捉装置１９６に結合されたロボットアセンブリから画像捕捉装置１９６の位置を受信し、コンピューティング装置１８０はその位置を、コンピューティング装置１８０のメモリまたはコンピューティング装置１８０に動作可能に結合されたデータ記憶ユニットに記憶する。いくつかの実施形態では、コンピューティング装置１８０は、画像捕捉装置１９６が移動された後、ロボットアセンブリ１９０から画像捕捉装置１９６に結合されたロボットアームの運動学的データを受信し、コンピューティング装置１８０は、受信された運動学的データに基づいて画像捕捉装置１９６の位置を計算し、かつ計算された画像捕捉装置１９６の位置をコンピューティング装置１８０のメモリまたはコンピューティング装置１８０に動作可能に結合されたデータ記憶ユニットに記憶するように構成されている。

ステップ４１６において、コンピューティング装置１８０は、画像捕捉装置１９６の識別された現在位置、および手術器具１９５の以前の位置と新しい位置との間の位置の変化に基づいて、画像捕捉装置１９６の新しい位置を計算する。ステップ４１８において、コンピューティング装置１８０は、画像捕捉装置１９６を画像捕捉装置１９６に結合されたロボットアセンブリの新しい位置に移動させるための命令を生成および送信する。いくつかの実施形態では、図４に関連して記載される運動学的データベースの同時移動制御モードに、ハンドルの動きベースの同時移動制御モードについて図３に関連して本明細書に記載されるものと同様の方法で、様々な追加の特徴を適用することができる。そのような特徴の例示的なタイプは、フィルタリング、速度制限、バックラッシュ／不感帯機能、ならびに／またはハンドル１１２の位置および／もしくは複数のハンドル１１２のそれぞれの位置の数学的組み合わせに対する画像捕捉装置１９６の動きの結合が含まれるが、これらに限定されない。

ここで図５を参照すると、画像処理に基づく同時移動制御モードで画像捕捉装置１９６を移動するための例示的な方法５００が示されている。コンピューティング装置１８０は、ステップ５０６において、コンピューティング装置１８０によって受信された１つ以上の画像内の１つ以上の手術器具１９５または手術器具１９５の部分を識別する。コンピューティング装置１８０は、ロボットアセンブリ１９０ａまたは１９０ｂなどのロボットアセンブリのロボットアームに結合された画像捕捉装置１９６によって捕捉された１つ以上の画像を受信する。いくつかの実施形態では、画像捕捉装置１９６は、内視鏡内に含まれる。１つ以上の受信された画像は、１つ以上の手術器具１９５を含む。コンピューティング装置１８０は、外科手術器具１９５または外科手術器具１９５の部分などの画像内の物体または物体の部分、例えば手術器具１９５の先端を識別する画像処理技法を含む複数の画像処理技法およびアルゴリズムで構成されている。いくつかの実施形態では、第２の画像捕捉装置１９６は、異なるロボットアセンブリの異なるロボットアームに結合され、コンピューティング装置１８０は、第２の画像捕捉装置１９６によって捕捉された画像を受信する。いくつかの実施形態では、第２の画像捕捉装置１９６のレンズは、捕捉された画像が第１の画像捕捉装置１９６および手術器具１９５を含むように、広角視野に配置され、コンピューティング装置１８０は、第２の画像捕捉装置１９６から受信した画像内の手術器具１９５または手術器具１９５の部分を識別するように構成されている。

ステップ５０８において、コンピューティング装置１８０は、各受信された画像の画像フレーム内の相対的な関心点を識別する。上記のように、「画像フレーム内の相対的な関心点」という用語は、システム１００のロボットアセンブリに結合された１つ以上の手術器具１９５に対する画像フレーム内の特定の位置または点を指す。相対的な関心点の例は、手術器具の先端の中心点、手術器具の先端の中心点、２つ以上の手術器具の先端の中心点、２つ以上の手術器具の先端の重心、２つ以上の手術器具の先端の中心点または重心からオフセットした位置を含むが、これらに限定されない。コンピューティング装置１８０は、識別された手術器具１９５または手術器具ツールの先端の位置に基づいて、画像内の相対的な関心点を計算する。したがって、手術器具１９５が患者内で移動されると、それに応じてコンピューティング装置１８０によって計算された相対的な関心点が変化する。

ステップ５１０で、コンピューティング装置１８０は、画像捕捉装置１９６の現在位置を識別する。いくつかの実施形態では、コンピューティング装置１８０は、コンピューティング装置１８０のメモリまたは画像コンピューティング装置１８０に動作可能に結合された記憶領域に、画像捕捉装置１９６の最新位置または現在位置を保存するように構成されている。いくつかの実施形態では、コンピューティング装置１８０は、画像捕捉装置１９６がその位置に移動された後、画像捕捉装置１９６の位置に関連するデータを受信する。コンピューティング装置１８０は、画像捕捉装置１９６の最新の保存された位置を記憶する記憶領域にアクセスすることによって、画像捕捉装置１９６の現在の位置を識別するように構成されている。

ステップ５１２において、コンピューティング装置１８０は、画像捕捉装置１９６の現在位置および画像内の識別された相対的な関心点に基づいて、画像捕捉装置１９６の新しい位置を計算する。上述のように、相対的な関心点は、手術器具１９５の移動に基づいて変化する。したがって、画像捕捉装置１９６の位置は、手術器具１９５の動きに部分的に基づいて移動する。したがって、手術器具１９５が手術部位内で移動されると、画像捕捉装置１９６は手術器具１９５に追従する。ステップ５１４において、コンピューティング装置１８０は、画像捕捉装置１９６を新しい位置に移動するための命令を生成し、その命令を画像捕捉装置１９６に結合されたロボットアセンブリに送信する。いくつかの実施形態では、図５に関連して記載される画像処理ベースの同時移動制御モードに、ハンドルの動きに基づく同時移動制御モードについて図３に関連して本明細書に記載されるものと同様の方法で、様々な追加の特徴を適用することができる。そのような特徴の例示的なタイプは、フィルタリング、速度制限、バックラッシュ／不感帯機能、ならびに／またはハンドル１１２の位置および／もしくは複数のハンドル１１２のそれぞれの位置の数学的組み合わせに対する画像捕捉装置１９６の動きの結合が含まれるが、これらに限定されない。

「一例では」、「例では」、「いくつかの例では」、「一実施形態では」、「実施形態では」、「いくつかの実施形態では」、または「他の実施形態では」という語句は、各々、本開示による同じまたは異なる実施形態のうちの１つ以上のことを指す場合がある。「ＡまたはＢ」という形式の語句は、「（Ａ）、（Ｂ）、（ＡおよびＢ）」を意味する。「Ａ、Ｂ、またはＣのうちの少なくとも１つ」という形式の語句は、「（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）、または（Ａ、Ｂ、およびＣ）」を意味する。

本明細書で説明するシステムはまた、１つ以上のコントローラを利用して、様々な情報を受信し、受信した情報を変換して出力を生成することができる。コントローラは、メモリ内に記憶された一連の命令を実行することが可能な、任意のタイプのコンピューティング装置、演算回路、または任意のタイプのプロセッサまたは処理回路を含み得る。コントローラは、複数のプロセッサおよび／またはマルチコア中央処理装置（ＣＰＵ）を含んでもよく、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／または同類のものなどの任意のタイプのプロセッサを含んでもよい。コントローラはまた、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに１つ以上の方法および／またはアルゴリズムを実行させるデータおよび／または命令を記憶するメモリも含んでもよい。

本明細書で説明される方法、プログラム、アルゴリズム、またはコードのいずれもが、プログラミング言語またはコンピュータプログラムに変換されるか、または表現されてもよい。「プログラミング言語」および「コンピュータプログラム」は、コンピュータへの命令を特定するために使用される任意の言語を含み、これらの言語およびその派生物は（限定されないが）Ａｓｓｅｍｂｌｅｒ、Ｂａｓｉｃ、Ｂａｔｃｈ ｆｉｌｅｓ、ＢＣＰＬ、Ｃ、Ｃ＋、Ｃ＋＋、Ｄｅｌｐｈｉ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｍａｃｈｉｎｅ ｃｏｄｅ、オペレーティングシステムコマンド言語、Ｐａｓｃａｌ、Ｐｅｒｌ、ＰＬ１、スクリプト言語、Ｖｉｓｕａｌ Ｂａｓｉｃ、プログラム自体を特定するメタ言語、および全ての第１、第２、第３、第４、第５世代、またはそれ以降のコンピュータ言語を含む。また、データベースおよび他のデータスキーマ、ならびに任意の他のメタ言語も含まれる。解釈され、コンパイルされ、またはコンパイルおよび解釈されたアプローチの両方を使用する言語間で、区別はなされない。プログラムのコンパイル済みバージョンとソースバージョンとの間でも、区別はなされない。このため、プログラミング言語が、プログラミング言語が複数の状態（ソース、コンパイル済み、オブジェクト、またはリンク等）で存在し得る、プログラムへの参照は、かかる状態のいずれか、および全てへの参照である。プログラムへの参照は、実際の命令および／またはそれらの命令の意図を包含し得る。

本明細書に記載の方法、プログラム、アルゴリズム、またはコードのいずれも、１つ以上の機械可読媒体またはメモリ上に含まれ得る。収容されるコードまたは命令は、搬送波信号、赤外線信号、デジタル信号、および他の同様の信号によって表されることができる。

上記の説明は、単に本開示の例示的なものであることが理解されるべきである。様々な代替例および変更例が本開示から逸脱することなく当業者によって想到され得る。したがって、本開示は、全てのこのような代替例、変更例および差異を包含するように意図される。添付された図面を参照して説明された実施形態は、本開示の一定の例を説明するためにのみ提示される。上記および／または添付の特許請求の範囲に説明されたものとは実質的ではない部分で異なる他の要素、ステップ、方法および技術はまた、本開示の範囲内にあるように意図される。

Claims (40)

1. 手術ロボットシステムであって、
   コンピューティング装置と、
   複数のロボットアセンブリであって、前記複数のロボットアセンブリのうちの各ロボットアセンブリが、ロボットアームを含み、
   前記複数のロボットアセンブリのうちの第１のロボットアセンブリのロボットアームが、画像捕捉装置に結合され、
   前記第１のロボットアセンブリとは異なるロボットアセンブリの少なくともサブセットのロボットアームが、手術器具に結合される、複数のロボットアセンブリと、
   複数のハンドルを含む外科医コンソールであって、前記複数のハンドルのうちの各ハンドルが、手術器具に結合されたロボットアームを含むロボットアセンブリに通信可能に結合され、前記外科医コンソールが、前記複数のハンドルのうちの少なくとも１つのハンドルの移動に関連するデータを含む１つ以上のパケットを、コンピューティング装置に送信するように構成されている、外科医コンソールと、を備え、
   前記コンピューティング装置が、少なくとも１つのハンドルの前記移動に関連する前記データに少なくとも部分的に基づいて、前記画像捕捉装置の新しい位置を計算し、かつ前記画像捕捉装置を前記新しい位置に移動させる命令を、前記第１のロボットアセンブリに送信するように構成されている、手術ロボットシステム。
2. 少なくとも１つのハンドルの前記移動に関連する前記データが、前記少なくとも１つのハンドルが進行した距離に関連するデータを含み、前記画像捕捉装置の前記新しい位置が、前記少なくとも１つのハンドルが進行した前記距離に関連する前記データに少なくとも部分的に基づいて計算される、請求項１に記載の手術ロボットシステム。
3. 前記画像捕捉装置の前記新しい位置が、前記少なくとも１つのハンドルが進行した前記距離に関連する前記データ、および前記少なくとも１つのハンドルが進行した前記距離に適用される倍率に少なくとも部分的に基づいて計算される、請求項２に記載の手術ロボットシステム。
4. 前記距離に適用される前記倍率が、複数の倍率のうちのものであり、前記複数の倍率のうちの各倍率が、移動の方向に関連付けられている、請求項３に記載の手術ロボットシステム。
5. 前記コンピューティング装置が、前記少なくとも１つのハンドルが進行した方向に少なくとも基づいて、前記倍率を選択するようにさらに構成されている、請求項４に記載の手術ロボットシステム。
6. 少なくとも１つのハンドルの前記移動に関連する前記データが、前記少なくとも１つのハンドルが進行した方向に関連するデータを含み、前記画像捕捉装置の前記新しい位置が、前記少なくとも１つのハンドルが進行した前記方向に関連する前記データに少なくとも部分的に基づいて計算される、請求項１に記載の手術ロボットシステム。
7. 前記画像捕捉装置の現在位置に対する前記画像捕捉装置の前記新しい位置の方向が、前記少なくとも１つのハンドルが進行した方向と同じ方向である、請求項６に記載の手術ロボットシステム。
8. 前記コンピューティング装置は、前記少なくとも１つのハンドルの前記移動の速度が移動閾値よりも大きいという決定に応じて、前記画像捕捉装置の前記新しい位置を計算するようにさらに構成されている、請求項１に記載の手術ロボットシステム。
9. 前記コンピューティング装置は、前記少なくとも１つのハンドルの前記移動の速度が顕著な移動閾値よりも小さいという決定に応じて、前記画像捕捉装置の前記新しい位置を計算するようにさらに構成されている、請求項１に記載の手術ロボットシステム。
10. 前記コンピューティング装置は、カルマンフィルタを使用して、前記少なくとも１つのハンドルの前記移動の前記速度が顕著な移動閾値よりも小さいかどうかを決定するようにさらに構成されている、請求項９に記載の手術ロボットシステム。
11. 前記コンピューティング装置は、ローパスフィルタを使用して、前記少なくとも１つのハンドルの前記移動の前記速度が顕著な移動閾値よりも小さいかどうかを決定するようにさらに構成されている、請求項９に記載の手術ロボットシステム。
12. 手術ロボットシステムであって、
    コンピューティング装置と、
    複数のロボットアセンブリであって、前記複数のロボットアセンブリのうちの各ロボットアセンブリが、ロボットアームを含み、
    前記複数のロボットアセンブリのうちの第１のロボットアセンブリのロボットアームが、画像捕捉装置に結合され、
    前記第１のロボットアセンブリとは異なるロボットアセンブリの少なくとも１つのサブセットのロボットアームが、手術器具に結合される、複数のロボットアセンブリと、を備え、
    前記手術器具に結合された前記ロボットアームを有するロボットアセンブリの前記少なくとも１つのサブセットが、前記手術器具に結合された前記ロボットアームの運動学的データを、前記コンピューティング装置に送信するように構成され、
    前記コンピューティング装置が、前記手術器具に結合された前記ロボットアームの前記運動学的データに少なくとも部分的に基づいて、前記画像捕捉装置の新しい位置を計算し、かつ前記画像捕捉装置を前記新しい位置に移動するための命令を、前記第１のロボットアセンブリに送信するように構成されている、手術ロボットシステム。
13. 前記コンピューティング装置が、前記ロボットアームに結合された前記手術器具の各々の以前の位置を識別し、かつ前記手術器具の各々の前記以前の位置および前記受信された運動学的データに少なくとも部分的に基づいて、前記画像捕捉装置の前記新しい位置を計算するようにさらに構成されている、請求項１２に記載の手術ロボットシステム。
14. 前記コンピューティング装置が、
    前記手術器具の各々の以前の位置および新しい位置に基づいて、前記手術器具の各々の位置の変化を計算し、
    前記画像捕捉装置の現在の位置を識別し、
    前記画像捕捉装置の前記現在の位置および前記手術器具の各々の位置の前記変化に少なくとも部分的に基づいて、画像捕捉装置の前記新しい位置を計算するようにさらに構成されている、請求項１２に記載の手術ロボットシステム。
15. 手術ロボットシステムであって、
    コンピューティング装置と、
    複数のロボットアセンブリであって、前記複数のロボットアセンブリのうちの各ロボットアセンブリが、ロボットアームを含み、
    前記複数のロボットアセンブリのうちの第１のロボットアセンブリのロボットアームが、画像捕捉装置に結合され、前記画像捕捉装置が、１つ以上の画像を捕捉するように構成され、前記第１のロボットアセンブリが、前記１つ以上の捕捉された画像を前記コンピューティング装置に送信するように構成され、
    前記第１のロボットアセンブリとは異なるロボットアセンブリの少なくとも１つのサブセットのロボットアームが、手術器具に結合される、複数のロボットアセンブリと、を備え、
    前記コンピューティング装置が、前記１つ以上の画像内の前記手術器具を識別し、前記識別された手術器具に基づいて相対的な関心点を識別し、前記相対的な関心点に少なくとも部分的に基づいて前記画像捕捉装置の新しい位置を計算し、前記画像捕捉装置を前記新しい位置に移動するための命令を前記第１のロボットアセンブリに送信するように構成されている、手術ロボットシステム。
16. 前記相対的な関心点が、前記１つ以上の画像内の前記手術器具の位置に基づいて計算された重心である、請求項１５に記載の手術ロボットシステム。
17. 前記相対的な関心点が、前記１つ以上の画像内の前記手術器具の位置に基づいて計算された中心点からの位置オフセットである、請求項１５に記載の手術ロボットシステム。
18. 前記コンピューティング装置が、前記画像捕捉装置の現在位置および前記相対的な関心点に少なくとも部分的に基づいて、前記画像捕捉装置の前記新しい位置を計算するようにさらに構成されている、請求項１５に記載の手術ロボットシステム。
19. 第２の画像捕捉装置に結合された前記複数のロボットアセンブリのうちの第２のロボットアセンブリのロボットアームであって、前記第２の画像捕捉装置が、前記手術器具および前記第１のロボットアセンブリに結合された前記画像捕捉装置を含む１つ以上の画像を捕捉するように構成され、前記第２のロボットアセンブリが、前記１つ以上の捕捉された画像を、前記コンピューティング装置に送信するように構成されている、ロボットアームをさらに備え、
    前記コンピューティング装置が、前記第２の画像捕捉装置によって捕捉された前記１つ以上の画像内で、前記手術器具および前記第１のロボットアセンブリに結合された前記画像捕捉装置を識別し、前記第２の画像捕捉装置によって捕捉された前記１つ以上の画像を使用して、前記識別された手術器具に基づいて前記相対的な関心点を識別し、前記第２の画像捕捉装置によって捕捉された前記１つ以上の画像を使用して識別された前記相対的な関心点に基づいて前記画像捕捉装置の前記新しい位置を計算し、前記第１のロボットアセンブリに結合された前記画像捕捉装置を前記新しい位置に移動するための命令を、前記第１のロボットアセンブリに送信するようにさらに構成されている、請求項１５に記載の手術ロボットシステム。
20. 前記第２の画像捕捉装置のズームレンズは、前記第２の画像捕捉装置の画像フレームが、前記手術器具および前記第１のロボットアセンブリに結合された前記画像捕捉装置を含むように、広角視野に配置されている、請求項１９に記載の手術ロボットシステム。
21. 手術ロボットシステム内のカメラ制御のための方法であって、前記方法が、
    外科医コンソールの複数のハンドルのうちの少なくとも１つのハンドルの移動に関連するデータを受信することと、
    前記移動に関連する前記データに少なくとも部分的に基づいて、画像捕捉装置の新しい位置を計算することと、
    前記画像捕捉装置を前記新しい位置に移動させるための命令を前記画像捕捉装置に結合された第１のロボットアセンブリに送信することと、を含む、方法。
22. 少なくとも１つのハンドルの前記移動に関連する前記データが、前記少なくとも１つのハンドルが進行した距離に関連するデータを含み、前記画像捕捉装置の前記新しい位置が、前記少なくとも１つのハンドルが進行した前記距離に関連する前記データに少なくとも部分的に基づいて計算される、請求項２１に記載の方法。
23. 前記画像捕捉装置の前記新しい位置が、前記少なくとも１つのハンドルが進行した前記距離に関連する前記データ、および前記少なくとも１つのハンドルが進行した前記距離に適用される倍率に少なくとも部分的に基づいて計算される、請求項２２に記載の方法。
24. 前記距離に適用される前記倍率が、複数の倍率のうちのものであり、前記複数の倍率のうちの各倍率が、移動の方向に関連付けられている、請求項２３に記載の方法。
25. 前記少なくとも１つのハンドルが進行した方向に少なくとも基づいて前記倍率を選択することをさらに含む、請求項２４に記載の方法。
26. 少なくとも１つのハンドルの前記移動に関連する前記データが、前記少なくとも１つのハンドルが進行した方向に関連するデータを含み、前記画像捕捉装置の前記新しい位置が、前記少なくとも１つのハンドルが進行した前記方向に関連する前記データに少なくとも部分的に基づいて計算される、請求項２１に記載の方法。
27. 前記画像捕捉装置の現在位置に対する前記画像捕捉装置の前記新しい位置の方向が、前記少なくとも１つのハンドルが進行した方向と同じ方向である、請求項２６に記載の方法。
28. 前記画像捕捉装置の前記新しい位置は、前記少なくとも１つのハンドルの前記移動の速度が移動閾値よりも大きいという決定に応じて計算される、請求項２１に記載の方法。
29. 前記画像捕捉装置の前記新しい位置は、前記少なくとも１つのハンドルの前記移動の速度が顕著な移動閾値よりも小さいという決定に応じて計算される、請求項２１に記載の方法。
30. カルマンフィルタを使用して、前記少なくとも１つのハンドルの前記移動の前記速度が顕著な移動閾値よりも小さいかどうかが決定される、請求項２９に記載の方法。
31. ローパスフィルタを使用して、前記少なくとも１つのハンドルの前記移動の前記速度が顕著な移動閾値よりも小さいかどうかが決定される、請求項２９に記載の方法。
32. 手術ロボットシステム内のカメラ制御のための方法であって、前記方法が、
    手術器具に結合されたロボットアームの運動学的データを受信することと、
    前記運動学的データに少なくとも部分的に基づいて、画像捕捉装置の新しい位置を計算することと、
    前記画像捕捉装置を前記新しい位置に移動させるための命令を、前記画像捕捉装置に結合された第１のロボットアセンブリに送信することと、を含む、方法。
33. 前記ロボットアームに結合された前記手術器具の各々の以前の位置を識別することをさらに含み、
    前記画像捕捉装置の前記新しい位置が、前記手術器具の各々の前記以前の位置および前記受信された運動学的データに少なくとも部分的に基づいて計算される、請求項３２に記載の方法。
34. 前記手術器具の各々の以前の位置および新しい位置に基づいて、前記手術器具の各々の位置の変化を計算することと、
    前記画像捕捉装置の現在の位置を識別することと、をさらに含み、
    前記画像捕捉装置の前記新しい位置が、前記画像捕捉装置の前記現在の位置および前記手術器具の各々の位置の前記変化に少なくとも部分的に基づいて計算される、請求項３２に記載の方法。
35. 手術ロボットシステム内のカメラ制御のための方法であって、前記方法が、
    複数のロボットアセンブリのうちの第１のロボットアセンブリのロボットアームに結合された画像捕捉装置によって捕捉された１つ以上の画像を受信することと、
    前記１つ以上の画像内で、前記第１のロボットアセンブリとは異なる、前記複数のロボットアセンブリのうちのロボットアセンブリの少なくとも１つのサブセットのロボットアームに結合された手術器具を識別することと、
    前記識別された手術器具に基づいて、相対的な関心点を識別することと、
    前記相対的な関心点に少なくとも部分的に基づいて、前記画像捕捉装置の新しい位置を計算することと、
    前記画像捕捉装置を前記新しい位置に移動するための命令を、前記第１のロボットアセンブリに送信することと、を含む、方法。
36. 前記相対的な関心点が、前記１つ以上の画像内の前記手術器具の位置に基づいて計算された重心である、請求項３５に記載の方法。
37. 前記相対的な関心点が、前記１つ以上の画像内の前記手術器具の位置に基づいて計算された中心点からの位置オフセットである、請求項３５に記載の方法。
38. 前記画像捕捉装置の前記新しい位置が、前記画像捕捉装置の現在の位置および前記相対的な関心点に少なくとも部分的に基づいて計算される、請求項３５に記載の方法。
39. 前記複数のロボットアセンブリのうちの第２のロボットアセンブリのロボットアームに結合された第２の画像捕捉装置によって捕捉された１つ以上の画像を受信することであって、前記第２の画像捕捉装置によって捕捉された前記１つ以上の画像が、前記手術器具および前記第１のロボットアセンブリに結合された前記画像捕捉装置を含む、受信することと、
    前記第２の画像捕捉装置によって捕捉された前記１つ以上の画像内で、前記手術器具および前記第１のロボットアセンブリに結合された前記画像捕捉装置を識別することと、
    前記第２の画像捕捉装置によって捕捉された前記１つ以上の画像を使用して、前記識別された手術器具に基づいて前記相対的な関心点を識別することと、
    前記第２の画像捕捉装置によって捕捉された前記１つ以上の画像を使用して識別された前記相対的な関心点に基づいて、前記画像捕捉装置の前記新しい位置を計算することと、
    前記第１のロボットアセンブリに結合された前記画像捕捉装置を前記新しい位置に移動させるための命令を、前記第１のロボットアセンブリに送信することと、をさらに含む、請求項３５に記載の方法。
40. 前記第２の画像捕捉装置のズームレンズは、前記第２の画像捕捉装置の画像フレームが、前記手術器具および前記第１のロボットアセンブリに結合された前記画像捕捉装置を含むように、広角視野に配置されている、請求項３９に記載の方法。