JP2020510474A - 関節動作可能な遠位部分を持つツールを制御するためのシステム及び方法 - Google Patents

Abstract

システムは、近位端部及び遠位端部を有するシャフトと、シャフトの遠位端部に結合された関節動作可能な遠位部分とを含む、医療用ツールを有する。システムはまた、１つ又は複数のプロセッサを含む処理ユニットを有する。処理ユニットは、医療環境内のターゲットを決定するように構成される。処理ユニットはまた、シャフトの少なくとも一部の第１の動きを決定し、決定された動きに応答して、関節動作可能な遠位部分がターゲットに向けられたままであるように、関節動作可能な遠位部分の姿勢を制御するように構成される。

Description

（関連出願の相互参照）
本願は、その全体が参照により組み込まれる、”SYSTEMS AND METHODS FOR CONTROLLING MEDICAL TOOL WITH ARTICULATABLE DISTAL PORTION”と題する2017年3月7日に出願された米国仮特許出願第62／468,097号の出願日に対する優先権及びその利益を主張する。

本開示は、処置を実行するためのシステム及び方法、より詳細には、関節動作可能（articulatable）な遠位部分を持つツールを制御するためのシステム及び方法に関する。

関節動作可能な遠位部分を持つツールが、作業空間内でタスクを操作し実行するために使用されることができる。このようなツールは、ロボットマニピュレータアセンブリによって手動で、又は手動若しくはロボットマニピュレータアセンブリの両方によって、支持及び操作されるように構成されることがある。例えば、幾つかのツールは、指で操作される制御部を持つハンドヘルドデバイスを有する。別の例として、いくつかのツールは、マニピュレータアセンブリのトランスミッション又はアクチュエータへのインタフェースを有する。さらなる例として、いくつかのツールは、手動制御部及びロボットマニピュレータアセンブリへのインタフェースの両方を有し、両方と同時に又は異なる時間に相互作用することができる。

関節動作可能な遠位部分を持つツールは、非医学的及び医学的処置を実行するために使用することができる。特定の例として、医療用ツールは、低侵襲医療処置を実行するために使用することができる。別の具体的な例として、工業用ツールは、製造又は試験に使用することができる。さらに他の例として、ツールは、娯楽、探索、及び種々の他の目的のための手法で使用することができる。

関節動作可能な遠位部分を持つツールは、使用のために制御することが複雑になることがある。例えば、幾つかのツールは、遠隔操作されることがあり、さもなければコンピュータ支援されることがある。リモート器具コントローラを用いて遠隔操作処置を行うとき、ツールの近位端部は、種々の理由のために動かされることがある。例えば、ツールの近位端部は、遠隔操作処置において使用される他のツールとの外部衝突を回避するために、横方向に（side-to-side）動かされることがある。さらなる例として、ツールの近位端部は、ツールのオペレータの意図しない動きのためにぶつけられることがある。ツールの近位端部のこのような動きは、不安定さを生じ、オペレータが向きを維持したいと望んだツールの部分の向きに意図しない変化を生じさせることがある。オペレータが向きを維持したいと望む可能性が有るツール部分の例は、エンドエフェクタ、イメージャ又は他のセンサ、ツールの遠位先端部などを含んでもよい。ツールがイメージング器具を含む例では、ツールの近位端部を移動（例えば、引き込み、旋回、挿入）させて、種々の距離及び方向からの物体又は領域のビューを提供することができる。このような例では、ツールの近位端部の動きは、ビューに対する不安定さ及び視野の向きに対する意図しない変化を引き起こすことがある。

低侵襲医療技術に使用されるツールの特定の例として、低侵襲医療技術は、侵襲医療処置中に損傷を受ける組織の量を減少させることを意図している。このような低侵襲技術は、患者の解剖学的構造における自然開口部を通して又は１つ若しくは複数の外科的切開部を通して行われることがある。これらの自然開口部又は切開部を通って、臨床医は、ターゲット組織の位置などのターゲット位置に到達するために、医療用ツールを挿入することができる。低侵襲医療用ツールには、治療器具、診断器具、及び手術器具などの器具が含まれる。低侵襲医療用ツールはまた、患者の解剖学的構造内の視野をユーザに提供する内視鏡器具などのイメージング器具を含むこともある。

従って、これらのツールの、又はこれらのツールを支持し操作するマニピュレータアセンブリのより良い制御を提供するシステム及び方法が望まれる。これらのシステム及び方法は、医学的及び非医学的コンテキストにおいて、器具の安定化を提供するとともに、ツールの１つ又は複数の部分の向きを維持することができる。

本発明の実施形態は、以下の特許請求の範囲によって要約される。

例示的な一実施形態では、システムは、近位端部及び遠位端部を有するシャフトと、シャフトの遠位端部に結合された関節動作可能な遠位部分とを含む、医療用ツールであることができるツールを有する。システムはまた、１つ又は複数のプロセッサを含む処理ユニットを有する。処理ユニットは、関節動作可能な遠位部分がターゲットの方へ向けられる環境（医療環境など）内のターゲット（ターゲット物体など）を決定するように構成される。処理ユニットはまた、シャフトの少なくとも一部の第１の動きを決定し、決定された第１の動きに応答して、関節動作可能な遠位部分がターゲットに向けられたままであるように、関節動作可能な遠位部分の姿勢を制御するように構成される。

別の例示的な実施形態では、システムは、近位端部及び遠位端部を有するシャフトと、シャフトの遠位端部に結合された関節動作可能な遠位部分とを含む、医療用イメージングツールであることができるイメージングツールを有する。システムはまた、１つ又は複数のプロセッサを含む処理ユニットを有する。処理ユニットは、イメージングツールの視野内のターゲット（例えば、イメージングツールによって撮像されることになるターゲット物体又は他のビューイングターゲット（viewing target））を決定するように構成される。処理ユニットはまた、シャフトの第１の動きを決定し、決定されたシャフトの第１の動きに応答して、ターゲットがイメージングツールの視野内に留まるように、関節動作可能な遠位部分の姿勢を制御するように構成される。

別の例示的な実施形態では、方法は、環境（医療環境）内のターゲット（ターゲット物体など）を決定することを含む。環境には、ツールの関節動作可能な遠位部分がターゲットに向けられる医療用ツールを含まれる。ツールは、近位端部及び遠位端部を有するシャフトを含む。関節動作可能な遠位部分は、シャフトの遠位端部に結合される。この方法はまた、シャフトの少なくとも一部の第１の動きを決定することと、決定された第１の動きに応答して、関節動作可能な遠位部分がターゲットに向けられたままであるように、関節動作可能な遠位部分の姿勢を制御することとを含む。

別の例示的な実施形態では、方法は、医療用イメージングツールであり得るイメージングツールの視野内のターゲット（例えば、イメージングツールによって撮像されることになるターゲット物体又は他のビューイングターゲット）を決定することを含む。イメージングツールは、近位端部及び遠位端部を有するシャフトと、シャフトの遠位端部に結合された関節動作可能な遠位部分とを含む。この方法はまた、シャフトの動きを決定することと、決定されたシャフトの動きに応答して、ターゲットがイメージングツールの視野内に留まるように、関節動作可能な遠位部分の姿勢を制御することとを含む。

別の例示的な実施形態では、非一時的な機械可読媒体は、複数の機械可読命令を含み、これらの命令は、１つ又は複数のプロセッサによって実行されるとき、１つ又は複数のプロセッサに方法を実行させるように構成される。本方法は、環境（医療環境など）内のターゲット（例えば、ターゲット物体）を決定することを含む。環境には、１つ又は複数のプロセッサに関連付けられた、医療用ツールであり得るツールが含まれる。ツールの関節動作可能な遠位部分がターゲットに向けられる。ツールは、近位端部及び遠位端部を有するシャフトを含む。関節動作可能な遠位部分は、シャフトの遠位端部に結合される。この方法はまた、シャフトの少なくとも一部の第１の動きを決定することと、決定された第１の動きに応答して、関節動作可能な遠位部分がターゲットに向けられたままであるように、関節動作可能な遠位部分の姿勢を制御することとを含む。

別の例示的な実施形態では、非一時的な機械可読媒体は、複数の機械可読命令を含み、これらの命令は、１つ又は複数のプロセッサによって実行されるとき、１つ又は複数のプロセッサに方法を実行させるように構成される。本方法は、１つ又は複数のプロセッサに関連付けられた、医療用イメージングツールであり得るイメージングツールの視野内のターゲット（例えば、イメージングツールによって撮像されることになるターゲット物体又は他のビューイングターゲット）を決定することを含む。イメージングツールは、近位端部及び遠位端部を有するシャフトと、シャフトの遠位端部に結合された関節動作可能な遠位部分とを含む。この方法はまた、シャフトの動きを決定することと、決定されたシャフトの動きに応答して、ターゲットがイメージングツールの視野内に留まるように、関節動作可能な遠位部分の姿勢を制御することとを含む。

前述の一般的な説明及び以下の詳細な説明の両方は、本質的に例示的且つ説明的なものであり、本開示の範囲を限定することなく、本開示の理解を提供することが意図されていることが理解されるべきである。この点に関して、本開示のさらなる態様、特徴、及び利点は、以下の詳細な説明から当業者に明らかであろう。

本開示の態様は、添付の図面と共に読むとき、以下の詳細な説明から最もよく理解される。業界の標準的な慣行によれば、様々な特徴はスケールに合わせて描かれていないことが強調される。実際、様々な特徴の寸法は、議論を明確にするために任意に増加又は減少されることがある。加えて、本開示は、種々の実施例において参照番号及び／又は文字を繰り返すことがある。この繰り返しは、単純化及び明確化の目的のためであり、それ自体は、議論される様々な実施形態及び／又は構成の間の関係を決定するものではない。

遠隔操作医療システムが本開示の実施形態に従って動作する手術環境の図を提供する。 本開示の一実施形態によるオペレータコントローラを示す。 本開示の一実施形態による、関節動作可能な遠位部分を持つツールを示す。 本開示によるツールの関節動作可能な遠位部分の様々な実施形態を示す。 本開示によるツールの関節動作可能な遠位部分の様々な実施形態を示す。 本開示の一実施形態による、関節動作可能な遠位部分を持つツールを制御するための方法を提供するフローチャートである。 本開示の様々な実施形態によるターゲティング動作を実行するためのイメージングビューを示す。 本開示の様々な実施形態によるターゲティング動作を実行するためのイメージングビューを示す。 本開示の様々な実施形態によるターゲティング動作を実行するためのイメージングビューを示す。 本開示の様々な実施形態によるターゲット追跡モードで動作するツールの説明図である。 本開示の一実施形態によるその近位端部が第１の位置に配置されたツールを示す。 本開示の一実施形態による、図８Ａのツールによって提供される対応するイメージングビューを示す。 本開示の一実施形態による、その近位端部が第２の位置に配置されたツールを示す。 本開示の一実施形態による、図９Ａのツールによって提供される対応するイメージングビューを示す。 本開示の一実施形態による、第１のターゲットに向けられた関節動作可能な遠位部分を含むツールを示す。 本開示の一実施形態による、図１０Ａのツールによって提供される対応するイメージングビューを示す。 本開示の一実施形態による、第２のターゲットに向けられた関節動作可能な遠位部分を含むツールを示す。 本開示の一実施形態による、図１１Ａのツールによって提供される対応するイメージングビューを示す。 遠隔操作医療システムが動作する手術環境の上面図を示し、遠隔操作医療システムは、本開示の実施形態による追跡システムを含む。 本開示の一実施形態による制御システムのブロック図を示す。 遠隔操作医療システムが、本開示の一実施形態による従来のイメージングツールを用いて動作する手術環境の上面図を示す。 本開示の一実施形態による、図１４Ａの従来のイメージングツールの対応する遠位部分を示す。 遠隔操作医療システムが、本開示の一実施形態による関節動作可能な遠位部分を持つイメージングツールを用いて動作する手術環境の上面図を示す。 本開示の一実施形態による、図１５Ａのイメージングツールの対応する関節動作可能な遠位部分を示す。

本開示の原理の理解を促進する目的で、図面に示された実施形態を参照し、特定の用語を用いてこれを記述する。それでもなお、本開示の範囲の限定が意図されないことが理解されるであろう。本発明の態様の以下の詳細な説明において、開示された実施形態の完全な理解を提供するために、多数の具体的な詳細が記載されている。しかし、本開示の実施形態が、これらの具体的な詳細なしに実施され得ることは、当業者には明らかであろう。他の例では、本発明の実施形態の態様を不必要に不明瞭にしないように、良く知られた方法、手順、構成要素、及び回路は詳細に説明されていない。

記載された装置、器具、方法、及び本開示の原理のさらなる適用に対するいかなる変更及びさらなる修正も、本開示が関係する分野の当業者に通常生じるように、完全に企図される。特に、一実施形態に関して記載された特徴、構成要素、及び／又はステップは、本開示の他の実施形態に関して記載された特徴、構成要素、及び／又はステップと組み合わされ得ることが十分に考えられる。加えて、本明細書で提供される寸法は、特定の例のためのものであり、異なるサイズ、寸法、及び／又は比率が、本開示の概念を実施するために利用され得ることが企図される。不必要な記述的反復を回避するために、１つの例示的実施形態に従って記載された１つ又は複数の構成要素又は動作は、他の例示的実施形態から適用可能なように使用又は省略されることができる。簡潔さのために、これらの組み合わせの多数の繰り返しは、別個には記述しない。簡単のために、いくつかの例においては、同じ又は類似の部分を指すために、図面全体を通して同じ参照番号が使用される。

以下の実施形態は、様々な器具及び器具の部分を、三次元空間におけるそれらの状態の観点から説明する。本明細書で使用される場合、用語「位置」は、三次元空間（例えば、デカルトＸ、Ｙ、Ｚ軸に沿ったようなデカルトＸ、Ｙ、Ｚ座標における変化を使用して説明することができる３つの並進自由度）における場所を指す。例えば、位置は、点、基準フレーム、物体、又は物体の一部のものであり得る。本明細書で使用される場合、用語「向き（配向）（orientation）」は、回転配置（例えば、ロール、ピッチ、及びヨーを使用して説明することができる３つの回転自由度）を指す。例えば、向きは、基準フレーム、物体、又は物体の一部のものであり得る。本明細書で使用される場合、用語「姿勢」は、位置及び向きを指す。例えば、基準フレーム、物体、又は物体の一部の姿勢は、そのような基準フレーム、物体、又は物体の一部の位置情報及び向き情報の両方を含む。三次元空間では、６つの数学的に独立した自由度で完全な姿勢を表現することができる。

また、本明細書に記載される実施例のいくつかは、手術処置若しくはツール、又は医療処置及び医療用ツールに言及するが、開示される技術は、非医療処置及び非医療用ツールに適用される。例えば、本明細書に記載のツール、システム、及び方法は、工業的用途、一般的ロボット用途、及び非組織ワークピースの感知又は操作を含む非医療目的に使用することができる。他の例示の用途としては、美容上の改善、ヒト又は動物の解剖学的構造のイメージング、ヒト又は動物の解剖学的構造からのデータの収集、システムのセットアップ又は取り外し、及び医療従事者又は非医療従事者の訓練を含む。追加の例示の用途としては、（ヒト又は動物の解剖学的構造に戻らない）ヒト又は動物の解剖学的構造から取り出された組織に対する処置のための使用、及びヒト又は動物の死体に対する処置を実施するための使用を含む。さらに、これらの技術はまた、外科的及び非外科的、医療処置又は診断処置にも用いることができる。

図面の図１を参照すると、例示的なシステムを伴う例示的な医療環境が示されている。具体的には、図１は、例えば、診断、治療、又は外科処置などの医学的処置で使用するための遠隔操作医療システム１２を含む手術環境１０を示す。手術環境１０は、手術座標空間を用いて説明することができ、したがって、手術座標空間を画定すると言える。遠隔操作医療システム１２は、概して、患者Ｐが位置決めされた手術台Ｏに取り付けられた、又はその近くに取り付けられた遠隔操作アセンブリ１３を含む。遠隔操作アセンブリ１３は、１つ又は複数のモジュール式又は一体型マニピュレータアームを含み得る。医療器具システム１４又は内視鏡イメージングシステム１５が、遠隔操作アセンブリ１３の遠隔操作マニピュレータ（例えば、アーム）に動作可能に結合され得る。オペレータ入力システム１６は、外科医（又は他のタイプの臨床医又はオペレータ）Ｓが医療器具システム１４及び／又は内視鏡イメージングシステムの動作を制御することを可能にする。１人又は複数の助手、麻酔科医、又はサポート人員Ａもまた、手術環境に存在し得る。

説明を簡単にするために、この出願の多くは人Ｓを外科医、人Ａを助手と呼んでいる。しかし、専門的な外科技能又は補助技能が必要とされない場合、人Ｓは、外科医、他の臨床医、他の医療従事者、非医療オペレータ、又は他の者であり得ることが理解されるべきである。同様に、人Ａは、助手、他の臨床医、他の医療従事者、非医療オペレータ、又は他の者であり得る。また、実施された処置が患者に対するものでない場合（例えば、産業用途、訓練用、死体若しくは患者から取り外して患者に戻されない解剖学的構造に対する作業用など）、人Ｓ及びＡは、医学的訓練又は知識をほとんど又は全く有していなくてもよい。

ディスプレイシステム２６は、内視鏡イメージングシステム１５によって取り込まれた画像、手術ナビゲーション及びガイダンス画像、及び／又は英数字又は記号情報を提示して、手術処置を人員が支援することができる。遠隔操作医療システム１２はまた、後述するように、オペレータ入力システム１６、遠隔操作アセンブリ１３及びディスプレイシステム２６と通信する制御システム２８を含む。

この実施形態では、オペレータ入力システム１６は、１つ又は複数の医療器具システム１４又は内視鏡イメージングシステム１５を制御するための１つのオペレータハンドコントローラ１８（図２）の又はそのセットを含む。入力システムはまた、オプションで、ペダル制御装置２４を含む。オペレータハンドコントローラ１８及びペダル制御装置２４は、患者Ｐの側面に配置され得る。種々の代替例において、オペレータハンドコントローラ１８は、電力及び／又は信号伝送ケーブルによって繋がれてもよく、或いは、繋がれていない／無線であってもよい。他の代替的な実施形態では、オペレータハンドコントローラ１８は、手術台Ｏと同じ部屋に位置し得る外科医のコンソールなどのオペレータのコンソールに配置され得る。図２に示すように、オペレータハンドコントローラ１８は、グリップ入力部２０及びトリガスイッチ２２などの任意の数の様々な入力デバイスのうちの１つ又は複数を含み得る。入力装置は、例えば、把持ジョーエンドエフェクタを閉じる、電極に電位を印加する、医薬治療を送達する等のために使用され得る。種々の代替において、オペレータ入力システム１６は、ジョイスティック装置、トラックボール、データグローブ、トリガガン、手動コントローラ、音声認識装置、タッチスクリーン、身体運動又は存在センサ等を追加的に又は代替的に含み得る。いくつかの実施形態では、オペレータハンドコントローラ１８は、外科医又は他の操作者にテレプレゼンス、外科医又は他のオペレータＳが、手術部位に存在するかのように、器具を直接制御する強い感覚を有するように、制御装置（複数可）が器具と一体化しているという認識を提供するために、遠隔操作アセンブリの医療器具と同じ自由度を備える。他の実施形態では、オペレータハンドコントローラ１８は、関連する医療器具よりも多い又は少ない自由度を有するが、依然として外科医又は他のオペレータにテレプレゼンスを提供し得る。ハンドコントローラ１８はここでは、医療システム用に説明されているが、ハンドコントローラ１８、又はハンドコントローラ１８に類似の他の入力装置は、非医療システムにおいても同様に使用することができる。

遠隔操作アセンブリ１３は、外科医又は他のオペレータＳが患者側又は手術環境内の他の場所から処置を行う間、医療器具システム１４を支持及び操作する。患者内の手術部位の画像は、内視鏡イメージングシステム１５を向き合わせする（orient）ように遠隔操作アセンブリ１３によって操作されることができる、立体内視鏡イメージングシステムなどの内視鏡イメージングシステム１５によって得ることができる。一度に使用される医療器具システム１４の数は、一般に、他の要因の中でも、診断又は手術処置及び手術室内の空間的制約に依存する。遠隔操作アセンブリ１３の各アームは、１つ又は複数のサーボ又は非サーボ制御リンクの運動学的構造を含み得る。遠隔操作アセンブリ１３は、医療器具システム１４への入力を駆動する複数のモータを含む。これらのモータは、制御システム２８からのコマンドに応答して動く。モータは、駆動システムを含み、この駆動システムは、医療器具システム１４に結合されるとき、医療器具システム１４を自然又は外科的に作られた解剖学的開口に前進させることができる。他のモータ駆動システムは、３自由度の直線運動（例えば、Ｘ、Ｙ、Ｚデカルト軸に沿った直線運動）及び３自由度の回転運動（例えば、Ｘ、Ｙ、Ｚデカルト軸の周りの回転）を含み得る複数の自由度で、医療器具システム１４の遠位端部を動かし得る。加えて、モータは、生検装置等のジョー部で組織を把持するために医療器具システム１４の関節動作可能なエンドエフェクタを作動させるために使用することができる。医療器具システム１４は、メス、ブラントブレード、針、イメージングセンサ、光ファイバ、電極等のような単一の作業部材を有するエンドエフェクタを含み得る。他のエンドエフェクタは、複数の作業部材を含んでもよく、例としては、鉗子、把持器、はさみ、ハサミ、クリップアプライヤ、ステープラ、双極電気焼灼器などを含む。

制御システム２８は、医療器具システム１４、内視鏡イメージングシステム１５、オペレータ入力システム１６、ディスプレイシステム２６、及び、例えば、ハンドヘルド医療機器システム、追加のイメージングシステム、オーディオシステム、流体送達システム、ディスプレイシステム、照明システム、ステアリング制御システム、洗浄（irrigation）システム、及び／又は吸引システムを含み得る他の補助システムの間の制御を行うために、少なくとも１つのメモリ及び少なくとも１つのプロセッサ、及び典型的には複数のプロセッサを含む。制御システム２８はまた、本明細書に開示された態様に従って記載された方法の一部又は全部を実施するためのプログラムされた命令（例えば、命令を記憶するコンピュータ可読媒体）を含む。制御システム２８は、図１の簡略化された概略図において単一のブロックとして示されているが、制御システム２８は、処理のある部分がオプションで遠隔操作アセンブリ１３において又はそれに隣接して実行され、処理の別の部分がオペレータ入力システム１６で実行されるなどの、２つ以上のデータ処理回路を含み得る。様々な実施形態では、制御システム２８は、ディスプレイシステム２６又は他の周辺機器が取り付けられた電子カート３０内に収容され得る。制御システム２８は、広範な種類の集中型又は分散型データ処理アーキテクチャのいずれかを用い得る。同様に、プログラムされた命令は、多数の別個のプログラム又はサブルーチンとして実装されてもよく、又は、それらは、本明細書に記載される遠隔操作医療システムの多数の他の態様に統合されてもよい。一実施形態では、制御システム２８は、Bluetooth（登録商標）、IrDA、HomeRF、IEEE 802.11、DECT、及び無線テレメトリなどの無線通信プロトコルをサポートする。

いくつかの実施形態において、制御システム２８は、医療器具システム１４からの力及び／又はトルクのフィードバックを受ける１つ又は複数のコントローラを含み得る。フィードバックに応答して、コントローラは、オペレータ入力システム１６に信号を送信する。コントローラ（複数可）はまた、体内の開口部を経由して患者の体内の内部手術部位内に延びる医療器具システム１４及び／又は内視鏡イメージングシステム１５を動かすように遠隔操作アセンブリ１３に指示する信号を送信し得る。任意の適切な従来の又は専用のコントローラが使用され得る。コントローラは、遠隔操作アセンブリ１３から分離されていてもよく、又は、遠隔操作アセンブリ１３と一体化されてもよい。いくつかの実施形態では、コントローラ及び遠隔操作アセンブリ１３は、患者の身体に隣接して位置決めされる遠隔操作アームの一部として提供される。

制御システム２８は、内視鏡イメージングシステム１５と結合されることができ、ディスプレイシステム２６への、外科医のコンソールへの、ローカルに及び／又はリモートに配置された別の適切なディスプレイへの、外科医又は他の人員に対するなどの、後の表示のために取り込まれた画像を処理するためのプロセッサを含むことができる。例えば、立体内視鏡イメージングシステムが使用される場合、制御システム２８は、外科医又は他の人員に手術部位の協調立体画像を提示するために、取り込まれた画像を処理することができる。このような協調は、対向する画像間のアライメントを含むことができ、立体内視鏡の立体作動距離を調整することを含むことができる。

代替実施形態では、遠隔操作医療システム１２は、複数の遠隔操作アセンブリ１３及び／又は複数のオペレータ入力システム１６を含み得る。遠隔操作アセンブリの正確な数は、とりわけ、手術処置及び手術室内の空間的制約に依存する。オペレータ入力システムは、併置されてもよく、別個の位置に配置されてもよい。複数のオペレータ入力システムは、複数のオペレータが１つ又は複数のマニピュレータアセンブリを種々の組み合わせで制御することを可能にする。

図３を参照すると、関節動作可能な遠位部分を持つツールが示されている。示された特定の例では、ツールは医療用ツールであり、したがって、この用途では医療用ツール４００と呼ばれる。しかし、上述のように、これらの技術はまた、種々の非医療用途にも適用される。例えば、図３に示すツールは、工業用ツール、娯楽ツール、ティーチングツール、又は他の非医療用ツールなどの、関節動作可能な遠位部分を持つ非医療用ツールであり得る。いくつかの実施態様において、医療用ツール４００は、ハンドヘルド装置である。いくつかの実施態様において、医療用ツール４００は、手動で又は取付具（fixture）上若しくは取付具に隣接して配置された入力装置を用いて調節することができる取付具に取り付けられるように設計される。いくつかの実施形態では、医療用ツール４００は、遠隔操作医療システム（例えば、図１の遠隔操作医療システム１２、又は外科医もしくは他のオペレータが外科医のコンソールなどのコンソールを使用して遠隔操作マニピュレータを制御する遠隔操作医療システム）の遠隔操作マニピュレータに動作可能に結合される。

図３に示すように、医療用ツール４００は、近位端部４０４及び遠位端部４０６を有する細長いシャフト４０２を含む。関節動作可能な遠位部分４０８は、シャフト４０２の遠位端部４０６に配置される。近位ハウジング４１０が、シャフト４０２の近位端部４０４に配置される。医療用ツール４００はまた、関節動作可能な遠位部分４０８の動きを駆動するための作動アセンブリ４２４を含む。センサシステム４２２が、シャフト４０２の動きを感知するために使用され得る。いくつかの実施形態では、センサシステム４２２は、医療用ツール４００に含まれる。例えば、センサシステム４２２及び作動アセンブリ４２４は、近位ハウジング４１０内に配置され得る。さらなる例について、図３に示すように、センサシステム４２２及び作動アセンブリ４２４は、近位ハウジング４１０の隣のシャフト４０２上に配置されてもよい。代替的には、いくつかの実施形態では、センサシステム４２２は、医療用ツール４００に含まれない。様々な実施形態では、センサシステム４２２、作動アセンブリ４２４、及び近位ハウジング４１０は、制御システム（例えば、図１の制御システム２８）と通信する。

いくつかの実施形態では、医療用ツール４００は、ハンドヘルド装置であり、オペレータは、近位ハウジング４１０に対して１つ又は複数の自由度でシャフト４０２の動きを制御するために、その手を使用して近位ハウジング４１０を動かし得る。

いくつかの実施形態では、医療用ツール４００は、遠隔操作医療システム（例えば、図１の遠隔操作医療システム１２、又は外科医もしくは他のオペレータが外科医のコンソールなどのコンソールを使用して遠隔操作マニピュレータを制御する遠隔操作医療システム）の遠隔操作マニピュレータに動作可能に結合される。近位ハウジング４１０は、医療用ツール４００を遠隔操作医療システムの遠隔操作マニピュレータ（例えば、図１の遠隔操作アセンブリ１３に含まれる遠隔操作マニピュレータ）に解放可能に取り付け、インタフェース接続する（interfacing）ために、遠隔操作医療システムに取り外し可能に接続可能であり得る。近位ハウジング４１０は、近位ハウジング４１０に対して少なくとも１自由度でシャフト４０２を動かすために、遠隔操作医療システムからの駆動信号及び／又は動作入力を送信し得る。

図３の図示された例では、シャフト４０２は、医療用ツール４００の支点枢動ポイント（fulcrum pivot point）４１２（図３のリング４１２によって示される）を通過し、関節動作可能な遠位部分４０８は、特徴４１６、４１８、及び４２０に向けられたイメージング装置を含む。リングは、患者の体壁の切開部と同じ位置にある自然の支点枢動ポイントを表す。この支点ポイントは、低侵襲の「キーホール」手術に共通であり、挿入されたハンドヘルド器具の近位端部の動きが器具の先端部及びイメージング装置の反転した遠位端部の動きを生じるため、視点及びビューイング方向（viewing direction）を制御するための多くの課題の発生源である。特徴４１６、４１８、及び４２０は、患者の解剖学的構造内の自然な特徴であり得る。イメージング装置は、視野４１４を有する。図３の図示された例では、視野４１４は三次元のピラミッド状の錐台形を有し、以下の説明ではビューイング錐台（viewing frustum）４１４と呼ばれる。いくつかの実施形態では、イメージング装置は、２つのイメージング装置を持つ立体イメージング器具であり、イメージング装置のビューイング錐台４１４は、イメージング装置の各イメージング装置についての三次元ピラミッド状錐台の合計容積である。代替実施形態では、イメージング装置の視野は、円錐台形状、パイのスライス（slice-of-pie）形状、又は他の幾つかの形状を提供することによってなど、視覚化の別の領域を提供し得る。

図４Ａ及び４Ｂは、関節動作可能な遠位部分４０８の例を示す。図４Ａを参照すると、関節動作可能な遠位部分４０８は、作動アセンブリ４２４によって駆動される手首アセンブリ４５２に結合された装置４５４を含む部分４０８ａであり得る。手首アセンブリ４５２は、装置４５４の遠位先端部４６８が上又は下及び右又は左に、並びにそれらの組み合わせに向けられるように、ピッチ及びヨー角運動能力を有する。手首アセンブリ４５２から先端部４６８への方向４７０は、関節動作可能な遠位部分４０８ａの遠位方向４７０と称され得る。手首アセンブリ４５２の遠位ピッチ／ヨー角は、装置４５４の向きを制御するためにシャフト４０２のロールと協調され得る。装置４５４がイメージング装置である例では、遠位方向４７０に対して、シャフト４０２は、イメージング装置４５４の撮像面の向きを調整するために、その遠位方向４７０の周りをロールし得る（may roll）。いくつかの実施形態では、装置４５４は、例えば、光学イメージャ、超音波イメージャ、蛍光透視イメージャ等の電磁イメージャ、熱イメージャ、熱音響イメージャ、及び任意の他の適切なイメージャを含むイメージング装置である。代替的には、いくつかの実施形態では、装置４５４は、例えば、メス、ブラントブレード、光ファイバ、又は電極などの単一の作業部材を有するエンドエフェクタを含む、エンドエフェクタである。他のエンドエフェクタとしては、例えば、鉗子、把持器、ハサミ、クリップアプライヤを含み得る。

図４Ｂを参照すると、いくつかの実施態様では、関節動作可能な遠位部分４０８は、手首アセンブリ４５２及び装置４５４を含む部分４０８ｂを含み、装置４５４は、ジョー部４５６及び４５８を持つエンドエフェクタである。遠位方向４７０は、ジョー部４５６及び４５８が閉じられるときの手首アセンブリ４５２から遠位先端部４６８への方向として規定され得る。関節動作可能な遠位部分４０８はさらに、ジョイントアセンブリ（「ジョイント」とも呼ばれる）４６０及び４６２、並びにリンク４６４及び４６６を含む。手首アセンブリ４５２はリンク４６６に結合される。ジョイントアセンブリ４６０は、シャフト４０２とリンク４６４とを結合し、ジョイントアセンブリ４６２は、リンク４６４とリンク４６６とを結合し、その結果、リンク４６４は、シャフト４０２とリンク４６６が互いに平行である間、ピッチとヨーでジョイントアセンブリ４６０の周りに旋回し得る。リンク４６４がピッチ及び／又はヨーでジョイント４６０の周りを旋回するとき、リンク４６６は、シャフト４０２及びリンク４６６が常に互いに平行に保たれるよう、相補的にジョイント４６２の周りを旋回するように、ジョイント４６０及び４６２は協働して動作する。ジョイントアセンブリ４６０及び４６２は、関節動作可能な遠位部分４０８に少量の並進移動制御を提供し得る。いくつかの実施形態では、ジョイントアセンブリ４６０及び４６２は、作動アセンブリ４２４によって駆動され、制御システム２８による装置４５４への機械的並進安定化を提供するために使用され得る。

外科的低侵襲遠隔操作処置の間、外科医（又は他のオペレータ）Ｓは、内視鏡イメージングシステム１５及び／又は他のイメージングシステムによって取り込まれた画像を介して、ディスプレイシステム２６上で患者の体内の手術部位を見ることができる。イメージングシステムは、外科医Ｓ及び助手Ａが自然で最適化されたビューイング体験を達成することを妨げる可能性のある種々の課題を提起する。例えば、助手（又は他の職員）Ａによって操作されるハンドヘルドイメージングシステムが、外科医に手術部位の画像を提供するために使用され得る。図１４Ａ及び１４Ｂに関して以下で詳細に説明するように、従来、外科医Ｓの視野に合わせた画像を提供するために、助手Ａは、ハンドヘルドイメージングシステムを外科医Ｓからの方向で手術部位に向けるために、外科医Ｓの作業スペースを占有することがある（例えば、外科医Ｓの腕の下又は外科医Ｓの胴の周囲に手を置くことによって）。この共通のワークスペースの共有は、不便且つ不快である場合があり、ハンドヘルドイメージングシステムと外科医との間又はハンドヘルドイメージングシステムと他のツールとの間の衝突の可能性を増大させ可能性がある。さらに、このような例では、外科医Ｓがビューの変更を要求するときに、外科医Ｓと助手Ａとの間の口頭コミュニケーションが必要である。

別の課題は、イメージングシステムの近位端部の動きが、イメージングシステムによって提供される視野の破壊、不安定性、及び見当識障害を引き起こす場合があることである。イメージングシステムの近位端部は、様々な理由で動くことがある。例えば、イメージングシステムの近位端部は、外科医（又は他のオペレータ）Ｓの他の医療器具との外部衝突を回避するために横方向に（例えば、左右に）動かされることがある。近位端部は、人間工学的な理由から（例えば、助手（又は他の人員）Ａの手で）ロールされることがある。近位端部は、助手Ａの意図しない動きのために、押されることがある。いくつかの例では、近位端部は、外科医Ｓが様々な距離及び方向から領域又は物体を観察できるように、動かされることがある（例えば、引っ込められ、旋回され、挿入される）。このような近位端部の動きは、熟練した助手Ａが良好に協調した方法で操作を行うことを必要とし得る。たとえそうであっても、（例えば、上方、下方、又は側方から／側方を見る）異なる視野方向間の移行の体験は、方向をわからなくさせ、混乱を起こさせる可能性がある。ある外科医は、視野の不安定性及びそのような立体内視鏡イメージングシステムに関連付けられる向きを維持することの困難さのために、立体内視鏡イメージングシステムによって与えられる深さ知覚の強化の利点をなしで済ませる。さらに別の課題は、外科医が、これらのイメージングシステムを使用して、患者の手術部位の角の周囲を見ることが困難であることである。

図５は、これらの課題に対処する関節動作可能な遠位部分を持つツール（例えば、医療用ツール４００）を制御するための方法５００を示す。方法５００は、医療用ツール４００に関連するこの用途の一部において説明されている。しかし、方法５００によって例示された技術は、他の医療用ツール又は非医療用ツールと関連して使用することもできる。方法５００は、動作又はプロセス５０２乃至５１２のセットとして図５に示されている。図示されたプロセス５０２乃至５１２の全てが、方法５００の全ての実施形態で実施されるわけではない。加えて、図５に明示的に示されていない１つ又は複数のプロセスが、プロセス５０２乃至５１２の前、後、間、又はその一部として含まれてもよい。いくつかの実施形態において、プロセスの１つ又は複数は、少なくとも部分的に、１つ又は複数のプロセッサ（例えば、制御システムのプロセッサ）によって実行されるとき、１つ又は複数のプロセッサにプロセスの１つ又は複数を実行させ得る、非一時的、有形、機械可読媒体に記憶された実行可能コードの形態で実装され得る。

方法５００に示されるように、医療用ツール４００は、例えば、プロセス５０２、５０４、５０６、及び５１２によって提供されるターゲット追跡モード、プロセス５０８及び５１２によって提供される手動制御モード、並びにプロセス５１０及び５１２によって提供されるオペレータ操縦モードを含む異なるモードで実行することができる。１より多いモード（例えば、ターゲット追跡モード及びオペレータ操縦モード）は、医療用ツール４００において同時に使用可能にされ得る。

様々な実施形態では、オペレータは、オペレータ入力システム１６を使用して（例えば、特定のボタンを押すことによって）、特定のモードを有効又は無効にすることができる。例えば、オペレータは、オペレータ入力システム１６を使用してターゲット追跡モードを無効にすることができる。このような例では、制御システム２８は、シャフトの動きに応答してターゲット（例えば、ターゲット組織、他のターゲット物体、又は他のターゲット領域）に向けられる関節動作可能な遠位部分４０８の向きを維持するために、関節動作可能な遠位部分４０８の姿勢を制御しない。内視鏡の関節動作可能な遠位部分を制御することによって、様々な実施形態の様々な利点が達成され得る。いくつかの実施形態の１つの利点は、関節動作可能な遠位部分はターゲットに向けられたままであることができることである。いくつかの実施形態の別の利点は、１つ又は複数のターゲットが視野内に保持されることである。いくつかの実施形態のさらに別の利点は、ワールド内のイメージング装置の遠位ロール向きが保存され得ることである。いくつかの実施形態のさらに別の利点は、イメージング装置の位置又は向きにおける一時的な外乱が除かれることである。

プロセス５０２、５０４、５０６、及び５１２を参照すると、ターゲット追跡モードで動作する場合、医療用ツール４００の近位ハウジング４１０が動かされると、制御システム２８は、関節動作可能な遠位部分４０８がターゲットに向けられたままであるように、関節動作可能な遠位部分４０８を制御する。一例では、近位ハウジング４１０の動きを連続的にモニタし、関節動作可能な遠位部分４０８の向き及び／又は位置をそれに応じて制御することによって、この操作は、異なる距離及び方向からターゲット（例えば、ターゲット組織、他のターゲット物体、又は他のターゲット領域）を安定して、連続的に、且つ正確に向けられた指向を提供する。具体的な例として、関節動作可能な遠位部分４０８がイメージャを含む場合、この技術は、異なる距離及び方向からのビューイングターゲットをイメージングするために、安定化され、連続し、正確に向きを決められたビューを提供する。

プロセス５０２において、制御システム２８は、医療用ツール４００のための患者の解剖学的構造におけるターゲット（例えば、ターゲット組織、ターゲット物体、ターゲット領域など）を決定する。いくつかの実施形態では、医療用ツール４００は、イメージング装置を含み、ターゲットは、医療用ツール４００のそのイメージング装置によって取り込まれた画像に基づいて選択され得る。代替的には、いくつかの実施形態では、医療用ツール４００は、イメージング装置を含まず、ターゲットは、別の医療用ツールによって取り込まれた画像に基づいて選択され得る。

プロセス５０２の間、オペレータは、手術部位内のターゲットを決定するためにターゲティング機能を実行し得る。近位ハウジング４１０は、シャフト４０２の動き及びそしてそれによってイメージング装置によって取り込まれてオペレータに提供されるビューを制御するために（例えば、オペレータの手によって又は遠隔操作マニピュレータによって）動かされ得る。

図６Ａ及び６Ｂを参照すると、いくつかの実施形態では、ツール（例えば、医療用ツール４００）の関節動作可能な遠位部分４０８の装置４５４は、イメージング装置であり、オペレータは、イメージング装置のビューイングフレーム内のターゲットをそのイメージング装置によって取り込まれる画像データセットから選択し得る。図６Ａ乃至６Ｃは、医療用ツール４００に関連して、本出願の一部で説明される。しかし、これらの図によって例示された技術は、他の医療用ツールに関連して又は非医療用ツールに関連して使用することもできる。

図６Ａは、関節動作可能な遠位部分４０８に含まれるイメージング装置によって提供され、ディスプレイシステム２６に表示される患者の解剖学的構造におけるビュー６０２を示す。ビュー６０２は、特徴４１６、４１８、及び４２０を含み、特徴４２０は、ビュー６０２の中心領域６０４に位置する。オペレータは、特徴４２０がビュー６０２の中心領域６０４に現れるときに、ターゲティング機能（例えば、図１のオペレータ入力システム１６上のボタンを押すことによって）を実行し、それによって、特徴４２０をターゲットとして選択することができる。図６Ｂを参照すると、いくつかの例において、オペレータは、ターゲットとしてビューの中心領域に位置しない特徴を選択してもよい。図６Ｂに示されるのは、関節動作可能な遠位部分４０８に含まれるイメージング装置によって取り込まれ、ディスプレイシステム２６に表示される患者の解剖学的構造のビュー６０６である。ビュー６０６は、特徴４１６、４１８、及び４２０を含む。図６Ｂの図示された例では、オペレータはターゲット領域６０８を描き（例えば、オペレータ入力システム１６を使用することによって）、ターゲティング機能のためにターゲット領域６０８を提示する（submits）。次いで、制御システム２８は、ターゲット領域６０８に基づいて、特徴４２０をターゲット（次いで、ターゲット４２０と称され得る）として決定し得る。

図６Ｃを参照すると、いくつかの実施形態では、医療用ツール４００の関節動作可能な遠位部分４０８は、イメージング装置に含まれなくてもよい。そのような実施形態では、オペレータは、別の医療用ツール（例えば、図１の内視鏡イメージングシステム１５、蛍光透視イメージャによって提供されるリアルタイム蛍光透視画像、超音波イメージャによって提供されるリアルタイム画像など）によって提供されるビューに基づいてターゲットを選択し得る。図６Ｃは、イメージング装置（例えば、内視鏡イメージングシステム１５）によって取り込まれ、例えば、ディスプレイシステム２６上に表示された患者の解剖学的構造内のビュー６１０を提供する。ビュー６１０は、特徴４１６、４１８、及び４２０と、医療用ツール４００の遠位端部４０６と、遠位端部４０６に結合された関節動作可能な遠位部分４０８ａとを含む。ビュー６１０に基づいて、オペレータは、装置４５４が特徴４２０に向けられていることを決定することができる（例えば、特徴４２０は、関節動作可能な遠位部分４０８ａの遠位方向４７０に沿う）。次いで、オペレータは、ターゲティング機能（例えば、オペレータ入力システム１６を使用して）を実行することができ、これは、特徴４２０をターゲットとして選択する。

いくつかの態様において、ターゲティング機能は、患者の解剖学的構造における特徴（例えば、腫瘍、血管など）に対する装置４５４のターゲット方向（target orientation）を選択するために実行され得る。このような実施形態では、制御システム２８は、装置４５４が特徴に対してターゲット方向を維持するように、近位端部の動きに応答して関節動作可能な遠位部分４０８を制御し得る。

様々な実施形態において、ターゲティング機能は、立体内視鏡イメージング装置又はモノスコピック内視鏡イメージング装置を用いて実施され得る。立体内視鏡イメージング装置が使用される例では、制御システム２８は、較正されたカメラモデルとのステレオ相関を使用することによって、ターゲットの三次元（３Ｄ）位置を決定し得る。いくつかの実施形態では、制御システム２８は、イメージング装置によって提供される画像を処理して（例えば、スケール不変特徴変換（ＳＩＦＴ）アルゴリズムを使用して）、画像内の局所的特徴（例えば、特徴４１６、４１８、４２０）を検出し得る。このような局所的特徴は、フレーム間で連続的に追跡され得る。加えて、画像における局所的特徴の使用は、（例えば、外科医又は他のオペレータによって操作される医療器具システムによって）組織及び臓器が操作されるとき、医療用ツール４００が、ビュー内で、組織及び臓器を追跡することを可能にする。

図５に戻って参照すると、方法５００は、制御システム２８が医療用ツール４００のシャフト４０２の動きを決定するプロセス５０４に進み得る。いくつかの実施形態において、制御システム２８は、センサシステム４２２によって提供される情報に基づいて、シャフト４０２の動きを決定し得る。センサシステム４２２は、例えば、慣性測定ユニット（ＩＭＵ）、電磁センサ、光学追跡システム、画像追跡システム、ハイブリッドセンサシステム、他の適切なセンサシステム、及びそれらの組み合わせを含む１つ又は複数のセンサを含み得る。いくつかの実施態様において、医療用ツール４００は、遠隔操作医療システムの遠隔操作マニピュレータに結合される。そのような実施形態では、センサシステムは、医療用ツール４００に結合された遠隔操作マニピュレータのエンコーダを含み得る。

様々な実施形態では、センサシステム４２２の異なるタイプのセンサが、シャフト４０２及びターゲット４２０に対して異なる位置に配置され得る。図３を参照すると、一例では、ＩＭＵが、シャフト４０２の近位端部４０４に配置される。ＩＭＵは、ターゲット４２０に対するシャフト４０２の近位ハウジング４１０の動き（例えば、直線運動、角運動）を追跡するように構成される。

別の例では、センサシステム４２２は、画像追跡システムを含み、画像追跡システムは、関節動作可能な遠位部分４０８の装置４５４を含み、装置４５４は、イメージング装置である。制御システム２８は、画像追跡システムから複数の画像を受信し、複数の画像におけるターゲットの特徴抽出及び分析を実行し得る。一例では、複数の特徴（例えば、特徴４１６、４１８、及び４２０）が、画像から抽出され、複数の画像内のターゲットの分析は、画像内の他の抽出された特徴に対してターゲットを追跡し得る。

いくつかの実施形態では、画像追跡システムは、ターゲットに対する遠位端部４０６の姿勢に関する情報を提供することができ、これは、ターゲットに対する手術座標空間内の関節動作可能な遠位部分４０８の姿勢を制御するために制御システム２８によって使用され得る。このような実施形態では、制御システム２８は、関節動作可能な遠位部分４０８がターゲットに向けられたままであるように関節動作可能な遠位部分４０８を制御することができ、シャフト４０２は、剛性（rigid）シャフト、実質的に剛性シャフト、又は可撓性シャフトであり得る。

いくつかの実施形態では、制御システム２８は、センサシステムを使用せずに、シャフト４０２の動きを決定する。このような実施態様では、医療用ツール４００は、遠隔操作医療システムの遠隔操作マニピュレータに結合され、遠隔操作マニピュレータは、シャフトの動きの制御のために構成される。制御システム２８は、遠隔操作マニピュレータを駆動するために発行される１つ又は複数のコマンドに基づいて、シャフト４０２の動きを決定し得る。代替的には、いくつかの実施形態では、制御システム２８は、センサシステム及び医療用ツール４００に結合された遠隔操作マニピュレータを駆動するために発行された１つ又は複数のコマンドの両方に基づいて、シャフト４０２の動きを決定する。

図５に戻って参照すると、オプションで、方法５００は、プロセス５０６に進み得る。プロセス５０６において、制御システム２８は、センサシステム４２２によって提供される情報を使用して、デジタル画像安定化、機械的画像安定化、又はそれらの組み合わせによって、医療用ツール４００によって取り込まれる画像を安定させることができる。いくつかの例では、医療用ツール４００は、立体内視鏡イメージングシステムである。このような例では、制御システム２８は、関節動作可能な遠位部分４０８の姿勢を制御することによって機械的画像安定化を実行し得る。一例では、制御システム２８は、並進機械的安定化（translational mechanical stabilization）を提供するために、図４Ｂのジョイントアセンブリ４６０及び４６２を制御し得る。一例では、制御システム２８は、回転機械的安定化を提供するために、図４Ａ及び４Ｂの手首アセンブリ４５２を制御し得る。

いくつかの例では、医療用ツール４００は、モノスコピック内視鏡イメージングシステムである。そのような例では、上述した立体内視鏡イメージングシステムで実行されるものと実質的に類似した機械的画像安定化に加えて、制御システム２８は、センサシステム４２２によって提供される情報に基づいて、デジタル画像安定化を実行し得る。一例では、ＩＭＵは振動に敏感であり、制御システム２８は、ＩＭＵによって提供される感知情報に基づいてデジタル画像安定化を実行し得る。

再び図５を参照すると、方法５００は、プロセス５１２に進むことができ、そこでは、シャフト４０２の動き情報を含む信号に応答して、制御システム２８は、関節動作可能な遠位部分４０８がターゲット４２０に向けられたままであるように、関節動作可能な遠位部分４０８の姿勢を制御する。いくつかの例では、関節動作可能な遠位部分４０８は、ターゲット４２０の方に向けられたままであり、ターゲットはビューイング錐台４１４の向き８０２に関連付けられるビューイング方向に沿って留まる。いくつかの例では、関節動作可能な遠位部分４０８は、ターゲット４２０の方へ向けられたままであり、ビューイング錐台４１４は、ターゲット４２０又はターゲット４２０の中心を囲むように留まる。このような例では、ターゲット４２０は常にビューの中心領域にあるとは限らない。いくつかの例では、関節動作可能な遠位部分４０８は、ターゲット４２０に向けられたままであり、ターゲットは、関節動作可能な遠位部分４０８の遠位方向４７０に沿うように留まる。

図７は、位置７０２−１、７０２−２、７０２−３、及び７０２−４を通って移動する近位端部の動き７００に応答してターゲット追跡モードで動作するツール（例えば、医療用ツール４００）の例を示す。位置７０２−１及び７０２−４は、それぞれ近位端部の開始位置及び終了位置であり、位置７０２−２及び７０２−３は、近位端部の２つの中間位置である。制御システム２８は、シャフト４０２の動きを連続的にモニタする。シャフト４０２の動きの決定に応答して、制御システム２８は、関節動作可能な遠位部分４０８がターゲット４２０の方に向けられたままであるように、関節動作可能な遠位部分４０８を連続的に制御する。制御システム２８は、これらのコマンドに従って（例えば、図４Ａ及び４Ｂの手首アセンブリ４５２、図４Ｂのジョイントアセンブリ４６０及び４６２を駆動することによって）関節動作可能な遠位部分４０８の動きを駆動する作動アセンブリ４２４にコマンドを送信し得る。

図７の例は、制御システム２８によるそのような連続的なモニタリング及び制御を示す。医療用ツール４００の近位端部は、位置７０２−１から始まり、そこでは、関節動作可能な遠位部分４０８ａはターゲット４２０に向けられたビューイング錐台４１４−１を有する。次いで、医療用ツール４００の近位端部は、位置７０２−２に移動する。制御システム２８は、（例えば、センサシステム４２２、医療用ツール４００に結合された遠隔操作マニピュレータを駆動するために発行されたコマンド、又はそれらの組み合わせに基づいて）そのような動きによって引き起こされるシャフト４０２の動きを決定し、作動アセンブリ４２４を使用して、関節動作可能な遠位部分４０８の動き（例えば、ピッチ及び／又はヨー）を駆動し、その結果、関節動作可能な遠位部分４０８は、ターゲット４２０に向けられたビューイング錐台４１４−２を有するようになる。同様に、医療用ツール４００の近位端部が位置７０２−３に動くことを決定した後、関節動作可能な遠位部分４０８は、それがターゲット４２０に向けられたビューイング錐台４１４−３を有するように制御される。同様に、医療用ツール４００の近位端部が位置７０２−４に移動することを決定した後、関節動作可能な遠位部分４０８は、それがターゲット４２０に向けられるビューイング錐台４１４−４を有するように制御される。いくつかの実施態様において、ターゲット４２０は、ビューイング錐台４１４−１、４１４−２、４１４−３及び４１４−４の各々の中心にある。図７に示されるように、近位端部の動き７００の間、関節動作可能な遠位部分４０８のビューイング錐台は、ターゲット４２０に向けられたままである。

センサシステム４２２が画像追跡システムを含む例では、制御システム２８は、医療用ツール４００の関節動作可能な遠位部分４０８のイメージング装置から画像フィードバックを受信し、関節動作可能な遠位部分４０８の動きを制御するように画像ベースのビジュアルサーボ（visual servoing）を実行するビジュアルコントローラを含む。任意の他の適切な従来型又は専用のコントローラが使用され得る。

様々な実施形態では、関節動作可能な遠位部分４０８の遠位自由度は、所定の基準面に対するビューのロール向きを維持しながら、関節動作可能な遠位部分４０８をターゲット４２０に向けられた状態に保つように制御される。このようなとき、医療用ツール４００によって提供されるビューは、基準面と同じ高さである（to be level with the reference plane）ことを保つ。いくつかの実施形態では、基準面は水平面であるか、又は手術環境における手術台Ｏのテーブル上面に基づいて決定される。代替的には、いくつかの実施形態では、基準面は、（例えば、オペレータ入力システム１６を使用する）オペレータからの入力に基づいて決定される。例えば、オペレータは、ディスプレイシステム２６に表示された特定の画像に基づいて、（例えば、オペレータ入力システム１６を使用する）基準面選択機能を実行することができ、その特定の画像は、所望の基準面と同じ高さである。この例では、制御システム２８は、その特定の画像に基づいて基準面を決定し得る。別の例では、オペレータは、ターゲティング機能を実行して、ディスプレイシステム２６上に表示された特定の画像に基づいてターゲットを選択することができ、制御システム２８は、ターゲットを選択するために使用された特定の画像に基づいて基準面を決定することができる。

いくつかの実施形態では、ターゲット追跡モード及び同じ高さに維持されるビューを提供することは、助手（又は他の人員）Ａが、外科医Ｓの作業空間の外側の（例えば、外科医（又は他の人員）Ｓと手術台Ｏを挟んで向かい合う）位置でハンドヘルド医療用ツール４００を操作することを可能にする。しかし、これらの実施形態では、シャフト４０２及び関節動作可能な遠位部分４０８は、外科医の作業方向と反対の方向（医療用ツール４００の接近方向とも呼ばれる）から患者の解剖学的構造に近づき得る。いくつかの例では、外科医の作業方向は、（例えば、外科医が患者Ｐの脇に位置する手術環境において）手術部位に対する外科医の胴体の向きと整合する（aligns with）。いくつかの例において、外科医の作業方向は、（例えば、外科医が手術部位のビューを表示するヘッドマウントディスプレイシステムを装着する外科環境において）表示システムに対する外科医の頭部及び／又は眼の方向と整合する。医療用ツール４００は、たとえシャフト４０２及び関節動作可能な遠位部分４０８が外科医の作業方向とは異なる方向から患者の解剖学的構造に近づいたとしても、画像が（上下反転の代わりに）直立である（upright）こと、同じ高さにされる（leveled）こと、及び外科医の視点からのものと一致する左から右の順序を有することを確実にするように、（例えば、制御システム２８及び／又は助手Ａによって）制御され得る。一例では、助手Ａ（例えば、図１２の助手Ａ１）は、外科医Ｓに対向して立っており、シャフト４０２及び関節動作可能な遠位部分４０８は、外科医の作業方向とは反対の方向から患者の解剖学的構造に近づく。この例では、医療用ツール４００は、医療用ツール４００によって提供される画像において、特徴の左から右の順序が（左右反転の代わりに）外科医Ｓの視点と一致することを確実にするように（例えば、制御システム２８又は助手Ａによって）制御される。いくつかの例において、直立し、同じ高さにされ、左右反転ではない特徴を含むそのようなビューは、近位ハウジング４１０を制御（例えば、引き込め、挿入、回転、旋回）することにより達成され得る。いくつかの例において、このようなビューは、図１２に関して以下に詳細に説明する、制御システム２８によって、向き８０２に関連付けられるビューイング方向を外科医の作業方向と整合させることによって達成され得る。

いくつかの実施形態では、医療用ツール４００は、医療用ツール４００のイメージング装置によって取り込まれる画像が、医療用ツール４００の接近方向に関係なく、同じ高さで、直立し、そして所望の左から右の順序を有するように、種々の基準面（例えば、高さ（level）基準面）及び基準方向（例えば、直立（upright）基準方向、左から右への基準方向）に基づいて、（例えば、制御システム２８を使用して、向き８０２に関連付けられるビュー方向を制御することによって）制御される。例えば、医療用ツール４００は、画像が高さ基準面（例えば、水平面、手術環境内の手術台Ｏのテーブル上面、オペレータによって選択された面）と同じ高さになるように制御される。さらなる例に関して、医療用ツール４００は、画像が直立基準方向（例えば、高さ基準平面に直立な方向、オペレータによって選択された方向）に対して直立（例えば、上下に整合）するように制御される。さらなる例に関して、医療用ツール４００は、画像の左から右への順序が左から右への基準方向（例えば、高さ基準面に平行な方向、オペレータによって選択された方向）と整合するように制御される。いくつかの実施形態では、基準面及び方向は、外科医（又は他の人員）Ｓの作業方向に基づいて決定される。代替的には、いくつかの実施形態では、基準面及び方向は、（例えば、オペレータ入力システム１６を使用する）オペレータからの入力に基づいて決定される。例えば、オペレータは、特定の画像がディスプレイシステム２６に表示されるとき、基準選択機能（例えば、オペレータ入力システム１６を使用する）を実行し得る。次いで、制御システム２８は、その特定の画像に基づいて基準面及び方向を決定し得る。

図８Ａを参照すると、位置７０２−１に配置されたツール（例えば、医療用ツール４００）が示されている。上述したように、関節動作可能な遠位部分４０８は、ビューイング錐台４１４−１がターゲット４２０に向けられた向き８０２を有するように制御される。いくつかの例では、向き８０２に関連付けられたビューイング方向は、遠位方向４７０と同じであり得る。図８Ｂには、図１のディスプレイシステム２６に表示され得る、ビューイング錐台４１４−１の画像８０４が示されている。図８Ｂに示すように、ターゲット４２０は、画像８０４の中心領域６０４内にあり、手術環境のグラウンドと同じ高さである。さらに、画像８０４では、ターゲット４２０並びにその隣接する特徴４１６及び４１８は直立しているように見える。図８Ａ及び８Ｂの例の実施において、オペレータは、外科医であるとともにシャフト４０２の近位端部４０４に位置し、８Ｂの画像内の特徴の左から右への順序は、オペレータの作業方向に対する特徴と同じである。代替的には、オペレータが外科医のために医療用ツール４００を操作する助手である例では、近位ハウジング４１０が調節され、関節動作可能な遠位部分４０８の姿勢は、８Ｂの画像の特徴の左から右の順序が外科医の作業方向の視点から表示されるように、変えられる。

図９Ａ及び９Ｂを参照すると、シャフト４０２の近位ハウジング４１０が位置７０２−４に移動した後、関節動作可能な遠位部分４０８は、ビューイング錐台４１４−４がターゲット４２０に向けられた向き８０２を有するように制御される。図９Ｂに示されるのは、図１のディスプレイシステム２６に表示され得る、ビューイング錐台４１４−４の画像９０２である。図９Ｂに示すように、ターゲット４２０は、画像９０２の中心領域６０４内にあり、手術環境のグラウンドと同じ高さである。さらに、ターゲット４２０並びにその隣接する特徴４１６及び４１８は、画像９０２内で直立したままである。図９Ａ及び９Ｂの例の実施において、オペレータは、外科医であるとともにシャフト４０２の近位端部４０４に位置し、９Ｂの画像内の特徴の左から右の順序は、オペレータの作業方向に対する特徴の左から右の順序に整合される。代替的には、オペレータが外科医のために医療用ツール４００を操作する助手である例では、近位ハウジング４１０は、９Ｂの画像内の特徴の左から右の順序が外科医の作業方向の視点から表示されるように調整される。

イメージング装置を含む関節動作可能な遠位部分４０８が図７、図８Ａ、図８Ｂ、図９Ａ、及び図９Ｂにおいて一例として使用されているが、関節動作可能な遠位部分４０８の装置４５４は、エンドエフェクタ又は任意の他の装置であり得ることに留意されたい。一例では、ターゲット追跡モードでは、制御システム２８は、エンドエフェクタがターゲットに向けられたままであるように、近位端部の動きに応答して関節動作可能な遠位部分４０８を制御し得る。別の例では、オペレータは、制御システム２８に、エンドエフェクタのための患者の解剖学的構造の特徴に対するターゲット方向を提供し得る。このような例では、制御システム２８は、エンドエフェクタが特徴に対するターゲット方向（例えば、血管に対して垂直）を維持するように、近位端部の動きに応答して関節動作可能な遠位部分４０８を制御し得る。

図７、図８Ａ、図８Ｂ、図９Ａ及び図９Ｂは、医療用ツール４００などの医療用ツールに関連して本出願の一部で説明されているが、これらの図に示されている技術は、他の医療用ツールに関連して、又は非医療用ツールに関連して使用され得ることもできることにも留意されたい。

図５を再び参照すると、上述のように、プロセス５０８及び５１２において、医療用ツール４００は、手動制御モードで動作し得る。プロセス５０８において、制御システム２８は、オペレータが遠位向き調整要求（distal orientation adjustment request）を実行したか否かを決定する（例えば、患者Ｐの脇に又は外科医のコンソールなどのオペレータコンソールに配置されたオペレータ入力システム１６を使用することによって）。プロセス５１２において、オペレータが遠位向き調整要求を実行したことの決定に応答して、制御システム２８は、遠位向き調整要求に基づいて、関節動作可能な遠位部分の姿勢を制御する。手動制御モードでは、制御システム２８は画像の水平レベルを維持し、一方、ビュー方向（例えば、ビューイング錐台４１４の向き８０２）は、オペレータによって手動で変更され（例えば、オペレータ入力システム１６を使用）、そのようなとき、異なるビュー方向間の移行中の画像は、直立したままである。

様々な実施形態では、制御システム２８は、オペレータ入力システム１６を介してオペレータによって実行される遠位向き調整要求を受信し得る。遠位向き調整要求は、新しいビュー方向のための操縦入力（例えば、現在のビュー方向と比較した左／右方向の第１の距離、及び上／下方向の第２の距離を提供することによる）を含み得る。関節動作可能な遠位部分４０８のピッチ／ヨー自由度は、遠位向き調整要求に従って変えられることができるが、シャフト４０２は、ターゲット（複数可）が画像内で常に直立して見えるように、先端ロールを操縦する。ビュー方向のこのような変化は、ピッチ、ヨー、及びロールの自由度の協調運動を必要とする。制御システム２８は、画像座標フレームを用いて画像中心方式（image-centric manner）で操縦入力をマッピングし、次いで、結果は、関節動作可能な遠位部分４０８の対応するピッチ／ヨージョイント運動に逆マッピングされる。制御システム２８は、それらのピッチ／ヨージョイント運動に基づいて（例えば、作動アセンブリ４２４を使用することによって）、関節動作可能な遠位部分４０８の姿勢を制御する。

図１０Ａ、１０Ｂ、１１Ａ、及び１１Ｂを参照すると、ここに示されているのは、手動制御モードの下でビュー方向が変更される前後の医療用ツール４００である。図１０Ａ、１０Ｂ、１１Ａ、及び１１Ｂは、医療用ツール４００のような医療用ツールに関連して本出願の一部で説明されているが、これらの図に示されている技術はまた、他の医療用ツールに関連して又は非医療用ツールに関連しても使用され得ることに留意されたい。

図１０Ａは、本明細書に記載される差異以外は、図９Ａと実質的に同様である。図１０Ａに示されるように、特徴４１６、４２０、及び４１８の隣に位置する追加の特徴１００２、１００４、及び１００６がある。図１０Ｂは、特徴４１６、４１８、及び４２０を含む、ビューイング錐台４１４−４の画像１００８を示す。ターゲット４２０から特徴１００２に対応する位置にビュー方向を変更するための遠位向き調整要求を受信した後、制御システム２８は、関節動作可能な遠位部分４０８の姿勢を制御する。

図１１Ａを参照すると、プロセス５１２が遠位向き調整要求に応答して実行された後の医療用ツール４００が示されている。図１１Ａの図示の例では、シャフト４０２の近位端部は、位置７０２−４にとどまり、一方、関節動作可能な遠位部分４０８は、そのビューイング錐台４１４−５が、特徴１００２に向けられた向き８０２を有するように制御されている。図１１Ｂは、ビューイング錐台４１４−５の画像１１０２を示し、特徴１００２、１００４、１００６は、画像１１０２内で直立して見える。このようなアプローチを用いることにより、異なるビュー方向間の移行中の画像は、常にワールド内で直立したままである。

図５を再び参照すると、上述したように、医療用ツール４００は、プロセス５１０及び５１２によって提供されるように、オペレータ操縦モード下で動作し得る。このようなオペレータ操縦モードは、外科医（又は他のオペレータ）に、ビューを制御する（例えば、胴体、頭部、又は目を動かすことによって）ハンズフリーの方法を提供し、医療用ツール４００を操作している助手との言語コミュニケーションの中断又は必要なしに、より大きな空間を視覚的に探索する。

プロセス５１０において、追跡システムは、外科医の作業方向を追跡するように構成される。いくつかの例では、追跡システムは、例えば、外科医の頭、眼（複数可）、及び胴体を含む外科医の身体の少なくとも一部を追跡するように構成される。代替実施形態では、追跡システムは、外科医によって操作されるツールの挿入方向（例えば、腹腔鏡器具のシャフト方向）を追跡するように構成される。追跡システムによって取り込まれる追跡情報は、医療用ツール４００の関節動作可能な遠位部分４０８を制御するために使用される外科医の作業方向（例えば、ビュー方向、胴体方向、ツール挿入方向）を決定するために使用され得る。様々な実施形態では、医療用ツール４００の関節動作可能な遠位部分４０８の先端が、外科医の作業方向と整合するように制御されることができ、これは、医療用ツール４００のシャフト４０２が外科医によって操作されるツールと比べてターゲットに対する異なるアプローチ方向を有する場合に特に有用である。

図１２を参照すると、ここに示されているのは、以下に説明されている相違を除いて、図１の環境１０と実質的に同様の手術タイプの医療環境１２００である。手術環境１２００では、外科医（又は他の人員）Ｓに対向する助手（又は他の人員）Ａ１が、医療用ツール４００の近位ハウジング４１０を保持しており、ここで、医療用ツール４００は内視鏡イメージングシステムである。ディスプレイシステム２６は、医療用ツール４００によって取り込まれた手術部位の画像を提示し得る。助手Ａ1は、医療用ツール４００によって取り込まれる画像を制御するために、医療用ツール４００の近位ハウジング４１０を動かし得る。助手Ａ１はまた、医療用ツール４００の一次オペレータとも称され得る。

いくつかの実施形態では、追跡システム１２０２は、外科医Ｓの身体の少なくとも一部を追跡するために使用され、追跡情報は、医療用ツール４００の関節動作可能な遠位部分４０８を制御するために、その後のプロセスにおいて使用され、それによって、医療用ツール４００によって取り込まれ、ディスプレイシステム２６に表示されるビューを制御する。このような追跡システム１２０２を使用することによって、外科医Ｓは、自分の身体を動かすことによって、医療用ツール４００によって取り込まれるビューを制御し得る。外科医Ｓは、医療用ツール４００の二次オペレータと称され得る。追跡システム１２０２を使用することによって、医療用ツール４００は、一次オペレータＡ１及び二次オペレータＳによって制御され得る。一実施形態では、一次オペレータＡ１が、医療用ツール４００の近位ハウジング４１０を動かすことによって、医療用ツール４００によって提供されるビューの粗い制御を実行し得る一方、二次オペレータＳは、追跡システム１２０２を使用して、医療用ツール４００によって提供されるビューの精密な制御を実行し得る。

図１２の例において、環境１２００は、環境１２００の空間容積１２０４内の物体又はマーカを検出する追跡システム１２０２を含む。この実施形態では、追跡システム１２０２は、光学追跡システムであり得るが、種々の代替実施形態では、音響、電磁、ＩＭＵ、又はハイブリッド追跡システムなどの他の追跡システムが使用され得る。いくつかの実施形態において、光学追跡システムは、外科医Ｓの身体を追跡するほかに複数の用途を有し得る。例えば、追跡システム１２０２は、手の動きを追跡するため又は画像位置合わせのためにも使用され得る。別の例として、追跡システム１２０２はまた、医療用ツール４００などの医療用ツールのシャフトの動きを追跡するために使用され得る。シャフトの動きは、例えば、シャフトの近位の医療用ツールの近位部分を追跡し、医療用ツールの近位部分の追跡データを、シャフトを近位部分に関連付ける他の情報と組み合わせることなどによって、間接的に追跡され得る。そのような他の情報の例は、形状センサ又は他のセンサデータ、及び運動学的情報及びモデルを含む。

図１２の実施形態では、追跡システム１２０２は、ディスプレイの前方の空間容積１２０４を追跡するためにディスプレイシステム２６に取り付けられる。追跡システム１２０２は、空間容積１２０４内のマーカを追跡して、外科医Ｓの身体の方向を決定し得る。代替実施形態では、追跡システムは、手術環境１２００のどこかに取り付けられることができ、ディスプレイシステム位置座標と追跡システムの座標との間の変換を使用して、ディスプレイシステム２６に対するマーカ又は物体の位置及び向きを決定し得る。代替実施形態では、追跡システムは、ヘッドマウント式ウェアラブルデバイス、カメラ、又は外科医の頭部に結合された（例えば、外科医によって装着された）他のセンサを含むことができ、それは、外科医の頭部及び／又は眼の動きを、手術環境１２００内の既知の位置を持つ静止マーカ又は可動マーカに対して追跡する。代替実施形態では、ディスプレイシステム２６は、手術環境１２００内に固定された又は既知の仮想投影面を有する仮想表示システムであり得る。

図１２は、追跡システム１２０２によって追跡され得る光学マーカ１２０６のセットを装着する外科医Ｓを示す。この実施形態では、マーカ１２０６は、外科医Ｓが着用した衣服に強固に取り付けられている。いくつかの実施形態では、追跡システム１２０２によって追跡されるマーカは、外科医Ｓの身体の自然の部分（例えば、外科医Ｓの眼の瞳又は輝点、外科医Ｓの鼻の外縁、外科医Ｓの口の外縁、外科医Ｓの顎の最下点など）に対応する自然のマーカを含む。いくつかの実施形態では、追跡システム１２０２によって追跡されるマーカは、外科医Ｓが着用するフェイスマスクに強固に取り付けられたマーカを含み、これは、外科医Ｓの頭の向きを追跡するために使用され得る。いくつかの実施形態では、マーカは、立体ディスプレイで使用されるパッシブ偏光眼鏡などの眼鏡に取り付けられた基準マーカを含む。外科医Ｓの顔、頭、及び胴体の輪郭などの他のマーカもまた、追跡システム１２０２によって追跡され得る。

再び図５の方法５００を参照すると、プロセス５１０において、１つ又は複数のマーカ（自然のランドマーク又は人工マーカを含む）の追跡が、外科医（又は他のオペレータ）Ｓの胴体、頭、顔、眼、視線又は他の身体部分の位置及び向きを推定するために使用され得る。位置及び向きは、外科医Ｓの作業方向を計算するために使用され得る。外科医Ｓの作業方向は、例えば、胴体の向き、頭の向き、視線方向、又はそれらの組み合わせに基づいて計算され得る。

方法５００は、プロセス５１２に進むことができ、その間、医療用ツール４００の関節動作可能な遠位部分４０８の姿勢は、追跡システム１２０２によって提供される外科医の検出された動きに応答して制御される。

いくつかの実施形態において、制御システム２８は、外科医の動きを決定することができ、これは、（例えば、ディスプレイシステム又は手術部位に対する）外科医Ｓの作業方向の変化を引き起こす。次に、制御システム２８は、外科医の検出された動きに基づいて、関節動作可能な遠位部分４０８の姿勢を制御する。一例では、関節動作可能な遠位部分４０８の姿勢は、ビューイング錐台４１４の向きが外科医Ｓの作業方向に整合するように制御される。

いくつかの実施態様において、関節動作可能な遠位部分４０８の手首アセンブリ４５２の遠位ピッチ／ヨージョイントが可動範囲限度に近づくにつれて、制御システム２８は、医療用ツール４００の近位ハウジング４１０を対応する方向に移動させるように、近位ハウジング４１０上で助手Ａに指示を与える。いくつかの実施形態では、助手Ａへのこのような指示は、近位ハウジング４１０上の光（例えば、発光ダイオード（ＬＥＤ）光）の配置を使用して提供され得る。代替的には、近位ハウジング４１０は、助手Ａに対して方向の合図（directional cues）を触覚的に与え（haptically render）得る。助手Ａは、次いで、指示に従って近位端部を移動させ得る。

図１３を参照すると、ここに示されているのは、制御システム１４００（例えば、図１、３、１２の例又はそれらの一部のための制御システム２８）の一例である。制御システム１４００は、オペレータ（例えば、助手Ａ）の（例えば、医療用ツール４００の近位端部４０４の）動きによって命令されるように、医療用ツール４００の関節動作可能な遠位部分４０８の移動を制御するために使用され得る。いくつかの実施形態では、制御システム１４００は、（例えば、センサシステム４２２からの入力に基づいて）関節動作可能な遠位部分４０８のジョイントに関する実際の状態推定値（例えば、姿勢、速度）を生成する実際のジョイント状態推定器１４０２を含む。制御システム１４００は、さらに、（例えば、オペレータによって提供されるターゲットに基づいて）関節動作可能な遠位部分４０８のジョイントに関する所望のジョイント状態を生成するための所望のジョイント状態発生器１４０４を含む。制御システム１４００のジョイントコントローラ１４０６は、実際の状態推定値及びそれらのジョイントの所望のジョイント状態に基づいて、関節動作可能な遠位部分４０８のジョイントを制御し得る。近位出力ユニット１４０８は、関節動作可能な遠位部分４０８のジョイントが可動範囲限度に近づくことを検出し、医療用ツール４００の近位ハウジング４１０を特定の方向に移動させるための指示をオペレータに（例えば、近位ハウジング４１０上で）提供し得る。

図１３に示すように、いくつかの実施形態では、実際のジョイント状態推定器１４０２は、順運動学及びセンサ融合ユニット１４１０並びにマニピュレータヤコビアンユニット１４１２を含む。順運動学及びセンサ融合ユニット１４１０は、医療用ツール４００のセンサシステム（例えば、センサシステム４２２）から、近位端部情報（例えば、近位端部４０４の位置、向き、速度）を受信し得る。順運動学及びセンサ融合ユニット１４１０は、ジョイントコントローラ１４０６から、関節動作可能な遠位部分４０８のジョイント（例えば、図４Ａのジョイント４５２、図４Ｂのジョイント４５２、４６０、及び４６２）のジョイント状態情報をさらに受信し得る。順運動学及びセンサ融合ユニット１４１０は、順運動学及びセンサ融合を用いて、近位端部情報及び／又はジョイント状態情報に基づいて、関節動作可能な遠位部分４０８のジョイントの実際のジョイント状態推定値を生成し得る。いくつかの例では、関節動作可能な遠位部分４０８のジョイントの実際のジョイント状態推定値は、マニピュレータヤコビアンユニット１４１２によって提供されるジョイント速度と先端速度との間のマニピュレータヤコビアンに基づいて決定される。

いくつかの実施形態では、所望のジョイント状態発生器１４０４は、オペレータによって選択されたターゲット（例えば、ターゲット点、ターゲット方向平面）に関するターゲット情報を受信し、受信したターゲット情報を関節動作可能な遠位部分４０８の手首アセンブリ４５２の基準フレームに変換し、手首アセンブリ４５２の基準フレームでの変換されたターゲット情報を提供するように構成された変換ユニット１４１４を含む。所望の先端の向きユニット１４１６は、変換ユニット１４１４からの変換されたターゲット情報に基づいて、遠位先端４６８の所望の向きを決定する。所望のジョイント状態ユニット１４１８は、逆運動学を使用して、所望の先端の向きに基づいて所望のジョイント状態を決定し得る。

いくつかの実施形態では、ジョイントコントローラ１４０６は、実際のジョイント状態推定器１４０２から実際の結合状態推定値を受信し、所望のジョイント状態発生器１４０４から所望のジョイント状態を受信し、実際のジョイント状態推定値及び所望のジョイント状態に基づいて（例えば、比較器によって生成された実際のジョイント状態推定値と所望のジョイント状態との間の差に基づいて）、関節動作可能な遠位部分４０８のジョイントを制御し得る。

いくつかの実施形態では、近位出力ユニット１４０８は、関節動作可能な遠位部分４０８のジョイントが可動範囲限度に近づいたことを検出した後に、医療用ツールの近位端部（例えば、近位ハウジング）上でオペレータに指示を提供し得る。図１３の例では、近位出力ユニット１４０８は、ジョイント動作限度検出器１４２０を含む。ジョイント動作限度検出器１４２０は、関節動作可能な遠位部分４０８のジョイントが、実際のジョイント状態推定器１４０２からの実際のジョイント状態推定値及び／又は所望のジョイント状態発生器１４０４からの所望のジョイント状態に基づいて、可動範囲限度に近づくことを検出し得る。遠位から近位への動作限度マッピングユニット１４２２が、ジョイント動作限度検出器１４２０から遠位ジョイント動作限度検出を受信し、遠位ジョイント動作限度（例えば、第１の方向の動作限度）を近位端部動作限度（例えば、第１の方向に対応する第２の方向の動作限度）にマッピングし得る。近位指示ユニット１４２４は、遠位から近位への動作限度マッピングユニット１４２２から近位端部動作限度を受信することができ、近位端部動作限度に基づいて医療用ツール４００の近位ハウジング４１０を動かすように近位ハウジング４１０上で助手Ａに指示を提供する。いくつかの実施形態では、助手Ａへのこのような指示は、近位ハウジング４１０上の光（例えば、発光ダイオード（ＬＥＤ）光）の配置を使用して提供され得る。代替的には、近位ハウジング４１０は、助手Ａに対して方向の合図を触覚的に与え得る。助手Ａは、次いで、指示に従って近位端部を移動させ得る。

図１４Ａ、１４Ｂ、１５Ａ、及び１５Ｂを参照すると、従来のイメージングツールと、関節動作可能な遠位部分を持つイメージングツール（例えば、ツール４００）とを使用することの間の比較が図示されている。図１４Ａ及び１４Ｂは、助手によって操作される従来のイメージングツールと外科医によって操作されるツールとの間の干渉、及び助手が外科医の作業方向から外科医のために手術部位のビューを提供するためにイメージングツールを操作するときの助手と外科医との間の干渉を示す。図１５Ａ及び１５Ｂに示すように、関節動作可能な遠位部分を持つイメージングツール（例えば、ツール４００）を使用することによって、このような干渉は、助手によって保持された撮像ツールが外科医の作業方向とは異なる方向から接近することを可能にする一方で、依然として外科医の作業方向からの手術部位のビューを提供することによって改善される。

図１４Ａを参照すると、ここに示されているのは、以下に説明する相違を除いて、図１の環境１０と実質的に同様の手術タイプの医療環境１４５０である。手術環境１４５０では、外科医（又は他の職員）Ｓの脇に立っている助手（又は他の職員）Ａ１が、医療用ツール１４５２の近位ハウジングを保持しており、ここで、医療用ツール１４５２は内視鏡イメージングシステムである。ディスプレイシステム２６は、医療用ツール１４５２によって取り込まれた手術部位の画像を提示し得る。図１４Ｂに示すように、医療用ツール１４５２は、遠位端部１４５３を有するシャフト１４５４を含む。遠位端部１４５３におけるイメージング装置１４５５は、ビュー方向１４６０からの手術部位１４６２のビューを提供し得る。

外科医Ｓの作業方向に整合した外科医Ｓのための手術部位のビューを提供するために、助手Ａ１は、（例えば、外科医Ｓの前に手を伸ばし、外科医Ｓの腕／胸部の近く／下又は外科医Ｓの胴体の周囲に手を置くことによって）外科医Ｓの作業空間を占有してハンドヘルドイメージングシステムを外科医Ｓからの方向に向ける可能性が有る。この共通の作業空間の共有は、不便且つ不快である可能性があり、ハンドヘルドイメージングシステム１４５２と外科医との間又はハンドヘルドイメージングシステムと他のツール（例えば、ツール１４５６がシャフト１４５８を含む場合、外科医Ｓによって保持されるツール１４５６）との間の衝突の可能性を増大させる。さらに、このような例では、外科医Ｓがビューを変更することを要求するときに、外科医Ｓと助手Ａ１との間の口頭コミュニケーションが必要である。

図１５Ａ及び１５Ｂを参照すると、関節動作可能な遠位部分を持つイメージングツール（例えば、ツール４００）を使用することによって、助手Ａ１は、外科医Ｓから離れて（例えば、外科医Ｓに対向して）立つことができ、助手Ａ１によって保持されるイメージングツール４００は、（例えば、ツール１４５６を保持する）外科医Ｓの作業方向とは異なる方向から接近することができる。図１５Ｂに示されるように、イメージングツール４００の関節動作可能な遠位部分４０８の先端部４６８におけるイメージング装置４５４は、ビュー方向４７０からの手術部位１４６２のビューを提供し得る。イメージングツール４００の関節動作可能な遠位部分４０８を制御することによって、ビュー方向４７０は、図１４Ｂのビュー方向１４６０と同じになるように調節されることができ、それによって、外科医Ｓの作業方向からの手術部位のビューを提供する。従って、関節動作可能な遠位部分を持つイメージングツール４００を使用することによって、助手Ａ１によって操作されるイメージングツール４００が別の方向から手術部位に近づいている間に、外科医Ｓの作業方向からの手術部位のビューが提供され得る。

本発明の実施形態における１つ又は複数の要素は、制御処理システムなどのコンピュータシステムのプロセッサ上で実行するためにソフトウェアで実装され得る。ソフトウェアで実装される場合、本発明の実施形態の要素は、本質的に、必要なタスクを実行するためのコードセグメントである。プログラム又はコードセグメントは、伝送媒体又は通信リンクを介して搬送波に具現化されたコンピュータデータ信号によってダウンロードされ得るプロセッサ可読記憶媒体又はデバイスに記憶することができる。プロセッサ可読記憶デバイスは、光媒体、半導体媒体、及び磁気媒体を含む情報を記憶することができる任意の媒体を含み得る。プロセッサ可読記憶デバイスの例は、電子回路、半導体デバイス、半導体メモリデバイス、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、フロッピーディスケット、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、又は他の記憶デバイスを含む。コードセグメントは、インターネット、イントラネットなどのコンピュータネットワークを介してダウンロードされ得る。

提示されるプロセス及びディスプレイは、本質的に特定のコンピュータ又は他の装置に関連しないことに留意されたい。種々の汎用システムを、本明細書の教示に従ったプログラムと共に使用することができ、又は、記載された動作を実行するためのより特殊化された装置を構築することが便利であることがわかるかもしれない。様々なこれらのシステムに必要な構造は、請求項の要素として現れる。加えて、本発明の実施形態は、特定のプログラミング言語を参照して記載されていない。本明細書に記述されるように、本発明の教示を実装するために、様々なプログラミング言語が使用され得ることが理解される。

本発明の特定の例示的な実施形態が説明されるとともに添付の図面に示されているが、当業者には様々な他の変更が生じ得るので、このような実施形態は、広範な本発明を単に例示するものであり、限定するものではないこと、及び本発明の実施形態は、図示及び説明された特定の構成及び配置に限定されないことが理解されるべきである。

Claims (52)

1. 近位端部及び遠位端部を有するシャフトと、前記シャフトの前記遠位端部に結合された関節動作可能な遠位部分とを含む、医療用ツールと；
   １つ又は複数のプロセッサを含む処理ユニットであって：
   医療環境内のターゲットを決定し、前記関節動作可能な遠位部分が前記ターゲットの方へ向けられ；
   前記シャフトの少なくとも一部の第１の動きを決定し；
   前記の決定された第１の動きに応答して、前記関節動作可能な遠位部分が前記ターゲットに向けられたままであるように、前記関節動作可能な遠位部分の姿勢を制御する；
   ように構成される、処理ユニットと；
   を有する、
   システム。
2. 前記の決定された第１の動きに応答して前記関節動作可能な遠位部分の動きを駆動するように、前記医療用ツールに結合される作動アセンブリをさらに有する、
   請求項１に記載のシステム。
3. 前記作動アセンブリは、前記シャフトの前記近位端部に位置する、
   請求項２に記載のシステム。
4. 前記医療用ツールに結合されるとともにシャフト動作の制御のために構成された遠隔操作マニピュレータと；
   前記処理ユニットと通信するセンサシステムであって、前記第１の動きを決定するように構成され、前記遠隔操作マニピュレータに含まれたセンサを含む、センサシステムと；
   をさらに有する、
   請求項１乃至３のいずれか１項に記載のシステム。
5. 前記センサシステムは：
   慣性測定ユニット；又は
   電磁センサ；又は
   光学追跡システム；又は
   画像追跡システムであって、前記処理ユニットは、前記画像追跡システムから複数の画像を受信し、前記複数の画像において前記ターゲットの特徴抽出及び分析を実行するように、さらに構成される、画像追跡システム；
   を含む、
   請求項４に記載のシステム。
6. 前記医療用ツールに結合されるとともにシャフト動作の制御のために構成された遠隔操作マニピュレータ、をさらに有し、
   前記処理ユニットは：
   前記遠隔操作マニピュレータを駆動するために発行されたコマンドに基づいて前記シャフトの前記少なくとも一部の前記第１の動きを決定するように構成される、
   請求項１乃至３のいずれか１項に記載のシステム。
7. 前記医療用ツールは、前記ターゲットの画像を取り込むためのイメージング装置を含み、前記処理ユニットは、前記イメージング装置によって取り込まれた前記ターゲットの前記画像を表示するようにさらに構成され、前記ターゲットの表示される前記画像は、基準面に対して同じ高さにある、
   請求項１乃至３のいずれか１項に記載のシステム。
8. 前記基準面は水平面である、
   請求項７に記載のシステム。
9. 前記基準面は、前記医療環境の手術台のテーブル上面に基づく、
   請求項７に記載のシステム。
10. 前記処理ユニットは：
    オペレータによって選択された前記ターゲットの第１の画像に基づいて前記基準面を決定するようにさらに構成される、
    請求項７に記載のシステム。
11. 前記医療用ツールは、前記ターゲットの画像を取り込むためのイメージング装置を含み、前記処理ユニットは、前記イメージング装置によって取り込まれた前記ターゲットの前記画像を表示するようにさらに構成され、前記ターゲットの前記画像は、基準方向に対して直立している、
    請求項１乃至３のいずれか１項に記載のシステム。
12. 前記処理ユニットは：
    オペレータによって選択された前記ターゲットの第１の画像に基づいて前記基準方向を決定するようにさらに構成される、
    請求項１１に記載のシステム。
13. 前記関節動作可能な遠位部分の前記姿勢を制御することは、基準面に対する前記ターゲットのロール向きを維持することを含む、
    請求項１乃至３のいずれか１項に記載のシステム。
14. 前記基準面は水平面である；又は
    前記基準面は、前記医療環境の手術台のテーブル上面に基づく；又は
    前記処理ユニットは：オペレータによって選択された前記ターゲットの第１の画像に基づいて前記基準面を決定するようにさらに構成される、
    請求項１３に記載のシステム。
15. オペレータの身体の少なくとも一部を追跡するように構成された追跡システムをさらに有し、
    前記処理ユニットは：
    前記オペレータの身体の前記少なくとも一部の第２の動きを検出し；
    前記オペレータの身体の前記少なくとも一部の検出された前記第２の動きに応答して前記関節動作可能な遠位部分の前記姿勢を制御する；ようにさらに構成される、
    請求項１乃至３のいずれか１項に記載のシステム。
16. 前記オペレータの身体の少なくとも一部は、前記オペレータの身体の頭、１つ又は複数の眼、及び胴体からなるグループから選択された部分を含む、
    請求項１５に記載のシステム。
17. 前記処理ユニットは：
    前記オペレータの身体の胴体の向きの変化を検出し；
    前記胴体の前記向きの前記変化に応答して前記関節動作可能な遠位部分の前記姿勢を制御する；ようにさらに構成される、
    請求項１５に記載のシステム。
18. 前記追跡システムは：
    光学追跡システム；又は
    電磁追跡システム；又は
    前記オペレータによって装着されるように構成されるヘッドマウント式ウェアラブルデバイス；
    を有する、
    請求項１５に記載のシステム。
19. 前記処理ユニットは：オペレータが遠位向き調整要求を実行したか否かを決定するようにさらに構成され；
    前記関節動作可能な遠位部分の前記姿勢を制御することは、前記オペレータが前記遠位向き調整要求を実行したことの決定にさらに基づく、
    請求項１乃至３のいずれか１項に記載のシステム。
20. 前記関節動作可能な遠位部分の前記姿勢を制御することは、前記関節動作可能な遠位部分の向きを制御することを含む、
    請求項１乃至３のいずれか１項に記載のシステム。
21. 前記関節動作可能な遠位部分の前記姿勢を制御することは、前記関節動作可能な遠位部分の並進移動を制御することを含む、
    請求項１乃至３のいずれか１項に記載のシステム。
22. 前記シャフトは剛性シャフトである、
    請求項１に記載のシステム。
23. 前記シャフトは可撓性シャフトである、
    請求項１に記載のシステム。
24. 前記シャフトの前記遠位端部に結合されるとともに前記処理ユニットと通信するセンサシステムであって、前記ターゲットの画像を取り込むイメージング装置を含む、センサシステムをさらに有する、
    請求項２２又は２３に記載のシステム。
25. 前記医療用ツールは、シャフト動作の手動制御のために構成された近位ハウジングを含む、
    請求項１乃至３のいずれか１項に記載のシステム。
26. 前記処理ユニットは、：
    オペレータによって提供される入力に基づいて前記ターゲットを決定するようにさらに構成される、
    請求項１乃至３のいずれか１項に記載のシステム。
27. 前記医療用ツールは、前記ターゲットの画像を取り込むためのイメージング装置を含み、
    前記処理ユニットは、前記画像を処理して前記ターゲットの位置を決定するようにさらに構成される、
    請求項１乃至３のいずれか１項に記載のシステム。
28. 前記イメージング装置は、立体内視鏡イメージング装置を含み、前記処理ユニットは：
    前記画像を処理して前記ターゲットの３次元位置を決定するようにさらに構成される、
    請求項２７に記載のシステム。
29. 前記処理ユニットは：
    前記関節動作可能な遠位部分が動作限度に達したことを決定し、
    前記近位端部に位置する近位ハウジングを使用して、前記動作限度に対応する方向に前記近位ハウジングを動かすことについてオペレータに指示を提供する、
    請求項１に記載のシステム。
30. 近位端部及び遠位端部を有するシャフトと、前記シャフトの前記遠位端部に結合された関節動作可能な遠位部分とを含む、医療用イメージングツールと；
    １つ又は複数のプロセッサを含む処理ユニットであって、前記処理ユニットは：
    前記医療用イメージングツールの視野内のビューイングターゲットを決定し；
    前記シャフトの動きを決定し、
    前記の決定されたシャフトの動きに応答して、前記ビューイングターゲットが前記医療用イメージングツールの視野内に留まるように、前記関節動作可能な遠位部分の姿勢を制御する；
    ように構成される、処理ユニットと；
    を有する、
    システム。
31. 医療環境内のターゲットを決定するステップであって、前記医療環境には、医療用ツールが含まれ、前記医療用ツールは、近位端部及び遠位端部を有するシャフトと、前記シャフトの前記遠位端部に結合された関節動作可能な遠位部分とを含み、前記関節動作可能な遠位部分は前記ターゲットに向けられる、ステップと；
    前記シャフトの少なくとも一部の第１の動きを決定するステップと；
    前記の決定された第１の動きに応答して、１つ又は複数のプロセッサにより、前記関節動作可能な遠位部分が前記ターゲットに向けられたままであるように前記関節動作可能な遠位部分の姿勢を制御するステップと；を含む、
    方法。
32. 前記の決定された第１の動きに応答して前記関節動作可能な遠位部分の動きを駆動するステップをさらに含む、
    請求項３１に記載の方法。
33. 前記医療用ツールに結合された遠隔操作マニピュレータを使用してシャフト動作を制御するステップと；
    センサシステムを使用して前記第１の動きを決定するステップであって、
    前記センサシステムは、前記遠隔操作マニピュレータに含まれたセンサを含む、ステップと；
    をさらに含む、
    請求項３１に記載の方法。
34. 前記センサシステムに含まれる画像追跡システムから複数の画像を受信するステップ；をさらに含み、
    前記第１の動きを決定するステップは：前記複数の画像において前記ターゲットの特徴抽出及び分析を実行するステップを含む、
    請求項３３に記載の方法。
35. 遠隔操作マニピュレータを駆動するために発行されたコマンドに基づいて前記第１の動きを決定するステップをさらに含み、前記遠隔操作マニピュレータは、前記医療用ツールに結合されるとともにシャフト動作の制御のために構成される、
    請求項３１乃至３４のいずれか１項に記載の方法。
36. 前記医療用ツールに含まれるイメージング装置を使用して前記ターゲットの画像を取り込むステップと；
    基準面を決定するステップと；
    前記ターゲットの前記画像が前記基準面に対して同じ高さにあるように前記関節動作可能な遠位部分の前記姿勢を制御するステップと；
    をさらに含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
37. 前記基準面は、水平面である；又は
    前記基準面は、前記医療環境の手術台のテーブル上面に基づく；又は
    前記基準面は、オペレータによって選択された前記ターゲットの第１の画像に基づく、
    請求項３６に記載の方法。
38. 前記医療用ツールに含まれるイメージング装置を使用して前記ターゲットの画像を取り込むステップと；
    基準方向を決定するステップと；
    前記ターゲットの前記画像が前記基準方向に対して直立しているように前記関節動作可能な遠位部分の前記姿勢を制御するステップと；
    をさらに含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
39. 前記基準方向は、オペレータによって選択された前記ターゲットの第１の画像に基づく、
    請求項３８に記載の方法。
40. 前記関節動作可能な遠位部分の前記姿勢を制御するステップは、基準面に対する前記ターゲットのロール向きを維持するステップを含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
41. 前記基準面は、水平面である；又は
    前記基準面は、前記医療環境の手術台のテーブル上面に基づく；又は
    前記基準面は、オペレータによって選択された前記ターゲットの第１の画像に基づく、
    請求項４０に記載の方法。
42. オペレータの身体の少なくとも一部の第２の動きを検出するステップと；
    前記オペレータの身体の前記少なくとも一部の検出された前記第２の動きに応答して前記関節動作可能な遠位部分の前記姿勢を制御するステップと；
    をさらに含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
43. オペレータの身体の胴体の向きの変化を検出するステップと；
    前記胴体の前記向きの前記変化に応答して前記関節動作可能な遠位部分の前記姿勢を制御するステップと；
    をさらに含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
44. オペレータが遠位向き調整要求を実行したか否かを決定するステップと；
    前記オペレータが前記遠位向き調整要求を実行したことの決定にさらに基づいて、前記関節動作可能な遠位部分の前記姿勢を制御するステップと；
    をさらに含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
45. 前記関節動作可能な遠位部分の前記姿勢を制御するステップは：
    前記関節動作可能な遠位部分の向き及び並進移動を制御するステップと；
    前記関節動作可能な遠位部分の並進移動を制御するステップと；
    を含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
46. 前記ターゲットの画像に基づいて前記第１の動きを決定するステップをさらに含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
47. 前記医療用ツールに結合された遠隔操作マニピュレータを使用してシャフト動作を制御するステップをさらに含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
48. 前記ターゲットの画像を取り込むことによって、オペレータによって提供される入力に基づいて前記ターゲットを決定するステップと；
    前記ターゲットの位置を決定するために前記画像を処理するステップと；
    をさらに含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
49. 前記関節動作可能な遠位部分が動作限度に達したことを決定するステップと；
    前記近位端部に位置する近位ハウジングを使用して、前記動作限度に対応する方向に前記近位ハウジングを動かすことに対してオペレータに指示を提供するステップと；
    をさらに含む、
    請求項３１乃至３４のいずれか１項に記載の方法。
50. 医療用イメージングツールの視野内のビューイングターゲットを決定するステップであって、前記医療用イメージングツールは、近位端部及び遠位端部を有するシャフトと、前記シャフトの前記遠位端部に結合された関節動作可能な遠位部分とを含む、ステップと；
    前記シャフトの動きを決定するステップと；
    前記の決定された前記シャフトの動きに応答して、前記ビューイングターゲットが前記医療用イメージングツールの前記視野内に留まるように、前記関節動作可能な遠位部分の姿勢を制御するステップと；を含む、
    方法。
51. １つ又は複数のプロセッサによって実行されるとき、前記１つ又は複数のプロセッサに方法を実行させるように構成された、複数の機械可読命令を含む非一時的な機械可読媒体であって、前記方法は：
    医療環境内のターゲットを決定するステップであって、前記医療環境には、前記１つ又は複数のプロセッサに関連付けられた医療用ツールが含まれ、前記医療用ツールは、近位端部及び遠位端部を有するシャフトと、前記シャフトの前記遠位端部に結合された関節動作可能な遠位部分とを含み、前記関節動作可能な遠位部分は前記ターゲットに向けられる、ステップと；
    前記シャフトの少なくとも一部の第１の動きを決定するステップと；
    前記の決定された第１の動きに応答して、前記関節動作可能な遠位部分が前記ターゲットに向けられたままであるように、前記関節動作可能な遠位部分の姿勢を制御するステップと；を含む、
    非一時的な機械可読媒体。
52. １つ又は複数のプロセッサによって実行されるとき、前記１つ又は複数のプロセッサに請求項３１乃至５０のいずれか１項に記載の方法を実行させるように構成された複数の機械可読命令を含む非一時的な機械可読媒体。

Images