本開示の原理の理解を促進する目的のために、図面で例示される実施形態をここで参照し、特定の言語を、これを説明するために使用する。それにもかかわらず、本開示の範囲の限定は意図されないことが理解されるであろう。本発明の態様の以下の詳細な説明では、開示された実施形態の完全な理解を提供するために、多数の特定の詳細について説明する。しかしながら、本開示の実施形態は、これら特定の詳細がなくても実施できることは当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、及び回路は、本発明の実施形態の態様を不必要に曖昧にしないように詳細に説明していない。
説明される装置、器具、方法、及び本開示の原理の任意のさらなる適用に対する任意の変更及びさらなる改変は、本開示が関連する分野の当業者が通常想起し得るように完全に企図される。具体的には、1つの実施形態について説明される特徴、構成要素、及び/又はステップは、本開示の他の実施形態について説明される特徴、構成要素、及び/又はステップと組み合わせることができることが完全に企図される。加えて、本明細書で提供される寸法は特定の例に関するものであり、異なるサイズ、寸法、及び/又は比が、本開示の概念を実現するために用いられてよいことが企図される。説明の不要な重複を避けるために、1つの例示的な実施形態にしたがって記載された1又は複数の構成要素又は動作は、他の例示的な実施形態に必要に応じて使用することができる又は他の例示的な実施形態から必要に応じて省略され得る。簡潔にするために、これらの組み合わせの多くの反復は、別に説明しない。単純にするために、いくつかの場合、同じ参照番号が、同じ又は同様の部分を言及するために図面全体を通して使用される。
以下の実施形態は、3次元空間内の状態の観点から、様々な器具及び器具の部分について説明する。本明細書で使用される場合に、用語「位置」は、3次元空間(例えば、デカルトX,Y,Z座標に沿った並進3自由度)における対象物又は対象物の一部の場所を示す。本明細書で使用される場合に、用語「向き」は、対象物又は対象物の一部の回転配置(回転3自由度−例えば、ロール、ピッチ、及びヨー)を示す。本明細書で使用される場合に、用語「姿勢」は、並進自由度の少なくとも1つの自由度における対象物又は対象物の一部の位置、及び回転自由度の少なくとも1つの自由度における対象物又は対象物の一部の向き(合計6つの自由度まで)を示す。本明細書で使用される場合に、用語「形状」は、対象物に沿って測定された姿勢、位置、又は向きのセットを示す。
図面の図1Aを参照すると、例えば、診断、治療、又は外科処置を含む医療処置で用いる遠隔操作医療システムが、参照数字10によって概して示されている。遠隔操作医療システムは、例えば、ロボット手術システムであってよい。記載されるように、本開示の遠隔操作医療システムは、外科医の遠隔操作の制御下にある。代替実施形態では、遠隔操作医療システムは、処置又は下位処置(sub-procedure)を実行するようにプログラムされたコンピュータの部分的な制御下にあってよい。さらに他の代替実施形態では、処置又は下位処置を実行するようにプログラムされたコンピュータの完全な制御下の、完全に自動化された医療システムが、処置又は下位処置を実行するために使用されてよい。図1Aに示されるように、遠隔操作医療システム10は、概して、患者Pが位置する手術台Oに又は手術台Oの近くに取り付けられた遠隔操作アセンブリ12を含む。遠隔操作アセンブリ12は、患者側カートと称されてもよい。医療器具システム14及び内視鏡イメージングシステム15が、遠隔操作アセンブリ12に動作可能に結合されている。オペレータ入力システム16は、外科医又は他の種類の臨床医Sが手術部位の画像又は手術部位の表示を見ること及び医療器具システム14及び/又は内視鏡イメージングシステム15の動作を制御することを可能にする。
オペレータ入力システム16は、外科医コンソールに位置することができ、この外科医コンソールは、通常、手術台Oと同じ部屋に位置する。しかし、外科医Sは、患者Pとは異なる部屋又は完全に異なる建物に位置し得ることが理解されるべきである。オペレータ入力システム16は、一般的に、医療器具システム14を制御するための1又は複数の制御装置を含む。制御装置(複数可)は、ハンドグリップ、ジョイスティック、トラックボール、データグローブ、トリガーガン、手動操作制御装置、音声認識装置、タッチスクリーン、身体動き又は存在センサのような、任意の数の様々な入力装置の1又は複数を含んでもよい。幾つかの実施形態では、制御装置(複数可)は、テレプレゼンス、手術部位にいるかのように外科医が器具を直接的に制御する強い感覚を有するよう制御装置(複数可)が器具と一体化されるような知覚を外科医に提供するために、遠隔操作アセンブリの医療器具と同じ自由度を備える。他の実施形態では、制御装置(複数可)は、関連する医療器具より多い又は少ない自由度を有し得るとともに、依然としてテレプレゼンスを外科医に提供し得る。幾つかの実施形態では、制御装置(複数可)は、6自由度で動く手動入力装置であり、この手動入力装置は、(例えば、把持ジョーを閉じる、電位を電極に印加する、薬物療法を送達する等のための)器具を作動させるための作動可能ハンドルも含み得る。
遠隔操作アセンブリ12は、外科医Sがコンソール16を通じて手術部位を見る間に、医療器具システム14を支持するとともに操作する。手術部位の画像は、内視鏡15を方向合わせする(orient)ために遠隔操作アセンブリ12によって操作されることができる、立体内視鏡のような、内視鏡イメージングシステム15によって、得ることができる。エレクトロニクスカート18が、外科医のコンソール16を通じた外科医Sへの次の表示のために手術部位の画像を処理するために使用されることができる。一度に使用される医療器具システムの数は、一般的に、診断又は外科処置及び特に手術室内の空間的制約に依存するであろう。遠隔操作アセンブリ12は、1又は複数の非サーボ制御リンク(例えば、一般的にセットアップ構造と呼ばれる、所定の位置に手動で位置決めされ且つロックされ得る1又は複数のリンク)及び遠隔操作マニピュレータの運動学的構造を含み得る。遠隔操作アセンブリ12は、医療器具14の入力部を駆動する複数のモータを含む。これらのモータは、医療器具システム14に結合されるとき、自然の又は外科的に作られた解剖学的構造の開口部(anatomical orifice)の中に医療器具を前進させ得る駆動システムを含む。他のモータ駆動システムは、医療器具の遠位端部を多自由度で動かすことができ、この多自由度は、3自由度の直線運動(例えば、X,Y,Zデカルト座標軸に沿った直線運動)及び3自由度の回転運動(例えば、X,Y,Zデカルト座標軸回りの回転)を含み得る。さらに、モータは、生検装置等のジョーで組織を把持するための器具の関節動作可能なエンドエフェクタを作動させるために使用されることができる。
遠隔操作医療システム10はまた、制御システム20も含む。制御システム20は、医療器具システム14、オペレータ入力システム16、及びエレクトロニクスシステム18の間で制御を行うための、少なくとも1つのメモリ及び少なくとも1つのプロセッサ(図示せず)、典型的には複数のプロセッサを含む。制御システム20はまた、本明細書に開示される態様に従う方法の幾つか又は全てを実装するプログラムされた指令(例えば、指令を格納するコンピュータ可読媒体)も含む。制御システム20が、図1Aの簡略化した概略図に単一のブロックとして示されているが、このシステムは、処理の一部が、必要に応じて、遠隔操作アセンブリ12で又はこれに隣接して実行され、処理の他の部分が、オペレータ入力システム16等で実行される、2以上のデータ処理回路を含んでもよい。多種多様な集中型又は分散型データ処理アーキテクチャのいずれかが用いられてもよい。同様に、プログラムされた指令は、多数の別々のプログラム又はサブルーチンとして実装されてもよい、又はそれらは、本明細書に記載される遠隔操作システムの多数の他の態様に組み込まれてもよい。1つの実施形態では、制御システム20は、ブルートゥース(登録商標)、IrDA、ホームRF、IEEE802.11、DECT、及び無線テレメトリのような無線通信プロトコルをサポートする。
幾つかの実施形態では、制御システム20は、医療器具システム14から力フィードバック及び/又はトルクフィードバックを受ける1又は複数のサーボコントローラを含み得る。フィードバックに応じて、サーボコントローラは、オペレータ入力システム16に信号を送信する。サーボコントローラ(複数可)はまた、患者の身体の開口部を介してこの身体内の内部手術部位内に延びる医療器具システム(複数可)14及び/又は内視鏡イメージングシステム15を移動させるように遠隔操作アセンブリ12に命令する信号を送信し得る。任意の適切な従来の又は専用のサーボコントローラが使用され得る。サーボコントローラは、遠隔操作アセンブリ12から分離され得る、又は遠隔操作アセンブリ12と一体にされ得る。幾つかの実施形態では、サーボコントローラ及び遠隔操作アセンブリは、患者の身体に隣接して位置決めされる遠隔操作アームカートの一部として設けられる。
遠隔操作医療システム10は、照明システム、操向(steering)制御システム、洗浄システム、及び/又は吸引システムのようなオプションの動作及びサポートシステム(図示せず)をさらに含み得る。代替実施形態では、遠隔操作システムは、1より多い遠隔操作アセンブリ及び/又は1より多いオペレータ入力システムを含み得る。マニピュレータアセンブリの正確な数は、他の要因の中でもとりわけ、外科処置及び手術室内の空間的制約に依存する。オペレータ入力システムが併置されてもよく、或いはそれらは別々の位置に配置されてもよい。複数のオペレータ入力システムは、1より多いオペレータが1又は複数のマニピュレータアセンブリを種々の組合せで制御することを可能にする。
図1Bは、外科医用コンソール16の斜視図である。外科医用コンソール16は、奥行き知覚を可能にする手術部位の調整された立体視を外科医Sに提示するための左目ディスプレイ32及び右目ディスプレイ34を含む。コンソール16はさらに、1又は複数の入力制御デバイス36を含み、この入力制御デバイス36は遠隔操作アセンブリ12に1又は複数の器具又は内視鏡イメージングシステムを操作させる。入力制御デバイス36は、外科医Sにテレプレゼンスを、又は外科医が器具14を直接的に制御しているという強い感覚を持つように、入力制御デバイス36が器具14と一体であるという知覚を提供するように、それらに関連付けられた器具14と同じ自由度を提供することができる。この目的を達成するために、位置、力、及び触覚フィードバックセンサ(図示せず)が、器具14から入力制御デバイス36を通じて外科医の手に戻って位置、力、及び触覚の感覚を伝達するために用いられ得る。
図1Cは、エレクトロニクスカート18の斜視図である。エレクトロニクスカート18は、内視鏡15に結合されることができるとともに、外科医コンソールの外科医に、或いは局所的に及び/又は遠隔に配置されたディスプレイに等、後の表示のために取り込まれた画像を処理するためのプロセッサを含むことができる。例えば、立体内視鏡が使用される場合、エレクトロニクスカート18は、外科医に手術部位の調整された立体画像を提示するように取り込まれた画像を処理することができる。このような調整は、対照させる画像の間のアライメントを含むことができるとともに。他の例として、画像処理は、光学収差のような、画像キャプチャ装置の結像誤差を補償するために以前に決定されたカメラ較正パラメータの使用を含むことができる。エレクトロニクスカート18はまた、ディスプレイモニタ及び制御システム20の構成要素も含むことができる。
図1Dは、患者側カートと称され得る遠隔操作アセンブリ12の1つの実施形態の斜視図である。図示された患者側カート12は、3つの手術ツール26(例えば、器具システム14)及び手術部位の画像の取り込みのために使用される立体内視鏡のようなイメージングデバイス28の操作を提供する。イメージングデバイス28は、ケーブル56でエレクトロニクスカート18に信号を送信し得る。操作は、幾つかのジョイントを有する遠隔操作機構によって提供される。イメージングデバイス28及び手術ツール26は、運動学的遠隔中心(kinematic remote center)が、切開部のサイズを最小化するために切開部で維持されるように、患者の切開部を通って、位置決めされるとともに操作されることができる。手術部位の画像は、手術ツール26がイメージングデバイス28の視野内に位置決めされるときに、手術ツール26の遠位端の画像を含むことができる。
患者側カート12は、駆動可能なベース58を含む。駆動可能なベース58は、伸縮コラム57に接続され、この伸縮コラムは、アーム54の高さの調節を可能にする。アーム54は、回転及び上下動の両方をする回転ジョイント55を含み得る。アーム54のそれぞれは、配向プラットフォーム(orienting device)53に接続され得る。配向プラットフォーム53は、360°の回転が可能であってよい。患者側カート12はまた、配向プラットフォーム53を水平方向に動かすための伸縮水平片持ち梁52も含み得る。
本例では、アーム54のそれぞれは、マニピュレータアーム51に接続している。マニピュレータアーム51は、医療器具26に直接接続し得る。マニピュレータアーム51は、遠隔操作可能であり得る。幾つかの例では、配向プラットフォームに接続しているアーム54は遠隔操作可能ではない。むしろ、このようなアーム54は、外科医Sが遠隔操作構成要素で手術を始める前に、要望通りに位置決めされる。
内視鏡イメージングシステム(例えば、システム15、28)は、硬性又は軟性内視鏡を含む様々な形態で提供され得る。硬性内視鏡は、内視鏡の近位端部に遠位端部から画像を伝送するためのリレーレンズシステムを収容する硬質チューブを含み、そこで画像はその後イメージセンサ(又は、立体内視鏡の場合、複数のセンサ)によって典型的には取り込まれる。現在の硬性内視鏡はまた、内視鏡自体のシャフトの内部に光学系及びカメラを入れることができ、よりコンパクト、計量、且つ、概して高性能な画像取得システムを作る。
他の分類の内視鏡、軟性内視鏡は、1又は複数の可撓性光学ガラスファイバ内部の画像を近位のカメラ又は複数のカメラに伝送する。現在の軟性内視鏡はまた、手術部位近くの、内視鏡の遠位端部に直接配置された小さいカメラモジュールを備えて構成されることもできる。このカメラは、可撓性ジョイント(又は複数のジョイント)を備える内視鏡シャフトに取り付けられた小さいハウジングの中に位置し、この可撓性ジョイント(又は複数のジョイント)は、内視鏡シャフトの主軸に対して視線方向(viewing direction)を動的に変えるために、制御リンケージ(例えば、スチールケーブル)により操縦されることができる。
人体内部のより多くを見る能力を提供するために、硬性内視鏡は、前方軸方向視のための0°の視野角を含む、異なる先端視野角、又は斜視(oblique viewing)のための0°から90°の間の固定視野角を持つユニットを備え得る。内視鏡シャフトの主長手方向軸から測定される、30°の視野角は、医療用内視鏡に関して非常に一般的である。これは、「のみ先端(chisel-tip)」又は「くさび形先端」のように見える先端を持つ内視鏡を作る。
デジタル画像ベースの内視鏡は、1又は複数の電荷結合素子(CCD)又は相補型金属酸化膜半導体(CMOS)デバイスのような遠位デジタルセンサが画像データを取得する「先端上のチップ」(COT)設計を有する。これらのイメージングチップは、撮像素子(imager)(複数可)の遠位の内視鏡シャフトの内部に取り付けられる小さいレンズアセンブリとともに使用される。
内視鏡イメージングシステムは、2又は3次元画像をビューア(viewer)に提供し得る。2次元(2D)画像は、シングルカメラを含み得るとともに限られた奥行き知覚(depth perception)を提供し得る。3次元(3D)立体内視鏡画像は、より正確な奥行き知覚をビューアに提供し得る。立体内視鏡器具は典型的には、患者の解剖学的構造の立体画像を取り込むために、物理的に小さい距離離間された、2つのカメラを用いる。2つの僅かに異なる場所から取られた、この2つの画像は、光学視差情報を含む。この視差情報は、適切に設計された立体ビューアに表示されるとき、それぞれの眼への手術部位の僅かに異なる視界を伴ってビューアに提示され、これは、2つのカメラによって見られている手術部位の3次元性を再現する。
図2Aは、ハンドル102及びハンドルに強固に結合されたシャフト104を含む硬性軸外立体内視鏡イメージング器具100を示す。ロールアダプタ106が、シャフト104及び/又はハンドル102に回転可能に結合される。シャフトは、遠位端部108及び近位端部110を含む。遠位端部108は、遠位イメージングデバイス、レンズ系、光ファイバ、又は他の立体画像取込及び伝送構成要素(図示せず)を収容する。遠位端部108は、光学要素の後に取り付けられた立体画像センサ対及びシールされたサファイヤ窓を含み得る。代替的には、ハンドル102は、イメージングデバイスを含み、画像は、レンズの系又は光ファイバ(複数可)を経由して光学的にシャフト104に沿って中継される。シャフト104は、挿入軸IAに沿って延びる。ケーブル107が、ハンドルから延びるとともにエレクトロニクスカート18と内視鏡100との間のインタフェースである。ケーブル107は、照明光ファイバ束(複数可)及びエレクトロニクスカート18からハンドル102への通信線を含み得る。図2Cに示されるように、器具100は、画角112及び114のような断面で示される光学視野(optical field of view)を有する。この実施形態では、画角は約30°であるが、挿入軸IAに対する斜め角度視に適する任意の角度であってよい。手動又は遠隔操作制御に反応して、遠隔操作アセンブリ(例えば、アセンブリ12)は、挿入軸IA周りに、器具ボディ102及びシャフト104を含む、イメージング器具100を回転させるように動作され得る。図2Aは、挿入軸IAに対して−30°又は下向きの角度を持つイメージング器具100を示す。ロールアダプタ106は、一定の向き及び位置に留まっている。図2Bは、挿入軸IAに対して+30°又は上向きの角度を持つ180°回転されたイメージング器具100を示す。ロールアダプタ106は、一定の向き及び位置に留まっている。シャフト104内の光学伝達系及び遠位デジタルセンサ(複数可)は、技術分野で知られている様々な方法で、入れられ得る。イメージング器具100が挿入軸IA周りに回転されるとき、シャフト104内の光学構成要素及び遠位デジタルセンサ(複数可)はシャフトと一緒に回転する。用語「上」、「下」、「上向き」、及び「下向き」は、概して反対方向を示すための説明目的のみに使用され、限定することを意図するものではない。
図2Dは、器具ハンドル102及びロールアダプタ106の結合を示す。アダプタ106は、内視鏡を遠隔操作システムのマニピュレータに取り付けるためのインタフェース並びにアームに取り付けられている間に内視鏡のロールを制御するための機構を提供する。ハンドル102は、そこにロールアダプタ106が結合されるキー付きカラー(keyed collar)を含む。キー付きカラー101は、ハンドル102に対するアダプタ106の回転を可能にする。図2Eに示されるように、アダプタ106は、マニピュレータアームによって使用されるディスク109間の歯車伝達装置105を提供するとともにキー付きカラー101と結合するキー付きローラ103を提供する。内視鏡ハンドルは、アダプタ106に取り付けられた2つの永久磁石の極性を検出することができる磁気センサを有する。これは、内視鏡が、0°及び180°アライメントに近い(near 0° and 180° alignment)アダプタの2つの離散ロール位置(two discrete roll positions)を検知することを可能にする。30°下構成は、0°ロール位置のアダプタ106に対応する。30°上構成は、180°ロール位置のアダプタに対応する。アダプタ106のディスク109は、マニピュレータアーム51の器具キャリッジに結合する器具無菌アダプタに結合する。器具キャリッジは、器具無菌アダプタの対応するディスクを駆動する独立したモータのセット(例えば、2以上のモータ)を含む。ロールアダプタ106のディスク109は、アダプタ106を適切な位置及び向きに強固に拘束するように、器具無菌アダプタの2つのロールディスクと結合する。アダプタのディスク109と係合される無菌アダプタのロールディスクは、遠隔操作システムが、内視鏡のロール角度を検知するとともに制御することを可能にする。
図2Fは、内視鏡角度設定間の遷移のための方法320を示す。プロセス322において、ユーザ入力指令が、内視鏡角度を(例えば、30°上から30°下に又はその逆に)反転させるために受信される。ユーザ選択は、図2Gに示されるようにコンソールタッチパッド340により提供され得る。コンソールタッチパッド340は、オペレータ入力システム16の構成要素であり得る。コンソールタッチパッド340は、ユーザの選択を制御システム20に送るタッチスクリーンボタン342を含む。代替実施形態では、ユーザ入力は、検出されたユーザの動作、制御デバイス36のスイッチ、オペレータ入力システム16の専用スイッチ、ユーザの体の一部によって操作される遠隔操作システム10内のいずれかのスイッチ、言語命令(verbal command)、視線命令(eye gaze command)、又はユーザ制御される器具(例えば、マウス)によって提供され得る。
プロセス324において、遷移後に器具先端が内視鏡の視野の外側になる可能性があるので、制御システム20は、一時的に、手術器具制御を無効にする。プロセス326において、現在のロール位置が、取得される。
プロセス328において、180°ロール向きゴールが計算される。ユーザが頭を傾ける、すなわち、足を見下ろすことから空を見上げることへ遷移するかのようなアイディアである。傾斜内視鏡(angled endoscope)を用いて、例えば30°下から30°上の間(又はその逆)の、遷移が、現在の向きから新しい向きへ180度の軸IA周りに内視鏡を回転させることによって達成される。
内視鏡及びキャリッジの自由度は、無限のロール運動ができる。これは、内視鏡が、任意の現在の角度位置から任意の新しい角度位置に時計回り方向又は反時計回り方向のいずれかで回転できることを意味する。しかし、一般的に、内視鏡ケーブルの連続的な巻きは回避されるべきである。したがって、制御システムは、内視鏡がいずれかの方向に1回転より多く回転することを防ぐために、ソフトウェアベースの制限を課し得る。内視鏡角度変更を実行するときのロール運動の方向は、最も近いロール制限から離れる方向に回転する。これは、内視鏡に取り付けられたケーブルに引き起こされるねじれを最小にする。
プロセス330において、ロール軌跡(roll trajectory)が、ロール位置及び速度の滑らか且つ連続的な運動を生成するように命じられる。例えば、コンソールタッチパッド340から命じられる場合、ロールは、ユーザの頭がビューアに戻るときに遷移が完了するように、迅速に(例えば、0.5秒未満で)実行され得る。プロセス332において、先端向きパラメータが更新される。内視鏡先端座標系(endoscope tip frame of reference)の向きを制御する運動学的パラメータは、新しいロール位置を組み入れるように調整される。これは、先端座標系の局所的なz軸周りに180°回転オフセットを適用することによって達成され得る。
プロセス334において、全ての内視鏡参照変換(endoscope referenced transforms)が更新される。全ての器具アームは、それらの運動を内視鏡先端座標空間にマッピングする(map)。この更新は、器具制御を再び有効にする前に実行される。プロセス336において、画像は、180°回転され、左及び右目映像源が交換される。ディスプレイシステムに表示された立体画像は、結果として内視鏡の物理的なロールを考慮するように変換され、そうでなければ、全てが逆さまに現れる。この変換は、個々の画像フレームバッファを180°だけ回転させることによって達成される。加えて、左及び右目画像源が交換される。プロセス338において、器具制御は、ロール変換が完了した後に再び有効にされる。
上述のように、内視鏡ハンドルはまた、2つの形態−0°及び180°位置(例えば、30°傾斜内視鏡の30°上及び30°下位置に対応する)の個別的な検知のためのセンサも含む。この特徴は、内視鏡が外科医又は手術室助手によって手で持たれているときに使用される。遠隔操作手術マニピュレータに結合されるとき、いったん内視鏡が設置され、正しく遠隔操作アーム器具キャリッジに係合されると、内視鏡のロール位置がロールアダプタキャリッジ駆動ディスクの角度によって直接的に決定され得るので、このセンサは無効にされる。
図3は、内視鏡イメージング器具100のロール位置を変える方法を示す。方法は、ビューアの方向感覚の喪失を最小にするために選択された画像の提示と器具ロール位置の調整を提供する。方法は、ロールセンサ(複数可)からロール位置インジケータ(すなわち、どのロール位置に内視鏡器具が現在あるかの表示)を受信するプロセス122を含む。代替実施形態では、ロール位置インジケータは、器具100それ自体によって又は器具のロール位置を認識するように構成された他の種類のセンサシステムから提供され得る。ロール位置インジケータは、例えば、器具100の30度視野角が上向き位置又は上向き位置から180°回転された下向き位置に向けられていることを示し得る。方法120は、位置インジケータによって示される第1のロール位置(例えば、30°上向き)で器具100から第1の画像データを取得するためのプロセス124を含む。方法は、器具100を第2のロール位置に位置決めするように器具100のロール角度を変えるために外科医コンソール(例えば、コンソール16)から入力を受信するプロセス126を含む。入力は、入力制御デバイス(例えば、デバイス36)又は外科医コンソールに位置する他のアクチュエータ(又は外科医コンソールの小さいタッチスクリーン部分のような入力デバイス)から受信され得る。ロール角度を変える指令は、制御システム(例えば、制御システム20)によって受信される。プロセス128では、制御システムは、そこに器具が器具100を所望のロール角度に回転させるようにモータを駆動させるために取り付けられるマニピュレータアーム(例えば、アーム51)を通じて信号を提供する。器具はしたがって、第2のロール位置に位置決めされる。プロセス130では、変更されたロール位置インジケータが、アダプタ106又は他のロールセンサから受信される。プロセス132では、その次の画像データが、第2のロール位置に位置決めされた器具100から取得される。例えば、画像データが連続的に受信されるビデオデータである場合、その次の画像データは、第1の画像データの直後のビデオのフレームに対するデータであり得る又はビデオの第1の画像データフレームの後の2つ又はより多くの幾つかのフレームであるビデオのフレームに対するデータであり得る。
プロセス134では、回転している器具の運動と整合された、画像が、ディスプレイに提供される。器具が初期角度位置と選択された角度位置との間で回転されるとき、ビューアに提示される画像は、患者の解剖学的構造の変化する視界を論理的に描くとともにビューアに対する方向感覚の喪失を最小にするように選択され得る。生成された画像は、ロール位置インジケータに基づく第1の又は後の画像データのいずれかからの回転された画像を含み得る。言い換えると、ロール位置インジケータは、以下により詳細に説明されるように、器具100によって取り込まれた画像の1又は複数が、ビューアの方向感覚の喪失を最小にするように回転されるべきであることを示し得る。このプロセスはまた、内視鏡の物理的なロールを考慮するとともに内視鏡先端の直立の向き(upright orientation)を維持するように運動学的パラメータを補償することを含む。内視鏡が30°上から30°下の形態まで回転されるとき、先端座標系は、Xs軸回りに60°だけ効果的に回転される。この表示変化を実際に実現するために、内視鏡は、その現在のロール位置から180°物理的にロールされ、180°ロールオフセットが、内視鏡先端座標系のZS軸に沿って適用される。このロールオフセットは、上下関係が正しい又は逆さまであるシステム及びビューアの感覚を訂正する。システムが180°だけ内視鏡をロールさせるとき、それは、どの方向に回転するかも決定する。方向は、内視鏡のソフトウェアロール制限の中に留まるように選択される。内視鏡及びマニピュレータキャリッジ自由度は無限のロールをサポートすることができるが、ロール制限が、内視鏡ケーブル巻き上げを防ぐために課され得る。
図4Aは、患者Pの解剖学的構造の初期領域138に向けられた視野114を伴う初期の向きの図2Aの軸外内視鏡イメージング器具100のシャフト104の遠位端部108を示す。図4Bは、患者Pの解剖学的構造の最終的な領域139に向けられた視野114を伴う最終的な向きの軸外内視鏡イメージング器具100のシャフト104の遠位端部108を示す。
図5Aは、図4Aのような患者Pの解剖学的構造の初期領域138に向けられた器具100の視野114での立体画像対140、142を示す。画像140、142は、立体画像を生成するように重なる(示された重なりの量は、実施形態をより明確に示すために小さい)。図5Bは、180°回転されるとともに図4Bのような患者Pの解剖学的構造の最終的な領域139に向けられた器具100の視野114を持つ立体重なり画像対144、146を示す。対の画像144、146は、逆さまであるように見え、したがって、ビューアに方向感覚を失わせ得るとともに領域139で介入処置を効率的に行うビューアの能力を制限し得る。ユーザの方向感覚並びに適切な立体視差を維持するために、ビューアの左及び右目に提示されるとき、画像144、146は、180°回転され得るとともに交換され得る。例えば、図5Cに示されるように、画像144、146それぞれによって描かれる左及び右目映像源は、180°回転され得る。加えて、図5Dに示されるように、左及び右目映像源は、ユーザの左及び右目への立体マッピングを維持するために交換され得る。ビューアの方向感覚の喪失を最小化するために、図5Aと図5Dとの間の画像変化は、画像と空間的な向きの連続性を維持するために様々な異なる方法で整合され得る。したがって、ユーザが「上」を見る要求に続いて、システムは、単純に、器具を180°ロールさせること、左及び右目への画像を交換すること、及び画像を180°だけ回転させることによってこれを達成することができる。
図6及び7A−7Cは、本開示の1つの実施形態による内視鏡器具の視野の方向を変える間に取り込まれた画像を提示する1つの方法を示す。この実装は、下向きの視野から上向きの視野の連続的な遷移を提供する一方、画像及び空間的な向きの連続性を維持する。固定30°視野角内視鏡を使用するよりむしろ、この実装は、内視鏡器具が、回転ピッチ運動ができる遠位端部を有する場合(例えば、「固定角度」内視鏡とは対照的な可撓性内視鏡)、軸方向回転なしに内視鏡器具を使用して達成され得る。図6に示されるように、プロセス152は、(器具シャフトの軸に対する)ピッチ下げ30°の向きの内視鏡イメージング器具の遠位端部で、患者の解剖学的構造の画像158(図7A)のような、立体画像を取得することを含む。プロセス154は、患者の解剖学的構造の画像を取り込みながら、ピッチ上げ運動で内視鏡イメージング器具の遠位端部を動かすことを含む。ピッチ上げ運動の間、画像160は、(器具シャフトの軸に対して)約0°の向きで取り込まれる。プロセス156は、(器具シャフトの軸に対する)ピッチ上げ30°の向きの内視鏡イメージング器具の遠位端部で、患者の解剖学的構造の画像162(図7C)のような、立体画像を取得することを含む。ピボット(pivoting)遠位端部器具を使用する、方法150は、上向きと下向き視野との間の理想的な連続的な遷移の例を提供する。器具の挿入軸周りに回転する硬性軸外内視鏡器具(例えば、器具100)を用いる画像提示実装は、画像158−162に示された例示の遷移に近づけるように整合され得る。
図8及び9A−9Eは、本開示の1つの実施形態による内視鏡器具の視野の方向を変える間に取り込まれた画像を提示する方法170を示す。この実装は、例えば、器具100のような固定軸外内視鏡イメージング器具を用いる。図8に示されるように、プロセス172は、(図4Aに示されるように)器具シャフトの挿入軸IAに対する−30°視野角のイメージング器具の遠位端で、患者の解剖学的構造の画像178(図9A)のような、立体画像を取得することを含む。プロセス174は、患者の解剖学的構造の画像を取り込みながら、挿入軸IA周りに180°(例えば、上述の方法120を使用して)イメージング器具の遠位先端を回転させることを含む。例えば、画像180、182、184は、器具が−30°視野角(画像178)から+30°視野角(画像184)に挿入軸IA周りに180°回転されるときに取り込まれる一連の画像である。画像184は逆さまであるようにビューアに現れるので、画像184は、プロセス176でユーザへの提示のためにひっくり返される。画像が、画像を180°回転させることによってひっくり返され、中間回転段階のいずれかを表示することを必須とせずに完全に回転された画像を表示する。画像186は、ひっくり返された画像184を描く。この実装は、動かない画像の使用を最小にし得るが、器具の回転の間の画像を表示することはあるビューアに方向感覚を喪失させ得る。
図10及び11A−11Fは、本開示の他の実施形態による内視鏡器具の視野の方向を変える間に取り込まれた画像を提示する方法190を示す。この実装は、例えば、器具100のような固定軸外内視鏡イメージング器具を用いる。図10に示されるように、プロセス192は、(図4Aに示されるように)器具シャフトの挿入軸IAに対する−30°視野角のイメージング器具の遠位端で、患者の解剖学的構造の画像200(1つの目が示され、他の目の表示は図を簡略にするために省略されている)(図11A)のような、立体画像を取得することを含む。プロセス194は、患者の解剖学的構造の画像を取り込みながら、挿入軸IA周りに90°(例えば、上述の方法120を使用して)イメージング器具の遠位先端を回転させることを含む。例えば、画像202、204は、器具が挿入軸IA周りに90°回転されるときに取り込まれる一連の画像である。画像204は、プロセス196でユーザへの提示のためにひっくり返される。画像が、画像を180°回転させることによってひっくり返され、中間回転段階のいずれかを表示することを必須とせずに完全に回転された画像を表示する。画像206は、ひっくり返された画像204を描く。プロセス198は、患者の解剖学的構造の画像を取り込みながら、(プロセス194と同じ回転方向に)挿入軸IA周りに90°イメージング器具の遠位先端をさらに回転させることを含む。例えば、画像208及び210は、器具が挿入軸IA周りに90°さらに回転されるときに取り込まれる一連の画像である。この実装は、動かない画像の使用を最小にし得るとともにビューアに逆さまに見える画像のいかなる提示も避け得る。しかし、ひっくり返し遷移(flip transition)は、あるビューアに混乱を起こさせ得る。
図12及び13A−13Fは、本開示の他の実施形態による内視鏡器具の視野の方向を変える間に取り込まれた画像を提示する方法220を示す。この実装は、例えば、器具100と同様であるが、立体イメージングではなく、単眼イメージングの固定軸外内視鏡イメージング器具を用いる。図12に示されるように、プロセス222は、(図4Aに示されるように)器具シャフトの挿入軸IAに対する−30°視野角のイメージング器具の遠位端で、患者の解剖学的構造の画像228(図13A)のような、画像を取得することを含む。プロセス224は、患者の解剖学的構造の画像を取り込みながら、挿入軸IA周りに180°(例えば、上述の方法120を使用して)イメージング器具の遠位先端を回転させることを含む。例えば、画像230、232は、器具が挿入軸IA周りに180°回転されるときに取り込まれる一連の画像である。画像232は、中間画像234のような、回転の動画中間画像を表示することによってプロセス226でユーザへの提示のために回転される。画像236は、画像232の180°回転の最終段階を描く。この実装は、動かない画像及び潜在的に混乱させる画像のひっくり返しの使用を回避し得る。この実装では、動画回転は、あるビューアに方向感覚を喪失させ得るとともに立体画像の使用は不可能にされ得る。
図14及び15A−15Fは、本開示の他の実施形態による内視鏡器具の視野の方向を変える間に取り込まれた画像を提示する方法240を示す。この実装は、例えば、器具100と同様であるが、立体イメージングではなく、単眼イメージングの固定軸外内視鏡イメージング器具を用いる。図14に示されるように、プロセス242は、(図4Aに示されるように)器具シャフトの挿入軸IAに対する−30°視野角のイメージング器具の遠位端で、患者の解剖学的構造の画像246(図15A)のような、画像を取得することを含む。プロセス244は、患者の解剖学的構造の画像を取り込みながら、挿入軸IA周りに180°(例えば、上述の方法120を使用して)イメージング器具の遠位先端を回転させることを含む。器具が回転していることと同時に、取り込まれた画像は動画ビデオ画像回転で180°逆回転される。例えば、画像248−256は、器具が挿入軸IA周りに180°回転される及び180°逆回転されるときに取り込まれる一連の画像である。画像256は、180°器具回転及び画像逆回転の最終段階を描く。この実装は、動かない画像の使用を回避し得、空間的な向きを維持し得、上述の方法150の理想的な遷移に密に近似させ得る。この実装では、センサが、内視鏡ロールを検知するために設けられ得る。ロールを検知することは、動画ビデオ画像との同期を可能にし得る。この実装では、立体イメージングは排除され得る。加えて、この実装は、遠隔操作システムのための制御システムが、内視鏡のロール及び提示画像の論理的なロールの両方を制御するので、器具100が遠隔操作システムに結合されるとき使用され得る。器具100が、遠隔操作システムへの取り付けなしの手動使用の場合、同様の実装が、代替センサでロールを検知することによって達成され得る。例えば、器具のセンサが、ハンドルに対するアダプタ106のロールを検知し得る又は加速度計が、重力に対する内視鏡ボディのロール角度を検知するために使用され得る。
図16及び17A−17Cは、本開示の他の実施形態による内視鏡器具の視野の方向を変える間に取り込まれた画像を提示する方法260を示す。この実装は、例えば、器具100のような固定軸外内視鏡イメージング器具を用いる。図16に示されるように、プロセス262は、(図4Aに示されるように)器具シャフトの挿入軸IAに対する−30°視野角のイメージング器具の遠位端で、患者の解剖学的構造の画像272(図17A)のような、画像を取得することを含む。プロセス264は、取得した画像272を動かなくすることを含む。プロセス266は、挿入軸IA周りに180°(例えば、上述の方法120を使用して)イメージング器具の遠位先端を回転させることを含む。プロセス268は、(図4Bに示されるように)器具シャフトの挿入軸IAに対する+30°視野角のイメージング器具の遠位端で、患者の解剖学的構造の画像276(図17C)のような、画像を取得することを含む。プロセス270は、画像274に示されるように画像272、276の間の3次元遷移動画を生成することを含む。この遷移動画は、回転するボックスの面にマッピングされた上向き及び下向き画像を提示する。この実装は、上述の理想的な遷移方法150に密に近似し得るとともビューアの空間的な向きを維持し得る。この実装は、3次元ビデオ遷移効果(three-dimensional video transition effect)を用い得る。
図18及び19A−19Dは、本開示の他の実施形態による内視鏡器具の視野の方向を変える間に取り込まれた画像を提示する方法280を示す。この実装は、例えば、器具100のような固定軸外内視鏡イメージング器具を用いる。図18に示されるように、プロセス282は、(図4Aに示されるように)器具シャフトの挿入軸IAに対する−30°視野角のイメージング器具の遠位端で、患者の解剖学的構造の画像292(図19A)のような、画像を取得することを含む。プロセス284は、取得した画像292を動かなくすることを含む。プロセス286は、挿入軸IA周りに180°(例えば、上述の方法120を使用して)イメージング器具の遠位先端を回転させることを含む。プロセス288は、(図4Bに示されるように)器具シャフトの挿入軸IAに対する+30°視野角のイメージング器具の遠位端で、患者の解剖学的構造の画像298(図19D)のような、画像を取得することを含む。プロセス290は、画像294及び296に示されるように画像292、298の間のワイプ遷移動画(wipe transition animation)を生成することを含む。ワイプ遷移の指向性(directionality of the wipe transition)は、視野角の変化に対応する(すなわち、30°上から30°下に変化するとき上部から底部をワイプする又は30°下から30°上に変化するとき底部から上部をワイプする)。この実装は、立体画像の使用を可能にする。この実装は、ビデオワイプ遷移効果を用い得るが、代替実施形態では、他の動画遷移効果を使用し得る。
代替実施形態では、視野の方向の変える間に取り込まれる画像を提示するための他の技法が使用され得る。例えば、イメージング器具の物理的なロール手順の間に、非手術画像が表示され得る。例えば、非手術画像は、空白の単色枠(blank mono-color pane)、グラフィック(graphic)、ロゴ(logo)、英数字メッセージであり得る。代替的には、イメージング器具の物理的なロール手順の間に、手術画像の動かないフレームが表示され得る。
本発明の実施形態における1つ又は複数の要素は、制御処理システムのようなコンピュータシステムのプロセッサ上で実行するソフトウェアに実装され得る。ソフトウェアに実装されるとき、本発明の実施形態の要素は、本質的に、必要なタスクを行うコードセグメントである。プログラム又はコードセグメントは、プロセッサ可読記憶媒体又は装置に記憶することができ、伝送媒体又は通信リンクにわたる搬送波で具現化されるコンピュータデータ信号としてダウンロードされ得る。プロセッサ可読記憶装置は、光媒体、半導体媒体、及び磁気媒体を含む、情報を記憶することができる任意の媒体を含み得る。プロセッサ可読記憶装置の例は、電子回路、半導体デバイス、半導体メモリデバイス、読取り専用メモリ(ROM)、フラッシュメモリ、消去可能プログラマブル読取り専用メモリ(EPROM)、フロッピー(登録商標)ディスケット、CD−ROM、光ディスク、ハードディスク、又は他の記憶装置を含む。コードセグメントは、インターネット、イントラネット等のコンピュータネットワークを介してダウンロードされ得る。
画像フリップ及び回転が、ハードウェア又はソフトウェアによってビデオ処理パイプラインで実行され得る。代替的には、画像フリップ及び回転は、追加的な遅延を避ける利点を有する水平及び/又は垂直ラスタ方向を変えることによってディスプレイ装置上の画像の向きを変えることによってもたらされることができ、これは、制御レジスタをプログラム的に更新することによって、いくつかのLCDコントローラで達成されることができる。
提示された処理及び表示は、いかなる特定のコンピュータ又は他の装置にも本質的には関連しないということに留意されたい。種々の汎用システムが、本明細書における教示によるプログラムと共に使用され得る、又は、記載された動作を行うためにより専用化された装置を構築することが便利であると証明し得る。種々のこれらのシステムに対する要求される構成は、特許請求の範囲における要素として明らかになるであろう。加えて、本発明の実施形態は、いかなる特定のプログラム言語を参照しても記載されていない。種々のプログラム言語が本明細書に記載された本発明の教示を実装するために使用され得ることが理解されるであろう。
本発明の特定の例証的な実施形態が記載されるとともに添付の図面に示されているが、そのような実施形態は単に広範囲の発明の例示であって、その広範囲の発明を限定するものではなく、本発明の実施形態は、種々の他の修正形態が当業者に対して生じ得るため、図示され且つ記載された特定の構造及び配置に限定されないことが理解されるべきである。