JP2022514635A - デュアル画像センサを有する内視鏡 - Google Patents

Abstract

内視鏡カメラは、部分的にオーバーラップする視野を提供するように位置付けられた、遠位端部に位置付けられた２つ以上のカメラを有する。カメラは、キャプチャされたデジタル画像を可撓性内視鏡の長さに通信し、そこで、デジタル画像は、保存及び処理されて、更なる撮像特徴部を提供し得る。２つ以上のカメラからの部分的にオーバーラップする画像を用いて、画像処理は、パノラマ画像、超解像画像、及び三次元画像を提供することができる。これらの画像モードのうちの１つ以上はまた、より大きい又はより高い解像度の画像の一部分を表示する仮想化ウィンドウを提供するように、拡張され得る。仮想化ウィンドウは、画像の選択された領域を表示し、画像の周囲で運動するか又はズームされて、仮想内視鏡再位置決め体験を提供してもよく、内視鏡は、静的に位置付けられたままであるが、仮想化ウィンドウは、手術領域の周りの運動及びナビゲーションの感覚を提示する。

Description

（優先権）
本出願は、米国特許仮出願第６２／７８２，６９７号、発明の名称Ｅｎｄｏｓｃｏｐｅ ｗｉｔｈ Ｄｕａｌ Ｉｍａｇｅ Ｓｅｎｓｏｒｓ（２０１８年１２月２０日出願）（開示内容は参照により本明細書に組み込まれている）に対する優先権を主張するものである。

画像誘導手術（ＩＧＳ）は、コンピュータを用いて、患者の体内に挿入された器具の位置の、術前に入手された画像（例えば、ＣＴスキャン又はＭＲＩスキャン、３Ｄマップなど）のセットに対するリアルタイムの相関を入手することで、コンピュータシステムが器具の現在の位置を術前に入手された画像に重ね合わせ得る技術である。ＩＧＳ処置で使用できる電磁ＩＧＳナビゲーションシステムの例は、Ｂｉｏｓｅｎｓｅ－Ｗｅｂｓｔｅｒ，Ｉｎｃ．（Ｉｒｖｉｎｅ，Ｃａｌｉｆｏｒｎｉａ）によるＣＡＲＴＯ（登録商標）３ Ｓｙｓｔｅｍである。いくつかのＩＧＳ処置では、術野のデジタルトモグラフィスキャン（例えば、ＣＴ又はＭＲＩ、３Ｄマップなど）を外科手術前に取得する。次に、特別にプログラムされたコンピュータを用いて、デジタルトモグラフィスキャンデータをデジタルマップに変換する。外科手術中、センサ（例えば、電磁界を発生させる及び／又は外部で発生した電磁界に反応する電磁コイル）を有する特別な器具を用いて処置を実行し、同時に、センサがコンピュータに各手術用器具の現在位置を示すデータを送る。コンピュータは、センサから受信したデータを、術前トモグラフィスキャンから作成されたデジタルマップと相関付ける。トモグラフィスキャン画像は、スキャン画像内に示される解剖学的構造に対する各手術用器具のリアルタイム位置を示す指標（例えば、クロスヘア又は照明ドットなど）と共にビデオモニタ上に表示される。したがって、外科医が器具自体を体内のその現在の位置において直接視覚化することができない場合であっても、ビデオモニタを見ることによって、各センサ搭載器具の正確な位置を知ることができる。

ＩＧＳナビゲーションシステムは外科処置中に有用なビュー及び情報を提供するが、外科医はまた、手術中である解剖学的構造のリアルタイムの写真及びビデオを所望し得る。このような場合、内視鏡が、解剖学的構造の画像をキャプチャするためにＩＧＳナビゲーションの支援で手術部位に展開されてもよく、また、切断ツールなどの他の手術用器具と対をなすか、又は別の方法で展開されてもよい。このような様態でキャプチャされた写真画像及びビデオは、一般化されかつシミュレートされた画像のみを提供し得るＩＧＳナビゲーション画像よりも有用であり得る。

内視鏡によってキャプチャされた画像はまた、解剖学的構造の二次元（２Ｄ）表現に限定されるため、外科医による直接的な視覚的な観測結果と比較していくぶん限定され得る。結果として、切断、焼灼、及び他の重要なアクションは、いずれも真の三次元（３Ｄ）観測結果で利用可能なデプス知覚の感覚を提供することができない、２Ｄ内視鏡及びＩＧＳナビゲーションの組み合わせを用いて実行され得る。３Ｄ観測結果の利益を伴わずに手術用器具を操作し及び動作させることにより、位置決めツールに費やされる時間が増加する可能性があり、エラーの可能性が増大する可能性がある。いくつかの３Ｄ内視鏡カメラが存在するが、これらの３Ｄ内視鏡カメラは、複雑性及びコストが高く、最も一般的には、剛性部分及び非可撓性部分を有する変形形態で利用可能であり、いくつかの処置には用いるのが困難又は不可能である。可撓性及び３Ｄ特徴部の両方を有する実装形態は、キャプチャされた画像を、遠位カメラから近位ビューワに、光として伝送するために高価かつ脆弱な光ファイバーコンポーネントを必要とする。結果として、従来の、３Ｄ内視鏡の選択肢は、高価であり、利用可能な特徴部に限定され、かつ大量使用及び廃棄性に好適でない。

外科処置において、いくつかのシステム及び方法が製造及び使用されてきたが、本発明者ら以前に、添付の特許請求の範囲に記載される発明を製造又は使用した者はいないと考えられる。

本明細書は、本発明を具体的に示し、明確にその権利を請求する特許請求の範囲をもって結論とするものであるが、本発明は以下の特定の実施例の説明を添付図面と併せ読むことでより深い理解が得られるものと考えられる。図中、同様の参照番号は同様の要素を示す。
例示的な医療処置チェアに着座した患者に使用される例示的な手術ナビゲーションシステムの概略図を示す。 例示的なデュアルカメラ内視鏡の概略図を示す。 図２のデュアルカメラ内視鏡の遠位先端部の正面斜視図を示す。 図３Ａの遠位先端部の正面立面図に重ねられたシミュレートされた座標系を示す。 図２のデュアルカメラ内視鏡の部分的にオーバーラップする視野の例示的なセットの側面概略図を示す。 図４Ａの部分的にオーバーラップする視野のセットの上面概略図を示す。 図２のデュアルカメラ内視鏡の完全にオーバーラップする視野の例示的なセットの側面概略図を示す。 図５Ａの完全にオーバーラップする視野のセットの上面概略図を示す。 図２のデュアルカメラ内視鏡を用いて拡張された内視鏡視野を提供するために実行され得る工程の例示的なセットのフローチャートを示す。 図２のデュアルカメラ内視鏡を用いてパノラマ内視鏡視野を提供するために実行され得る工程の例示的なセットのフローチャートを示す。 図２のデュアルカメラ内視鏡を用いて三次元内視鏡視野を提供するために実行され得る工程の例示的なセットのフローチャートを示す。 図２のデュアルカメラ内視鏡を用いて超解像内視鏡視野を提供するために実行され得る工程の例示的なセットのフローチャートを示す。 １つ以上の拡張された内視鏡視野の仮想化ウィンドウを提供するために実行され得る工程の例示的なセットのフローチャートを示す。 例示的なパノラマビューのための入力画像のセットの概略図を示す。 図１１Ａのパノラマビューの出力画像の概略図を示す。 例示的な仮想化ウィンドウビューのための入力画像の概略図を示す。 図１２Ａの例示的な仮想化ウィンドウビューのための出力画像の概略図を示す。 仮想化ウィンドウビューのための入力画像の概略図を示す。 図１２Ａのビューから図１３Ａのビューへのナビゲーション中の第１の出力画像の概略図を示す。 図１２Ａのビューから図１３Ａのビューへのナビゲーション中の第２の出力画像の概略図を示す。 図１２Ａのビューから図１３Ａのビューへのナビゲーション中の第３の出力画像の概略図を示す。

図面は、いかなる方式でも限定することを意図しておらず、本発明の様々な実施形態は、図面に必ずしも描写されていないものを含め、他の様々な方式で実施し得ることが企図される。本明細書に組み込まれ、その一部をなす添付図面は、本発明のいくつかの態様を図示したものであり、本説明文と共に本発明の原理を説明する役割を果たすものである。しかしながら、本発明が、示される正確な配置に限定されない点は理解される。

本発明の特定の実施例の以下の説明文は、本発明の範囲を限定する目的で用いられるべきではない。本発明の他の実施例、特徴部／機構、態様、実施形態、及び利点は、本発明を実施するために想到される最良の形態の１つを実例として示す以下の説明文より、当業者には明らかとなろう。理解されるように、本発明は、いずれも本発明から逸脱することなく、他の異なるかつ明白な態様が可能である。したがって、図面及び説明は、限定的な性質のものではなく、例示的な性質のものと見なされるべきである。

「近位」及び「遠位」という用語は、本明細書では、ハンドピースアセンブリを把持している臨床医に対して使用されることが理解されるであろう。すなわち、エンドエフェクタは、より近位のハンドピースアセンブリに対して遠位側にある。便宜上及び明確さのために、「上部」及び「下部」などの空間用語もまた、本明細書において、ハンドピースアセンブリを把持している臨床医を基準にして使用されていることが更に理解されよう。しかしながら、手術用器具は、多くの向き及び位置で使用されるものであり、これらの用語は、限定的かつ絶対的なものであることを意図するものではない。

本明細書に記載の教示、表現、変形、実施例などのうちのいずれか１つ以上を、本明細書に記載の他の教示、表現、変形、実施例などのうちのいずれか１つ以上と組み合わせることができる点も更に理解される。したがって、以下に記載されている教示、表現、変形例、実施例などは、互いに独立して考慮されるべきではない。本明細書の教示に照らして、本明細書の教示を組み合わせることができる様々な好適な方式が、当業者には容易に明らかとなろう。このような修正及び変形は、「特許請求の範囲」内に含まれるものとする。

Ｉ．例示的な画像誘導手術ナビゲーションシステム
患者（Ｐ）の頭部内で医療処置を実行するとき、内視鏡画像を含む、患者（Ｐ）の頭部内の器具の位置に関する情報を有することが望ましい場合がある。図１は、画像誘導を用いてＥＮＴ処置を実行することを可能にする例示的なＩＧＳナビゲーションシステム（１０）を示す。本明細書に記載されている構成要素及び動作性を有することに加えて、あるいはそれに代えて、ＩＧＳナビゲーションシステム（１０）は、以下の文献の教示の少なくとも一部に従って構成され、動作可能であり得る。すなわち、米国特許第７，７２０，５２１号、発明の名称「Ｍｅｔｈｏｄｓ ａｎｄ Ｄｅｖｉｃｅｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１０年５月１８日発行）（開示内容は参照により本明細書に組み込まれている）、米国特許出願公開第２０１４／０３６４７２５号、発明の名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｉｍａｇｅ Ｇｕｉｄｅｄ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１４年１２月１１日公開）（開示内容は参照により本明細書に組み込まれている）。

ＩＧＳナビゲーションシステム（１０）のプロセッサ（１２）は、１つ以上のメモリと通信する１つ以上の処理ユニット（例えば、マイクロプロセッサ、論理プロセッサ、又はプログラミング命令を実行するために使用可能な他の回路）を含む。処理ユニット及びメモリは、ＩＧＳナビゲーションシステム（１０）に近接して位置付けられ得る（例えば、ＩＧＳナビゲーションシステム（１０）が使用中である外科用スイート内のコンピュータ又は他の機器内にあり得る）か、又は遠隔位置に位置付けられて、ネットワークを介してＩＧＳナビゲーションシステム（１０）と通信し得る（例えば、コンピュータ、サーバ、又は病院内の他の場所、異なる建物、若しくはクラウドホスト環境におけるなど、外科用スイート外の、他の機器置内にあり得る）。

本実施例のプロセッサ（１２）は、キーパッド及び／又はマウス若しくはトラックボールなどのポインティングデバイスを含む動作制御部（１４）を含むコンソール（１８）内に装着されている。医師は、外科処置を実行しながら、プロセッサ（１２）と相互作用する動作制御部（１４）を使用する。プロセッサ（１２）は、プロセッサ（１２）のメモリに記憶されたソフトウェアを用いて、ＩＧＳナビゲーションシステム（１０）を較正し及び動作させる。このような動作は、デュアルカメラ内視鏡（５０）などの器具からのデータを処理することを含み、デュアルカメラ内視鏡（５０）は、内部のビデオ及び画像をキャプチャするように、可撓性であり、かつ患者の頭部内に挿入可能であるシャフト（５２）を含む。いくつかの変形例では、内視鏡（５０）の遠位部分は、患者（Ｐ）の頭部内の内視鏡（５０）の遠位部分の位置を示す信号を生成するように動作可能である１つ以上の位置センサを含む。このような位置感知能力は、本明細書に引用される様々な参考文献の教示に従って提供され得る。

プロセッサ（１２）による動作はまた、動作制御部（１４）からのデータを処理することと、ディスプレイスクリーン（１６）を駆動することと、も含み得る。プロセッサ（１２）は、ディスプレイスクリーン（１６）を介して映像をリアルタイムで提供するように更に動作可能であり、このことは、内視鏡画像（例えば、デュアルカメラ内視鏡（５０）を介してキャプチャされる）、患者の頭部の術前ＣＴスキャン画像、及び／又は患者の鼻腔内の及び患者の鼻腔に隣接する解剖学的構造のコンピュータで生成された三次元モデルを示すことを含み得る。ディスプレイスクリーン（１６）は、外科処置中にこのような画像を同時に及び／又は互いに重ね合わせて表示し得る。単に例として、ディスプレイスクリーン（１６）は、米国特許出願公開第２０１６／０００８０８３号、発明の名称「Ｇｕｉｄｅｗｉｒｅ Ｎａｖｉｇａｔｉｏｎ ｆｏｒ Ｓｉｎｕｐｌａｓｔｙ」（２０１６年１月１４日公開）（開示内容は参照により本明細書に組み込まれている）の教示の少なくとも一部に従って画像を提供してもよい。

ディスプレイスクリーン（１６）によって提供される画像は、操作者が患者の頭部内で器具を操縦する、及び他の方法で操作する際に誘導することに役立ち得る。ＩＧＳナビゲーションシステム（１０）のいくつかの実装形態はまた、本明細書の教示を考慮することで当業者には明らかとなるように、手術用器具のリアルタイム位置追跡と、術前画像上の追跡位置の重ね合わせと、外科用器具の追跡位置を用いて、処置中に情報、ガイダンス、及び安全警告を提供することと、を含む、様々な他のＩＧＳナビゲーション特徴部を提供し得る。

ＩＩ．例示的なデュアルセンサ内視鏡
ディスプレイスクリーン（１６）などのディスプレイを介して画像を表示するためのデュアルカメラ内視鏡（５０）の使用は、外科処置の準備、外科処置中、及び外科処置後に有利であり得る。複数（例えば、デュアルカメラ内視鏡（５０）の場合は２つ、他の実装形態は、３つ以上を含み得る）のカメラ又は他のタイプの画像センサを含むことによって、以下により詳細に記載するように、追加の画像データをキャプチャして用いて、改善された解像度、視野の改善、三次元画像深度、及び他のものなどの多数の有利な特徴部を提供することができる。

図２は、例示的なデュアルカメラ内視鏡（５０）などの内視鏡の概略図を示す。デュアルカメラ内視鏡（５０）は、デバイスの近位端部の連結ユニット（５４）及び制御部（５６）と、デバイスの近位端部から柔軟に延在するシャフト（５２）と、を含む。カメラ（５９）のセットは、シャフト（５２）の遠位端部に位置付けられ、それらの視野内で画像をキャプチャするように動作可能である。いくつかの実装形態では、カメラ（５９）のセットは、画像センサから連結ユニット（５４）にデジタル画像データを搬送することができる、シャフト（５２）の長さに沿って延在する、１つ以上のケーブル、ワイヤ、又は他の接続部を介して連結ユニット（５４）などのデバイスに接続された、シャフト（５２）の遠位端部に位置付けられた１つ以上の画像センサ又は画像キャプチャデバイスを含み得る。いくつかの実装形態では、カメラ（５９）のセットは、シャフト（５２）の近位端部に位置付けられた１つ以上の画像又はセンサ又は画像キャプチャデバイスを含み得、光ファイバなどの対応する光伝送器が、シャフト（５２）の長さに沿って延在する。このような実装形態では、各々の対応する光ファイバは、遠位端部のレンズと結合されて、光（例えば、画像）をキャプチャして光ファイバ内にフォーカスし、近位に位置付けられた画像キャプチャデバイス又は画像センサに移送し得る。

また、シャフト（５２）の遠位端部には、手術部位の照明又は透光を提供するように動作可能な光（６４）（例えば、ＬＥＤ、光ファイバ、赤外線光源、又は他の照明要素）も、位置付けられている。いくつかの実装形態では、カメラ（５９）のセット及び光（６４）は、明るい光と対をなす高フレームレート画像キャプチャが可能なカメラ、赤外光と対をなす赤外線センサを有するカメラ、又は、薄暗い光又は中程度に明るい光と対をなす低光量画像キャプチャが可能なカメラなど、互いに補完するように選択され得る。シャフト（５２）の遠位端部はまた、手術部位で流体を提供し、例えば、カメラ（５９）のセット及び光（６４）のカバー又はレンズを洗浄するか、又は手術部位から流体を除去する（例えば、吸引を提供することによって）ために使用され得る、１つ以上の灌注チャネル（６２）も含む。また、器具チャネル（５８）も含まれ、器具チャネル（５８）を通して、他の可撓性器具をシャフト（５２）の近位端部から遠位端部まで前進させて、このような器具の手術部位へのナビゲーションを支援し得る。上述したように、デュアルカメラ内視鏡（５０）はまた、ＩＧＳナビゲーションシステム（１０）の１つ以上の器具追跡特徴部によって追跡され得る位置センサ（図示せず）を、このような特徴部が提供される場合に、含み得る。

制御部（５６）をユーザによって相互作用させて、カメラ（５９）のセット又は光（６４）をオンにするか、又は灌注チャネル（６２）に洗浄用流体を提供させるなど、デュアルカメラ内視鏡（５０）の１つ以上の特徴部を構成、有効に、又は無効にし得る。連結ユニット（５４）は、プロセッサ（１２）などのＩＧＳナビゲーションシステム（１０）の１つ以上の他のデバイスとの通信を提供し得る。連結ユニット（５４）は、有線（例えば、ＵＳＢ、光ファイバ、イーサネット）又は無線（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ）接続を介してプロセッサ（１２）と通信可能に接続され得、キャプチャされた画像がディスプレイスクリーン（１６）を介して表示され得るように、カメラ（５９）のセットによってキャプチャされた画像データをプロセッサ（１２）に提供するように構成され得る。

図３Ａは、デュアルカメラ内視鏡（５０）などの内視鏡の遠位先端部の正面斜視図を示す。シャフト（５２）と同様の特徴部及び機能を有するシャフト（８０）の遠位部分は、遠位先端部（６６）を含む。遠位先端部（６６）は、光（６４）と同様の特徴部及び機能を有する光（７４）と、器具チャネル（５８）と同様の特徴部及び機能を有する器具チャネル（６８）と、を含む。遠位先端部（６６）はまた、カメラ（５９）のセットと同様の特徴部及び機能を有する第１のカメラ（６０）及び第２のカメラ（６１）も含む。遠位先端部（６６）の正面図上に重ねられた座標系を示す図３Ｂを参照して分かるように、第１のカメラ（６０）及び第２のカメラ（６１）は、垂直軸（６９）上で実質的に同じ座標にありながら、水平軸（６７）の異なる座標に位置する。このようにして、第１のカメラ（６０）及び第２のカメラ（６１）によってキャプチャされた画像は、第２の軸に沿って実質的に一致しながら、第１の軸に沿って互いからオフセットされた２つの異なる視野の画像であり得る。第１のカメラ（６０）及び第２のカメラ（６１）は、同じタイプのカメラであってもよく、画像キャプチャの速度、品質、及び視覚特性に関して同様の能力を有してもよい。

第１のカメラ（６０）及び第２のカメラ（６１）を、遠位先端部（６６）で画像データをデジタル的にキャプチャすることが可能なデジタル撮像デバイスとして実装し、かつシャフト（５２）内の可撓性データ接続部のセット（図示せず）を介して、画像データを電子信号として連結ユニット（５４）に提供することが、有利であり得る。可撓性データ接続部（図示せず）は、シャフト（５２）が屈曲する際に、有意な抵抗を提供することなく、又はこのような屈曲の結果によって切断されることなく、屈曲し得る。加えて、可撓性データ接続部のセット（図示せず）は、光ファイバケーブルほどに高価でなく、かつ脆弱でない材料及び構成（例えば、銅又はアルミニウムデータケーブリング、固体又は撚りデータケーブル布線）で作製されてもよく、そのため、このような実装形態において、遠位先端部（６６）から連結ユニット（５４）にシャフト（５２）を介して画像及び画像データを伝送するのに、有利であり得る。図３Ａにあるように位置決めされたカメラ（５９）のセットを用いると、各カメラによって同時にキャプチャされた出力画像が実質的に同様の照明特性及び他の視覚特性を有することとなるように、使用中に第１のカメラ（６０）及び第２のカメラ（６１）の各々に同様の照明を提供するために、光（６４）を、有利なことに、実質的に等距離に位置決めし得る。

図３Ａに示される遠位先端部（６６）はまた、灌注チャネル（６２）と同様の特徴部及び機能を有し、かつ各々がカメラ（５９）のセットの対応するカメラに近接して位置付けられた、第１のチャネル（６３）及び第２のチャネル（６５）の出口も含む。このようにして、第１のチャネル（６３）を、第１のカメラ（６０）のカバー又はレンズに方向付けられた洗浄及び灌注流体を提供するように動作させてもよい一方、第２のチャネル（６５）を、第２のカメラ（６１）のカバー又はレンズに方向付けられた洗浄及び灌注流体を提供するように動作させてもよい。第１チャネル（６３）などの灌注チャネル（６２）の別個のチャネルを、異なるモードで（例えば、特定のノズルに流体を方向付けるための弁のセットを使用することによって、又は１つ以上の圧力解放弁を開くために提供される流体の圧力を変化させることによって）動作させて、部位に全体的な灌注を提供し、特定の実装形態に所望され得るように、対応するカメラ又はその両方に方向付けられた灌注を提供する。例えば、一実装形態では、第１のより低い圧力で提供された流体は、第１のカメラ（６０）の第１のチャネル（６３）の第１のノズルから流体の流れを方向付け得る。第２のより高い圧力で流体を提供することにより、第１のチャネル（６３）の遠位端部の解放弁が、開放し、第１のチャネル（６３）の第２のノズルから流体を供給して、領域の全体的な灌注を提供し得る。

図３Ａに見られるようにカメラ（５９）のセットを位置決めする１つの利点は、様々な実装形態において部分的に又は完全にオーバーラップし得る２つの別個の視野から、画像データを提供することである。例えば、図４Ａは、デュアルカメラ内視鏡（５０）などの内視鏡を用いてキャプチャされ得る、部分的にオーバーラップする視野の例示的なセットの側面概略図を示す一方、図４Ｂは、部分的にオーバーラップする視野のセットの上面概略図を示す。分かるように、第１のカメラ（６０）及び第２のカメラ（６１）は、標的表面（１００）までのこれらのカメラのそれぞれの視線が平行であるように、配向されている。第１のカメラ（６０）は、標的表面（１００）の第１の視野（１０２）を提供する一方、第２のカメラ（６１）は、標的表面（１００）の第２の視野（１０４）を提供する。第１の視野（１０２）及び第２の視野（１０４）もまた、組み合わさって、組み合わされた視野（１０６）を提供し、この視野内では、各カメラが、標的表面（１００）を、わずかに異なる位置から平行に見る。

いくつかの実装形態では、カメラ（５９）のセットはまた、これらのカメラの標的表面（１００）に対する視線が、平行ではなく互いに向かって交差するか、収束するか、又は他の方法で配向されるように、配向され得る。例えば、図５Ａは、デュアルカメラ内視鏡のオーバーラップする視野の例示的なセットの側面概略図を示す一方、図５Ｂは、オーバーラップする視野のセットの上面概略図を示す。分かるように、第１のカメラ（６０）及び第２のカメラ（６１）は、これらのカメラのそれぞれの視線が、互いに向かって交差するか、収束するか、又は他の方法で配向されるように、配向されている。前の実施例と同様に、第１のカメラ（６０）は、第１の視野（１０８）を提供する一方、第２のカメラ（６１）は、第２の視野（１１０）を提供し、これらの視野が組み合わさって、組み合わされた視野（１１２）を提供する。分かるように、第１の視野（１０８）及び第２の視野（１１０）は、組み合わされた視野（１１２）を生成するときに、完全に又は実質的にオーバーラップし得る。完全にオーバーラップすると、第１の視野（１０８）及び第２の視野（１１０）の固有の部分は、非存在又はヌル値であり得る。実質的にオーバーラップすると、第１の視野（１０８）及び第２の視野（１１０）の固有の部分は、組み合わされた視野（１１２）の各縁部に、画像データの無視できる部分を含み得る。

図４Ｂ及び図５Ｂを比較すると、カメラの平行な向きが、広い全体視野（例えば、第１視野（１０２）及び第２視野（１０４）の外縁間の距離は、第１視野（１０８）及び第２視野（１１０）の外縁間の距離よりも大きい）、及び狭い組み合わされた視野（例えば、組み合わされた視野（１０６）の幅は、組み合わされた視野（１１２）の幅よりも小さい）を提供することが分かる。カメラの交差配向又は収束配向は、第１の視野（１０８）及び第２の視野（１１０）が実質的に又は全体的にオーバーラップするため、より狭い全体視野を提供するが、組み合わされた視野（１１２）は、実質的により大きい。

各実装形態（例えば、全幅を最大化するか、又はオーバーラップの幅を最大化するかどうか）は、場合によっては望ましい場合がある。簡潔な実施例として、第１の視野（１０２）及び第２の視野（１０４）の広い全体視野は、広角撮影又はパノラマビュー画像を生成するのに有用であり得る。別の実施例として、組み合わされた視野（１１２）の広い組み合わされた視野などの広い組み合わされた視野は、立体画像又は三次元画像を生成するために、視差画像概念を利用するアップスケールされた画像又は複数の画像を生成するのに有用であり得る。これらの実施例及び他の実施例を、以下により詳細に記載する。

カメラのセット（５９）は、いくつかの実装形態では、特定の用途のための最も望ましい視野を提供するために、互いに対して静的に配向され得る。このことは、図４Ａに示されるようにこれらのカメラの視線が平行であるように、カメラを静的に配向すること、又はこれらのカメラの視線が様々な距離で交差するように、カメラを静的に配向すること（例えば、内視鏡が典型的には手術部位から２インチに位置付けられる場合、静的交差配向は、このような距離に対して最適化され得る）を含み得る。

他の実装形態では、各カメラは、遠位先端部（６６）内に回転可能に位置付けられて、互いに独立して、制限された量の左右の回転（例えば、ヨー）を可能にし得る。例えば、第１のカメラ（６０）は、電気アクチュエータが第１のカメラを延伸させ得るか、又は後退させ得、及び第１のカメラの向きを変化させ得るように、ハウジング内に回転可能に設置され得る。あるいは、第１のカメラを第１の方向に回転させるように柔軟に付勢するハウジングに、電気活性ポリマーを組み込んでもよく、これにより、第１のカメラ（６０）がデータ通信に使用するのと同じ接続部を介して受け取られた電流が、電気活性ポリマーを収縮させ、カメラを第２の方向に回転させる。カメラのセットの向きは、様々な方法で変化又は影響され得るが、このことは、本開示を考慮することで当業者には明らかであろう。このような動的配向は、例えば、制御部（５６）及びプルワイヤ又は他の機械的アクチュエータを使用することによって、手動で実行され得るか、又はプロセッサ（１２）又は別のデバイスによって、自動的に実行され得る。一実施例として、標的表面（１００）のフォーカス又は収束された視線が所望される場合（例えば、図５Ａ～図５Ｂに示される構成のように）、プロセッサ（１２）は、カメラ（５９）のセットと標的表面（１００）との間の距離を決定し、これらのカメラの視線が標的表面（１００）に近接して交差するか又は収束するように、各カメラ（５９）をリアルタイムで自動的に配向し、ヒトの視野と同様の、自動的にフォーカスする三次元視野を供給し得る。このように視差ビューを提供することは、ビューワに対するデプス知覚の感覚を提供し、ニ次元視を超えるレベルの没入を提供する点で、有利であり得、このことは、手術用ツール及び他のデバイスの正確かつ高精度な運動及び操作を支援し得る。

ＩＩＩ．デュアルセンサ内視鏡を用いる画像処理のための例示的な方法
上述のデュアルカメラ内視鏡（５０）などの内視鏡を用いて、ディスプレイスクリーン（１６）を介して表示されるときなど、外科手術中に手術部位の新たな画像及び視点を作成するために用いられ得る手術部位の追加の画像データをキャプチャし得る。手術部位の新たな画像を作成及び提供することにより、処置全体にわたって外科医の有益な追加情報及びコンテキストが提供され、このことは、改善された患者の結果をもたらし得る。このような特徴部の一実施例として、図６は、デュアルカメラ内視鏡（５０）などの内視鏡を用いて、拡張された内視鏡ビューを提供するために、ＩＧＳナビゲーションシステム（１０）などのシステムによって実行され得る工程（２００）の例示的なセットのフローチャートを示す。

画像がカメラ（５９）のセットから受信される（ブロック２０２）と、システムは、単一のカメラ自体によって提供される画像データと比較して、第１のカメラ（６０）及び第２のカメラ（６１）によって提供される追加の画像データを用いて、１つ以上の方式で画像を操作し得る。このことは、パノラマビューを作成及び表示すること（ブロック２０４）、超解像ビューを作成及び表示すること（ブロック２０８）、又は三次元ビューを作成及び表示すること（ブロック２０６）を含み得る。三次元ビューは、３Ｄ対応モニタ、又はヘッドマウントディスプレイ（ＨＭＤ）などの他のデバイスで見ることが可能な、横並び又は上下並びの画像データのセットなどの画像を含み得るが、また、任意のタイプのディスプレイ上に表示され得、及び二次元で表示された場合であっても、運動、ナビゲーション、又はデプスの感覚を与え得る、画像、アニメーション画像若しくはビデオ画像、又は他の画像のセットを含み得る。

一例として、図５Ｂを参照すると、このことは、第１の視野（１０８）と第２の視野（１１０）との間で交互し、及び第１の視野（１０８）及び第２の視野（１１０）から画像を徐々にモーフィングするか、又は別の方法で組み合わせることによって生成される１つ以上の介在画像を含み得る、アニメーション画像を作成及び表示することを含み得る。このような画像は、自動的に交互し、二次元で表示されてもよく、２つの視点（例えば、第１のカメラ（６０）のもの及び第２のカメラ（６１）のもの）間で運動し及び向きを変える感覚を提供し得る。このような画像はまた、２つの視点の間で運動し及び向きを変えながらユーザが二次元で見得る画像を提供するために、キーボード、マウス、音声入力、又は他の入力形式を介して受信された入力に基づいて、ユーザによって手動で交互され得るか、又はナビゲートされ得る。

これらのビューのうちの任意の１つ以上、並びに元の受信された（ブロック２０２）画像のビューは、個々に又は同時に表示されてもよく、また、ディスプレイスクリーン（１６）を介して移動可能なビューとして表示され（ブロック２１０）てもよい。移動可能なビューは、様々なレベルの詳細で画像の異なる領域を見るために動作制御部（１４）を用いて運動し得る別のビデオ又は画像（例えば、パノラマビュー又は超解像ビュー）の切り抜きのビューを提供し得る。例えば、作成されたパノラマビューは、ディスプレイスクリーン（１６）がこのパノラマビューの真の寸法で表示するためには大きすぎる場合がある（例えば、デジタル画像は、５０００×５０００ピクセルであり得、特定のディスプレイは、１６８０×１０５０ピクセルの表示のみをサポートし得、より大きい画像は表示のためにダウンスケールされ、かつ画像の詳細が失われるか又は難読化され得ることを意味する）。

移動可能なビューは、（例えば、上記の実施例では、一度に１６８０×１０５０ピクセルで）詳細さを増して又は完全に詳細に特定のセクションを示すために、より大きい画像の周りで運動し得、また、移動可能なビューがあたかも運動する内視鏡カメラであるかのように、動作制御部（１４）を介してナビゲーション入力に応答するように構成されてもよい（例えば、画像は、患者内で運動している内視鏡に従って、徐々に、ズームイン又はズームアウトし、水平方向及び垂直方向に運動するか、又は角度若しくは向きを変化させ得る）。このようにして、移動可能なビューは、この移動可能なビューの表示されたセクションを再配置するときに運動の感覚を作成し得、これにより、表示された画像に依拠する外科医は、外科医がソース内視鏡を実際に物理的に再配置していることを知覚し得、このことは、手術部位の外科医のビューの空間的関係を知覚及び理解するのを支援し得る。図６は、いくつかの例示的なディスプレイ特徴部の高レベルの説明を提供するが、図７～図１０は、高レベル工程のうちの１つ以上の間に実行され得る工程に関する更なる詳細を提供する。

例えば、図７は、デュアルカメラ内視鏡（５０）などの内視鏡を用いてパノラマ内視鏡ビューを提供するために実行され得る工程（２１２）の例示的なセットのフローチャートを示す。本明細書の教示は、静止画像、並びに画像のシーケンス（例えば、ビデオ）に適用され得るが、説明及び図は、説明を容易にするために時には単独の画像対を指し得ることを理解されたい。画像を生成するために使用可能なデータがデュアルカメラ内視鏡（５０）から受信されると、ＩＧＳナビゲーションシステム（１０）は、第１のカメラ（６０）からの１つと、第２のカメラ（６１）からの１つとの、２つの画像を有することとなる。カメラが、静的に位置決めされ、かつ平行な視線のために配向されている（例えば、図４Ａ及び図４Ｂに示されるように）とき、システムは、カメラの位置の既知の特性に基づいて、２つの画像のオーバーラップを決定し（ブロック２１４）得る。例えば、図４Ｂの組み合わされた視野（１０６）は、その例のカメラによってキャプチャされた２つの画像のオーバーラップを表し、カメラが互いに対してそれらの位置又は向きを変更しない限り、静止したままとなる。その実装形態では、画像オーバーラップが、キャプチャ時の前に決定（ブロック２１４）及び構成され得る（例えば、デュアルカメラ内視鏡（５０）は、オーバーラップを静的値として示す画像データを出力し得るか、又はＩＧＳナビゲーションシステム（１０）は、このような値で構成され得るか、若しくは使用中の内視鏡のタイプに基づいてこのような値にアクセスするか若しくはこのような値を取り出し得る）。

別の例として、カメラが上述の静的な平行な視線を有する場合、又はカメラが動的に交差するか若しくは収束する視線（例えば、対象又は標的にフォーカスする）が可能である場合、オーバーラップの量はまた、画像又はビデオに対して動的に決定され（ブロック２１４）てもよい。このような動的な決定（ブロック２１４）は、特定の実装形態について所望されるように、及び特定の処理デバイスに可能であり得るように、画像毎に（例えば、画像のビデオシーケンス中に受信される画像の各対及びあらゆる対について１回）、又は一度に画像のバッチについて、実行されてもよい（例えば、第１の画像についてオーバーラップが決定（ブロック２１４）されてもよく、このようなオーバーラップは、次の３０個の画像に、又は次の瞬間の間に受信される任意の数の画像に、使用され得る）。

動的にオーバーラップを決定すること（ブロック２１４）は、様々な他の方式で実行されてもよい。いくつかの実装形態では、これは、画像処理及び比較アルゴリズムを用いてアルゴリズム的に実行されて、第１の画像を第２の画像と比較することにより、一致するか又は実質的に一致する（例えば、２つのカメラが、２つのわずかに異なる視点から単一のポイントにフォーカスする）部分を識別し得るか、又は各々内に提示される認識可能な特徴部又は対象（例えば、内視鏡の視野内の切断器具又は他の手術用器具）を識別し及び相関させ得る。いくつかの実装形態では、これは、標的表面（１００）とカメラとの間の距離を検出し得る遠位先端部（６６）に位置付けられた近接センサを用いて実行され得る。このような情報を、各カメラの他方に対する相対位置及び向きと共に用いて、オーバーラップの量を示すこととなる、各画像の他方に対する空間的関係を決定し得る。いくつかの実装形態では、各画像が、この画像の中心におけるその画像焦点、並びに次いでオーバーラップを決定する（ブロック２１４）ために用いられ得る、この画像の中心からずれた他の画像焦点を包含するように、これを、固定されたレーザー又は各カメラ内のレーザーによって投影され、かつカメラの焦点に照準を定めたレーザー光などの視覚的マーカーを用いて実行することができるであろう。オーバーラップを決定する（ブロック２１４）ための様々な他の方法が、存在し、本開示を考慮することで当業者には明らかであろう。

オーバーラップが決定される（ブロック２１４）と、次いで、システムは、２つの画像を組み合わせ（ブロック２１６）て、新たなパノラマ画像を作成し得、次いで、ディスプレイスクリーン（１６）を介した結果として得られるパノラマ画像を表示し（ブロック２１８）得る。一実施例として、図１１Ａは、第２のカメラ（６１）によってキャプチャされ得るような画像（３００）、及び第１のカメラ（６０）によってキャプチャされ得るような画像（３０２）を示す。システムは、２つの画像のオーバーラップを決定し（ブロック２１４）、画像内の第１の外側部分（３０４）、オーバーラップする部分（３０６）、オーバーラップする部分（３０８）、及び第２の外側部分（３１０）を識別し得る。次いで、システムは、図１１Ｂに示されるような新たなパノラマ画像を生成するために、単一のオーバーラップする部分によって分離された２つの画像を、これらの画像の固有の縁部で組み合わせ（ブロック２１６）得る。その図で分かるように、第１の外側部分（３０４）をオーバーラップする部分（３１４）（例えば、他のオーバーラップする部分のいずれか一方）及び第２の外側部分（３１０）と組み合わせることによって、新たなパノラマ画像（３１２）が作成されている。このような実施例では、画像（３００）及び画像（３０２）が各々２０００ピクセルの水平解像度を有し、かつオーバーラップする部分（３１４）が５００ピクセルの水平解像度を有すると仮定すると、結果として作成されたパノラマ画像（３１２）は、約３５００ピクセルの総水平解像度を有し、最も高い解像度で見ることが可能であり得る画像と、所望する場合の可能な詳細と、の領域の有意な増加をもたらすであろう。

図８は、デュアルカメラ内視鏡（５０）などの内視鏡を用いて三次元内視鏡ビューを提供するために実行され得る工程（２２０）の例示的なセットのフローチャートを示す。図７と同様に、システムは、最初に、画像がキャプチャされた２つの視野間の空間的関係を決定するために、２つの入力画像間のオーバーラップを決定し（ブロック２２２）得る。次いで、システムは、３Ｄ画像を準備し（ブロック２２４）得、この３Ｄ画像のフォーマット及び特徴部は、この３Ｄ画像を見ることが意図されるデバイス又は複数のデバイスに依存し得る。

例えば、３Ｄ対応又は仮想現実対応のＨＭＤの場合、３Ｄ画像を準備する（ブロック２２４）ことは、エッジ部分又はオーバーラップしない部分を除外するために入力画像をクロッピングすることと、ビューワの目が、２つのわずかに異なる画像視点に、これらの画像視点がＨＭＤの２つのビューイングレンズを介して表示される（ブロック２２６）ときに、独立してフォーカスすることができるように、残りの画像部分を横並びに配置することと、を含み得る。

別の例として、３Ｄ画像は、上述してきたように視点間のデプス又は運動をシミュレートしながら２Ｄ画像を表示することができるディスプレイ上に表示するように、準備され（ブロック２２４）てもよい。このことは、画像をアニメーション画像、ビデオ画像、又は１つ以上の横並び画像として準備する（ブロック２２４）ことと、異なる視点からの画像（例えば、第１のカメラ（６０）からのもの、及び第２のカメラ（６１）からのもの）から画像の表示間で交互することと、を含み得る。このことはまた、異なる視点からのソース画像をモーフィングすることによって１つ以上の介在画像を生成して、間に複数の視野角を提供することも含み得る。これらの特徴部のうちの１つ以上を提供するために準備され（ブロック２２４）た３Ｄ画像は、単なる標的表面（１００）を横切るパン又は運動とは対照的に、標的表面（１００）の周りで向きを変えるか又は回転する感覚を提供するために視点を手動で又は自動的にシフトする能力を用いて、ユーザが画像を２Ｄで見ることを可能にし得る。このような画像を見ることは、有利なことに、静的な２Ｄ画像とは対照的に、デプス及び空間的位置付けの改善された感覚を提供し得る。

３Ｄ画像データセットを準備する（ブロック２２４）ことはまた、１つ以上の３Ｄデータセット又は更なる３Ｄ特徴部を準備する（ブロック２２５）ことも含み得る。例えば、いくつかの実装形態は、３Ｄ画像データを用いて、デプス測定値、トポグラフィ的表示器、又は標的表面（１００）と関連付けられた他のデプス及び距離表示器を生成し得る。このようなデプス表示器は、３Ｄ視野内の解剖学的構造の１つ以上の寸法を示す距離マーカーのうちの１つ以上を含み得る。これは、視差ビューを利用し、かつ標的とする対象物のデプスを推定するために、２つ以上の視点から標的とする解剖学的構造の視覚的分析及び比較を実行することによって、決定され得る。別のデプス表示器は、表示された色、パターン、又は他の視覚的表示器の変化を介して、３Ｄ視野内の解剖学的構造のトポグラフィ的特徴を示すトポグラフィ的マップ又はオーバーレイを含んでもよい。これはまた、キャプチャされた視差ビューを用いて決定されてもよく、かつソース画像上に重ねられてソース画像と共に表示され（ブロック２２６）得るか、又はソース画像とは独立して表示され（ブロック２２６）得る。

３Ｄ画像データを用いて準備され（ブロック２２５）得る３Ｄ特徴部の別の例は、３Ｄ視野内の解剖学的構造の体積の測定値である。上述したように解剖学的構造のデプスを決定した後、システムはまた、解剖学的構造の長さ及び幅、外周、又は他の寸法測定値も決定し得る。このことは、（例えば、標的表面又は対象物における２つの視野をフォーカス及び収束するために使用される近接センサによって提供されるような）カメラと解剖学的構造との間の距離などの情報を用いて、キャプチャされた画像のスケールを自動的に決定することを含み得る。

標的とする解剖学的構造の体積の決定は、処置中に除去されるか又は影響を受けなければならない組織、骨、又は他の材料の量の指標を提供するのに有用であり得る。解剖学的構造の決定された体積はまた、術前の解剖学的構造と術後の解剖学的構造との間の比較点を提供するのに有用であり得、処置の成功のレベル、患者回復時間、又は更なる処置の必要性の指標を提供し得る。術前の解剖学的構造間と術後の解剖学的構造との間のこのような比較は、内視鏡画像の視覚的比較、並びに体積、デプス、及びトポグラフィの変化の視覚的又は数値的表示器を含み得る。これらの記載特徴部のうちの１つ以上を有するシステムはまた、米国特許出願第６２／７７９，６１４号、発明の名称「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ ｗｉｔｈ Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｓｅｎｓｏｒ－Ｂａｓｅｄ Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｅｎｄｏｓｃｏｐｙ」（２０１８年１２月１４日出願）（全体が参照により本明細書に組み込まれている）の教示のいずれかを含んでもよい。

図９は、デュアルカメラ内視鏡（５０）などの内視鏡を用いて超解像内視鏡ビューを提供するために実行され得る工程（２３０）の例示的なセットのフローチャートを示す。前の実施例と同様に、システムは、最初に、２つの入力画像間のオーバーラップの量を決定し（ブロック２３２）得る。次いで、システムは、２つの入力画像の組み合わされたオーバーラップする部分からの超解像画像を準備し（ブロック２３４）、結果として得られる画像をその入力画像よりも高い解像度で表示する（ブロック２３６）。超解像は、その入力画像データよりも高い解像度の出力画像を生成し、かつデジタル画像化中に導入され得るデジタルノイズ及び他の視覚的アーチファクトを低減するために、オーバーラップするか又は実質的にオーバーラップする画像を組み合わせることができる画像処理技術である。

新たに作成された出力画像、特にパノラマ画像及び超解画像は、上述してきたように、外科医又は他のユーザに、手術部位内及び手術部位の周囲での運動及びナビゲーションの馴染みのある感覚も提供しながら、これらの画像の増加した解像度を利用するために、ディスプレイから移動可能なビューとして利益を得ることができる。図１０は、上述したパノラマビュー又は超解像ビューなどの１つ以上の拡張された内視鏡ビューのための移動可能なビュー又は可視化ウィンドウを提供するために実行され得る工程（２４０）の例示的なセットのフローチャートを示す。システムは、ディスプレイスクリーン（１６）を介して、手術部位のビューを示す、リアルタイム内視鏡画像又はビデオとしての可視化ウィンドウを表示し（ブロック２４２）得る。可視化ウィンドウ内に示される画像は、受信された（ブロック２０２）画像の一セクションであり得るか、又は図７～図９に示されるものなどの工程によって、受信された（ブロック２０２）画像から作成される画像の一セクションであり得る。例えば、入力画像の部分を組み合わせる（ブロック２１６）ことによって作成されたパノラマ画像は、３０００×２０００であり得る一方、可視化ウィンドウは、１０００×１０００ピクセル領域を示し得、このことは、画像の約１５％のみが任意の１つの時点で可視化ウィンドウ内に示され得ることを意味する。一実施例として、図１２Ａは、通常の画像、パノラマ画像、超解像画像、又はシステムによってキャプチャ若しくは作成された他の画像タイプであり得るデュアルカメラ内視鏡（５０）などの内視鏡によってキャプチャされた画像（３１６）を示す。可視化ウィンドウ（３１８）は、より大きい画像（３１６）上に重ねられたボックスとして示されている。図１２Ｂは、可視化ウィンドウ（３１８）内に包含される画像（３１６）の見ることができるセクション（３２０）を示す。見ることができるセクション（３２０）は、ディスプレイスクリーン（１６）によってサポートされる所望の解像度でディスプレイスクリーン（１６）を介して表示され得、これにより、見ることができるセクション（３２０）を、所望の場合に、高レベルの詳細（例えば、何らのダウンスケールもなくディスプレイスクリーン（１６）によってサポートされる最大解像度）で見得る。

ユーザは、より大きい画像（３１６）の所望のセクション上で可視化ウィンドウ（３１８）を運動させ及び再位置付けするために、動作制御部（１４）などのユーザ入力デバイスのセットと相互作用し得る。このことは、タッチスクリーンと相互作用して画像の新たなセクションにタッチ及びドラッグすること、ソフトウェアボタンと相互作用してビューを所望の方向に運動させ、ビューをスクロールするためのキーボード又はマウス及び他のタイプの入力を用いることを、含み得る。ユーザ入力が受信される（ブロック２４４）と、可視化ウィンドウ（３１８）及び結果として得られるディスプレイは、より大きい画像に対するウィンドウの運動（例えば、より小さい可視化ウィンドウは、より大きい画像を横切って運動して新たなセクションを表示する）、又はより大きい画像に対するウィンドウの寸法の変化（例えば、可視化ウィンドウによって表示されるセクションの寸法が変化し、内外への運動をシミュレートする）を反映するように更新され得る。可視化ウィンドウの変化は、画像を提供する内視鏡が実際に運動するときに体験され（例えば、上向き又は下向きに運動し、前進又は後退し、配向的に回転され）得るような三次元空間内の運動の感情又は体験をシミュレートするために、徐々に表示され得る。

いくつかの実装形態はまた、可視化ウィンドウを回転させて、画像を見る視点の向きの対応する変化を生じさせてもよい。このことは、画像をリアルタイムで修正及び再表示するための画像処理アルゴリズムを適用することによって実現され得る。この場合には、回転している内視鏡のものと同様の視覚効果、又は回転している内視鏡の移動可能なレンズ（例えば、ｘ軸又はｙ軸の周り）が、生成され得る。画像の視点をシフトさせる画像処理は、現実的な視認する視点がシフトした出力画像を生成するために、より詳細なかつより高い解像度の入力画像を有することから利益を得ることができ、有利なことに、本明細書に記載される技術のうちの１つ以上に従ってキャプチャ又は作成されたパノラマ画像、超解像画像、及び他の画像に適用され得る。

入力が受信されると、システムは、これらの入力が可視化ウィンドウの水平、垂直、又はその両方への、パンなどの運動を示すかどうかを決定し（ブロック２４６）、それに対するレスポンスで、可視化ウィンドウを新たなセクションに徐々に移行させ（ブロック２４８）得る。このようにしてディスプレイは、手術部位又は他の見る標的に対して、水平に（例えば、ｘ軸に沿って）及び垂直に（例えば、ｙ軸に沿って）、内視鏡の運動をシミュレートし得る。

システムはまた、入力が、可視化ウィンドウの手術部位に向かうか、又は手術部位から離れる可視化ウィンドウのズーミングなどの運動を示すかどうかも決定し（ブロック２５０）、それに対するレスポンスで、可視化ウィンドウ内に表示されるセクションの寸法又は倍率レベルを新たな寸法に徐々に変更し（ブロック２５２）得る。このようにしてディスプレイは、手術部位又は他の見る標的に対して内視鏡の前進又は取り除き（例えば、ｚ軸に沿った）をシミュレートし得る。

システムはまた、入力が、手術部位に対する可視化ウィンドウの回転変化又は視点変化を示すかどうかも決定し（ブロック２５４）得、それに対するレスポンスで、可視化ウィンドウ内に表示される部分の視点を新たな視点に徐々に変化させ（ブロック２５６）得る。視点の変化（ブロック２５６）は、視点がシフトした低品質の出力画像をもたらす見る視点の変化（例えば、画像の領域内のピクセルの自動的な縮小又は導入が、構成された閾値を超える場合）、又はビューワの没入の感覚を壊すように明らかに歪んでいる視点を防止するために、構成可能な境界内に制限され得る。

このようにしてディスプレイは、手術部位又は他の見る標的に対する内視鏡の回転又は角度変化をシミュレートし得る。例えば、図５Ｂに関連して上述したように、第１の視野（１０８）及び第２の視野（１１０）からの画像は、二次元的に見るときでも２つの視点の間で向きを変える感覚を提供するために、手動で、パンされるか、又は向きを変えられ得る。第１のカメラ（６０）及び第２のカメラ（６１）からの２つのソース画像の間で徐々にモーフィングするか、又はこれらのソース画像を他の方法で組み合わせることによって生成され得る任意の介在画像は、第１のカメラ（６０）と第２のカメラ（６１）との間に存在する複数の視野角をシミュレートし、及び複数の視野角として見ることが可能であり得る。可視化ウィンドウの移行の速度及び反応性（ブロック２４８）、寸法変化（ブロック２５２）、及び視点変化（ブロック２５６）は、三次元空間内での定常運動の感覚を提供するように構成され得る一方、ソース画像及び内視鏡自体の視点は、変化しない。

一実施例として、図１３Ａ～図１３Ｄは、例えば、可視化ウィンドウ（３１８）が、図１２Ａに示される位置から図１３Ａに示される位置まで運動するときに、可視化ウィンドウの使用及びナビゲーション中に表示され得るシミュレートされた画像のセットを示す。Ａ、Ｂ、及びＣとラベル付けされた参照点のセットは、シミュレートされた画像を記載する目的でソース画像（３１６）上に重ねられている。図１３Ｂは、図１２Ａに示されるこの可視化ウィンドウ（３１８）の開始ポイントにおいて可視化ウィンドウ（３１８）内に包含されるソース画像（３１６）の一セクションを表示する、元画像（３２６）を示す。図１３Ｃは、ユーザ入力の結果として、可視化ウィンドウ（３１８）がソース画像（３１６）の新たなセクションに移行する（ブロック２４８）際に可視化ウィンドウ（３１８）内に包含される、移行画像（３２８）を示す。参照点Ａ及びＢによって分かるように、可視化ウィンドウ（３１８）は、図１３Ｂに対して、垂直に下向きかつ直角に水平に運動した。図１３Ｄは、図１３Ａに示される可視化ウィンドウ（３１８）の終了ポイントで可視化ウィンドウ（３１８）内に包含されるソース画像（３１６）の一セクションを表示する目的地画像（３３０）を示す。参照点Ｂ及びＣは、可視化ウィンドウ（３１８）が、図１３Ｃに対して垂直に下方に及び直角に水平に運動したことを示す。上述のような移行（ブロック２４８）中に、所望され得る任意の数の移行画像が、ユーザ入力に応答して目的地への徐々のかつ滑らかな運動の感覚を提供するために、起点と目的地との間に表示され得る。

ＩＶ．例示的な組み合わせ
以下の実施例は、本明細書の教示を組み合わせるか又は適用することができる、様々な非網羅的な方法に関する。以下の実施例は、本出願における又は本出願の後の書類提出におけるどの時点でも提示され得る、いずれの請求項の適用範囲をも限定することを目的としたものではないと理解されよう。一切の否定要素を意図するものではない。以下の実施例は、単なる例示の目的で与えられるものに過ぎない。本明細書の様々な教示は、他の多くの方法で構成及び適用が可能であると考えられる。また、いくつかの変形では、以下の実施例において言及される特定の特徴部を省略してよいことも考えられる。したがって、本発明者又は本発明者の利益の承継者により、後日、そうである旨が明示的に示されない限り、以下に言及される態様又は特徴部のいずれも重要なものとして見なされるべきではない。以下に言及される特徴部以外の更なる特徴部を含む請求項が本出願において、又は本出願に関連する後の書類提出において示される場合、それらの更なる特徴部は、特許性に関連するいかなる理由によっても追加されたものとして仮定されるべきではない。

システムであって、連結ユニットと、連結ユニットから延在するシャフトと、シャフトの遠位端部に位置付けられたカメラのセットと、を含む内視鏡であって、カメラのセットは、画像データをキャプチャして連結ユニットに通信するように動作可能である、内視鏡と、連結ユニットから画像データを受信するように構成された画像プロセッサと、ディスプレイと、を含み、画像プロセッサは、カメラのセットの第１のカメラから第１の画像を受信し、カメラのセットの第２のカメラから第２の画像を受信し、第１の画像及び第２の画像に基づいて、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分を決定し、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分に基づいて、向上された画像を作成し、及びディスプレイを介して、向上された画像の現在のセクションを表示する可視化ウィンドウを提供するように、構成されている、システム。

画像プロセッサは、向上された画像を作成するとき、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分を組み合わせてパノラマ画像を作成するように更に構成されており、パノラマ画像は、第１の画像及び第２の画像よりも高い解像度を含む、実施例１に記載のシステム。

画像プロセッサは、向上された画像を作成するとき、第１の画像固有部分及び第２の画像固有部分が、画像データを包含しないか、又は無視できる画像データを包含するように、第１の画像及び第２の画像が完全に又は実質的にオーバーラップすると決定することと、かつ第１の画像及び第２の画像からのオーバーラップする部分を組み合わせて超解像画像を作成することであって、超解像画像は、オーバーラップする部分よりも高い解像度を含む、作成することと、を行うように、更に構成されている、実施例１～２のいずれか１つ以上に記載のシステム。

画像プロセッサは、向上された画像を作成するとき、オーバーラップする部分の３Ｄ画像を作成するように更に構成されており、３Ｄ画像は、三次元ディスプレイ上で三次元的に見ることができる画像と、オーバーラップする部分の第１の視点とオーバーラップする部分の第２の視点との間で前後に向きを変えることによって二次元ディスプレイ上で三次元的に見ることができる画像と、のうちの１つ以上として表示されるように、構成されている、実施例１～３のいずれか１つ以上に記載のシステム。

第１のカメラ及び第２のカメラは、第１のカメラ及び第２のカメラが、互いに平行であるそれぞれの視線を有するように、配向されており、プロセッサは、第１の画像、第２の画像、及び静止オーバーラップ値に基づいてオーバーラップする部分を決定するように更に構成されており、静止オーバーラップ値は、遠位先端部上の第１のカメラ及び第２のカメラの位置間の距離に基づいて決定される、実施例１～４のいずれか１つ以上に記載のシステム。

動作制御部のセットを更に含み、画像プロセッサは、動作制御部のセットを介して入力のセットを受信し、かつ入力のセットに基づいて可視化ウィンドウ内に表示された現在のセクションを更新するように、更に構成されている、実施例１～５のいずれか１つ以上に記載のシステム。

画像プロセッサは、入力のセットが、ｘ軸及びｙ軸のうちの１つ以上に沿った可視化ウィンドウの運動を示す入力を含む場合、入力及び現在のセクションに基づいて、向上された画像の目的地セクションを決定し、かつ目的地セクションを現在のセクションとして用いて可視化ウィンドウをリフレッシュ及び提供するように、更に構成されている、実施例６に記載のシステム。

画像プロセッサは、目的地セクションを現在のセクションとして用いて可視化ウィンドウをリフレッシュ及び提供するとき、現在のセクションと目的地セクションとの間に位置する向上された画像の１つ以上の移行セクションを決定し、かつ目的地セクションを表示する前に、１つ以上の移行セクションを規則的な順序で表示するように、更に構成されている、実施例７に記載のシステム。

画像プロセッサは、入力のセットが、ｚ軸に沿った可視化ウィンドウの運動を示す入力を含む場合、入力に基づいて新たな倍率レベルを決定し、かつ現在のセクション及び新たな倍率レベルに基づいて可視化ウィンドウをリフレッシュ及び再表示するように、更に構成されている、実施例６～８のいずれか１つ以上に記載のシステム。

画像プロセッサは、現在のセクション及び新たな倍率レベルに基づいて可視化ウィンドウをリフレッシュ及び提供するとき、元の倍率レベルでの現在のセクションと新たな倍率レベルでの現在のセクションとの間に位置する向上された画像の１つ以上の移行倍率を決定し、かつ現在のセクションを新たな倍率レベルで表示する前に、１つ以上の移行倍率を規則的な順序で表示するように、更に構成されている、実施例９に記載のシステム。

画像プロセッサは、入力のセットが、可視化ウィンドウの視点の回転を示す入力を含む場合、入力に基づいて目的地視点を決定し、かつ目的地視点に基づいて、向上された画像の現在のセクションをデジタル的に変更し、かつデジタル的に変更された現在のセクションに基づいて可視化ウィンドウをリフレッシュ及び提供するように、更に構成されている、実施例６～１０のいずれか１つ以上に記載のシステム。

プロセッサは、向上された画像を作成するとき、第１の画像及び第２の画像を組み合わせて第３の画像を生成するように更に構成されており、第３の画像は、第１の画像及び第２の画像よりも高い解像度を含む、実施例１１に記載のシステム。

カメラのセットの各カメラは、デジタル撮像デバイスを含み、カメラのセットの各カメラは、シャフト内の導電接続部を介して連結ユニットに画像データを提供するように構成されており、画像プロセッサは、画像誘導手術ナビゲーションシステムのプロセッサである、実施例１～１２のいずれか１つ以上に記載のシステム。

方法であって、内視鏡を手術部位に位置決めすることであって、内視鏡は、内視鏡のシャフトの遠位端部に位置付けられた第１のカメラ及び第２のカメラを含む、位置決めすることと、画像プロセッサにおいて、第１のカメラからの第１の画像及び第２のカメラからの第２の画像を受信することであって、第１の画像及び第２の画像は、同時にキャプチャされる、受信することと、第１の画像及び第２の画像に基づいて、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分を決定することと、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分に基づいて、向上された画像を作成することと、ディスプレイを介して、向上された画像の現在のセクションを表示する可視化ウィンドウを提供することと、を含む、方法。

拡張画像を作成するとき、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分を組み合わせてパノラマ画像を作成することを更に含み、パノラマ画像は、第１の画像及び第２の画像よりも高い解像度を含む、実施例１４に記載の方法。

向上された画像を作成するとき、第１の画像固有部分及び第２の画像固有部分が、画像データを包含しないか、又は無視できる画像データを包含するように、第１の画像及び第２の画像が完全に又は実質的にオーバーラップすると決定することと、第１の画像及び第２の画像からのオーバーラップする部分を組み合わせて超解像画像を作成することであって、超解像画像は、オーバーラップする部分よりも高い解像度を含む、作成することと、を更に含む、実施例１４～１５のいずれか１つ以上に記載の方法。

動作制御部のセットを介して入力のセットを受信することと、入力のセットの入力が、ｘ軸及びｙ軸のうちの１つ以上に沿った可視化ウィンドウの運動を示す場合、入力及び現在のセクションに基づいて、向上された画像の目的地セクションを決定することと、現在のセクションと目的地セクションとの間に位置する向上された画像の１つ以上の移行セクションを決定することと、目的地セクションを表示する前に、規則的な順序で１つ以上の移行セクションを表示することと、を更に含む、実施例１４～１６のいずれか１つ以上に記載の方法。

動作制御部のセットを介して入力のセットを受信することと、入力のセットの入力が、ｚ軸に沿った可視化ウィンドウの運動を示す場合、入力に基づいて新たな倍率レベルを決定することと、元の倍率レベルでの現在のセクションと新たな倍率レベルでの現在のセクションとの間に位置する向上された画像の１つ以上の移行倍率を決定することと、現在のセクションを新たな倍率レベルで表示する前に、１つ以上の移行倍率を規則的な順序で表示することと、を更に含む、実施例１４～１７のうちのいずれか１つ以上に記載の方法。

動作制御部のセットを介して入力のセットを受信することと、入力のセットの入力が可視化ウィンドウの視点の回転を示す場合、入力に基づいて目的地視点を決定することと、現在の視点と目的地視点との間に位置する向上された画像の１つ以上の移行視点を決定することと、現在のセクションを目的地視点で表示する前に、現在のセクションをデジタル的に変更して、現在のセクションを１つ以上の移行視点の各々で表示することと、を更に含む、実施例１４～１８のうちのいずれか１つ以上に記載の方法。

内視鏡であって、画像プロセッサと通信するように動作可能な連結ユニットと、連結ユニットから延在する可撓性シャフトであって、可撓性シャフトは、遠位端部を含む、可撓性シャフトと、遠位端部上に位置付けられたカメラのセットであって、カメラのセットの各々は、可撓性シャフト内の導電接続部を介して連結ユニットに画像データをキャプチャ及び通信するように動作可能である、カメラのセットと、可撓性シャフト内の灌注チャネルのセットであって、灌注チャネルのセットの各灌注チャネルは、可撓性シャフトの近位端部から遠位先端部のカメラのセットのカメラのカバーに、受け取られた液体を移送する、灌注チャネルのセットと、可撓性シャフト内の器具チャネルであって、器具チャネルは、可撓性シャフトの近位端部から遠位先端部に可撓性手術用器具を誘導する、器具チャネルと、を含む、内視鏡。

Ｖ．その他
本明細書に記載されている実施例のうちのいずれも、上述のものに加えて又はそれに代えて、様々な他の特徴部を含み得ることが理解されるべきである。単に一例として、本明細書に記載されている実施例のうちのいずれも、参照により本明細書に組み込まれる様々な参考文献のいずれかに開示されている様々な特徴部のうちの１つ又は２つ以上を含むことができる。

本明細書に記載の教示、表現、実施形態、実施例などのうちのいずれか１つ又は２つ以上を、本明細書に記載の他の教示、表現、実施形態、実施例などのうちのいずれか１つ又は２つ以上と組み合わせることができる点が理解されるべきである。したがって、上記の教示、表現、実施形態、実施例などは、互いに対して独立して考慮されるべきではない。本明細書の教示に照らして、本明細書の教示を組み合わせることができる様々な好適な方式が、当業者には容易に明らかとなろう。このような修正及び変形は、「特許請求の範囲」内に含まれるものとする。

本明細書に参照により組み込まれると言及されるあらゆる特許、公報、又はその他の開示内容は、全体的に又は部分的に、組み込まれる内容が現行の定義、見解、又は本開示に記載されるその他の開示内容とあくまで矛盾しない範囲でのみ本明細書に組み込まれると理解されるべきである。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示内容は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。

本明細書に開示される装置の変形形態は、１回の使用後に処分されるように設計するか又は複数回使用されるように設計することができる。変形形態は、いずれか又は両方の場合においても、少なくとも１回の使用後に再利用のために再調整され得る。再調整は、デバイスの分解工程、それに続く特定の部品の洗浄又は交換工程、及びその後の再組み立て工程の、任意の組み合わせを含み得る。特に、装置の変形形態は、分解することができ、かつ、装置の任意の数の特定の部品若しくは部分を、任意の組み合わせにおいて選択的に交換又は取り外してもよい。特定の部分を洗浄時及び／又は交換時に、装置の変形形態は、再調整用の施設において、又は外科手技の直前に外科チームによってのどちらかで、その後の使用のために再組み立てすることができる。当業者であれば、デバイスの再調整において、分解、洗浄／交換、及び再組み立てのための様々な技術を利用することができることを理解するであろう。かかる技術の使用、及び結果として得られる再調整されたデバイスは、全て本発明の範囲内にある。

単に一例として、本明細書に記載の変形形態は、手術前に処理することができる。まず、新品又は使用済みの器具を入手し、必要に応じて洗浄することができる。次いで器具を滅菌することができる。１つの滅菌技術では、器具は、プラスチックバッグ又はＴＹＶＥＫバッグなど、閉鎖され密封された容器に入れられる。次いで、容器及び器具を、γ線、Ｘ線、又は高エネルギー電子などの容器を透過し得る放射線野に置くことができる。放射線は、器具上及び容器内の細菌を死滅させることができる。この後、滅菌済みの器具を滅菌容器内で保管することができる。密封容器は、手術設備で開封されるまで器具を滅菌状態に保つことができる。β線若しくはγ線、エチレンオキシド、又は水蒸気が挙げられるがこれらに限定されない、当該技術分野で既知のその他の任意の技術を用いて、デバイスを滅菌してもよい。

本発明の種々の変形形態について図示し説明したが、本明細書で説明した方法及びシステムの更なる応用が、当業者による適切な改変形態により、本発明の範囲から逸脱することなく実現可能である。そのような可能な改変のうちのいくつかについて述べたが、他の改変も当業者には明らかになるであろう。例えば、上述の実施例、変形形態、幾何形状、材料、寸法、比率、工程などは例示的なものであって、必須ではない。したがって、本発明の範囲は、以下の特許請求の範囲の観点から考慮されるべきものであり、本明細書及び図面に示され記載された構造及び動作の細部に限定されないものとして理解される。

〔実施の態様〕
（１） システムであって、
（ａ）内視鏡であって、前記内視鏡は、
（ｉ）連結ユニットと、
（ｉｉ）前記連結ユニットから延在するシャフトと、
（ｉｉｉ）前記シャフトの遠位端部に位置付けられたカメラのセットであって、前記カメラのセットは、画像データをキャプチャして前記連結ユニットに通信するように動作可能である、カメラのセットと、を含む、内視鏡と、
（ｂ）前記連結ユニットから画像データを受信するように構成された画像プロセッサと、
（ｃ）ディスプレイと、を含み、
前記画像プロセッサは、
（ｉ）前記カメラのセットの第１のカメラから第１の画像を受信し、前記カメラのセットの第２のカメラから第２の画像を受信し、
（ｉｉ）前記第１の画像及び前記第２の画像に基づいて、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分を決定し、
（ｉｉｉ）前記第１の画像固有部分、前記オーバーラップする部分、及び前記第２の画像固有部分に基づいて、向上された画像を作成し、
（ｉｖ）前記ディスプレイを介して、前記向上された画像の現在のセクションを表示する可視化ウィンドウを提供するように、構成されている、システム。
（２） 前記画像プロセッサは、前記向上された画像を作成するとき、前記第１の画像固有部分、前記オーバーラップする部分、及び前記第２の画像固有部分を組み合わせてパノラマ画像を作成するように、更に構成されており、前記パノラマ画像は、前記第１の画像及び前記第２の画像よりも高い解像度を含む、実施態様１に記載のシステム。
（３） 前記プロセッサは、前記向上された画像を作成するとき、
（ｉ）前記第１の画像固有部分及び前記第２の画像固有部分が、画像データを包含しないか、又は無視できる画像データを包含するように、前記第１の画像及び前記第２の画像が完全に又は実質的にオーバーラップすると決定することと、
（ｉｉ）前記第１の画像及び前記第２の画像からの前記オーバーラップする部分を組み合わせて超解像画像を作成することであって、前記超解像画像は、前記オーバーラップする部分よりも高い解像度を含む、作成することと、を行うように、更に構成されている、実施態様１に記載のシステム。
（４） 前記画像プロセッサは、前記向上された画像を作成するとき、前記オーバーラップする部分の３Ｄ画像を作成するように、更に構成されており、前記３Ｄ画像は、
（ｉ）三次元ディスプレイ上で三次元的に見ることができる画像と、
（ｉｉ）前記オーバーラップする部分の第１の視点と前記オーバーラップする部分の第２の視点との間で前後に向きを変えることによって、二次元ディスプレイ上で三次元的に見ることができる画像と、のうちの１つ以上として表示されるように、構成されている、実施態様１に記載のシステム。
（５） 前記第１のカメラ及び前記第２のカメラは、前記第１のカメラ及び前記第２のカメラが、互いに平行であるそれぞれの視線を有するように、配向されており、前記プロセッサは、前記第１の画像、前記第２の画像、及び静止オーバーラップ値に基づいて前記オーバーラップする部分を決定するように、更に構成されており、前記静止オーバーラップ値は、遠位先端部上の前記第１のカメラ及び前記第２のカメラの位置間の距離に基づいて決定される、実施態様１に記載のシステム。

（６） 動作制御部のセットを更に含み、前記画像プロセッサは、
（ｉ）前記動作制御部のセットを介して入力のセットを受信し、
（ｉｉ）前記入力のセットに基づいて、前記可視化ウィンドウ内に表示された前記現在のセクションを更新するように、更に構成されている、実施態様１に記載のシステム。
（７） 前記画像プロセッサは、前記入力のセットが、ｘ軸及びｙ軸のうちの１つ以上に沿った前記可視化ウィンドウの運動を示す入力を含む場合、
（ｉ）前記入力及び前記現在のセクションに基づいて、前記向上された画像の目的地セクションを決定し、
（ｉｉ）前記目的地セクションを前記現在のセクションとして用いて前記可視化ウィンドウをリフレッシュ及び提供するように、更に構成されている、実施態様６に記載のシステム。
（８） 前記画像プロセッサは、前記目的地セクションを前記現在のセクションとして用いて前記可視化ウィンドウをリフレッシュ及び提供するとき、
（ｉ）前記現在のセクションと前記目的地セクションとの間に位置する前記向上された画像の１つ以上の移行セクションを決定し、
（ｉｉ）前記目的地セクションを表示する前に、前記１つ以上の移行セクションを規則的な順序で表示するように、更に構成されている、実施態様７に記載のシステム。
（９） 前記画像プロセッサは、前記入力のセットが、ｚ軸に沿った前記可視化ウィンドウの運動を示す入力を含む場合、
（ｉ）前記入力に基づいて新たな倍率レベルを決定し、
（ｉｉ）前記現在のセクション及び前記新たな倍率レベルに基づいて前記可視化ウィンドウをリフレッシュ及び再表示するように、更に構成されている、実施態様６に記載のシステム。
（１０） 前記画像プロセッサは、前記現在のセクション及び前記新たな倍率レベルに基づいて前記可視化ウィンドウをリフレッシュ及び提供するとき、
（ｉ）元の倍率レベルでの前記現在のセクションと前記新たな倍率レベルでの前記現在のセクションとの間に位置する前記向上された画像の１つ以上の移行倍率を決定し、
（ｉｉ）前記現在のセクションを前記新たな倍率レベルで表示する前に、前記１つ以上の移行倍率を規則的な順序で表示するように、更に構成されている、実施態様９に記載のシステム。

（１１） 前記画像プロセッサは、前記入力のセットが、前記可視化ウィンドウの視点の回転を示す入力を含む場合、
（ｉ）前記入力に基づいて目的地視点を決定し、
（ｉｉ）前記目的地視点に基づいて、前記向上された画像の前記現在のセクションをデジタル的に変更し、
（ｉｉｉ）デジタル的に変更された前記現在のセクションに基づいて、前記可視化ウィンドウをリフレッシュ及び提供するように、更に構成されている、実施態様６に記載のシステム。
（１２） 前記プロセッサは、前記向上された画像を作成するとき、前記第１の画像及び前記第２の画像を組み合わせて第３の画像を生成するように、更に構成されており、前記第３の画像は、前記第１の画像及び前記第２の画像よりも高い解像度を含む、実施態様１１に記載のシステム。
（１３） 前記カメラのセットの各カメラは、デジタル撮像デバイスを含み、前記カメラのセットの各カメラは、前記シャフト内の導電接続部を介して前記連結ユニットに画像データを提供するように、構成されており、前記画像プロセッサは、画像誘導手術ナビゲーションシステムのプロセッサである、実施態様１に記載のシステム。
（１４） 方法であって、
（ａ）内視鏡を手術部位に位置付けることであって、前記内視鏡は、前記内視鏡のシャフトの遠位端部に位置付けられた第１のカメラ及び第２のカメラを含む、位置付けることと、
（ｂ）画像プロセッサにおいて、前記第１のカメラからの第１の画像及び前記第２のカメラからの第２の画像を受信することであって、前記第１の画像及び前記第２の画像は、同時にキャプチャされる、受信することと、
（ｃ）前記第１の画像及び前記第２の画像に基づいて、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分を決定することと、
（ｄ）前記第１の画像固有部分、前記オーバーラップする部分、及び前記第２の画像固有部分に基づいて、向上された画像を作成することと、
（ｅ）ディスプレイを介して、前記向上された画像の現在のセクションを表示する可視化ウィンドウを提供することと、を含む、方法。
（１５） 前記向上された画像を作成するとき、前記第１の画像固有部分、前記オーバーラップする部分、及び前記第２の画像固有部分を組み合わせてパノラマ画像を作成することを更に含み、前記パノラマ画像は、前記第１の画像及び前記第２の画像よりも高い解像度を含む、実施態様１４に記載の方法。

（１６） 前記向上された画像を作成するとき、
（ａ）前記第１の画像固有部分及び前記第２の画像固有部分が、画像データを包含しないか、又は無視できる画像データを包含するように、前記第１の画像及び前記第２の画像が完全に又は実質的にオーバーラップすると決定することと、
（ｂ）前記第１の画像及び前記第２の画像からの前記オーバーラップする部分を組み合わせて超解像画像を作成することであって、前記超解像画像は、前記オーバーラップする部分よりも高い解像度を含む、作成することと、を更に含む、実施態様１４に記載の方法。
（１７） （ａ）動作制御部のセットを介して入力のセットを受信することと、
（ｂ）前記入力のセットの入力が、ｘ軸及びｙ軸のうちの１つ以上に沿った前記可視化ウィンドウの運動を示す場合、前記入力及び前記現在のセクションに基づいて、前記向上された画像の目的地セクションを決定することと、
（ｃ）前記現在のセクションと前記目的地セクションとの間に位置する前記向上された画像の１つ以上の移行セクションを決定することと、
（ｄ）前記目的地セクションを表示する前に、前記１つ以上の移行セクションを規則的な順序で表示することと、を更に含む、実施態様１４に記載の方法。
（１８） （ａ）動作制御部のセットを介して入力のセットを受信することと、
（ｂ）前記入力セットの入力が、ｚ軸に沿った前記可視化ウィンドウの運動を示す場合、前記入力に基づいて新たな倍率レベルを決定することと、
（ｃ）元の倍率レベルでの前記現在のセクションと前記新たな倍率レベルでの前記現在のセクションとの間に位置する前記向上された画像の１つ以上の移行倍率を決定することと、
（ｄ）前記現在のセクションを前記新たな倍率レベルで表示する前に、前記１つ以上の移行倍率を規則的な順序で表示することと、を更に含む、実施態様１４に記載の方法。
（１９） （ａ）動作制御部のセットを介して入力のセットを受信することと、
（ｂ）前記入力のセットの入力が、前記可視化ウィンドウの視点の回転を示す場合、前記入力に基づいて目的地視点を決定することと、
（ｃ）現在の視点と前記目的地視点との間に位置する前記向上された画像の１つ以上の移行視点を決定することと、
（ｄ）前記現在のセクションを前記目的地視点で表示する前に、前記現在のセクションをデジタル的に変更して、前記現在のセクションを前記１つ以上の移行視点の各々で表示することと、を更に含む、実施態様１４に記載の方法。
（２０） 内視鏡であって、
（ａ）画像プロセッサと通信するように動作可能な連結ユニットと、
（ｂ）前記連結ユニットから延在する可撓性シャフトであって、前記可撓性シャフトは、遠位端部を含む、可撓性シャフトと、
（ｃ）前記遠位端部上に位置付けられたカメラのセットであって、前記カメラのセットの各々は、前記可撓性シャフト内の導電接続部を介して前記連結ユニットに画像データをキャプチャ及び通信するように動作可能である、カメラのセットと、
（ｄ）前記可撓性シャフト内の灌注チャネルのセットであって、前記灌注チャネルのセットの各灌注チャネルは、前記可撓性シャフトの近位端部からの受け取られた液体を、遠位先端部の前記カメラのセットのカメラのカバーに移送する、灌注チャネルのセットと、
（ｅ）前記可撓性シャフト内の器具チャネルであって、前記器具チャネルは、前記可撓性シャフトの前記近位端部から前記遠位先端部に可撓性手術用器具を誘導する、器具チャネルと、を含む、内視鏡。

Claims (20)

1. システムであって、
   （ａ）内視鏡であって、前記内視鏡は、
   （ｉ）連結ユニットと、
   （ｉｉ）前記連結ユニットから延在するシャフトと、
   （ｉｉｉ）前記シャフトの遠位端部に位置付けられたカメラのセットであって、前記カメラのセットは、画像データをキャプチャして前記連結ユニットに通信するように動作可能である、カメラのセットと、を含む、内視鏡と、
   （ｂ）前記連結ユニットから画像データを受信するように構成された画像プロセッサと、
   （ｃ）ディスプレイと、を含み、
   前記画像プロセッサは、
   （ｉ）前記カメラのセットの第１のカメラから第１の画像を受信し、前記カメラのセットの第２のカメラから第２の画像を受信し、
   （ｉｉ）前記第１の画像及び前記第２の画像に基づいて、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分を決定し、
   （ｉｉｉ）前記第１の画像固有部分、前記オーバーラップする部分、及び前記第２の画像固有部分に基づいて、向上された画像を作成し、
   （ｉｖ）前記ディスプレイを介して、前記向上された画像の現在のセクションを表示する可視化ウィンドウを提供するように、構成されている、システム。
2. 前記画像プロセッサは、前記向上された画像を作成するとき、前記第１の画像固有部分、前記オーバーラップする部分、及び前記第２の画像固有部分を組み合わせてパノラマ画像を作成するように、更に構成されており、前記パノラマ画像は、前記第１の画像及び前記第２の画像よりも高い解像度を含む、請求項１に記載のシステム。
3. 前記プロセッサは、前記向上された画像を作成するとき、
   （ｉ）前記第１の画像固有部分及び前記第２の画像固有部分が、画像データを包含しないか、又は無視できる画像データを包含するように、前記第１の画像及び前記第２の画像が完全に又は実質的にオーバーラップすると決定することと、
   （ｉｉ）前記第１の画像及び前記第２の画像からの前記オーバーラップする部分を組み合わせて超解像画像を作成することであって、前記超解像画像は、前記オーバーラップする部分よりも高い解像度を含む、作成することと、を行うように、更に構成されている、請求項１に記載のシステム。
4. 前記画像プロセッサは、前記向上された画像を作成するとき、前記オーバーラップする部分の３Ｄ画像を作成するように、更に構成されており、前記３Ｄ画像は、
   （ｉ）三次元ディスプレイ上で三次元的に見ることができる画像と、
   （ｉｉ）前記オーバーラップする部分の第１の視点と前記オーバーラップする部分の第２の視点との間で前後に向きを変えることによって、二次元ディスプレイ上で三次元的に見ることができる画像と、のうちの１つ以上として表示されるように、構成されている、請求項１に記載のシステム。
5. 前記第１のカメラ及び前記第２のカメラは、前記第１のカメラ及び前記第２のカメラが、互いに平行であるそれぞれの視線を有するように、配向されており、前記プロセッサは、前記第１の画像、前記第２の画像、及び静止オーバーラップ値に基づいて前記オーバーラップする部分を決定するように、更に構成されており、前記静止オーバーラップ値は、遠位先端部上の前記第１のカメラ及び前記第２のカメラの位置間の距離に基づいて決定される、請求項１に記載のシステム。
6. 動作制御部のセットを更に含み、前記画像プロセッサは、
   （ｉ）前記動作制御部のセットを介して入力のセットを受信し、
   （ｉｉ）前記入力のセットに基づいて、前記可視化ウィンドウ内に表示された前記現在のセクションを更新するように、更に構成されている、請求項１に記載のシステム。
7. 前記画像プロセッサは、前記入力のセットが、ｘ軸及びｙ軸のうちの１つ以上に沿った前記可視化ウィンドウの運動を示す入力を含む場合、
   （ｉ）前記入力及び前記現在のセクションに基づいて、前記向上された画像の目的地セクションを決定し、
   （ｉｉ）前記目的地セクションを前記現在のセクションとして用いて前記可視化ウィンドウをリフレッシュ及び提供するように、更に構成されている、請求項６に記載のシステム。
8. 前記画像プロセッサは、前記目的地セクションを前記現在のセクションとして用いて前記可視化ウィンドウをリフレッシュ及び提供するとき、
   （ｉ）前記現在のセクションと前記目的地セクションとの間に位置する前記向上された画像の１つ以上の移行セクションを決定し、
   （ｉｉ）前記目的地セクションを表示する前に、前記１つ以上の移行セクションを規則的な順序で表示するように、更に構成されている、請求項７に記載のシステム。
9. 前記画像プロセッサは、前記入力のセットが、ｚ軸に沿った前記可視化ウィンドウの運動を示す入力を含む場合、
   （ｉ）前記入力に基づいて新たな倍率レベルを決定し、
   （ｉｉ）前記現在のセクション及び前記新たな倍率レベルに基づいて前記可視化ウィンドウをリフレッシュ及び再表示するように、更に構成されている、請求項６に記載のシステム。
10. 前記画像プロセッサは、前記現在のセクション及び前記新たな倍率レベルに基づいて前記可視化ウィンドウをリフレッシュ及び提供するとき、
    （ｉ）元の倍率レベルでの前記現在のセクションと前記新たな倍率レベルでの前記現在のセクションとの間に位置する前記向上された画像の１つ以上の移行倍率を決定し、
    （ｉｉ）前記現在のセクションを前記新たな倍率レベルで表示する前に、前記１つ以上の移行倍率を規則的な順序で表示するように、更に構成されている、請求項９に記載のシステム。
11. 前記画像プロセッサは、前記入力のセットが、前記可視化ウィンドウの視点の回転を示す入力を含む場合、
    （ｉ）前記入力に基づいて目的地視点を決定し、
    （ｉｉ）前記目的地視点に基づいて、前記向上された画像の前記現在のセクションをデジタル的に変更し、
    （ｉｉｉ）デジタル的に変更された前記現在のセクションに基づいて、前記可視化ウィンドウをリフレッシュ及び提供するように、更に構成されている、請求項６に記載のシステム。
12. 前記プロセッサは、前記向上された画像を作成するとき、前記第１の画像及び前記第２の画像を組み合わせて第３の画像を生成するように、更に構成されており、前記第３の画像は、前記第１の画像及び前記第２の画像よりも高い解像度を含む、請求項１１に記載のシステム。
13. 前記カメラのセットの各カメラは、デジタル撮像デバイスを含み、前記カメラのセットの各カメラは、前記シャフト内の導電接続部を介して前記連結ユニットに画像データを提供するように、構成されており、前記画像プロセッサは、画像誘導手術ナビゲーションシステムのプロセッサである、請求項１に記載のシステム。
14. 方法であって、
    （ａ）内視鏡を手術部位に位置付けることであって、前記内視鏡は、前記内視鏡のシャフトの遠位端部に位置付けられた第１のカメラ及び第２のカメラを含む、位置付けることと、
    （ｂ）画像プロセッサにおいて、前記第１のカメラからの第１の画像及び前記第２のカメラからの第２の画像を受信することであって、前記第１の画像及び前記第２の画像は、同時にキャプチャされる、受信することと、
    （ｃ）前記第１の画像及び前記第２の画像に基づいて、第１の画像固有部分、オーバーラップする部分、及び第２の画像固有部分を決定することと、
    （ｄ）前記第１の画像固有部分、前記オーバーラップする部分、及び前記第２の画像固有部分に基づいて、向上された画像を作成することと、
    （ｅ）ディスプレイを介して、前記向上された画像の現在のセクションを表示する可視化ウィンドウを提供することと、を含む、方法。
15. 前記向上された画像を作成するとき、前記第１の画像固有部分、前記オーバーラップする部分、及び前記第２の画像固有部分を組み合わせてパノラマ画像を作成することを更に含み、前記パノラマ画像は、前記第１の画像及び前記第２の画像よりも高い解像度を含む、請求項１４に記載の方法。
16. 前記向上された画像を作成するとき、
    （ａ）前記第１の画像固有部分及び前記第２の画像固有部分が、画像データを包含しないか、又は無視できる画像データを包含するように、前記第１の画像及び前記第２の画像が完全に又は実質的にオーバーラップすると決定することと、
    （ｂ）前記第１の画像及び前記第２の画像からの前記オーバーラップする部分を組み合わせて超解像画像を作成することであって、前記超解像画像は、前記オーバーラップする部分よりも高い解像度を含む、作成することと、を更に含む、請求項１４に記載の方法。
17. （ａ）動作制御部のセットを介して入力のセットを受信することと、
    （ｂ）前記入力のセットの入力が、ｘ軸及びｙ軸のうちの１つ以上に沿った前記可視化ウィンドウの運動を示す場合、前記入力及び前記現在のセクションに基づいて、前記向上された画像の目的地セクションを決定することと、
    （ｃ）前記現在のセクションと前記目的地セクションとの間に位置する前記向上された画像の１つ以上の移行セクションを決定することと、
    （ｄ）前記目的地セクションを表示する前に、前記１つ以上の移行セクションを規則的な順序で表示することと、を更に含む、請求項１４に記載の方法。
18. （ａ）動作制御部のセットを介して入力のセットを受信することと、
    （ｂ）前記入力セットの入力が、ｚ軸に沿った前記可視化ウィンドウの運動を示す場合、前記入力に基づいて新たな倍率レベルを決定することと、
    （ｃ）元の倍率レベルでの前記現在のセクションと前記新たな倍率レベルでの前記現在のセクションとの間に位置する前記向上された画像の１つ以上の移行倍率を決定することと、
    （ｄ）前記現在のセクションを前記新たな倍率レベルで表示する前に、前記１つ以上の移行倍率を規則的な順序で表示することと、を更に含む、請求項１４に記載の方法。
19. （ａ）動作制御部のセットを介して入力のセットを受信することと、
    （ｂ）前記入力のセットの入力が、前記可視化ウィンドウの視点の回転を示す場合、前記入力に基づいて目的地視点を決定することと、
    （ｃ）現在の視点と前記目的地視点との間に位置する前記向上された画像の１つ以上の移行視点を決定することと、
    （ｄ）前記現在のセクションを前記目的地視点で表示する前に、前記現在のセクションをデジタル的に変更して、前記現在のセクションを前記１つ以上の移行視点の各々で表示することと、を更に含む、請求項１４に記載の方法。
20. 内視鏡であって、
    （ａ）画像プロセッサと通信するように動作可能な連結ユニットと、
    （ｂ）前記連結ユニットから延在する可撓性シャフトであって、前記可撓性シャフトは、遠位端部を含む、可撓性シャフトと、
    （ｃ）前記遠位端部上に位置付けられたカメラのセットであって、前記カメラのセットの各々は、前記可撓性シャフト内の導電接続部を介して前記連結ユニットに画像データをキャプチャ及び通信するように動作可能である、カメラのセットと、
    （ｄ）前記可撓性シャフト内の灌注チャネルのセットであって、前記灌注チャネルのセットの各灌注チャネルは、前記可撓性シャフトの近位端部からの受け取られた液体を、遠位先端部の前記カメラのセットのカメラのカバーに移送する、灌注チャネルのセットと、
    （ｅ）前記可撓性シャフト内の器具チャネルであって、前記器具チャネルは、前記可撓性シャフトの前記近位端部から前記遠位先端部に可撓性手術用器具を誘導する、器具チャネルと、を含む、内視鏡。

Images