JP2022512420A - センサベースのナビゲーションと内視鏡検査との組み合わせを用いた外科用システム - Google Patents

センサベースのナビゲーションと内視鏡検査との組み合わせを用いた外科用システム Download PDF

Info

Publication number
JP2022512420A
JP2022512420A JP2021533598A JP2021533598A JP2022512420A JP 2022512420 A JP2022512420 A JP 2022512420A JP 2021533598 A JP2021533598 A JP 2021533598A JP 2021533598 A JP2021533598 A JP 2021533598A JP 2022512420 A JP2022512420 A JP 2022512420A
Authority
JP
Japan
Prior art keywords
image
view
field
past
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021533598A
Other languages
English (en)
Inventor
シャメリ・エーサン
パルシ・ジェットミア
アクバリアン・ファテメ
アルガウィ・イェフダ
ゴバリ・アサフ
エブラヒミ・ババク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Acclarent Inc
Original Assignee
Biosense Webster Israel Ltd
Acclarent Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd, Acclarent Inc filed Critical Biosense Webster Israel Ltd
Publication of JP2022512420A publication Critical patent/JP2022512420A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24—Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

解剖学的構造の術前画像のセットが内視鏡カメラを使用して捕捉され得る。各捕捉画像は、画像誘導手術（ＩＧＳ）技術を使用して、捕捉の瞬間におけるカメラの位置及び向きに関連付けられる。この画像データ及び位置データは、捕捉画像のナビゲーションマップを作成するために使用され得る。解剖学的構造の外科手術中に、リアルタイムの内視鏡ビューが捕捉され、外科医に表示され得る。本ＩＧＳナビゲーションシステムは、リアルタイム画像の位置及び向きを決定し、適切な術前画像をナビゲーションマップから選択してリアルタイム画像に加えて外科医に表示することができる。

Description

（優先権）
本出願は、２０１８年１２月１４日出願の米国仮特許出願第６２／７７９，６１４号、発明の名称「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ ｗｉｔｈ Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｓｅｎｓｏｒ－Ｂａｓｅｄ Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｅｎｄｏｓｃｏｐｙ」に対する優先権を主張するものであり、その開示の全体が参照により本明細書に組み込まれる。
画像誘導手術（ＩＧＳ）は、コンピュータを用いて、患者の身体内に挿入された器具の位置の、術前に得られた画像（例えば、ＣＴスキャン又はＭＲＩスキャン、３Ｄマップなど）のセットに対するリアルタイムの相関を得ることで、コンピュータシステムが器具の現在の位置を術前に得られた画像に重ねる技術である。ＩＧＳ処置で使用できる電磁ＩＧＳナビゲーションシステムの例は、Ｂｉｏｓｅｎｓｅ－Ｗｅｂｓｔｅｒ，Ｉｎｃ．（Ｉｒｖｉｎｅ，Ｃａｌｉｆｏｒｎｉａ）によるＣＡＲＴＯ（登録商標）３ Ｓｙｓｔｅｍである。いくつかのＩＧＳ手術では、術野のデジタルトモグラフィスキャン（例えば、ＣＴ又はＭＲＩ、３Ｄマップなど）を外科手術の前に得る。次に、特別にプログラムされたコンピュータを用いて、デジタルトモグラフィスキャンデータをデジタルマップに変換する。外科手術中、センサ（例えば、電磁界を発生させる及び／又は外部で生成された電磁界に反応する電磁コイル）を有する特別な器具を用いて手術を実行し、同時に、センサがコンピュータに各手術用器具の現在位置を示すデータを送る。コンピュータは、センサから受信したデータを、術前トモグラフィスキャンから作成されたデジタルマップと相関付ける。トモグラフィスキャン画像は、スキャン画像内に示される解剖学的構造に対する各手術用器具のリアルタイム位置を示す指標（例えば、クロスヘア又は照明ドットなど）と共にビデオモニタ上に表示される。したがって、外科医が器具自体を体内のその現在の位置において直接視覚化することができない場合であっても、ビデオモニタを見ることによって、各センサ搭載器具の正確な位置を知ることができる。
ＩＧＳナビゲーションの使用は、外科手術の安全性及び成功を大幅に向上させ得る。一例として、外科医は、器具を解剖学的構造においてより正確に位置付けることが可能となり得る。ＩＧＳナビゲーションシステムによって提供される仮想ビューはまた、内視鏡（例えば、独立型の内視鏡又は手術部位に使用される別の外科用器具と一体化された内視鏡）によって捕捉された実際の動画及び画像と共に表示されてもよい。外科医は、仮想ビュー及び器具位置をシミュレートするために使用される、術前に取得されたトポグラフィー画像と、処置中の手術部位のリアルタイム画像とを有することで、自身の動作を誘導し、処置がいつ完了したかを判定するための、処置中に考慮され得る幅広い入力を有する。それであっても、手術前画像は、通常は間接的な撮像技術を使用して生成されるため、いくつかの点で制限がある。ＩＧＳナビゲーションの手術前画像は、一例として、カメラが行うように対象物から直接的に反射光を捕捉し対象物のフルカラーの写実的な画像を生成するよりもむしろ、磁気、電波、Ｘ線、又は電離放射線などの様々な非視覚的要因を解釈することによって生成される。
結果として得られる画像セットは多くの用途において有用であるが、それらは、解剖学的構造（例えば、色、質感、及び他の表面特性）の一部の態様を捕捉しない場合があり、また直接的な画像捕捉と比較して解像度及び透明度が低下し得る。内視鏡の画像はかかる更なる詳細及び明瞭性を提供し得る一方、内視鏡によるビューは、その現在の状態における解剖学的構造のリアルタイム画像に限定される。手術中に外科医が利用可能な情報に関する、かかるいかなる制約も、悪い結果の一因となり得、それにより追跡及び是正処置が必要となる場合がある。
外科手術において、いくつかのシステム及び方法が開発され用いられてきたが、本発明者らの以前に、添付の特許請求の範囲に記載される発明を行い又は用いた者はいないと考えられる。
本明細書は、本発明を具体的に示し、明確にその権利を請求する特許請求の範囲をもって結論とするものであるが、本発明は以下の特定の実施例の説明を添付図面と併せ読むことでより深い理解が得られるものと考えられる。図中、同様の参照番号は同様の要素を示す。
例示的な医療処置チェアに着座した患者に使用される例示的な手術ナビゲーションシステムの概略図を示す。 手術ナビゲーションシステムと共に使用可能な例示的な内視鏡の概略図である。 例示的な比較インターフェースの模擬スクリーンショットを示す。 ナビゲーション画像を有する例示的な比較インターフェースの模擬スクリーンショットを示す。 画像の時系列シーケンスを有する例示的な比較インターフェースの模擬スクリーンショットを示す。 図３～図５のいずれかの比較インターフェースを提供するために実行され得る、例示的な高レベル工程のセットのフローチャートを示す。 画像ナビゲーションマップを作成するために実行され得る工程の例示的なセットのフローチャートを示す。 手術中にライブ画像を捕捉するために実行され得る工程の例示的なセットのフローチャートを示す。 比較画像を作成するために実行され得る工程の例示的なセットのフローチャートを示す。 図３～図５のいずれかの比較インターフェースを介して情報を表示するために実行され得る工程の例示的なセットのフローチャートを示す。
図面は、いかなる方式でも限定することを意図しておらず、本発明の様々な実施形態は、図面に必ずしも描写されていないものを含め、他の様々な方式で実施し得ることが企図される。本明細書に組み込まれ、その一部をなす添付図面は、本発明のいくつかの態様を図示したものであり、本説明文と共に本発明の原理を説明する役割を果たすものである。しかしながら、本発明が、示される詳細な構成に限定されないことが理解されるべきである。
本発明の特定の実施例の以下の説明文は、本発明の範囲を限定する目的で用いられるべきではない。本発明の他の実施例、特徴部／機構、態様、実施形態、及び利点は、本発明を実施するために想到される最良の形態の１つを実例として示す以下の説明文より、当業者には明らかとなろう。理解されるように、本発明は、いずれも本発明から逸脱することなく、他の異なるかつ明白な態様が可能である。したがって、図面及び説明は、限定的な性質のものではなく、例示的な性質のものと見なされるべきである。
「近位」及び「遠位」という用語は、本明細書では、ハンドピースアセンブリを把持している臨床医を基準として使用されることが理解されるであろう。すなわち、エンドエフェクタは、より近位のハンドピースアセンブリに対して遠位側にある。便宜上及び明確さのために、「上部」及び「下部」などの空間用語もまた、本明細書において、ハンドピースアセンブリを把持している臨床医を基準にして使用されていることが更に理解されよう。しかしながら、手術用器具は、多くの向き及び位置で使用されるものであり、これらの用語は、限定的かつ絶対的なものであることを意図するものではない。
本明細書に記載の教示、表現、変形、実施例などのうちのいずれか１つ以上を、本明細書に記載の他の教示、表現、変形、実施例などのうちのいずれか１つ以上と組み合わせることができる点も更に理解される。したがって、以下に記載されている教示、表現、変形、実施例などは、互いに独立して考慮されるべきではない。本明細書の教示に照らして、本明細書の教示を組み合わせることができる様々な好適な方式が、当業者には容易に明らかとなろう。このような修正及び変形は、「特許請求の範囲」内に含まれるものとする。
Ｉ．例示的な画像誘導手術ナビゲーションシステム
患者（Ｐ）の頭部（Ｈ）内で医療処置を実施するとき、特に器具が患者（Ｐ）の頭部（Ｈ）内の器具の作業要素の内視鏡ビューを得ることが困難又は不可能である場所にある場合に、患者（Ｐ）の頭部（Ｈ）内の器具の位置に関する情報を有することが望ましい場合がある。図１は、画像誘導を使用して耳鼻咽喉（ＥＮＴ）手術の実行を可能にする例示的なＩＧＳナビゲーションシステム（１０）を示す。本明細書に記載されている構成要素及び動作性を有することに加えて、又はそれに代わって、ＩＧＳナビゲーションシステム（１０）は、以下の文献の教示の少なくとも一部に従って構成され、動作可能となり得る。すなわち、米国特許第７，７２０，５２１号、発明の名称「Ｍｅｔｈｏｄｓ ａｎｄ Ｄｅｖｉｃｅｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１４年５月１８日発行）（開示内容は参照により本明細書に組み込まれている）、及び米国特許出願公開第２０１４／０３６４７２５号、発明の名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｉｍａｇｅ Ｇｕｉｄｅｄ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１４年１２月１１日公開）（開示内容は参照により本明細書に組み込まれている）。
本実施例のＩＧＳナビゲーションシステム（１０）は、馬蹄形フレーム（２２）に一体化された一式の磁界発生器（２４）を含む磁界発生器アセンブリ（２０）を含む。磁界発生器（２４）は、患者（Ｐ）の頭部（Ｈ）の周りに異なる周波数の交流磁界を生成するように動作可能である。この実施例では、ナビゲーションガイドワイヤ（４０）が患者（Ｐ）の頭部（Ｈ）に挿入される。ナビゲーションガイドワイヤ（４０）は、独立型装置であってもよく、又は外科用切断器具若しくは拡張器具などの医療器具のエンドエフェクタ又は他の箇所に位置付けられてもよい。本実施例では、フレーム（２２）が椅子（３０）に装着され、フレーム（２２）が患者（Ｐ）の頭部（Ｈ）に隣接して配置されるように患者（Ｐ）は椅子（３０）に着座する。単に一例として、椅子（３０）及び／又は磁界発生器アセンブリ（２０）は、米国特許出願第１５／９３３，７３７号、発明の名称「Ａｐｐａｒａｔｕｓ ｔｏ Ｓｅｃｕｒｅ Ｆｉｅｌｄ Ｇｅｎｅｒａｔｉｎｇ Ｄｅｖｉｃｅ ｔｏ Ｃｈａｉｒ」（２０１８年３月２３日出願）（開示内容は参照により本明細書に組み込まれている）の少なくとも一部の教示に従って構成され、動作可能であり得る。
本実施例のＩＧＳナビゲーションシステム（１０）は、ＩＧＳナビゲーションシステム（１０）の磁界発生器（２４）及び他の要素を制御する処理装置（１２）を更に含む。例えば、処理装置（１２）は、磁界発生器（２４）を駆動して交流電磁界を生成し、ナビゲーションガイドワイヤ（４０）からの信号を処理して患者（Ｐ）の頭部（Ｈ）内におけるナビゲーションガイドワイヤ（４０）内のセンサの場所を判定するように動作可能である。処理装置（１２）は、１つ以上のメモリと通信する処理ユニットを含む。本実施例の処理装置（１２）は、キーパッド及び／又はマウス若しくはトラックボールなどのポインティングデバイスを含む動作制御部（１４）を含むコンソール（１８）内に装着されている。医師は、外科手術を行いながら、動作制御部（１４）を使用して処理装置（１２）と相互作用する。いくつかの実装形態では、処理装置（１２）は、１つ以上のメモリ及び処理ユニットを備えてもよく、それらは、ＩＧＳナビゲーションシステム（１０）に近接して置かれた１つ以上の別個のコンピューティングデバイスに分散され（例えば、手術室内の１つ以上のコンピュータ）、又は、ＩＧＳナビゲーションシステム（１０）から離れて設置され（例えば、ネットワークを介してＩＧＳナビゲーションシステム（１０）と通信する１つ以上のリモートサーバ、仮想サーバ、若しくはクラウドサーバ）、又はそれらの組み合わせであってもよい。このような実装形態では、処理装置（１２）のうちの異なるサブコンポーネント又はサブ処理装置によって異なるタスクが処理されてもよく、例えば、手術室内のコンピュータ、処理装置、及びメモリが、器具追跡機能を処理し、かつ提供してもよく、遠隔に配置されたサーバが、内視鏡画像、トポグラフィー画像、及び他の画像を受信し、受信した画像に対して、画像処理、記憶、暗号化、又は他の処理を加えてもよい。
ナビゲーションガイドワイヤ（４０）は、磁界発生器（２４）によって生成された交流電磁界内の測位に反応するセンサ（図示せず）を含む。連結ユニット（４２）はナビゲーションガイドワイヤ（４０）の近位端に固定され、コンソール（１８）とナビゲーションガイドワイヤ（４０）との間のデータ及び他の信号の通信を提供するように構成されている。連結ユニット（４２）は、データ及び他の信号の有線又は無線通信を提供することができる。
本例では、ナビゲーションガイドワイヤ（４０）のセンサは、ナビゲーションガイドワイヤ（４０）の遠位端に少なくとも１つのコイルを含む。かかるコイルが磁界発生器（２４）によって生成された交流電磁界の中に置かれると、交流磁界がコイルの中に電流を生成し得、この電流は、ナビゲーションガイドワイヤ（４０）内の導電路（単数又は複数）に沿って、連結ユニット（４２）を介して処理装置（１２）に更に伝送され得る。この現象により、ＩＧＳナビゲーションシステム（１０）は、３次元空間内（すなわち、患者（Ｐ）の頭部（Ｈ）内など）におけるナビゲーションガイドワイヤ（４０）又は他の医療器具（拡張器具、外科用切断器具など）の遠位端の場所を判定することができる。これを実現するため、処理装置（１２）は、ナビゲーションガイドワイヤ（４０）の遠位端の位置座標を、ナビゲーションガイドワイヤ（４０）内のコイル（複数可）の位置関連信号から計算するアルゴリズムを実行する。この実施例では、位置センサが、ガイドワイヤ（４０）内に配置されているが、このような位置センサは、以下により詳細に記載されるものを含む、様々な他の種類の器具に統合されてもよい。
処理装置（１２）は、処理装置（１２）のメモリに記憶されたソフトウェアを使用して、ＩＧＳナビゲーションシステム（１０）を較正しかつ動作させる。このような動作は、磁界発生器（２４）を駆動することと、ナビゲーションガイドワイヤ（４０）からのデータを処理することと、動作制御部（１４）からのデータを処理することと、ディスプレイスクリーン（１６）を駆動することと、を含む。いくつかの実装形態では、動作はまた、ＩＧＳナビゲーションシステム（１０）の１つ以上の安全機構又は機能の監視及び実行も含み得る。処理装置（１２）は、患者の頭部（Ｈ）のビデオカメラ画像、患者の頭部（Ｈ）のＣＴスキャン画像、及び／又は患者の鼻腔内及び患者の鼻腔に隣接する解剖学的構造のコンピュータ生成３次元モデル、に関してナビゲーションガイドワイヤ（４０）の遠位端の位置を示すディスプレイスクリーン（１６）を介して、リアルタイムで動画を提供するように更に動作可能である。ディスプレイスクリーン（１６）は、外科手術中にこのような画像を同時に及び／又は互いに重ねて表示することができる。このように表示される画像は、ナビゲーションガイドワイヤ（４０）などの患者の頭部（Ｈ）に挿入される器具のグラフィック表示も含んでもよく、それにより、操作者は、その実際の位置で、リアルタイムで器具の仮想レンダリングを見ることができる。単に一例として、ディスプレイスクリーン（１６）は、米国特許出願公開第２０１６／０００８０８３号、発明の名称「Ｇｕｉｄｅｗｉｒｅ Ｎａｖｉｇａｔｉｏｎ ｆｏｒ Ｓｉｎｕｐｌａｓｔｙ」（２０１６年１月１４日公開）（開示内容は参照により本明細書に組み込まれている）の教示の少なくとも一部に従って画像を提供してもよい。
操作者が内視鏡も使用している場合には、内視鏡画像もディスプレイスクリーン（１６）に表示することができる。例えば、図２は、ＩＧＳナビゲーションシステム（１０）と共に使用可能な例示的な内視鏡（１００）の概略図である。内視鏡（１００）は、画像及び動画を捕捉するように動作可能なカメラ（１０２）を含み、このカメラは、手術部位において画像を捕捉するために鼻腔の中へナビゲートされ得る、剛体又は（例えば、ナビゲーションワイヤ（４０）と同様の）可撓性本体の遠位端に置かれ得る。内視鏡（１００）は、また、カメラ（１０２）に近接して位置センサ（１０４）又は追跡センサを含み、カメラ（１０２）の位置、向き、又はその両方を判定するために、（例えば、ナビゲーションガイドワイヤ（４０）と同様に）ＩＧＳナビゲーションシステム（１０）によって追跡されるように構成されている。上述の器具追跡技術は、位置追跡を可能にするために、磁界発生器アセンブリ（２０）を使用してナビゲーションガイドワイヤ（４０）内の位置センサと相互作用する磁界を生成することを含むが、他の種類の位置追跡も存在し、本明細書に開示される技術と共に実装され得ることを理解されたい。例えば、場合によっては、代わりに無線ビーコン三角測量を用いて追跡領域（例えば、磁界など）を実装し、内視鏡（１００）の位置センサ（１０４）と通信してその位置を特定してもよく、又は、患者の身体内における検出が可能な他の形態の無線による測位及び追跡を用いてもよい。
電力及び情報が、内視鏡（１００）の本体に沿って延びるワイヤを介して伝達され得、それにより、例えば、カメラ（１０２）の動作を可能となり、位置センサ（１０４）との間で情報が送受信され、カメラ（１０２）からの画像がデジタルデータ（例えば、データ接続を介して）又は光学データ（例えば、光ファイバを介して）として受信される。本実施例の内視鏡（１００）はまた、連結ユニット（４２）と同様の連結ユニット（１０６）を含み、これは、内視鏡（１００）をＩＧＳナビゲーションシステム（１０）と共に使用することを可能にするように構成され得る。これには、例えば、位置センサ（１０４）から信号を受信し、それらを位置センサ（１０４）の位置が決定できるように、処理装置（１２）に通信することと、カメラ（１０２）から信号又はデータを受信し、ディスプレイスクリーン（１６）を介して表示できるように、それらを処理装置（１２）に（例えば、受信されたままのＲＡＷ形式で、又は、光ファイバを介して受信された光画像データの通信前のデジタル画像データへの変換などの変換後）通信することと、を含み得る。
位置センサ（１０４）は３次元空間内での位置を判定するために使用可能であるとして説明されているが、位置センサ（１０４）のいくつかの実装形態はまた、（例えば、ジャイロスコープ要素、互いに対する関係が固定された直交コイルなどの２つ以上の独立して追跡されるセンサの組み合わせ、又は他の同様の手段を使用することによって）３次元空間内での向きを判定するために使用可能であり得ることを理解されたい。位置センサ（１０４）は、追跡領域内の位置と向きの両方を決定するために使用可能であり得るので、時には、一方又は両方の能力を有する追跡センサとも称され得る。位置センサ（１０４）又は別の接続されたデバイス又は構成要素が内視鏡（１００）の向きを判定することが可能でない実装形態では、ＩＧＳナビゲーションシステム（１０）は、内視鏡（１００）が常に特定の解剖学的標的又は手術部位内の他の点に向きされていると仮定することによって、向きを自動的に決定してもよい。
ディスプレイスクリーン（１６）を介して提供される画像は、操作者が患者の頭部（Ｈ）内で、技術を要する操作（maneuvering）及びその他の操作（manipulating）を器具を用いて行う際に、かかる器具に位置センサ（１０４）のような位置センサが組み込まれている場合、操作者が操作を行うのを導く上で役立ち得る。また、以下に記載されるように、手術用器具の他の構成要素及び他の種類の手術用器具に、ナビゲーションガイドワイヤ（４０）のセンサ又は内視鏡（１００）のセンサ（１０４）のようなセンサを組み込んでもよいことを理解されたい。
ＩＩ．画像の比較ナビゲーションのための例示的なシステム
説明されてきたように、ディスプレイスクリーン（１６）上に表示される内視鏡画像及び動画を捕捉するために、内視鏡（１００）などの内視鏡がＩＧＳナビゲーションシステム（１０）と共に使用されてよい。このような内視鏡画像は、単独で表示されても、他の画像（例えば、仮想内視鏡ビュー、術前ＣＴ画像ビューなど）との組み合わせで表示されても、所望され得る他の情報及びインターフェースと共に表示されてもよい。ディスプレイスクリーン（１６）を介して有利に表示され得るインターフェースの一例は、手術部位の現在の外観と、手術部位の１つ以上の過去の外観との両方を示すために、手術前の内視鏡画像と、術中又は術後のいずれかの内視鏡画像との組み合わせを示してもよい。このようにして、外科医は、現在実行されている手術工程が成功しているか又は完了したかを判定するのに有用であり得る追加コンテキスト（例えば、手術部位の１つ以上の過去の外観）と共に、手術部位の現在の外観を視認し得る。
単に一例として、本明細書の教示を考慮することで当業者には明らかとなるように、内視鏡下機能的副鼻腔手術（ＦＥＳＳ）、鼻甲介切除術（turbinate reduction）、副鼻腔形成術、又は様々な他の医療処置、などの医療処置を実施した後に、鼻腔内の様々な解剖学的構造の術前内視鏡画像を術中又は術後内視鏡画像と比較することが望ましい場合がある。このような視覚的比較は、医療処置によって組織構造の再構築又は他の変更がもたらされた場合において、医療処置の前、その間、及びその後に、操作者が組織構造を比較することを容易に可能にすることができる。術前画像データに直接組み込まれた内視鏡位置データを有することにより、最も適切な術前画像が、医療処置中又は医療処置後の器具使用のリアルタイム位置に基づいて、又は医療処置後に行われるユーザ選択に基づいて選択され得る。
例えば、図３～５はそれぞれ、かかる付加的なコンテキストを提供するために、ＩＧＳナビゲーション中にディスプレイスクリーン（１６）などのディスプレイを介して表示され得るインターフェースを示し、図６～１０は、図３～５のインターフェースのうちの１つ以上を構成し提供するために実行され得る工程のセットを示す。具体的に言えば、図３は、例示的な比較インターフェース（２００）の模擬スクリーンショットを示す。比較インターフェース（２００）は、術前内視鏡画像（２０２）及び術前内視鏡画像ステータス（２０４）、並びにライブ内視鏡画像（２０６）及びライブ内視鏡画像ステータス（２０８）を含む。本明細書で使用されるとき、内視鏡画像又は情報が捕捉又はステータスの「術前」のタイミングに関連付けられていると記述することは、その内視鏡画像又はステータスが、手術の数日前又は数週間前の診察又は手術部位の診査用撮像の間など、特定の手術の開始前に捕捉されたものであることを示し得るが、更にまた、その内視鏡画像又はステータスが、手術の第１の段階の間に行われた第１の組織改変の直前か、又は手術の第２の段階の間に行われた第２の組織改変の直前か、又は他の時間など、手術の現在又は直前の段階の前の任意の時間に捕捉されたものであることをも示し得る。図３は、並べて表示されたライブ内視鏡画像（２０６）と術前内視鏡画像（２０２）を示しているが、これらは互いに関して様々な他の方法で表示されてもよく、又は重ね合わされてもよい（例えば、術前内視鏡画像（２０２）が半透明性となるように変更され、ライブ内視鏡画像（２０６）の上にオーバーレイされてもよい）ことを理解されたい。
術前内視鏡画像（２０２）は、過去の時点（例えば、現在の処置の開始前、又は現在の処置の前の段階の間）から捕捉された内視鏡画像を示してもよく、術前内視鏡画像ステータス（２０４）は、その術前内視鏡画像（２０２）に関連付けられた１つ以上の情報を示してもよい。例えば、術前内視鏡画像ステータス（２０４）は、術前内視鏡画像（２０２）が捕捉された時点における位置センサ（１０４）の３次元位置を含んでもよく、これは情報（例えば、ｘ、ｙ、及びｚ座標）として表示されてもよく、又は、捕捉時の手術部位に対する模擬的な位置（例えば、手術部位に対する位置センサ（１０４）のレンダリングされた３次元位置）として表示されてもよい。
ライブ内視鏡画像（２０６）は、現在の外科手術の間に内視鏡（１００）によって捕捉されたものなど、現時点から捕捉された内視鏡画像を示してもよく、一方で、ライブ内視鏡画像ステータス（２０８）は、ライブ内視鏡画像（２０６）に関連付けられた１つ以上の情報を示してもよい。ライブ内視鏡画像ステータス（２０８）は、術前画像ステータス（２０４）に示されるものと同様の情報を示してもよく、ライブ内視鏡画像（２０６）が捕捉された時の座標（例えば、ｘ、ｙ、及びｚ座標）としての位置センサ（１０４）の３次元位置を含んでもよく、又は手術部位に対する模擬的な位置として表示されてもよい。
ライブ内視鏡画像（２０６）は、内視鏡（１００）を介して捕捉された手術部位のリアルタイム画像又は動画を示すものであるが、術前内視鏡画像（２０２）は、図６～１０において以下に更に詳細に説明されるように、各内視鏡画像又は動画に関連付けられた位置センサ（１０４）からの過去及び現在の位置データを比較することによって、ライブ内視鏡画像（２０６）と同じか又は類似の視野から捕捉された手術部位の過去画像又は動画を示すものである。かかるインターフェースを用いて、外科医が内視鏡（１００）を移動させると（例えば、いずれかの方向に前進、後退、回転させ、任意の方向に機械的に関節運動させると）、位置センサ（１０４）によって提供されるリアルタイム位置データが変化するだけでなく、ライブ内視鏡画像（２０６）に示されるリアルタイム画像も変化する。リアルタイム位置データが変化するにつれ、術前内視鏡画像（２０２）もまたリアルタイム位置データに基づいて更新され、リアルタイム位置データによって示される視野と同じ又は同様の視野から以前に捕捉された画像を示してもよい。
上記の例として、いくつかの実装形態では、術前内視鏡画像（２０２）は位置データの変化に応じて自動的に更新されてもよく、術前内視鏡画像の動画であるように見える画像のシーケンスとして、又は位置データが変化していないときの静止画像として提示されてもよい。このようにして、術前内視鏡画像（２０２）は、内視鏡（１００）によってリアルタイムで捕捉されたものと同様の、術前に捕捉された視野及びビューを提供することができる。いくつかの実装形態では、術前内視鏡画像（２０２）は、所望に応じてユーザによって（例えば、ボタン入力、音声入力、又は他の入力に基づいて）手動で更新される静止画像として提示されてもよく、これにより、ユーザは内視鏡（１００）の位置を定め、それから、表示される術前内視鏡画像を手動で更新し得る。いくつかの実装形態では、術前内視鏡画像（２０２）は、内視鏡（１００）が実質的に移動され又は位置を定められていないときにのみ、位置データを変更することに基づいて自動的に更新される静止画像として提示されてもよく、これにより、静止画像は、内視鏡（１００）の意図的な移動が生じ、次いで停止した後に自動的に更新される。
いくつかの実装形態では、術前内視鏡画像（２０２）は、変化する位置データに基づいて、術前に取得された画像又は動画から選択された画像のループシーケンスとして提示されてもよい。これは、例えば、位置データの変化に応じて、その位置データに関連付けられた術前に取得された内視鏡画像、並びに、近隣の位置データに関連付けられた（例えば、わずかに異なる位置又は向きからの）いくつかの他の術前に取得された内視鏡画像を含む一連の画像を表示することを含んでよく、これにより、術前内視鏡画像によって表示される手術部位を取り巻く、かつ手術部位に対する移動のわずかな感覚が提供され得る。術前内視鏡画像（２０２）を表示するための他の技術も存在し、それらは以下に記載されるか、又は本明細書の教示を考慮することで当業者には明らかとなるであろう。
このようなインターフェースのいくつかの実装形態では、術前画像状態（２０４）、ライブ内視鏡画像状態（２０８）、又はその両方は、それらの互いに対する視野（例えば、３次元空間内の位置及び向き）を数値オフセットとして、又は、画像をより正確に位置合わせするために実行され得る方向移動若しくは回転について、説明する情報を提供してもよい。一例として、ライブ内視鏡画像（２０６）が、位置ｘ１、ｙ１、及びｚ１を有する視野、並びに、ヨー１、ピッチ１、及びロール１を有する向きから捕捉される場合、その正確な視野からの以前に捕捉された画像は存在しないことがある。代わりに、ｘ１、ｙ２、及びｚ１の視野、並びにヨー１、ロール１、及びピッチ２の向きを有する最良一致が表示されてもよい。かかる場合、ライブ内視鏡画像ステータス（２０８）は、ｙ１とｙ２（例えば、上向きの方向矢印）との間の差、及びピッチ１とピッチ２との間の差（例えば、上向きの回転ピッチを示す方向矢印）を低減又は解消するためになされなければならない変更を示す数字、テキスト、又は方向情報を示してもよい。
図４は、ＩＧＳナビゲーションシステム（１０）などのシステムのユーザに表示され得る例示的な代替の比較インターフェース（２０１）の模擬スクリーンショットを示す。比較インターフェース（２０１）は、ライブ内視鏡画像（２０６）とライブ内視鏡画像ステータス（２０４）とを含むと共に、術前画像ステータス（２０８）と、術前内視鏡画像（２０２）を含む術前画像（２０５）のパネルとを含む。術前画像（２０５）のパネルはまた、オーバーレイされた器具位置（２１１）をそれぞれが有する、下向き画像（２１０）、前方画像（２１２）、及び側方画像（２１４）を含むデジタルスキャン画像のセット（例えば、ＣＴ又はＭＲＩ、３Ｄマップなど）を含む。オーバーレイされた器具位置（２１１）は、位置センサ（１０４）に基づいて内視鏡（１００）のリアルタイム位置を表現してもよく、デジタルスキャン画像のそれぞれは、従来の手段又は制御部（例えば、キーボード、マウス、タッチスクリーン、又はナビゲーション矢印若しくはコントロール）を用いて共にナビゲートされてもよく、又は、位置センサ（１０４）からのデータに基づいて自動的に選択され、かつ表示されてもよい（例えば、上からの画像（２１０）は、判定されたｘ座標及びｚ座標に基づいて選択されてよく、前方画像（２１２）は、判定されたｙ及びｙ座標に基づいて選択されてよく、側方画像（２１４）は、判定されたｙ座標及びｚ座標に基づいて選択されてよい）。
図３の例と同様に、術前内視鏡画像（２０２）は、位置センサ（１０４）からのデータに基づいて選択され、かつ表示されてもよく、これにより、表示される内視鏡画像の視野は、位置センサ（１０４）からのデータに基づいて、内視鏡（１００）によって捕捉されたライブ内視鏡画像（２０６）の現在の視野と一致するか若しくは実質的に一致する。このようにして、外科医が内視鏡（１００）を移動させ、内視鏡画像及び動画をライブ内視鏡画像（２０６）として受け取ると、術前画像（２０５）のパネル内の１つ以上の画像もまた、以下でより詳細に説明されるように、同様の視野を表示するように更新され得る。
図５は、ライブ内視鏡画像（２０６）及びライブ内視鏡画像ステータス（２０４）に加えて、時系列内視鏡画像パネル（２１７）を含む例示的な代替の比較インターフェース（２０３）の模擬スクリーンショットを示す。時系列画像パネル（２１７）は、初期の内視鏡画像（例えば、処理の前に、又は第１の組織改変又は処置工程の前に捕捉され得る術前内視鏡画像（２０２））と、より最近の内視鏡画像（例えば、ライブ内視鏡画像（２０６）、又はライブ内視鏡画像（２０６）の前に捕捉又は保存された直近の内視鏡画像であり得る内視鏡画像（２０７））との間に生じる異なる瞬間における手術部位を示す、順序付けられた（例えば、捕捉時間、手術段階によって順序付けられた）内視鏡画像のセットを含み得る。介在内視鏡画像（２１６ａ、２１６ｂ、２１６ｃ、２１６ｄ）のセットは、手術前内視鏡画像（２０２）及びライブ内視鏡画像（２０６）に示されるものと同様の又は同じ視野から、様々な時間における手術部位の１つ以上の内視鏡画像を示してもよく、かつ、図示されるように、第１の内視鏡画像（２１６ａ）と、第２の内視鏡画像（２１６ｂ）と、第３の内視鏡画像（２１６ｃ）と、第４の内視鏡画像（２１６ｄ）とを含んでもよい。前の例と同様に、時系列画像パネル（２１７）内の内視鏡画像の選択及び表示は、位置センサ（１００）からのデータに基づいて決定されてもよく、これにより、それらの内視鏡画像は、内視鏡（１００）によって現在捕捉されているライブ内視鏡画像（２０６）と一致するか又は実質的に一致する視野からの手術部位を示す。
例えば、特定の外科手術が５つの主要な工程を有する場合、各介在内視鏡画像は、工程の完了後の手術部位を示し得る。かかる例では、術前内視鏡画像（２０２）は、任意の組織改変前の手術部位を示してもよく、第１の内視鏡画像（２１６ａ）は、処置の第１の段階の間の組織改変の第１のセットの後の手術部位を示してもよく、一方、第４の内視鏡画像（２１６ｄ）は、処置の第４の段階の間の組織改変の次のセットの後の手術部位を示してもよく、内視鏡画像（２０７）は、処置の最終段階における組織改変のセットの後の手術部位を示し得る。
別の例として、介在内視鏡画像のうちの１つ以上が、外科医によって手動で決定された様々な時間における手術部位を示してもよい。かかる実施例では、外科医は、ＩＧＳナビゲーションシステム（１０）のボタン又は制御と相互作用することによって、介在内視鏡画像のセットに追加すべき現在のライブ内視鏡画像（２０６）をマーキングすることができ、これにより、外科医は、比較インターフェース（２０３）を介して、後に参照するために保存すべき特定の節目となる内視鏡画像、又は他の参照内視鏡画像を選定することが可能となり得る。更に別の例として、１つ以上の介在内視鏡画像は、ＩＧＳナビゲーションシステム（１０）又は手術中に使用される別のツール若しくはデバイスによって自動的に決定される様々な時間における手術部位を示し得る。かかる例では、内視鏡画像は、手術用器具、手術用器具ジェネレータ、又は別のデバイスからの情報又は活動に基づいて、介在内視鏡画像に自動的に追加されてもよい。これは、切断ツールが起動されるたびに内視鏡画像を捕捉することを含み得、その結果、介在内視鏡画像のセットが自動的に構築されて、各組織改変又は起動前の手術部位が示される。更に別の例として、内視鏡画像は、時間の経過に基づいて捕捉され介在内視鏡画像に追加されてもよい（例えば、内視鏡画像は、構成可能なスケジュールに基づいて、定期的に捕捉され介在内視鏡画像に追加されてもよい）。
いずれの場合も、介在内視鏡画像のセットは、以下の実施例のうちの１つ以上によることを含めて、様々な方式でサイズを決めかつ構成されて表示されてもよい。いくつかの実装形態では、内視鏡画像は、それぞれが比較インターフェース（２０３）を介して同時に表示されるようにサイズを決めかつ構成されてもよい。いくつかの実装形態では、内視鏡画像は、ユーザ入力に基づいて水平方向又は横方向にスクロールする又は横断してもよく、これによって介在内視鏡画像の大規模なセットに対応し得る。いくつかの実装形態では、内視鏡画像は、様々なデジタル処理を使用して表示され得る。これには、例えば、ビデオシーケンスとしての表示（例えば、各内視鏡画像が順番に短時間表示され、多数の独立した画像を見るのではなく、動画を見ている視覚を生成し得る）、又は画像モーフィングを用いた表示（例えば、第１の内視鏡画像及び第２の内視鏡画像を用いて多数の介在内視鏡画像を生成及び表示し、術前に取得された内視鏡画像から現在の内視鏡画像又はその他より最近の内視鏡画像へ、徐々にモーフィングされる視覚を生成する場合）を含んでもよい。
比較インターフェース（２０３）はまた、時系列ステータス（２１５）を含み、時系列ステータスは、術前内視鏡画像ステータス（２０８）と同様の情報を示してもよく、かつ、介在内視鏡画像のそれぞれが捕捉された時間（例えば、時と分、捕捉からの時間、画像が捕捉された手術の段階）、並びに捕捉の状況（例えば、手動で追加されたのか自動で追加されたのか、及びどのような状況下で又はどのようなできごとに応じてか）などの、時系列関連の情報を追加的に示してもよい。
ＩＩＩ．比較ナビゲーションの例示的な方法
図３～図５は、ＩＧＳナビゲーションシステム（１０）などのシステムによって提供され得る比較インターフェースの変形例を示す一方で、図６～図１０は、それらのインターフェースを構成しかつ表示するために、かかるシステムによって実行され得る工程を示す。例えば、図６は、図３～図５のいずれかの比較インターフェースを提供するために実行され得る、高レベル工程（３００）の例示的なセットのフローチャートを示す。これらの工程は、術前内視鏡画像（例えば、過去の内視鏡画像、以前に捕捉された内視鏡画像、又は履歴上の内視鏡画像）の内視鏡画像マップを生成する（ブロック３０２）ことを含み、これは、内視鏡画像のセット及び関連する位置又は視野データを生成する目的で、多数の異なる視野（例えば、手術部位に対する異なる位置及び向き）から手術部位の内視鏡画像を捕捉するために、処置の開始前に内視鏡（１００）を使用することを含み得る。システムはまた、ライブ内視鏡画像を内視鏡（１００）を介して処置中に受信する（ブロック３０４）こともでき、かかるライブ内視鏡画像はまた、位置又は視野データに関連付けられる。システムは次いで、内視鏡画像マップ及びライブ内視鏡画像に基づいて１つ以上の比較内視鏡画像を作成する（ブロック３０６）ことができ、これは、内視鏡画像マップから一致する内視鏡画像を選択し、それを修正なしで使用すること、又は、比較画像として提供するために、内視鏡画像マップからの１つ以上の内視鏡画像を修正又は組み合わせることを含み得る。１つ以上の作成された（ブロック３０６）比較内視鏡画像を用いて、システムは次いで、本明細書に図示及び説明される機能の任意の組み合わせを含むディスプレイスクリーン（１６）などのディスプレイを介して比較インターフェースを提供する（ブロック３０８）ことができる。
図７は、内視鏡画像マップを作成する（ブロック３０２）などの工程中に実行され得る工程（４００）の例示的なセットのフローチャートを示す。内視鏡（１００）は手術部位にナビゲートされてもよく、システムは、内視鏡（１００）が標的の解剖学的構造の内視鏡画像のセットを捕捉する（ブロック４０４）際に、手術部位における標的の解剖学的構造を表示する（ブロック４０２）ことができる。各内視鏡画像が内視鏡（１００）によって捕捉されるとき、システムは、位置センサ（１０４）から視野データ（例えば、位置、向き、又はその両方）を受信し（ブロック４０６）、その視野データを対応する内視鏡画像に関連付け得る（ブロック４０８）。結果として、標的の解剖学的構造の内視鏡画像のセットが得られ、各内視鏡画像は、捕捉の瞬間の標的の解剖学的構造に対する視野と関連付けられる。内視鏡画像は、結果として得られる内視鏡画像セットの特定の解像度、鮮明性、又は焦点を達成する所望に応じて、静止内視鏡画像として内視鏡によって捕捉されてもよく、又は、内視鏡画像／フレームのビデオシーケンスとして捕捉されてもよい。
いくつかの実装形態では、システムは、内視鏡画像マップの全体的なサイズ及び内容を減らすために、結果として得られる内視鏡画像セットから、重複する内視鏡画像（例えば、全く同じ視野から捕捉された２つの内視鏡画像）又は実質的に重複する内視鏡画像（例えば、視覚的に互いに違いのない２つの異なる視野から捕捉された２つの内視鏡画像）を識別し破棄してもよい。
いくつかの実装形態では、システムは、第１の視野からの内視鏡画像が修正されて、実質的に重複する第２の視野からの内視鏡画像を提供し得ることを判定してもよい。例えば、第２の視野が、第１の視野と標的の解剖学的構造との間に直線的に又は実質的に直線的に位置している場合、第２の視野からの内視鏡画像は、第１の視野からの標的の解剖学的構造が、ズームされるか、拡大されるか、又はより接近した内視鏡画像であるように見え得る。換言すれば、最遠位の視野から捕捉された標的の解剖学的構造の内視鏡画像がトリミングされ、かつ拡大されることで（例えば、内視鏡画像マップに追加される前に修正され、又は内視鏡画像マップから選択されるときにリアルタイムで修正されて）、最遠位の視野と標的の解剖学的構造との間の各視野からの内視鏡画像がシミュレートされてもよく、これによって、内視鏡画像マップのサイズ及び内容を更に減らし得ると共に、内視鏡画像マップの作成中、ひとつひとつの別個の視野に内視鏡（１００）をナビゲートする必要性も低減され得る（例えば、複数の遠位の視野から内視鏡画像が捕捉される場合、内視鏡（１００）が標的の解剖学的構造に向かって前進するのを必要とせずに、より近位の視野がシミュレートされ得る）。
術前内視鏡画像の捕捉中（ブロック４０４）、システムは、既に捕捉されている視野及びまだ捕捉されていない視野を示す指示を内視鏡（１００）のユーザに提供してもよい。これには、例えば、所望の視野から内視鏡画像を捕捉するために内視鏡（１００）が移動又は回転されるべきであることを示す方向プロンプトを含んでもよい（例えば、システムがユーザによって又は特定の処置に基づき、手術部位を取り囲む１０個の異なる視野から内視鏡画像を捕捉するように構成されている場合）。別の例として、これには、固定点に位置する標的の解剖学的構造の表現を有する３次元球体又は他のオブジェクトを表示することと、視野が捕捉されているオブジェクトの領域を、視野が捕捉されていない領域と視覚的に区別してレンダリングすることと、を含んでもよい。このようなシステムでは、内視鏡（１００）のユーザは、異なる視野からの内視鏡画像を捕捉する目的で、内視鏡（１００）をその視野にナビゲートするのを支援するために、レンダリングされた３次元オブジェクトを参照してもよい。
一旦捕捉され、視点データに関連付けられると、内視鏡画像のセットは、照会に使用された視点データの正確な又は部分一致に基づいて内視鏡画像が選択され得るデータベースなどの様々な方法で記憶されてよく、又は、入力として視野データを受信し、それに応じて一致するか又は類似の内視鏡画像を提供し得る、オブジェクト又はソフトウェアモジュールにコンパイルされてもよい。
図８は、医療処置の間にライブ内視鏡画像マップを受信する（ブロック３０４）などの工程中に実行され得る工程（４１０）の例示的なセットのフローチャートを示す。内視鏡（１００）が医療処置中に配置されると、手術部位のライブ内視鏡画像をリアルタイムで捕捉し（ブロック４１２）、ディスプレイスクリーン（１６）を介してかかる情報が表示され得る。ＩＧＳナビゲーションシステム（１０）は、器具の正常なＩＧＳナビゲーション追跡を提供するために（例えば、オーバーレイされた器具位置（２１１）などの特徴を提供するために）、処置中に位置センサ（１０４）を介して内視鏡（１００）の位置を追跡するように構成されてもよい。このようなデータは、従来は追跡のためにのみ使用され得るものであったが、視野データとして受信され（ブロック４１４）、比較インターフェースの１つ以上の機能を提供するために保持又は記憶されてもよい。
システムはまた、捕捉された（ブロック４１２）内視鏡画像に関連付けられた１つ以上のメタデータを受信（ブロック４１６）してもよく、メタデータは、例えば、捕捉時間、捕捉中の処置の段階、捕捉中の器具ステータス（例えば、捕捉中に切断装置が起動されているか否か）、捕捉された（ブロック４１２）内視鏡画像をタグ付け又は他の方法で特定の特性（例えば、捕捉された内視鏡画像を、時系列画像パネル（２１７）内の介在内視鏡画像として表示されるようマーキングする）に関連付ける外科医からの手動入力を含む。受信された（ブロック４１６）内視鏡画像メタデータが、（例えば、ユーザ入力の結果として、又は機器の起動、処置のある段階の完了、若しくは記載されたような他の状況に基づいて自動的に）特定のライブ内視鏡画像がタグ付け又は保存されていることを示す場合、その内視鏡画像は、将来の一致及び（例えば、比較インターフェース（２０３）を介する）表示のために内視鏡画像マップに追加されてもよい。システムは次いで、捕捉された（ブロック４１２）ライブ内視鏡画像を、視野データ、メタデータ、又はそれらの両方に関連付ける（ブロック４１８）ことができ、これは、その捕捉された（ブロック４１２）ライブ内視鏡画像に一致する又は実質的に一致する、以前の内視鏡画像を識別する目的で、作成された（ブロック３０２）画像マップに対する比較、問い合わせ、又は別様の評価が効率的になされ得る形態で内視鏡画像及びデータを記憶又は変換することを含み得る。
図９は、比較内視鏡画像を作成する（ブロック３０６）などの工程中に実行され得る工程（４２０）の例示的なセットのフローチャートを示す。一旦視野データに関連付けられる（ブロック４１８）と、ライブ内視鏡画像は、作成された（ブロック３０２）内視鏡画像マップと比較され得、その視野が目下のライブ内視鏡画像が捕捉された視野と一致する、又は実質的に一致する１つ以上の内視鏡画像を内視鏡画像マップが含んでいるかどうかが判定される。ライブ内視鏡画像の視野と一致するか又は実質的に一致する視野は、構成設定された一致閾値を上回ると判定され得る（ブロック４２２）。一致閾値は、内視鏡画像マップ内のライブ内視鏡画像に対して十分な内視鏡画像の一致が存在するかどうかを判定するときの視野の差異を許容するように手動で設定されてもよい。視野の許容可能な差異は、座標毎に表現されてもよく（例えば、ｘ、ｙ、又はｚ座標における差異は、その差が５ｍｍ以下である場合には許容可能な一致と見なされてよく、若しくはヨー、ピッチ、又はロールにおける差異は、その差が１０度以下である場合に許容可能な一致と見なされてもよい）、又は、全ての座標にわたる差の集合と見なされてもよい（例えば、ｘ座標におけるわずかな差は許容可能であり得る一方、ｘ、ｙ、及びｚ座標におけるわずかな差は不許容とされ得る）。
画像マップ内のいずれの内視鏡画像も一致閾値を満たさない場合、システムは、十分な一致がないと判定することができ（ブロック４２２）、良好な内視鏡画像の一致を内視鏡画像マップが含む視野に、内視鏡（１００）を置くためになされ得る視野の調節を決定してもよい（ブロック４２４）。これは、例えば、一致閾値は下回るが（ブロック４２２）、次善の一致である、内視鏡画像マップ内の１つ以上の内視鏡画像を特定し、次いで、これらの視野のうちの１つ以上に内視鏡（１００）をナビゲートするための指示をディスプレイスクリーン（１６）を介して（例えば、位置、向き、又はその両方の変更を示す、数値情報又は方向矢印を提供することによって）提供することを含んでもよい。
一致閾値を上回る（ブロック４２２）１つ以上の内視鏡画像が内視鏡画像マップ内にあると判定された場合、システムは、最良の又は最も近い一致（例えば、幾つかの画像が閾値を上回っている場合、その視野が、最小の座標ごとの差、又は最小の全座標にわたる総合的な差を有する画像）を決定することができる（ブロック４２６）。いくつかの場合、システムは、決定された（ブロック４２６）最良一致を表示する準備のために、１つ以上の内視鏡画像処理又は画像補間プロセスを実行してもよい（ブロック４２８）。これは、ライブ内視鏡画像用のより良好な比較画像を提供するために、術前に取得された内視鏡画像を１つ以上の方式で修正することを含んでもよく、また、例えば、術前に取得された内視鏡画像のサイズ又は解像度を調整すること、術前に取得された内視鏡画像を平滑化又はぼかし処理すること、術前に取得された内視鏡画像をトリミングすること、術前に取得された内視鏡画像の色、輝度、又は色調を調整すること、及び、内視鏡（１００）を介して捕捉されたライブ内視鏡画像とより良好に視覚的に一致させるための他の変更を含み得る。これはまた、（例えば、画像モーフィング、ブレンディング、又はわずかに異なる視野からの２つの画像を組み合わせるための他の技法を用いて）最良一致であると判定された（ブロック４２６）、等しい又はほぼ等しい１つ以上の内視鏡画像を組み合わせることを含み得る。任意の必要な調整を実行した後（ブロック４２８）、システムは次いで、比較用インターフェースを介した表示に好適な比較出力内視鏡画像を作成してもよく（ブロック４３０）、これは、例えば、最終調整された内視鏡画像を表示に好適な特定のフォーマットに変換することを含み得る。
図１０は、図３～図５に示されるものなどの１つ以上の特徴を有する比較インターフェースを介して情報を表示するために実行され得る工程（４３２）の例示的なセットのフローチャートを示す。比較インターフェースを提供するとき、システムは、内視鏡（１００）を介して捕捉され、ライブ内視鏡画像（２０６）として表示され得るようなライブ内視鏡画像を表示してもよい（ブロック４３４）。術前に取得された比較用の内視鏡画像が利用可能である（ブロック４３６）か、又は図６～図９に記載されているように（例えば、最良一致を特定し（ブロック４２６）、それを表示用に準備することによって）作成され得る場合、システムはまた、術前内視鏡画像（２０２）として表示され得る比較用内視鏡画像も表示してよい（ブロック４４０）。一致する好適な内視鏡画像が利用可能でない場合（ブロック４３６）、システムは、内視鏡画像マップが、表示に好適な視野から術前に取得された内視鏡画像を含まないことを示す警告を表示してもよく（ブロック４３８）、好適な内視鏡画像が利用可能となる視野に内視鏡（１００）をナビゲートする上でユーザを支援するための情報（例えば、方向矢印）を提供してもよく、又はそれらの両方を行ってもよい。
ライブ内視鏡画像を表示し（ブロック４３４）、術前に取得された比較内視鏡画像を表示する（ブロック４４０）とき、システムは、図３～図５の比較インターフェースに示されるものなどの追加の特徴及び情報を提供してもよい。かかる特徴は、静的に有効化されても、特定のインターフェースのために構成されてもよく、又は手術の間にユーザによって有効化又は無効化されてもよい。例えば、ステータス情報は、ライブ内視鏡画像、比較内視鏡画像、又はその両方に関するステータス情報を表示するために（ブロック４４４）有効化されてもよく（ブロック４４２）、ステータス情報には、術前内視鏡画像ステータス（２０４）、ライブ内視鏡画像ステータス（２０８）、及び時系列ステータス（２１５）のうちの１つ以上が含まれ得る。別の例として、比較内視鏡画像を表示し（ブロック４４０）、ライブ内視鏡画像を表示し（ブロック４３４）、術前内視鏡画像（２０５）のパネルなどの関連付けられたナビゲーション画像のセットを表示する（ブロック４４８）ために、ナビゲーション画像が有効化されてもよい（ブロック４４６）。
別の例として、時系列画像表示が有効化されてもよい（ブロック４５０）。有効化されると、説明されたように、システムは、現在のライブ画像の視野に関連付けられた時系列内視鏡画像のセットを（例えば、異なる時点からの複数の内視鏡画像を一致させて準備するために、図９に示されるような工程を実行することによって）決定し（ブロック４５２）、次いで、これらの内視鏡画像をビデオシーケンス、モーフィング内視鏡画像として、又は時系列画像パネル（２１７）内の介在内視鏡画像として表示してもよい（ブロック４５４）。
ＩＶ．例示的な組み合わせ
以下の実施例は、本明細書の教示を組み合わせるか又は適用することができる、様々な非網羅的な方法に関する。以下の実施例は、本出願における又は本出願の後の書類提出におけるどの時点でも提示され得る、いずれの請求項の適用範囲をも限定することを目的としたものではないと理解されよう。一切の放棄を意図するものではない。以下の実施例は、単なる例示の目的で与えられるものに過ぎない。本明細書の様々な教示は、他の多くの方法で構成及び適用が可能であると考えられる。また、いくつかの変形では、以下の実施例において言及される特定の特徴を省略してよいことも考えられる。したがって、本発明者又は本発明者の利益の承継者により、後日、そうである旨が明示的に示されない限り、以下に言及される態様又は特徴部のいずれも決定的と見なされるべきではない。以下に言及される特徴を超える更なる特徴を含む請求項が本出願において、又は本出願に関連する後の書類提出において提示される場合、それらの更なる特徴は、特許性に関連するいかなる理由によっても追加されたものと見なされるべきではない。
画像誘導手術（ＩＧＳ）ナビゲーションシステムであって、案内カメラと追跡センサとを備える内視鏡であって、追跡センサは、追跡領域と相互作用するように構成されている、内視鏡と、追跡領域との追跡センサの相互作用に基づいてカメラを追跡するように構成された処理装置と、ディスプレイと、を備え、処理装置は、患者の手術部位の過去画像を受信することであって、過去画像が、第１の時間にカメラによって捕捉される、ことと、第１の時間におけるカメラの過去画像追跡データのセットを決定することと、過去画像及び過去画像追跡データのセットを、過去視野として画像マップに追加することであって、画像マップが、手術部位の複数の過去視野を含み、複数の過去視野のうちの各過去視野が、ある視野から捕捉された手術部位の画像と、視野に関連付けられた追跡データのセットと、を含むことと、第２の時間にカメラによって捕捉される手術部位の手術画像を受信することと、第２の時間におけるカメラのライブ画像追跡データのセットを決定することと、複数の過去視野のうちの一致する視野を、ライブ画像追跡データのセット及び一致する視野の追跡データのセットに基づいて決定することと、手術画像、及び一致する視野の手術部位の画像をディスプレイを介して表示することと、を行うように更に構成されている、ＩＧＳナビゲーションシステム。
処理装置は、ＩＧＳナビゲーションシステムが使用可能である手術室内に置かれたコンピュータと、手術室の外側に置かれた遠隔コンピュータと、を備え、追跡領域は、追跡磁界発生器によって提供される磁界を含み、過去画像追跡データのセットは、カメラの位置及び向きを記載するものである、実施例１に記載のＩＧＳナビゲーションシステム。
処理装置は、手術部位の次の手術画像を受信し、次の手術画像のライブ画像追跡データの次のセットを決定し、ライブ画像追跡データの次のセットに基づいて一致する視野を再決定し、１つ以上の次の手術画像を受信したことに応じて、各次の手術画像及び一致する視野の手術部位の画像をディスプレイを介してほぼリアルタイムで表示するように更に構成されている、実施例１又は２のいずれか１つ以上に記載のＩＧＳナビゲーションシステム。
処理装置は、一致する視野を決定するとき、ライブ画像追跡データのセットの各位置と向きの座標に基づいて画像マップを照会して、最良一致視野を決定し、ライブ画像追跡データのセットに対する最良一致視野の各位置と向きの座標のオフセットを決定し、オフセットが構成設定された許容可能な一致閾値内にあるとき、一致する視野として最良一致視野を選択するように更に構成されている、実施例１～３のいずれか１つ以上に記載のＩＧＳナビゲーションシステム。
処理装置は画像ステータスを表示するように更に構成され、画像ステータスは、一致する視野の視野に対する手術画像のライブ視野のオフセットを示す、ライブ画像追跡データのセットと、一致する視野の追跡データのセットとの比較を含む、実施例１～４のいずれか１つ以上に記載のＩＧＳナビゲーションシステム。
処理装置は、手術画像と、一致する視野の手術部位の画像とを同時に表示するように更に構成されている、実施例１～５のいずれか１つ以上に記載のＩＧＳナビゲーションシステム。
処理装置は、術前画像のパネル内に一致する視野の手術部位の画像を表示するように更に構成され、術前画像のパネルは、患者の少なくとも３つのデジタルスキャン画像を更に含み、少なくとも３つのデジタルスキャン画像のそれぞれがオーバーレイされた器具位置を含む、実施例６に記載のＩＧＳナビゲーションシステム。
処理装置は、介在画像として手術画像が保持されるべきであると判定し、手術画像、ライブ画像追跡データのセット、及び第２の時間を、介在視野として画像マップに追加し、ライブ画像追跡データのセット及び各介在視野に関連付けられた介在追跡データのセットに基づいて、画像マップの１つ以上の一致する介在視野を決定し、１つ以上の一致する介在視野の介在画像のセットを表示するように更に構成されている、実施例１～７のいずれか１つ以上に記載のＩＧＳナビゲーションシステム。
処理装置は、外科用切断器具の起動ステータスに基づいて手術画像が介在画像として保持されるべきであると判定するように更に構成されている、実施例８に記載のＩＧＳナビゲーションシステム。
介在画像のセットの各介在画像は、各介在画像に関連付けられた捕捉時間によって順序付けられたビデオシーケンスとして個別に表示される、実施例８又は９のいずれか１つ以上に記載のＩＧＳナビゲーションシステム。
介在画像のセットの各介在画像は、各介在画像に関連付けられた捕捉時間によって順序付けられた漸進画像モーフィングとして個別に表示される、実施例８～１０のいずれか１つ以上に記載のＩＧＳナビゲーションシステム。
処理装置は、一致する視野が判定できない場合、一致する視野が画像マップにおいて利用可能となる結果をもたらすであろう、カメラの視野の変更を示すメッセージを、ディスプレイを介して表示するように更に構成されている、実施例１～１１のいずれか１つ以上に記載のＩＧＳナビゲーションシステム。
処理装置は、手術部位の第２の過去画像を受信し、過去画像追跡データの第２のセットに基づいて第２の過去画像に関連付けられた視野を決定し、第２の過去画像に関連付けられた視野が、手術部位の複数の過去視野内に既にある視野と全く同じどうかを判定し、視野が全く同じではない場合にのみ、第２の過去画像を複数の過去視野に追加するように更に構成されている、実施例１～１２のいずれか１つ以上に記載のＩＧＳナビゲーションシステム。
画像誘導（ＩＧＳ）ナビゲーションによる手術中に比較インターフェースを提供するための方法であって、処理装置において、患者の手術部位の過去画像を受信することであって、過去画像が、第１の時間に内視鏡のカメラによって捕捉される、ことと、内視鏡の追跡センサに基づいて第１の時間におけるカメラの過去画像追跡データのセットを決定することと、過去画像及び過去画像追跡データのセットを、過去視野として画像マップに追加することであって、画像マップが、手術部位の複数の過去視野を含み、複数の過去視野のうちの各過去視野が、ある視野から捕捉された手術部位の画像と、視野に関連付けられた追跡データのセットと、を含む、ことと、第２の時間にカメラによって捕捉される手術部位の手術画像を受信し、第２の時間におけるカメラのライブ画像追跡データのセットを決定することと、複数の過去視野のうちの一致する視野を、ライブ画像追跡データのセット及び一致する視野の追跡データのセットに基づいて、決定することと、手術画像及び一致する視野の手術部位の画像をディスプレイを介して表示することと、を含む方法。
手術部位の次の手術画像を受信し、次の手術画像のライブ画像追跡データの次のセットを決定することと、ライブ画像追跡データの次のセットに基づいて一致する視野を再決定することと、１つ以上の次の手術画像を受信したことに応じて、各次の手術画像及び一致する視野の手術部位の画像をディスプレイを介して、リアルタイムで表示することと、を更に含む、実施例１４に記載の方法。
一致する視野を決定するとき、ライブ画像追跡データのセットの各位置と向きの座標に基づいて画像マップを照会して、最良一致視野を決定することと、ライブ画像追跡データのセットに対する最良一致視野の各位置と向きの座標のオフセットを決定することと、オフセットが構成設定された許容可能な一致閾値内にあるとき、一致する視野として最良一致視野を選択することと、を更に含む、実施例１４又は１５のいずれか１つ以上に記載の方法。
手術画像と、一致する視野の手術部位の画像とを同時に表示することを更に含む、実施例１４～１６のいずれか１つ以上に記載の方法。
術前画像のパネル内に一致する視野の手術部位の画像を表示することを更に含み、術前画像のパネルは、患者の少なくとも３つのデジタルスキャン画像を更に含み、少なくとも３つのデジタルスキャン画像のそれぞれがオーバーレイされた器具位置を含む、実施例１７に記載の方法。
一致する視野が判定できない場合、一致する視野が画像マップにおいて利用可能となる結果をもたらすであろう、カメラの視野の変化を示すメッセージをディスプレイを介して表示することを更に含む、実施例１４～１８のいずれか１つ以上に記載の方法。
処理装置であって、患者の手術部位の過去画像を受信することであって、過去画像が、第１の時間にカメラによって捕捉される、ことと、第１の時間におけるカメラの過去画像追跡データのセットを決定することと、過去画像及び過去画像追跡データのセットを、過去視野として画像マップに追加することであって、画像マップが、手術部位の複数の過去視野を含み、複数の過去視野のうちの各過去視野が、ある視野から捕捉された手術部位の画像と、視野に関連付けられた追跡データのセットと、を含むことと、第２の時間にカメラによって捕捉される手術部位の手術画像を受信することと、第２の時間におけるカメラのライブ画像追跡データのセットを決定することと、複数の過去視野のうちの一致する視野を、ライブ画像追跡データのセット及び一致する視野の追跡データのセットに基づいて決定することと、手術画像及び一致する視野の手術部位の画像をディスプレイを介して、表示することと、を行うように、構成されている、処理装置。
Ｖ．その他
本明細書に記載されている実施例のうちのいずれも、上述のものに加えて又はそれに代えて、様々な他の特徴部を含み得ることが理解されるべきである。単に一例として、本明細書に記載されている実施例のうちのいずれも、参照により本明細書に組み込まれる様々な参考文献のいずれかに開示されている様々な特徴部のうちの１つ又は２つ以上を含むことができる。
本明細書に記載の教示、表現、実施形態、実施例などのうちのいずれか１つ又は２つ以上を、本明細書に記載の他の教示、表現、実施形態、実施例などのうちのいずれか１つ又は２つ以上と組み合わせることができる点が理解されるべきである。したがって、上記の教示、表現、実施形態、実施例などは、互いに対して独立して考慮されるべきではない。本明細書の教示に照らして、本明細書の教示を組み合わせることができる様々な好適な方式が、当業者には容易に明らかとなろう。このような修正及び変形は、「特許請求の範囲」内に含まれるものとする。
本明細書に参照により組み込まれると言及されるあらゆる特許、公報、又はその他の開示内容は、全体的に又は部分的に、組み込まれる内容が現行の定義、見解、又は本開示に記載されるその他の開示内容とあくまで矛盾しない範囲でのみ本明細書に組み込まれると理解されるべきである。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示内容は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
本明細書に開示される装置の変形形態は、１回の使用後に処分されるように設計するか又は複数回使用されるように設計することができる。変形形態は、いずれか又は両方の場合においても、少なくとも１回の使用後に再利用のために再調整され得る。再調整は、デバイスの分解工程、それに続く特定の部品の洗浄又は交換工程、及びその後の再組み立て工程の、任意の組み合わせを含み得る。特に、装置の変形形態は、分解することができ、かつ、装置の任意の数の特定の部品若しくは部分を、任意の組み合わせにおいて選択的に交換又は取り外してもよい。特定の部分を洗浄時及び／又は交換時に、装置の変形形態は、再調整用の施設において、又は外科手術の直前に外科チームによってのどちらかで、その後の使用のために再組み立てすることができる。当業者であれば、デバイスの再調整において、分解、洗浄／交換、及び再組み立てのための様々な技術を利用することができることを理解するであろう。かかる技術の使用、及び結果として得られる再調整されたデバイスは、全て本発明の範囲内にある。
単に一例として、本明細書に記載の変形形態は、手術前に処理することができる。まず、新品又は使用済みの器具を入手し、必要に応じて洗浄することができる。次いで器具を滅菌することができる。１つの滅菌技術では、器具は、プラスチックバッグ又はＴＹＶＥＫバッグなど、閉鎖され密封された容器に入れられる。次いで、容器及び器具を、γ線、Ｘ線、又は高エネルギー電子などの容器を透過し得る放射線野に置くことができる。放射線は、器具上及び容器内の細菌を死滅させることができる。この後、滅菌済みの器具を滅菌容器内で保管することができる。密封容器は、手術設備で開封されるまで器具を滅菌状態に保つことができる。β線若しくはγ線、エチレンオキシド、又は水蒸気が挙げられるがこれらに限定されない、当該技術分野で既知のその他の任意の技術を用いて、デバイスを滅菌してもよい。
本発明の種々の変形形態について図示し説明したが、本明細書で説明した方法及びシステムの更なる応用が、当業者による適切な改変形態により、本発明の範囲から逸脱することなく実現可能である。かかる可能な改変のうちのいくつかについて述べたが、他の改変も当業者には明らかになるであろう。例えば、上述の実施例、変形形態、幾何形状、材料、寸法、比率、工程などは例示的なものであって、必須ではない。したがって、本発明の範囲は、以下の特許請求の範囲の観点から考慮されるべきものであり、本明細書及び図面に示され記載された構造及び動作の細部に限定されないものとして理解される。
〔実施の態様〕
（１） 画像誘導手術（ＩＧＳ）ナビゲーションシステムであって、
（ａ）カメラと追跡センサとを備える内視鏡であって、前記追跡センサは、追跡領域と相互作用するように構成されている、内視鏡と、
（ｂ）前記追跡領域との前記追跡センサの相互作用に基づいて前記カメラを追跡するように構成された処理装置と、
（ｃ）ディスプレイと、を備え、
前記処理装置は、
（ｉ）患者の手術部位の過去画像を受信することであって、前記過去画像が、第１の時間に前記カメラによって捕捉される、ことと、
（ｉｉ）前記第１の時間における前記カメラの過去画像追跡データのセットを決定することと、
（ｉｉｉ）前記過去画像及び前記過去画像追跡データのセットを、過去視野として画像マップに追加することであって、前記画像マップが、前記手術部位の複数の過去視野を含み、前記複数の過去視野のうちの各過去視野が、
（Ａ）ある視野から捕捉された前記手術部位の画像と、
（Ｂ）前記視野に関連付けられた追跡データのセットと、を含む、ことと、
（ｉｖ）第２の時間に前記カメラによって捕捉される、前記手術部位の手術画像を受信することと、
（ｖ）前記第２の時間における前記カメラのライブ画像追跡データのセットを決定することと、
（ｖｉ）前記複数の過去視野のうちの一致する視野を、前記ライブ画像追跡データのセット及び前記一致する視野の追跡データのセットに基づいて決定することと、
（ｖｉｉ）前記手術画像、及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介して表示することと、を行うように更に構成されている、ＩＧＳナビゲーションシステム。
（２） 前記処理装置は、前記ＩＧＳナビゲーションシステムが使用可能である手術室内に置かれたコンピュータと、前記手術室の外側に置かれた遠隔コンピュータと、を備え、
前記追跡領域は、追跡磁界発生器によって提供される磁界を含み、
前記過去画像追跡データのセットは、前記カメラの位置及び向きを記載するものである、実施態様１に記載のＩＧＳナビゲーションシステム。
（３） 前記処理装置は、
（ｉ）前記手術部位の次の手術画像を受信し、
（ｉｉ）前記次の手術画像のライブ画像追跡データの次のセットを決定し、
（ｉｉｉ）前記ライブ画像追跡データの次のセットに基づいて前記一致する視野を再決定し、
（ｉｖ）１つ以上の次の手術画像を受信したことに応じて、各次の手術画像及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介してほぼリアルタイムで表示するように更に構成されている、実施態様１に記載のＩＧＳナビゲーションシステム。
（４） 前記処理装置は、前記一致する視野を決定するとき、
（ｉ）前記ライブ画像追跡データのセットの各位置と向きの座標に基づいて前記画像マップを照会して、最良一致視野を決定し、
（ｉｉ）前記ライブ画像追跡データのセットに対する前記最良一致視野の各位置と向きの座標のオフセットを決定し、
（ｉｉｉ）前記オフセットが構成設定された許容可能な一致閾値内にあるとき、前記一致する視野として前記最良一致視野を選択するように更に構成されている、実施態様１に記載のＩＧＳナビゲーションシステム。
（５） 前記処理装置は画像ステータスを表示するように更に構成され、前記画像ステータスは、前記一致する視野の前記視野に対する前記手術画像のライブ視野のオフセットを示す、前記ライブ画像追跡データのセットと、前記一致する視野の前記追跡データのセットとの比較を含む、実施態様１に記載のＩＧＳナビゲーションシステム。
（６） 前記処理装置は、前記手術画像と、前記一致する視野の前記手術部位の前記画像とを同時に表示するように更に構成されている、実施態様１に記載のＩＧＳナビゲーションシステム。
（７） 前記処理装置は、術前画像のパネル内に前記一致する視野の前記手術部位の前記画像を表示するように更に構成され、前記術前画像のパネルは、前記患者の少なくとも３つのデジタルスキャン画像を更に含み、前記少なくとも３つのデジタルスキャン画像のそれぞれがオーバーレイされた器具位置を含む、実施態様６に記載のＩＧＳナビゲーションシステム。
（８） 前記処理装置は、
（ｉ）介在画像として前記手術画像が保持されるべきであると判定し、
（ｉｉ）前記手術画像、前記ライブ画像追跡データのセット、及び前記第２の時間を、介在視野として前記画像マップに追加し、
（ｉｉｉ）前記ライブ画像追跡データのセット及び各介在視野に関連付けられた介在追跡データのセットに基づいて、前記画像マップの１つ以上の一致する介在視野を決定し、
（ｉｖ）前記１つ以上の一致する介在視野の介在画像のセットを表示するように更に構成されている、実施態様１に記載のＩＧＳナビゲーションシステム。
（９） 前記処理装置は、外科用切断器具の起動ステータスに基づいて前記手術画像が介在画像として保持されるべきであると判定するように更に構成されている、実施態様８に記載のＩＧＳナビゲーションシステム。
（１０） 前記介在画像のセットの各介在画像は、各介在画像に関連付けられた捕捉時間によって順序付けられたビデオシーケンスとして個別に表示される、実施態様８に記載のＩＧＳナビゲーションシステム。
（１１） 前記介在画像のセットの各介在画像は、各介在画像に関連付けられた捕捉時間によって順序付けられた漸進画像モーフィングとして個別に表示される、実施態様８に記載のＩＧＳナビゲーションシステム。
（１２） 前記処理装置は、前記一致する視野が判定できない場合、前記一致する視野が前記画像マップにおいて利用可能となる結果をもたらすであろう、前記カメラの視野の変更を示すメッセージを、前記ディスプレイを介して表示するように更に構成されている、実施態様１に記載のＩＧＳナビゲーションシステム。
（１３） 前記処理装置は、
（ｉ）前記手術部位の第２の過去画像を受信し、過去画像追跡データの第２のセットに基づいて前記第２の過去画像に関連付けられた視野を決定し、
（ｉｉ）前記第２の過去画像に関連付けられた前記視野が、前記手術部位の前記複数の過去視野内に既にある視野と全く同じかどうかを判定し、
（ｉｉｉ）前記視野が全く同じではない場合にのみ、前記第２の過去画像を前記複数の過去視野に追加するように更に構成されている、実施態様１に記載のＩＧＳナビゲーションシステム。
（１４） 画像誘導（ＩＧＳ）ナビゲーションによる手術中に比較インターフェースを提供するための方法であって、
（ａ）処理装置において、
（ｉ）患者の手術部位の過去画像を受信することであって、前記過去画像が、第１の時間に内視鏡のカメラによって捕捉される、ことと、
（ｉｉ）前記内視鏡の追跡センサに基づいて前記第１の時間における前記カメラの過去画像追跡データのセットを決定することと、
（ｂ）前記過去画像及び前記過去画像追跡データのセットを、過去視野として画像マップに追加することであって、前記画像マップが、前記手術部位の複数の過去視野を含み、前記複数の過去視野のうちの各過去視野が、
（ｉ）ある視野から捕捉された前記手術部位の画像と、
（ｉｉ）前記視野に関連付けられた追跡データのセットと、を含む、ことと、
（ｃ）第２の時間に前記カメラによって捕捉される前記手術部位の手術画像を受信し、前記第２の時間における前記カメラのライブ画像追跡データのセットを決定することと、
（ｄ）前記複数の過去視野のうちの一致する視野を、前記ライブ画像追跡データのセット及び前記一致する視野の追跡データのセットに基づいて決定することと、
（ｅ）前記手術画像、及び前記一致する視野の前記手術部位の前記画像をディスプレイを介して表示することと、を含む方法。
（１５） （ａ）前記手術部位の次の手術画像を受信し、前記次の手術画像のライブ画像追跡データの次のセットを決定することと、
（ｂ）前記ライブ画像追跡データの次のセットに基づいて前記一致する視野を再決定することと、
（ｃ）１つ以上の次の手術画像を受信したことに応じて、各次の手術画像及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介して、リアルタイムで表示することと、を更に含む、実施態様１４に記載の方法。
（１６） 前記一致する視野を決定するとき、
（ｉ）前記ライブ画像追跡データのセットの各位置と向きの座標に基づいて前記画像マップを照会して、最良一致視野を決定することと、
（ｉｉ）前記ライブ画像追跡データのセットに対する前記最良一致視野の各位置と向きの座標のオフセットを決定することと、
（ｉｉｉ）前記オフセットが構成設定された許容可能な一致閾値内にあるとき、前記一致する視野として前記最良一致視野を選択することと、を更に含む、実施態様１４に記載の方法。
（１７） 前記手術画像と、前記一致する視野の前記手術部位の前記画像とを同時に表示することを更に含む、実施態様１４に記載の方法。
（１８） 術前画像のパネル内に前記一致する視野の前記手術部位の前記画像を表示することを更に含み、前記術前画像のパネルは、前記患者の少なくとも３つのデジタルスキャン画像を更に含み、前記少なくとも３つのデジタルスキャン画像のそれぞれがオーバーレイされた器具位置を含む、実施態様１７に記載の方法。
（１９） 前記一致する視野が判定できない場合、前記一致する視野が前記画像マップにおいて利用可能となる結果をもたらすであろう、前記カメラの視野の変更を示すメッセージを前記ディスプレイを介して表示することを更に含む、実施態様１４に記載の方法。
（２０） 処理装置であって、
（ａ）患者の手術部位の過去画像を受信することであって、前記過去画像が、第１の時間にカメラによって捕捉される、ことと、
（ｂ）前記第１の時間における前記カメラの過去画像追跡データのセットを決定することと、
（ｃ）前記過去画像及び前記過去画像追跡データのセットを、過去視野として画像マップに追加することであって、前記画像マップが、前記手術部位の複数の過去視野を含み、前記複数の過去視野のうちの各過去視野が、
（ｉ）ある視野から捕捉された前記手術部位の画像と、
（ｉｉ）前記視野に関連付けられた追跡データのセットと、を含む、ことと、
（ｄ）第２の時間に前記カメラによって捕捉される前記手術部位の手術画像を受信することと、
（ｅ）前記第２の時間における前記カメラのライブ画像追跡データのセットを決定することと、
（ｆ）前記複数の過去視野のうちの一致する視野を、前記ライブ画像追跡データのセット及び前記一致する視野の追跡データのセットに基づいて決定することと、
（ｇ）前記手術画像、及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介して、表示することと、を行うように構成されている、処理装置。

Claims (20)

  1. 画像誘導手術（ＩＧＳ）ナビゲーションシステムであって、
    （ａ）カメラと追跡センサとを備える内視鏡であって、前記追跡センサは、追跡領域と相互作用するように構成されている、内視鏡と、
    （ｂ）前記追跡領域との前記追跡センサの相互作用に基づいて前記カメラを追跡するように構成された処理装置と、
    （ｃ）ディスプレイと、を備え、
    前記処理装置は、
    （ｉ）患者の手術部位の過去画像を受信することであって、前記過去画像が、第１の時間に前記カメラによって捕捉される、ことと、
    （ｉｉ）前記第１の時間における前記カメラの過去画像追跡データのセットを決定することと、
    （ｉｉｉ）前記過去画像及び前記過去画像追跡データのセットを、過去視野として画像マップに追加することであって、前記画像マップが、前記手術部位の複数の過去視野を含み、前記複数の過去視野のうちの各過去視野が、
    （Ａ）ある視野から捕捉された前記手術部位の画像と、
    （Ｂ）前記視野に関連付けられた追跡データのセットと、を含む、ことと、
    （ｉｖ）第２の時間に前記カメラによって捕捉される、前記手術部位の手術画像を受信することと、
    （ｖ）前記第２の時間における前記カメラのライブ画像追跡データのセットを決定することと、
    （ｖｉ）前記複数の過去視野のうちの一致する視野を、前記ライブ画像追跡データのセット及び前記一致する視野の追跡データのセットに基づいて決定することと、
    （ｖｉｉ）前記手術画像、及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介して表示することと、を行うように更に構成されている、ＩＧＳナビゲーションシステム。
  2. 前記処理装置は、前記ＩＧＳナビゲーションシステムが使用可能である手術室内に置かれたコンピュータと、前記手術室の外側に置かれた遠隔コンピュータと、を備え、
    前記追跡領域は、追跡磁界発生器によって提供される磁界を含み、
    前記過去画像追跡データのセットは、前記カメラの位置及び向きを記載するものである、請求項１に記載のＩＧＳナビゲーションシステム。
  3. 前記処理装置は、
    （ｉ）前記手術部位の次の手術画像を受信し、
    （ｉｉ）前記次の手術画像のライブ画像追跡データの次のセットを決定し、
    （ｉｉｉ）前記ライブ画像追跡データの次のセットに基づいて前記一致する視野を再決定し、
    （ｉｖ）１つ以上の次の手術画像を受信したことに応じて、各次の手術画像及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介してほぼリアルタイムで表示するように更に構成されている、請求項１に記載のＩＧＳナビゲーションシステム。
  4. 前記処理装置は、前記一致する視野を決定するとき、
    （ｉ）前記ライブ画像追跡データのセットの各位置と向きの座標に基づいて前記画像マップを照会して、最良一致視野を決定し、
    （ｉｉ）前記ライブ画像追跡データのセットに対する前記最良一致視野の各位置と向きの座標のオフセットを決定し、
    （ｉｉｉ）前記オフセットが構成設定された許容可能な一致閾値内にあるとき、前記一致する視野として前記最良一致視野を選択するように更に構成されている、請求項１に記載のＩＧＳナビゲーションシステム。
  5. 前記処理装置は画像ステータスを表示するように更に構成され、前記画像ステータスは、前記一致する視野の前記視野に対する前記手術画像のライブ視野のオフセットを示す、前記ライブ画像追跡データのセットと、前記一致する視野の前記追跡データのセットとの比較を含む、請求項１に記載のＩＧＳナビゲーションシステム。
  6. 前記処理装置は、前記手術画像と、前記一致する視野の前記手術部位の前記画像とを同時に表示するように更に構成されている、請求項１に記載のＩＧＳナビゲーションシステム。
  7. 前記処理装置は、術前画像のパネル内に前記一致する視野の前記手術部位の前記画像を表示するように更に構成され、前記術前画像のパネルは、前記患者の少なくとも３つのデジタルスキャン画像を更に含み、前記少なくとも３つのデジタルスキャン画像のそれぞれがオーバーレイされた器具位置を含む、請求項６に記載のＩＧＳナビゲーションシステム。
  8. 前記処理装置は、
    （ｉ）介在画像として前記手術画像が保持されるべきであると判定し、
    （ｉｉ）前記手術画像、前記ライブ画像追跡データのセット、及び前記第２の時間を、介在視野として前記画像マップに追加し、
    （ｉｉｉ）前記ライブ画像追跡データのセット及び各介在視野に関連付けられた介在追跡データのセットに基づいて、前記画像マップの１つ以上の一致する介在視野を決定し、
    （ｉｖ）前記１つ以上の一致する介在視野の介在画像のセットを表示するように更に構成されている、請求項１に記載のＩＧＳナビゲーションシステム。
  9. 前記処理装置は、外科用切断器具の起動ステータスに基づいて前記手術画像が介在画像として保持されるべきであると判定するように更に構成されている、請求項８に記載のＩＧＳナビゲーションシステム。
  10. 前記介在画像のセットの各介在画像は、各介在画像に関連付けられた捕捉時間によって順序付けられたビデオシーケンスとして個別に表示される、請求項８に記載のＩＧＳナビゲーションシステム。
  11. 前記介在画像のセットの各介在画像は、各介在画像に関連付けられた捕捉時間によって順序付けられた漸進画像モーフィングとして個別に表示される、請求項８に記載のＩＧＳナビゲーションシステム。
  12. 前記処理装置は、前記一致する視野が判定できない場合、前記一致する視野が前記画像マップにおいて利用可能となる結果をもたらすであろう、前記カメラの視野の変更を示すメッセージを、前記ディスプレイを介して表示するように更に構成されている、請求項１に記載のＩＧＳナビゲーションシステム。
  13. 前記処理装置は、
    （ｉ）前記手術部位の第２の過去画像を受信し、過去画像追跡データの第２のセットに基づいて前記第２の過去画像に関連付けられた視野を決定し、
    （ｉｉ）前記第２の過去画像に関連付けられた前記視野が、前記手術部位の前記複数の過去視野内に既にある視野と全く同じかどうかを判定し、
    （ｉｉｉ）前記視野が全く同じではない場合にのみ、前記第２の過去画像を前記複数の過去視野に追加するように更に構成されている、請求項１に記載のＩＧＳナビゲーションシステム。
  14. 画像誘導（ＩＧＳ）ナビゲーションによる手術中に比較インターフェースを提供するための方法であって、
    （ａ）処理装置において、
    （ｉ）患者の手術部位の過去画像を受信することであって、前記過去画像が、第１の時間に内視鏡のカメラによって捕捉される、ことと、
    （ｉｉ）前記内視鏡の追跡センサに基づいて前記第１の時間における前記カメラの過去画像追跡データのセットを決定することと、
    （ｂ）前記過去画像及び前記過去画像追跡データのセットを、過去視野として画像マップに追加することであって、前記画像マップが、前記手術部位の複数の過去視野を含み、前記複数の過去視野のうちの各過去視野が、
    （ｉ）ある視野から捕捉された前記手術部位の画像と、
    （ｉｉ）前記視野に関連付けられた追跡データのセットと、を含む、ことと、
    （ｃ）第２の時間に前記カメラによって捕捉される前記手術部位の手術画像を受信し、前記第２の時間における前記カメラのライブ画像追跡データのセットを決定することと、
    （ｄ）前記複数の過去視野のうちの一致する視野を、前記ライブ画像追跡データのセット及び前記一致する視野の追跡データのセットに基づいて決定することと、
    （ｅ）前記手術画像、及び前記一致する視野の前記手術部位の前記画像をディスプレイを介して表示することと、を含む方法。
  15. （ａ）前記手術部位の次の手術画像を受信し、前記次の手術画像のライブ画像追跡データの次のセットを決定することと、
    （ｂ）前記ライブ画像追跡データの次のセットに基づいて前記一致する視野を再決定することと、
    （ｃ）１つ以上の次の手術画像を受信したことに応じて、各次の手術画像及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介して、リアルタイムで表示することと、を更に含む、請求項１４に記載の方法。
  16. 前記一致する視野を決定するとき、
    （ｉ）前記ライブ画像追跡データのセットの各位置と向きの座標に基づいて前記画像マップを照会して、最良一致視野を決定することと、
    （ｉｉ）前記ライブ画像追跡データのセットに対する前記最良一致視野の各位置と向きの座標のオフセットを決定することと、
    （ｉｉｉ）前記オフセットが構成設定された許容可能な一致閾値内にあるとき、前記一致する視野として前記最良一致視野を選択することと、を更に含む、請求項１４に記載の方法。
  17. 前記手術画像と、前記一致する視野の前記手術部位の前記画像とを同時に表示することを更に含む、請求項１４に記載の方法。
  18. 術前画像のパネル内に前記一致する視野の前記手術部位の前記画像を表示することを更に含み、前記術前画像のパネルは、前記患者の少なくとも３つのデジタルスキャン画像を更に含み、前記少なくとも３つのデジタルスキャン画像のそれぞれがオーバーレイされた器具位置を含む、請求項１７に記載の方法。
  19. 前記一致する視野が判定できない場合、前記一致する視野が前記画像マップにおいて利用可能となる結果をもたらすであろう、前記カメラの視野の変更を示すメッセージを前記ディスプレイを介して表示することを更に含む、請求項１４に記載の方法。
  20. 処理装置であって、
    （ａ）患者の手術部位の過去画像を受信することであって、前記過去画像が、第１の時間にカメラによって捕捉される、ことと、
    （ｂ）前記第１の時間における前記カメラの過去画像追跡データのセットを決定することと、
    （ｃ）前記過去画像及び前記過去画像追跡データのセットを、過去視野として画像マップに追加することであって、前記画像マップが、前記手術部位の複数の過去視野を含み、前記複数の過去視野のうちの各過去視野が、
    （ｉ）ある視野から捕捉された前記手術部位の画像と、
    （ｉｉ）前記視野に関連付けられた追跡データのセットと、を含む、ことと、
    （ｄ）第２の時間に前記カメラによって捕捉される前記手術部位の手術画像を受信することと、
    （ｅ）前記第２の時間における前記カメラのライブ画像追跡データのセットを決定することと、
    （ｆ）前記複数の過去視野のうちの一致する視野を、前記ライブ画像追跡データのセット及び前記一致する視野の追跡データのセットに基づいて決定することと、
    （ｇ）前記手術画像、及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介して、表示することと、を行うように構成されている、処理装置。
JP2021533598A 2018-12-14 2019-12-07 センサベースのナビゲーションと内視鏡検査との組み合わせを用いた外科用システム Pending JP2022512420A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862779614P 2018-12-14 2018-12-14
US62/779,614 2018-12-14
US16/665,133 US11514576B2 (en) 2018-12-14 2019-10-28 Surgical system with combination of sensor-based navigation and endoscopy
US16/665,133 2019-10-28
PCT/IB2019/060537 WO2020121149A1 (en) 2018-12-14 2019-12-07 Surgical system with combination of sensor-based navigation and endoscopy

Publications (1)

Publication Number Publication Date
JP2022512420A true JP2022512420A (ja) 2022-02-03

Family

ID=71073693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533598A Pending JP2022512420A (ja) 2018-12-14 2019-12-07 センサベースのナビゲーションと内視鏡検査との組み合わせを用いた外科用システム

Country Status (6)

Country Link
US (1) US11514576B2 (ja)
EP (1) EP3893790A1 (ja)
JP (1) JP2022512420A (ja)
CN (1) CN113423358A (ja)
IL (1) IL283910B1 (ja)
WO (1) WO2020121149A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10980560B2 (en) 2017-10-30 2021-04-20 Ethicon Llc Surgical instrument systems comprising feedback mechanisms
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11399858B2 (en) 2018-03-08 2022-08-02 Cilag Gmbh International Application of smart blade technology
US11337746B2 (en) 2018-03-08 2022-05-24 Cilag Gmbh International Smart blade and power pulsing
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11298130B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Staple cartridge retainer with frangible authentication key
JP2022538906A (ja) 2019-07-01 2022-09-06 マイケル エス． バーリン， 緑内障手術のための画像誘導方法および装置
CN113160149B (zh) * 2021-03-31 2024-03-01 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
US20230068745A1 (en) * 2021-09-02 2023-03-02 Covidien Lp Real-time registration using near infrared fluorescence imaging

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6892090B2 (en) * 2002-08-19 2005-05-10 Surgical Navigation Technologies, Inc. Method and apparatus for virtual endoscopy
EP1543765A4 (en) 2002-08-30 2009-01-07 Olympus Corp MEDICAL TREATMENT SYSTEM, ENDOSCOPE SYSTEM, ENDOSCOPE INSERTION OPERATION PROGRAM, AND ENDOSCOPE DEVICE
US7720521B2 (en) 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
US20070208252A1 (en) 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
CA2588002A1 (en) * 2005-01-18 2006-07-27 Traxtal Inc. Method and apparatus for guiding an instrument to a target in the lung
US20060241405A1 (en) 2005-03-09 2006-10-26 Aesculap Ag & Co. Kg Method and apparatus for performing an orthodepic stability test using a surgical navigation system
US7835785B2 (en) * 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
KR100961661B1 (ko) * 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
WO2010111090A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical Operations, Inc. System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation
US8266333B1 (en) * 2009-05-29 2012-09-11 Z Microsystems, Inc. System and method for parallel image processing and routing
WO2012095755A1 (en) * 2011-01-13 2012-07-19 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
US20130296682A1 (en) 2012-05-04 2013-11-07 Microsoft Corporation Integrating pre-surgical and surgical images
WO2014061554A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
US20140128727A1 (en) * 2012-11-08 2014-05-08 Navident Technologies, Inc. Surgical location monitoring system and method using natural markers
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
EP2996557B1 (en) 2013-03-11 2019-05-01 Institut Hospitalo-Universitaire de Chirurgie Mini -Invasive Guidee Par l'Image Anatomical site relocalisation using dual data synchronisation
CA2929702C (en) * 2013-03-15 2023-03-07 Synaptive Medical (Barbados) Inc. Systems and methods for navigation and simulation of minimally invasive therapy
US11278353B2 (en) * 2016-03-16 2022-03-22 Synaptive Medical Inc. Trajectory alignment system and methods
US10602917B2 (en) 2013-12-31 2020-03-31 Karl Storz Imaging, Inc. Switching between white light imaging and excitation light imaging leaving last video frame displayed
US11188285B2 (en) * 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US10463242B2 (en) 2014-07-09 2019-11-05 Acclarent, Inc. Guidewire navigation for sinuplasty
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
WO2016112383A1 (en) * 2015-01-10 2016-07-14 University Of Florida Research Foundation, Inc. Simulation features combining mixed reality and modular tracking
US10413366B2 (en) * 2016-03-16 2019-09-17 Synaptive Medical (Bardbados) Inc. Trajectory guidance alignment system and methods
US10561370B2 (en) 2017-04-26 2020-02-18 Accalrent, Inc. Apparatus to secure field generating device to chair
US20200297430A1 (en) * 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices

Also Published As

Publication number Publication date
WO2020121149A1 (en) 2020-06-18
US20200193600A1 (en) 2020-06-18
IL283910B1 (en) 2024-03-01
US11514576B2 (en) 2022-11-29
IL283910A (en) 2021-07-29
CN113423358A (zh) 2021-09-21
EP3893790A1 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
JP2022512420A (ja) センサベースのナビゲーションと内視鏡検査との組み合わせを用いた外科用システム
US20220346889A1 (en) Graphical user interface for use in a surgical navigation system with a robot arm
US10835344B2 (en) Display of preoperative and intraoperative images
JP7443353B2 (ja) 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正
US20220296208A1 (en) Loupe display
EP3443923B1 (en) Surgical navigation system for providing an augmented reality image during operation
JP2020511239A (ja) ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法
KR20170034393A (ko) 부비동성형술을 위한 가이드와이어 조종
US20210121238A1 (en) Visualization system and method for ent procedures
US20230259248A1 (en) Method for real time update of fly-through camera placement
Liu et al. Augmented Reality in Image-Guided Robotic Surgery
WO2023129934A1 (en) Systems and methods for integrating intra-operative image data with minimally invasive medical techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240423