JP2017517763A - データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法 - Google Patents

データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法 Download PDF

Info

Publication number
JP2017517763A
JP2017517763A JP2016567728A JP2016567728A JP2017517763A JP 2017517763 A JP2017517763 A JP 2017517763A JP 2016567728 A JP2016567728 A JP 2016567728A JP 2016567728 A JP2016567728 A JP 2016567728A JP 2017517763 A JP2017517763 A JP 2017517763A
Authority
JP
Japan
Prior art keywords
value
image
surgical microscope
surgical
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016567728A
Other languages
English (en)
Other versions
JP2017517763A5 (ja
Inventor
ヴィルツバッハ,マルコ
ザウアー,シュテファン
パニッツ,ゲラルト
Original Assignee
カール・ツアイス・メディテック・アーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by カール・ツアイス・メディテック・アーゲー filed Critical カール・ツアイス・メディテック・アーゲー
Publication of JP2017517763A publication Critical patent/JP2017517763A/ja
Publication of JP2017517763A5 publication Critical patent/JP2017517763A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Abstract

本発明は、手術用顕微鏡の撮像パラメータを調節するための撮像光学装置及び制御ユニットを有する手術用顕微鏡と、画像処理装置であって、画像処理装置内に保存されるオーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするための画像処理装置と、手術用顕微鏡の制御ユニット及び画像処理装置に接続されるデータ処理ユニットとを含む、手術用システムに関し、制御ユニットは、手術用顕微鏡の範囲内でズーム、フォーカス、位置、及びアラインメントの調節パラメータ等の少なくとも1つの撮像パラメータが第1の値から第2の値に変化する場合、第1の値及び第2の値の両方を保存し、且つそれらをデータ処理ユニットに提供するように設計され、画像処理装置は、少なくとも1つの撮像パラメータの保存された第1の値及び第2の値に従ってオーバレイ画像を修正するように設計される。

Description

本発明は、手術用顕微鏡と、手術用顕微鏡によって生成される画像を更なる画像とオーバレイする画像処理装置とを含む手術用システムに関する。
術中モダリティ(即ち、例えば脳機能マッピング、IOI、5−ALA蛍光、Blue400、蛍光腫瘍境界計算、ICG蛍光、IR800、Flow800、トポグラフィ、2D/3D画像情報等、センサによって術中に得られる診断データ)が特定の時点に作成される。一部のモダリティは、継続的に(トポグラフィ測定)又は繰り返し(Blue400、腫瘍境界、IR800、Flow800等)生成することができ、他のモダリティは術中の特定の時点にのみ生成され得る(硬膜を開口した後のIOI等)。
モダリティの記録は通常、他の設定(例えば照明やフィルタの変更等)又は手術順序の変更を必要とする。通常、この設定は組織の切除中の又は組織への治療介入中の好ましい設定と離れている。
標準設定における様々なモダリティの情報を表示するための解決策は、上記のモダリティの1つ又は複数の画像情報を使って原位置(situs)の視像を拡張することによって提供される。拡張は、モダリティのデータから電子的に生成された画像を、例えば分割器のミラーを用いて視像にオーバレイする形態を取り得る。純粋に電子的なディスプレイ(例えばモニタ)の場合、このミキシングは(分割器のミラーなしに)純粋にデジタルに達成することができる(原位置及びモダリティの映像信号)。
この解決策の1つの不都合は、モダリティが特定の時点においてのみ、又は画像が撮られた設定(ズーム、フォーカス、位置(患者に対する手術用顕微鏡の相対位置)等)でのみ有効なことである。これらの設定が変わる場合、モダリティのデータが有効性を失い、オーバレイはもはや有意味でなくなり、終了させなければならない。一部の拡張は非常に短時間にわたってのみ有効である。
従って、拡張が有効である期間を延ばすことが好都合である。
本発明の目的は、術中モダリティの拡張をより長時間にわたり有効にし且つよりロバストにすることである。
この目的は、請求項1に記載の手術用システム及び請求項10に記載の方法によって達成される。
一実施形態による手術用システムは、手術用顕微鏡の撮像パラメータを設定するための撮像光学ユニット及び制御ユニットを有する手術用顕微鏡を含む。このために実体手術用顕微鏡又はモノスコープ手術用顕微鏡を使用することができる。更に、画像処理装置であって、画像処理装置内に記憶されるオーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするための画像処理装置を提供し、手術用顕微鏡の本体内に配置することができる。データ処理ユニットが手術用顕微鏡の制御ユニット及び画像処理装置に接続され、データ処理ユニットは手術用顕微鏡と一体化すること、又は外部に設けることが可能である。制御ユニットは、手術用顕微鏡の少なくとも1つの撮像パラメータが第1の値から第2の値に変化する前に、第1の値及び第2の値の両方を記憶し、且つそれらをデータ処理ユニットに提供するように設計される。その結果、焦点を定め直したり位置が変化したりするなどのたびに、変更される撮像パラメータの「古い」値と「新しい」値との両方を取得し記憶する。画像処理装置は、少なくとも1つの撮像パラメータの記憶された第1の値及び第2の値に対応する方法でオーバレイ画像を修正するように設計される。従って、撮像パラメータの変化した値を考慮する適切な変換関数により、画像処理装置は、撮像パラメータが変化した画像上にオーバレイできる方法でオーバレイ画像を修正することができる。このことは、撮像パラメータが変わっても拡張を実現できるようにし、それにより、たとえ手術用顕微鏡の撮像パラメータがモダリティを記録してから変わっていても、術中モダリティをオーバレイ画像として表示することができる。
一部の実施形態によれば、画像処理装置は、撮像パラメータが第1の値から第2の値に変化した後、修正済みのオーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするようにも設計され得る。
制御ユニットは、第1の値及び/又は第2の値と共に少なくとも1つのタイムスタンプを記憶し、且つそれをデータ処理ユニットに提供するように設計され得る。
手術用顕微鏡を所定の空間位置に配置するために位置決めシステムが提供され得、位置決めシステムは、手術用顕微鏡の位置値が第1の位置値から第2の位置値に変わる前に、少なくとも1つのタイムスタンプと共に第1の位置値及び第2の位置値の両方を記憶し、且つそれらをデータ処理ユニットに提供するように設計される。
制御ユニットは、修正済みのオーバレイ画像が生成されている場合にのみ少なくとも1つの撮像パラメータを変更するように設計されてもよく、そのため、修正済みのオーバレイ画像が撮像パラメータの変更前に既に提供され得る。
少なくとも1つの撮像パラメータは、手術用顕微鏡及び/又は患者の空間的なズーム、フォーカス、位置及びアラインメントの設定パラメータであり得る。
データ処理ユニットは、撮像パラメータの値用の少なくとも1つの限界値を与えるように設計され得、撮像パラメータの第2の値が限界値を上回る場合、画像処理装置は修正済みのオーバレイ画像を生成しない。
オーバレイ画像は、少なくとも1つのビーム分割器により、手術用顕微鏡によって生成される画像とオーバレイされ得る。
オーバレイ画像及び手術用顕微鏡によって生成される画像は映像信号としてそれぞれ互いにオーバレイされ得る。
一実施形態による、オーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするための方法は、
− オーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするステップと、
− 手術用顕微鏡の少なくとも1つの撮像パラメータの第1の値及び第2の値を記憶するステップと、
− 撮像パラメータの記憶された第1の値及び第2の値に対応する方法でオーバレイ画像を修正するステップと、
− 手術用顕微鏡の撮像パラメータを第1の値から第2の値に変更するステップと、
− 修正済みのオーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするステップと
を含む。
本発明の幾つかの例示的実施形態を添付図面に基づいて以下で説明する。
本発明の一実施形態による実体手術用顕微鏡を有する手術用システムを示す。 別の動作状態にある図1の手術用システムを示す。 本発明による手術用システムの更なる実施形態の概略図を示す。 本発明による方法のワークフローを示す。 手術中の本発明によるシステム及び方法の一応用例を示す。
図1に示す手術用システム10は、手術用顕微鏡本体12を有する手術用顕微鏡11を含み、手術用顕微鏡本体12は主顕微鏡対物系16と共に切替可能な撮像光学ユニット14を収容する。手術用システム10は、双眼鏡筒20を有し、双眼鏡筒20は接点18において本体12に接続され、観察者の左右の眼72、74のための第1の接眼部22及び第2の接眼部24を含む。対象領域32からの第1の観察ビーム経路28及び第2の観察ビーム経路30が手術用顕微鏡11内の主顕微鏡対物系16を通過する。
撮像光学ユニット14は出力結合ビーム分割器34を含み、出力結合ビーム分割器34は、対象領域32から見て主顕微鏡対物系16の反対側の第1の光学観察ビーム経路28内に構成され、第1の観察ビーム経路28から観察光の一部を外部結合し、それを画像取得装置35に送る。画像取得装置35は、対物レンズ系37及び画像センサ38を有する第1の画像取得アセンブリ36と、更に対物レンズ系37及び画像センサ38を有する第2の画像取得アセンブリ40とを含む。
加えて、撮像光学ユニット14は更なる出力結合ビーム分割器26を有し、出力結合ビーム分割器26は、対象領域32から見て主顕微鏡対物系16の反対側の第2の光学観察ビーム経路30内に構成され、第2の観察ビーム経路30から観察光の一部を外部結合し、それを対物レンズ系37を有する画像取得装置35及び画像センサ38に送る。
撮像光学ユニット14内には、第1の入力結合ビーム分割器42及び第2の入力結合ビーム分割器44がある。これらの入力結合ビーム分割器42、44により、表示装置47のディスプレイアセンブリ48のディスプレイ46上に、及び表示装置47のディスプレイアセンブリ52のディスプレイ50上に表示される表示情報を、第1の光学観察ビーム経路28内及び第2の光学観察ビーム経路30内の対象領域32の画像上にオーバレイすることができる。
最初に説明したように、入力結合ビーム分割器42、44により、とりわけ術中モダリティからの画像情報を有するオーバレイ画像を、双眼鏡筒20の接眼部22及び接眼部24に送られる対象領域32の画像上にオーバレイすることができる。
そのために、ディスプレイアセンブリ48、52の表示情報46、50が何れの場合にも表示レンズ49、51によって平行ビーム経路へと変えられ、双眼鏡筒20の左右の中間像面25、27内に結像レンズ21、23によって投影される。左右の中間像面25、27内の中間像は、双眼鏡筒20内の接眼部視野絞り29、31によって境界が定められる。左右の中間像面25、27内のディスプレイ46、50の画像の撮像尺度は、この事例では表示レンズ49、51の焦点距離fD及び結像レンズ21、23の焦点距離fTの比率fD/fTによって決まる。
ディスプレイ46、50を活性化するために、手術用システム10は画像処理装置54及び画像処理装置56を含み、これらの画像処理装置は、顕微鏡本体12の内部又は外部に配置され得るデータ処理ユニット100に接続される。
第1の観察ビーム経路28及び第2の観察ビーム経路30から画像取得装置35、40によって取得される対象領域32の画像を表示するために、手術用システム10は、好ましくは3Dモニタとして形成され、画像処理装置54、56に接続される画像再現装置58を有する。
手術用顕微鏡11の撮像光学ユニット14は、シャッタ素子62及びシャッタ素子64を含む。シャッタ素子62、64は、両矢印60に対応する方向に駆動機構(不図示)によって動かすことができる。シャッタ素子62、64により、主顕微鏡対物系16から見て出力結合ビーム分割器34、26の反対側の第1の光学観察ビーム経路28及び/又は第2の光学観察ビーム経路30を通過させるか、又は遮断することができる。
図1に示す手術用システム10の動作状態では、シャッタ素子62、64が第1の光学観察ビーム経路28及び第2の光学観察ビーム経路30を通過させるように撮像光学ユニット14が切り替えられている。次いで、主顕微鏡対物系16を通過する対象領域32からの光学観察ビーム経路28及び30が、手術用顕微鏡11内の双眼鏡筒20の第1の接眼部22及び第2の接眼部24にそれぞれ送られる。
図2は更なる動作状態にある手術用システム10を示し、この状態ではシャッタ素子62、64が第1の光学観察ビーム経路28及び第2の光学観察ビーム経路30を遮断する。ここでは、画像取得装置35の画像取得アセンブリ36及び40によって取得され、表示装置48、52によって表示される対象領域32の画像が、手術用顕微鏡11内の双眼鏡筒20の第1の接眼部22及び第2の接眼部24にそれぞれ送られる。
従って、第1の光学観察ビーム経路28によって対象領域32の左側の立体部分画像を画像取得装置35の画像取得アセンブリ36に送ることができ、第2の光学観察ビーム経路30によって対象領域32の右側の立体部分画像を画像取得装置35の画像取得アセンブリ40に送ることができる。これにより、2つの光学観察ビーム経路28、30の光軸がステレオ角θを形成する。このことは、第1の観察ビーム経路28及び第2の観察ビーム経路30をシャッタ素子62、64によって遮断しても、手術用顕微鏡11によって対象領域32を立体表示することを可能にする。そのために、双眼鏡筒20内の左側の立体部分画像を表示装置47のディスプレイアセンブリ48によって生成し、右側の立体部分画像を表示装置47のディスプレイアセンブリ52によって生成する。
図3は、上記の手術用顕微鏡11及びデータ処理ユニット100に加えて位置決めシステム200も備える手術用システム10の一例を示し、位置決めシステム200は、手術用顕微鏡11上に装着される1つ又は複数の位置決めマーカ202及び位置取得ユニット204によって手術用顕微鏡11の位置及び空間的な向きを取得することができる。下記の通り、位置決めシステム200は取得した位置データをデータ処理ユニット100に転送することができる。
図4は、一実施形態による方法の一例を示す。この例では、手術用顕微鏡上で動作(位置、ズーム、フォーカス、モダリティ等の変更)を行う前に、拡張に必要な設定をその都度記憶する。
まずステップS1で、手術用顕微鏡を第1の位置で動作させ、術中モダリティを決定して記憶する(ステップS2)。その後、例えばモダリティを切り替えるためのボタンの作動、ブレーキ解除、ズーム又はフォーカス設定の変更等の動作を手術用顕微鏡上で引き起こす。
動作を開始する前に、ステップS3で、ナビゲーションに必要なデータ(フォーカス値、ズーム値、位置値等)が内部センサから問い合わせられ、タイムスタンプと共に提供される。データがOPMIの内部通信バス内で即時に入手できない場合、タイムスタンプに入力応答を割り当てることができるように、対応する要求を一意のタイムスタンプ/IDと共に送信する。それと同時に、位置決めシステムがある場合、手術用顕微鏡と患者との間の相対位置を問い合わせるために位置決めシステムにも要求を送信する。
位置決めシステムからの応答が僅かに遅れても、位置決めシステムが位置について与える値を撮像パラメータの関連値に割り当てることができるように、その要求にも同じタイムスタンプを割り当てる。同時に、位置決めシステムが応答しない場合の遅延リスクを最小限にするためにビルトインの時間切れもあり得る。
次いで、そのときたどっている撮像パラメータの変化に応答して拡張を相応に適合させるために、例えばズーム変更の場合は大小を適合させるために、又は手術用顕微鏡の位置変化に空間的な向きを適合させるために、この値をステップS4で使用する。
タイムスタンプを作成し、対応する要求の送信を開始し次第、ステップS5でオリジナル動作(original action)を行う。このことは、変更前の撮像パラメータの各事例における最後の有効値が中央データ処理ユニット内に記憶されていることを確実にする。次いでステップS6で、ステップS4において決定した修正済みモダリティと共にオーバレイ画像をレンダリングすることができる。図1に関して上記で説明したように、ここではオーバレイ画像をビーム分割器によって手術用顕微鏡の主対物レンズと接眼部との間のビーム経路に供給することができる。或いは図2に関して説明したように、対物レンズによって生成される画像を映像信号として記録し(ステップS7)、同じく映像信号の形態を取り得るオーバレイ画像に対して画像処理装置内でオーバレイすることができる。
最後に、オーバレイ済みの画像を、例えば手術用顕微鏡に接続されるモニタ上に表示することができ(ステップS8)、又はメモリ素子内に記録及び記憶することができる(ステップS9)。
手術用顕微鏡11のモダリティ及び主設定は、中央データ処理ユニット100に与えることができる。その後、拡張の有効性をより長い期間にわたって保つことができる。ここではモダリティは他の任意の所望のデータ処理ユニット上で、即ち、例えば手術用顕微鏡11内の画像処理装置54、56上でも生成することができる。但し、中央データ処理ユニット100上でモダリティを生成することもできる。
原則的に、拡張が純粋に映像に基づくか、又は視像及び電子的に生成された画像のオーバレイとして実施されるかは重要ではない。後者の場合、原位置の映像信号さえ必要ない。
中央データ処理ユニット100は手術用顕微鏡11に統合できるが、手術用顕微鏡11の外部の所望の任意の位置で利用されてもよい。但し、表示される映像信号又は適合されたモダリティは、いかなる著しい時間遅延もなしに医師が表示装置上で入手できることを有利に保証すべきである。こうした「いかなる著しい時間遅延もなしに」と規定することは、ここではそれぞれのモダリティ/応用に依存し、数ミリ秒から数秒に及び得る。
手術用顕微鏡の撮像パラメータ及び設定は、例えば手術用顕微鏡及び患者のズーム、フォーカス、又は位置である(何れの場合にも位置は、例えば位置ベクトル及び法線ベクトルによって表わされる空間的な向き及びアラインメントを含むことが可能である)。患者が動いていないことが確実な場合、手術用顕微鏡の位置及びアラインメントの変化のみを変換に使用することもできる。
生成されるモダリティは3Dデータセットの形態を取ることもでき、空間的な向き及びアラインメントはやはり手術用顕微鏡及び患者の位置/アラインメント測定から分かる。これは、事実上任意の所望のアラインメントについてレンダリングすることができる。生成されるモダリティが2D又は1Dデータセットの形態のみを取る場合、手術用顕微鏡11の新たなアラインメントはモダリティを新たなアラインメント上に投影することによってのみ考慮され得る。
モダリティが継続的に取得されない場合、一部の実施形態によれば、その拡張の有効性はモダリティごとに異なる特定の因子によって決まり得る。これらの因子が変わるほど、オーバレイ画像と実体との間の不一致が大きくなる。一実施形態によれば、それぞれの因子の変化を理由に拡張を破棄すること又は拡張をもはや一概に関連するとは限らないとして印付けすることが考えられ得る。
図5は、腫瘍境界の表現における本発明によるシステム及び方法の一応用例を示す。腫瘍の境界輪郭は蛍光像の色情報から計算する。図5及び以下の説明から明らかなように、この輪郭はズームが変わるときに容易に適合させることができる。手術用顕微鏡の光軸の変化はもはや容易に補正することができない。腫瘍の一部を除去した場合、輪郭をもはや適合させることはできない。
一実施形態によれば、従って1つ又は複数の撮像パラメータ又は因子をモダリティについて決定することができる。次いで、それらの撮像パラメータ又は因子について、最後の決定からの最大変化の限界値を個々に及び組合せで決定することができる。撮像パラメータの値の変化がそれらの限界値の1つに到達すると拡張が無効になる。これは拡張を破棄することによって、拡張を減らすことによって、及び/又は信頼性パラメータを数字若しくは記号(バー、色変化)として表示することによって利用者に知らせることができる。
撮像パラメータ又は因子は、例えば時間、ズーム比、光軸の動き、フォーカス(像平面)、ツールの使用(ツール全般又はカメラ画像から検出される特定のツール)、カメラによって捕捉される手術シーンの変化(例えば組織の過度な変形)を含む。
図5に示す例は下記の通りである。
1.Blue400モードでは原位置を記録する。患者及び手術用顕微鏡の現在の位置は、例えば外部のナビゲーション装置から(又は手術用顕微鏡及び患者の相対位置を決定するための他の何らかのソリューションによって)要求される。ズーム、フォーカス、及び照明の設定も同様に記憶する。
2.蛍光像の色情報から腫瘍境界を継続的に計算する。腫瘍境界は、それぞれに手術用顕微鏡の現在のアラインメント及びフォーカス/ズーム設定について有効である。ここでは腫瘍境界が2Dデータセットの形態を取る。手術用顕微鏡及び患者の位置並びに手術用顕微鏡の焦点面から患者の向きを明らかにする(この例では高低差は考慮しない)。
3.手術用顕微鏡を白色光モードに切り替える。各事例の最後の輪郭及び関連する値を一緒に属するものとして(例えばID又はタイムスタンプごとに)中央データ処理ユニット内に記憶する。
4.次いで撮像パラメータの値を変更する。
a.ズーム設定の値を変更する:この場合は簡単な変換規則がある。腫瘍境界はズーム比に対応する方法で変倍しなければならない。
b.手術用顕微鏡のアラインメントを変更する:この場合は手術用顕微鏡の新たな向き及びアラインメントに合わせてモダリティを変換しなければならない。
この手術用システムは、例えばセンサによって術中に得られる診断データ等の術中モダリティを手術用顕微鏡内に供給し、例えば手術用顕微鏡のズーム設定、フォーカス値、又は位置等の少なくとも1つの撮像パラメータが変わっても、その術中モダリティを手術用顕微鏡によって生成される画像と重ねることを可能にする。パラメータ値にタイムスタンプを割り当てることも可能でありながら、パラメータ値を記憶することは、オーバレイ画像を適合させるための更に遡及的に記録及び再現され得る変換規則を随時決定できることを確実にし続け得ることを意味する。

Claims (10)

  1. − 手術用顕微鏡の撮像パラメータを設定するための撮像光学ユニット及び制御ユニットを有する手術用顕微鏡と、
    − 画像処理装置であって、前記画像処理装置内に記憶されるオーバレイ画像を前記手術用顕微鏡によって生成される画像とオーバレイするための画像処理装置と、
    − 前記手術用顕微鏡の前記制御ユニット及び前記画像処理装置に接続されるデータ処理ユニットと
    を含む、手術用システムであって、
    前記制御ユニットは、前記手術用顕微鏡の少なくとも1つの撮像パラメータが第1の値から第2の値に変化する前に、前記第1の値及び前記第2の値の両方を記憶し、且つそれらを前記データ処理ユニットに提供するように設計され、及び前記画像処理装置は、前記少なくとも1つの撮像パラメータの前記記憶された第1の値及び第2の値に対応する方法で前記オーバレイ画像を修正するように設計される、手術用システム。
  2. 前記画像処理装置は、前記撮像パラメータが前記第1の値から前記第2の値に変化した後、前記修正済みのオーバレイ画像を前記手術用顕微鏡によって生成される前記画像とオーバレイするようにも設計されることを特徴とする、請求項1に記載の手術用システム。
  3. 前記制御ユニットが、前記第1の値及び/又は第2の値と共に少なくとも1つのタイムスタンプを記憶し、且つそれを前記データ処理ユニットに提供するように設計されることを特徴とする、請求項1又は2に記載の手術用システム。
  4. 前記手術用顕微鏡を所定の空間位置に配置するために位置決めシステムが提供され、前記位置決めシステムは、前記手術用顕微鏡の位置値が第1の位置値から第2の位置値に変わる前に、少なくとも1つのタイムスタンプと共に前記第1の位置値及び前記第2の位置値の両方を記憶し、且つそれらを前記データ処理ユニットに提供するように設計されることを特徴とする、請求項3に記載の手術用システム。
  5. 前記制御ユニットは、前記記憶済みの第1の値及び第2の値から修正済みのオーバレイ画像が生成されている場合にのみ前記少なくとも1つの撮像パラメータを変更するように設計されることを特徴とする、請求項1〜4の何れか一項に記載の手術用システム。
  6. 少なくとも1つの撮像パラメータが、前記手術用顕微鏡及び/又は患者の空間的なズーム、フォーカス、位置及びアラインメントの設定パラメータを含むことを特徴とする、請求項1〜5の何れか一項に記載の手術用システム。
  7. 前記データ処理ユニットは、前記撮像パラメータの値用の少なくとも1つの限界値を与えるように設計され、前記撮像パラメータの前記第2の値が前記限界値を上回る場合、前記画像処理装置は修正済みのオーバレイ画像を生成しないことを特徴とする、請求項1〜6の何れか一項に記載の手術用システム。
  8. 前記オーバレイ画像が、少なくとも1つのビーム分割器により、前記手術用顕微鏡によって生成される前記画像とオーバレイされることを特徴とする、請求項1〜7の何れか一項に記載の手術用システム。
  9. 前記オーバレイ画像及び前記手術用顕微鏡によって生成される前記画像が映像信号としてそれぞれ互いにオーバレイされることを特徴とする、請求項1〜7の何れか一項に記載の手術用システム。
  10. オーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするための方法であって、
    − 前記オーバレイ画像を前記手術用顕微鏡によって生成される前記画像とオーバレイするステップと、
    − 前記手術用顕微鏡の少なくとも1つの撮像パラメータの第1の値及び第2の値を記憶するステップと、
    − 前記撮像パラメータの前記記憶された第1の値及び第2の値に対応する方法で前記オーバレイ画像を修正するステップと、
    − 前記手術用顕微鏡の前記撮像パラメータを前記第1の値から前記第2の値に変更するステップと、
    − 前記修正済みのオーバレイ画像を前記手術用顕微鏡によって生成される前記画像とオーバレイするステップと
    を含む、方法。
JP2016567728A 2014-05-27 2015-05-21 データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法 Pending JP2017517763A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014210053.4A DE102014210053A1 (de) 2014-05-27 2014-05-27 Operationsmikroskop mit Dateneinheit und Verfahren zum Überlagern von Bildern
DE102014210053.4 2014-05-27
PCT/EP2015/061262 WO2015181042A1 (de) 2014-05-27 2015-05-21 Operationsmikroskop mit dateneinheit und verfahren zum überlagern von bildern

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020070771A Division JP2020114491A (ja) 2014-05-27 2020-04-10 データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法

Publications (2)

Publication Number Publication Date
JP2017517763A true JP2017517763A (ja) 2017-06-29
JP2017517763A5 JP2017517763A5 (ja) 2018-05-24

Family

ID=53274514

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016567728A Pending JP2017517763A (ja) 2014-05-27 2015-05-21 データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法
JP2020070771A Pending JP2020114491A (ja) 2014-05-27 2020-04-10 データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法
JP2022064262A Active JP7378529B2 (ja) 2014-05-27 2022-04-08 データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020070771A Pending JP2020114491A (ja) 2014-05-27 2020-04-10 データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法
JP2022064262A Active JP7378529B2 (ja) 2014-05-27 2022-04-08 データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法

Country Status (6)

Country Link
US (1) US10324281B2 (ja)
EP (1) EP3152614B1 (ja)
JP (3) JP2017517763A (ja)
DE (1) DE102014210053A1 (ja)
ES (1) ES2955609T3 (ja)
WO (1) WO2015181042A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460457B2 (en) * 2016-07-12 2019-10-29 Novartis Ag Adaptive adjustment of overlay image parameters
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
DE102017116275A1 (de) 2017-07-19 2018-07-26 Carl Zeiss Meditec Ag Vorrichtung für das Visualisieren eines Objektbereichs
WO2019060858A1 (en) * 2017-09-22 2019-03-28 Intellisense Systems, Inc. LONG REACH INFRARED IMAGER SYSTEMS AND METHODS
US10705323B2 (en) * 2018-04-24 2020-07-07 Synaptive Medical (Barbados) Inc. Surgical microscope system with automatic zoom control
DE102019118508B3 (de) * 2019-07-09 2020-12-24 Carl Zeiss Meditec Ag Optische Abbildungsvorrichtung und Verfahren zur Verbesserung dargestellter Bilder
EP3805835B1 (en) * 2019-10-10 2023-10-04 Leica Instruments (Singapore) Pte. Ltd. Optical imaging system and related apparatus, method and computer program
DE102019132308A1 (de) * 2019-11-28 2021-06-02 Carl Zeiss Meditec Ag Optisches Beobachtungssystem mit kontaktloser Zeigeeinheit, Betriebsverfahren und Computerprogrammprodukt
EP4006615A1 (en) * 2020-11-30 2022-06-01 Leica Instruments (Singapore) Pte. Ltd. Imaging system
DE102021204033B3 (de) 2021-04-22 2022-06-15 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Operationsmikroskops und Operationsmikroskop
WO2023109853A1 (zh) * 2021-12-14 2023-06-22 微创优通医疗科技(上海)有限公司 双目内窥镜及其双目内窥镜成像系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117018A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd 画像表示装置
JP2004272200A (ja) * 2002-09-20 2004-09-30 Carl-Zeiss-Stiftung Trading As Carl Zeiss 複数の観察者のための顕微鏡検査システムおよび顕微鏡検査方法
JP2013250477A (ja) * 2012-06-01 2013-12-12 Dainippon Printing Co Ltd コンピュータ装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345538A (en) * 1992-01-27 1994-09-06 Krishna Narayannan Voice activated control apparatus
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
JP4937457B2 (ja) * 2001-03-01 2012-05-23 オリンパス株式会社 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
US20060293557A1 (en) * 2005-03-11 2006-12-28 Bracco Imaging, S.P.A. Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray")
DE102008028482B4 (de) * 2008-06-13 2021-11-25 Carl Zeiss Meditec Ag Optisches Beobachtungsgerät mit Mehrkanal-Dateneinblendung und Verfahren zum Einblenden von elektronischen Einblendbildern in ein optisches Beobachtungsgerät
DE102009018633A1 (de) * 2009-04-17 2010-10-21 Technische Universität Dresden Verfahren und Einrichtung zur intraoperativen Bildgebung von Gehirnarealen
EP2547278B2 (en) * 2010-03-17 2019-10-23 Brainlab AG Flow control in computer-assisted surgery based on marker positions
US8903468B2 (en) * 2010-10-13 2014-12-02 Gholam Peyman Laser coagulation of an eye structure from a remote location
WO2013166098A1 (en) 2012-05-01 2013-11-07 The Johns Hopkins University Improved method and apparatus for robotically assisted cochlear implant surgery
DE102012106584B4 (de) * 2012-07-20 2021-01-07 Carl Zeiss Ag Verfahren und Vorrichtung zur Bildrekonstruktion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117018A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd 画像表示装置
JP2004272200A (ja) * 2002-09-20 2004-09-30 Carl-Zeiss-Stiftung Trading As Carl Zeiss 複数の観察者のための顕微鏡検査システムおよび顕微鏡検査方法
JP2013250477A (ja) * 2012-06-01 2013-12-12 Dainippon Printing Co Ltd コンピュータ装置及びプログラム

Also Published As

Publication number Publication date
DE102014210053A1 (de) 2015-12-03
EP3152614B1 (de) 2023-06-21
JP2022087198A (ja) 2022-06-09
JP2020114491A (ja) 2020-07-30
ES2955609T3 (es) 2023-12-04
US10324281B2 (en) 2019-06-18
EP3152614A1 (de) 2017-04-12
US20170082847A1 (en) 2017-03-23
WO2015181042A1 (de) 2015-12-03
JP7378529B2 (ja) 2023-11-13

Similar Documents

Publication Publication Date Title
JP7378529B2 (ja) データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法
JP7073450B2 (ja) 対象領域の観察画像の生成
US20240080433A1 (en) Systems and methods for mediated-reality surgical visualization
US9766441B2 (en) Surgical stereo vision systems and methods for microsurgery
JP5284731B2 (ja) 立体画像撮影表示システム
US9330477B2 (en) Surgical stereo vision systems and methods for microsurgery
US10838189B2 (en) Operating microscope having an image sensor and a display, and method for operating an operating microscope
JP2013521941A (ja) 立体的可視化システム
JP2006158452A (ja) 医療用立体撮像装置
JP2006158452A5 (ja)
JP6666467B2 (ja) 医療用観察装置、及び制御方法
JP2006208407A (ja) 立体画像観察用顕微鏡システム
JP2018032014A (ja) ステレオビデオ内視鏡の光学系と、ステレオビデオ内視鏡とステレオビデオ内視鏡の光学系を操作するための方法
JP4508569B2 (ja) 双眼立体観察装置、電子画像実体顕微鏡、電子画像立体観察装置、電子画像観察装置
JP2015220643A (ja) 立体観察装置
JPH11318936A (ja) 手術用顕微鏡装置
JP2014175965A (ja) 手術用カメラ
JP5792401B2 (ja) オートフォーカス装置
WO2018163499A1 (ja) 医療画像表示制御装置、医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
JP2003334160A (ja) 立体視内視鏡システム
JP2014064657A (ja) 立体内視鏡装置
JP2018152657A (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
WO2018179875A1 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
CN113925441B (zh) 一种基于内窥镜的成像方法及成像系统
JP2004233480A (ja) 立体内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190605

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191210