JP2011523100A - 多チャネルのデータ挿入を伴う光学式観測機器 - Google Patents

Abstract

本発明による光学式観測機器は、手術野（４）からの光学式視野画像を観察するための少なくとも１つの光学式画像チャネル（１１、１２、１４）と、第１の電子式挿入画像を生成し、かつ第１の電子式挿入画像を第１の電子式画像チャネル（２９）を介して提供するように形成された処理ユニット（２２）と、第１の電子式挿入画像から光学式挿入画像を作成し、かつ作成した光学式挿入画像を光学式画像チャネルによって生成された光学式視野画像内に挿入するための、第１の電子式画像チャネル（２９）を介して処理ユニット（２２）と結合されたデータ挿入用画像プロジェクタ（３２）とを含む。それだけでなくこの光学式観測機器は、光学式チャネルからの光学式視野画像を電子的に捕捉し、かつ電子式視野画像を生成するための画像捕捉装置（３４）を含んでおり、その際、画像捕捉装置（３４）が、光学式視野画像を、データ挿入用画像プロジェクタ（３２）によって挿入される光学式挿入画像なしで捕捉するように配置および／または形成されており、ならびにこの光学式観測機器は、電子式画像重畳モジュール（２４）を含む少なくとも１つの第２の電子式画像チャネル（２７、２８）を含んでおり、この電子式画像重畳モジュールは、電子式視野画像と電子式挿入画像を重畳し、かつ重畳された電子式挿入画像を含む電子式視野画像を第２の電子式画像チャネル（２７、２８）を介して提供するように形成されている。本発明によれば、処理ユニット（２２）は少なくとも１つの第２の電子式挿入画像を生成するように構築されている。そのうえ処理ユニット（２２）は構成モジュール（２５）を有しており、または構成モジュール（２５）と結合しており、この構成モジュールは、利用可能な表示データ要素の選択肢を提供するように形成されており、かつ第１の電子式挿入画像および第２の電子式挿入画像を、表示データ要素から自由に編成すること、および電子式挿入画像を様々な電子式画像チャネル（２７、２８、２９）に割り当てることを可能にする。
本発明による光学式観測機器は、手術野（４）からの光学式視野画像を観察するための少なくとも１つの光学式画像チャネル（１１、１２、１４）と、第１の電子式挿入画像を生成し、かつ第１の電子式挿入画像を第１の電子式画像チャネル（２９）を介して提供するように形成された処理ユニット（２２）と、第１の電子式挿入画像から光学式挿入画像を作成し、かつ作成した光学式挿入画像を光学式画像チャネルによって生成された光学式視野画像内に挿入するための、第１の電子式画像チャネル（２９）を介して処理ユニット（２２）と結合されたデータ挿入用画像プロジェクタ（３２）とを含む。それだけでなくこの光学式観測機器は、光学式チャネルからの光学式視野画像を電子的に捕捉し、かつ電子式視野画像を生成するための画像捕捉装置（３４）を含んでおり、その際、画像捕捉装置（３４）が、光学式視野画像を、データ挿入用画像プロジェクタ（３２）によって挿入される光学式挿入画像なしで捕捉するように配置および／または形成されており、ならびにこの光学式観測機器は、電子式画像重畳モジュール（２４）を含む少なくとも１つの第２の電子式画像チャネル（２７、２８）を含んでおり、この電子式画像重畳モジュールは、電子式視野画像と電子式挿入画像を重畳し、かつ重畳された電子式挿入画像を含む電子式視野画像を第２の電子式画像チャネル（２７、２８）を介して提供するように形成されている。本発明によれば、処理ユニット（２２）は少なくとも１つの第２の電子式挿入画像を生成するように構築されている。そのうえ処理ユニット（２２）は構成モジュール（２５）を有しており、または構成モジュール（２５）と結合しており、この構成モジュールは、利用可能な表示データ要素の選択肢を提供するように形成されており、かつ第１の電子式挿入画像および第２の電子式挿入画像を、表示データ要素から自由に編成すること、および電子式挿入画像を様々な電子式画像チャネル（２７、２８、２９）に割り当てることを可能にする。

Description

本発明は、光学式画像と挿入画像を重畳するための重畳装置を備えた光学式観測機器、特に手術用顕微鏡に関する。それだけでなく本発明は、光学式観測機器、特に手術用顕微鏡内への電子式挿入画像の挿入方法に関する。

挿入画像は特に、処置に重要な追加情報を処置している医師に伝えるために、手術用顕微鏡のビーム経路内に挿入される。挿入画像は、例えば等高線ファインダの結果、参照軸、参照角、機器パラメータ、例として拡大率もしくは絞り開口など、または患者に関するデータであってよい。

米国特許出願公開第２００３１８１８０３号からは、電子式ユニットおよび重畳モジュールを有する外科用顕微鏡が知られている。この場合、患者データは電子式ユニットから重畳モジュールに送られ、この重畳モジュールが手術者の視野内にデータを挿入する。

さらに、カメラ機構を備えた手術用顕微鏡が知られており、この顕微鏡は、ビデオ画像を捕捉するためにビデオカメラの視野を導くビームスプリッタまたは類似の画像デカップリング装置を顕微鏡のビーム経路内に配置することにより、手術者の視野を捕捉する。

同時に患者データの挿入を可能にするシステムが米国特許第７，０５０，２２５Ｂ２号に示されている。この解決策ではビデオカメラによって捕捉される画像が、常に手術者の実際の視野に対応しており、つまり重畳モジュールによって挿入された全ての患者データを備えた包括的表現を示している。

ドイツ特許出願公開第１０２４３８５２Ａ１号は、実体顕微鏡による画像と電子的に生成した画像の重畳を可能にするさらなる顕微鏡検査システムを示しており、ここで、電子的に生成した画像とは、選択された拡大またはズームシステムの回転位置に依存した入力画像と、選択された拡大またはズームシステムの回転位置に依存しない入力画像を電子的に重畳したものである。

ＤＥ１０１０１１８４Ａ１には、観測鏡筒および観測画像を記録するためのカメラを備えた手術用顕微鏡が記載されている。そのうえ記録した観測画像を表示するためのモニタが存在する。この手術用顕微鏡内では、電子式挿入画像を、画像投射モジュールを介してビーム経路内に挿入することも、画像ミキサを介してカメラで記録した画像と混合し、混合した画像をモニタ上に表示することもできる。

この現況技術に対して本発明の課題は、有利な光学式観測機器、特に有利な手術用顕微鏡を提供することである。本発明のさらなる課題は、光学式観測機器、特に手術用顕微鏡内に電子式挿入画像を挿入するための有利な方法を利用可能にすることである。

本発明によれば、この第１の課題は請求項１に記載の光学式観測機器によって、第２の課題は請求項１１に記載の方法によって解決される。従属請求項は、本発明の有利な形態を含んでいる。

本発明による光学式観測機器は、手術野からの光学式視野画像を観察するための少なくとも１つの光学式画像チャネルと、第１の電子式挿入画像を生成し、かつ第１の電子式挿入画像を第１の電子式画像チャネルを介して提供するように形成された処理ユニットと、第１の電子式挿入画像から光学式挿入画像を作成するための、第１の電子式画像チャネルを介して処理ユニットと結合された光学式データ挿入用画像プロジェクタと、作成された光学式挿入画像を光学式画像チャネルによって生成された光学式視野画像内に挿入するための重畳装置とを含む。それだけでなくこの光学式観測機器は、光学式チャネルからの光学式視野画像を電子的に捕捉し、かつ電子式視野画像を生成するための画像捕捉装置を含んでおり、その際、画像捕捉装置は、光学式視野画像を、データ挿入用画像プロジェクタによって挿入される光学式挿入画像なしで捕捉するように配置および／または形成されており、ならびにこの光学式観測機器は、電子式画像重畳モジュールを含む少なくとも１つの第２の電子式画像チャネルを含んでおり、この電子式画像重畳モジュールは、電子式視野画像と電子式挿入画像を重畳し、かつ重畳された電子式挿入画像を含む電子式視野画像を第２の電子式画像チャネルを介して提供するように形成されている。

本発明によれば、処理ユニットは少なくとも１つの第２の電子式挿入画像を生成するように構築されている。そのうえ処理ユニットは構成モジュールを有しており、または構成モジュールと結合されており、この構成モジュールは、利用可能な表示データ要素の選択肢を提供するように形成されており、かつ第１の電子式挿入画像および第２の電子式挿入画像を、表示データ要素からそれぞれ自由に編成すること、および電子式挿入画像を様々な電子式画像チャネルに割り当てることを可能にする。

本発明は、現況技術では全ての観測者が同じ画像情報を得るという認識を基礎とする。確かにドイツ特許出願公開第１０２４３８５２Ａ１号では、手術用顕微鏡の様々な鏡筒のために、挿入画像をそれぞれ選択された拡大またはズームシステムの回転位置に適合させるが、画像はそれぞれ同じ情報を含んでいる。

しかしながら様々な適用例において、例えば教育目的で手術野を別のスクリーンに表示するため、または手術過程を録画するためには、異なる情報を含む挿入画像を利用可能にできれば望ましいであろう。このようなビデオ録画のためには、例えば日付、時間、ならびに執刀中に手術者には必要とされない、またはそれどころか邪魔である特定の処置パラメータのような、手術者用のものとは別のデータ挿入が望ましいこともあり得る。同様に、例えば主鏡筒および副鏡筒を備えた手術用顕微鏡の場合、副鏡筒内では主鏡筒内とは別のデータ挿入が望ましいことが考えられる。

ここで本発明は、電子式画像チャネルのために準備される電子式挿入画像の自由な構成可能性を付加し提供する。特に、第１の電子式挿入画像は表示データ要素の第１の選択肢を有することができ、これに対し第２の挿入画像は、表示データ要素の第１の選択肢とは少なくとも部分的に異なる、表示データ要素の第２の選択肢を有することができる。もちろん本発明による光学式観測機器は、これまでのように全ての電子式画像チャネルに対して同一の構成の挿入画像を利用可能にするという可能性も提供する。

したがって例えば第１の挿入画像を主ユーザのために、第２の挿入画像を副ユーザのために生成することが可能になる。これらの挿入画像は、それぞれの目的に特化して適合させることができる。例えば本発明は一方では、手術に重要な追加情報、例えば（コンピュータ断層撮影もしくは磁気共鳴断層撮影などを基に）手術前に用意した画像または内視鏡のようなさらなる供給源からの画像を手術野に追加してまたは手術野の代わりに手術者の利用に供することができる。しかし他方で本発明は、例えばさらなる手術者のため、または録画のために、もう１つの追加情報の選択肢をモニタ上に電子式視野画像と一緒に表示することもできる。そのうえ、複数の並行録画のために、挿入される様々な追加情報セットを利用可能にすることができる。そのために、追加情報（表示データ要素）セットは、挿入画像内のデータ表示部に表示すべき表示データ要素を選択し、次いで、１つまたは複数の電子式画像チャネルに割り当てることによって、工場側でまたは操作者が編成することができる。

ユーザ、例えば手術者によって選択された手術野の光景の電子式視野画像が、追加的に挿入した情報なしで捕捉されるように、画像捕捉装置、例えばビデオカメラを形成または配置することにより、このシステムによって提供される（それぞれの挿入を伴う）さらなる表示のためのデータベースが作成される。

したがって本発明による光学式観測機器により、追加情報の挿入に関する柔軟性が従来技術に比べて高められる。

この光学式観測機器は、第１の光学式チャネルおよび第１のものに平行な第２の光学式チャネルを有するように改変することができ、その際、データ挿入用画像プロジェクタは第１の光学式チャネル内に、画像捕捉装置は第２の光学式チャネル内に配置される。したがってビーム経路は、一方では画像捕捉装置が、他方ではデータ挿入用画像プロジェクタが相前後してビーム経路内に配置されることによって不必要に妨げられることがない。そのうえ、この配置ではカメラが光学式挿入画像を一緒に記録することができず、すなわち光学式視野画像が、データ挿入用画像プロジェクタによって挿入される光学式挿入画像なしで捕捉される。

しかしながら画像捕捉装置を、手術野に向かってデータ挿入用画像プロジェクタの前に置く、つまりデータ挿入用画像プロジェクタと対物レンズの間に置くことも可能である。この配置でもカメラが光学式挿入画像を一緒に記録することはできず、すなわち光学式視野画像が、データ挿入用画像プロジェクタによって挿入される光学式挿入画像なしで捕捉される。光学式観測機器が、第１の光学式チャネルおよび第１のものに平行な第２の光学式チャネルを含む場合、第１の画像捕捉装置、第２の画像捕捉装置、第１のデータ挿入用画像プロジェクタ、および第２の光学式重畳装置が存在することができる。その際、画像捕捉装置は、手術野に向かってデータ挿入用画像プロジェクタの前に置かれる。これにより立体鏡による画像をデカップリングすることもでき、かつ例えば空間的な表現を挿入するために立体鏡による挿入画像を生成することができる。

この光学式観測機器の一変形形態では、電子式視野画像および／または第１の電子式挿入画像および／または第２の電子式挿入画像が、ビデオシーケンスを構成する一連の画像のうちの１枚の画像である。ここで、画像シーケンスはフル画像および／またはハーフ画像を含むことができ、その際、実施形態では重畳装置を、フル画像上への重畳を実施するために形成することができる。

さらに光学式観測機器は構成モジュールと結合されたデータ管理モジュールを含むことができ、このデータ管理モジュールは、表示データ要素を記憶および／または作製するために形成されている。これによりデータの作製および管理の機能を、画像処理機能および機器の一般的な操作機能に対して機能的に分離することが可能になり、すなわち一方ではデータ処理能力が、他方ではシステムの拡張性も改善される。このような一実施形態では構成モジュールは、データ管理モジュールへの照会によって、利用可能な表示データ要素の選択肢を確定するように形成することができる。

さらに構成モジュールを、少なくとも１つのメニュー制御要素を生成するように形成することができ、かつ処理ユニットを、メニュー制御要素を含む挿入画像を生成するように形成することができる。これにより一方では表示データ要素の電子式画像チャネルへの割当てを構成するための、およびそれをユーザ側で規定するための、および可能ならば続いてその割当てを構成メモリ内に記憶するための、メニューで誘導される操作を提供することができ、ならびに光学式観測機器の観測動作に関するメニュー制御も提供することができる。

そのうえ、本発明に基づき、光学式観測機器、特に手術用顕微鏡内に電子式挿入画像を挿入する方法が利用可能になり、その際、光学式観測機器は、手術野からの光学式視野画像を観察するための少なくとも１つの光学式画像チャネルと、第１の電子式画像チャネルと、少なくとも１つの第２の電子式画像チャネルと、電子式挿入画像から光学式挿入画像を作成するための、第１の電子式画像チャネルと結合されたデータ挿入用画像プロジェクタと、光学式視野画像を電子的に捕捉するための画像捕捉装置とを備えて構築されており、その際、画像捕捉装置は、光学式視野画像を、データ挿入用画像プロジェクタによって挿入される光学式挿入画像なしで捕捉するように配置および／または形成されている。

この方法は、
− 少なくとも１つの第１の電子式挿入画像を生成するステップと、
− 第１の電子式挿入画像から光学式挿入画像を作成するステップと、
− 作成した光学式挿入画像を光学式視野画像内に挿入するステップと、
− 光学式視野画像を電子的に捕捉するステップであって、光学式視野画像（５０）が、データ挿入用画像プロジェクタによって挿入される光学式挿入画像なしで捕捉されるステップと、
− 捕捉した光学式視野画像から電子式視野画像を生成するステップと、
− 電子式視野画像と電子式挿入画像を重畳するステップと、
− 電子式挿入画像と重畳された電子式視野画像を出力するステップと
を含む。

本発明による方法では、電子式視野画像と重畳される電子式挿入画像が第２の電子式挿入画像である。そのうえ、利用可能な表示データ要素の選択肢が利用可能にされ、その際、各電子式挿入画像は、利用可能にされた表示データ要素を基礎として自由に構成することができる。構成された各電子式挿入画像は、個別に画像チャネルの１つに割り当てられる。

本発明による方法により、既に光学式観測機器に関して記載した作用および利点が達成される。特に、第１の電子式挿入画像内には表示データ要素の第１の選択肢を、第２の電子式挿入画像内には、表示データ要素の第１の選択肢とは少なくとも部分的に異なる、表示データ要素の第２の選択肢を差し込むことができる。さらに電子式視野画像および／または第１の電子式挿入画像および／または第２の電子式挿入画像はそれぞれ、ビデオシーケンスを構成する一連の画像からの１枚の画像であってもよい。

利用可能な表示データ要素の選択は、照会を生成および処理することで行うことができる。そのうえ、メニュー制御要素を生成することができ、かつメニュー制御要素を含む挿入画像を差し込むことができる。

そのうえ、本発明による方法は、下記のステップ、すなわち利用可能な電子式画像チャネルの選択肢を確定するステップ、利用可能な表示データ要素の選択肢を確定するステップ、ならびに電子式挿入画像を自由に構成するために、確定された表示データ要素および確定された画像チャネルを提供するステップを含むことができる。このようにして、実際に接続されている機器の電子式画像チャネルおよびそのために準備された表示データ要素だけが構成のために常に利用可能であり、接続可能であるが実際には接続されていない機器のそれらは利用可能でないことを保証することができる。こうして、接続可能な全ての機器の画像チャネルおよび表示データ要素が常に提示される場合より、構成面を見やすい状態にすることができる。

本発明のさらなる特徴、特性、および利点は、以下の添付の図に関連した例示的実施形態の説明から明らかである。

本発明による光学式観測機器に関する第１の例示的実施形態としての手術用顕微鏡の概略ブロック図である。 本発明による方法およびそのステップの概略図である。 視野画像、挿入画像、および対応する重畳画像を示す図である。 図２に示した方法の一変形実施形態の詳細を示す図である。 光学式観測機器に関する第２の例示的実施形態の概略ブロック図である。

図１は本発明の例示的一実施形態の概略ブロック図を示しており、このブロック図では、光学式観測機器が手術用顕微鏡として形成されている。代替案として、光学式観測機器を例えば内視鏡として形成することもできる。

この例示的実施形態の手術用顕微鏡は、光学式サブシステム１および電子式サブシステム２を含んでいる。光学式サブシステム１では観察者３が、第１の対物レンズ光学系１１、光学式重畳装置１２、および第１の接眼レンズ光学系１４を有する第１の光学式画像チャネル、ならびに第２の対物レンズ光学系１１’、ビームスプリッタ１３、および第２の接眼レンズ光学系１４’を有し第１の光学式画像チャネルに平行な第２の光学式画像チャネルによって、手術野４を観察する。重畳装置１２および／またはビームスプリッタ１３は、例えば部分透過性ミラーまたはプリズムとして実施することができる。対物レンズ光学系１１および１１’、重畳装置１２およびビームスプリッタ１３、ならびに接眼レンズ光学系１４および１４’は、手術用顕微鏡の光学式サブシステム１を構成する。

さらに光学式サブシステム１には、第２の光学式観測チャネルのビーム経路からビームスプリッタ１３によってデカップリングされた光学式視野画像を捕捉し、この視野画像を電子式視野画像に転換するためのビデオカメラ３４が存在している。カメラ３４は、電子式サブシステム２と接続された信号システムを有する。

電子式挿入画像を光学式挿入画像に転換するために、光学式サブシステム１にはデータ挿入用画像プロジェクタ３２（以下、ＤＥ画像プロジェクタと略す）が存在している。ＤＥ画像プロジェクタ３２によって作成された光学式挿入画像は、重畳装置１２を介して第１の光学式画像チャネルのビーム経路内に挿入することができる。ＤＥ画像プロジェクタ３２としては、例えば光透過型もしくは落射型のＬＣＤディスプレイまたはデジタルミラーデバイス（ＤＭＤ）を利用することができる。これに加え、対物レンズ１１と光学式サブシステム１の重畳装置の間にシャッタ１５が存在することができ、このシャッタによって、第１の光学式チャネルの光学式画像を、ＤＥ画像プロジェクタ３２によって提供された画像に有利なように遮蔽することができる。ビデオカメラ３４およびＤＥ画像プロジェクタ３２は、この例示的実施形態におけるように光学式サブシステム１に配する代わりに、電子式サブシステム２に配することもできる。

電子式サブシステム２は、この処理ユニットと接続されたビデオデータ入力インターフェイス２１および同様に処理ユニット２２と接続されたビデオデータ出力インターフェイス２３を備える処理ユニット（プロセッサ）２２を含んでいる。さらに電子式サブシステムには、処理ユニット２２と接続された画像重畳ユニット２４が含まれている。そのうえ、処理ユニット２２、入力インターフェイス２１、および出力インターフェイス２３に、構成モジュール２５が接続されており、この構成モジュールはさらにデータ管理モジュール２６と接続されている。

電子式サブシステム２は、入力インターフェイス２１のビデオデータ入力部によって、光学式サブシステム、つまりビデオカメラ３４の信号出力部に接続されており、出力インターフェイス２３のそれぞれのビデオデータ出力部によって、ＤＥ画像プロジェクタ３２、手術用操作モニタ３６、およびビデオデータ録画機器３８に接続されている。したがってこの例示的実施形態では、電子式サブシステム２はその出力インターフェイス２３を介して物理的に３つの電子式画像チャネルを利用可能であり、この電子式画像チャネルは、図１ではさらに、インターフェイス２３と画像プロジェクタ３２の間の結合（第１の画像チャネル２９）、インターフェイス２３と操作モニタ３６の間の結合（第２の画像チャネル２７）、およびインターフェイス２３とビデオデータ録画機器３８の間の結合（第３の画像チャネル２８）によって表されている。この物理的な電子式画像チャネルにはそれぞれ１つの論理的画像チャネルが対応しており、この論理的画像チャネルは、処理ユニット２２および電子式サブシステム２のさらなるコンポーネントによって管理されアドレスされる。

この実施形態では、第１の画像チャネル２９がデータ伝送チャネルを表しており、その際、投射し得る画像は画像プロジェクタ３２内で初めて生成され、出力インターフェイス２３は表示すべきデータをグラフィックでないデータ形式で引き渡すだけである。しかしながら代替案として、光学的にカップリングし得る挿入画像を、処理ユニット２２からグラフィック形式で電子的に出力し、ＤＥ画像プロジェクタ内で初めて生成することも可能である。

以下に、装置の機能方式を図２およびこれに属する方法を参照しながら説明する。図２は、方法およびそのステップの概略を示している。

手術者が、手術用顕微鏡およびその光学系の調整により特定の視野を選択して手術野を観察する場合、ビームスプリッタ１３は、ビーム経路内に生じる光学式視野画像の一部を分離し、それをビデオカメラ３４に向ける。

ステップ１００で、カメラ３４が、単一画像あるいはハーフ画像および／またはフル画像から成るフィルムのような連続画像を捕捉し、この画像を電子式視野画像としてアナログ信号またはデジタル信号の形でビデオデータ入力部２１に引き渡し、ビデオデータ入力部はデータを前処理し、電子式視野画像をさらなる処理のために処理ユニット２２へとさらに導く。

その後、処理ユニット２２はステップ１１０で、ユーザによって規定された挿入構成を選択し、挿入構成はこの例では、手術者用の追加情報を含む第１の表示データ要素セット、操作モニタ用の追加データおよびメニュー制御要素を含む第２の表示データ要素セット、ならびに録画装置用の追加情報を含む第３の表示データ要素セットを決定している。ここで、追加情報および場合によっては操作要素のセットは、相互に少なくとも部分的に異なっていてよい。その際、挿入構成は、構成ファイルまたは等価の構成メモリ内に格納することができ、ステップ１１０で読み出すことができる。これに加え、保存した構成を適用する前に、挿入するデータ表示部において挿入画像中で表現されるべき、構成中で使用される表示データ要素の利用可能性を、また構成内で使用される電子式画像チャネル２７、２８、２９の利用可能性も、検査することができる。さらに、保存されている規定された挿入構成の代わりにまたはそれと一緒に、システム稼働中にユーザが挿入構成を規定することもでき、次いでこの挿入構成も、規定された挿入構成として保存することができる。これについては以下で図４に関してより詳しく説明する。

以降の一連のステップ１２０〜１４０、２２０〜２４０、および３２０〜３４０は、相互に並行に、または適切な優先順位をつけて一連のステップごとに、または全てを順に実施することができる。

ステップ１２０で、処理ユニット２２が、第１の追加情報セットを含む第１の電子式挿入画像を生成し、その電子式挿入画像をステップ１４０で、第１の画像チャネル２９を介してＤＥ画像プロジェクタ３２に出力する。このＤＥ画像プロジェクタは光学式挿入画像、つまり光パターンを生成し、この光学式挿入画像は光学式重畳装置１２を介して第１の光学式チャネルのビーム経路内に相応に反射され、すなわち挿入された追加情報を含む光学式視野画像が出現する。

ステップ２２０で、処理ユニット２２が、第２の追加情報セットおよびメニュー操作要素を含む第２の電子式挿入画像を生成する。画像モニタ３６上に、挿入画像だけでなく光学式視野画像も出現させるために、ステップ２３０で画像重畳ユニット２４が電子式視野画像を第２の電子式挿入画像と重畳させる。電子式挿入画像と重畳された電子式視野画像は、次いでステップ２４０で処理ユニットから出力インターフェイス２３へとさらに導かれ、出力インターフェイスにより第２の電子式画像チャネル２７を介して操作モニタ３６に出力される。

そしてステップ３２０で、処理ユニット２２が、ビデオ録画のために望ましい第３の追加情報セットを含む第３の電子式挿入画像を生成する。ステップ３３０で、画像重畳装置２４が、捕捉した電子式視野画像を第３の挿入画像と重畳させる。処理ユニット２２は次いで、重畳によってもたらされた電子式画像をステップ３４０で出力インターフェイス２３へとさらに導き、出力インターフェイスから第３の電子式画像チャネル２８を介して画像がビデオ録画機構３８に出力される。

捕捉、生成、および重畳された全ての画像は、単一画像であっても、ビデオデータストリームのハーフ画像またはフル画像（例えばＭＰＥＧ２データストリームのＩフレームおよびＰフレーム）であってもよい。提供される電子式画像は、デジタル画像形式で実現することができ、さらに圧縮することもでき、またはその代わりにもしくは同時にアナログ画像信号として供給することもできる。特に第２の挿入画像を介して実現されるメニュー制御に関し、挿入画像は処理ユニット２２の制御状態に応じていつでも交換することができる。

処理ユニットは、これら実施形態では、処理ユニット２２のビデオグラバユニットが、視野画像を含むビデオ信号を入力インターフェイス２１から受け取り、その後ハーフ画像を抽出することによって、実現することができる。これでハーフ画像は、処理ユニット２２のフル画像メモリ内でフル画像へと組み立てることができ、その際、特有の重畳画像を提供すべき各画像チャネル２７、２８、２９にそれぞれ固有のフル画像メモリを形成することができる。重畳ユニットがオーバーレイメモリを含むことができ、このオーバーレイメモリ内に、処理ユニットが、生成した電子式挿入画像を入力し（ここでも画像チャネルごとに別のメモリが可能）、すなわち重畳ユニットが、本来の重畳を実施するために、各オーバーレイメモリの内容をそれぞれ対応するフル画像メモリの内容と組み合わせることができる。続いてアナログのビデオ信号を得るためにデジタル／アナログ変換を実施することができ、またはフル画像をＭＰＥＧ２符号化してデジタルで転送することができる。

図３は、視野画像、挿入画像、および対応する重畳画像の例を示している。

画像５０は、手術者が顕微鏡によって全く挿入なしで見るであろう、光学式の手術者の視野画像を表している。したがってこの画像は、視覚上はビデオカメラ３４を介して獲得された電子式視野画像と一致している。手術者のために、第１の追加情報セット（データ表示ウィンドウ５３）を含む第１の電子式挿入画像５２が生成される。この第１の電子式挿入画像はＤＥ画像プロジェクタ３２に転送され、すなわち顕微鏡によって手術野を観察する場合、全体として画像５４の表現がもたらされる。

これに対応して操作モニタ３６のために、第２の追加情報セットおよびメニュー制御要素６３を含む第２の電子式挿入画像６２が生成される。この挿入画像が電子式視野画像５０と電子的に結合され、すなわち重畳された電子式画像６４がもたらされる。

同様にビデオ録画のために、第３の追加情報セットとしての録画に重要なデータ表示７３を含む第３の電子式挿入画像７２が生成される。ここでも挿入画像は電子式視野画像５０と電子的に結合され、すなわち重畳された電子式画像６４がもたらされる。

図４は、図２におけるステップ１１０の追加情報（表示データ要素）の構成または割当てを詳細に示している。最初に構成モジュール２５が、ステップ１１２で、利用可能な電子式画像チャネルを確定する。このために構成モジュール２５は出力インターフェイス２３にアクセスすることができる。その結果、電子式挿入画像と重畳された電子式視野画像または挿入画像そのものだけを、他のシステムコンポーネントまたは外部に提供するために利用できる、利用可能な電子式画像チャネルの選択肢２７、２８、２９が得られる。その後、構成モジュール２５はステップ１１４で、利用可能な表示データ要素を確定する。このために構成モジュールは、表示データ要素を記憶および／または管理および／または提供するデータ管理モジュール２６にアクセスすることができる。このような表示データ要素は、例えば予め行われた測定方法、内視鏡検査方法、またはイメージング方法に由来するものとすることができる。その結果、構成モジュール２５は、挿入画像内での追加情報として挿入するために原理的に利用可能である、利用可能な表示データ要素の選択肢を得る。

これで、表示データ要素の電子式画像チャネル２７、２８、２９への現在の割当てを、構成モジュールまたはデータ管理モジュール内に記憶され得る構成ファイルから呼び出すことができる。利用可能なチャネルおよびデータ要素の確定に基づき、構成モジュール２５は、システム構成が変わったかどうか、および記憶されている構成が適用可能であるかどうか検査することができる。ユーザによる手動の割当てが予定されていない場合、ステップ１１８で構成モジュールにより構成ファイルに従って割当てが実行され、これに対応してステップ１２０以降、２２０以降、および３２０以降で挿入画像が生成され、重畳される。

しかしながら割当てが操作者によって行われる場合、構成モジュールはステップ１１６で選択メニューを生成し、この選択メニューが挿入画像として電子式画像チャネルの１つ２７を介して例えば操作モニタに引き渡される。これに対応して、操作モニタの傍にいるユーザによって決断された割当てが、ステップ１１７で構成モジュール２５によって捕捉され、これに対応してステップ１１８で割当てが実行される。ユーザによって決断された割当てはその後、構成ファイル内に格納することができる。

本システムおよびその本方法を実施する機能ユニットは、少なくとも部分的にはハードウェアで、ソフトウェアで、またはそれらの組合せで、例えばこれに特化された画像処理プロセッサおよび画像処理カードおよび内蔵ソフトウェアを使用して実現することができる。

本発明による光学式観測機器の第２の例示的実施形態が図５に示されている。この図は、図１とほぼ同じ手術用顕微鏡を示している。図５では、図１の要素と一致する要素は図１と同じ符号が付けられており、もう一度は説明しない。

図５の手術用顕微鏡が図１の手術用顕微鏡と唯一相違するのは、図５では各光学式画像チャネル内にＤＥ画像プロジェクタ３２、３２’および重畳装置１２、１２’ならびにビデオカメラ３４、３４’およびビームスプリッタ１３、１３’が存在することである。その際、ビームスプリッタ１３、１３’は、重畳機構１２、１２’と対物レンズ光学系１１、１１’の間に配置されており、すなわちビデオカメラ３４、３４’は光学式視野画像を、挿入された追加情報なしで記録する。これに加え図１の手術用顕微鏡と比べ、出力インターフェイス２３を第２のＤＥ画像プロジェクタ３２’と接続する第４の電子式画像チャネル４１が存在している。これにより立体グラフィック挿入画像の形での追加情報の挿入が可能となる。

この例示的実施形態で表されている３つの電子式画像チャネルに追加してさらなる電子式画像チャネルが存在してもよい。しかし他方で本発明は、２つだけの電子式画像チャネルを備えて実現することもできる。

電子式画像チャネルを介して電子式サブシステム２に接続可能な周辺機器としては、ＤＥ画像プロジェクタ、モニタ、および録画機器が考慮される。様々な観察者に対し、異なる追加情報を含む挿入画像を利用可能にするために、それぞれ固有の電子式画像チャネルを介して電子式サブシステム２と結合可能な複数の光学式画像チャネルが存在してもよい。

上述のシステムは、患者データ、手術前の手術野の記録、日付などの追加情報の複数の異なる編成を同時に、自由かつ柔軟に定義すること、およびこれらの編成を様々な表現チャネルに割り当てること、およびそれぞれ挿入された追加情報を含む手術視野を異なる表示チャネルを介して表示し、録画し、さらに処理することを可能にする。これによりシステムは柔軟に構成可能になり、システムの使用範囲が、手間のかかる技術的適合なしで著しく拡張される。

１ 光学式サブシステム
２ 電子式サブシステム
３ 観察者
４ 手術野
１１、１１’ 入力光学系
１２、１２’ 光学式重畳装置
１３、１３’ ビームスプリッタ
１４、１４’ 接眼光学系
１５ シャッタ
２１ ビデオデータ入力インターフェイス
２２ 画像処理ユニット
２３ ビデオデータ出力インターフェイス
２４ 画像重畳ユニット
２５ 構成モジュール
２６ データ管理モジュール
２７ 電子式画像チャネル
２８ 電子式画像チャネル
２９ 電子式画像チャネル
３２、３２’ ＤＥ画像プロジェクタ
３４、３４’ ビデオカメラ
３６ ビデオ録画ユニット
３８ 操作モニタ
４１ 電子式画像チャネル
５０ 電子式視野画像
５２ 電子式挿入画像（顕微鏡検査）
５３ データ表示ウィンドウ
５４ 重畳画像（顕微鏡検査）
６２ 電子式挿入画像（操作モニタ）
６３ メニュー制御要素
６４ 重畳画像（操作モニタ）
７２ 電子式挿入画像（ビデオ録画）
７３ ビデオのデータ表示
７４ 重畳画像（ビデオ録画）
１００ 視野画像の捕捉
１１０ 挿入構成の選択
１１２ 利用可能な画像チャネルの確定
１１４ 利用可能な表示データ要素の確定
１１６ 選択メニューの提示
１１７ ユーザ選択の捕捉
１１８ 表示データ要素の割当て
１２０ 顕微鏡検査の挿入画像の生成
１４０ ＤＥ画像プロジェクタへの重畳画像の提供
２２０ 操作モニタの挿入画像の生成
２３０ 挿入画像と視野画像の重畳
２４０ 操作モニタへの重畳画像の提供
３２０ ビデオ録画の挿入画像の生成
３３０ 挿入画像と視野画像の重畳
３４０ ビデオ録画ユニットへの重畳画像の提供

Claims (16)

1. 手術野（４）からの光学式視野画像を観察するための少なくとも１つの光学式画像チャネル（１１、１２、１４）と、
   第１の電子式挿入画像（５２、６２）を生成し、かつ前記第１の電子式挿入画像を第１の電子式画像チャネル（２９）を介して提供するように形成された処理ユニット（２２）と、
   前記第１の電子式挿入画像から光学式挿入画像を作成し、かつ作成された前記光学式挿入画像を前記光学式画像チャネル（１１、１２、１４）によって生成された前記光学式視野画像内に挿入するための、前記第１の電子式画像チャネル（２９）を介して前記処理ユニット（２２）と結合された光学式データ挿入用画像プロジェクタ（３２）と、
   前記光学式画像チャネル（１１、１２、１４）からの前記光学式視野画像を電子的に捕捉し、かつ電子式視野画像を生成するための画像捕捉装置（３４）であって、前記光学式視野画像（５０）を、前記データ挿入用画像プロジェクタ（３２）によって挿入される前記光学式挿入画像なしで捕捉するように配置および／または形成されている、画像捕捉装置（３４）と、
   電子式画像重畳モジュール（２４）と結合された少なくとも１つの第２の電子式画像チャネル（２７、２８）であって、前記電子式画像重畳モジュールは、前記電子式視野画像と電子式挿入画像を重畳し、かつ前記重畳された電子式挿入画像を含む前記電子式視野画像（６４）を前記第２の電子式画像チャネル（２７、２８）を介して提供するように形成されている、第２の電子式画像チャネルと、
   を備える光学式観測機器（１、２）において、
   前記処理ユニット（２２）が、少なくとも１つの第２の電子式挿入画像を生成するように構築されており、
   前記処理ユニット（２２）が構成モジュール（２５）を有しており、または構成モジュール（２５）と結合しており、前記構成モジュールが、利用可能な表示データ要素（５３、６３、７３）の選択肢を提供するように形成されており、かつ前記第１の電子式挿入画像および前記第２の電子式挿入画像を、前記表示データ要素（５３、６３、７３）からそれぞれ自由に編成すること、および前記電子式挿入画像を様々な電子式画像チャネル（２７、２８、２９）に割り当てることを可能にすることを特徴とする光学式観測機器。
2. 第１の光学式チャネル（１１、１２、１４）および前記第１の光学式チャネルに平行な第２の光学式チャネル（１１’、１３、１４’）を有しており、前記データ挿入用画像プロジェクタ（３２）が前記第１の光学式チャネル（１１、１２、１４）内に、前記画像捕捉装置（３４）が前記第２の光学式チャネル（１１’、１３、１４’）内に配置されていることを特徴とする請求項１に記載の光学式観測機器。
3. 前記画像捕捉装置（３４）が、前記手術野（４）に向かって前記データ挿入用画像プロジェクタ（３２）の前に置かれていることを特徴とする請求項１に記載の光学式観測機器。
4. 第１の光学式チャネル（１１、１２、１４）、前記第１の光学式チャネルに平行な第２の光学式チャネル（１１’、１３、１４’）、第１の画像捕捉装置（３４）、第２の画像捕捉装置（３４’）、第１のデータ挿入用画像プロジェクタ（３２）、および第２のデータ挿入用画像プロジェクタ（３２’）を有しており、前記画像捕捉装置（３４、３４’）が、前記手術野（４）に向かって前記データ挿入用画像プロジェクタ（３２、３２’）の前に置かれていることを特徴とする請求項３に記載の光学式観測機器。
5. 前記第１の電子式挿入画像が表示データ要素（５３）の第１の選択肢を有し、前記第２の挿入画像が、表示データ要素（５３）の前記第１の選択肢とは少なくとも部分的に異なる、表示データ要素（６３）の第２の選択肢を有することを特徴とする請求項１ないし４のいずれか一項に記載の光学式観測機器。
6. 前記電子式視野画像および／または前記第１の電子式挿入画像および／または前記第２の電子式挿入画像が、ビデオシーケンスを構成する一連の画像のうちの１枚の画像であることを特徴とする請求項１ないし５のいずれか一項に記載の光学式観測機器。
7. 前記構成モジュール（２５）と結合されており、表示データ要素（５３、６３、７３）を記憶および／または作製するために形成された、データ管理モジュール（２６）が含まれていることを特徴とする請求項１ないし６のいずれか一項に記載の光学式観測機器。
8. 前記構成モジュール（２５）が、前記データ管理モジュールへの照会によって、前記利用可能な表示データ要素（５３、６３、７３）の選択肢を確定するように形成されていることを特徴とする請求項７に記載の光学式観測機器。
9. 前記構成モジュール（２５）が、少なくとも１つのメニュー制御要素（６３）を生成するように形成されており、前記処理ユニット（２２）が、前記メニュー制御要素を含む前記挿入画像を生成するように形成されていることを特徴とする請求項１ないし８のいずれか一項に記載の光学式観測機器。
10. 手術用顕微鏡としての形態を特徴とする請求項１ないし９のいずれか一項に記載の光学式観測機器。
11. 手術野（４）からの光学式視野画像を観察するための少なくとも１つの光学式画像チャネル（１１、１２、１４）と、第１の電子式画像チャネル（２９）と、少なくとも１つの第２の電子式画像チャネル（２７、２８）と、電子式挿入画像から光学式挿入画像を作成するための、前記第１の電子式画像チャネル（２９）と結合された光学式データ挿入用画像プロジェクタ（３２）と、前記光学式視野画像を電子的に捕捉するための画像捕捉装置（３４）とを備えており、前記画像捕捉装置（３４）が、前記光学式視野画像（５０）を、前記データ挿入用画像プロジェクタ（３２）によって挿入される前記光学式挿入画像なしで捕捉するように配置および／または形成されている、光学式観測機器（１、２）、特に手術用顕微鏡内への電子式挿入画像の挿入方法であって、
    少なくとも１つの第１の電子式挿入画像（５２、６２）を生成するステップと、
    前記第１の電子式挿入画像から光学式挿入画像を作成するステップと、
    前記作成した光学式挿入画像を前記光学式視野画像内に挿入するステップと、
    前記光学式視野画像を電子的に捕捉するステップであって、前記光学式視野画像（５０）が、前記データ挿入用画像プロジェクタ（３２）によって挿入される前記光学式挿入画像なしで捕捉されるステップと、
    前記捕捉した光学式視野画像から電子式視野画像を生成するステップと、
    前記電子式視野画像と電子式挿入画像を重畳するステップと、
    前記電子式挿入画像と重畳された前記電子式視野画像を出力するステップと
    を含む方法において、
    前記電子式視野画像と重畳される前記電子式挿入画像が第２の電子式挿入画像であり、
    利用可能な表示データ要素（５３、６３、７３）の選択肢が利用可能にされ、
    各電子式挿入画像が、前記利用可能にされた表示データ要素（５３、６３、７３）を基礎として自由に構成可能であり、
    構成された各電子式挿入画像が、個別に前記画像チャネル（２７、２８、２９）の１つに割り当てられることを特徴とする方法。
12. 利用可能な電子式画像チャネルの選択肢を確定するステップ（１１２）と、
    利用可能な表示データ要素の選択肢を確定するステップ（１１４）と、
    前記電子式挿入画像を自由に構成するために、前記確定された表示データ要素（１１４）および前記確定された画像チャネル（１１２）を提供するステップと、
    がさらに含まれていることを特徴とする請求項１１に記載の方法。
13. 前記第１の電子式挿入画像内に、表示データ要素（５３）の第１の選択肢が差し込まれること、および前記第２の電子式挿入画像内に、表示データ要素（５３）の前記第１の選択肢とは少なくとも部分的に異なる、表示データ要素（６３）の第２の選択肢が差し込まれることを特徴とする請求項１０ないし１２のいずれか一項に記載の方法。
14. 前記電子式視野画像および／または前記第１の電子式挿入画像および／または前記第２の電子式挿入画像がそれぞれ、ビデオシーケンスを構成する一連の画像のうちの１枚の画像であることを特徴とする請求項１０ないし１３のいずれか一項に記載の方法。
15. 利用可能な表示データ要素（５３、６３、７３）の選択が、照会を生成および処理することで行われることを特徴とする請求項１０ないし１４のいずれか一項に記載の方法。
16. 少なくとも１つのメニュー制御要素が生成され（１１６）、前記メニュー制御要素を含む前記挿入画像が差し込まれることを特徴とする請求項１０ないし１５のいずれか一項に記載の方法。

Images