JP2018181333A - 医学−光学式表示システムを作動させるための方法 - Google Patents

Abstract

【課題】医学−光学式表示システムを作動させるための方法を提供する。
【解決手段】医学−光学式表示システムが少なくとも１つの画像データセット（ＢＤ）を物体画像（ＯＢ）にデータオーバーレイするためのデータオーバーレイユニットを備えている、医学−光学式観察装置によって得られる観察される物体（Ｏ）の物体画像（ＯＢ）を表示するための医学−光学式表示システムを作動させるための方法であって、物体画像（ＯＢ）内で小さな活動度を有する少なくとも１つの範囲（Ｂ）を決定するステップと、小さな活動度を有する少なくとも１つの範囲（Ｂ）内で少なくとも１つの画像データセット（ＢＤ）をオーバーレイするステップを有する。
【選択図】図４

Description

本発明は、データオーバーレイ装置を備えた医学−光学式表示システムを作動させるための方法に関する。本発明はさらに、このような方法を実施するためのコンピュータプログラム製品と、データオーバーレイ装置を備えた医学−光学式表示システムに関する。

医学−光学式観察装置が特許文献１から知られている。この医学−光学式観察装置では、データを映し込むための装置によって、追加情報を有する画像データセットが、医学−光学式観察装置によって提供された像内に映し込まれる。

一般的に、画像データセットが映し込まれる像内の位置が、データオーバーレイのための装置によって設定される。その際、像の内容に関連づけられない。

不所望な場合には、使用者（例えば外科医またはＯＰ看護士）が実際のシーンを楽に「妨害されずに見られる」位置で、重ねが正確に行われる（位置、ディスプレイ、機器、人．．．）。

増大すべき若干の情報の場合、場所の正確な重ね（例えば腫瘍輪郭データ）が所望されるが、多くの情報の場合位置決めは一定の位置に結びつけられない（例えば機器の状態報告）。すなわち、理想的には、画像データセットの情報が、妨害しない場所でオーバーレイされる。この範囲には実際の動作／活動度はないからである。

画像データセットの重ねが外科器具（例えばツールの尖端）と相対的に行われる方策が存在する。この方策はしかし、ツール認識をはっきりと行わなければならない（極端な場合、新しいすべてのツールセットのためのアルゴリズムを新しくパラメント化すべきである）という欠点がある。

さらに、データオーバーレイの場合、画像内容を考慮せずに、ピクセル座標内での重ねのための位置の一定のコード化を行い、空間の幾何を考慮し、それによってデータオーバーレイを常に物体の前で行い、そしてデータオーバーレイを例えば外科器具に結びつけることが知られている。

独国特許出願公開第１０２０１４２１０１５０Ａ１号明細書

上記の技術水準を参照して、本発明の課題は、画像データセットのデータオーバーレイの際に、関連する画像内容の重ねを行うことにならない、医学−光学式観察装置、特に手術用顕微鏡を作動させるための有利な方法と医学−光学式観察装置を提供することである。

この課題は請求項１記載の方法または請求項９記載の医学−光学式観察装置によって解決される。従属請求項は本発明の有利な実施形を含んでいる。

本発明では、医学−光学式表示システムが少なくとも１つの画像データセットを物体画像にデータオーバーレイするためのデータオーバーレイユニットを備えている、医学−光学式観察装置によって得られる観察される物体の物体画像を表示するための医学−光学式表示システムを作動させるための方法が提供される。この方法は、
物体画像内で小さな活動度を有する少なくとも１つの範囲を決定するステップと、
小さな活動度を有する少なくとも１つの範囲内で少なくとも１つの画像データセットをオーバーレイするステップを有する。

それによって、本発明は、情報の損失を伴う画像内容の不所望な重なりを回避するために、新しい方策を選択する。

その際、物体画像は、右側の部分画像と左側の部分画像から構成された立体像であってもよい。画像データセットは左側の部分画像または右側の部分画像にオーバーレイされる。しかし、画像データセットを右側の部分画像と左側の部分画像の両方にオーバーレイすることもできる。特に、画像データセットは、立体感を与える画像データセットを共に生じる右側の部分画像と左側の部分画像を含むことができる。画像データセットによってオーバーレイされる画像情報は、立体感を与える画像情報を含んでいてもよい。しかし、物体画像は関連する物体範囲の周囲を示す周囲画像であってもよい。この周囲画像には画像データセットがオーバーレイされる。

医学−光学式観察装置は基本的には、例えば手術用顕微鏡、内視鏡、内部顕微鏡等のような、物体画像を発生するすべての医学的な装置である。

医学−光学式表示システムは、医学−光学式観察装置によって撮影された物体画像を表示するのに適したすべてのシステムである。例は、医学−光学式観察装置から物体画像を受信するモニタや頭取付けディスプレイあるいは手術用顕微鏡、内視鏡または内部顕微鏡の、少なくとも１個の接眼レンズを含む部分である。

少なくとも１つの画像データセットは例えば機器の状態情報または患者データを含み、電子形式で存在する。画像データセットは例えばディスプレイまたは他の適当な変換ユニットによって光学データに変換される。この光学データは、物体画像の光線経路に重ねるために、医学−光学式表示システムの光線経路内にオーバーレイされ、例えば映し込まれる。しかし、デジタル形式で、デジタル物体画像にデジタルで重ねることもできる。小さな活動度を有する少なくとも１つの範囲の決定がアルゴリズムによって達成されるかあるいは例えば神経網、特に多層の神経網に基づいて、学習可能なシステムが使用される。

実施形によれば、小さな活動度を有する範囲を決定するために、次のステップが実施される。
個々の物体画像の時間的なシーケンスを示すソース画像データセットを検出するステップと、
ソース画像データセットの画像点の時間的な可変性を決定するステップと、この場合画像点はソース画像データセットのピクセルまたはピクセルからなるピクセルグループであってもよい、
時間的な可変性を設定された可変性限界値と比較するステップと、
小さな時間的可変性を有するまとまりのある少なくとも１つの領域を発生するために、決定された時間的可変性が可変性限界値を下回る画像点を集合するステップと、
小さな活動度を有する少なくとも１つの範囲として、小さな時間的可変性を有するまとまりのある少なくとも１つの領域を定めるステップ。

すなわち、例えば物体を撮影したビデオ流れからのビデオシーケンスの形式の、個々の物体画像の時間的なシーケンスが検出される。その際、電子形式のソース画像データセットが存在する。時間的に連続する物体画像内の画像点の時間的な可変性と、設定された可変性限界値との比較に基づいて、画像データセットのオーバーレイに適した、画像点の小さな活動度、すなわち小さな可変性を有する少なくとも１つの範囲が決定される。この範囲内で、画像データセットがオーバーレイされる。複数の画像データセットが存在するときには、この画像データセットは、小さな活動度を有する同じ範囲の異なる区間にオーバーレイされるかあるいは小さな活動度を有する少なくとも２つの範囲が存在する場合には小さな活動度を有する異なる範囲にオーバーレイされる。

小さな時間的可変性と、画像データセットのオーバーレイのための適当な大きさとを有するまとまりのある十分に大きな領域を得るために、画像処理によって、小さな時間的可変性を有するまとまりのある個々の領域が、小さな時間的可変性を有するまとまりのある大きな領域に統合され、小さな時間的可変性を有するまとまりのある大きな領域が小さな活動度を有する少なくとも１つの範囲として定められると有利である。

画像データセットのオーバーレイが行われる、小さな活動度を有する少なくとも１つの範囲内の場所の決定は、画像データセット内に示された画像内容の大きさおよび／または形を考慮して行うことができる。これにより、小さな活動度を有する少なくとも１つの範囲が、画像データセットをオーバーレイするために十分であるかどうかあるいは場合によっては小さな活動度と小さな時間的可変性を有する個々の範囲を、小さな活動度を有する少なくとも１つの大きな範囲に統合しなければならないかどうかを定めることができる。

本発明に係る方法の発展形態では、高い活動度が予想されるソース画像データセット内の所定の範囲を最初から、小さな活動度を有する少なくとも１つの範囲として排除するために、観察物体の深さマップを用いることができる。これに加えてまたはその代わりに、パターン認識に基づいて、機器ディスプレイまたは視野で結像されるソース画像データセット内の範囲が認識され、最初から小さな活動度を有する少なくとも１つの範囲として排除される。

医学−光学式観察装置によって得られた物体画像を表示するための本発明に係る医学−光学式表示システムは、
少なくとも１つの画像データセットを物体画像にオーバーレイするように形成されたデータオーバーレイユニットと、
物体画像内で小さな活動度を有する少なくとも１つの範囲を決定するように形成された範囲決定ユニットとを備えている。

データオーバーレイユニットは、小さな活動度を有する物体画像（ＯＢ）の少なくとも１つの範囲内に少なくとも１つの画像データセットをオーバーレイするように形成されている。

本発明に係る医学−光学式観察装置は、本発明に係る方法の実施に適合している。

医学−光学式表示システムはさらに、物体を観察するためおよび観察される物体の画像を物体画像として撮影するための医学−光学式観察装置を含んでいる。

医学−光学式表示システムの範囲決定ユニットは特に、
個々の物体画像の時間的なシーケンスを示すソース画像データセットを読み込むための読み込みユニットと、
ソース画像データセットの画像点の時間的な可変性を決定するための評価ユニットと、この場合画像点はソース画像データセットのピクセルまたはピクセルからなるピクセルグループであってもよく、
時間的な可変性を設定された可変性限界値と比較するための比較ユニットと、
小さな時間的可変性を有する少なくとも１つのまとまりのある領域を発生するために、決定された時間的可変性が可変性限界値を下回る画像点を集合させるためのクラスタユニットと、
小さな活動度を有する少なくとも１つの範囲として、小さな時間的可変性を有する少なくとも１つのまとまりのある領域を定めるための決定ユニットとを含んでいる。

小さな時間的可変性と適当な大きさを有するまとまりのある領域を、画像データセットのオーバーレイのために得るために、画像処理ユニットが設けられ、この画像処理ユニットは形態学的画像処理によって、小さな時間的可変性を有するまとまりのある個々の領域を、小さな時間的可変性を有するまとまりのある大きな領域に統合する。決定ユニットは、小さな時間的可変性を有するまとまりのある大きな領域を、小さな活動度を有する少なくとも１つの範囲として定めるように形成されている。

本発明に係る医学−光学式表示システムでは、画像データセットのデータオーバーレイのための装置が、小さな活動度を有する少なくとも１つ範囲内で、画像データセットのオーバーレイを行う場所を決定するために、画像データセット内に示された画像内容の大きさおよび／または形を考慮するように形成されている。これによって、例えば小さな活動度を有する少なくとも１つの範囲が、画像データセットの画像内容をオーバーレイするために十分であるかどうかあるいは場合によっては小さな活動度を有する個々の範囲を、小さな活動度を有する大きな範囲に統合しなければならないかどうかを定めることができる。

本発明に係る医学−光学式表示システムでは、範囲決定ユニットが予備選択装置を任意選択的に備えることができ、この予備選択装置は、観察物体の深さマップに基づいて、高い活動度が予想されるソース画像データセット内の所定の範囲を最初から、小さな活動度を有する少なくとも１つの範囲として排除し、および／またはパターン認識に基づいて、機器ディスプレイまたは視野で結像されるソース画像データセット内の範囲を最初から、小さな活動度を有する少なくとも１つの範囲として排除する。

さらに、プログラムコードがコンピュータ内に装入され、および／またはコンピュータ内で実施されるときに、本発明に係る方法を実施するためのコンピュータ化可能な命令を有するプログラムコードを含むコンピュータプログラム製品が、本発明に属する。

本発明の他の特徴、特性および効果は、添付の図を参照した、実施の形態の次の説明から明らかになる。

手術用顕微鏡の代表的な構造を概略的に示す。 図１に示した対物レンズの代わりに使用可能である手術用顕微鏡のための対物レンズを示す。 手術用顕微鏡の代替的な構成を示す。 医学−光学式表示システムが使用される筋書きを示す。 本発明に係る方法を実施するための装置の実施の形態を示す。 本発明に係る方法の実施の形態のフローチャートを示す。

手術用顕微鏡の構造を概略的に示す図１を参照する。本実施の形態において、医学−光学式表示システムは手術用顕微鏡２の一部である。

手術用顕微鏡２とは、最小侵入性外科および顕微鏡手術で使用される顕微鏡であると理解される。この顕微鏡は比較的に低い倍率（約６〜４０倍）を有し、一般的に三次元画像を提供する。拡大は拡大鏡眼鏡を超えている。手術用顕微鏡は医学的分野においてほとんどすべての手術で使用される。

図１に示した手術用顕微鏡２は、物体領域３の方に向けられた対物レンズ５を備えている。この対物レンズは特に色消し対物レンズまたはアポクロマート対物レンズとして形成可能である。本実施の形態では、対物レンズ５は色消し対物レンズを形成する、互いに接合された２枚の部分レンズからなっている。物体領域３は対物レンズ５の焦点面内に配置されるので、対物レンズ５によって無限に結像される。換言すると、物体領域３から出る発散する光線束７Ａ、７Ｂは対物レンズ５を通過する際に平行な光線束９に変換される。

対物レンズ５の観察者側に、倍率変更器１１が配置されている。この倍率変更器は図示した実施の形態のように、倍率を無段階に変更するためのズームシステムとしてあるいは倍率を段階的に変更するためのガリレオ変更器として形成可能である。例えば３枚のレンズを有する組合せレンズによって形成されたズームシステムでは、倍率を変更するために、物体側の両レンズをスライドさせることができる。ズームシステムは実際には、３枚よりも多いレンズ、例えば４枚以上のレンズを備えることができる。この場合、外側のレンズは固定配置可能である。それに対してガリレオ変更器では、固定された複数のレンズ組合せが設けられている。このレンズ組合せはいろいろな倍率を有し、変更時に光線経路内に入れることができる。ズームシステムとガリレオ変更器は双方共、物体側の発散性光線束を、異なる束直径を有する観察者側の平行な光線束に変換する。倍率変更器１１は本実施の形態では、手術用顕微鏡２の双眼の光線経路の一部である。すなわち、倍率変更器は手術用顕微鏡２の立体視的な各部分光線経路９Ａ、９Ｂのための固有のレンズ組合せを備えている。倍率変更器１１を用いた倍率の調節は本実施の形態では、モータ駆動のアクチュエータを介して行われる。このアクチュエータは倍率変更器１１と共に、倍率を調節するための倍率変更ユニットの一部である。

本例では倍率変更器１１の観察者側に、インターフェース構造体１３Ａ、１３Ｂが接続している。このインターフェース構造体を介して外部の機器を手術用顕微鏡２に接続することができる。インターフェース構造体は本実施の形態ではビームスプリッタプリズム１５Ａ、１５Ｂを含んでいる。しかし基本的には、他の種類のビームスプリッタ、例えば部分透過性の鏡を使用することもできる。インターフェース構造体１３Ａ、１３Ｂは本実施の形態では、手術用顕微鏡２の光線経路から光線束を出射する働きをする（ビームスプリッタプリズム１５Ｂ）かあるいは手術用顕微鏡２の光線経路に光線束を入射する働きをする（ビームスプリッタプリズム１５Ａ）。

部分光線経路９Ａ内のビームスプリッタプリズム１５Ａは本実施の形態では、ビームスプリッタプリズム１５Ａを経て、ディスプレイ３７、例えばデジタルモニタ装置（ＤＭＤ）またはＬＣＤディスプレイと、付属の光学系３９とによって、部分光線経路９Ａ内を映して、手術者のための情報またはデータを調べるために役立つ。他の部分光線経路９Ｂでは、カメラ２１を固定したカメラアダプタ１９がインターフェース構造体１３Ｂに配置されている。このカメラは電子式画像センサ２３、例えばＣＣＤセンサまたはＣＭＯＳセンサを備えている。カメラ２１によって、組織範囲３の電子画像、特にデジタル画像を撮影することができる。画像センサとして特にハイパースペクトルセンサを使用することができる。このハイパースペクトルセンサでは、３つのスペクトルチャンネル（例えば赤、緑および青）だけでなく、多数のスペクトルチャンネルが存在する。深部情報を有する画像を提供できるようにするために、各部分光線経路９Ａ、９Ｂ内にそれぞれ、各カメラに付設された構成要素を備えたカメラを設けることができる（図示せず）。さらに、深さ情報を有する画像データセットＢＤを提供できるようにするために、各部分光線経路９Ａ、９Ｂ内にはそれぞれ、各ディスプレイに付設された構成要素を備えたディスプレイを設けることができる（図示せず）。

本例では、インターフェース構造体１３Ａ、１３Ｂの観察者側に双眼鏡胴２７が接続している。この双眼鏡胴は２個の鏡胴レンズ２９Ａ、２９Ｂを備えている。この鏡胴レンズはそれぞれ平行な光線束９Ａ、９Ｂをそれぞれの中間画像面３１Ａ、３１Ｂに集束させる、すなわち観察物体３をそれぞれの中間画像面３１Ａ、３１Ｂに結像する。中間画像面３１Ａ、３１Ｂ内にある中間画像が最後に、接眼レンズ３５Ａ、３５Ｂによって再び無限に結像されるので、観察者は中間画像をリラックスした眼で観察することができる。さらに、部分光線束９Ａ、９Ｂの間隔を観察者の眼の間隔に合わせるために、双眼鏡胴内で、鏡系によってあるいはプリズム３３Ａ、３３Ｂによって、この部分光線束の間隔が増大させられる。鏡系あるいはプリズム３３Ａ、３３Ｂによってさらに、画像の配向が行われる。

双眼鏡胴２７とインターフェース構造体１３Ａ、１３Ｂはこの手術用顕微鏡において医学−光学式表示システムを形成する。この場合、データオーバーレイユニットはビームスプリッタプリズム１５Ａとディスプレイ３７とレンズ３９によって形成されている。

手術用顕微鏡２はさらに、照明装置を装備している。この照明装置によって、物体領域３を広帯域の照明光で照らすことができる。そのために、本例において、照明装置は白光源４１、例えばハロゲン白熱電球または蛍光灯を備えている。物体領域３を照らすために、白光源４１から出た光は方向変更ミラー４３または方向変更プリズムを経て物体領域３の方へ案内される。照明装置内にはさらに、照明光学系４５が設けられている。この照明光学系は観察される物体領域３全体を均一に照らす働きをする。

図１に示した照明光線経路は非常に簡略化して示され、必ずしも照明光線経路の実際の経過を表してはいないことに留意すべきである。基本的には、照明光線経路はいわゆる斜めの照明として形成可能である。この斜めの照明は図１の概略図に最も近い。このような斜めの照明では、光線経路は対物レンズ５の光学軸線に対して比較的に大きな角度（６°以上）をなし、図１に示すように対物レンズの完全に外側で延びている。しかし、その代わりに、斜めの照明の光線経路が対物レンズ５の縁部領域を通過していてもよい。照明光線経路の他の配置例は、いわゆる０°照明である。この０°照明の場合、照明光線経路は対物レンズ５を通過し、両部分光線経路９Ａ、９Ｂの間を対物レンズ５の光学軸線に沿って物体領域３の方に向かって対物レンズに入射する。最後に、照明光線経路はいわゆる同軸照明として形成可能である。この同軸照明では、第１と第２の照明部分光線経路が設けられている。照明部分光線経路は１つまたは複数のビームスプリッタを経て、観察部分光線経路９Ａ、９Ｂの光学軸線に対して平行に手術用顕微鏡２に入射する。従って、照明は両観察部分光線経路に対して同軸に延びている。

図１に示した手術用顕微鏡２の実施の形態では、対物レンズ５が一定焦点距離の色消しレンズだけからなっている。しかし、複数のレンズからなる対物レンズ系、特にいわゆるバリオスコープ（Ｖａｒｉｏｓｋｏｐ）対物レンズを使用することもできる。このバリオスコープ対物レンズによって、手術用顕微鏡２の作業間隔、すなわち物体焦点間隔とも呼ばれる、対物レンズ５の物体側の第１レンズ面の頂部と物体側の焦点面の間隔を変更することができる。バリオスコープ対物レンズ５０によってさらに、焦点面内に配置した物体領域３が無限に結像されるので、観察者側で平行な光線束が存在する。

バリオスコープ対物レンズの一例が図２に概略的に示してある。バリオスコープ対物レンズ５０は正レンズ５１、すなわち正の屈折力を有する光学素子を備えている。この正レンズは図２では凸レンズとして概略的に示してある。バリオスコープ対物レンズ５０はさらに、負レンズ５２、すなわち負の屈折力を有する光学素子を備えている。この負レンズは図２では凹レンズとして概略的に示してある。負レンズ５２は正レンズ５１と物体領域３の間にある。図示したバリオスコープ対物レンズ５０では、負レンズ５２が固定または定置されて配置され、これに対して正レンズ５１が両方向矢印５３によって示すように、光学軸線ＯＡに沿って摺動可能に配置されている。正レンズ５１が図２において破線で示した位置に摺動させられると、焦点間隔が変化するので、物体領域３からの手術用顕微鏡２の作業間隔が変化する。

図２では正レンズ５１が摺動可能に形成されているが、基本的には、正レンズ５１の代わりに負レンズ５２を光学軸線ＯＡに沿って移動可能に配置することができる。しかし、負レンズ５２は往々にしてバリオスコープ対物レンズ５０の終端レンズを形成する。従って、固定された負レンズ５２は、手術用顕微鏡２の内部を外部の影響から容易に封止することができるという利点がある。さらに、図２では正レンズ５１と負レンズ５２を単一レンズとして示しているが、例えばバリオスコープ対物レンズを色消しにまたはアポクロマートに形成するために、この正レンズと負レンズの各々を単一レンズの代わりにレンズグループまたはキットレンズの形に形成することができる。

図３はデジタル式手術用顕微鏡４８の一例を概略的に示す。この手術用顕微鏡４８の場合、主対物レンズ５、倍率変更器１１および照明系４１、４３、４５は、図１に示した手術用顕微鏡２のものと見た目が異なっていない。違いは、図３に示した手術用顕微鏡４８が光学式双眼鏡胴を備えていないことにある。図１の鏡胴対物レンズ２９Ａ、２９Ｂの代わりに、図３の手術用顕微鏡４８は集束レンズ４９Ａ、４９Ｂを備えている。この集束レンズによって、双眼の観察光線経路９Ａ、９Ｂはデジタル式画像センサ６１Ａ、６１Ｂ上に結像される。その際、デジタル式画像センサ６１Ａ、６１Ｂは例えばＣＣＤセンサまたはＣＭＯＳセンサである。画像センサ６１Ａ、６１Ｂによって撮影された画像はデジタル式ディスプレイ６３Ａ、６３Ｂにデジタルで送信される。このディスプレイはＬＥＤディスプレイ、ＬＣＤディスプレイまたは有機光ダイオード（ＯＬＥＤ）に基づくディスプレイとして形成可能である。ディスプレイ６３Ａ、６３Ｂには本例のように接眼レンズ６５Ａ、６５Ｂが付設されている。この接眼レンズによって、ディスプレイ６３Ａ、６３Ｂに示された画像が無限大に結像されるので、観察者はこの画像をリラックスした眼で観察することができる。この手術用顕微鏡では、ディスプレイ６３Ａ、６３Ｂと接眼レンズ６５Ａ、６５Ｂは医学−光学式表示システムを形成する。その際、データオーバーレイユニットは、ディスプレイ６３Ａ、６３Ｂ上に示された少なくとも１つの画像内の画像データセットをオーバーレイするためのデジタルユニットである。対応する画像には、画像データセットの画像が電子的に重ねられる。ディスプレイ６３Ａ、６３Ｂと接眼レンズ６５Ａ、６５Ｂはデジタル式双眼鏡胴の一部であってもよいし、また例えばデータ眼鏡のような、頭に支持されるディスプレイ（頭取付けディスプレイ、ＨＭＤ）の一部であってもよい。頭取付けディスプレイは仮想リアリティディスプレイまたは拡張リアリティディスプレイとして形成可能である。

図３は図１のように、一定の焦点距離を有する色消しレンズ５だけを示しているが、図３に示した手術用顕微鏡４８は図１に示した手術用顕微鏡２のように、対物レンズ５の代わりに、バリオスコープ対物レンズを備えていてもよい。図３にはさらに、画像センサ６１Ａ、６１Ｂによって撮影された画像を、導線６７Ａ、６７Ｂによってディスプレイ６３Ａ、６３Ｂに伝送することが示してある。しかし、特にディスプレイ６３Ａ、６３Ｂが頭取付けディスプレイの一部であるときに、導線接続の代わりに、無線で画像をディスプレイ６３Ａ、６３Ｂに伝送することができる。

さらに、図４を参照する。

手術用顕微鏡２によって物体Ｏから得られる物体画像ＯＢを、手術者が医学−光学式表示システムによって観察する筋書きが示してある。物体Ｏは単一物体でもよいし、物体のグループでもよい。さらに、物体Ｏは例えば手術領域のような範囲であってもよいので、関心のある領域（ＲＯＩ）である。物体画像ＯＢのその他の範囲は手術領域の周囲を示す。物体画像ＯＢが図１に示した手術用顕微鏡２の光線経路または図３に示した手術用顕微鏡４８の光線経路を通過することに留意すべきである。換言すると、物体画像は光学的または電子的に表示される光学データである。

例えば機器の状態報告のような追加情報を手術者に提供するために、医学−光学式表示システムは、物体画像ＯＢ内への画像データセットＢＤのデータオーバーレイするための装置を備えている。この場合、画像データセットＢＤの可視化は追加情報を提供する。そのための装置は例えばビームプリッタプリズム１５Ｂとのインターフェース構造体１３Ｂと、付設の光学系を有するディスプレイ３７を備えている。すなわち、運転中、電子形式で存在する画像データセットＢＤは、ディスプレイ３７によって光学データに変換され、手術用顕微鏡２の光線経路内に入射または反映される。これとは異なり、オーバーレイは画像内容の電子的な重なりを含んでいる。すなわち、画像データセットＢＤは電子形式で存在し、画像の一部を置き換えるか電子的に明瞭にまたは不明瞭に重ねることにより、電子的に存在する画像（これは例えば図３に示した手術用顕微鏡４８におけるような画像）で使用される。

さらに、図５を参照して、装置７０の構造を説明する。この装置は運転中、画像データセットＢＤのデータオーバーレイが、物体画像ＢＤの関連する画像内容との重なりにならないようにする。

装置７０は本実施の形態では、範囲決定ユニット７２と、データオーバーレイユニット７４を備えている。範囲決定ユニット７２によって、物体画像ＯＢ内の小さな活動度を有する範囲Ｂを決定することができ一方、データオーバーレイユニット７４によって、この範囲Ｂ内で画像データセットＢＤをオーバーレイすることができる。この場合、小さな活動度を有する範囲Ｂは例えば、手術者が活動的ではなく、従って画像内容を少しだけ変更することになる物体画像ＯＢ内の範囲である。画像内容の少しでない変更または高い可変性は例えば、適当な領域において手術者の指が活動的であるときあるいは外科用器具が動くときに存在する。それによってそれぞれのピクセルの強度値が強く変化する。

範囲決定ユニット７２は本実施の形態では、読み込みユニット７６、評価ユニット８０、比較ユニット８２、クラスタユニット８４および決定ユニット８６を備えている。

読み込みユニット７６はソース画像データセットＲＤを読み込む。ソース画像データセットＲＤは個々の物体画像ＯＢの時間的なシーケンスを形成する。このシーケンスは物体画像ＯＢ内に示されたことの時間的な経過を示す。この場合、ソース画像データセットＲＤは物体Ｏを撮影したビデオストリームのビデオシーケンスであってもよい。その際、ソース画像データセットは例えば図１のカメラ２１によってあるいは図３の画像センサ６１Ａ、６１Ｂによって生じることができる。複数のカメラ２１が使用されると、それぞれのソース画像データセットが先ず最初に融合（登録またはステッチ）させられる。ソース画像データセットＲＤは好ましくは、少なくとも、オーバーレイされた画像データセットＢＤが時間的に可変の画像内容を含んでいるときには、オーバーレイされた画像データセットＢＤを含んでいない。

評価ユニット８０はソース画像データセットの画像点の時間的な可変性Ｖを決定する。この可変性は、画像点を示す画像部分内の時間的な変化を表す。その際、画像点はソース画像データセットＲＤのピクセルあるいはソース画像データセットＲＤの２×２、２×３、２×４、３×３、３×４、４×４等のピクセルのピクセルグループである。その際、時間的な可変性は例えば時間的に連続するソース画像内の同じピクセルの間のピクセル値の差の合計によって決定可能である。大きな値を有するピクセル値の差が頻繁に発生すればするほど、合計は大きくなる。それに対して、小さな値だけを有するピクセル値の差の場合には、合計が小さい。ピクセルグループの場合には、差の値の合計に、ピクセルグループについて決定されたピクセル値が合算される。合計を求める際に、好ましくは物体画像が用いられる。現在の物体画像から出発して所定の時間をさかのぼる物体画像が用いられる。この時間は、画像内容のいろいろな時間的ダイナミクスに適合できるようにするために調節可能である。その際、迅速に変化する画像内容は、ゆっくり変化する画像内容よりも短い時間を必要とする。

比較ユニット８２は時間的な可変性Ｖを、設定された可変性限界値ＧＶと比較する。この可変性限界値は、活動度の小さな範囲Ｂ内で予想される、画像点の時間的な可変性Ｖを考慮できるようにするために調節可能である。範囲Ｂにおいて比較的に小さな時間的可変性Ｖが予想されると、比較的に大きな（しかし、高い活動度を有する範囲よりも常に小さい）時間的な可変性Ｖが範囲Ｂ内で予想されるときよりも、可変性限界値は低く保つことができる。

クラスタユニット８４は、検出された時間的な可変性が可変性限界値ＧＶを下回る画像点を集合させる。集合の結果として、小さな時間的可変性を有する１つまたは複数のまとまりのある領域が形成される。さらに、画像処理ユニットを任意選択的に設けることができる。この画像処理ユニットは形態学的画像処理によって、小さな時間的可変性を有するまとまりのある個々の領域を、小さな時間的可変性を有するまとまりのある大きな１つの領域に統合する。決定ユニット８６は、小さな活動度を有する範囲Ｂよりも小さな時間的可変性を有する少なくとも１つのまとまりのある領域を決定する。

データオーバーレイユニット７４は本実施の形態では、画像データセットのオーバーレイが行われる、小さな活動度を有する範囲Ｂ内の場所を決定するために、画像データセットＢＤの大きさおよび／または形を考慮するように形成されている。それによって、オーバーレイされる画像データセットＢＤの大きさおよび／または形にとって適している、小さな活動度を有する範囲Ｂ内の個所で、オーバーレイを行うことができる。

さらに図６を参照して、方法について説明する。この方法によって、画像データセットＢＤのデータオーバーレイの際に、物体画像ＯＢの画像内容との重なりがなくなる。そのために、第１ステップＳ１００において、小さな活動度を有する範囲Ｂが物体画像ＯＢ内で決定される。他のステップＳ２００において、決定された範囲Ｂ内で画像データセットのオーバーレイが行われる。

小さな活動度を有する範囲Ｂを決定するために、中間ステップＳ１１０において、物体画像ＯＢのソース画像データセットＲＤが検出され、ソース画像データセットの画像点の時間的な可変性Ｖが決定される（中間ステップ１２０）。決定された時間的可変性Ｖは、設定された可変性限界値ＧＶと比較され（中間ステップＳ１３０）、決定された時間的可変性が可変性限界値ＧＶを下回る画像点が集合させられる（中間ステップＳ１４０）。それによって、小さな時間的可変性を有するまとまりのある少なくとも１つの領域を発生することができる。最後に、小さな時間的可変性を有するまとまりのある少なくとも１つの領域が、小さな可変性を有する範囲Ｂとして決定される（中間ステップＳ１５０）。

方法の発展形態において、観察物体の深さマップは、高い活動度が予想される所定の範囲を最初から排除する働きをする。例えば深い手術管の場合、高い活動度が特に手術管の範囲内に予想される。

小さな活動度を有する範囲Ｂが物体画像ＯＢ内で決定されるステップは、適切なアルゴリズムによって実施可能である。可能なアルゴリズムアプローチは例えば、光学的流れまたは例えば神経網による機械的学習を用いた分析である。方法は、カメラ２１のデータを読み込んで、ディスプレイ３７の制御ための画像データセットＢＤを出力するために、医学−光学式観察装置にデータ伝送するように接続されたＰＣまたはコンピュータによって実施可能である。そのために、ＰＣまたはコンピュータは適当なハードウェア構成要素および／またはソフトウェア構成要素を備えることができる。その代わりに、方法は、医学−光学式観察装置に所属する、適当なハードウェア構成要素および／またはソフトウェア構成要素を備えた計算機モジュールによっても実施することができる。

本発明を実施の形態に基づいて説明のために詳述した。しかし、専門家は、本発明の範囲内で、実施の形態を逸脱可能であることを知っている。本実施の形態と異なり、医学−光学式表示システムは例えば内視鏡の一部としてまたは内部顕微鏡として形成することが可能である。専門家は、実施の形態を本発明の範囲内で変形する他の例を知っている。従って、本発明は、上記の実施の形態に限定されるものではなく、添付の特許請求の範囲によってのみ限定される。

２ 手術用顕微鏡
３ 手術領域／観察物体
５ 対物レンズ
７ 光線束
９ 光線束
９Ａ 立体視的な部分光線経路
９Ｂ 立体視的な部分光線経路
１１ 倍率変更器
１３Ａ インターフェース構造体
１３Ｂ インターフェース構造体
１５Ａ ビームスプリッタプリズム
１５Ｂ ビームスプリッタプリズム
１９ カメラアダプタ
２１ カメラ
２３ 画像センサ
２７ 双眼鏡胴
２９Ａ 鏡胴レンズ
２９Ｂ 鏡胴レンズ
３１Ａ 中間画像面
３１Ｂ 中間画像面
３３Ａ プリズム
３３Ｂ プリズム
３５Ａ 接眼レンズ
３５Ｂ 接眼レンズ
３７ ディスプレイ
３９ 光学系
４１ 白光源
４３ 方向変更鏡
４５ 照明光学系
４８ 手術用顕微鏡
４９Ａ 集束レンズ
４９Ｂ 集束レンズ
５０ バリオ対物レンズ
５１ 正レンズ
５２ 負レンズ
５３ 両方向矢印
６１Ａ 画像センサ
６１Ｂ 画像センサ
６３Ａ ディスプレイ
６３Ｂ ディスプレイ
６５Ａ 接眼レンズ
６５Ｂ 接眼レンズ
６７Ａ 導線
６７Ｂ 導線
７０ 装置
７２ 範囲決定ユニット
７４ データオーバーレイユニット
７６ 読み込みユニット
８０ 評価ユニット
８２ クラスタユニット
８４ 比較ユニット
８６ 決定ユニット
Ｂ 範囲
ＢＤ 画像データセット
Ｏ 物体
ＯＡ 光学軸線
ＯＢ 物体画像
ＲＤ ソース画像データセット
Ｖ 可変性
ＧＶ 可変性限界値
Ｓ１００ 小さな活動度を有する範囲の決定
Ｓ１１０ ソース画像データセットの検出
Ｓ１２０ 画像点の時間的可変性の決定
Ｓ１３０ 時間的な可変性と、設定された可変性限界値との比較
Ｓ１４０ 集合
Ｓ１５０ 小さな活動度を有する範囲の決定
Ｓ２００ 画像データセットのオーバーレイ

Claims (16)

1. 医学−光学式表示システムが少なくとも１つの画像データセット（ＢＤ）を物体画像（ＯＢ）にデータオーバーレイするためのデータオーバーレイユニット（７４）を備えている、医学−光学式観察装置（２、４８）によって得られる観察される物体（Ｏ）の物体画像（ＯＢ）を表示するための医学−光学式表示システムを作動させるための方法であって、
   前記物体画像（ＯＢ）内で小さな活動度を有する少なくとも１つの範囲（Ｂ）を決定するステップ（Ｓ１００）と、
   小さな活動度を有する少なくとも１つの前記範囲（Ｂ）内で少なくとも１つの前記画像データセット（ＢＤ）をオーバーレイするステップ（Ｓ２００）
   を有する方法。
2. 前記範囲（Ｂ）決定するために、次の中間ステップ、すなわち
   個々の物体画像（ＯＢ）の時間的なシーケンスを示すソース画像データセット（ＲＤ）を検出するステップ（Ｓ１１０）と、
   前記ソース画像データセットの画像点の時間的な可変性（Ｖ）を決定するステップ（Ｓ１２０）と、
   時間的な前記可変性（Ｖ）を設定された可変性限界値（ＧＶ）と比較するステップ（Ｓ１３０）と、
   小さな時間的可変性を有するまとまりのある少なくとも１つの領域を発生するために、決定された時間的可変性が前記可変性限界値（ＧＶ）を下回る画像点を集合するステップ（Ｓ１４０）と、
   小さな活動度を有する少なくとも１つの範囲（Ｂ）として、小さな時間的可変性を有するまとまりのある少なくとも１つの領域を定めるステップ（Ｓ１５０）
   とが実施されることを特徴とする請求項１に記載の方法。
3. 画像処理によって、小さな時間的可変性を有するまとまりのある個々の領域が、小さな時間的可変性を有するまとまりのある大きな領域に統合され、小さな時間的可変性を有するまとまりのある大きな前記領域が小さな活動度を有する少なくとも１つの範囲（Ｂ）として定められることを特徴とする請求項２に記載の方法。
4. 前記画像点が前記ソース画像データセット（ＲＤ）のピクセルであることを特徴とする請求項２または３に記載の方法。
5. 前記画像点が前記ソース画像データセット（ＲＤ）のピクセルからなるピクセルグループであることを特徴とする請求項２または３に記載の方法。
6. 前記画像データセット（ＢＤ）内に示された画像内容の大きさおよび／または形を考慮して、小さな活動度を有する少なくとも１つの前記範囲（Ｂ）内で、前記画像データセット（ＢＤ）のオーバーレイを行う場所の決定が行われることを特徴とする請求項１〜５のいずれか一項に記載の方法。
7. 高い活動度が予想される前記ソース画像データセット（ＲＤ）内の所定の範囲を最初から、小さな活動度を有する少なくとも１つの範囲（Ｂ）として排除するために、前記観察物体（Ｏ）の深さマップが用いられ、および／またはパターン認識に基づいて、機器ディスプレイまたは視野で結像される前記ソース画像データセット（ＲＤ）内の範囲が認識され、最初から小さな活動度を有する少なくとも１つの範囲（Ｂ）として排除されることを特徴とする請求項１〜６のいずれか一項に記載の方法。
8. プログラムコードがコンピュータ内に装入され、および／またはコンピュータ内で実施されるときに、請求項１〜７のいずれか一項に記載の方法を実施するためのコンピュータ化可能な命令を有するプログラムコードを含むコンピュータプログラム製品。
9. 医学−光学式観察装置（２、４８）によって得られた物体画像（ＯＢ）を表示するための医学−光学式表示システムであって、
   少なくとも１つの画像データセット（ＢＤ）を前記物体画像（ＯＢ）にオーバーレイするように形成されたデータオーバーレイユニット（７４）と、
   前記物体画像（ＯＢ）内で小さな活動度を有する少なくとも１つの範囲（Ｂ）を決定するように形成された範囲決定ユニット（７２）とを備え、
   前記データオーバーレイユニット（７４）が、小さな活動度を有する前記物体画像（ＯＢ）の少なくとも１つの範囲（Ｂ）内に少なくとも１つの画像データセット（ＢＤ）をオーバーレイするように形成されている、
   医学−光学式表示システム。
10. さらに、物体（Ｏ）を観察するためおよび観察される物体（Ｏ）の画像を物体画像（ＯＢ）として撮影するための医学−光学式観察装置（２、４８）を含んでいることを特徴とする請求項９に記載の医学−光学式表示システム。
11. 前記範囲決定ユニット（７２）が、
    個々の物体画像（ＯＢ）の時間的なシーケンスを示すソース画像データセット（ＲＤ）を読み込むための読み込みユニット（７６）と、
    前記ソース画像データセットの画像点の時間的な可変性（Ｖ）を決定するための評価ユニット（８０）と、
    前記の時間的な可変性（Ｖ）を設定された可変性限界値（ＧＶ）と比較するための比較ユニット（８２）と、
    小さな時間的可変性を有する少なくとも１つのまとまりのある領域を発生するために、決定された時間的可変性が可変性限界値（ＧＶ）を下回る画像点を集合させるためのクラスタユニット（８４）と、
    小さな活動度を有する少なくとも１つの範囲（Ｂ）として、小さな時間的可変性を有する少なくとも１つのまとまりのある領域を定めるための決定ユニット（８６）と
    を含んでいることを特徴とする請求項９または１０に記載の医学−光学式表示システム。
12. 画像処理ユニット（８５）が設けられ、この画像処理ユニットが画像処理によって、小さな時間的可変性を有するまとまりのある個々の領域を、小さな時間的可変性を有するまとまりのある大きな領域に統合し、
    前記決定ユニット（８６）が、小さな時間的可変性を有するまとまりのある大きな領域を、小さな活動度を有する少なくとも１つの範囲（Ｂ）として定めるように形成されていることを特徴とする請求項１１に記載の医学−光学式表示システム。
13. 前記画像点が前記ソース画像データセット（ＲＤ）のピクセルであることを特徴とする請求項１１に記載の医学−光学式表示システム。
14. 前記画像点が前記ソース画像データセット（ＲＤ）のピクセルからなるピクセルグループであることを特徴とする請求項１２または１３に記載の医学−光学式表示システム。
15. 前記データオーバーレイユニット（７４）が、小さな活動度を有する少なくとも１つ範囲（Ｂ）内で、少なくとも１つの画像データセット（ＢＤ）のオーバーレイを行う場所を決定するために、前記画像データセット（ＢＤ）内に示された画像内容の大きさおよび／または形を考慮するように形成されていることを特徴とする請求項９〜１４のいずれか一項に記載の医学−光学式表示システム。
16. 前記範囲決定ユニット（７２）が予備選択装置を含み、この予備選択装置が、前記観察物体（Ｏ）の深さマップに基づいて、高い活動度が予想される前記ソース画像データセット（ＲＤ）内の所定の範囲を最初から、小さな活動度を有する少なくとも１つの範囲（Ｂ）として排除し、および／またはパターン認識に基づいて、機器ディスプレイまたは視野で結像される前記ソース画像データセット（ＲＤ）内の範囲を最初から、小さな活動度を有する少なくとも１つの範囲（Ｂ）として排除することを特徴とする請求項９〜１５のいずれか一項に記載の医学−光学式表示システム。

Images