JP2018109759A - 電子式の顕微鏡 - Google Patents

Abstract

【課題】改善された描写能力を有し、手術の経過に応じて描写画像を選択可能な顕微鏡の提供。
【解決手段】複数の異なる受光スペクトルに対応する画像信号を生成するために構成された画像センサ１２を有し、制御装置２２は、照射装置２０を、複数の異なる照射スペクトルを有する電磁ビームを周期的に繰り返して送るために作動させ、画像センサを、複数の異なる照射スペクトルのそれぞれに関して、各一次画像データセットを作成するために作動させるように構成されている。演算ユニット２６は、複数の画像領域の内の少なくともいくつかに関して作成された一次画像データセットから、反射スペクトルを算定し、複数の異なる照射スペクトルに関して作成された一次画像データセットをもとに、算定された反射スペクトルに応じて、一次画像データセットに対して少なくとも部分的に修正された、少なくとも１つの二次画像データセットを算定するために構成されている。
【選択図】図１

Description

本発明は、電子式の顕微鏡に関するものであり、当該電子式の顕微鏡は、画像データセットを作成するための少なくとも１つの電子画像センサと、顕微鏡の撮影領域に配置された被写体の画像を、画像センサ上に生成するための結像レンズ系と、各画像データセットに対応する画像を表示するための電子ビューファインダーと、を備えている。

このような顕微鏡は、侵襲性の医学的介入（手術）の質を、従来の電子式でない顕微鏡よりも向上させるために、特に手術用顕微鏡として用いられる。

手術用の電子式の顕微鏡は、既に優れた描写能力を有しているものの、描写能力をさらに改善することが望まれている。すなわち、利用者に提供される被写体の画像又は電子描写が、改善されるべきである。特に、主観的な知覚基準及び／又は客観的な被写体特性を考慮して、描写能力を改善する必要性が存在する。例えば、知覚された画像描写の情報内容は、手術箇所の状態（例えば光学的特性及び／又は幾何学的な大きさ）に応じて、増大すべきである。さらに、電子ビューファインダーにおける画像描写の情報内容を、手術の課題又は手術の経過に応じて選択することを可能にする必要性が存在する。

取得する画像情報を増加させ、増加した、又は、選択された情報内容を、対応して電子ビューファインダーで描写する際の障害となるのは、一方での、画像センサに設けられるスペクトルチャンネルの数、及び、利用可能な照射スペクトルの数と、他方での、画像センサの可能な限り高い、所望の空間的及び時間的解像度及び輝度感度、並びに、観察される被写体の、照射による許容可能な加熱との間のコンフリクトである。

本発明の課題は、冒頭に挙げた種類の電子式の顕微鏡であって、改善された描写能力、特に、増加した、及び／又は、顕微鏡の利用者の影響を受けやすい、画像描写の情報内容を有する電子式の顕微鏡を供給することにある。

本課題は、請求項１に記載の特徴を有する電子式の顕微鏡によって解決される。

本発明に係る顕微鏡は、一次画像データセットを作成するための、少なくとも１つの電子画像センサと、結像レンズ系と、電子ビューファインダーと、照射装置と、制御装置と、記憶装置と、演算ユニットと、を含んでいる。

少なくとも１つの電子画像センサは、複数の異なる受光スペクトルに対応する画像信号を生成するために構成されている。例えば、２つ、好ましくは少なくとも３つ又は４つの、異なる受光スペクトルと、それぞれ割り当てられた画像信号と、が設けられていて良い（例えば赤、緑及び青に関して）。「受光スペクトル」とは、割り当てられた画像信号に関連する、画像センサの分光感度であると理解されるべきである。画像領域それぞれに関して生成される、複数の異なる受光スペクトルに対応する画像信号は、好ましくは、少なくともほぼ同時に生成される。しかしながら、基本的に、被写体が静止している場合、又は、被写体が（画像センサの撮像頻度に対して）比較的遅い速度で動いている場合には、これらの画像信号を時間的に連続して生成することも可能である。

各一次画像データセットは、複数の画像領域に関して、複数の受光スペクトルそれぞれの、少なくとも１つの画像信号を、好ましくはまさに１つの画像信号を含んでいる。すなわち、各画像領域に関して、全ての受光スペクトルの画像信号が存在している。各画像信号は、実際に撮影された像点に対応しているか、又は、複数の像点から内挿可能であり、各画像領域は、１つ又は複数の像点を含み得る。例えば、ベイヤーカラーフィルタマトリックスを有する画像センサの場合、それぞれ４つの、互いに隣り合って配置された、緑、赤、緑及び青のカラーフィルタ又は受光スペクトルが割り当てられた像点が、画像領域を形成し得る。代替的に、異なる分光感度（例えば赤、緑及び青）を有する複数の画像センサを設けることも可能であり、当該画像センサはそれぞれ、ビームスプリッタを用いて、受信したビームの一部のみを含んでおり、各像点は、しかしながら、受信ビーム経路に関して、互いに幾何学的に一致して配置されているので、各画像領域は、１つの像点のみを通って延在している。本質的に３つの画像信号が、異なる受光スペクトル（赤、緑及び青）に関して生成される、いわゆるフォビオン画像センサでも、各画像領域は１つの像点のみを含んでいる。

結像レンズ系は、顕微鏡の撮影領域内に配置された被写体の画像を、画像センサ上に生成するために用いられる。この「被写体」という概念は、広い意味で理解されるべきである。本発明では特に、医学的介入の対象である領域が、被写体である。同様に、組織学的検査の対象である組織試料も、このような被写体である。

電子ビューファインダーは、顕微鏡の利用者にとって、光学的な視覚インターフェースである。電子ビューファインダーは、特に、手前に配置された接眼レンズを有する電子表示装置（例えばディスプレイ）を含み得る。実体顕微鏡の場合、電子ビューファインダーは、特に電子双眼鏡として構成され得る。しかしながら、電子ビューファインダーは、複数の人間が同時に観察することができるような、２Ｄ又は３Ｄモニタを含んでいても良い。

照射装置は、可変照射スペクトルを有する電磁ビームを、撮影領域に送るために構成されている。電磁ビームは、可視波長又は不可視波長を有し得る。特に、当該波長は、赤外線領域又は紫外線領域内にも位置し得る。

制御装置は、照射装置を、各照射周期の間に、複数の異なる照射スペクトルを有する電磁ビームを周期的に繰り返して送るために作動させ、少なくとも１つの画像センサを、複数の異なる照射スペクトルそれぞれに関して、各一次画像データセットを生成するために作動させるように構成されている。照射サイクルは、好ましくは少なくとも３つ、特に４つ又は５つの異なる照射スペクトルを含んでおり、これらの照射スペクトルは、時間的に前後して、周期的順序で繰り返し送られる。各照射スペクトルは、実質的に、波長又は波長領域を含み得る。複数の異なる照射スペクトルは、互いに分離し、スペクトルとしては互いに離間しているか、又は、互いに分離し、互いに隣り合っているか、又は、互いに部分的に重複していて良い。特に、異なる照射スペクトルは、複数の可視の、互いに異なる色を含み得る。顕微鏡の撮影領域に配置された被写体に、連続的に、複数の異なる照射スペクトルの電磁ビームを衝突させる間に、各照射スペクトルに関する画像センサは、割り当てられた一次画像データセットを作成する。すなわち、各画像領域に関して、複数の受光スペクトルそれぞれの、少なくとも１つの画像信号がそれぞれ作成される。従って、各照射スペクトルに関して、つまり、複数の（幾何学的）画像領域それぞれに関して、異なる受光スペクトルの画像信号が存在する。

記憶装置には、演算規則が保存されており、当該演算規則は、電子式の顕微鏡の個別の構造条件に基づいており、特に、異なる受光スペクトル及び照射スペクトルを考慮している。演算規則は、画像信号に応じた、各画像領域の反射スペクトルを表しており、当該画像信号は、各画像領域について、複数の異なる照射スペクトルのそれぞれに対応する複数の異なる受光スペクトルのそれぞれに関して作成されたものである。言い換えると、演算規則は、より正確に後述するように、複数の異なる受光スペクトルと、対応する画像信号から成る、複数の異なる（適切に選択された）照射スペクトルとの各組み合わせに基づいて、少なくとも概ね完全な反射スペクトルを、少なくとも近似的に算定することを可能にし、当該反射スペクトルは、異なる受光スペクトル又は照射スペクトルとは直接一致しないスペクトル領域も含んでいる。

測定値から、受光スペクトル及び照射スペクトルの様々な組み合わせを形成することによって、複数の異なる応答関数が得られる。当該応答関数は、近似的ではあるが、高い正確性をもって、人間の目の知覚閾値以下で、各反射スペクトルを算定することを可能にし、算定された反射スペクトルは、複数の異なる照射スペクトル及び受光スペクトルの外側に位置する１つ又は複数のスペクトル領域を含み得る。例えば、照射周期内で、４つの異なる照射スペクトルと、３つの異なる受光スペクトルとを用いることによって、当該応答関数全体が、ゼロとは異なり、互いに対して線形独立である限りにおいて、１２の当該応答関数が検出され、評価され得る。

上述の、算定された反射スペクトルは、特に、概ね、異なる受光スペクトル及び照射スペクトルに含まれた最小の波長から、異なる受光スペクトル及び照射スペクトルに含まれた最大の波長まで延在するスペクトル領域にわたって延在し得る。

当該反射スペクトルは一般的に、スペクトル領域にわたる、反射率の波長に対する依存関係を表している。反射率は一般的に、電磁ビームの、反射強度の入射強度に対する比として定義されている。観察される画像領域に対応する被写体領域に関して、反射率は、つまり、被写体領域で反射したビームの強度の、照射装置によって、被写体領域で受光されたビームの強度に対する比であり得る。

従って、上述の演算規則は、どのように各被写体領域の反射スペクトルが、観察される画像領域の画像信号に応じて、照射周期の複数の一次画像データセットの全てを考慮して、近似され得るかについて記載している。

演算ユニットは、複数の異なる照射スペクトルに関して作成された一次画像データセットから、複数の画像領域の内の少なくともいくつかに関する、保存された演算規則を用いて、各反射スペクトルを算定するために構成されている。さらに、演算ユニットは、複数の異なる照射スペクトルに関して作成された一次画像データセットをもとに、各画像領域の算定された反射スペクトルに応じて、一次画像データセットに対して少なくとも部分的に修正された、少なくとも１つの二次画像データセットを算定するために構成されている。これは、特に、電子式の顕微鏡が動作している間に、つまり利用者が電子ビューファインダーで、対応して検出又は構成された画像を観察している間に、リアルタイムで行われ得る。算定された二次画像データセットは、特に、複数の異なる照射スペクトルとは異なる照射スペクトルを表すことが可能である。言い換えると、算定された二次画像データセットは、照射装置の実際に用いられた照射スペクトルとは異なる「仮想の照射スペクトル」に対応し得る。

さらに、制御装置は、電子ビューファインダーを、二次画像データセットに対応する画像を表示するために作動させるように構成されている。

当該二次画像データセットを算定し、画像描写するために、周期的に異なる照射スペクトルで記録された、マルチスペクトルに分解された一次画像データセットを用いて、ハイパースペクトルに分解された反射スペクトルが近似されて、一次画像データセットから、電子ビューファインダーで表示可能な少なくとも１つの二次画像データセットを作成するために使用可能になることが利用される。観察される被写体の反射スペクトルは、被写体の特性（例えば化学的又は生化学的組成等）に関して、重要な情報を提供し、これらの情報は、より正確に後述するように、様々な方法で利用され得る。当該情報は、画像センサを用いて作成された一次画像データセットが対応して修正されることによって、顕微鏡の電子ビューファインダーに表示可能になり、これは、各照射周期の異なる照射スペクトルに対応する、複数の画像領域のいくつか又は全てに関する、及び、異なる一次画像データセットのいくつか又は全てに関する利用及び目標設定に応じて行われ得る。

電子式の顕微鏡の制御装置、記憶装置及び演算ユニット、並びに、後述する電子式の顕微鏡の選択装置及び評価装置は、部分的又は完全に、唯一の電子ユニット（例えばマイクロプロセッサ）によって形成され得る。

本発明の有利な実施形態は、以下の説明及び従属請求項に記載され、図面に示されている。

一実施形態によると、選択装置を用いて、所望の観察スペクトルが、特に手動又は自動に選択可能であり、二次画像データセットは、選択された観察スペクトルに基づいて、一次画像データセットに対して修正されている。その際、少なくともいくつかの画像領域に関する二次画像データセットは、選択された観察スペクトル内における、撮影領域に配置された被写体の反射率を表現し得る。言い換えると、当該実施形態における、選択された観察スペクトルは、一次画像データセットの「仮想スペクトルフィルタリング」のための基盤である。上述のように、電子式の顕微鏡の演算ユニットは、複数の異なる照射スペクトルに関して作成された一次画像データセットから、いくつかの又は全ての画像領域に関する保存された演算規則に従って、各反射スペクトルを算定する。従って、上述した所望の観察スペクトルの選択とは、対応する二次画像データセットが、算定された（完全な）反射スペクトルのスペクトル部分のみを含んでおり、この選択されたスペクトル部分に関して、（各画像領域において）観察される被写体の反射率が示されるということを意味している。特に、スペクトル領域における各一次画像データセットの内容は、特定のスペクトル成分を強化及び／又は弱化することによって（例えば１つ又は複数のバンドパス又は重み関数を用いて）、対応して変更され得る。それによって、例えば結像される被写体の特定の詳細部分が、人間の目にとって、より良好に視認可能又は識別可能になり、及び／又は、画像による描写が、主観的により快適に行われ得る。

この関連において、算定され、電子ビューファインダーに画像描写された二次画像データセットは、選択された観察スペクトル内での被写体の反射率を表現し得る。対応して選択された観察スペクトルは、このような方法で、観察される被写体の可視性を、異なる反射率を有する被写体領域が、実際に視覚的に識別可能に描写され得るように、改善することができる。このことは、手術用顕微鏡として用いられる場合に、特に有益である。なぜなら、執刀医が様々な組織の種類を、より適切に区別できるようになるからである。例えば、酸素の乏しい血液と酸素の豊富な血液との区別を改善することが可能である。

観察スペクトル（すなわち「仮想スペクトルフィルタリング」）の選択は、利用者によって設定され得る、及び／又は、所定の基準を用いて、自動的に、顕微鏡の制御装置によって実施され得る。特定の観察スペクトルを前もって設定し、必要な場合のみ、利用者が変更しても良い。各観察スペクトルを、利用者によって、例えば調整可能なパラメータを通じて、変更することも可能である。所望の観察スペクトルを利用者が手動で設定するために、選択装置は、入力装置を含み得る。入力装置は、例えば選択キー、スライダー、ロータリーコントローラ、数字入力のための数字キーボードを有し得る。このような入力装置は、物理及び／又は仮想環境で設けられ得る（特に、電子ビューファインダー又は個別のディスプレイにおいて、例えばマウスクリック又はタッチ機能によって）。所望の観察スペクトルの選択は、特に、電子式の顕微鏡の動作中に行われ得る。

さらなる実施形態によると、各画像領域の算定された反射スペクトルは、被写体の少なくとも１つの特性に関して、電子式の顕微鏡の評価装置を用いて評価可能であり、二次画像データセットは、少なくとも１つの評価された被写体特性に基づいて、一次画像データセットに対して修正されている。特に、算定された二次画像データセットは、各画像領域に関して、少なくとも１つの評価された被写体特性を表現し得る。

上述した被写体の特性は、特に被写体の種類又はタイプであり得る。さらに、被写体領域又は被写体輪郭が、評価装置によって検出される対象であり得る。被写体特性のさらなる例は、色、大きさ及び表面特性である。

手術用又は医療用顕微鏡としての使用に関して、被写体特性は、特に組織のタイプであり得る。言い換えると、算定された反射スペクトルが、どのようなタイプの組織（例えば神経組織、筋肉組織、脂肪組織、結合組織、特に骨及び軟骨を含む）が、観察される画像領域に描出されるかという質問への回答に用いられる。それによって、算定された反射スペクトルに基づいて、組織の分類が実施される。さらに、悪性の種類の組織（例えば腫瘍組織）を、良性の種類の組織から区別することも可能である。このような被写体の医学的特性を調べるために、該当する、すなわち各画像領域に関して算定された反射スペクトルが、顕微鏡に保存された複数の反射スペクトルと比較可能であり、当該反射スペクトルに関しては、それぞれの組織のタイプが知られている。スペクトル間隔の大きさ、又は、数学的比較を用いて、例えば、保存された反射スペクトルの内、どの反射スペクトルに、算定された反射スペクトルが最も近づいているかを検出することが可能である。スペクトル間隔が閾値を下回る限りにおいて、観察された画像領域に関して算定された反射スペクトルが、該当する保存された反射スペクトルの知られている組織のタイプを表していると想定することができる。

複数の画像領域に関して検出された組織のタイプ又は医学的に重要な特性に応じて、１つ又は複数の一次画像データセットは、様々なタイプの組織を、視覚的により良く区別することができるように修正され得る。特に、特別に観察しなければならない、特別な関心を引くタイプの組織（例えば腫瘍組織）を、色若しくはスペクトル、又は、適切に重ねられたマーキングによって、識別しやすくすることができる。当業者が認識しているように、様々な組織のタイプの識別可能性を改善する、又は、被写体特性を視覚的にコード化するための数多くの可能性が存在している。例えば、特定のタイプの組織が同定された画像領域を疑似カラーで描写することも考えられる。代替的に、当該組織の輪郭のみをマーキングすることも可能である。

自明のことながら、各画像領域の反射スペクトルは、規則的な時間的間隔を置いて、新しく検出され得る。それによって、特に手術の場合に予想されるような、被写体の動的変化を考慮することができる。

電子ビューファインダーにおいて、画像描写の「区別された」情報内容を得るための多様な可能性によって、一次画像データセットの修正は、少なくとも１つの被写体特性に基づいて調整可能である。例えば、利用者は、前もって設定された複数の修正変数の間で選択するか、又は、修正のパラメータを設定することができる。それによって、再現性に関して、利用者個人の好みに特に適切に対応することができる。

さらなる実施形態によると、上述の選択装置は、少なくとも１つの被写体特性に基づいて観察スペクトルを自動的に選択するように調整されている。言い換えると、顕微鏡は、被写体に自動的に「適応する」ことが可能であり、それによって、スペクトルがより良好に区別された画像描写が得られる。

すでに言及したように、演算ユニットは、複数の異なる照射スペクトルに関して作成された一次画像データセットから、保存された演算規則に従って、複数の画像領域の内の少なくともいくつかについて、各反射スペクトルを算定する。一実施形態によると、演算ユニットは、フルスクリーン動作モードにおいて、複数の画像領域のそれぞれに関して、各反射スペクトルを算定し得る。特に、演算ユニットは、二次画像データセットを、二次画像データセットが、複数の画像領域のそれぞれに関して、一次画像データセットに対して修正されているように算定することも可能である。それによって、このフルスクリーン動作モードにおいて、電子ビューファインダーに示された全ての画像情報が修正可能である。しかしながら、これは必ずしも必要なことではない。特に、例えば必要な計算時間を短縮すべき場合に、上述の計算を、いくつかの画像領域に関してのみ実施しても良い。

さらなる実施形態によると、電子ビューファインダーは、少なくとも標準動作モード又はフィルタ動作モードにおいて選択的に動作可能であり、制御装置は、電子ビューファインダーを、標準動作モードでは、１つ又は複数の各一次画像データセットに対応する画像を表示し、フィルタ動作モードでは、二次画像データセットに対応する画像を表示するように作動させる。従って、利用者は、被写体を、「歪められていない」一次画像データセットに基づいて観察したいのか、又は、修正されたバージョンが好ましいのかを選択することができる。例えば、二次画像データセットの画像を、一次画像データセットの画像に半透明に重ねることも考えられる。

さらなる実施形態によると、制御装置は、電子ビューファインダーを、選択的に、コンフィギュレーション動作モード又は観察動作モードにおいて動作させるように構成されており、制御装置は、コンフィギュレーション動作モードでは、電子ビューファインダーを、互いに異なる二次画像データセットに対応する複数の画像を同時に表示するために作動させるように構成されており、これら複数の画像からは、二次画像データセットが選択され得る。それに対して、観察動作モードでは、選択された二次画像データセットに対応する画像のみが表示される。

コンフィギュレーション動作モードは、様々な観察スペクトル又は修正変数の間で選択する、特に直感的な可能性を許容する。なぜなら、対応する画像が、同時に、例えば「タイル」として提供され、互いに比較され得るからである。利用者は、自身が好むバージョンを、個人の知覚に応じて最適に選定することが可能である。好ましいバージョンの選定のために、電子ビューファインダーには、例えば手動の操作装置が設けられ得る。それによって、利用者は、特に快適に選定可能である。

好ましくは、コンフィギュレーション動作モードにおいて、一次画像データセットに対応する画像も表示されるので、利用者は、一次画像データセットの未修正バージョンとの直接の比較を実施し、電子ビューファインダーが標準動作モードで動作すべきか、又は、フィルタ動作モードで動作すべきかを、より適切に決定できる。

照射装置が、電磁ビームを撮影領域に送る際の照射スペクトルは、不連続的及び／又は連続的に変化し得る。照射スペクトルの不連続な変化は、例えば、それぞれ異なる照射スペクトルを有する様々な照明手段の間で容易な切り替えを行うことによって生じ得る。しかしながら、照射スペクトルは、供給電流の量を変更することによっても変化し得る。供給電流の変更は、さらに、照射スペクトルを、各被写体に個別に適応させるための可能性を提供する。例えば、特定のスペクトル領域が特定に重要である限りにおいて、当該スペクトル領域は、対応して適合された照射スペクトルで特に適切に分析され得る。さらに、近似された反射スペクトルの正確性を改善するために、照射スペクトルの数を明らかに増大させることが可能である。

好ましい実施形態によると、照射装置は、それぞれ異なる照射スペクトルを有する複数の照明手段を備えており、制御装置は、照射スペクトルを不連続に変化させるために、照明手段を交互に作動させるように調整されている。照射装置の周期的な作動は、各照明手段を単純にオンオフすることによって行われ得る。好ましくは、照明手段は、エネルギー効率が良く、寿命の長い発光ダイオード（ＬＥＤ）である。照明手段の数（例えば個別の発光ダイオード又は発光ダイオードの群）は、好ましくは２から５、特に好ましくは４である。各照明手段は、例えば赤、緑、暖白色又は寒白色等の、特定の色を有し得る。

４つの照明手段の場合、周期周波数、すなわち、４つの異なる照射スペクトルを有する電磁ビームの送信を繰り返す数、及び、１秒当たりの一次画像データセットの作成の数は、６０Ｈｚの範囲内である。特に、当該周波数は、照射スペクトルの変化の可視性を最小化するために十分高いものであり得る。

特に発光ダイオードの場合、すでに言及したように、電流の強さの変更によって、発光スペクトル（波長に合わせることができる発光ダイオード）を変化させることができる。従って、同じ発光ダイオード又は発光ダイオード群を用いて、複数の異なる照射スペクトルを生成することが可能であり、それによって、必要な照明手段の数と、特に当該照明手段を配置するために必要な場所とを減少させることができる。後者は重要である。なぜなら、電磁ビームを送るために利用できる開口部は限定されているからである（例えば望ましくない影の形成といった問題）。さらに、このような方法で、例えば任意の第５の照射スペクトルが供給され得る。

さらなる実施形態によると、画像センサはカラーセンサであり、当該画像センサは、画像信号を生成するために、少なくとも２つ、好ましくは３つ又は４つの、互いに異なるスペクトルチャンネル又はスペクトル領域を有している。スペクトルチャンネルの数は、好ましくは、受光スペクトルの数に一致しており、各スペクトルチャンネルは、まさに受光スペクトルそれぞれに割り当てられている。カラーセンサは、スペクトルチャンネルとして、特に赤、緑及び青（ＲＧＢ）の色を有し得る。そのために、画像センサには、例えばベイヤー画像センサの原則に基づく、カラーフィルタマトリックスが設けられ得る。ベイヤー画像センサは、各画像領域内に、２つの同じ緑色スペクトルチャンネルを有する（ＲＧＢＧカラーフィルタマトリックス）か、又は、当該画像センサは、赤色スペクトルチャンネルと、第１の緑色スペクトルチャンネルと、第１の緑色スペクトルチャンネルとは異なる第２の緑色スペクトルチャンネルと、青色スペクトルチャンネルと（ＲＧ１ＢＧ２カラーフィルタマトリックス）、を有している。スペクトルチャンネルの別の配置、又は、スペクトルチャンネルの別の組み合わせも可能である。代替的又は付加的に、複数の異なる画像センサ（例えばフォビオンセンサとして）を用いることが可能である。さらに、エッジフィルタ及び複数の画像センサを有するビームスプリッタが考えられる。

すでに言及したように、照射周期内に生じる、複数の異なる照射スペクトルの内の１つと、複数の異なる受光スペクトルの内の１つとの組合せはそれぞれ、応答関数に対応しており、当該応答関数に関して、一次画像データセットは、各測定値を含んでいる。各反射スペクトルの十分に正確な算定又は近似に関して、十分な情報が存在するようにするためには、出願人の調査によると、各照射周期内で、少なくとも９つの異なる、互いに対して線形独立である応答関数が存在した方が良い。

これらの応答関数は、適切な反射率を有する被写体を検査する限りにおいて、応答関数がゼロとは異なる測定値を供給するように選択した方が良い。そのためには、複数の異なる照射スペクトルの内の少なくともいくつか、好ましくは全てが、複数の異なる受光スペクトルの全てと部分的に重なることが好ましい。言い換えると、照射スペクトルの少なくともいくつかに関して、（スペクトルの）延在領域は、受光スペクトルの延在領域に含まれる。このような方法で、少なくともいくつか、好ましくはそれぞれの照射スペクトルに関して、当該照射スペクトルで送られたビームの反射を検出する複数の互いに異なる受光スペクトルが存在し、評価され得ることを確実化することができる。特に、複数の異なる照射スペクトルの各帯域幅は、複数の異なる受光スペクトルの各帯域幅と部分的に重なり得る。従って、それぞれスペクトルで支配的な、その量に関して特に重要なスペクトル成分である領域が、重複し得る。それによって、典型的には、反射スペクトルを算定する際の正確性が向上し得る。

別の実施形態によると、各反射スペクトルは、複数の異なる照射スペクトル及び受光スペクトルの外側に位置する、少なくとも１つのスペクトル領域を有している。言い換えると、反射スペクトルは、冒頭に述べたように、様々な受光スペクトル又は照射スペクトルに直接は一致しないスペクトル領域にわたって延在し得る。このような方法で、マルチスペクトルに（のみ）分解する画像センサの使用にも関わらず、ハイパースペクトルに分解された反射スペクトルを検出する可能性が提供される。

各反射スペクトルの算定に関する上述の演算規則は、製造者側で一度決定し、その後で記憶装置に保存され得る。代替的、又は、付加的に、顕微鏡が演算規則を決定するように構成されていても良い。このような実施形態によると、例えば制御装置は、演算規則を顕微鏡の初期化動作モードにおいて決定し、その後で記憶装置に保存するように構成されている。このような方法で、例えば手術室において、具体的な視覚的条件が最適に考慮され得るので、決定された演算規則は、最小のエラーで反射スペクトルを近似するために特に適している。初期化動作モードの代わりに、観察動作モードを設け、観察動作モードにおいて、保存された演算規則を用いることも可能である。

当該演算規則は、反射スペクトルを必要に応じて算定する際に用いられる、内部の、特に固定的な関数であり得る。計算時間を最小化するために、前もって計算を行うことが可能であり、その場合、必要な計算結果は、顕微鏡の通常運転において、単に、表（「ルックアップテーブル」）から読み出せばよい。

好ましい実施形態によると、演算規則は、反射スペクトルの主要成分分析の複数の主要成分に基づいており、当該主要成分の数は、受光スペクトルの数と１周期の照射スペクトルの数との積と同じであるか、又は、積よりも小さい。主要成分の数が、受光スペクトルの数と照射スペクトルの数との積よりも小さい場合、ある程度の「重複情報」が生じる。なぜなら、演算規則を実施するための上述の積（方程式系の解）は、線形依存性が存在しない限りにおいて、ただ、主要成分の数と同じであれば良いからである。最終的に、過剰決定された方程式系が存在し、その過剰決定性又は冗長性の程度は、以下にさらに説明するように、解の妥当性を評価するために用いられる。

演算規則は、例えば以下のように導出され得る。

複数の既知の反射スペクトルに基づいて、主要成分分析が実施される。既知の反射スペクトルとしては、例えば２４マクベスカラーチェッカー反射スペクトル（ｎ＝２４）が考えられる。当該反射スペクトルはそれぞれ、５ｎｍ間隔で、３８０ｎｍから７８０ｎｍまでの８１の値を含み得る（ｍ＝８１）。当該反射スペクトルは、８１×２４次元の行列Ｒに配置可能であり、それに基づいて、行列Ｕ（８１×８１）、Σ（８１×２４）及びＶ（２４×２４）で、特異値分解が行われ得る：

は、特異値分解によって得られた、実数の８１次元ベクトル空間の正規直交基底である。次に、同じ空間に示されている（反射）スペクトル

それぞれは、以下のように表される：

ここで、スペクトル

を高い正確性で近似するためには、８１個の総和項の数を減少させても十分である。特に、スペクトル

を十分な正確性で近似するためには、最初の５個から１５個、特に好ましくは最初の９個の総和項（又は主要成分

）で十分である。最初の５個から１５個の総和項に基づく正確な近似が実施され得るのは、特に、スペクトル

が典型的に、周波数に関して平坦な推移を有する場合である。これは特に、特定の群の反射スペクトルに、例えば特定の群の有機組織タイプに当てはまる。

最初の９個の主要成分に基づいて、未知の反射スペクトル

を評価すべきである。そのために、各画像領域に関して、画像センサの応答関数

が存在しており、当該応答関数は、４つの照射スペクトルのそれぞれと、３つの受光スペクトルのそれぞれ（「センサ感度」）との乗法によって算定される。さらに、未知のスペクトル

の評価のために算定された画像信号

が存在しており、当該画像信号は、数学的には以下のように形成される：

によって、以下の過剰決定された線形方程式系が得られる：

近似されたスペクトル

は、以下のように生じる：

は、ここで、行列

のムーア‐ペンローズ逆行列（擬似逆行列）であり、

の特異値分解を用いて算定され得る。加えて、

の特異値の高さに基づいて、評価の妥当性に関する記述が行われ得る。例えば、方程式系

が劣決定されている可能性があるのは、

が、近似的に全ての階数は有しておらず、従って、

の１つ又は複数の特異値が非常に小さい場合である。この場合、応答関数は、

の線形依存の列ゆえに、可能な限り明確な、すなわち妥当な評価の意味における主要成分の影響を分離するのに、必ずしも非常に適しているとは言えない。すなわち、いずれの点において、未知のスペクトルの評価が、少なくとも数学的観点に基づいて納得できるものであると解釈され得るのかを、特異値に基づいて調べることができる。逆に、妥当な評価に関しては、可能な限り線形独立である、又は、互いに異なっている応答関数、すなわち

の線形独立の列が、利点を有している。

本発明に係る顕微鏡の演算規則は、特に、行列

を含むことが可能であり、それによって、反射スペクトルが、観察される画像領域の画像信号に基づいて、１周期の複数の一次画像データセットの全てを考慮して算定される。

一般的に表現すると、これは、上述の演算規則が、照射周期において、複数の異なる照射スペクトルに関して作成された一次画像データセットと、所定の数の独立した列を有する行列との乗法を含み得るということを意味している。この所定の数は、好ましくは少なくとも９であり、この数は、一方において、反射スペクトルの（近似的な）算定に際して十分に高い正確性を得るために十分であり、この行列の独立した列の数において、他方では、照射周期ごとの必要な照射スペクトルの数を少ない状態に維持することも可能である。

上述の行列は、独立した列の数よりも多い数の行を有することが可能であり、それによって、上述したように、検出された情報の過剰がもたらされる。９の独立した列の例では、１２の行を設けることが可能であり、これは、４つの照射スペクトルと３つの受光スペクトルとの組み合わせ（又はその逆）に相当し得る。

一実施形態によると、当該顕微鏡はさらに、電子画像安定化装置を有することが可能であり、当該電子画像安定化装置は、照射周期内に一次画像データセットを作成する際に生じる、撮影条件の差異を補償するために構成されている。

それによって、様々な照射スペクトルに関する一次画像データセットの作成と作成との間に、撮影条件が変化することによって生じ得る歪曲を、回避又は大幅に抑制することができる。このような撮影条件の変化は、例えば画像センサ上での、検査される被写体の結像場所のオフセットを含み得る（例えば顕微鏡の振動又は被写体の動きによる）ものであり、このような場所のオフセットは、例えば画像認識を通じて、計算によって補償され得る。さらに、このような撮影条件の変化は、例えば、ぶれ、回転、又は、拡大を含み得る。

好ましい一実施形態によると、当該顕微鏡は、実体顕微鏡として構成されている。当該実施形態では、反射スペクトルの算定が、２つのステレオチャンネルの内の一方のみに関して行われる場合、必要な計算時間を減少させることができる。さらに、ステレオチャンネルの一次画像データセットに対する修正は、対応する方法で、他方のステレオチャンネルに適用され得る。その結果、計算時間は、平面視の顕微鏡に対して、わずかに長くなるのみである。

以下に、本発明を添付の図面を用いて説明する。示されているのは以下の図である：

電子式の顕微鏡の概略的なブロック図である。 図１に係る顕微鏡の電子ビューファインダーに表示された画像を示す図である。

図１に概略的に示された電子式の顕微鏡１０（ここでは具体的に手術用顕微鏡）は、一次画像データセットを作成するための電子画像センサ１２を含んでいる。電子画像センサ１２は、それぞれ１つの像点又は互いに隣り合う像点の群を含み得る複数の画像領域に関して、電磁ビームの衝突に応じて、画像信号を生成するために構成されている。画像センサ１２によって、各画像領域に関して生成された画像信号は、複数の異なる受光スペクトルに対応しており、複数の画像領域に関する各一次画像データセットはそれぞれ、複数の受光スペクトルそれぞれの、少なくとも１つの画像信号を含んでいる。さらに、顕微鏡１０の撮影領域１６に配置された被写体１８（例えば手術の傷口）の画像を画像センサ１２上に作成するために、結像レンズ系１４が設けられている。結像レンズ系１４は、可変に設定され得る。

顕微鏡１０の照射装置２０は、可変照射スペクトルを有する電磁ビームを撮影領域１６に送るために構成されている。照射装置２０は、特に４つのＬＥＤ照明手段を有することが可能であり、当該照明手段は、作動の際に、所定の色、すなわち所定の照射スペクトルを有する光を放出する。

顕微鏡１０は、さらに制御装置２２を含んでおり、当該制御装置は、各照射周期において、照射装置２０を、複数の異なる照射スペクトルを有する電磁ビームを繰り返し送るために作動させ、画像センサ１２を、複数の異なる照射スペクトルのそれぞれに関する各一次画像データの作成のために作動させるように構成されている。従って、画像センサ１２は、各画像領域及び各照射スペクトルに関して、その数が上述の受光スペクトルの数に一致する複数の画像信号を生成する。

記憶装置２４には、演算規則が保存されており、当該演算規則は、画像信号に応じた、観察されたそれぞれの画像領域の反射スペクトルを表しており、当該画像信号は、画像センサ１２によって、複数の異なる受光スペクトルのそれぞれに関して、観察された各画像領域のために、複数の異なる照射スペクトルのそれぞれに関して生成されたものである。記憶装置２４は、演算ユニット２６に接続されており、当該演算ユニットは、複数の異なる照射スペクトルに関して、複数の画像領域の内のいくつか又は全てに関する保存された演算規則に従って作成された一次画像データセットから、反射スペクトルを算定し、複数の異なる照射スペクトルに関して作成された一次画像データセットを元に、算定された反射スペクトルに応じて、一次画像データセットに対して少なくとも部分的に修正された、少なくとも１つの二次画像データセットを算定するために構成されている。従って、算定された反射スペクトルは、結像レンズ系１４を用いた光学的結像では各画像領域に対応している被写体領域における、撮影領域１６に配置された被写体１８の反射率のスペクトル依存性を表している。

制御装置２２は、顕微鏡１０の電子ビューファインダー２８を、二次画像データセットに対応する画像を表示するために作動させるように構成されている。具体的には、制御装置２２は、電子表示装置２９を作動させる。当該電子表示装置は、接眼レンズ３０ａ、３０ｂを通して、顕微鏡１０の図示されていない利用者によって観察され得る。

図２には、電子ビューファインダー２８のコンフィギュレーション動作モードにおいて、利用者に表示され得る表示画像が示されている。右側には、画像３２が示されており、画像３２は、照射周期に関して作成された一次画像データセット、又は、照射周期に関して作成された一次画像データセットの内の複数若しくは全てを組み合わせたものに対応している。画像３２は、特にトゥルーカラーで表示され得る。左側には、互いに異なる二次画像データセットに対応する複数の画像３４が表示されている。認識されるように、画像３４は利用者に、画像３２の、スペクトルが異なる、フィルタ処理済のバージョンとして示されており、これらの画像は、それぞれ主観的に変更された被写体１８（ここでは手術の傷口）の観察を可能にする。これらの異なる画像３４又は二次画像データセットはそれぞれ、各画像領域における、算定された（完全な）反射スペクトルのスペクトル部分、すなわちバンドパスフィルタに対応する。これらの様々な画像３４は、少なくとも概ね各スペクトル部分に対応するカラーで、又は、様々な疑似カラーで、又は、それぞれ、グレースケールで表示され得る。複数の画像３４から、利用者は、自身が好む画像３４を選択し（例えば詳細には示されていない選択装置を用いて、例えばマウスクリックによって）、それによって、割り当てられた二次画像データセットを選定することができる。これによって、最終的に、各一次画像データセットの修正に用いられるべきフィルタデータセットが選択される。

その後で、利用者は、観察動作モードに切り替えることが可能であり、観察動作モードでは、専ら、選択された二次画像データセットに対応する画像が、特に表示装置２９の大きさに適応した大きさで表示される。利用者は、このような方法で、自身の主観的な必要のために最適な、又は、構造条件に関して最適な修正バージョンを選択することが可能であり、それによって、最終的に、実施される手術の質が改善し得る。

このような、利用者が制御する選択に代えて、二次画像データセットの選択（図２に係る電子ビューファインダー２９に前もって表示せずに）を、１つ又は複数の算定された反射スペクトルに基づいて、自動的に行うことも可能である。それによって、顕微鏡の利用を、さらに快適にすることができる。特に、各画像領域に関して算定された反射スペクトルを、複数の既知の、記憶装置２４に保存された反射スペクトルと比較することが可能であり、それによって、既知の反射スペクトルのいずれが、算定された反射スペクトルに相当するかが識別される。これは、例えば数学的近似法を用いて行うことが可能である。既知の反射スペクトルそれぞれに関して、記憶装置２４内には、付加的に、各規則が保存可能であり、当該規則に従って、一次画像データセットが修正され、二次画像データセットが算定される。それによって、例えば、識別された反射スペクトルに対応する特定のタイプの組織が、電子ビューファインダー２９において、より良好に描写され得る。

拡大された実施形態によると、このような方法で、複数の様々なタイプの組織を識別し、例えば異なる着色を通じて異なる描写を行うことも可能である。代替的又は付加的に、上述した既知の反射スペクトルの識別と関連して、識別された反射スペクトルが、算定された反射スペクトルに実際に対応している確率を表す確率値を算定することも可能である。従って、様々な算定された確率値は、該当する画像領域を、対応して異なる色に着色するために使用され得る。

図２の描写とは異なり、二次画像データセットを、いくつかの（すなわち、全てではない）画像領域に関してのみ、一次画像データセットに対して修正し、対応して変更された描写方法において、電子ビューファインダー２９に表示することも可能である。これらの画像領域は、例えば、つながっている平面領域又は平面領域の縁取りを形成し得る。このような平面領域は例えば、被写体１８の画像内で識別された組織のタイプに対応し得る。該当する画像領域を、例えば別の画像領域に対して、色によって際立たせることが可能である。

１０ 顕微鏡
１２ 画像センサ
１４ 結像レンズ系
１６ 撮影領域
１８ 被写体
２０ 照射装置
２２ 制御装置
２４ 記憶装置
２６ 演算ユニット
２８ 電子ビューファインダー
２９ 表示装置
３０ａ 接眼レンズ
３０ｂ 接眼レンズ
３２ 画像
３４ 画像

Claims (22)

1. 電子式の顕微鏡、特に手術用顕微鏡であって、
   −複数の異なる受光スペクトルに対応する画像信号を生成するために構成された、一次画像データセットを作成するための少なくとも１つの電子画像センサ（１２）であって、複数の画像領域に関する各一次画像データセットが、それぞれ少なくとも１つの、複数の受光スペクトルのそれぞれの画像信号を含んでいる、少なくとも１つの電子画像センサ（１２）と、
   −顕微鏡の撮影領域（１６）に配置された被写体（１８）の画像を、少なくとも１つの前記画像センサ（１２）上に生成するための結像レンズ系（１４）と、
   −電子ビューファインダー（２８）と、
   −可変照射スペクトルを有する電磁ビームを、前記撮影領域（１６）に送るために構成された照射装置（２０）と、
   −前記照射装置（２０）を、複数の異なる照射スペクトルを有する前記電磁ビームを周期的に繰り返して送るために作動させ、少なくとも１つの前記画像センサ（１２）を、前記複数の異なる照射スペクトルのそれぞれに関して、各一次画像データセットを作成するために作動させるように構成された制御装置（２２）と、
   −演算規則が保存されている記憶装置（２４）であって、前記演算規則は、前記画像信号に応じた、観察される画像領域の反射スペクトルを表しており、前記画像信号は、前記観察される画像領域について、前記複数の異なる照射スペクトルのそれぞれに対応する前記複数の異なる受光スペクトルのそれぞれに関して作成されたものである記憶装置（２４）と、
   −前記複数の異なる照射スペクトルに関して作成された一次画像データセットから、複数の画像領域の内の少なくともいくつかの画像領域に関する、保存された前記演算規則を用いて、各反射スペクトルを算定し、前記複数の異なる照射スペクトルに関して作成された一次画像データセットをもとに、算定された各反射スペクトルに応じて、前記一次画像データセットに対して少なくとも部分的に修正された、少なくとも１つの二次画像データセットを算定するために構成されている演算ユニット（２６）と、
   を含んでおり、
   前記制御装置（２２）が、前記電子ビューファインダー（２８）を、前記少なくとも１つの二次画像データセットに対応する画像を表示するために作動させるように構成されている電子式の顕微鏡。
2. 前記電子式の顕微鏡が選択装置を有しており、前記選択装置を用いて、所望の観察スペクトルが選択可能であり、前記少なくとも１つの二次画像データセットは、選択された観察スペクトルに基づいて、前記一次画像データセットに対して修正されている、請求項１に記載の電子式の顕微鏡。
3. 少なくともいくつかの画像領域に関する、前記少なくとも１つの二次画像データセットが、前記選択された観察スペクトル内で、前記撮影領域（１６）に配置された前記被写体（１８）の反射率を表している、請求項２に記載の電子式の顕微鏡。
4. 前記電子式の顕微鏡が、評価装置を有しており、
   前記算定された各反射スペクトルは、前記被写体（１８）の少なくとも１つの特性に関して、前記評価装置を用いて評価可能であり、前記少なくとも１つの二次画像データセットは、少なくとも１つの評価された被写体特性に基づいて、前記一次画像データセットに対して修正されている、請求項１から３のいずれか一項に記載の電子式の顕微鏡。
5. 少なくともいくつかの画像領域に関する、前記少なくとも１つの二次画像データセットが、前記少なくとも１つの評価された被写体特性を表している、請求項４に記載の電子式の顕微鏡。
6. 前記電子式の顕微鏡が、評価装置を有しており、
   前記算定された各反射スペクトルは、前記被写体（１８）の少なくとも１つの特性に関して、前記評価装置を用いて評価可能であり、前記少なくとも１つの二次画像データセットは、少なくとも１つの評価された被写体特性に基づいて、前記一次画像データセットに対して修正されており、前記選択装置は、前記少なくとも１つの評価された被写体特性に基づいて、前記観察スペクトルを自動的に選択するために構成されている、請求項２に記載の電子式の顕微鏡。
7. 前記選択装置が、利用者によって、前記電子式の顕微鏡の動作中に作動可能である、請求項２から５のいずれか一項に記載の電子式の顕微鏡。
8. 前記演算ユニット（２６）が、フルスクリーン動作モードにおいて、複数の画像領域のそれぞれに関して、各反射スペクトルを算定するために構成されている、請求項１から７のいずれか一項に記載の電子式の顕微鏡。
9. 前記電子ビューファインダー（２８）が、少なくとも標準動作モード又はフィルタ動作モードにおいて選択的に動作可能であり、前記制御装置（２２）は、前記電子ビューファインダー（２８）を、
   −前記標準動作モードでは、１つ又は複数の前記各一次画像データセットに対応する画像を表示するように作動させ、
   −前記フィルタ動作モードでは、前記少なくとも１つの二次画像データセットに対応する画像を表示するように作動させる、請求項１から８のいずれか一項に記載の電子式の顕微鏡。
10. 前記制御装置（２２）が、前記電子ビューファインダー（２８）を、コンフィギュレーション動作モード又は観察動作モードにおいて選択的に動作させるように構成されており、前記制御装置（２２）は、
    −前記コンフィギュレーション動作モードでは、前記電子ビューファインダー（２８）を、互いに異なる二次画像データセットに対応する複数の画像であって、そこから二次画像データセットが選択され得る複数の画像を同時に表示するように作動させ、
    −前記観察動作モードでは、前記電子ビューファインダー（２８）を、選択された二次画像データセットに対応する画像のみを表示するために作動させるように構成されている、請求項１から９のいずれか一項に記載の電子式の顕微鏡。
11. 前記照射スペクトルが、不連続及び／又は連続的に可変である、請求項１から１０のいずれか一項に記載の電子式の顕微鏡。
12. 前記照射装置（２０）が、それぞれ異なる照射スペクトルを有する複数の照明手段を有しており、前記制御装置は、前記照射スペクトルを不連続に変化させるために、前記照明手段を交互に作動するように調整されている、請求項１から１１のいずれか一項に記載の電子式の顕微鏡。
13. 前記照射装置（２０）が、少なくとも１つの発光ダイオードを有しており、その照射スペクトルが、異なるエネルギー供給によって可変である、請求項１から１２のいずれか一項に記載の電子式の顕微鏡。
14. 少なくとも１つの前記画像センサ（１２）がカラーセンサであり、前記画像センサ（１２）は、前記画像信号を生成するために、少なくとも２つ、好ましくは３つ又は４つの、互いに異なるスペクトルチャンネルを有している、請求項１から１３のいずれか一項に記載の電子式の顕微鏡。
15. 少なくとも１つの前記画像センサ（１２）が、赤色のスペクトルチャンネル、第１の緑色のスペクトルチャンネル、前記第１の緑色のスペクトルチャンネルとは異なる第２の緑色のスペクトルチャンネル、及び、青色のスペクトルチャンネルを有している、請求項１から１４のいずれか一項に記載の電子式の顕微鏡。
16. 前記複数の異なる照射スペクトルのそれぞれと、前記複数の異なる受光スペクトルのそれぞれとの各組み合わせは、応答関数に対応しており、各照射周期内には、少なくとも９つの異なる、互いに対して線形独立である応答関数が設けられている、請求項１から１５のいずれか一項に記載の電子式の顕微鏡。
17. 前記複数の異なる照射スペクトルの内の少なくともいくつか、好ましくは全てが、前記複数の異なる受光スペクトルの全てと部分的に重なる、請求項１から１６のいずれか一項に記載の電子式の顕微鏡。
18. 前記算定された各反射スペクトルが、少なくとも１つのスペクトル領域を有しており、前記スペクトル領域は、前記複数の異なる照射スペクトル及び前記複数の異なる受光スペクトルの外側に位置している、請求項１から１７のいずれか一項に記載の電子式の顕微鏡。
19. 前記制御装置（２２）が、前記顕微鏡の初期化動作モードにおいて、前記演算規則を決定し、前記記憶装置（２４）に保存するために構成されている、請求項１から１８のいずれか一項に記載の電子式の顕微鏡。
20. 前記演算規則が、複数の反射スペクトルの主要成分分析の複数の主要成分に基づいており、前記主要成分の数は、受光スペクトルの数と照射周期の照射スペクトルの数との積と同じであるか、より少ない、請求項１から１９のいずれか一項に記載の電子式の顕微鏡。
21. 前記演算規則が、照射周期内に、前記複数の異なる照射スペクトルに関して作成された一次画像データセットと、少なくとも９つの独立した列を有する行列との乗法を含んでいる、請求項１から２０のいずれか一項に記載の電子式の顕微鏡。
22. 前記顕微鏡がさらに、電子画像安定化装置を有しており、前記電子画像安定化装置は、照射周期内に前記一次画像データセットを作成する際に生じる、撮影条件の差異を補償するために構成されている、請求項１から２１のいずれか一項に記載の電子式の顕微鏡。