JP2017528762A

JP2017528762A - デジタル顕微鏡の色再現を修正する方法、ならびにデジタル顕微鏡

Info

Publication number: JP2017528762A
Application number: JP2017511316A
Authority: JP
Inventors: ガイドクアレクサンダー; ゲッツブルクハルト; カリニンスタニスラフ; ワッケミハエル; イエーガーマルクス
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2014-08-27
Filing date: 2015-08-25
Publication date: 2017-09-28
Anticipated expiration: 2035-08-25
Also published as: US10567719B2; EP3186673A1; CN106605162A; WO2016030366A1; US20170264876A1; JP6552604B2; EP3186673B1; DE102014112285A1; CN106605162B

Abstract

本発明は、デジタル顕微鏡の色再現の色を修正する方法、ならびにデジタル顕微鏡に関する。本発明による方法の第１のステップで、顕微鏡検査されるべき試料のカラー画像が撮影される。撮影時に、試料を照明する顕微鏡照明の波長依存的な特性（０２；０３）が顕微鏡照明の状態を表すために判定され、それは、顕微鏡照明で選択されている設定が検出されることによる。次のステップで、撮影時に判定された顕微鏡照明の状態に応じて選択される、顕微鏡照明の状態に割り当てられた１セットの修正値（０８）が決定される。次のステップで、撮影された試料のカラー画像の色が事前に決定されたセットの修正値（０８）を適用することで修正される。

Description

本発明は、まず、デジタル顕微鏡の色再現の色を修正する方法に関する。この方法により、顕微鏡検査されるべき試料の色に忠実な再現が可能となる。すなわちこれは、デジタル顕微鏡のカラーマネージメントをする方法である。さらに本発明は、色修正のために構成された画像処理ユニットを有するデジタル顕微鏡に関する。

米国特許出願公開第２０１３／００４４２００Ａ１号明細書は、顕微鏡用のスライドで色修正をするシステムを示している。試料を担持するスライドが、複数のカラーレファレンスを追加的に有している。カラーレファレンスが試料と一緒に照明されて、顕微鏡により撮影される。撮影されたカラーレファレンスを参照して、撮影された画像の色修正が行われる。

米国特許第８，２３８，５３４Ｂ２号明細書は、顕微鏡照明に暴露される光学素子を検出するためのユニットを含む、顕微鏡検査をする装置を教示している。そのつど検出される光学素子に応じて、色修正に関するパラメータが記憶装置から読み出され、それにより、顕微鏡の撮像ユニットによって撮影された画像の色修正を行う。

米国特許出願公開第２０１４／００５５５９２Ａ１号明細書より、スライドの上にカラーフィルタ区画が配置される、透過光顕微鏡法用のスライドで色修正をするためのシステムが公知である。撮影される画像の色修正を実行するために、カラーフィルタ区画が顕微鏡照明により透過照明されて撮影される。

日本国特許第４３１１９４５号明細書は、撮影されたビデオ信号の色相と色飽和の修正が、事前に決定される係数との乗算によって行われる、顕微鏡法のための電子カメラを示している。

日本国特許第４２１７４９４号明細書より、可能な多数の色階調のなかから適切な色階調がプロセッサを用いて選択される、顕微鏡のための電子カメラが公知である。

欧州特許第２２０４９８０Ｂ１号明細書は、撮像装置により第１および第２の画像データが検出される、顕微鏡のための画像処理システムを示している。ＲＧＢ補間ユニットを用いて、そこから第１の補間されたＲＧＢ画像データおよび第２の補間されたＲＧＢ画像データが生成される。第１の補間されたＲＧＢ画像データは、第２の補間されたＲＧＢ画像データの色修正のために利用されるカラーマトリクスと勾配パラメータを計算するために色修正される。

米国特許出願公開第２０１２／００５０７２７Ａ１号明細書は、たとえば顕微鏡として構成され、結像されるべき試料の画像を修正する役目を果たす修正ユニットを含む結像システムを示している。この修正は、分光センサで検出されたスペクトル情報に依拠する。

米国特許出願公開第２０１１／０２４９１５５Ａ１号明細書は、特に顕微鏡として構成され、結像されるべき試料のラインセンサにより撮影される画像を修正する役目を果たす色相修正ユニットを含む撮像システムを示している。この修正は、分光センサで検出されたスペクトル情報に依拠する。

米国特許出願公開第２００８／００１８７３５Ａ１号明細書は、カメラ特性から計算された色修正マトリクスが適用される顕微鏡撮影装置を教示する。カメラ特性は記憶装置に保存されており、撮影される画像の背景から決定される、画像コンバータのスペクトル感度に関する指定事項を含んでいる。

ドイツ特許出願公開第１０２００５０３１１０４Ａ１号明細書より、自動式の顕微鏡の色に忠実な画像再現をする方法が公知である。この方法では光源の制御に関するパラメータが検出されて、初回の使用開始時にこれを光源の測定されたスペクトル分布に割り当て、この割当情報を以後の定期的な動作のときに光源のコントロールされた制御のために利用する。さらに、判定されたスペクトル誤差の補正が、光源のスペクトル分布に合わせたモニタ画像のスペクトル分布の適合化によって行われる。

本発明の課題は、従来技術を前提としたうえで、デジタル顕微鏡の色再現の色の修正を改善して、顕微鏡検査されるべき試料の色に忠実な再現を可能にすることにある。

上述の課題は、添付の請求項１に記載の方法によって解決され、ならびに、添付の並置された請求項１０に記載のデジタル顕微鏡によって解決される。

本発明による方法は、デジタル顕微鏡の色再現の色を修正する役目を果たす。デジタル顕微鏡では電子式の画像変換が行われ、撮影された画像がデジタルデータの形態で再処理されて、表示をするために電子式の画像再生装置へ送られる。

本発明による方法の第１のステップで、デジタル顕微鏡により顕微鏡検査されるべき試料のカラー画像が撮影される。このカラー画像が色修正の対象となる。撮影時に、試料を照明する顕微鏡照明の波長依存的な特性が顕微鏡照明の状態を表すために判定され、それは、顕微鏡照明で選択されている設定が検出されることによる。本方法のこのステップは、実現されるべき撮影に合わせた適合化のために顕微鏡照明を変更可能であることを考慮するものである。たとえば照明強度を変えることができ、あるいは、明視野照明や暗視野照明のような特定の種類の照明を選択することができ、あるいは、さまざまに異なる個別光源を選択してアライメントすることができる。このように、顕微鏡照明で選択されている設定は、パラメータ設定および／またはコンフィギュレーションの選択を含んでいる。顕微鏡照明の設定および／または波長依存的な特性が１つまたは複数の記憶装置に保存されるのが好ましく、それにより、設定の検出は記憶装置の読出を含むことになる。顕微鏡照明から放出される照明光が分光測定されることにより、設定を間接的に検出することもできる。たとえば小型分光器や、小型多波長画像センサが用いられる。設定はその総体において、本発明に基づいて設定の検出により把握される顕微鏡照明の状態をもたらす。顕微鏡照明の異なる状態は、それが顕微鏡照明の異なる波長依存的な特性をもたらすことによって特徴づけられる。特に、顕微鏡照明によって試料で引き起こされる電磁放射の放射強度は波長依存的である。

本発明による方法の次のステップで、１セットの修正値が決定される。修正値のセットは、たとえば１つのフィールドによって、好ましくは１つまたは複数のベクトルによって、または修正値の１つまたは複数のマトリクスによって形成される。修正値は修正係数である。決定されるべき修正値のセットは、撮影時に判定された顕微鏡照明の状態に応じて選択される顕微鏡照明の状態に割り当てられ、すなわち、決定されるべき修正値のセットは、撮影時に判定された顕微鏡照明の状態に応じて選択され、そのために、割り当てられた状態が基準としての役目を果たす。決定されるべき修正値のセットは、顕微鏡照明の割り当てられた状態のときに撮影された撮影画像の色修正を行うのに適している。決定されるべき修正値のセットにより、事前に撮影された試料のカラー画像を色修正することができる。

本発明による方法の次のステップで、撮影された試料のカラー画像の色が、事前に決定された修正値のセットを適用することで修正される。その結果、撮影された試料の色修正された画像が得られる。色修正はホワイトバランス補正も含んでいるのが好ましい。

本発明による方法の１つの特別な利点は、デジタル顕微鏡で撮影される画像の色修正のために、顕微鏡照明の波長依存的なスペクトル特性が、そのつど最新の設定された状態で考慮されることにある。

本発明による方法の好ましい実施形態では、顕微鏡の光学撮影装置の波長依存的な特性も考慮される。光学撮影装置は、光学系と電子画像コンバータとを含んでいる。光学系は、たとえば対物レンズ、絞り、およびズーム光学系を含んでいる。画像コンバータは、センサまたは画像センサと呼ぶこともできる。この好ましい実施形態では、顕微鏡検査されるべき試料のカラー画像の撮影時に、光学撮影装置の波長依存的な特性が光学撮影装置の状態を表すためにさらに判定され、それは、光学撮影装置で選択されている設定が検出されることによる。異なる設定により、たとえば異なるパラメータ設定により、あるいは光学系の異なるコンフィギュレーションにより、光学撮影装置の異なる状態が与えられ、これらの状態で光学撮影装置は異なる波長依存的な特性を有している。光学撮影装置で選択されているこのような設定が、顕微鏡照明で選択されている設定とともに検出される。光学撮影装置の設定および／または波長依存的な特性は、１つまたは複数の記憶装置に保存されるのが好ましく、それにより、設定の検出は記憶装置の読出しを含むことになる。この好ましい実施形態では、決定されるべき修正値のセットがさらに光学撮影装置の状態に割り当てられる。すなわち決定されるべき修正値のセットが、顕微鏡照明の状態と光学撮影装置の状態とに割り当てられる。決定されるべき修正値のセットに割り当てられる光学撮影装置の状態が、撮影時に判定された光学撮影装置の状態に応じて選択される。決定されるべき修正値のセットは、顕微鏡照明の割り当てられた状態および光学撮影装置の割り当てられた状態で撮影される撮影画像の色修正を行うのに適している。決定されるべき修正値のセットは、事前に撮影された試料のカラー画像をこれによって修正するのに適している。この好ましい実施形態の１つの利点は、色再現に影響を及ぼすデジタル顕微鏡のすべてのコンポーネントの波長依存的な特性が考慮されることにある。以下においては、光学撮影装置の波長依存的な特性が考慮されるのが好ましいが必ず考慮されるわけではない、好ましい実施形態について説明する。

修正値のセットの決定は、保存されている顕微鏡照明の異なる状態および場合により光学撮影装置の異なる状態に割り当てられた複数のセットの修正値から、少なくとも１つのセットの修正値が選択される部分ステップを含んでいるのが好ましい。このとき、選択される修正値のセットに割り当てられた顕微鏡照明の状態は、撮影時に判定された顕微鏡照明の状態にもっとも近い。光学撮影装置の波長依存的な特性が考慮されるときは、選択される修正値のセットに割り当てられた光学撮影装置の状態も、撮影時に判定された光学撮影装置の状態にもっとも近い。すなわち、顕微鏡照明および場合により光学撮影装置の判定された状態が、保存されているセットに割り当てられた顕微鏡照明および場合により光学撮影装置の状態と比較されて、互いに適合する状態を見出し、それにより、撮影された画像の色修正をするのに適した少なくとも１つのセットの修正値が選択される。

第１の群の好ましい実施形態では、選択された修正値のセットが決定されるべき修正値のセットとしてそのまま利用され、それにより、選択されたセットの修正値が、撮影された画像の色修正のためにそのまま利用される。このような第１の群の好ましい実施形態が適しているのは、特に、選択されたセットの修正値に割り当てられている顕微鏡照明の状態が、撮影時に判定された顕微鏡照明の状態に等しい場合であり、光学撮影装置の波長依存的な特性が考慮されるケースでは、選択されたセットの修正値に割り当てられている光学撮影装置の状態が、撮影時に判定された光学撮影装置の状態に等しい場合である。

第２の群の好ましい実施形態では、修正値のセットの決定は、選択されたセットの修正値が適合化され、そこから決定されるべき修正値のセットを得る部分ステップをさらに含んでいる。この適合化は外挿によって構成されるのが好ましい。このような第２の群の好ましい実施形態が適しているのは、特に、選択されたセットの修正値に割り当てられている顕微鏡照明の状態が、撮影時に判定された顕微鏡照明の状態に近いものでしかない場合であり、および／または、光学撮影装置の波長依存的な特性が考慮されるケースでは、選択されたセットの修正値に割り当てられている光学撮影装置の状態が、撮影時に判定された光学撮影装置の状態に近いものでしかない場合である。

第３の群の好ましい実施形態では、顕微鏡照明の保存されている異なる状態および場合により光学撮影装置の異なる状態に割り当てられた複数のセットの修正値から少なくとも２つのセットの修正値が選択され、そこから決定されるべき修正値のセットを間接的に得る。そのために、修正値のセットの決定は、両方の選択されたセットの修正値が補間され、補間の結果が、決定されるべき修正値のセットとなる部分ステップをさらに含んでいる。第３の群の好ましい実施形態が適しているのは、特に、撮影時に判定された顕微鏡照明の状態が、定量的に、両方の選択されたセットの修正値の状態の間に位置している場合であり、ないしは、検出された光学撮影装置の状態が、定量的に、両方の選択されたセットの修正値の状態の間に位置している場合である。両方の選択されたセットの修正値は、たとえば、顕微鏡照明ないし光学撮影装置で選択されている設定の極値に相当する、顕微鏡照明ないし光学撮影装置の状態に割り当てられていてよい。

本発明による方法は、カラーファミリーを適用したうえで好ましく実施される。カラーファミリーは、色再現によって表示可能な色からの選択をそれぞれ含んでいる。この実施形態では、修正値のセットを決定するために、まず撮影された画像に現れている色値が決定されて、事前に規定される複数のカラーファミリーのうちの１つに該色値が割り当てられる。顕微鏡照明の保存されている異なる状態、および場合により撮影装置の異なる状態に割り当てられた修正値のセットが、事前に規定されるカラーファミリーのうちの１つにそれぞれ割り当てられる。選択された修正値のセットが、撮影された画像に割り当てられたカラーファミリーに割り当てられる。このとき選択された修正値のセットは、特に、当該カラーファミリーが色を修正するために適している修正値だけを含んでいる。この実施形態は、すべての可能な色の限られた選択について修正値が存在するだけでよいので、比較的少量のデータを処理できるという利点を有する。

別の好ましい実施形態では、修正値のセットに割り当てられたカラーファミリーが完全ではないことが前提とされる。これらの実施形態では、修正値のセットを決定するために、やはりまず撮影された画像に現れている色値が決定されて、事前に規定される複数のカラーファミリーのうちの１つに該色値が割り当てられる。カラーファミリーは、色再現によって表示可能な色からの選択をそれぞれ含んでいる。顕微鏡照明の保存されている異なる状態、および場合により光学撮影装置の異なる状態に割り当てられた修正値のセットが、カラーファミリーのうちの１つにそれぞれ割り当てられ、修正値の選択されたセットが、撮影された画像に割り当てられるカラーファミリーにもっとも近いカラーファミリーに割り当てられる。

顕微鏡照明の保存されている異なる状態、および場合により光学撮影装置の異なる状態に割り当てられる修正値のセットは事前に、すなわち顕微鏡検査されるべき試料の画像が撮影される前に、判定されるのが好ましい。このような修正値のセットの判定は、試料の顕微鏡検査の前に実施されるキャリブレーション工程で行われるのが好ましい。

修正値のセットの判定、すなわちキャリブレーション工程は、複数の部分ステップを含んでいるのが好ましい。１つの部分ステップで、顕微鏡照明の複数の状態における顕微鏡照明の波長依存的な特性が、顕微鏡照明で選択されている設定を割り当てたうえで検出される。光学撮影装置の波長依存的な特性が考慮される場合には、光学撮影装置の複数の状態における光学撮影装置の波長依存的な特性が、光学撮影装置で選択されている設定を割り当てたうえで検出される部分ステップも行われる。次の部分ステップで、顕微鏡照明の複数の状態のうちの各々で、および場合により光学撮影装置の複数の状態の各々で、カラーレファレンスの少なくとも１つのカラー画像がデジタル顕微鏡でそれぞれ撮影される。カラーレファレンスとは標準化された色再現をするための装置であり、たとえばカラーレファレンスカードに配置された色区画である。複数のカラーレファレンスを同時に撮影することもできる。次の部分ステップで、顕微鏡照明の複数の状態について、および場合により光学撮影装置の複数の状態について、カラーレファレンスの色に忠実な再現のための顕微鏡照明のそのつどの状態および場合により光学撮影装置のそのつどの状態で撮影された画像の修正を表す、それぞれ１セットの修正値が決定される。このように修正値は、顕微鏡照明の波長依存的な特性、および場合により光学撮影装置の波長依存的な特性を考慮したうえで決定される。修正値の各々のセットが、顕微鏡照明の状態および場合により光学撮影装置の状態のうちの１つに割り当てられる。

キャリブレーション工程では、画像すなわち画像の色がＲＧＢフォーマットで処理されるのが好ましい。

代替的な好ましい実施形態では、複数のセットの修正値が事前に決定されるキャリブレーション工程は行われない。その代わりに、１セットの修正値が試料の顕微鏡検査中に決定される。このような修正値のセットの決定は、試料を照明する顕微鏡照明の波長依存的な特性を考慮したうえで、および場合により試料を撮影する光学撮影装置の波長依存的な特性を考慮したうえで、当該セットが計算されることによって行われる。すなわち、波長依存的な照明および場合により波長依存的な光学処理のシミュレーションが行われる。したがって、シミュレーションによって修正値のセットが得られる。この修正値は、試料の色の、色に忠実な再現のために、試料を照明する顕微鏡照明の波長依存的な特性および場合により試料を撮影する光学撮影装置の波長依存的な特性を生じさせたうえで撮影される画像の修正を表す。

試料の顕微鏡検査中にシミュレーションによって修正値のセットを決定するとき、色はそれぞれスペクトルによって表されるのが好ましい。

試料を照明する顕微鏡照明の波長依存的な特性を考慮したうえでの、および場合により試料を撮影する光学撮影装置の波長依存的な特性を考慮したうえでの、修正値のセットの決定は、顕微鏡検査中に代えて、顕微鏡検査から時間的に間隔をおいて行うこともでき、そのために、少なくとも１つのセットの修正値が事前に保存される。このとき、複数のセットの修正値が事前に計算されて保存されるのが好ましい。

顕微鏡照明の波長依存的な特性は、顕微鏡照明のスペクトルによって表されるのが好ましい。それに応じて、場合により光学撮影装置の波長依存的な特性も、光学撮影装置の少なくとも１つのスペクトルによって表される。

上述したスペクトルは、スペクトル推移の多数のサンプリング点によって、たとえば２００個のサンプリング点によって、それぞれ表されるのが好ましい。

顕微鏡照明の異なる状態のとき、顕微鏡照明は異なる波長依存的な特性を有しており、特に異なる強度を個々のスペクトル領域で有している。また、顕微鏡照明は複数の状態で、特に照明強度の異なる値を有している。また、顕微鏡照明は複数の状態で、試料に投げかけられる光の異なる放射方向を有するのが好ましい。

光学撮影装置は複数の状態で、異なる焦点距離を有しているのが好ましい。また、光学撮影装置は複数の状態で、対物レンズの異なるコンフィギュレーション、たとえば異なる交換用対物レンズを有するのが好ましい。また、光学撮影装置は複数の状態で、画像コンバータの異なるコンフィギュレーション、たとえば異なる交換用画像コンバータを有するのが好ましい。

顕微鏡照明で選択されている設定は、顕微鏡照明により放出される照明光がスペクトル測定されることによって検出されるのが好ましい。そのために、小型分光器または小型多波長画像センサによって構成されるのが好ましい、少なくとも１つの波長感度のあるセンサが利用される。波長感度のある１つのセンサ、ないし波長感度のある複数のセンサはデジタル顕微鏡に、たとえば顕微鏡照明、対物レンズ、または光学モジュールなどに、組み込まれているのが好ましい。また、波長感度のある１つのセンサ、ないし波長感度のある複数のセンサのうちの１つもしくは複数は、顕微鏡の試料支持体または架台に配置されるのが好ましく、それは特に、顕微鏡照明を入射する外部の光の形態で、たとえば明かりや日光の形態で測定できるようにするためである。少なくとも１つの波長感度のあるセンサを用いて、照明光のスペクトルデータを要請に応じて、または初期化中に、またはキャリブレーション中に、または事前に決められた時点で判定し、たとえばＰＣで、またはデジタル顕微鏡のＥＰＲＯＭもしくは記憶装置で、または対物レンズのＥＰＲＯＭもしくは記憶装置で、これを一時的に保存することができる。波長感度のある複数のセンサのうち１つまたは複数が試料支持体または顕微鏡の架台に配置される場合、このことは、顕微鏡照明がたとえば日光または試料を照らすその他の光源によって構成されているときにも、波長感度のある複数のセンサを配置するための他のオプションと共同での修正値の判定を可能にする。その意味で、顕微鏡照明で選択されている設定は、日光または試料を照らすその他の光源に対する顕微鏡のアライメントも含んでいる。少なくとも１つの波長感度のあるセンサは、たとえばキャリブレーションされた外部の光源を用いて、事前にキャリブレーションされるのが好ましい。

顕微鏡照明の波長依存的な特性は、デジタル顕微鏡に配置された記憶装置で保存され、呼出可能であるのが好ましい。対物レンズの波長依存的な特性は、特にその対物レンズが交換用対物レンズである場合、対物レンズに配置された記憶装置で保存されるのが好ましい。画像コンバータの波長依存的な特性は、デジタル顕微鏡に配置された記憶装置で保存されるのが好ましい。

顕微鏡照明で選択されている設定は、照明強度の設定、個別光源での選択、顕微鏡照明ないし個別光源のアライメント、照明絞りの設定、および／または暗視野照明や明視野照明のような照明形式の選択によって構成されるのが好ましい。顕微鏡照明で選択される設定は、別案として、顕微鏡照明を設定するための設定部材が読み出されることによって、すなわち、そのような設定部材が顕微鏡照明で選択されている設定の検出のためにも直接利用されることによって、検出することができるのが好ましい。この実施形態は、顕微鏡検査されるべき試料が撮影されるときに顕微鏡照明の測定をしなくてよいという利点を有する。

光学撮影装置で選択される設定は、交換用対物レンズの選択、交換用画像コンバータの選択、撮影絞りの設定、および／または焦点距離の設定によって構成されるのが好ましい。

本発明によるデジタル顕微鏡は、少なくとも１つの光学撮影装置と、顕微鏡照明と、本発明による方法を実施するためにコンフィギュレーションされた画像処理ユニットとを含んでいる。画像処理ユニットは、本発明による方法の好ましい実施形態を実施するためにコンフィギュレーションされているのが好ましい。それ以外の点では、本発明によるデジタル顕微鏡は、本発明による方法およびその好ましい実施形態との関連で説明した構成要件を有している。特にデジタル顕微鏡は、顕微鏡照明により放出される照明光のスペクトル測定をするために波長感度のあるセンサを含んでいるのが好ましい。

本発明のその他の利点、詳細、および発展例は、図面を参照して行う本発明の好ましい実施形態についての以下の説明から明らかとなる。図面は次のものを示す：

本発明による方法の第１の好ましい実施形態に基づいて修正値を決定するための原理を示す図である。本発明による方法の第２の好ましい実施形態に基づいて修正値を決定するための原理を示す図である。全般的な実施形態に準ずる、本発明による修正値判定を示すフローチャートである。典型的な実施形態に準ずる、本発明による修正値判定を示すフローチャートである。別の典型的な実施形態に準ずる、本発明による修正値判定を示すフローチャートである。

図１は、本発明による方法の第１の好ましい実施形態に基づいて修正値を決定するための原理を示している。

デジタル顕微鏡では、さまざまな設定やコンフィギュレーションを変更可能である。たとえば暗視野照明や明視野照明を選択することができ、このことは暗視野照明のスペクトル０１によって、および明視野照明のスペクトル０２によって記号で示されている。さらに、たとえば可視波長領域や近赤外領域でスペクトル領域を変更可能であり、このことは、特に白色発光ＬＥＤやキセノンランプなどの異なる光源によって惹起され得る。さらに、透過および／または反射のスペクトル特性を、デジタル顕微鏡の光学素子ないし光学系によって変更することができる。また、画像コンバータすなわちセンサのスペクトル感度も変更することができる。光学系や画像センサのスペクトル特性は、スペクトル０３により記号で示されている。

スペクトル０１，０２，０３は、図示した例ではそれぞれ２００個のサンプリング点によって表される。

本発明による方法は、物理的にはたとえばカラーレファレンス表の形態で存在していてよく、デジタル顕微鏡で撮影され（図２参照）、または図示した実施形態の場合のようにシミュレートされるカラーレファレンス０４を利用する。たとえばＮ＝２４種類のレファレンスカラーを利用することができる。一例として示すシミュレーションのケースでは、これらのＮ＝２４種類の色がたとえばＭ＝２００個のサンプリング点を有する１つのスペクトルとして表示される。別案として、たとえばＭ＝３を有するＮ＝３の縮小された数を選択することもでき、たとえばＲＧＢの３つの値を選択することができる。レファレンスカラーは第１の区画０６により記号で示されている。

照明、光学系、および画像センサのスペクトル特性０１，０２，０３が、第２の区画０７により記号で示されている。これらのスペクトル特性０１，０２，０３は、カラーレファレンス０４の未修正の色がどのように表示されるか、すなわちどのように誤差を含んでいるかを規定する。誤差のある色を修正するために、ホワイトバランスＷＢを含む色修正ＣＣが必要であり、このことは第３の区画０８により記号で示されている。その結果として、カラーレファレンスの修正された色０９が成立し、このことは第４の区画１１により記号で示されている。

本発明によると、第３の区画０８により記号で示す修正値が判定され、引き続いて当該修正値を、試料の撮影された画像の色修正のために利用する。

第２の区画０７により記号で示す照明、光学系、およびセンサのスペクトル特性０１，０２，０３は既知なので、図示した実施形態では、第３の区画０８により記号で示す修正値を全面的に数学的に決定することができ、このことはデジタル顕微鏡のシミュレーションに相当する。
第３の区画０８により記号で示す修正値の決定を２つ以上のステップに分割することもでき、それは、中間レファレンスデータを含む中間ステップが必要とされる場合である。このような中間レファレンスデータは、さまざまに異なる色空間、たとえばＣＩＥ１９３１ＸＹＺなどを援用できるようにするために、追加の要求事項により定義されていてよい。

照明、光学系、およびセンサのスペクトル特性０１，０２，０３を考慮したうえでの、第３の区画０８により記号で示す修正値の全面的に数学的な決定は、ライブソリューションとして実行することができる。顕微鏡検査中に、たとえば照明強度の変更によるスペクトル特性のあらゆる変化が、修正値の全面的な新規計算につながるからである。ただしこの実施形態は、顕微鏡検査の前に時間的に間隔をおいて実施することもでき、そのために、判定された修正値が相応に保存される。修正値の計算は、たとえばＰＣ、タブレットコンピュータ、またはスマートフォンなどで進行するソフトウェアによって行うことができる。ハードウェアによる、たとえばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）やメディアプロセッサの特定のアルゴリズムによる、修正値の計算が具体化されていてもよい。

図２は、本発明による方法の第２の好ましい実施形態に基づいて修正値を決定するための原理の図面を示している。

この実施形態では、カラーレファレンス０４は物理的に、デジタル顕微鏡で撮影されるカラーレファレンス表の形態で利用される。ここでも一例としてＮ＝２４種類のレファレンスカラーが適用され、それにより、カラーレファレンス表０４の撮影された２４種類のレファレンスカラーのＮ＝２４個のＲＧＢ色値が生じる。撮影されたレファレンスカラーは、第１の区画０６により記号で示すレファレンスカラーであり、第２の区画０７により記号で示す照明、光学系、およびセンサのスペクトル特性０１，０２，０３がこれに作用を及ぼしており、このことは共通の区画０６，０７により記号で示されている。

図示した実施形態は、カラーレファレンス表０４がデジタル顕微鏡で撮影され、照明、光学系、およびセンサのスペクトル特性０１，０２，０３を規定する、顕微鏡で行われているデジタル設定が検出されるキャリブレーションである。変化する設定により異なるスペクトル特性０１，０２，０３が生じ、すなわちデジタル顕微鏡の異なる状態が生じ、各々の状態に１セットの修正値すなわち修正マトリクスが割り当てられる。補足として、ホワイトバランスについての修正値を決定するために、無彩色のカラーレファレンスを利用することができる。

修正値の決定は最小平方の手法を利用して行うことができ、すべてのレファレンスカラーについて等しい重みづけで最適化が可能である。別案として、白色の色点を保証したうえで最小平方の手法を適用することができ、すなわち、すべてのレファレンスカラーについて最適化が行われるが、その際に無彩色のレファレンスカラーが高く重みづけされる。別案として、これ以外の重みづけを行うこともできる。

このようにデジタル顕微鏡の使用前に、デジタル顕微鏡の１つの状態にそれぞれ割り当てられた複数のセットの修正値が存在している。顕微鏡検査中に、事前に決定された修正値のセットを援用することができるが、その際に、パラメータ固有の補間が実行されるのが好ましい。事前に決定された修正値のセットは、デジタル顕微鏡の可能な状態の限られた選択に割り当てられているにすぎないからである。単純なケースでは、たとえば照明強度に関しては最小および最大の照明強度の両方の極値について、それぞれ１セットの修正値が事前に決定されるにすぎない。デジタル顕微鏡で設定される照明強度は、大半のケースにおいてこれら両方の極値の間にあるので、事前に決定された両方のセットのそれぞれの修正値の間で補間がなされる。

デジタル顕微鏡のコンポーネントの特性を表すパラメータ、たとえばシリアル番号、レファレンス指定、照明、スペクトルなどを、さまざまな仕方で保存しておくことができる。第１の選択肢は、これらのパラメータをＰＣ、タブレットコンピュータ、またはスマートフォンに保存することにある。別案として、これらのデータが中央の場所に保存されていてよい。さらに別の好ましい選択肢は、それぞれのコンポーネントのハードウェアでのこれらのパラメータの保存である。デジタル顕微鏡のコンポーネントの特性を表すパラメータの保存は、必要な場合に必要なパラメータを適用するための固有のカラー・マネジメント・アルゴリズムを可能にする。それにより、そのつど選択されているコンポーネントに関わりなく、撮影される画像のコンスタントな色品質を保証することができる。異なるコンポーネント、たとえば顕微鏡照明の異なる光源やさまざまな交換用対物レンズなどは完全に相違する特性をもたらし、このことが、それぞれのパラメータの読出しと当該パラメータの適用とによって考慮される。異なる顕微鏡照明は、完全に相違するスペクトルをもたらす可能性がある。たとえば対物レンズに配置された暗視野照明源のスペクトルと色修正値を、交換用対物レンズの記憶素子に保存しておくことができる。たとえば明視野照明源のスペクトルと色修正値を、センサのスペクトル特性と一緒に、デジタル顕微鏡の記憶素子に保存しておくことができる。

図３は、本発明による方法の全般的な実施形態に準ずる修正値判定のフローチャートを示している。計算は、デジタル顕微鏡の画像処理ユニットを構成するＰＣ上で実行される。まず、必要なパラメータないし修正値がＰＣに保存されているかどうかがチェックされる。イエスの場合、色修正のための修正値ないしパラメータ、たとえばスペクトルが読み出される。これは、選択されたオプティカルエンジンＯＥのカラーファミリーに関連づけられている。オプティカルエンジンは、デジタル顕微鏡による光学撮影をその最新の状態で表す。オプティカルエンジンは、特に、顕微鏡照明と画像センサの特性を表す。カラーファミリーは可能な色の選択である。さらに、選択されている対物レンズのパラメータが対物レンズデータバンクから読み出される。色修正のための修正値、ないしパラメータが、デジタル顕微鏡のハードウェアコンポーネントＨＷに付属する記憶装置に保存されている修正値およびパラメータと比較することによってチェックされる。次いで、たとえば読み出された修正値の補間によって、修正値の近似が行われる。必要なパラメータないし修正値がＰＣに保存されていない場合には、ハードウェアコンポーネントＨＷに保存されているパラメータを利用したうえで、シミュレーションによって算出される。

図４は、本発明による方法の典型的な実施形態に準ずる修正値判定のフローチャートを示している。この手順は、最初は図１に示す進行と同様である。ただしここでは、必要なすべてのパラメータを利用可能なわけではないことが前提とされる。それに応じて、オプティカルエンジンおよび対物レンズの相応のカラーファミリーを利用可能であるかどうかが照会される。利用可能でない場合、それぞれもっとも近いカラーファミリーが援用される。

図５は、本発明による方法の別の典型的な実施形態に準ずる修正値判定のフローチャートを示している。図１および図３に示す手順とは異なり、一例としてただ１つのカラーファミリーＤがオプティカルエンジンについて決定され、３つのカラーファミリーＡ，Ｂ，Ｆが対物レンズについて決定される。オプティカルエンジンについてのただ１つのカラーファミリーＤは、一例として、特定の明視野照明と画像センサの特定の感度に関連づけられている。カラーファミリーに関する情報、および色修正値に関する情報は、ＰＣのデータバンクに保存されている。さらに、これらのデータはデジタル顕微鏡の各コンポーネントの記憶装置ＥＰＲＯＭに保存されている。必要な値がまずＰＣ上で検索される。それが保存されていない場合、もっとも近いカラーファミリーの値が検索される。それも保存されていない場合、デジタル顕微鏡の各コンポーネントに配置された記憶装置で必要なデータが検索される。そこにも保存されていない場合、状態を識別するマトリクスが利用され、色修正値の欠如に関するメッセージが出力される。

すでに上で説明したとおり、必要な色修正値は補間によって得ることができる。そのために、最新のパラメータに依存して異なる補間アルゴリズムを適用することができる。

たとえば２つの強度値の間で補間をすることができる。２つのパラメータｐａｒ．ｍｉｎとｐａｒ．ｍａｘの間で線形補間が想定されるケースでは、色修正マトリクスないしホワイトバランスマトリクスのｉ番目の要素ＣＣ_ｉ ^{ｐａｒ．Ｘ}について次式が得られる：
この式をさらに高次または非線形補間について相応に拡張することができる。

たとえば、混合式の照明の２つの照明形式の間で補間をすることができる。明視野照明の強度Ｉ_ＢＦと暗視野照明の強度Ｉ_ＤＦの間で線形補間が想定されるケースでは、色修正マトリクスないしホワイトバランスマトリクスのｉ番目の要素ＣＣ_ｉ ^{ＩＤＦＩＢＦ}について次式が得られる：
ここで、ＣＣ_ｉ ^ＩＤＦおよびＣＣ_ｉ ^ＩＢＦは、完全暗視野照明ないし完全明視野照明のマトリクスのｉ番目の要素であり、ａは、個々の照明の絶対的な最大強度についての標準化パラメータであり、たとえばａ＝Ｉ_{ＤＦ．ｍａｘ}／Ｉ_{ＢＦ．ｍａｘ}である。

さらに、強度と照明形式との間で複合型の補間を行うこともできる。

上で説明したとおり、デジタル顕微鏡のさまざまな特性をスペクトルによって表すことができる。スペクトル推移は、少なくとも２つのガウスベル曲線を含む複合スペクトル曲線によりパラメータ化することができる。それにより、必要とされるデータ量が削減されるとともに、さまざまなパラメータ固有の解決法の間での色修正値の補間にあたっていっそう高い柔軟性が可能となる。このケースでは、スペクトルパラメータ化により得られた値について補間が実行される。

０１暗視野照明のスペクトル
０２明視野照明のスペクトル
０３光学系と画像コンバータのスペクトル
０４カラーレファレンス値
０５ −
０６レファレンスカラー
０７光学系とセンサのスペクトル特性
０８修正係数
０９修正された色
１０ −
１１修正された色値

Claims

デジタル顕微鏡の色再現の色を修正する方法において、次の各ステップを含んでおり、すなわち、
顕微鏡検査されるべき試料のカラー画像が撮影され、試料を照明する顕微鏡照明の波長依存的な特性（０１；０２）が顕微鏡照明の状態を表すために判定され、それは、顕微鏡照明で選択されている設定が検出されることにより、
顕微鏡照明の状態に割り当てられた１セットの修正値（０８）が決定され、決定されるべき修正値のセットに割り当てられる顕微鏡照明の状態は顕微鏡照明の判定された状態に応じて選択され、
撮影されたカラー画像の色が事前に決定されたセットの修正値（０８）を適用することで修正される方法。
顕微鏡検査されるべき試料のカラー画像の撮影時に、光学系と画像コンバータとを含む顕微鏡の光学撮影装置の波長依存的な特性（０３）が光学撮影装置の状態を表すためにさらに判定され、それは、光学撮影装置で選択されている設定が検出されることにより、
決定されるべき修正値（０８）のセットがさらに光学撮影装置の状態に割り当てられ、決定されるべき修正値（０８）のセットに割り当てられる光学撮影装置の状態は判定された光学撮影装置の状態に応じて選択されることを特徴とする、請求項１に記載の方法。
修正値（０８）のセットの決定は、光学式の顕微鏡照明の保存されている異なる状態に割り当てられた複数のセットの修正値から少なくとも１つのセットの修正値（０８）が選択される部分ステップを含んでおり、選択された修正値（０８）のセットに割り当てられる顕微鏡照明の状態は顕微鏡照明の判定された状態にもっとも近いことを特徴とする、請求項１または２に記載の方法。
修正値（０８）の選択されたセットが修正値（０８）の決定されるべきセットとして利用されることを特徴とする、請求項３に記載の方法。
修正値（０８）のセットの決定は、選択されたセットの修正値に割り当てられている顕微鏡照明の状態が顕微鏡照明の判定された状態に全面的に等しくない場合に、選択されたセットの修正値が適合化される部分ステップをさらに含んでいることを特徴とする、請求項３に記載の方法。
顕微鏡照明の保存されている異なる状態に割り当てられた複数のセットの修正値から少なくとも２つのセットの修正値が選択され、修正値（０８）のセットの決定は、両方の選択されたセットの修正値が補間される部分ステップをさらに含んでいることを特徴とする、請求項３に記載の方法。
顕微鏡照明の保存されている異なる状態に割り当てられた修正値のセットは次の部分ステップにより判定され、すなわち、
顕微鏡照明の複数の状態における顕微鏡照明の波長依存的な特性が、顕微鏡照明で選択されている設定を割り当てたうえで検出され、
顕微鏡照明の複数の状態のうちの各々でカラーレファレンスのそれぞれ１つのカラー画像がデジタル顕微鏡で撮影され、
カラーレファレンスの色に忠実な再現のための顕微鏡照明のそのつどの状態で撮影された画像の修正を表す、それぞれ１セットの修正値が顕微鏡照明の複数の状態の各々について決定されることを特徴とする、請求項３から６のいずれか１項に記載の方法。
修正値（０８）のセットの決定は、試料を照明する顕微鏡照明の波長依存的な特性（０１；０２）を考慮したうえで当該セットが計算されることによって行われることを特徴とする、請求項１または２に記載の方法。
顕微鏡照明で選択されている設定は、顕微鏡照明により放出される照明光が波長感度のあるセンサでスペクトル測定されることによって検出されることを特徴とする、請求項１から８のいずれか１項に記載の方法。
デジタル顕微鏡において、光学撮影装置と、顕微鏡照明と、請求項１から９のいずれか１項に記載の方法を実施するためにコンフィギュレーションされた画像処理ユニットとを含んでいるデジタル顕微鏡。