JP2017027055A - 物体の複数の個別画像から１つの組み合わせ画像を生成する顕微鏡及び方法 - Google Patents

Abstract

【課題】物体の複数の個別画像から１つの組み合わせ画像を生成する顕微鏡を提供する。【解決手段】少なくとも２つの相異なる照明方向から物体を照明する少なくとも１つの照明装置２２と、少なくとも２つの相異なる照明方向２４ａ，２４ｂから照明された物体の複数の個別画像を撮影する画像撮影ユニットと、複数の個別画像を組み合わせることによって１つの組み合わせ画像を生成する画像組み合わせユニットと、を有する。画像組み合わせユニットは、複数の個別画像のうちの１つの個別画像の画像アーチファクトに結びついた画像情報の損失が、組み合わせ画像において、複数の個別画像のうちの少なくとも１つの他の個別画像の画像情報を使用して補償されるように、複数の個別画像を組み合わせるように構成されている。【選択図】図１ｂ

Description

本発明は、物体の複数の個別画像から１つの組み合わせ画像を生成する顕微鏡に関する。本発明はさらに、物体の複数の個別画像から１つの組み合わせ画像を生成する方法に関する。

顕微鏡において画像が撮影される際には、一般的に、画像内に画像アーチファクトを有するゾーンが生成される。これらのゾーンは、露光不足又は露光過剰に起因して情報を含まないか、又はわずかな情報しか含まないので、実存する物体細部を再現していない。この特徴は、表面特性、サンプルトポグラフィ、サンプル材料、及び照明シナリオに依存している。

従来技術からは、ダイナミックレンジを拡大するために使用されるいわゆるＨＤＲ（“ハイダイナミックレンジ”）アルゴリズムが公知である。この場合には、複数の画像がそれぞれ異なる照明輝度及び／又はそれぞれ異なる露光時間で撮影され、その後１つの画像に組み合わせられる。しかしながら、このように露光時間を変化させることによって画像の明るさが制限される。この制限は、リフレッシュレートに影響を及ぼす。リフレッシュレートは、好ましくは適用時には高くあるべきである。とりわけ、画像撮影のために露光時間を増加させることにより、リフレッシュレートが変化又は低下する。しかしながら、公知のＨＤＲアルゴリズムを使用した場合には、前述した画像アーチファクトを十分に抑制することができない。

公知の従来技術から出発して、本発明の課題は、物体の複数の個別画像から１つの組み合わせ画像を生成する顕微鏡であって、簡単な構造を有し、且つ、高画質の組み合わせ画像を実現可能にする顕微鏡を提供することである。

上記の課題は、請求項１に記載の特徴を有する顕微鏡と、請求項１７に記載の特徴を有する方法とによって解決される。有利な発展形態は、従属請求項に記載されている。

請求項１に記載の特徴を有する顕微鏡によって、簡単な構造と、高画質の組み合わせ画像とが実現可能となる。なぜならとりわけ物体が、少なくとも２つの相異なる照明方向から照明されるからである。さらには、少なくとも２つの相異なる照明方向から照明された物体の複数の個別画像が撮影される。さらには、複数の個別画像を組み合わせることによって１つの組み合わせ画像が生成される。複数の個別画像を組み合わせる際に、複数の個別画像のうちの１つの個別画像の画像アーチファクトに結びついた画像情報の損失が、組み合わせ画像において、複数の個別画像のうちの少なくとも１つの他の個別画像の画像情報を使用して補償される。従って、画像アーチファクトに起因して発生する画像情報の損失を、画像生成中に回避することができる。これによって、１つ１つの個別画像よりも多くの情報内容を有する高画質の組み合わせ画像と、簡単な構造とが実現可能となる。この場合には、画像の組み合わせのために使用される個別画像は、落射光照明装置を備える顕微鏡によって生成することも、透過光照明装置を備える顕微鏡によって生成することも可能である。

本発明に係る顕微鏡は、物体の複数の個別画像から１つの組み合わせ画像を生成する。このために前記顕微鏡は、少なくとも１つの照明装置を用いて少なくとも２つの相異なる照明方向から物体を照明する。画像撮影ユニットは、前記少なくとも２つの相異なる照明方向から照明された前記物体の複数の個別画像を撮影し、画像組み合わせユニットは、前記複数の個別画像を組み合わせることによって１つの組み合わせ画像を生成する。前記画像組み合わせユニットは、前記複数の個別画像を組み合わせる際に、前記複数の個別画像のうちの１つの個別画像の画像アーチファクトに結びついた画像情報の損失を、前記組み合わせ画像において、前記複数の個別画像のうちの少なくとも１つの他の個別画像の画像情報を使用して補償するように構成されている。

好ましくは、前記画像組み合わせユニットは、前記複数の個別画像の自動化された評価から、前記複数の個別画像のうちの１つの個別画像の画像アーチファクトを検出するように構成されている。

本発明によれば、前記顕微鏡は、前記少なくとも２つの相異なる照明方向の第１照明方向及び第２照明方向から前記物体を照明するための唯１つの照明装置を含む。本発明によれば、これに代わる形態において、前記顕微鏡は、少なくとも１つの第１照明装置と少なくとも１つの第２照明装置とを含む。この場合には、前記第１照明装置は、前記少なくとも２つの相異なる照明方向のうちの第１照明方向から前記物体を照明するように構成されている。さらには、前記第２照明装置は、前記少なくとも２つの相異なる照明方向のうちの第２照明方向から前記物体を照明するように構成されている。このようにして少なくとも２つの相異なる照明方向を、１つ又は複数の照明装置を使用して比較的フレキシブルに提供することができる。

例えば、前記画像アーチファクトには、ハイライト領域、露光不足領域、及び／又は、低コントラスト領域が含まれる。これらの画像領域は、個々の画素を含むことができるが、通常は複数の連続した画素に関係する。この場合にはハイライト領域は、例えば、物体の光沢のある表面における反射に基づいて発生する露光過剰領域に相当する。例えば物体は、光沢のある湾曲した表面を有する３Ｄ物体であり、これによってハイライト領域及び露光不足領域が発生する可能性がある。前記画像組み合わせユニットは、前記個別画像の個々の画素の強度値を上側の閾値及び／又は下側の予め定められた閾値と比較することにより、及び／又は、画像アーチファクト領域のコントラスト評価を実施することにより、少なくとも１つのこのような画像アーチファクト領域を検出するように構成されている。この場合には、コントラスト評価は、複数の画素を有する連続した領域においてのみ実施することができるということに注意すべきである。個々の画素を検査しても、コントラストに関する予測を行うことはできない。

従って、例えば上側の閾値と下側の閾値とを組み合わせて使用することによって、評価される個別画像の画素の許容可能な強度に対して、許容範囲を規定することができる。その後、この許容範囲内にある強度値を有する画素が、組み合わせ画像を生成するために使用される。

画像アーチファクト領域の検出において、前記ハイライト領域は、それぞれの前記個別画像のそれぞれ少なくとも１つの露光過剰領域に相当し、前記ハイライト領域は、予め定められた閾値よりも大きい強度を有する画素を含む。従って、ハイライト領域は、画像情報の損失に結びついた露光過剰の画素を含む。

相応にして、前記露光不足領域は、予め定められた閾値よりも小さい強度を有する画素を含む。この露光不足領域も、画像情報の損失に結びついている。

前記低コントラスト領域は、予め定められたコントラスト値よりも小さいコントラスト値を有する画素を含む。この低コントラスト領域も、画像情報の損失に結びついている。

前記画像撮影ユニットは、ハイライト領域の形態で存在する画像アーチファクトをそれぞれ有する複数の異なる個別画像を撮影し、それぞれの前記ハイライト領域を前記少なくとも２つの相異なる照明方向に対応付けるように構成されている。従って、画像生成のために、それぞれ異なるハイライト領域を備える複数の個別画像からなるシーケンスを提供することができる。

前記少なくとも２つの相異なる照明方向に対応付けられた前記ハイライト領域は、それぞれの前記個別画像のそれぞれ１つの露光過剰領域に相当する。従って、それぞれ異なるハイライト領域は、例えば、少なくとも２つの相異なる照明方向から照明された３Ｄ物体の、光沢のある湾曲した表面におけるそれぞれ異なる反射に相当する。

前記画像組み合わせユニットは、選択された個別画像のアーチファクトとしてハイライト領域を特定し、当該選択された個別画像の、特定された前記ハイライト領域を、当該選択された個別画像とは異なる少なくとも１つの別の個別画像の、対応する非露光過剰領域からの画像情報によって置換するように構成されている。このために例えば、前記別の個別画像の、修正すべきハイライト領域に対応する画素が相関され、これによって、置換すべきそれぞれの画素に対する代替値が得られる。これに代えて、他の画像の、複数の画素を含む領域の評価によって、例えばコントラスト評価によって、それぞれ最良の領域、例えば高コントラストの領域を特定することもできる。もちろん、その他の評価も考えられ、本発明の思想に含まれる。従って、画像アーチファクトにおいて、すなわちここではハイライト領域において、それぞれ特定された代替画素の値をそれぞれ使用することによって、画像の組み合わせのためのいわゆる“ピックアンドリプレース（Pick and replace）”（検出及び置換）アルゴリズムを実現することができる。このアルゴリズムを用いて、組み合わせ画像における画質を向上させることができる。

好ましくは、画像アーチファクトを補正するために参照される前記非露光過剰領域は、最大でも予め定められた閾値と同じ大きさの強度を有する画素を含む。従って、“ピックアンドリプレース”アルゴリズムにおいて置換すべきハイライト領域のための画像情報として、適切な画素強度値を使用することができる。

オプションとして同様に、前記画像組み合わせユニットは、選択された個別画像の露光不足領域を特定し、当該選択された個別画像の、特定された前記露光不足領域を、当該選択された個別画像とは異なる少なくとも１つの別の個別画像の、対応する非露光不足領域からの画像情報によって置換するように構成されている。この場合には、前記非露光不足領域は、例えば最小でも予め定められた閾値と同じ大きさの強度を有する画素を含む。

好ましくは、前記照明装置は、前記少なくとも２つの相異なる照明方向の方位角及び／又は仰角を調整するように構成されている。従って、物体を照明するための少なくとも２つの相異なる照明方向をフレキシブルに調整することができる。

有利な１つの実施形態では、前記画像撮影ユニットは、前記複数の個別画像を、時間的に順次連続する４つの個別画像からなる１つのシーケンスとして撮影するように構成されている。前記時間的に順次連続する４つの個別画像は、第１〜第４ハイライト領域を含む。さらには、前記第１〜第４ハイライト領域は、第１〜第４照明方向に対応付けられている。前記第１〜第４照明方向は、例えばそれぞれ０°，９０°，１８０°，又は２７０°の方位角と、同じ１つの仰角とを有する。このようにして、画像生成のために４つの個別画像からなる１つの特別なシーケンスを提供することができる。この場合には、各ハイライト領域は、例えば北、東、南、又は西からの、しかも常に同じ１つの仰角における、物体の照明に相応する。

前記照明装置はさらに、前記少なくとも２つの相異なる照明方向を、前記顕微鏡の照明光路上に設けられた調整可能な開口絞りを使用して生成するように構成することができる。従って、物体を照明するための少なくとも２つの相異なる照明方向をさらにフレキシブルに生成することができる。

前記照明装置は、例えばリングライト照明装置、アーチ照明装置、及び／又は、柔軟なグースネック式支持体に可変的に配置可能なグースネック式照明装置を含む。従って、物体を照明するために種々の選択肢を提供することができる。

有利な１つの実施形態では、照明装置は、複数のＬＥＤが中に組み込まれた１つのリングライトを含む。この場合には、ＬＥＤを個別的に制御することが可能である。さらには、複数のＬＥＤからなるセグメントを個別的に制御することも可能である。従って、物体をほぼ点状に照明すること、又はセグメント毎に照明することを実現することができる。とりわけ少なくとも２つの相異なる照明方向を、それぞれに制御されるＬＥＤ又はＬＥＤのセグメントを用いて生成することができる。

好ましくは、前記顕微鏡は、前記照明装置を制御する制御装置が設けられていることを特徴としている。この場合には、前記制御装置は、前記少なくとも２つの相異なる照明方向の第１照明方向と第２照明方向との間で切り替えが実施されるように構成されている。従って、それぞれ現在の照明方向への切り替えを、制御して実施することができる。

好ましくは、前記顕微鏡は、前記画像撮影ユニットを制御する制御装置が設けられていることを特徴としている。前記制御装置は、前記複数の個別画像を一定のリフレッシュレートで撮影し、これによって複数の組み合わせ画像のライブストリーミングを生成するように構成されている。従って、高画質の合成画像のライブストリーミング又は準リアルタイム伝送を実現することができる。

本発明の１つの実施例によれば、物体の複数の個別画像から１つの組み合わせ画像を生成する方法が提供される。本方法は、少なくとも２つの相異なる照明方向から前記物体を照明することと、前記少なくとも２つの相異なる照明方向から照明された前記物体の複数の個別画像を撮影することと、前記複数の個別画像を組み合わせることによって１つの組み合わせ画像を生成することとを含む。前記複数の個別画像を組み合わせる際に、前記複数の個別画像のうちの１つの個別画像の画像アーチファクトに結びついた画像情報の損失が、前記組み合わせ画像において、前記複数の個別画像のうちの少なくとも１つの他の個別画像の画像情報を使用して補償される。

本発明の実施形態は、複数の異なる照明方向を使用することによって画像情報を格段に増加させることができるという利点を有する。この画像情報の増加は、組み合わせ画像において、個別画像に比べてより多くの物体細部が可視化されるということを特徴としている。この場合には、この画像情報の増加は、複数の異なる焦点設定を用いた画像撮影が必要となるいわゆる“Ｚスタック・アルゴリズム”を使用する必要なく、例えば１つのシーケンスの全ての個別画像に対して同じ１つの焦点設定を使用することによって実現可能であるということにとりわけ留意すべきである。

本発明に係る方法によれば、前記個別画像の個々の画素の強度値を上側の閾値及び／又は下側の予め定められた閾値と比較することにより、及び／又は、複数の画像領域のコントラスト評価を実施することにより、画像アーチファクト領域としてハイライト領域、露光不足領域、及び／又は、低コントラスト領域が検出される。

本方法の１つの実施形態では、ハイライト領域をそれぞれ有する複数の異なる個別画像が撮影され、それぞれの前記ハイライト領域が、前記少なくとも２つの相異なる照明方向に対応付けられ、前記少なくとも２つの相異なる照明方向に対応付けられた前記ハイライト領域は、それぞれの前記個別画像のそれぞれ１つの露光過剰領域に相当する。

前記ハイライト領域は、例えば予め定められた閾値よりも大きい強度を有する画素を検出することによって特定される。

前記複数の個別画像を組み合わせるために、選択された個別画像のハイライト領域が特定され、当該ハイライト領域が、当該選択された個別画像とは異なる少なくとも１つの別の個別画像の、対応する非露光過剰領域から得られる画像情報によって置換される。

このことは、前記非露光過剰領域が、最大でも予め定められた閾値と同じ大きさの強度を有する画素を含むようにして実現することができる。

前記複数の個別画像を組み合わせるために、選択された個別画像の露光不足領域が特定され、当該選択された個別画像の、このようにして特定された前記露光不足領域が、当該選択された個別画像とは異なる少なくとも１つの別の個別画像の、対応する非露光不足領域から得られる画像情報によって置換される。この場合には、前記非露光不足領域は、最小でも予め定められた閾値と同じ大きさの強度を有する画素を含む。

本方法の別の１つの実施形態では、前記少なくとも２つの相異なる照明方向の方位角β及び／又は仰角αが、所定の値に調整される。

この場合には、有利には、時間的に順次連続する複数の個別画像からなる１つのシーケンスが撮影され、前記時間的に順次連続する複数の個別画像は、それぞれ異なる画像アーチファクトを含む。この場合には、前記それぞれ異なる画像アーチファクトは、それぞれ異なる照明方向に対応付けられており、前記それぞれ異なる照明方向は、当該照明方向のそれぞれ異なる方位角β及び／又はそれぞれ異なる仰角αによって実現される。

本方法の別の１つの実施形態では、前記少なくとも２つの相異なる照明方向は、前記顕微鏡（１０）の照明光路上に設けられた調整可能な開口絞りを使用して生成される。

本発明の別の１つの実施形態は、照明装置を制御して、前記少なくとも２つの相異なる照明方向の第１照明方向と第２照明方向との間で切り替えを実施することにおいて優れている。

この場合には、複数の個別画像が一定のリフレッシュレートｆ_ｒで撮影され、これによって複数の組み合わせ画像のライブストリーミングが生成されるように、画像撮影ユニットを制御することができる。

本発明のさらなる特徴及び利点は、本発明を添付図面に関連して実施例に基づいてより詳細に説明される以下の記載において明らかとなる。

本発明の１つの実施例に基づく、デジタル顕微鏡の概略斜視図である。 図１ａに図示されたデジタル顕微鏡の照明装置の拡大図である。 本発明の１つの実施例に基づく、デジタル顕微鏡の概略斜視図である。 図２ａ〜ｄは、第１〜第４ハイライト領域を備える、３Ｄ物体の４つの時間的に順次連続する個別画像からなる第１シーケンスの例を示す図であり、図２ｅは、図２ａ〜図２ｄに図示された第１シーケンスの個別画像に基づいて生成された１つの組み合わせ画像の例を示す図である。 図３ａ〜ｄは、第１〜第４ハイライト領域を備える、３Ｄ物体の４つの時間的に順次連続する個別画像からなる第２シーケンスの例を示す図であり、図３ｅは、図３ａ〜図３ｄに図示された第２シーケンスの個別画像に基づいて生成された１つの組み合わせ画像の例を示す図である。 図４ａ〜ｄは、第１〜第４ハイライト領域を備える、３Ｄ物体の４つの時間的に順次連続する個別画像からなる第３シーケンスの例を示す図であり、図４ｅは、図４ａ〜図４ｄに図示された第３シーケンスの個別画像に基づいて生成された１つの組み合わせ画像の例を示す図である。 制御装置と照明装置とを備える、図１ａに図示されたデジタル顕微鏡のコンポーネントのブロック図である。 制御装置と第１照明装置と第２照明装置とを備える、図１ｃに図示されたデジタル顕微鏡のコンポーネントのブロック図である。 制御装置と画像撮影ユニットと画像組み合わせユニットとを備える、図１ａに図示されたデジタル顕微鏡のコンポーネントのブロック図である。 本発明の１つの実施例に基づく、図１ａに図示されたデジタル顕微鏡を用いて実施可能な方法のフローチャートである。 組み合わせ画像を生成するための組み合わせ原理の概略図である。

図１ａは、本発明の１つの実施例に基づく、デジタル顕微鏡１０の概略斜視図を示す。図１ａに図示されたデジタル顕微鏡１０は、定位置の鏡脚１２と、この鏡脚１２に対して相対的に旋回可能な旋回ユニット１４と、を含む。

旋回ユニット１４は、画像撮影ユニットと、光学系と、ズーム系と、を含む。これらのコンポーネントは、旋回ユニット１４のハウジング１６によって覆い隠されているので、図１ａでは見て取ることができない。

図１ａに図示されているように、鏡脚１２にはステージ１８が配置されており、このステージ１８の上に検査すべき３Ｄ物体が載置される。このステージ１８は、調節ねじ２０を用いて鏡脚１２に対して相対的に両矢印Ｐ１の方向に調節可能であり、これによって検査すべき３Ｄ物体の焦点を合わせることが可能である。

図１ａにはさらに、デジタル顕微鏡１０の照明装置２２が概略的に図示されている。照明装置２２のさらなる詳細については、図１ｂに基づいて以下に説明する。図１ａに図示されたデジタル顕微鏡１０はさらに、画像撮影ユニットに結合された画像組み合わせユニットを含む。デジタル顕微鏡１０はさらに、照明装置及び／又は画像撮影ユニットに結合された制御装置を含む。これらのコンポーネント４０，２２，又は２６については、図５ａ及び図５ｃに基づいてさらに詳細に説明する。画像組み合わせユニット及び制御装置は、図１ａには図示されていない。これらのコンポーネント３２又は４０は、例えば図１ａに図示されたデジタル顕微鏡１０の内部コンポーネント又は外部コンポーネントである。

図１ｂは、図１ａに図示されたデジタル顕微鏡１０の照明装置２２の拡大図を示す。照明装置２２は、少なくとも２つの相異なる照明方向２４ａ，２４ｂから物体を照明するために使用される。物体平面上に位置する検査すべき３Ｄ物体は、図１ａ及び図１ｂには図示されていない。図１ｂに図示されるように、物体平面は、例えばＸ軸である第１軸４６と、例えばＹ軸である第２軸４８とを含む。照明装置２２を用いて生成することができる複数の相異なる照明方向２４ａ，２４ｂは、第１軸４６と第２軸４８とによって画定された座標系に対して相対的にそれぞれ規定することができる。とりわけ、少なくとも２つの相異なる照明方向２４ａ，２４ｂは、第１照明方向２４ａ及び第２照明方向２４ｂを含み、第１照明方向２４ａ及び第２照明方向２４ｂの方位角及び／又は仰角は、上記の座標系に対して相対的に調整することが可能である。この場合には、方位角は、第１軸４６に対して相対的な、例えば物体平面上に位置する角度である。さらには、仰角は、例えば第１軸４６と第２軸４８とによって画定された座標系に対して相対的な角度である。図１ｂに図示されるように、第１照明方向２４ａと第２照明方向２４ｂとは、物体平面上に位置する共通の１つの点Ｐにおいて交差する。さらには、第１照明方向２４ａ及び第２照明方向２４ｂは、光円錐に対応付けられたそれぞれ１つの優先方向である。照明装置２２から出射された第１照明方向２４ａを有する光円錐と、第２照明方向２４ｂを有する光円錐とは、物体平面上においてほぼ重なり合っている。従って、物体平面上に位置する物体を完全に照明することができる。

図１ｂによれば、第１照明方向２４ａ及び第２照明方向２４ｂは、上方から斜めに、すなわちデジタル顕微鏡１０の光軸に対して相対的に所定の角度で物体に入射するそれぞれ１つの照明に相当する。図１ｂによればさらに、第１照明方向２４ａの仰角と第２照明方向２４ｂの仰角とは同じ大きさであり、その一方で、第１照明方向２４ａの方位角と第２照明方向２４ｂの方位角とは互いに異なっている。これによって、物体の表面上の種々異なる位置にハイライト領域が発生する可能性がある。しかしながら図１ｂによれば、画像撮影は、常に同じ１つの観察方向から実施される。

図１ｂに図示された照明装置２２は、とりわけ複数のＬＥＤが組み込まれた１つのリングライトを含む。個々のＬＥＤを個別的に制御することによって、又は、複数のＬＥＤからなるセグメントを個別的に制御することによって、優先方向をそれぞれ有する複数の光円錐を生成することができる。この場合には、それぞれのセグメントは、リングライトの複数のＬＥＤを含む。図１ｂによれば、第１照明方向２４ａを有する光円錐は、第１時点に、第１ＬＥＤ、又は、複数のＬＥＤからなる第１セグメントを制御することによって生成され、その一方で、第２照明方向２４ｂを有する光円錐は、第１時点よりも後の第２時点に、第２ＬＥＤ、又は、複数のＬＥＤからなる第２セグメントを制御することによって生成される。このようにして、少なくとも２つの相異なる照明方向２４ａ，２４ｂをシーケンシャルに提供することができる。各照明方向２４ａ，２４ｂは、それぞれ制御される光源から物体への接続線に沿った方向に相当する。

これに代えて、少なくとも２つの相異なる照明方向２４ａ，２４ｂを、複数のＬＥＤによって、又は、複数のＬＥＤからなる複数のセグメントによって同時に提供することも可能である。

別の１つの実施例では、照明装置２２は、リングライト照明を生成する代わりに、アーチ照明（図示せず）を生成するために使用される。これに代えて又はこれに加えて、柔軟なグースネック式支持体に可変的に配置可能なグースネック式照明装置を設けることも可能である（図示せず）。この場合には、照明装置の方位角と仰角の双方を調整することが可能である。

オプションとして、照明装置２２は、少なくとも２つの相異なる照明方向２４ａ，２４ｂが、顕微鏡１０の照明光路上に設けられる調節可能な開口絞りを使用して生成されるように構成されている。これによって、物体をさらにフレキシブルに照明することが可能となる。

図１ｃは、本発明の１つの実施例に基づく、デジタル顕微鏡１０の概略斜視図を示す。図１ｃに図示されたデジタル顕微鏡１０は、定位置の鏡脚１２と、この鏡脚１２に対して垂直に配置された鏡柱１３と、この鏡柱１３に対して相対的にスライド可能な支持アーム１５と、を含む。

支持アーム１５は、ズーム光学系と、例えばカメラチップのような画像撮影ユニットと、を含む。これらのコンポーネントは、支持アーム１５のハウジング１７によって覆い隠されているので、図１ｃでは見て取ることができない。

図１ｃに図示されるように、鏡脚１２の上には物体平面が位置しており、この物体平面上に検査すべき３Ｄ物体が配置される。支持アーム１５は、調節ねじ２１ａ，２１ｂを用いて鏡脚１２に対して相対的に両矢印Ｐ１の方向に調節可能であり、これによって検査すべき３Ｄ物体の焦点を合わせることが可能である。

図１ｃにはさらに、デジタル顕微鏡１０の第１照明装置２２ａ及び第２照明装置２２ｂが概略的に図示されている。図１ｃに図示されたデジタル顕微鏡１０はさらに、画像撮影ユニットに結合された画像組み合わせユニットを含む。デジタル顕微鏡１０はさらに、第１及び第２照明装置並びに／又は画像撮影ユニットに結合された制御装置を含む。これらのコンポーネント４０，２２ａ，２２ｂ，又は２６については、図５ｂ及び図５ｃに基づいてさらに詳細に説明する。画像組み合わせユニット及び制御装置は、図１ｃには図示されていない。

図１ｃによれば、第１照明装置２２ａは、少なくとも２つの相異なる照明方向２４ａ，２４ｂのうちの第１照明方向２４ａから物体を照明するために使用される。その一方で、第２照明装置２２ｂは、少なくとも２つの相異なる照明方向２４ａ，２４ｂのうちの第２照明方向２４ｂから物体を照明するために使用される。物体平面上に位置する検査すべき３Ｄ物体は、図１ｃには図示されていない。図１ｃに図示された第１照明方向２４ａ及び第２照明方向２４ｂは、図１ｂに図示された第１照明方向２４ａ及び第２照明方向２４ｂに実質的に相当する。しかしながら、図１ｃに図示された実施例の場合には、第１照明方向２４ａ及び第２照明方向２４ｂの仰角及び方位角を、それぞれ互いに異なるように調整可能であるという利点がある。

図１ｃの実施例の場合には、第１照明装置２２ａは、デジタル顕微鏡１０の光軸を中心にして等角度間隔で配置されている４つのＬＥＤを含む。さらには、第２照明装置２２ｂは、それぞれ異なる高さに上下に配置されている３つのＬＥＤを有する。従って、第１照明装置２２ａを用いて、それぞれ異なる方位角を有する４つの照明方向から物体を照明することができる。さらには、第２照明装置２２ｂを用いて、それぞれ異なる仰角を有する３つの照明方向から物体を照明することができる。

図１ｃに図示されるように、鉛直の鏡柱１３には、ユーザの方向に前方に向かって突出する支持アーム１５が配置されており、この支持アーム１５に第１照明装置２２ａが取り付けられている。第１照明装置２２ａは、個別的に又はグループ毎にスイッチング可能な４つの個々のＬＥＤを有し、従って４つの照明方向からの照明を可能にしている。第１照明装置２２ａには上方からズーム光学系が被せ嵌められており、このズーム光学系の上側端部にカメラチップが組み込まれている。

図２ａ〜図２ｄは、第１〜第４ハイライト領域３６ａ〜３６ｄを備える、３Ｄ物体３０の４つの時間的に順次連続する個別画像２８ａ〜２８ｄからなる第１シーケンスの例を示す。図２ａ〜図２ｄに示された３Ｄ物体３０は、とりわけでこぼこした光沢のある表面を備える金属球である。このでこぼこした表面は、例えば金属球上の腐食箇所によって生じたものである。図２ａ〜図２ｄに示された金属球の表面では反射の法則が適用され、すなわち照明装置２２の光は、この表面にて等角度で反射する。このようにして、金属球の表面にて反射が生じる。この反射により、画像撮影ユニット２６によって撮影された第１シーケンスの個別画像２８ａ〜２８ｄにハイライト領域又は露光過剰領域が生成される。

この物体３０は、好ましくは玉軸受の玉、すなわち転がり軸受の玉である。

図２ａは、第１ハイライト領域３６ａを備える、物体３０の撮影された第１個別画像２８ａを示す。第１個別画像２８ａの第１ハイライト領域３６ａは、第１照明方向２４ａに対応付けられている。この場合には、第１照明方向２４ａは、０°の方位角を有する（β＝０°）。この角度は、例えば図１ｂに図示された座標系の第１軸４６に相当する。第１照明方向２４ａはさらに、０°〜９０°の角度範囲内で任意に固定的に定められた仰角を有する（α＝一定）。

図２ａに図示された第１個別画像２８ａはさらに、露光不足領域５９も含む。図２ａに図示されるように、この露光不足領域５９は、第１ハイライト領域３６ａの側方に隣接して配置されている。露光不足領域５９は、とりわけ識別可能な物体細部を有さない暗い領域に相当する。

図２ｂは、第２ハイライト領域３６ｂを備える、物体３０の撮影された第２個別画像２８ｂを示す。第２個別画像２８ｂの第２ハイライト領域３６ｂは、第２照明方向２４ｂに対応付けられている。この場合には、第２照明方向２４ｂは、９０°の方位角を有する（β＝９０°）。第２照明方向２４ｂはさらに、０°〜９０°の角度範囲内で任意に固定的に定められた仰角を有する（α＝一定）。

図２ｄは、第３ハイライト領域３６ｃを備える、物体３０の撮影された第３個別画像２８ｃを示す。第３個別画像２８ｃの第３ハイライト領域３６ｃは、第３照明方向２４ｃに対応付けられている。この場合には、第３照明方向２４ｃは、１８０°の方位角を有する（β＝１８０°）。第３照明装置２４ｃはさらに、０°〜９０°の角度範囲内で任意に固定的に定められた仰角を有する（α＝一定）。

図２ｃは、第４ハイライト領域３６ｄを備える、物体３０の撮影された第４個別画像２８ｄを示す。第４個別画像２８ｄの第４ハイライト領域３６ｄは、第４照明方向２４ｄに対応付けられている。この場合には、第４照明方向２４ｄは、２７０°の方位角を有する（β＝２７０°）。第４照明装置２４ｄはさらに、０°〜９０°の角度範囲内で任意に固定的に定められた仰角を有する（α＝一定）。

図２ａ〜図２ｄにおいて、第１〜第４ハイライト領域３６ａ〜３６ｄは、それぞれ北、東、南、又は西（β＝０°，・・・，２７０°）からの物体３０の照明に相当する。この場合には、照明は、常に同じ１つの仰角において実施される（α＝一定）。第１〜第４照明方向２４ａ〜２４ｄに対応付けられた第１〜第４ハイライト領域３６ａ〜３６ｄはさらに、それぞれの個別画像２８ａ〜２８ｄのそれぞれ１つの露光過剰領域に相当する。とりわけハイライト領域３６ａ〜３６ｄは、予め定められた第１閾値よりも大きい強度を有する画素を含む。ハイライト領域３６ａ〜３６ｄは、例えば予め定められた第１閾値よりも大きい強度を有する露光過剰の画素の二次元分布に相当する。例えば、それぞれのハイライト領域３６ａ〜３６ｄは、二次元分布の各寸法内に所定数の画素を有する。二次元分布は、例えば正方形又は円形の領域に相当する。

図２ｅは、図２ａ〜図２ｄに示された第１シーケンスの個別画像２８ａ〜２８ｄに基づいて生成された１つの組み合わせ画像３４の一例を示す。図２ｅに図示された組み合わせ画像３４は、図２ａ〜図２ｄの個別画像２８ａ〜２８ｄに比べてより高い画質を有する１つの画像である。とりわけ図２ｅの組み合わせ画像３４は、画像情報の損失に結びついたハイライト領域又は露光過剰領域が含まれていない、物体３０の画像である。例えば、組み合わせ画像３４の全ての画素の強度は、最大でも予め定められた第１閾値と同じ大きさである。

従って、図２ａ〜図２ｄにはとりわけ、リングライトのＬＥＤのセグメントを用いて、それぞれ相応に異なる方位角を有する４つの異なる方向（β＝０°，９０°，１８０°，２７０°）と、一定の仰角（α＝一定）とから照明されている金属球の表面が示されている。図２ｅは、ここから算出された組み合わせ画像３４を示す。とりわけ、図２ａ〜図２ｄのハイライト領域３６ａ〜３６ｄ又は露光過剰領域が実質的に除去可能であることが見て取れ、これによって組み合わせ画像３４内の情報内容が増加している。

画像情報の損失に結びついた図２ａの露光不足領域５９も、実質的に除去することができる。これにより、図２ｅに示された組み合わせ画像３４の画質は、図２ａ〜図２ｄに図示された個別画像２８ａ〜２８ｄの画質に比べてより高くなる。このようにして、組み合わせ画像３４における物体細部の識別性が改善されていることにおいて優れた、画像情報の増加を実現することができる。

以下では、図２ｅに示された組み合わせ画像３４を獲得するための基礎となる“ピックアンドリプレース（pick and replace）”アルゴリズムの一例が説明される。例として挙げるこのアルゴリズムによれば、例えば、図２ａに示された第１個別画像２８ａの第１ハイライト領域３６ａが特定される。この際、第１個別画像２８ａは、図２ａ〜図２ｄに図示された第１シーケンスの個別画像２８ａ〜２８ｄから選択される。さらには第１個別画像２８ａの、特定された第１ハイライト領域３６ａは、例えば第１シーケンスの個別画像２８ａ〜２８ｄのうちの第２個別画像２８ｂの、対応する非露光過剰領域３８からの画像情報によって置換される。さらには第１個別画像２８ａの、特定された第１ハイライト領域３６ａを、第１シーケンスの個別画像２８ａ〜２８ｄのうちの他の個別画像２８ｃ，２８ｄの、対応する非露光過剰領域３８からの画像情報によって置換することも可能である。とりわけ第２個別画像２８ｂの非露光過剰領域３８から導出された画像情報は、第１個別画像２８ａの第１ハイライト領域３６ａの画素強度値に置き換わる画素強度値に相当する。

第２個別画像２８ｂの非露光過剰領域３８は、第２個別画像２８ｂ内の所定の位置にて画素の二次元分布を有する。第２個別画像２８ｂ内の非露光過剰領域３８の画素の二次元分布の寸法及び位置は、第１個別画像２８ａ内の第１ハイライト領域３６ａの画素の二次元分布の寸法及び位置に相当する。第２個別画像２８ｂの非露光過剰領域３８はさらに、最大でも予め定められた第１閾値と同じ大きさの強度を有する画素を含む。

図３ａ〜図３ｄは、第１〜第４ハイライト領域５６ａ〜５６ｄと、露光不足領域５８とを備える、３Ｄ物体５０の４つの時間的に順次連続する個別画像５２ａ〜５２ｄからなる第２シーケンスの例を示す。図４ａ〜図４ｄは、第１〜第４ハイライト領域６６ａ〜６６ｄと、露光不足領域６８とを備える、３Ｄ物体６０の４つの時間的に順次連続する個別画像６２ａ〜６２ｄからなる第３シーケンスの例を示す。図３ａ〜図３ｄに図示された３Ｄ物体５０は、例えばでこぼこした光沢のある表面を備える、切れ込み付きのねじ頭である。さらには、図４ａ〜図４ｄに図示された３Ｄ物体６０は、例えばでこぼこした光沢のある表面を備える、中央先端部を有さないねじの前端部である。図３ａ〜図３ｄに示された第２シーケンスの個別画像５２ａ〜５２ｄ内のハイライト領域５６ａ〜５６ｄ、及び、図４ａ〜図４ｄに示された第３シーケンスの個別画像６２ａ〜６２ｄ内のハイライト領域６６ａ〜６６ｄは、これらの領域とそれぞれの照明方向２４ａ〜２４ｄとの対応付けに関して、図２ａ〜図２ｄに示された第１シーケンスの個別画像２８ａ〜２８ｄ内のハイライト領域３６ａ〜３６ｄに相当する。しかしながら、ハイライト領域５６ａ〜５６ｄ又は６６ａ〜６６ｄは、予め定められた第１閾値よりも小さく、且つ、予め定められた第２閾値よりも大きい強度を有する画素を有する領域である。この場合には、予め定められた第２閾値は、予め定められた第１閾値よりも小さい。すなわち、ハイライト領域５６ａ〜５６ｄ又は６６ａ〜６６ｄは、露光過剰の画素も露光不足の画素も含まない。

さらには、図３ａに図示された第２シーケンスの第１個別画像５２ａ、及び、図４ａに図示された第３シーケンスの第１個別画像６２ａは、それぞれ１つの露光不足領域５８又は６８を含む。とりわけ、それぞれの露光不足領域５８，６８は、予め定められた第２閾値よりも小さい強度を有する画素を含む。露光不足領域５８，６８は、例えば予め定められた第２閾値よりも小さい強度を有する露光不足の画素の二次元分布に相当する。従って、ハイライト領域５６ａ〜５６ａ又は６６ａ〜６６ｄは比較的明るい領域であり、その一方で、露光不足領域５８，６８は比較的暗い領域である。

図３ｅは、図３ａ〜図３ｄに示された第２シーケンスの個別画像５２ａ〜５２ｄに基づいて生成された１つの組み合わせ画像５４の一例を示す。図４ｅは、図４ａ〜図４ｄに示された第３シーケンスの個別画像６２ａ〜６２ｄに基づいて生成された１つの組み合わせ画像６４の一例を示す。図３ｅに示された組み合わせ画像５４、及び、図４ｅに示された組み合わせ画像６４は、それぞれ図３ａ〜図３ｄの個別画像５２ａ〜５２ｄ又は図４ａ〜図４ｄの個別画像６２ａ〜６２ｄに比べてより高い画質を有する１つの画像である。とりわけ図３ｅの組み合わせ画像５４又は図４ｅの組み合わせ画像６４は、画像情報の損失に結びついた露光不足領域が含まれていない、物体５０，６０の画像である。例えば、組み合わせ画像５４又は６４の全ての画素の強度は、最小でも予め定められた第２閾値と同じ大きさである。

図３ｅ又は図４ｅにおいてはとりわけ、図３ａ又は図４ａのそれぞれの露光不足領域５８，６８が実質的に除去可能であることが見て取れる。これによって組み合わせ画像５４，６４内の情報内容が増加している。

図２ａ〜図２ｄ、図３ａ〜図３ｄ、又は図４ａ〜図４ｄに示された、第１〜第３シーケンスの個別画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、及び６２ａ〜６２ｄの撮影時には、それぞれ同じ焦点設定が使用された。とりわけ第１シーケンスの撮影時には、それぞれ球３０の表面の中央に合焦された。さらに第２シーケンスの撮影時には、それぞれねじ頭５０の上側端部に合焦され、その一方で、第３シーケンスの撮影時には、それぞれねじ６０の前端部の上側縁部の表面に合焦された。この合焦では、例えばねじ頭５０の切れ込みによって取り囲まれた領域のような部分領域は、被写界深度範囲外に位置する。それにも拘わらず、図３ｅに基づいて明確に示されるように、組み合わせ画像の、例えば組み合わせ画像５４の、被写界深度範囲外に位置する対応する部分領域は、より多くの物体細部を含んでいる。このようにして、組み合わせ画像３４，５４，６４の、被写界深度範囲外に位置する部分領域においても、画像情報の増加を実現することが可能である。この画像情報の増加を、焦点設定をさらに改善するために引き続き利用することができる。

図３ｅ及び図４ｅに図示された組み合わせ画像５４，６４は、“ピックアンドリプレース”アルゴリズムを使用して生成される。例として挙げるこのアルゴリズムによれば、図３ａ又は４ａに示された第１個別画像５２ａ，６２ａのそれぞれの露光不足領域５８，６８が特定される。この際、第１個別画像５２ａは、図３ａ〜図３ｄに図示された第２シーケンスの個別画像５２ａ〜５２ｄから選択される。さらには、第１個別画像６２ａは、図４ａ〜図４ｄに図示された第３シーケンスの個別画像６２ａ〜６２ｄから選択される。例えば第１個別画像５２ａ，６２ａの、特定された露光不足領域５８，６８は、第２又は第３シーケンスの個別画像５２ａ〜５２ｄ，６２ａ〜６２ｄのうちの第２個別画像５２ｂ，６２ｂの、対応するハイライト領域５６ｂ，６６ｂからの画像情報によって置換される。この場合には、第２個別画像５２ｂ，６２ｂのハイライト領域５６ｂ，６６ｂから導出された画像情報は、第１個別画像５２ａ，６２ａの露光不足領域５８，６８の画素強度値に置き換わる画素強度値に相当する。

好ましくは、第２個別画像５２，６２ｂのハイライト領域５６ｂ，６６ｂは、第２個別画像５２ｂ，６２ｂ内の所定の位置にて画素の二次元分布を有する。第２個別画像５２ｂ，６２ｂ内のハイライト領域５６ｂ，６６ｂの画素の二次元分布の寸法及び位置は、例えば第１個別画像５２ａ，６２ａ内の露光不足領域５８，６８の画素の二次元分布の寸法及び位置に相当する。

図２ａ〜図２ｅ、図３ａ〜図３ｅ、又は図４ａ〜図４ｅに基づいて説明した“ピックアンドリプレース”アルゴリズムは、画像組み合わせユニット３２を用いて実施される。

図５ａは、制御装置４０と照明装置２２とを備える、図１ａに図示されたデジタル顕微鏡１０のコンポーネントのブロック図を示す。図５ｂに図示されるように、照明装置２２は、制御装置４０に結合されている。制御装置４０は、制御信号４２を使用して照明装置２２を制御するために使用される。図５ａによれば、照明装置２２は、制御信号４２によって、第１照明方向２４ａと第２照明方向２４ｂとの間で切り替えが実施されるように制御される。従って、図１ｂに図示された第１照明方向２４ａと第２照明方向２４ｂとの間での切り替えを、自動的に実施することができる。

画像撮影の１つの変形例では、画像を連続的に撮影して合成することができ、この際には、例えばグースネック式照明装置の位置を変化させることによって照明方向を手動で変化させることができる。これに変わる形態では、この切り替えを、例えばアーチ形照明の切り替えによって自動的に制御することもできる。

図５ｂは、制御装置４０と第１照明装置２２ａと第２照明装置２２ｂとを備える、図１ｃに図示されたデジタル顕微鏡１０のコンポーネントのブロック図を示す。図５ｂに図示されるように、第１照明装置２２ａ及び第２照明装置２２ｂは、制御装置４０に結合されている。制御装置４０は、制御信号４２を使用して第１照明装置２２ａ及び第２照明装置２２ｂを制御するために使用される。図５ｂによれば、第１照明装置２２ａ及び第２照明装置２２ｂは、制御信号４２によって、例えば第１照明方向２４ａと第２照明方向２４ｂとの間で切り替えが実施されるように制御される。従って、図１ｃに図示された第１照明方向２４ａと第２照明方向２４ｂとの間での切り替えを、自動的に実施することができる。

図５ｃは、制御装置４０と画像撮影ユニット２６と画像組み合わせユニット３２とを備える、図１ａに図示されたデジタル顕微鏡１０のさらなるコンポーネントのブロック図を示す。図５ｃに図示されるように、画像撮影ユニット２６は、制御装置４０に結合されている。画像撮影ユニット２６にはさらに、画像組み合わせユニット３２が結合されている。制御装置４０は、制御信号４２を使用して画像撮影ユニット２６を制御するために使用される。画像撮影ユニット２６は、制御信号４２によって、図２ａ〜図２ｄ、図３ａ〜図３ｄ、又は図４ａ〜図４ｄに図示された例示的な第１〜第３シーケンスの個別画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、６２ａ〜６２ｄが一定のリフレッシュレートで、すなわちｆ_ｒ＝一定で撮影されるように制御される。第１〜第３シーケンスの個別画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、６２ａ〜６２ｄは、画像組み合わせユニット３２を用いて、適切なアルゴリズムを使用して、比較的高画質の組み合わせ画像３４，５４，６４が得られるように組み合わせられる。さらには、一定のリフレッシュレートを使用して、複数の組み合わせ画像のライブストリーミング４４を生成することもできる。

図６は、本発明の１つの実施例に基づく、図１ａに図示されたデジタル顕微鏡１０を用いて実施可能な方法１００のフローチャートを示す。方法１００は、物体３０，５０，６０の第１〜第３シーケンスの個別画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、６２ａ〜６２ｄから組み合わせ画像３４，５４，６４を生成するために使用される。図６に図示されるように、方法１００は、少なくとも２つの相異なる照明方向２４ａ，２４ｂから物体３０，５０，６０を照明すること１０２を含む。この場合には、例えば仰角は一定、すなわちα＝一定であり、その一方で方位角は、北、東、南、又は西から、すなわちβ＝０°，９０°，１８０°，又は２７０°からの物体３０，５０，６０の照明に相当する。方法１００はさらに、少なくとも２つの相異なる照明方向２４ａ，２４ｂから照明された物体３０，５０，６０の第１〜第３シーケンスの個別画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、６２ａ〜６２ｄを撮影すること１０４、及び、組み合わせ画像３４，５４，６４を得るために、第１〜第３シーケンスの個別画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、６２ａ〜６２ｄを組み合わせること１０６を含む。第１〜第３シーケンスの個別画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、６２ａ〜６２ｄを組み合わせること１０６は、例えば図２ａ〜図２ｄ、図３ａ〜図３ｄ、又は図４ａ〜図４ｄに基づいて説明したアルゴリズムを使用して実施される。

本発明は、顕微鏡において、照明を能動的に構成し、且つ制御することができるという事実を利用するものである。本発明によれば、種々異なる照明形式又は種々異なる照明シナリオを調整設定することが可能である。以下では、本発明の複数の利点について説明する。

従来技術によれば、最適な照明は、多くの場合、像面の部分領域のためにしか調整設定することができず、所期のように像面全体に亘って同時に調整設定することは不可能である。従来技術に対する本質的な改善は、本発明によれば、それぞれ異なる照明シナリオによって撮影された複数の画像を組み合わせることにある。この場合には例えば、画像２８ａ〜２８ｄのうちの、それぞれの最良の画像印象を局所的に供給するゾーンであって、且つ、反射、露光不足、露光過剰、又は低コントラストのような局所的な欠陥による影響を受けていないゾーン（例えば図２ｂに図示された領域３８）が、組み合わせのために考慮される。組み合わせ画像３４を得るために画像２８ａ〜２８ｄを組み合わせることは、例えば図２ａ〜図２ｄに基づいて説明した“ピックアンドリプレース”アルゴリズムによって実施することができる。

従来のＨＤＲアルゴリズムと、本発明に係る“ピックアンドリプレース”アルゴリズムとの間には、有意な相違が存在することが判明した。従来のＨＲＤアルゴリズムにおいて期待される画像データは、撮影された受光量が画像撮影ユニットによって変化された画像データである。これによって、拡張されたダイナミックレンジ（ＨＤＲ）が捕捉される。これに対して本発明によれば、変化されるのは照明方向２４ａ，２４ｂ，すなわち照明シナリオである。こうすることによって、とりわけ例えばサンプル又は物体上でのＬＥＤ光源の直接反射のような画像アーチファクトが直接的に回避される。これによって、とりわけ反射に関して、従来のＨＤＲ撮影に比べて格段に効果的な捕捉が可能となる。

本発明の実施例は、デジタル顕微鏡１０のための画像生成システムを実現するものであり、この画像生成システムには、照明装置２２と、画像撮影ユニット２６と、ソフトウェアユニットを備える画像組み合わせユニット３２とが含まれている。照明装置２２は、少なくとも２つの照明シナリオを生成するために使用される。画像撮影ユニット２６は、複数の異なる照明シナリオの元で撮影された、時間的に順次連続する画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、６２ａ〜６２ｄをデジタル化するために使用される。画像組み合わせユニット３２のソフトウェアユニットは、複数の個別画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、６２ａ〜６２ｄから１つの合成画像、すなわち組み合わせ画像３４，５４，６４を生成するために使用される。

実施例によれば、これらの少なくとも２つの照明シナリオは、サンプルに向かって出射される照明方向又は光線方向においてそれぞれ異なっている。合成画像３４，５４，６４を生成するためのアルゴリズムは、例えば、個別画像２８ａ〜２８ｄ、５２ａ〜５２ｄ、６２ａ〜６２ｄの個々のゾーンを統合して１つの合成画像３４，５４，６４にするアルゴリズム（“ピックアンドリプレース”アルゴリズム）とすることができる。

実施例によれば、露光過剰領域又は露光不足領域が存在しないか、又は著しく低減されている複数の合成画像からなるライブストリーミング４４を、一定のリフレッシュレートで生成することが可能である。

実施例によればさらに、それぞれ異なるアルゴリズム又は照明シナリオを用いて生成された、例えば３×３個の合成画像を備えるプレビューを表示することができる。このプレビューは、ユーザが最も適切な選択肢を簡単に選択するために使用される。

本発明によれば、露光不足領域又は露光過剰領域が存在しないか、又は著しく低減されている画像を生成することが可能となる。このために必要となる複数の個別画像２８ａ〜２８ｄは、それぞれ異なる照明シナリオを用いて撮影される。本発明によれば、以下の選択肢が可能である。例えば北、南、東、西からといったように、方位に基づく照明方向を変化させることが可能である。さらには、照明のための仰角（例えば同軸上、略垂直、斜光、側光、又は暗視野特性）を変化させることが可能である。さらには、例えば点状、線状、面状、リング状、リングセグメント状、又は拡散性といったような、光源の種類を選択することも可能である。さらには、照明絞りを種々に調整することが可能である。

カラー画像を撮影するための画像生成システムを備える顕微鏡を実現することも可能である。

実施例によれば、顕微鏡１０は、接眼レンズを有さないデジタル顕微鏡である。すなわち画像は、専らディスプレイ（図示せず）上に表示される。

実施例によれば、例えばズーム光学系のような対物レンズ又は結像系の焦点の位置を変化させずに維持したまま、複数の異なる照明方向を使用するだけで、画像情報の増加を実現することができる。このことは、例えば図２ａ〜図２ｄに図示された、画像２８ａ〜２８ｄの縁部における、球３０の、結像系の被写界深度範囲外にある不鮮明な領域において見て取ることができる。

さらには、Ｚ方向、例えば光軸の方向における複数の異なる焦点位置に関して、このような画像シーケンスを実現することも可能であり、その場合には、Ｚ方向により、照明状況の変化によって画像細部が改善されるだけでなく、拡大された被写界深度範囲を有する物体（球など）の画像も実現され、この拡大された被写界深度範囲内では、本発明に基づいて生成されるそれぞれの画像シーケンスにつき（Ｚ方向のそれぞれの焦点位置につき、それぞれ異なる照明方向を有する４つの画像）が、Ｚ方向の画像スタックとして、完全な被写界深度を有する画像を生成するために相関される。

図７は、組み合わせ画像を生成するための組み合わせ原理の概略図である。３つの個別画像、すなわち個別画像１、個別画像２、及び個別画像３からなる１つの画像シーケンスが図示されている。これらの個別画像は、焦点位置を変化させずにサンプルの同じ１つの場所においてそれぞれ異なる照明状況において撮影したものであり、この際には、それぞれの個別画像ごとに照明方向が変化されている。こうすることによって、サンプルの同一の場所がそれぞれ異なるように照明され、それぞれの個別画像においてそれぞれ異なる明るさ又は暗さで表現される。

これら３つの個別画像では、明るく照明された複数の領域が発生しており、これらの領域は、それぞれ異なる明るさの円として図示されている。露光過剰領域は、“Ｘ”印で取り消された明るい円として図示されている。これらの露光過剰領域は、画像アーチファクト又は画像アーチファクト領域である。

上記の３つの画像には、比較的弱く照明された複数の領域も撮影されている。これらの領域は、それぞれ異なる濃さの灰色の円として図示されている。露光不足領域は、“Ｘ”印で取り消された黒色の円として図示されている。これらの露光不足領域もまた、画像アーチファクト又は画像アーチファクト領域である。

明らかに見て取れるように、それぞれ異なる照明設定に基づいてそれぞれ異なる強さで照明された各領域は、この画像シーケンスの３つの個別画像内の、それぞれ異なる画像位置に存在する。

下側中央には、組み合わせ画像が図示されている。この組み合わせ画像は、３つの個別画像の各画像アーチファクトを、それぞれ他の個別画像の利用可能な領域を利用して補償することによって生成されている。

３つの個別画像１，２，及び３の矢印は、どのアーチファクト領域が、組み合わせ画像において、３つの個別画像のうちの１つから画素領域を引き継ぐことによって補償されているのかを示している。すなわち、個別画像１内の上側の２つの領域は、それぞれ露光過剰領域の形態の画像アーチファクト領域であり、個別画像２及び３の対応する領域によって置換されている。個別画像１の中央に位置する領域は、過度に明るいので、個別画像１の中央領域と個別画像２の中央領域とを組み合わせることにより、画素の組み合わせ（図７ではＰＫが付されている）によって、すなわち画素を組み合わせるためのアルゴリズムを用いた強度同士の相関によって獲得された。

装置に関連していくつかの態様を説明してきたが、これらの態様が、対応する方法の説明にも該当することは自明であり、従って、ブロック又は装置の構成要素も、対応する方法ステップ又は方法ステップの特徴として理解すべきである。同様にして、方法ステップに関連して又は方法ステップとして説明した態様は、対応する装置の対応するブロック又は詳細又は特徴の説明にも該当する。

１０ 顕微鏡
１２ 鏡脚
１４ 旋回ユニット
１６ ハウジング
１８ ステージ
２０ 調整ねじ
２２，２２ａ，２２ｂ 照明装置
２４ａ〜２４ｄ 照明方向
２６ 画像撮影ユニット
２８ａ〜２８ｄ，５２ａ〜ｄ，６２ａ〜６２ｄ 個別画像
３０，５０，６０ 物体
３２ 画像組み合わせユニット
３４，５４，６４ 組み合わせ画像
３６ａ〜３６ｄ，５６ａ〜５６ｄ，６６ａ〜６６ｄ ハイライト領域
３８ 非露光過剰領域
４０ 制御装置
４２ 制御信号
４４ ライブストリーム
４６，４８ 座標系の軸
５８，５９，６８ 露光不足領域
１０２，１０４，１０６ 方法ステップ
Ｐ 物体面上の点
Ｐ１ 方向

Claims (29)

1. 物体（３０；５０；６０）の複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）から１つの組み合わせ画像（３４；５４；６４）を生成する顕微鏡（１０）であって、
   前記顕微鏡（１０）は、
   少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）から前記物体（３０；５０；６０）を照明する少なくとも１つの照明装置（２２；２２ａ，２２ｂ）と、
   前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）から照明された前記物体（３０；５０；６０）の複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）を撮影する画像撮影ユニット（２６）と、
   前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）を組み合わせることによって１つの組み合わせ画像（３４；５４；６４）を生成する画像組み合わせユニット（３２）と、
   を有し、
   前記画像組み合わせユニット（３２）は、前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）を組み合わせる際に、前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）のうちの１つの個別画像の画像アーチファクトに結びついた画像情報の損失を、前記組み合わせ画像（３４；５４；６４）において、前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）のうちの少なくとも１つの他の個別画像の画像情報を使用して補償するように構成されている、
   ことを特徴とする顕微鏡（１０）。
2. 前記画像組み合わせユニット（３２）は、前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）の自動化された評価から、前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）のうちの１つの個別画像の画像アーチファクトを検出するように構成されている、
   請求項１記載の顕微鏡（１０）。
3. 前記画像アーチファクトには、露光過剰によって生じるハイライト領域（３６ａ）、露光不足領域（５８；６８）、及び／又は、低コントラスト領域が含まれ、
   前記画像組み合わせユニット（３２）は、前記個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）の個々の画素の強度値を上側の閾値及び／又は下側の予め定められた閾値と比較することにより、及び／又は、複数の画像領域のコントラスト評価を実施することにより、少なくとも１つのこのような画像アーチファクト領域を検出するように構成されている、
   請求項１又は２記載の顕微鏡（１０）。
4. 前記ハイライト領域（３６ａ〜３６ｄ）は、それぞれの前記個別画像（２８ａ〜２８ｄ）のそれぞれ少なくとも１つの露光過剰領域に相当し、
   前記ハイライト領域（３６ａ〜３６ｄ）は、予め定められた閾値よりも大きい強度を有する画素を含む、
   請求項３記載の顕微鏡（１０）。
5. 前記露光不足領域（５８；６８）は、予め定められた閾値よりも小さい強度を有する画素を含む、
   請求項３記載の顕微鏡（１０）。
6. 前記低コントラスト領域（５８；６８）は、予め定められたコントラスト値よりも小さいコントラスト値を有する画素を含む、
   請求項３記載の顕微鏡（１０）。
7. 前記画像撮影ユニット（２６）は、前記画像アーチファクトとしてハイライト領域（３６ａ〜３６ｄ）をそれぞれ有する複数の異なる個別画像（２８ａ〜２８ｄ）を撮影し、それぞれの前記ハイライト領域（３６ａ〜３６ｄ）を前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）に対応付けるように構成されている、
   請求項１から３のいずれか１項記載の顕微鏡（１０）。
8. 前記画像組み合わせユニット（３２）は、選択された個別画像（２８ａ）のアーチファクトとしてハイライト領域（３６ａ）を特定し、前記選択された個別画像（２８ａ）の、特定された前記ハイライト領域（３６ａ）を、前記選択された個別画像（２８ａ）とは異なる少なくとも１つの別の個別画像（２８ｂ）の、対応する非露光過剰領域（３８）からの画像情報によって置換するように構成されており、
   前記非露光過剰領域（３８）は、最大でも予め定められた閾値と同じ大きさの強度を有する画素を含む、
   請求項１から３のいずれか１項記載の顕微鏡（１０）。
9. 前記画像組み合わせユニット（３２）は、選択された個別画像（５２ａ；６２ａ）のアーチファクトとして露光不足領域（５８；６８）を特定し、前記選択された個別画像（５２ａ；６２ａ）の、特定された前記露光不足領域（５８；６８）を、前記選択された個別画像（５２ａ；６２ａ）とは異なる少なくとも１つの別の個別画像（５２ｂ；６２ｂ）の、対応する非露光不足領域（５６ｂ；６６ｂ）からの画像情報によって置換するように構成されており、
   前記非露光不足領域（５６ｂ；６６ｂ）は、最小でも予め定められた閾値と同じ大きさの強度を有する画素を含む、
   請求項１から３のいずれか１項記載の顕微鏡（１０）。
10. 前記照明装置（２２）は、前記少なくとも２つの相異なる照明方向の方位角（β）及び／又は仰角（α）を調整するように構成されている、
    請求項１から９のいずれか１項記載の顕微鏡（１０）。
11. 前記画像撮影ユニット（２６）は、前記複数の個別画像（２８ａ〜２８ｄ）を、時間的に順次連続する４つの個別画像（２８ａ〜２８ｄ）からなる１つのシーケンスとして撮影するように構成されており、
    前記時間的に順次連続する４つの個別画像（２８ａ〜２８ｄ）は、第１〜第４ハイライト領域（３６ａ〜３６ｄ）を含み、
    前記第１〜第４ハイライト領域（３６ａ〜３６ｄ）は、第１〜第４照明方向（２４ａ〜２４ｄ）に対応付けられており、
    前記第１〜第４照明方向（２４ａ〜２４ｄ）は、それぞれ０°，９０°，１８０°，又は２７０°の方位角（β）と、同じ１つの仰角（α）と、を有する、
    請求項１０記載の顕微鏡（１０）。
12. 前記照明装置（２２）は、前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）を、前記顕微鏡（１０）の照明光路上に設けられた調整可能な開口絞りを使用して生成するように構成されている、
    請求項１から１１のいずれか１項記載の顕微鏡（１０）。
13. 前記照明装置（２２）は、リングライト照明装置、アーチ照明装置、及び／又は、柔軟なグースネック式支持体に可変的に配置可能なグースネック式照明装置を含む、
    請求項１から１２のいずれか１項記載の顕微鏡（１０）。
14. 前記照明装置（２２）を制御する制御装置（４０）が設けられており、
    前記制御装置（４０）は、前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）の第１照明方向（２４ａ）と第２照明方向（２４ｂ）との間で切り替えが実施されるように構成されている、
    請求項１から１３のいずれか１項記載の顕微鏡（１０）。
15. 前記画像撮影ユニット（２６）を制御する制御装置（４０）が設けられており、
    前記制御装置（４０）は、前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）を一定のリフレッシュレート（ｆ_ｒ）で撮影し、これによって複数の組み合わせ画像のライブストリーミング（４４）を生成するように構成されている、
    請求項１から１４のいずれか１項記載の顕微鏡（１０）。
16. 前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）の第１照明方向（２４ａ）及び第２照明方向（２４ｂ）から前記物体（３０；５０；６０）を照明するための唯１つの照明装置（２２）が設けられている、
    請求項１から１５のいずれか１項記載の顕微鏡（１０）。
17. 少なくとも１つの第１照明装置（２２ａ）と少なくとも１つの第２照明装置（２２ｂ）とが設けられており、
    前記第１照明装置（２２ａ）は、前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）のうちの第１照明方向（２４ａ）から前記物体（３０；５０；６０）を照明するように構成されており、
    前記第２照明装置（２２ｂ）は、前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）のうちの第２照明方向（２４ｂ）から前記物体（３０；５０；６０）を照明するように構成されている、
    請求項１から１５のいずれか１項記載の顕微鏡（１０）。
18. 物体（３０；５０；６０）の複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）から１つの組み合わせ画像（３４；５４；６４）を生成する方法（１００）
    であって、
    少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）から前記物体（３０；５０；６０）を照明するステップ（１０２）と、
    前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）から照明された前記物体（３０；５０；６０）の複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）を撮影するステップ（１０４）と、
    前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）を組み合わせる（１０６）ことによって１つの組み合わせ画像（３４；５４；６４）を生成するステップと、
    を有し、
    前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）を組み合わせる（１０６）際に、前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）のうちの１つの個別画像の画像アーチファクトに結びついた画像情報の損失を、前記組み合わせ画像（３４；５４；６４）において、前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）のうちの少なくとも１つの他の個別画像の画像情報を使用して補償する、
    ことを特徴とする方法（１００）。
19. 前記個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）の個々の画素の強度値を上側の閾値及び／又は下側の予め定められた閾値と比較することにより、及び／又は、複数の領域のコントラスト評価を実施することにより、画像アーチファクト領域としてハイライト領域（３６ａ）、露光不足領域（５８；６８）、及び／又は、低コントラスト領域を検出する、
    請求項１８記載の方法（１００）。
20. ハイライト領域（３６ａ〜３６ｄ）をそれぞれ有する複数の異なる個別画像（２８ａ〜２８ｄ）を撮影し、それぞれの前記ハイライト領域（３６ａ〜３６ｄ）を、前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）に対応付け、前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）に対応付けられた前記ハイライト領域（３６ａ〜３６ｄ）は、それぞれの前記個別画像（２８ａ〜２８ｄ）のそれぞれ１つの露光過剰領域に相当する、
    請求項１９記載の方法（１００）。
21. 前記ハイライト領域（３６ａ〜３６ｄ）を、予め定められた閾値よりも大きい強度を有する画素を検出することによって特定する、
    請求項２０記載の方法（１００）。
22. 前記複数の個別画像（２８ａ〜２８ｄ）を組み合わせる（１０６）ために、選択された個別画像（２８ａ）のハイライト領域（３６ａ）を特定し、前記ハイライト領域（３６ａ）を、前記選択された個別画像（２８ａ）とは異なる少なくとも１つの別の個別画像（２８ｂ）の、対応する非露光過剰領域（３８）から得られる画像情報によって置換する、
    請求項１８から２１のいずれか１項記載の方法（１００）。
23. 前記非露光過剰領域（３８）を、最大でも予め定められた閾値と同じ大きさの強度を有する画素を検出することによって特定する、
    請求項２２記載の方法（１００）。
24. 前記複数の個別画像（５２ａ〜５２ｂ；６２ａ〜６２ｄ）を組み合わせる（１０６）ために、選択された個別画像（５２ａ；６２ａ）の露光不足領域（５８；６８）を特定し、前記選択された個別画像（５２ａ；６２ａ）の、特定された前記露光不足領域（５８；６８）を、前記選択された個別画像（５２ａ；６２ａ）とは異なる少なくとも１つの別の個別画像（５２ｂ；６２ｂ）の、対応する非露光不足領域（５６ｂ；６６ｂ）から得られる画像情報によって置換し、
    前記非露光不足領域（５６ｂ；６６ｂ）は、最小でも予め定められた閾値と同じ大きさの強度を有する画素を含む、
    請求項１８から２２のいずれか１項記載の方法（１００）。
25. 前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）の方位角（β）及び／又は仰角（α）を調整する、
    請求項１８から２４のいずれか１項記載の方法（１００）。
26. 時間的に順次連続する複数の個別画像（２８ａ〜２８ｄ）からなる１つのシーケンスを撮影し、
    前記時間的に順次連続する複数の個別画像（２８ａ〜２８ｄ）は、それぞれ異なる画像アーチファクト（３６ａ〜３６ｄ；５８；６８）を含み、
    前記それぞれ異なる画像アーチファクト（３６ａ〜３６ｄ；５８；６８）は、それぞれ異なる照明方向（２４ａ〜２４ｄ）に対応付けられており、前記それぞれ異なる照明方向（２４ａ〜２４ｄ）は、前記照明方向のそれぞれ異なる方位角（β）及び／又はそれぞれ異なる仰角（α）によって実現される、
    請求項１８又は１９記載の方法（１００）。
27. 前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）を、前記顕微鏡（１０）の照明光路上に設けられた調整可能な開口絞りを使用して生成する、
    請求項１８から２６のいずれか１項記載の方法（１００）。
28. 照明装置（２２）を制御して、前記少なくとも２つの相異なる照明方向（２４ａ，２４ｂ）の第１照明方向（２４ａ）と第２照明方向（２４ｂ）との間で切り替えを実施する、
    請求項１８から２７のいずれか１項記載の方法（１００）。
29. 画像撮影ユニット（２６）を制御して、前記複数の個別画像（２８ａ〜２８ｄ；５２ａ〜５２ｄ；６２ａ〜６２ｄ）を一定のリフレッシュレート（ｆ_ｒ）で撮影し、これによって複数の組み合わせ画像のライブストリーミング（４４）を生成する、
    請求項１８から２８のいずれか１項記載の方法（１００）。