JP2015219282A - 画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システム - Google Patents

Abstract

【課題】科学的な検証用途に適した高解像度画像を得ることが可能な画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システムを提供すること。【解決手段】本技術に係る画像処理装置は、画像変換部と、画像生成部とを具備する。画像変換部は、観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、観察対象物が顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、第２の撮像画像は低周波数帯域のコントラストが第１の撮像画像より小さく、高周波数帯域のコントラストが第１の撮像画像より大きくなるよう構成されており、第１の撮像画像と第２の撮像画像とを周波数成分に分解する。画像生成部は、第１の撮像画像の低周波数成分と、第２の撮像画像の高周波数成分を合成し、合成画像を生成する。【選択図】図１

Description

本技術は、顕微鏡光学系を解して撮像された画像に対して画像処理を行う画像処理装置、画像処理プログラム及び画像処理方法並びに画像処理対象の画像を撮像する顕微鏡システムに関する。

観察対象物を顕微鏡を介して撮像した顕微鏡撮像画像は、高解像度であることが望ましい。しかしながら、顕微鏡光学系はＮＡ（開口数）が非常に大きく、色収差（波長帯域による焦点のずれ）を解消することは技術的に困難である。また、顕微鏡光学系のコストやサイズといった点からも、光学的に撮像画像の解像度を向上させるには限度がある。

例えば映像技術の分野では、撮像された画像に対して画像処理を施し、実際に撮像された画像よりも高解像度の画像を得る技術（超解像技術）が普及している。しかしなら、光学的に解像できていないものを画像処理によって解像することは、科学的な検証用途に用いるには不適当である。

例えば、特許文献１には、複数枚の画像を重ね合わせて合成し、合成画像を生成する画像処理装置について記載されている。この装置は、カメラ等の撮像装置によって撮像された画像からの合成画像（パノラマ画像）の生成が想定されており、顕微鏡撮像画像のような科学的な検証用途に用いられるものではない。

特許４８１４８４０号公報

上記のように、科学的な検証用途に利用することが可能な高解像度画像を得るためには、顕微鏡光学系の光学的な解像性能を向上させる必要がある。

以上のような事情に鑑み、本技術の目的は、科学的な検証用途に適した高解像度画像を得ることが可能な画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システムを提供することにある。

上記目的を達成するため、本技術の一形態に係る画像処理装置は、画像変換部と、画像生成部とを具備する。
上記画像変換部は、観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、上記観察対象物が上記顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、上記第２の撮像画像は低周波数帯域のコントラストが上記第１の撮像画像より小さく、高周波数帯域のコントラストが上記第１の撮像画像より大きくなるよう構成されており、上記第１の撮像画像と上記第２の撮像画像とを周波数成分に分解する。
上記画像生成部は、上記第１の撮像画像の低周波数成分と、上記第２の撮像画像の高周波数成分を合成し、合成画像を生成する。

この構成によれば、画像処理装置は、低周波数帯域のコントラストが大きい第１の撮像画像の低周波数成分と、高周波数帯域のコントラストが大きい第２の撮像画像の高周波数成分からなり、全周波数帯域でコントラストが大きい高解像画像を生成することが可能である。第１の撮像画像の低周波成分と第２の撮像画像の高周波成分はそれぞれ顕微鏡光学系によって光学的に解像されたものであり、合成画像は科学的な検証用途に適している。即ち、上記構成によれば、科学的な検証用途に適した高解像度画像を得ることが可能である。

上記第１の照明光は、上記第２の照明光より長い波長帯域の狭帯域光であり、上記第２の照明光は、上記第１の照明光より短い波長帯域の狭帯域光であってもよい。

複数の波長帯域の成分を含む白色光を照明光とすると、顕微鏡光学系の焦点位置が波長帯域毎がわずかにずれてしまい、完全には一致しない。これに対して、狭帯域光を照明光とすると、顕微鏡光学系の焦点位置が完全に一致し、白色光よりも高い解像性能を得ることができる。ここで、顕微鏡の拡大倍率によっては、最も高いコントラストを得ることができる照明光の波長帯域が観察対象物の空間周波数によって異なり、長い周波数帯域の照明光では低周波数帯域のコントラストが大きくなり、短い周波数帯域の照明光は高周波数帯域のコントラストが大きくなる。このため、長い波長帯域の狭帯域光である第１の照明光によって観察対象物を撮像することにより、低周波数帯域のコントラストが大きい第１の撮像画像を得ることができ、短い波長帯域の狭帯域光である第２の照明光によって観察対象物を撮像することにより、高い周波数帯域のコントラストが大きい第２の撮像画像を得ることができる。上記のように、本技術によれば、第１の撮像画像の低周波数成分と、第２の撮像画像の高周波数成分から全周波数帯域でコントラストが大きい高解像画像を生成することが可能であるので、波長帯域の異なる２種類の狭帯域光を照明光とすることにより、高解像度画像の生成に利用可能な第１の撮像画像と第２の撮像画像を撮像することが可能となる。

上記第１の照明光は、赤色光であり、上記第２の照明光は、青色光であってもよい。

赤色光と青色光は、可視光の波長帯域の中で最も離間しており、周波数特性の差異が大きい。具体的には、顕微鏡光学系の拡大倍率が一定以上の場合、赤色光は低周波数帯域のコントラストが大きくなり、青色光は高周波数帯域のコントラストが大きくなる傾向がある。このため、赤色光を第１の照明光とし、青色光を第２の照明光とすることにより、より接近した二つの波長帯域の狭帯域光を第１の照明光及び第２の照明光とする場合に比べ、より顕著な効果が得られる。

上記第１の照明光は、上記第２の照明光より小さい照明ＮＡを有し、上記第２の照明光は、上記第１の照明光より大きい照明ＮＡを有してもよい。

照明光のＮＡ（照明ＮＡ）によっても周波数帯域によるコントラストの傾向が異なる。具体的には小さい照明ＮＡを有する照明光は低周波数帯域のコントラストが大きく、高い照明ＮＡを有する照明光は高周波数帯域のコントラストが大きくなる。このため、小さい照明ＮＡを有する照明光を第１の照明光とし、大きい照明ＮＡを有する照明光を第２の照明光とすることによっても低周波数帯域のコントラストが大きい第１の撮像画像と高周波数帯域のコントラストが大きい第２の撮像画像を生成させることが可能である。

上記画像変換部は、上記第１の撮像画像を空間周波数領域画像に変換して第１の空間周波数領域画像を生成し、上記第２の撮像画像を空間周波数領域画像に変換して第２の空間周波数領域画像を生成し、上記画像生成部は、上記第１の空間周波数領域画像の低周波数領域と、上記第２の空間周波数領域画像の高周波数領域とから上記合成画像を生成してもよい。

この構成によれば、第１の撮像画像及び第２の撮像画像を空間周波数領域画像に変換（例えばフーリエ変換）することにより、第１の撮像画像の低周波成分と第２の撮像画像の高周波成分をそれぞれ低周波領域と高周波領域として扱うことが可能となる。

上記画像生成部は、上記低周波数領域と上記高周波数領域とを結合した結合画像を生成し、上記結合画像を空間領域画像に変換し、上記合成画像を生成してもよい。

この構成によれば、空間周波数領域画像の段階で、第１の撮像画像の低周波成分（第１の空間周波数領域画像の低周波領域）と第２の撮像画像の高周波成分（第２の空間周波数領域画像の高周波領域）を結合することができるため、それを空間領域に変換（例えば逆フーリエ変換）することにより、第１の撮像画像の低周波数成分と、第２の撮像画像の高周波数成分からなる合成画像を生成することが可能となる。

上記画像生成部は、上記低周波数領域を空間領域画像に変換した低周波数成分画像と、上記高周波数領域を空間領域画像に変換した高周波数成分画像とを生成し、上記低周波数成分画像と上記高周波数成分画像とを加算して上記合成画像を生成してもよい。

この構成によれば、第１の撮像画像の低周波成分（第１の空間周波数領域画像の低周波領域）からなる低周波数成分画像と、第２の撮像画像の高周波成分（第２の空間周波数領域画像の高周波領域）からなる高周波数成分画像を生成することができるため、これらを加算することにより、空間領域画像の段階で、第１の撮像画像の低周波数成分と、第２の撮像画像の高周波数成分からなる合成画像を生成することが可能となる。

上記目的を達成するため、本技術の一形態に係る画像処理プログラムは、画像変換部と、画像生成部とを具備する。
上記画像変換部は、観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、上記観察対象物が上記顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、上記第２の撮像画像は低周波数帯域のコントラストが上記第１の撮像画像より小さく、高周波数帯域のコントラストが上記第１の撮像画像より大きくなるよう構成されており、上記第１の撮像画像と上記第２の撮像画像とを周波数成分に分解する。
上記画像生成部は、上記第１の撮像画像の低周波数成分と、上記第２の撮像画像の高周波数成分を合成し、合成画像を生成する。

この構成によれば、上記のように科学的な検証用途に適した高解像度画像を得ることが可能である。

上記目的を達成するため、本技術の一形態に係る画像処理プログラムは、画像変換部が、観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、上記観察対象物が上記顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、上記第２の撮像画像は低周波数帯域のコントラストが上記第１の撮像画像より小さく、高周波数帯域のコントラストが上記第１の撮像画像より大きくなるよう構成されており、上記第１の撮像画像と上記第２の撮像画像とを周波数成分に分解する。
画像生成部は、上記第１の撮像画像の低周波数成分と、上記第２の撮像画像の高周波数成分を合成し、合成画像を生成する。

この構成によれば、上記のように科学的な検証用途に適した高解像度画像を得ることが可能である。

上記目的を達成するため、本技術の一形態に係る顕微鏡システムは、照明と、顕微鏡光学系と、撮像部と、画像変換部と、画像生成部とを具備する。
上記照明は、第１の照明光と、第２の照明光とを照射する。
上記画像変換部は、観察対象物が上記顕微鏡光学系を介して上記第１の照明光で上記撮像部により撮像された第１の撮像画像と、上記観察対象物が上記顕微鏡光学系を介して上記第２の照明光で上記撮像部により撮像された第２の撮像画像であって、上記第２の撮像画像は低周波数帯域のコントラストが上記第１の撮像画像より小さく、高周波数帯域のコントラストが上記第１の撮像画像より大きくなるよう構成されており、上記第１の撮像画像と上記第２の撮像画像とを周波数成分に分解する。
上記画像生成部は、上記第１の撮像画像の低周波数成分と、上記第２の撮像画像の高周波数成分を合成し、合成画像を生成する。

この構成によれば、第１の照明光の照明下で低周波数帯域のコントラストが大きい第１の撮像画像を撮像し、第２の照明光の照明下で高周波数帯域のコントラストが大きい第２の撮像画像を撮像することが可能である。画像処理装置は、第１の撮像画像と第２の撮像画像から、上記のように高解像画像である合成画像を生成することが可能である。

上記顕微鏡システムは、さらに、上記顕微鏡光学系の焦点位置を調整する焦点調整機構と、上記焦点調整機構を制御して、上記第１の照明光の照射下で上記顕微鏡光学系の焦点を上記観察対象物に合わせ、上記第２の照明光の照射下で上記顕微鏡光学系の焦点を上記観察対象物に合わせる制御部を具備してもよい。

この構成によれば、制御部が、第１の照明光の照射下と第２の照明光の照射下でそれぞれ焦点位置の調整を行うため、第１の撮像画像と第２の撮像画像のコントラストを向上させ、即ち合成画像のコントラストを向上させることが可能となる。

上記顕微鏡システムは、さらに、上記第１の撮像画像と上記第２の撮像画像の露出が一致するように、上記第１の照明光と上記第２の照明光の光量を制御する制御部を具備してもよい。

この構成によれば、第１の撮像画像のコントラストと第２の撮像画像のコントラストが同程度となるため、合成画像における低周波成分（第１の撮像画像に由来）と高周波成分（第２の撮像画像に由来）のコントラストの不均衡を防止することが可能である。

以上のように、本技術によれば、科学的な検証用途に適した高解像度画像を得ることが可能な画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係る顕微鏡システムの模式図である。 同顕微鏡システムの照明から照射される第１の照明光及び第２の照明光のスペクトルである。 同顕微鏡システムの画像処理装置の機能的構成を示す模式図である。 同顕微鏡システムの画像処理装置のハードウェア構成を示す模式図である。 同顕微鏡システムの動作を示すフローチャートである。 同顕微鏡システムの動作を示すフローチャートである。 同顕微鏡システムによって撮像される第１の撮像画像の例である。 同顕微鏡システムによって撮像される第２の撮像画像の例である。 同顕微鏡システムの画像変換部によって生成される第１の空間周波数領域画像の例である。 同顕微鏡システムの画像変換部によって生成される第２の空間周波数領域画像の例である。 同顕微鏡システムの画像生成部によって第１の空間周波数領域画像に設定される切り出し境界を示す模式図である。 同顕微鏡システムの画像生成部によって第２の空間周波数領域画像に設定される切り出し境界を示す模式図である。 同顕微鏡システムの画像生成部による低周波数領域の切り出しを示す概念図である。 同顕微鏡システムの画像生成部による高周波数領域の切り出しを示す概念図である。 同顕微鏡システムの画像生成部によって生成される結合画像の例である。 同顕微鏡システムの画像生成部によって生成される合成画像の例である。 ２０倍の顕微鏡拡大倍率における照明光の空間周波数応答特性を示すグラフである。 ６０倍の顕微鏡拡大倍率における照明光の空間周波数応答特性を示すグラフである。 照明光のスペクトルである。 本技術の第２の実施形態に係る顕微鏡システムの模式図である。 同顕微鏡システムの画像処理装置の機能的構成を示す模式図である。 同顕微鏡システムの動作を示すフローチャートである。 同顕微鏡システムの画像生成部によって第１の空間周波数領域画像に設定されるマスク範囲を示す模式図である。 同顕微鏡システムの画像生成部によって第２の空間周波数領域画像に設定されるマスク範囲を示す模式図である 同顕微鏡システムの画像生成部によって第１の空間周波数領域画像に施されるマスキングを示す模式図である。 同顕微鏡システムの画像生成部によって第２の空間周波数領域画像に施されるマスキングを示す模式図である。 同顕微鏡システムの画像生成部によって生成される低周波数成分画像の例である。 同顕微鏡システムの画像生成部によって生成される高周波数成分画像の例である。 本技術の変形例に係る顕微鏡システムの画像生成部によって各空間周波数領域画像に設定される切り出し境界を示す模式図である。 本技術の実施例に係る低周波数帯域における第１の撮像画像、第２の撮像画像及び合成画像である。 本技術の実施例に係る低周波数帯域における第１の撮像画像、第２の撮像画像及び合成画像のコントラストを示すグラフである。 本技術の実施例に係る高周波数帯域における第１の撮像画像、第２の撮像画像及び合成画像である 本技術の実施例に係る高周波数帯域における第１の撮像画像、第２の撮像画像及び合成画像のコントラストを示すグラフである。

（第１の実施形態）
本技術の第１の実施形態に係る顕微鏡システム１００ついて説明する。

＜顕微鏡システムの構成＞
図１は、本実施形態に係る顕微鏡システム１００の構成を示す模式図である。同図に示すように顕微鏡システム１００は、顕微鏡１１０、制御装置１２０、画像処理装置１３０及びディスプレイ１４０を備える。顕微鏡１１０には観察対象物Ｐが載置されている。

顕微鏡１１０は、観察対象物Ｐの顕微鏡拡大画像を生成する。同図に示すように、顕微鏡１１０は、照明１１１、照明光学系１１２、ステージ１１３、対物レンズ１１４、結像レンズ１１５、焦点調整機構１１６及び撮像部１１７を有する。なお、以下の説明において、顕微鏡１１０の光軸に沿った方向をＺ方向とし、Ｚ方向に垂直な一方向をＸ方向、Ｚ方向及びＸ方向に垂直な方向をＹ方向とする。

照明１１１は、観察対象物Ｐに照明光を照射する。ここで、照明１１１は、２種類の照明光を照射することが可能な構成を有する。照明１１１が照射する２種類の照明光を第１の照明光Ｌ１及び第２の照明光Ｌ２とする。図２は、第１の照明光Ｌ１及び第２の照明光Ｌ２のスペクトルの例を示す模式図である。

第１の照明光Ｌ１は、第２の照明光Ｌ２より長い波長帯域の狭帯域光であるものとすることができる。例えば第１の照明光Ｌ１の波長帯域は５７０ｎｍ以上７００ｎｍ以下の赤色光帯域に含まれているものとすることができる。なお、第１の照明光Ｌ１は少なくともピーク波長が上記赤色光帯域に含まれていてもよい。第１の照明光Ｌ１は、そのスペクトルの半値幅（図中破線幅）が１０ｎｍ以上１００ｎｍ以下の狭帯域光であるものとすることができる。

第２の照明光Ｌ２は、第１の照明光より短い波長帯域の狭帯域光であるものとすることができる。例えば第２の照明光の波長帯域は４００ｎｍ以上５００ｎｍ以下の青色光帯域に含まれているものとすることができる。なお、第２の照明光Ｌ２は少なくともピーク波長が上記青色光帯域に含まれていてもよい。第２の照明光Ｌ２は、そのスペクトルの半値幅（図中破線幅）が１０ｎｍ以上１００ｎｍ以下の狭帯域光であるものとすることができる。

第１の照明光Ｌ１と第２の照明光Ｌ２の波長帯域は上述のものに限られず、第１の照明光Ｌ１の波長帯域が第２の照明光Ｌ２の波長帯域より長く、第２の照明光Ｌ２の波長帯域が第１の照明光Ｌ１の波長帯域より短かければよい。例えば、第２の照明光Ｌ２は緑色光帯域（５００ｎｍ以上５７０ｎｍ）に含まれていてもよい。しかしながら、第１の照明光Ｌ１の波長帯域と第２の照明光Ｌ２の波長帯域が接近していると、本技術の効果が小さくなるため、両波長帯域はある程度離れている方が好適である。

また、第１の照明光Ｌ１と第２の照明光Ｌ２は、スペクトルの半値幅が１０ｎｍ以上１００ｎｍ以下の狭帯域光が好適であるとしたが、半値幅が１００ｎｍを超えると、それぞれの照明光下での撮像画像の解像度が低下するためである。光は波長帯域によって屈折率がわずかに異なるため、半値幅が１００ｎｍを超えると焦点位置が波長ごとにずれ、全ての波長の光を同一の焦点位置に厳密に合わせることができなくなる。また、半値幅が１０ｎｍ未満であると、観察対象物Ｐにおいて干渉が発生するため、半値幅は１０ｎｍ以上が好適である。

以下の説明では、第１の照明光Ｌ１は赤色波長帯域に含まれ、第２の照明光Ｌ２は青色波長帯域に含まれるものとして説明する。

照明１１１は、上記第１の照明光Ｌ１と第２の照明光Ｌ２の両者を別々に照射することが可能な構成を有する。具体的には、照明１１１は、第１の照明光Ｌ１用の光源と第２の照明光Ｌ２用の光源を備えるものとすることができる。それぞれの光源は放出光の波長帯域が比較的狭いＬＥＤ（Light Emitting Diode）やレーザーを利用することができる。また、照明１１１は単一の光源であってもよく、切替可能なカラーフィルタ等によって、第１の照明光Ｌ１と第２の照明光Ｌ２を照射することが可能に構成されていてもよい。

照明光学系１１２は、照明１１１から照射された第１の照明光Ｌ１及び第２の照明光Ｌ２を均一化する。照明光学系１１２は例えばケーラー照明光学系であるものとすることができる。

ステージ１１３は、観察対象物Ｐを支持する。ステージ１１３はＸ方向及びＹ方向に移動可能なＸＹステージ又はＸ方向、Ｙ方向及びＺ方向に移動可能なＸＹＺステージであるものとすることができる。

対物レンズ１１４は、観察対象物Ｐの像を光学的に拡大する。観察対象物Ｐの像は、観察対象物に照射された第１の照明光Ｌ１又は第２の照明光Ｌ２によって形成されるものである。対物レンズ１１４の構成は一般的なものとすることができる。

結像レンズ１１５は、対物レンズ１１４によって拡大された観察対象物Ｐの像を、撮像部１１７の撮像面に結像する。結像レンズ１１５の構成は一般的なものとすることができる。

対物レンズ１１４と結像レンズ１１５によって、顕微鏡１１０の顕微鏡光学系が構成されている。なお、顕微鏡光学系の構成はここに示すものに限られず、観察対象物Ｐの像を拡大し、撮像部１１７の撮像面に結像できる構成であればよい。

焦点調整機構１１６は、顕微鏡光学系の焦点位置を調整する。具体的には焦点調整機構１１６は、図１に示すように、対物レンズ１１４のＺ位置を移動させることによって焦点位置を調整するものとすることができる。また、焦点調整機構１１６は、ステージ１１３に組み込まれ、ステージ１１３のＺ位置を移動させることによって焦点位置を調整してもよい。焦点調整機構１１６は、制御装置１２０による制御を受けて焦点位置を調整するものとすることができるが、これについては後述する。

撮像部１１７は、結像レンズ１１５によって結像された観察対象物Ｐの像を撮像する。撮像部１１７は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の個体撮像素子を備える。ここで、撮像部１１７は少なくとも第１の照明光Ｌ１と第２の照明光Ｌ２の波長帯域の光を撮像（光電変換）可能なものであればよく、カラー撮像が可能な一般的な撮像素子を備えるものであってもよい。

顕微鏡１１０は以上のような構成を有する。なお図１では、顕微鏡１１０は透過型の明視野顕微鏡として示したが、本技術は反射型の明視野顕微鏡、位相差顕微鏡等、蛍光顕微鏡等、光学的に観察対象物の像を拡大することが可能なあらゆる種類の顕微鏡に適用することが可能である。

制御装置１２０は、顕微鏡１１０の各部を制御する。制御装置１２０は、図１に示すように照明１１１、ステージ１１３及び焦点調整機構１１６に接続され、これらを制御するものとすることができる。詳細は後述するが、制御装置１２０は、照明１１１から照射される第１の照明光Ｌ１及び第２の照明光Ｌ２の光量や顕微鏡光学系の焦点位置を制御するものとすることができる。

画像処理装置１３０は、撮像部１１７によって撮像された画像に対して画像処理を施す。図３は、画像処理装置１３０の機能的構成を示す模式図であり、図４は画像処理装置１３０の典型的なハードウェア構成を示す模式図である。

図３に示すように、画像処理装置１３０は、画像変換部１３１及び画像生成部１３２を有する。画像変換部１３１及び画像生成部１３２の構成の詳細については顕微鏡システム１００の動作の説明に合わせて説明する。画像変換部１３１及び画像生成部１３２は、図４に示すハードウェア構成とプログラムの共働によって実現される機能的構成である。

図４に示すように、画像処理装置１３０はハードウェア構成として、ＣＰＵ１３３、メモリ１３４、ストレージ１３５及び入出力部１３６を有する。これらはバス１３８によって互いに接続されている。

ＣＰＵ（Central Processing Unit）１３３は、メモリ１３４に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１３４に格納する。ＣＰＵ１３３はマイクロプロセッサであるものとすることができる。

メモリ１３４はＣＰＵ１３３によって実行されるプログラム及びデータを格納する。メモリ１３４はＲＡＭ（Random Access Memory）であるものとすることができる。

ストレージ１３５は、プログラムやデータを格納する。ストレージ１３５はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。

入出力部１３６は画像処理装置１３０に対する入力を受け付け、また画像処理装置１３０の出力を外部に供給する。入出力部１３６は、キーボードやマウス等の入力機器やディスプレイ１４０等の出力機器、ネットワーク等の接続インターフェイスを含む。

画像処理装置１３０のハードウェア構成はここに示すものに限られず、上記画像処理装置１３０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。

ディスプレイ１４０は、画像処理装置１３０の入出力部１３６に接続され、画像処理装置１３０から出力される画像を表示する。また、ディスプレイ１４０は、顕微鏡１１０の撮像部１１７にも接続され、撮像部１１７によって撮像された画像を直接に表示してもよい。

顕微鏡システム１００は以上のような構成を有する。なお、制御装置１２０及び画像処理装置１３０は、両者の機能を有する一つの装置であってもよい。また、制御装置１２０及び画像処理装置１３０の一方又は両方は、顕微鏡１１０に搭載されていてもよい。

＜顕微鏡システムの動作＞
顕微鏡システム１００の動作について説明する。図５及び図６は、顕微鏡システム１００の動作を示すフローチャートである。

まず、制御装置１２０によって照明１１１が制御され、照明１１１から第１の照明光Ｌ１が照射される（Ｓｔ１０１）。第１の照明光Ｌ１は上述のように、長い波長帯域に含まれる狭帯域光である。第１の照明光Ｌ１は照明光学系１１２によって均一化され、観察対象物Ｐを透過し、対物レンズ１１４によって拡大され、結像レンズ１１５によって撮像部１１７の撮像面に結像される。

続いて、制御装置１２０によって焦点調整機構１１６が制御され、顕微鏡光学系（対物レンズ１１４及び結像レンズ１１５）の焦点位置が調整される（Ｓｔ１０２）。制御装置１２０は、撮像部１１７によって撮像された画像のコントラストが最も大きくなるように焦点調整機構１１６を制御し、焦点位置を調整することができる。

また、制御装置１２０は、事前に白色光の照明光（通常の明視野像）での撮像が実行されている場合には、その際の焦点位置から所定量ずれた位置に焦点位置を設定してもよい。例えば、白色光の焦点位置に対して、特定の波長帯域の光ではどの程度焦点位置がずれるかを事前に測定あるいは算出しておくことで、制御装置１２０は第１の照明光Ｌ１の波長帯域に応じて焦点位置のシフト量を決定することができる。

また、焦点位置の調整は、ユーザがディスプレイ１４０に表示された撮像画像を参照しながら制御装置１２０を操作し、撮像画像のコントラストが最も高くなるように手動で実行してもよい。

第１の照明光Ｌ１の照射下での焦点位置調整が完了すると、制御装置１２０は撮像部１１７を制御し、画像を撮像する（Ｓｔ１０３）。以下、この撮像された画像を第１の撮像画像Ｇ１とする。図７は第１の撮像画像Ｇ１の例である。この画像は、所定幅のライン＆スペースからなる解像力チャート（観察対象物Ｐの例）を撮像した画像であり、第１の照明光Ｌ１の波長帯域（赤色波長帯域）で撮像されているため、図７の画像で白色の領域は実際には赤色である。撮像部１１７は第１の撮像画像Ｇ１を画像処理装置１３０に供給する。

続いて、制御装置１２０によって照明１１１が制御され、照明１１１から第２の照明光Ｌ２が照射される（Ｓｔ１０４）。第１の照明光Ｌ１は上述のように、短い波長帯域に含まれる狭帯域光である。第２の照明光Ｌ２は照明光学系１１２によって均一化され、観察対象物Ｐを透過し、対物レンズ１１４によって拡大され、結像レンズ１１５によって撮像部１１７の撮像面に結像される。

続いて、制御装置１２０によって焦点調整機構１１６が制御され、顕微鏡光学系（対物レンズ１１４及び結像レンズ１１５）の焦点位置が調整される（Ｓｔ１０５）。第１の照明光Ｌ１と第２の照明光Ｌ２の波長帯域が異なるため、焦点位置がわずかに異なり、再度の焦点位置調整を行うことにより、第２の照明光Ｌ２の照明下での撮像画像の解像度を向上させることが可能である。

制御装置１２０は、第１の照明光Ｌ１の場合と同様に、撮像部１１７によって撮像された画像のコントラストが最も大きくなるように焦点調整機構１１６を制御し、焦点位置を調整することができる。また、制御装置１２０は、第１の照明光Ｌ１の際に調整した焦点位置から、第２の照明光Ｌ２の波長帯域に応じて所定量焦点位置をずらしてもよい。また、ユーザが手動で焦点位置の調整を実行してもよい。

第２の照明光Ｌ２の照射下での焦点位置調整が完了すると、制御装置１２０は撮像部１１７を制御し、画像を撮像する（Ｓｔ１０６）。以下、この撮像された画像を第２の撮像画像Ｇ２とする。図８は第２の撮像画像Ｇ２の例である。この画像は、上記のように解像力チャート（観察対象物Ｐの例）を撮像した画像であり、第２の照明光Ｌ２の波長帯域（青色波長帯域）で撮像されているため、図８の画像で白色の領域は実際には青色である。撮像部１１７は第２の撮像画像Ｇ２を画像処理装置１３０に供給する。

このようにして、第１の照明光Ｌ１の照射下で第１の撮像画像Ｇ１が撮像され、第２の照明光Ｌ２の照射下で第２の撮像画像Ｇ２が撮像される。なお、第１の撮像画像Ｇ１と第２の撮像画像Ｇ２の撮像順序は逆でもよい。

また、制御装置１２０は、第１の撮像画像Ｇ１と第２の撮像画像Ｇ２の撮像の際に、照明１１１を制御し、第１の照明光Ｌ１と第２の照明光Ｌ２の光量を調整してもよい。第１の照明光Ｌ１と第２の照明光Ｌ２の明るさ（露出）が大きく異なると、後述する画像処理において問題が生じるためである。具体的には制御装置１２０は、第１の照明光Ｌ１の照明下での撮像画像の平均輝度値と、第２の照明光Ｌ２の照明下での撮像画像の平均輝度値が一致するように、照明１１１を制御するものとすることができる。

続いて、図６に示すように、画像変換部１３１は、第１の撮像画像Ｇ１と撮像第２の撮像画像Ｇ２を空間周波数領域の画像に変換する（Ｓｔ１０７）。第１の撮像画像Ｇ１と第２の撮像画像Ｇ２は、観察対象物Ｐを撮像した画像であり、空間領域の画像である。画像変換部１３１は、第１の撮像画像Ｇ１と第２の撮像画像Ｇ２に周波数解析を施し、第１の撮像画像Ｇ１を第１の空間周波数領域画像に変換し、第２の撮像画像Ｇ２を第２の空間周波数領域画像変換するものとすることができる。

具体的には、画像変換部１３１は、第１の撮像画像Ｇ１と第２の撮像画像Ｇ２のそれぞれに対してフーリエ変換を施し、周波数成分に分解して所定の座標に配置し、両撮像画像を空間周波数領域の画像に変換するものとすることができる。フーリエ変換は高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を利用することができる。また、画像変換部１３１は他の周波数解析アルゴリズムを用いて、第１の撮像画像Ｇ１と第２の撮像画像Ｇ２を空間周波数領域画像に変換してもよい。

画像変換部１３１は、第１の撮像画像Ｇ１及び第２の撮像画像Ｇ２のそれぞれを分解した周波数成分を、画像の中心が低周波数成分であり、画像の周縁が高周波数成分となるように周波数成分を配置して、空間周波数領域画像を生成するものとすることができる。

図９は、第１の撮像画像Ｇ１から変換された第１の空間周波数領域画像Ｈ１を示し、図１０は第２の撮像画像Ｇ２から生成された第２の空間周波数領域画像Ｈ２を示す。図９及び図１０は第１の撮像画像Ｇ１及び第２の撮像画像Ｇ２に対して高速フーリエ変換を施して得られた画像であり、画像の中心が低周波数成分であり、画像の周縁が高周波数成分となるように生成した画像である。

続いて、画像生成部１３２は、第１の空間周波数領域画像Ｈ１と第２の空間周波数領域画像Ｈ２において、切り出し境界を設定する（Ｓｔ１０８）。図１１は、第１の空間周波数領域画像Ｈ１において設定された切り出し境界Ｓ１を示す図であり、図１２は第２の空間周波数領域画像Ｈ２において設定された切り出し境界Ｓ２を示す図である。

画像生成部１３２は、これらの図に示すように両空間周波数領域画像において、画像中央を中心とする同一直径の円を切り出し境界Ｓ１及び切り出し境界Ｓ２として設定するものとすることができる。両空間周波数領域画像における画像中心からの距離は周波数であり、画像中央を中心とする円は特定の周波数に相当する。この周波数は予め定められた周波数であってもよく、画像生成部１３２が第１の空間周波数領域画像Ｈ１及び第２の空間周波数領域画像Ｈ２を解析して決定してもよいが、後述する逆転周波数と同一の周波数又はこれに近い周波数が好適である。

また、切り出し境界は必ずしも円形でなくてもよく、画像中央を中心とする矩形や楕円形であってもよい。しかし、上記のように空間周波数領域画像における画像中央を中心とする円は一定の周波数に相当し、好適である。

続いて、画像生成部１３２は、第１の空間周波数領域画像Ｈ１から低周波数領域を切り出し、第２の空間周波数領域画像Ｈ２から高周波数領域を切り出す（Ｓｔ１０９）。図１３は、第１の空間周波数領域画像Ｈ１からの低周波数領域の切り出しの概念図である。同図に示すように、画像生成部１３２は、第１の空間周波数領域画像Ｈ１における切り出し境界Ｓ１の内周領域（斜線の領域）を切り出すものとすることができる。上記のように第１の空間周波数領域画像Ｈ１は、画像中心が低周数波成分であるので、切り出し境界Ｓの内周領域は低周波数成分の領域である。以下この領域を低周波数領域Ｆ１とする。

図１４は、第２の空間周波数領域画像Ｈ２からの高周波数領域の切り出しの概念図である。同図に示すように、画像生成部１３２は、第２の空間周波数領域画像Ｈ２における切り出し境界Ｓ２の外周領域（斜線の領域）を切り出すものとすることができる。上記のように第２の空間周波数領域画像Ｈ２も、画像中心が低周数波成分であるので、切り出し境界Ｓ２の外周領域は高周波数成分の領域である。以下この領域を高周波数領域Ｆ２とする。

続いて、画像生成部１３２は、低周波数領域Ｆ１と高周波数領域Ｆ２とを結合する（Ｓｔ１１０）。図１５は結合画像Ｕを示す模式図である。同図に示すように画像生成部１３２は、低周波数領域Ｆ１と高周波数領域Ｆ２を、切り出し境界Ｓ１と切り出し境界Ｓ２（図１１及び図１２参照）が一致するように結合する。

続いて、画像生成部１３２は、結合画像Ｕを空間領域の画像に変換する（Ｓｔ１１１）。具体的には、画像生成部１３２は、結合画像Ｕに対して逆フーリエ変換を施し、両画像を空間周波数領域の画像に変換するものとすることができる。逆フーリエ変換は逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を利用することができる。また、画像変換部１３１は他の周波数解析アルゴリズムを用いて、結合画像Ｕを空間領域画像に変換してもよい。

この変換によって、合成画像が生成される。図１６は、生成された合成画像Ｇ３を示す。画像生成部１３２は、合成画像Ｇ３を例えばディスプレイ１４０に表示し、ユーザに提示するものとすることができる。

なお、画像変換部１３１は、画像の中心が低周波数成分であり、画像の周縁が高周波数成分である第１の空間周波数領域画像Ｈ１及び第２の空間周波数領域画像Ｈ２を生成する（Ｓｔ１０７）ものとして説明したが、他の形式で空間周波数領域画像を生成してもよい。例えば画像変換部１３１は、画像の中心が高周波数成分であり、画像の周縁が低周波数成分となるように生成してもよい。

この場合、画像生成部１３２は、第１の空間周波数領域画像Ｈ１と第２の空間周波数領域画像Ｈ２において一定の周波数の位置又は所定形状に切り出し境界Ｓ１及び切り出し境界Ｓ２を設定し、第１の空間周波数領域画像Ｈ１から低周波数領域Ｆ１を切り出し、第２の空間周波数領域画像Ｈ２から高周波数領域Ｆ２を切り出すものとすることができる。

＜顕微鏡システムの効果＞
顕微鏡システム１００の効果について説明する。

上記のように顕微鏡システム１００は、第１の照明光Ｌ１と第２の照明光Ｌ２をそれぞれ照射し、第１の撮像画像Ｇ１と第２の撮像画像Ｇ２を撮像する。ここで、照明光は、その波長帯域によって周波数特性が異なる。

図１７及び図１８は、照明光を解像力チャートに照射し、顕微鏡光学系を介して撮像し、スラントエッジ法により空間周波数応答を求めた結果である。両図において横軸は解像力チャートのライン密度（ｌｉｎｅ／ｍｍ）、即ち空間周波数であり、縦軸はコントラストである。図１７は、拡大倍率２０倍の対物レンズ（ＮＡ０．４５）を備える顕微鏡光学系での結果であり、図１８は、拡大倍率６０倍の対物レンズ（ＮＡ０．７５）を備える顕微鏡光学系での結果である。

図１９は照明光のスペクトルである。照明はＬＥＤ光源による狭帯域照明であり、４６６ｎｍ（青色）、５２１ｎｍ（緑色）及び６３８ｎｍ（赤色）にピーク波長が存在する。

図１７に示す、拡大倍率２０倍の空間周波数応答では、全体的に赤色（Ｒ）に比べて青色（Ｂ）及び緑色（Ｇ）のコントラストが大きくなっている。即ち、この拡大倍率では、赤色光よりも青色光又は緑色光を照明光とすることにより、コントラストが大きい画像が撮像できることがわかる。

一方、図１８に示す拡大倍率６０倍の空間周波数応答では、１０００ｌｉｎｅ／ｍｍ付近より大きい空間周波数では、赤色（Ｒ）に比べて青色（Ｂ）又は緑色（Ｇ）のコントラストが大きいものの、１０００ｌｉｎｅ／ｍｍ付近より小さい空間周波数では、青色（Ｂ）又は緑色（Ｇ）に比べて赤色（Ｒ）のコントラストが大きくなっている。この赤色（Ｒ）と青色（Ｂ）のコントラストが逆転する空間周波数を逆転周波数Ｔ１として示す。

このことから、この拡大倍率では、赤色光を照明光として撮像された画像は逆転周波数Ｔ１より低周波数の帯域のコントラストが大きく、青色光を照明光として撮像された画像は逆転周波数Ｔ１より高周波数の帯域のコントラストが大きいことがわかる。

また、図１７及び図１８において、青色と緑色のコントラストが逆転する空間周波数を逆転周波数Ｔ２として示す。

このように、光学顕微鏡では、顕微鏡光学系の拡大倍率が高い場合、観察対象物の空間周波数毎に最も高いコントラストが得られる照明光の波長帯域が異なり、赤色の照明光をによって撮像された画像は低周波数帯域のコントラストが大きく、青色又は緑色の照明光によって撮像された画像は高周波数帯域のコントラストが大きくなることがわかる。

本実施形態に係る第１の撮像画像Ｇ１は長い波長帯域に含まれる狭帯域光である第１の照明光Ｌ１（例えば赤色光）の照明下で撮像され、第２の撮像画像Ｇ２は短い波長帯域に含まれる狭帯域光である第２の照明光Ｌ２（例えば青色光）の照明下で撮像されている。したがって、第１の撮像画像Ｇ１は、第２の撮像画像Ｇ２と比較して低周波数帯域のコントラストが大きく、第２の撮像画像Ｇ２は第１の撮像画像Ｇ１と比較して高周波数帯域のコントラストが大きい。

そして、画像生成部１３２は上述のように、第１の撮像画像Ｇ１を第１の空間周波数領域画像Ｈ１に変換し、低周波数領域Ｆ１を切り出す。即ち、低周波数領域Ｆ１は、第１の撮像画像Ｇ１においてコントラストが大きい低周波数帯域の成分を抽出したものである。また、画像生成部１３２は、第２の撮像画像Ｇ２を第２の空間周波数領域画像Ｈ２に変換し、高周波数領域Ｆ２を切り出す。即ち、高周波数領域Ｆ２は、第２の撮像画像Ｇ２においてコントラストが大きい高周波数帯域の成分を抽出したものである。

したがって、画像生成部１３２が低周波数領域Ｆ１と高周波数領域Ｆ２を結合して生成する結合画像Ｕは、第１の撮像画像Ｇ１の低周波数成分と第２の撮像画像Ｇ２の高周波数成分から構成された空間周波数領域画像である。このため、結合画像Ｕを空間領域画像に変換した合成画像Ｇ３は、第１の撮像画像Ｇ１の低周波数成分と第２の撮像画像Ｇ２の高周波数成分を含む。

上記のように第１の撮像画像Ｇ１の低周波数帯域は第２の撮像画像Ｇ２の低周波数帯域よりコントラストが大きく、第２の撮像画像Ｇ２の高周波数帯域は第１の撮像画像Ｇ１の高周波数帯域よりコントラストが大きい。このため、合成画像Ｇ３は、第１の撮像画像Ｇ１より高周波数帯域のコントラストが大きく、かつ第２の撮像画像Ｇ２より低周波数帯域のコントラストが大きい。即ち、合成画像Ｇ３は、全周波数帯域（低周波数帯域及び高周波数帯域）のコントラストが大きく、解像度に優れた画像となる。

なお、上記のように第１の撮像画像Ｇ１は第１の照明光Ｌ１の照明下で、第２の撮像画像Ｇ２は第２の照明光Ｌ２の照明下で、それぞれ顕微鏡光学系の焦点が調整されている。狭帯域光でない光（例えば白色光）では、波長帯域によって焦点の位置がずれるため、狭帯域光でない光を照明光とした撮像画像は、第１の撮像画像Ｇ１及び第２の撮像画像Ｇ２に比較して低周波数帯域と高周波数帯域の両者のコントラストが小さい。即ち、合成画像Ｇ３は、狭帯域光でない光を照明光とした撮像画像に比較しても、全周波数帯域のコントラストが大きく、解像度に優れた画像である。

以上のように、顕微鏡システム１００を利用することによって、観察対象物Ｐの高解像度画像を得ることが可能である。上記のように顕微鏡システム１００では、第１の照明光Ｌ１と第２の照明光Ｌ２の照明下でそれぞれ光学的に解像できているものを合成画像Ｇ３として描画している。したがって、合成画像Ｇ３は光学的に解像できていないものを画像処理によって描画したものではなく、科学的な正確さを維持しているため、科学的な検証用途に不都合なく利用することが可能である。

（第２の実施形態）
本技術の第２の実施形態に係る顕微鏡システム２００ついて説明する。なお、本実施形態の説明において、第１の実施形態に係る顕微鏡システム１００と同一の構成については同一の符号を付し、説明を省略する。

＜顕微鏡システムの構成＞
図２０は、本実施形態に係る顕微鏡システム２００の構成を示す模式図である。顕微鏡システム２００は、画像処理装置２３０を備える他は第１の実施形態に係る顕微鏡システム１００の同一の構成であるため、画像処理装置２３０の構成について説明する。

画像処理装置２３０は、撮像部１１７によって撮像された画像に対して画像処理を施す。図２１は、画像処理装置１３０の機能的構成を示す模式図である。同図に示すように、画像処理装置２３０は、画像変換部２３１及び画像生成部２３２を有する。画像変換部２３１及び画像生成部２３２の構成の詳細については顕微鏡システム２００の動作の説明に合わせて説明する。画像処理装置２３０のハードウェア構成は、第１の実施形態に係る画像処理装置１３０と同様の構成（図４参照）とすることができる。画像変換部２３１及び画像生成部２３２はこれらのハードウェア構成とプログラムの共働によって実現される機能的構成である。

＜顕微鏡システムの動作＞
顕微鏡システム２００の動作について説明する。第２の撮像画像Ｇ２の撮像まで（図５参照）は、第１の実施形態と同様である。即ち、顕微鏡システム２００は、長い波長帯域の狭帯域光である第１の照明光Ｌ１の照明下で焦点位置を調整し、第１の撮像画像Ｇ１を撮像する。また、顕微鏡システム２００は短い波長帯域の狭帯域光である第２の照明光Ｌ２の照明下で焦点位置を調整し、第２の撮像画像Ｇ２を撮像する。

続いて、図２２に示すように、画像変換部２３１は、第１の撮像画像Ｇ１と撮像第２の撮像画像Ｇ２を空間周波数領域の画像に変換する（Ｓｔ２０１）。第１の撮像画像Ｇ１と第２の撮像画像Ｇ２は、観察対象物Ｐを撮像した画像であり、空間領域の画像である。画像変換部２３１は、第１の撮像画像Ｇ１と第２の撮像画像Ｇ２に周波数解析を施し、第１の撮像画像Ｇ１を第１の空間周波数領域画像に変換し、第２の撮像画像Ｇ２を第２の空間周波数領域画像変換するものとすることができる。

具体的には、画像変換部２３１は、第１の撮像画像Ｇ１と第２の撮像画像Ｇ２のそれぞれに対してフーリエ変換を施し、周波数成分に分解して所定の座標に配置し、両画像を空間周波数領域の画像に変換するものとすることができる。フーリエ変換は高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を利用することができる。また、画像変換部２３１は他の周波数解析アルゴリズムを用いて、第１の撮像画像Ｇ１と第２の撮像画像Ｇ２を空間周波数領域画像に変換してもよい。

画像変換部１３１は、第１の撮像画像Ｇ１及び第２の撮像画像Ｇ２のそれぞれを分解した周波数成分を、画像の中心が低周波数成分であり、画像の周縁が高周波数成分となるように周波数成分を配置して、空間周波数領域画像を生成するものとすることができる。画像変換部２３１は、第１の撮像画像Ｇ１から第１の空間周波数領域画像Ｈ１（図９参照）を生成し、第２の撮像画像Ｇ２から第２の空間周波数領域画像Ｈ２（図１０参照）を生成する。

続いて、画像生成部２３２は、第１の空間周波数領域画像Ｈ１と第２の空間周波数領域画像Ｈ２において、マスク範囲を設定する（Ｓｔ２０２）。図２３は、第１の空間周波数領域画像Ｈ１において設定されたマスク範囲Ｍ１を示す図であり、図２４は第２の空間周波数領域画像Ｈ２において設定されたマスク範囲Ｍ２を示す図である。

画像生成部２３２は、これらの図に示すように両空間周波数領域画像において、画像中央を中心とする同一直径の円をマスク範囲Ｍ１及びマスク範囲Ｍ２として設定するものとすることができる。両空間周波数領域画像における画像中心からの距離は周波数であり、画像中央を中心とする円は特定の周波数に相当する。この周波数は予め定められた周波数であってもよく、画像生成部２３２が第１の空間周波数領域画像Ｈ１及び第２の空間周波数領域画像Ｈ２を解析して決定してもよいが、上記の逆転周波数に近い周波数が好適である。

また、マスク範囲は必ずしも円形でなくてもよく、画像中央を中心とする矩形や楕円形であってもよい。しかし、上記のように空間周波数領域画像における画像中央を中心とする円は一定の周波数に相当し、好適である。

続いて、画像生成部２３２は、第１の空間周波数領域画像Ｈ１及び第２の空間周波数領域画像Ｈ２にマスキングを施す（Ｓｔ２０３）。図２５は、第１の空間周波数領域画像Ｈ１に施されたマスキングを示す模式図である。同図に示すように、画像生成部２３２は、第１の空間周波数領域画像Ｈ１におけるマスク範囲Ｍ１内にマスキングＡ１を施す。白色で表されているマスキングＡ１は、マスキングＡ１内の周波数成分を通過させる（次の空間領域画像への変換に利用する）ことを意味する。

図２６は、第２の空間周波数領域画像Ｈ２に施されたマスキングを示す模式図である。同図に示すように、画像生成部２３２は、第２の空間周波数領域画像Ｈ２におけるマスク範囲Ｍ２内にマスキングＡ２を施す。黒色で表されているマスキングＡ２は、マスキングＡ２内の周波数成分を遮蔽する（次の空間領域画像への変換に利用しない）ことを意味する。

続いて、画像生成部２３２は、第１の空間周波数領域画像Ｈ１及び第２の空間周波数領域画像Ｈ２をそれぞれ空間領域画像に変換する（Ｓｔ２０４）。画像生成部２３２は、第１の空間周波数領域画像Ｈ１に対してＩＦＦＴ等の逆フーリエ変換を施し、第１の空間周波数領域画像Ｈ１を空間周波数領域の画像に変換する。ここで、第１の空間周波数領域画像Ｈ１にはマスキングＡ１が施されているため、第１の空間周波数領域画像Ｈ１の中央付近に位置する低周波数領域のみが逆フーリエ変換によって変換され、第１の空間周波数領域画像Ｈ１の低周波数成分のみからなる低周波数成分画像が生成される。図２７は、第１の空間周波数領域画像Ｈ１から変換された低周波数成分画像Ｂ１を示す。

また、画像生成部２３２は、第２の空間周波数領域画像Ｈ２に対してもＩＦＦＴ等の逆フーリエ変換を施し、第２の空間周波数領域画像Ｈ２を空間周波数領域の画像に変換する。ここで、第２の空間周波数領域画像Ｈ２にはマスキングＡ２が施されているため、第２の空間周波数領域画像Ｈ２の周縁付近に位置する高周波数の領域のみが逆フーリエ変換によって変換され、第２の空間周波数領域画像Ｈ２の高周波数成分のみからなる高周波数成分画像が生成される。図２８は、第２の空間周波数領域画像Ｈ２から変換された高周波数成分画像Ｂ２を示す。

続いて、画像生成部２３２は、低周波数成分画像Ｂ１と高周波数成分画像Ｂ２を加算する（Ｓｔ２０５）。具体的には、画像生成部２３２は、低周波数成分画像Ｂ１の輝度値と高周波数成分画像Ｂ２の輝度値を、画素の座標毎に加算する。これにより、合成画像（図１６参照）が生成される。画像生成部２３２は、生成した合成画像を例えばディスプレイ１４０に表示し、ユーザに提示するものとすることができる。

なお、画像変換部２３１は、画像の中心が低周波数成分であり、画像の周縁が高周波数成分である第１の空間周波数領域画像Ｈ１及び第２の空間周波数領域画像Ｈ２を生成する（Ｓｔ２０１）ものとして説明したが、他の形式で空間周波数領域画像を生成してもよい。例えば画像変換部２３１は、画像の中心が高周波数成分であり、画像の周縁が低周波数成分となるように生成してもよい。

この場合、画像生成部２３２は、第１の空間周波数領域画像Ｈ１と第２の空間周波数領域画像Ｈ２において一定の周波数の位置又は所定形状にマスク範囲Ｍ１及びマスク範囲Ｍ２を設定し、第１の空間周波数領域画像Ｈ１において高周波数成分がマスキングされ、第２の空間周波数領域画像Ｈ２において低周波数成分がマスキングされるものとすることができる。

＜顕微鏡システムの効果＞
顕微鏡システム２００の効果について説明する。

顕微鏡システム２００による効果は第１の実施形態に係る顕微鏡システム１００による効果と同等である。第１の実施形態では、撮像画像を空間周波数領域画像に変換（Ｓｔ１０７）し、空間周波数領域上で低周波数領域と高周波数領域とを結合し（Ｓｔ１１０）、空間領域画像に変換（Ｓｔ１１１）する。

これに対し、本実施形態では、撮像画像を空間周波数領域画像に変換（Ｓｔ２０１）し、空間周波数領域画像にマスキングを施し（Ｓｔ２０３）た上で空間領域画像に変換し（Ｓｔ２０４）、空間領域画像を加算（Ｓｔ２０５）する。

即ち、両実施形態では、低周波成分と高周波成分の結合を空間周波数領域において実施するか空間領域において実施するかの違いしかなく、同等の結果が得られる。したがって、顕微鏡システム２００を利用することによって、観察対象物Ｐの高解像度画像を得ることが可能であると共に、同画像は科学的な正確さを維持しているため、科学的な検証用途に不都合なく利用することが可能である。

（変形例）
第１の実施形態及び第２の実施形態の変形例について説明する。

これらの実施形態では、第１の照明光Ｌ１と第２の照明光Ｌ２の二種の照明光を利用するものとしたが、さらに、第１の照明光Ｌ１及び第２の照明光Ｌ２とは波長帯域が異なり、狭帯域光である第３の照明光を利用してもよい。第３の照明光は例えばスペクトルの半値幅が１０ｎｍ以上１００ｎｍ以下の緑色光（５００ｎｍ以上５７０ｎｍ）であるものとすることができる。

この場合、画像変換部は、第３の照明光の照明下で撮像された第３の撮像画像を、第１の撮像画像及び第２の撮像画像と共に空間周波数領域画像に変換する。さらに画像生成部は、各空間周波数領域画像に切り出し境界を設定する。図２９は、この場合の切り出し境界を示す模式図である。図２９（ａ）は第１の空間周波数領域画像Ｈ１に設定された切り出し境界Ｓ１を示し、図２９（ｂ）は第３の空間周波数領域画像Ｈ３に設定された切り出し境界Ｓ３、図２９（ｃ）は第２の空間周波数領域画像Ｈ２に設定された切り出し境界Ｓ２を示す。切り出し境界Ｓ１は例えば上記逆転周波数Ｔ１（図１８参照）に相当する周波数とし、切り出し境界Ｓ２は例えば上記逆転周波数Ｔ２（図１８参照）に相当する周波数とすることができる。

なお、各空間周波数領域画像は、第１から第３の順に、変換元の撮像画像の照明光の波長帯域が長いものとする。続いて、画像生成部は、各空間周波数領域画像において各切り出し境界に囲まれた周波数領域を結合して結合画像とし、空間領域画像である合成画像に変換する。ここでは、第１の実施形態に即して説明したが、第２の実施形態と同様に、マスキングを施して空間領域画像に変換し、各空間領域画像を加算してもよい。また、三種の照明光を利用する場合、画像生成部が色演算を実行し、カラー画像を生成することも可能である。

また、第１の照明光と第２の照明光は、周波数帯域が異なる狭帯域光に限られない。照明光の照明ＮＡを高ＮＡとすると、高周波数帯域での解像力が向上する一方で低周波数帯域のコントラストが低下する。したがって、低ＮＡの照明光を第１の照明光とし、高ＮＡの照明光を第２の照明光として上記実施形態を適用してもよい。この場合でも低周波数帯域と高周波数帯域のコントラストが大きい高解像度画像を得ることが可能である。

本技術の実施例について説明する。

図１８に示した空間周波数応答から、顕微鏡光学系の拡大倍率が６０倍の場合、逆転周波数Ｔ１は１０００ｌｉｎｅ／ｍｍ程度であることがわかる。このため、その前後の周波数である６２５ｌｉｎｅ／ｍｍと１２５０ｌｉｎｅ／ｍｍの解像力チャートを赤色照明光と青色照明光の照明下でそれぞれ撮像し、上記実施形態に示した手法により合成画像を作成した。また、それぞれの画像のコントラストを算出した。

図３０は、６２５ｌｉｎｅ／ｍｍの解像力チャートを撮像した撮像画像と、作成した合成画像であり、図３１は各画像のコントラストを示すグラフである。なお、図３１に示すグラフは、ピークで正規化されている。

図３０（ａ）は、赤色照明光（ピーク波長６３８ｎｍ）下での撮像画像であり、コントラストは０．９５であった。図３０（ｂ）は青色照明光（ピーク波長４６６ｎｍ）下での撮像画像であり、コントラストは０．６９であった。図１８に示すように、６２５ｌｉｎｅ／ｍｍの周波数では赤色照明光下のコントラストが大きくなるが、実際に赤色照明光下でのコントラスト（０．９５）は青色照明光下でのコントラスト（０．６８）より大きかった。

図３０（ａ）に示す赤色照明光下での撮像画像と、図３０（ｂ）に示す青色照明光下での撮像画像から、第２の実施形態に記載した手法により合成画像を作成した。マスク範囲は、逆転周波数（１０００ｌｉｎｅ／ｍｍ）とした。図３０（ｃ）は作成された高解像度画像を示す。この画像のコントラストは０．９７であり、赤色照明光下での撮像画像のコントラスト（０．９５）と同等であった。

この解像力チャートの周波数（６２５ｌｉｎｅ／ｍｍ）は、逆転周波数より小さいため、赤色照明光下での撮像画像のコントラストが合成画像に反映され、赤色照明光下での撮像画像と同等の高いコントラストが得られることがわかる。

図３２は、１２５０ｌｉｎｅ／ｍｍの解像力チャートを撮像した撮像画像と、作成した合成画像であり、図３３は各画像のコントラストを示すグラフである。なお、図３３に示すグラフは、ピークで正規化されている。

図３２（ａ）は、赤色照明光（ピーク波長６３８ｎｍ）下での撮像画像であり、コントラストは０．１７であった。図３２（ｂ）は青色照明光（ピーク波長４６６ｎｍ）下での撮像画像であり、コントラストは０．４２であった。図１８に示すように、１２５０ｌｉｎｅ／ｍｍの周波数では青色照明光下のコントラストが大きくなるが、実際に青色照明光下でのコントラスト（０．４２）は赤色照明光下でのコントラスト（０．１７）より大きかった。

図３２（ａ）に示す赤色照明光下での撮像画像と、図３２（ｂ）に示す青色照明光下での撮像画像から、第２の実施形態に記載した手法により合成画像を作成した。マスク範囲は、逆転周波数（１０００ｌｉｎｅ／ｍｍ）とした。図３２（ｃ）は作成された高解像度画像を示す。この画像のコントラストは０．３８であり、青色照明光下での撮像画像のコントラスト（０．４２）と同等であった。

この解像力チャートの周波数（１２５０ｌｉｎｅ／ｍｍ）は、逆転周波数より大きいため、青色照明光下での撮像画像のコントラストが高解像度画像に反映され、青色照明光下での撮像画像と同等の高いコントラストが得られることがわかる。

また、図３３においては、青色照明光下でのコントラストの段差が合成画像のコントラストでは除去されており（図中矢印）、回折によるアーティファクトが軽減されている。

このように、本技術の実施形態の手法により作成された合成画像は、低周波数帯域のコントラストが長い波長帯域の照明光（赤色光）下での低周波帯域のコントラストと同等であり、高周波数帯域のコントラストが短い波長帯域の照明光（青色光）下での高周波数帯域のコントラストと同等である。即ち、本技術の実施形態による効果が実証されている。

なお、本技術は以下のような構成もとることができる。

（１）
観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、上記観察対象物が上記顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、上記第２の撮像画像は低周波数帯域のコントラストが上記第１の撮像画像より小さく、高周波数帯域のコントラストが上記第１の撮像画像より大きくなるよう構成されており、上記第１の撮像画像と上記第２の撮像画像とを周波数成分に分解する画像変換部と、
上記第１の撮像画像の低周波数成分と、上記第２の撮像画像の高周波数成分を合成し、合成画像を生成する画像生成部と
を具備する画像処理装置。

（２）
上記（１）に記載の画像処理装置であって、
上記第１の照明光は、上記第２の照明光より長い波長帯域の狭帯域光であり、
上記第２の照明光は、上記第１の照明光より短い波長帯域の狭帯域光である
画像処理装置。

（３）
上記（１）又は（２）に記載の画像処理装置であって、
上記第１の照明光は、赤色光であり、
上記第２の照明光は、青色光である
画像処理装置。

（４）
上記（１）から（３）のいずれか一つに記載の画像処理装置であって、
上記第１の照明光は、上記第２の照明光より小さい照明ＮＡを有し、
上記第２の照明光は、上記第１の照明光より大きい照明ＮＡを有する
画像処理装置。

（５）
上記（１）から（４）のいずれか一つに記載の画像処理装置であって、
上記画像変換部は、上記第１の撮像画像を空間周波数領域画像に変換して第１の空間周波数領域画像を生成し、上記第２の撮像画像を空間周波数領域画像に変換して第２の空間周波数領域画像を生成し、
上記画像生成部は、上記第１の空間周波数領域画像の低周波数領域と、上記第２の空間周波数領域画像の高周波数領域とから上記合成画像を生成する
画像処理装置。

（６）
上記（１）から（５）のいずれか一つに記載の画像処理装置であって
上記画像生成部は、上記低周波数領域と上記高周波数領域とを結合した結合画像を生成し、上記結合画像を空間領域画像に変換し、上記合成画像を生成する
画像処理装置。

（７）
上記（１）から（６）のいずれか一つに記載の画像処理装置であって
上記画像生成部は、上記低周波数領域を空間領域画像に変換した低周波数成分画像と、上記高周波数領域を空間領域画像に変換した高周波数成分画像とを生成し、上記低周波数成分画像と上記高周波数成分画像とを加算して上記合成画像を生成する
画像処理装置。

（８）
観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、上記観察対象物が上記顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、上記第２の撮像画像は低周波数帯域のコントラストが上記第１の撮像画像より小さく、高周波数帯域のコントラストが上記第１の撮像画像より大きくなるよう構成されており、上記第１の撮像画像と上記第２の撮像画像とを周波数成分に分解する画像変換部と、
上記第１の撮像画像の低周波数成分と、上記第２の撮像画像の高周波数成分を合成し、合成画像を生成する画像生成部と
を具備する画像処理プログラム。

（９）
画像変換部が、観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、上記観察対象物が上記顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、上記第２の撮像画像は低周波数帯域のコントラストが上記第１の撮像画像より小さく、高周波数帯域のコントラストが上記第１の撮像画像より大きくなるよう構成されており、上記第１の撮像画像と上記第２の撮像画像とを周波数成分に分解し、
画像生成部が、上記第１の撮像画像の低周波数成分と、上記第２の撮像画像の高周波数成分を合成し、合成画像を生成する
画像処理方法。

（１０）
第１の照明光と、第２の照明光とを照射する照明と、
顕微鏡光学系と、
撮像部と、
観察対象物が上記顕微鏡光学系を介して上記第１の照明光で上記撮像部により撮像された第１の撮像画像と、上記観察対象物が上記顕微鏡光学系を介して上記第２の照明光で上記撮像部により撮像された第２の撮像画像であって、上記第２の撮像画像は低周波数帯域のコントラストが上記第１の撮像画像より小さく、高周波数帯域のコントラストが上記第１の撮像画像より大きくなるよう構成されており、上記第１の撮像画像と上記第２の撮像画像とを周波数成分に分解する画像変換部と、
上記第１の撮像画像の低周波数成分と、上記第２の撮像画像の高周波数成分を合成し、合成画像を生成する画像生成部と
を具備する顕微鏡システム。

（１１）
上記（１０）に記載の顕微鏡システムであって、さらに、
上記顕微鏡光学系の焦点位置を調整する焦点調整機構と、
上記焦点調整機構を制御して、上記第１の照明光の照射下で上記顕微鏡光学系の焦点を上記観察対象物に合わせ、上記第２の照明光の照射下で上記顕微鏡光学系の焦点を上記観察対象物に合わせる制御部
を具備する顕微鏡システム。

（１２）
上記（１０）に記載の顕微鏡システムであって、さらに、
上記第１の撮像画像と上記第２の撮像画像の露出が一致するように、上記第１の照明光と上記第２の照明光の光量を制御する制御部
を具備する顕微鏡システム。

１００、２００…顕微鏡システム
１１０、２１０…顕微鏡
１１１…照明
１１２…照明光学系
１１３…ステージ
１１４…対物レンズ
１１５…結像レンズ
１１６…焦点調整機構
１１７…撮像部
１２０…制御装置
１３０…画像処理装置
１３１…画像変換部
１３２…画像生成部
１４０…ディスプレイ

Claims (12)

1. 観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、前記観察対象物が前記顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、前記第２の撮像画像は低周波数帯域のコントラストが前記第１の撮像画像より小さく、高周波数帯域のコントラストが前記第１の撮像画像より大きくなるよう構成されており、前記第１の撮像画像と前記第２の撮像画像とを周波数成分に分解する画像変換部と、
   前記第１の撮像画像の低周波数成分と、前記第２の撮像画像の高周波数成分を合成し、合成画像を生成する画像生成部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第１の照明光は、前記第２の照明光より長い波長帯域の狭帯域光であり、
   前記第２の照明光は、前記第１の照明光より短い波長帯域の狭帯域光である
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記第１の照明光は、赤色光であり、
   前記第２の照明光は、青色光である
   画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記第１の照明光は、前記第２の照明光より小さい照明ＮＡを有し、
   前記第２の照明光は、前記第１の照明光より大きい照明ＮＡを有する
   画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記画像変換部は、前記第１の撮像画像を空間周波数領域画像に変換して第１の空間周波数領域画像を生成し、前記第２の撮像画像を空間周波数領域画像に変換して第２の空間周波数領域画像を生成し、
   前記画像生成部は、前記第１の空間周波数領域画像の低周波数領域と、前記第２の空間周波数領域画像の高周波数領域とから前記合成画像を生成する
   画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記画像生成部は、前記低周波数領域と前記高周波数領域とを結合した結合画像を生成し、前記結合画像を空間領域画像に変換し、前記合成画像を生成する
   画像処理装置。
7. 請求項５に記載の画像処理装置であって、
   前記画像生成部は、前記低周波数領域を空間領域画像に変換した低周波数成分画像と、前記高周波数領域を空間領域画像に変換した高周波数成分画像とを生成し、前記低周波数成分画像と前記高周波数成分画像とを加算して前記合成画像を生成する
   画像処理装置。
8. 観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、前記観察対象物が前記顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、前記第２の撮像画像は低周波数帯域のコントラストが前記第１の撮像画像より小さく、高周波数帯域のコントラストが前記第１の撮像画像より大きくなるよう構成されており、前記第１の撮像画像と前記第２の撮像画像とを周波数成分に分解する画像変換部と、
   前記第１の撮像画像の低周波数成分と、前記第２の撮像画像の高周波数成分を合成し、合成画像を生成する画像生成部と
   を具備する画像処理プログラム。
9. 画像変換部が、観察対象物が顕微鏡光学系を介して第１の照明光で撮像された第１の撮像画像と、前記観察対象物が前記顕微鏡光学系を介して第２の照明光で撮像された第２の撮像画像であって、前記第２の撮像画像は低周波数帯域のコントラストが前記第１の撮像画像より小さく、高周波数帯域のコントラストが前記第１の撮像画像より大きくなるよう構成されており、前記第１の撮像画像と前記第２の撮像画像とを周波数成分に分解し、
   画像生成部が、前記第１の撮像画像の低周波数成分と、前記第２の撮像画像の高周波数成分を合成し、合成画像を生成する
   画像処理方法。
10. 第１の照明光と、第２の照明光とを照射する照明と、
    顕微鏡光学系と、
    撮像部と、
    観察対象物が前記顕微鏡光学系を介して前記第１の照明光で前記撮像部により撮像された第１の撮像画像と、前記観察対象物が前記顕微鏡光学系を介して前記第２の照明光で前記撮像部により撮像された第２の撮像画像であって、前記第２の撮像画像は低周波数帯域のコントラストが前記第１の撮像画像より小さく、高周波数帯域のコントラストが前記第１の撮像画像より大きくなるよう構成されており、前記第１の撮像画像と前記第２の撮像画像とを周波数成分に分解する画像変換部と、
    前記第１の撮像画像の低周波数成分と、前記第２の撮像画像の高周波数成分を合成し、合成画像を生成する画像生成部と
    を具備する顕微鏡システム。
11. 請求項１０に記載の顕微鏡システムであって、さらに、
    前記顕微鏡光学系の焦点位置を調整する焦点調整機構と、
    前記焦点調整機構を制御して、前記第１の照明光の照射下で前記顕微鏡光学系の焦点を前記観察対象物に合わせ、前記第２の照明光の照射下で前記顕微鏡光学系の焦点を前記観察対象物に合わせる制御部
    を具備する顕微鏡システム。
12. 請求項１０に記載の顕微鏡システムであって、さらに、
    前記第１の撮像画像と前記第２の撮像画像の露出が一致するように、前記第１の照明光と前記第２の照明光の光量を制御する制御部
    を具備する顕微鏡システム。