JP2015084056A - 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム - Google Patents

顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム Download PDF

Info

Publication number
JP2015084056A
JP2015084056A JP2013222721A JP2013222721A JP2015084056A JP 2015084056 A JP2015084056 A JP 2015084056A JP 2013222721 A JP2013222721 A JP 2013222721A JP 2013222721 A JP2013222721 A JP 2013222721A JP 2015084056 A JP2015084056 A JP 2015084056A
Authority
JP
Japan
Prior art keywords
light
image data
pattern
measurement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013222721A
Other languages
English (en)
Other versions
JP6266302B2 (ja
Inventor
宇範 康
Woobum Kang
宇範 康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2013222721A priority Critical patent/JP6266302B2/ja
Priority to US14/481,938 priority patent/US20150116477A1/en
Publication of JP2015084056A publication Critical patent/JP2015084056A/ja
Application granted granted Critical
Publication of JP6266302B2 publication Critical patent/JP6266302B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

【課題】撮像方式に応じた適切な方法で合焦位置を検出することが可能な顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラムを提供する。【解決手段】セクショニング観察においては、ステージ１４０上の測定対象物Ｓにパターン測定光が照射され、パターン測定光のパターンの複数の位相で生成される複数のパターン画像データに基づいてセクショニング画像データが生成される。通常観察においては、ステージ１４０上の測定対象物Ｓに均一測定光が照射されることにより通常画像データが生成される。対物レンズ１６１とステージ１４０との相対位置が焦点位置調整機構１６３により対物レンズ１６１の光軸方向に複数変化される。セクショニング観察が指示されたときには、セクショニング画像データの各画素データの値に基づいて合焦位置が検出される。通常観察が指示されたときには、通常画像データの局所的なコントラストに基づいて合焦位置が検出される。【選択図】図２

Description

本発明は、顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラムに関する。
三次元的な構造を有する測定対象物の全体に焦点が合った画像データを生成する顕微鏡撮像装置においては、レンズの焦点位置が変化されつつ、各焦点位置において測定対象物の画像データが生成される。複数の焦点位置における画像データのうち測定対象物に焦点が合った部分が合成されることにより、測定対象物の全体に焦点が合った画像データが生成される。
合焦度を判定する方式として、種々の方式が提案されている。特許文献１の光学装置においては、被検物と対物レンズと距離が相対的に変化されつつ、対物レンズを通して被検物に光が照射される。被検物により反射された光の強度がピークとなる位置が対物レンズの合焦位置として判定される。
特許文献２には、エッジ部分を含む標本画像の合焦度を判定する方式が記載されている。特許文献２の画像処理装置においては、異なる焦点位置で撮像された複数の標本画像が取得される。複数の標本画像のうち、隣接する画素間の輝度変化量が最大の標本画像がエッジ部分の合焦画像として判定される。
特開２００８−３２９５１号公報 特開２０１０−１６６２４７号公報
適切に測定対象物を撮像するためには、顕微鏡撮像装置の撮像方式に応じて適切な方法で合焦位置を検出することが必要となる。そこで、撮像方式に応じた適切な方法で合焦位置を検出することが可能な顕微鏡撮像装置の実現が望まれる。
本発明の目的は、撮像方式に応じた適切な方法で合焦位置を検出することが可能な顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラムを提供することである。
（１）第１の発明に係る顕微鏡撮像装置は、光を出射する少なくとも１つの光源と光源により出射された光から所定のパターンを有する測定光を生成するように構成されたパターン付与部とを含む投光部と、測定対象物を載置するためのステージと、投光部により生成された測定光を集光してステージ上の測定対象物に照射する光学系と、測定対象物からの光を受光し、受光量を示す受光信号を出力する受光部と、受光部から出力される受光信号に基づいて画像データを生成する画像データ生成部と、第１の動作モードまたは第２の動作モードを指示するための指示部と、第１の動作モードにおいて、パターンを有する測定光を生成するとともに生成されたパターンの空間的な位相を所定量ずつ測定対象物上で順次移動させるようにパターン付与部を制御し、パターンの複数の位相で生成される複数の画像データに基づいて測定対象物の画像を示すセクショニング画像データを生成するように画像データ生成部を制御し、第２の動作モードにおいて、パターンを有しない測定光を生成するように投光部を制御し、パターンを有しない測定光が照射されたときの測定対象物の画像を示す通常画像データを生成するように画像データ生成部を制御する投光制御部と、光学系とステージとの相対位置を光学系の光軸方向に変化させる焦点制御部と、焦点制御部により光学系とステージとの相対位置が複数変化されたときに画像データ生成部によりそれぞれ生成された複数の画像データに基づいて合焦位置を検出する合焦検出部と、を備え、合焦検出部は、第１の動作モードにおいて、セクショニング画像データの各画素の値に基づいて測定対象物の各部分の合焦位置を検出し、第２の動作モードにおいて、通常画像データの局所的なコントラストに基づいて測定対象物の各部分の合焦位置を検出するものである。
この顕微鏡撮像装置においては、第１の動作モードまたは第２の動作モードが指示される。第１の動作モードにおいては、投光部の少なくとも１つの光源により出射された光から投光部のパターン付与部によりパターンを有する測定光が生成される。第２の動作モードにおいては、投光部によりパターンを有しない測定光が生成される。投光部により生成された測定光が光学系により集光され、ステージ上の測定対象物に照射される。
第１の動作モードにおいては、生成されたパターンの空間的な位相がパターン付与部により所定量ずつ測定対象物上で順次移動される。受光部により測定対象物からの光が受光され、受光量を示す受光信号が出力される。受光部から出力される受光信号に基づいてパターンの複数の位相で生成される複数の画像データに基づいて測定対象物の画像を示すセクショニング画像データが生成される。第２の動作モードにおいては、受光部から出力される受光信号に基づいてパターンを有しない測定光が照射されたときの測定対象物の画像を示す通常画像データが生成される。また、光学系とステージとの相対位置が光学系の光軸方向に複数変化される。
ここで、第１の動作モードが指示されたときには、生成されたセクショニング画像データの各画素の値に基づいて測定対象物の各部分の合焦位置が検出される。一方、第２の動作モードが指示されたときには、生成された通常画像データの局所的なコントラストに基づいて測定対象物の各部分の合焦位置が検出される。
第１の動作モードにおいて、パターンを有する測定光を用いて生成されたセクショニング画像データの各画素の値は、測定対象物に光学系の焦点が合っているときに一定の特徴を示す。そのため、セクショニング画像データの各画素の値に基づいて、高い精度で測定対象物の各部分の合焦位置を検出することができる。
一方、第２の動作モードにおいて、パターンを有しない測定光を用いて生成された通常画像データの局所的なコントラストは、測定対象物に光学系の焦点が合っているときに一定の特徴を示す。そのため、通常画像データの局所的なコントラストに基づいて、高い精度で測定対象物の各部分の合焦位置を検出することができる。
上記の構成によれば、パターンを有する測定光を用いる場合には、セクショニング画像データの各画素の値に基づく合焦位置の検出処理を選択することが可能である。一方、パターンを有しない測定光を用いる場合には、通常画像データの局所的なコントラストに基づく合焦位置の検出処理を選択することが可能である。これにより、撮像方式に応じた適切な方法で合焦位置を検出することができる。
（２）パターン付与部は、光源により出射された光からパターンを有しない測定光をさらに生成するように構成されてもよい。
この場合、共通の光源により出射された光からパターンを有する測定光およびパターンを有しない測定光を生成することができる。そのため、投光部に複数の光源を設ける必要がない。また、パターン付与部を光路上から抜き差しする必要がない。これにより、顕微鏡撮像装置を小型化および軽量化しつつ顕微鏡撮像装置の取扱いを容易にすることができる。
（３）合焦検出部は、第２の動作モードにおいて、通常画像データにより示される画像のコントラストまたは画像におけるエッジ部分でのコントラストの変化に基づいて測定対象物の各部分の合焦位置を検出することを含んでもよい。
パターンを有しない測定光を用いて生成された通常画像データにより示される画像のコントラストは、測定対象物に光学系の焦点に合っているときに大きくなる。また、画像におけるエッジ部分でのコントラストの変化は、測定対象物に光学系の焦点が合っているときに大きくなる。したがって、上記の構成により、パターンを有しない測定光を用いる場合には、測定対象物の各部分の合焦位置かをより高い検出で判定することができる。
（４）投光制御部は、合焦検出部により検出された第１または第２の動作モード時の合焦位置に基づいて、測定対象物の複数の部分にそれぞれ光学系の焦点が合っている状態で得られる複数の画素の値を合成することにより、測定対象物の全体に光学系の焦点が合っている画像を示す全焦点画像データを生成するように画像データ生成部を制御してもよい。
この場合、合焦検出部により検出された第１または第２の動作モード時の合焦位置に基づいて、測定対象物の各部分に光学系の焦点が合っているときの各画素の値が容易に評価される。これにより、全焦点画像データを容易に生成することができる。その結果、使用者は測定対象物の全体に光学系の焦点が合っている画像を観察することができる。
（５）投光制御部は、合焦検出部により検出された第１または第２の動作モード時の合焦位置に基づいて、測定対象物の複数の部分にそれぞれ光学系の焦点が合っている状態におけるステージと光学系との相対的な距離を合成することにより、測定対象物の立体的な形状を示す立体形状データを生成するように画像データ生成部を制御してもよい。
この場合、合焦検出部により検出された第１または第２の動作モード時の合焦位置に基づいて、測定対象物の各部分に光学系の焦点が合っているときのステージと光学系との相対的な各距離が容易に評価される。これにより、立体形状データを容易に生成することができる。その結果、使用者は測定対象物の立体的な形状を観察することができる。
（６）投光制御部は、合焦検出部により検出された第１または第２の動作モード時の合焦位置に基づいて、測定対象物の設定された領域に光学系の焦点が合うように合焦検出部を制御してもよい。
この場合、合焦検出部により検出された第１または第２の動作モード時の合焦位置に基づいて、測定対象物の設定された領域のうち光学系の焦点が合っている領域の大きさが容易に評価される。これにより、測定対象物の当該領域に光学系の焦点を容易に合わせることができる。
（７）合焦検出部は、第１の動作モードにおいてはセクショニング画像データの各画素の値に基づいて測定対象物の各部分の合焦位置を検出する処理を自動的に選択し、第２の動作モードにおいては通常画像データの局所的なコントラストに基づいて測定対象物の各部分の合焦位置を検出する処理を自動的に選択してもよい。
この場合、第１および第２のモードにそれぞれ対応してセクショニング画像データの各画素の値に基づく合焦位置の検出処理および通常画像データの局所的なコントラストに基づく合焦位置の検出処理が自動的に選択される。
この場合、使用者は第１および第２の動作モードにそれぞれ対応してセクショニング画像データの各画素の値に基づく合焦位置の検出処理および通常画像データの局所的なコントラストに基づく合焦位置の検出が選択されるように指示部を操作する必要がない。これにより、合焦位置を検出する方式をさらに容易に選択することができる。
（８）第２の発明に係る顕微鏡撮像方法は、投光部の少なくとも１つの光源により光を出射するステップと、第１の動作モードまたは第２の動作モードを選択するための指示を受け付けるステップと、第１の動作モードにおいては、パターンを有する測定光を光源により出射された光から投光部のパターン付与部により生成し、第２の動作モードにおいては、パターンを有しない測定光を投光部により生成するステップと、投光部により生成された測定光を光学系により集光してステージ上に載置された測定対象物に照射するステップと、第１の動作モードにおいては、生成されたパターンの空間的な位相をパターン付与部により所定量ずつ測定対象物上で順次移動させるステップと、受光部により測定対象物からの光を受光し、受光量を示す受光信号を出力するステップと、第１の動作モードにおいては、受光部から出力される受光信号に基づいてパターンの複数の位相で生成される複数の画像データに基づいて測定対象物の画像を示すセクショニング画像データを生成し、第２の動作モードにおいては、受光部から出力される受光信号に基づいてパターンを有しない測定光が照射されたときの測定対象物の画像を示す通常画像データを生成するステップと、光学系とステージとの相対位置を光学系の光軸方向に複数変化させるステップと、第１の動作モードにおいては、生成されたセクショニング画像データの各画素の値に基づいて測定対象物の各部分の合焦位置を検出し、第２の動作モードにおいては、生成された通常画像データの局所的なコントラストに基づいて測定対象物の各部分の合焦位置を検出するステップとを含むものである。
この顕微鏡撮像方法によれば、第１の動作モードまたは第２の動作モードが指示される。第１の動作モードにおいては、投光部の少なくとも１つの光源により出射された光から投光部のパターン付与部によりパターンを有する測定光が生成される。第２の動作モードにおいては、投光部によりパターンを有しない測定光が生成される。投光部により生成された測定光が光学系により集光され、ステージ上の測定対象物に照射される。
第１の動作モードにおいては、生成されたパターンの空間的な位相がパターン付与部により所定量ずつ測定対象物上で順次移動される。受光部により測定対象物からの光が受光され、受光量を示す受光信号が出力される。受光部から出力される受光信号に基づいてパターンの複数の位相で生成される複数の画像データに基づいて測定対象物の画像を示すセクショニング画像データが生成される。第２の動作モードにおいては、受光部から出力される受光信号に基づいてパターンを有しない測定光が照射されたときの測定対象物の画像を示す通常画像データが生成される。また、光学系とステージとの相対位置が光学系の光軸方向に複数変化される。
ここで、第１の動作モードが指示されたときには、生成されたセクショニング画像データの各画素の値に基づいて測定対象物の各部分の合焦位置が検出される。一方、第２の動作モードが指示されたときには、生成された通常画像データの局所的なコントラストに基づいて測定対象物の各部分の合焦位置が検出される。
第１の動作モードにおいて、パターンを有する測定光を用いて生成されたセクショニング画像データの各画素の値は、測定対象物に光学系の焦点が合っているときに一定の特徴を示す。そのため、セクショニング画像データの各画素の値に基づいて、高い精度で測定対象物の各部分の合焦位置を検出することができる。
一方、第２の動作モードにおいて、パターンを有しない測定光を用いて生成された通常画像データの局所的なコントラストは、測定対象物に光学系の焦点が合っているときに一定の特徴を示す。そのため、通常画像データの局所的なコントラストに基づいて、高い精度で測定対象物の各部分の合焦位置を検出することができる。
上記の構成によれば、パターンを有する測定光を用いる場合には、セクショニング画像データの各画素の値に基づく合焦位置の検出処理を選択することが可能である。一方、パターンを有しない測定光を用いる場合には、通常画像データの局所的なコントラストに基づく合焦位置の検出処理を選択することが可能である。これにより、撮像方式に応じた適切な方法で合焦位置を検出することができる。
（９）第３の発明に係る顕微鏡撮像プログラムは、処理装置により実行可能な撮像プログラムであって、投光部の少なくとも１つの光源により光を出射する処理と、第１の動作モードまたは第２の動作モードを選択するための指示を受け付ける処理と、第１の動作モードにおいては、パターンを有する測定光を光源により出射された光から投光部のパターン付与部により生成し、第２の動作モードにおいては、パターンを有しない測定光を投光部により生成する処理と、投光部により生成された測定光を光学系により集光してステージ上に載置された測定対象物に照射する処理と、第１の動作モードにおいては、生成されたパターンの空間的な位相をパターン付与部により所定量ずつ測定対象物上で順次移動させる処理と、受光部により測定対象物からの光を受光し、受光量を示す受光信号を出力する処理と、第１の動作モードにおいては、受光部から出力される受光信号に基づいてパターンの複数の位相で生成される複数の画像データに基づいて測定対象物の画像を示すセクショニング画像データを生成し、第２の動作モードにおいては、受光部から出力される受光信号に基づいてパターンを有しない測定光が照射されたときの測定対象物の画像を示す通常画像データを生成する処理と、光学系とステージとの相対位置を光学系の光軸方向に複数変化させる処理と、第１の動作モードにおいては、生成されたセクショニング画像データの各画素の値に基づいて測定対象物の各部分の合焦位置を検出し、第２の動作モードにおいては、生成された通常画像データの局所的なコントラストに基づいて測定対象物の各部分の合焦位置を検出する処理とを、処理装置に実行させるものである。
この顕微鏡撮像プログラムによれば、第１の動作モードまたは第２の動作モードが指示される。第１の動作モードにおいては、投光部の少なくとも１つの光源により出射された光から投光部のパターン付与部によりパターンを有する測定光が生成される。第２の動作モードにおいては、投光部によりパターンを有しない測定光が生成される。投光部により生成された測定光が光学系により集光され、ステージ上の測定対象物に照射される。
第１の動作モードにおいては、生成されたパターンの空間的な位相がパターン付与部により所定量ずつ測定対象物上で順次移動される。受光部により測定対象物からの光が受光され、受光量を示す受光信号が出力される。受光部から出力される受光信号に基づいてパターンの複数の位相で生成される複数の画像データに基づいて測定対象物の画像を示すセクショニング画像データが生成される。第２の動作モードにおいては、受光部から出力される受光信号に基づいてパターンを有しない測定光が照射されたときの測定対象物の画像を示す通常画像データが生成される。また、光学系とステージとの相対位置が光学系の光軸方向に複数変化される。
ここで、第１の動作モードが指示されたときには、生成されたセクショニング画像データの各画素の値に基づいて測定対象物の各部分の合焦位置が検出される。一方、第２の動作モードが指示されたときには、生成された通常画像データの局所的なコントラストに基づいて測定対象物の各部分の合焦位置が検出される。
第１の動作モードにおいて、パターンを有する測定光を用いて生成されたセクショニング画像データの各画素の値は、測定対象物に光学系の焦点が合っているときに一定の特徴を示す。そのため、セクショニング画像データの各画素の値に基づいて、高い精度で測定対象物の各部分の合焦位置を検出することができる。
一方、第２の動作モードにおいて、パターンを有しない測定光を用いて生成された通常画像データの局所的なコントラストは、測定対象物に光学系の焦点が合っているときに一定の特徴を示す。そのため、通常画像データの局所的なコントラストに基づいて、高い精度で測定対象物の各部分の合焦位置を検出することができる。
上記の構成によれば、パターンを有する測定光を用いる場合には、セクショニング画像データの各画素の値に基づく合焦位置の検出処理を選択することが可能である。一方、パターンを有しない測定光を用いる場合には、通常画像データの局所的なコントラストに基づく合焦位置の検出処理を選択することが可能である。これにより、撮像方式に応じた適切な方法で合焦位置を検出することができる。
本発明によれば、撮像方式に応じた適切な方法で合焦位置を検出することができる。
本発明の一実施の形態に係る顕微鏡撮像装置の構成を示すブロック図である。 図１の顕微鏡撮像装置の測定部および測定光供給部の構成を示す模式図である。 図１の顕微鏡撮像装置の測定部における光路を示す模式図である。 ＣＰＵの構成を示すブロック図である。 パターン付与部により出射される測定光の例を示す図である。 測定条件および明度パラメータの種類を示す図である。 矩形波状測定光の強度分布を示す図である。 図７（ｂ）の矩形波状測定光のパターンの位相の移動量を説明するための図である。 １次元正弦波状測定光の強度分布を示す図である。 図９（ｂ）の１次元正弦波状測定光のパターンの位相の移動量を説明するための図である。 空間周期を図７の空間周期よりも小さくした場合における矩形波状測定光の強度分布を示す図である。 空間周期を図７の空間周期よりも小さくした場合における矩形波状測定光の強度分布を示す図である。 明部分の幅を図７の明部分の幅よりも大きくした場合における矩形波状測定光の強度分布を示す図である。 明部分の幅を図７の明部分の幅よりも小さくした場合における矩形波状測定光の強度分布を示す図である。 ＣＰＵによる光変調素子の制御処理を示すフローチャートである。 受光部から出力される受光信号を示す図である。 表示部の表示例を示す図である。 表示部の表示例を示す図である。 通常表示においてメインウインドウに表示された画像の一例を示す図である。 通常表示においてメインウインドウに表示された画像の他の例を示す図である。 通常表示においてメインウインドウに重畳表示された画像の一例を示す図である。 通常表示においてメインウインドウに重畳表示された画像の他の例を示す図である。 プレビュー表示においてメインウインドウに表示された測定対象物のセクショニング画像を示す図である。 プレビュー表示においてメインウインドウに表示された測定対象物のセクショニング画像を示す図である。 測定条件詳細設定ウインドウの一例を示す図である。 セクショニング観察における合焦点画素データの判定方式を説明するための図である。 通常観察における合焦点画素データの判定方式を説明するための図である。 全焦点画像作成ウインドウの一例を示す図である。 全焦点画像データ生成処理を示すフローチャートである。 全焦点画像データ生成処理を示すフローチャートである。
（１）顕微鏡撮像装置の構成
図１は、本発明の一実施の形態に係る顕微鏡撮像装置の構成を示すブロック図である。図２は、図１の顕微鏡撮像装置５００の測定部および測定光供給部３００の構成を示す模式図である。図３は、図１の顕微鏡撮像装置５００の測定部における光路を示す模式図である。
以下、本実施の形態に係る顕微鏡撮像装置５００について、図１〜図３を参照しながら説明する。図１に示すように、顕微鏡撮像装置５００は、測定部１００、ＰＣ（パーソナルコンピュータ）２００、測定光供給部３００および表示部４００を備える。
図２に示すように、測定光供給部３００は、電源装置３１０、投光部３２０および導光部材３３０を含む。本例においては、導光部材３３０は液体ライトガイドである。導光部材３３０は、例えばガラスファイバまたは石英ファイバであってもよい。電源装置３１０は、投光部３２０に電力を供給するとともに、図示しない電源ケーブルを介して測定部１００に電力を供給する。
投光部３２０は、測定光源３２１、減光機構３２２および遮光機構３２３を含む。測定光源３２１は、例えばメタルハライドランプである。測定光源３２１は、水銀ランプまたは白色ＬＥＤ（発光ダイオード）等の他の光源であってもよい。以下、測定光源３２１により出射される光を測定光と呼ぶ。
減光機構３２２は、互いに透過率が異なる複数のＮＤ（Neutral Density）フィルタを含む。減光機構３２２は、複数のＮＤフィルタのいずれかが測定光源３２１から出射された測定光の光路上に位置するように配置される。測定光の光路上に位置するＮＤフィルタを選択的に切り替えることにより、減光機構３２２を通過する測定光の強度を調整することができる。減光機構３２２は、複数のＮＤフィルタに代えて、光の強度を調整可能な光変調器等の光学素子を含んでもよい。
遮光機構３２３は、例えばメカニカルシャッタである。遮光機構３２３は、減光機構３２２を通過した測定光の光路上に配置される。遮光機構３２３が開状態である場合には、測定光は遮光機構３２３を通過し、導光部材３３０に入力される。一方、遮光機構３２３が閉状態である場合には、測定光は遮断され、導光部材３３０に入力されない。遮光機構３２３は、光の通過および遮断を切り替え可能な光変調器等の光学素子を含んでもよい。
測定部１００は、例えば蛍光顕微鏡であり、パターン付与部１１０、受光部１２０、透過光供給部１３０、ステージ１４０、フィルタユニット１５０、レンズユニット１６０および制御基板１７０を含む。受光部１２０、フィルタユニット１５０、レンズユニット１６０、ステージ１４０および透過光供給部１３０は、下方から上方に向かってこの順で配置される。
ステージ１４０上には、測定対象物Ｓが載置される。本例においては、測定対象物Ｓは種々のタンパク質を含む生物標本である。測定対象物Ｓには、特定のタンパク質に融合する蛍光試薬が塗布されている。蛍光試薬は、例えばＧＦＰ（緑色蛍光タンパク質）、Ｔｅｘａｓ Ｒｅｄ（テキサスレッド）およびＤＡＰＩ（ジアミジノフェニルインドール）を含む。
ＧＦＰは、４９０ｎｍ付近の光を吸収して５１０ｎｍ付近の波長の光を放出する。Ｔｅｘａｓ Ｒｅｄは、波長５９６ｎｍ付近の光を吸収して波長６２０ｎｍ付近の光を放出する。ＤＡＰＩは、波長３４５ｎｍ付近の光を吸収して波長４５５ｎｍ付近の光を放出する。
測定対象物Ｓが載置されるステージ１４０上の平面（以下、載置面と呼ぶ）内で互いに直交する２方向をＸ方向およびＹ方向と定義し、載置面に対して直交する方向をＺ方向と定義する。本実施の形態においては、Ｘ方向およびＹ方向は水平方向であり、Ｚ方向は上下方向である。また、本実施の形態においては、ステージ１４０はＸ−Ｙステージであり、図示しないステージ駆動部によりＸ方向およびＹ方向に移動可能に配置される。
測定部１００には、測定光供給部３００から出射される測定光を測定対象物Ｓに導く光学系、透過光供給部１３０から出射される光を測定対象物Ｓに導く光学系および測定対象物Ｓからの光を受光部１２０に導く光学系が構成される。
パターン付与部１１０は、光出力部１１１、光変調素子１１２および複数（本例では２個）のミラー１１３を含む。光出力部１１１は、導光部材３３０に入力された測定光を出力する。光出力部１１１から出力された光は、複数のミラー１１３により反射され、光変調素子１１２に入射する。
光変調素子１１２は、例えばＤＭＤ（デジタルマイクロミラーデバイス）である。ＤＭＤは２次元状に配列された複数のマイクロミラーにより構成される。光変調素子１１２は、ＬＣＯＳ（Liquid Crystal on Silicon：反射型液晶素子）またはＬＣＤ（液晶ディスプレイ）であってもよい。光変調素子１１２に入射した光は、後述するパターン生成部２１２により予め設定されたパターンおよび予め設定された強度（明るさ）に変換されてフィルタユニット１５０に出射される。
フィルタユニット１５０は、複数（本例では３個）のフィルタキューブ１５１およびフィルタターレット１５２を含む。複数のフィルタキューブ１５１は、測定対象物Ｓに塗布される複数種類の蛍光試薬に対応する。図３に示すように、各フィルタキューブ１５１は、フレーム１５１ａ、励起フィルタ１５１ｂ、ダイクロイックミラー１５１ｃおよび吸収フィルタ１５１ｄを含む。フレーム１５１ａは、励起フィルタ１５１ｂ、ダイクロイックミラー１５１ｃおよび吸収フィルタ１５１ｄを支持する立方体状の部材である。
図２の励起フィルタ１５１ｂは、第１の波長帯域の光を通過させる帯域通過フィルタである。吸収フィルタ１５１ｄは、第１の波長帯域と異なる第２の波長帯域の光を通過させる帯域通過フィルタである。ダイクロイックミラー１５１ｃは、第１の波長帯域を含む波長帯域の光を反射し、第２の波長帯域を含む波長帯域の光を通過させるミラーである。第１および第２の波長帯域は、蛍光試薬の吸収波長および放出波長に応じてフィルタキューブ１５１ごとに互いに異なる。
フィルタターレット１５２は、円板状を有する。本実施の形態においては、フィルタターレット１５２に略９０°間隔で４個のフィルタキューブ取付部１５２ａが設けられている。各フィルタキューブ取付部１５２ａは、フィルタキューブ１５１を取り付け可能に形成された開口である。
本実施の形態においては、３個のフィルタキューブ取付部１５２ａにそれぞれ３個のフィルタキューブ１５１が取り付けられ、残り１個のフィルタキューブ取付部１５２ａにはフィルタキューブ１５１が取り付けられない。そのため、フィルタキューブ１５１が取り付けられないフィルタキューブ取付部１５２ａを測定光の光路上に配置させることにより、フィルタキューブ１５１を用いない明視野観察を行うことが可能である。なお、図２の例においては、フィルタターレット１５２に２個のフィルタキューブ１５１が取り付けられている。
フィルタターレット１５２は、図示しないフィルタターレット駆動部によりＺ方向に平行な軸を中心に所定の角度間隔（本例では９０°間隔）で回転可能に配置される。使用者は、後述するＰＣ２００の操作部２５０を操作してフィルタターレット１５２を回転させることにより、測定対象物Ｓの測定に用いるフィルタキューブ１５１を選択する。
選択されたフィルタキューブ１５１は、測定光が励起フィルタ１５１ｂに入射するようにフィルタユニット１５０に取り付けられている。図３に示すように、励起フィルタ１５１ｂに測定光が入射すると、測定光のうち第１の波長帯域を有する成分のみが励起フィルタ１５１ｂを通過する。励起フィルタ１５１ｂを通過した測定光は、ダイクロイックミラー１５１ｃにより上方のレンズユニット１６０（図２）に向けて反射される。
レンズユニット１６０は、複数（本例では６個）の対物レンズ１６１、レンズターレット１６２および焦点位置調整機構１６３を含む。複数の対物レンズ１６１は、互いに異なる倍率を有する。レンズターレット１６２は、円板状を有する。本実施の形態においては、レンズターレット１６２上に略６０°間隔で６個の対物レンズ取付部１６２ａが設けられている。各対物レンズ取付部１６２ａは、対物レンズ１６１を取付可能に形成された開口である。
本実施の形態においては、６個の対物レンズ取付部１６２ａにそれぞれ６個の対物レンズ１６１が取り付けられる。なお、図２の例においては、レンズユニット１６０に３個の対物レンズ１６１が取り付けられている。
レンズターレット１６２は、図示しないレンズターレット駆動部によりＺ方向に平行な軸を中心に所定の角度間隔（本例では６０°間隔）で回転可能に配置される。使用者は、後述するＰＣ２００の操作部２５０を操作してレンズターレット１６２を回転させることにより、測定対象物Ｓの測定に用いる対物レンズ１６１を選択する。選択された対物レンズ１６１は、選択されたフィルタキューブ１５１と重なる。これにより、図３に示すように、フィルタキューブ１５１のダイクロイックミラー１５１ｃにより反射された測定光は、選択された対物レンズ１６１を通過する。
図２の焦点位置調整機構１６３は、図示しない焦点位置調整機構駆動部によりレンズターレット１６２をＺ方向に移動可能に配置される。これにより、ステージ１４０上の測定対象物Ｓと選択された対物レンズ１６１との相対的な距離が調整される。ステージ１４０は、略中央部に開口を有する。対物レンズ１６１を通過した測定光は、集光されつつステージ１４０の開口を通過して測定対象物Ｓに照射される。
測定光が照射された測定対象物Ｓは、測定光を吸収して、第２の波長帯域を含む波長帯域の蛍光を放出する。測定対象物Ｓの下方に放出された蛍光は、選択された対物レンズ１６１ならびに選択されたフィルタキューブ１５１のダイクロイックミラー１５１ｃおよび吸収フィルタ１５１ｄを通過する。これにより、蛍光のうち第２の波長帯域を有する成分が受光部１２０に入射する。
本実施の形態において、測定部１００は測定対象物Ｓからの蛍光を観察可能な蛍光顕微鏡であるが、これに限定されない。測定部１００は、例えば反射型顕微鏡であってもよい。この場合、フィルタターレット１５２のフィルタキューブ取付部１５２ａには、フィルタキューブ１５１に代えてハーフミラーが取り付けられる。
透過光供給部１３０は、測定対象物Ｓの明視野観察、位相差観察、微分干渉観察、暗視野観察、偏斜観察または偏光観察に用いられる。透過光供給部１３０は、透過光源１３１および透過光学系１３２を含む。透過光源１３１は、例えば白色ＬＥＤである。透過光源１３１は、ハロゲンランプ等の他の光源であってもよい。以下、透過光源１３１により出射される光を透過光と呼ぶ。
透過光学系１３２は、開口絞り、位相差スリット、リレーレンズ、コンデンサレンズおよびシャッタ等の光学素子を含む。透過光源１３１により出射された透過光は、透過光学系１３２を通過してステージ１４０上の測定対象物Ｓに照射される。
透過光は、測定対象物Ｓを透過して、対物レンズ１６１を通過する。その後、透過光は、フィルタキューブ１５１が取り付けられていないフィルタターレット１５２のフィルタキューブ取付部１５２ａ（以下、フィルタターレット１５２の開口部と呼ぶ）を通過して受光部１２０に入射する。
受光部１２０は、カメラ１２１、カラーフィルタ１２２および結像レンズ１２３を含む。カメラ１２１は、例えば撮像素子を含むＣＣＤ（電荷結合素子）カメラである。撮像素子は、例えばモノクロＣＣＤである。撮像素子は、ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の他の撮像素子であってもよい。
カラーフィルタ１２２は、赤色波長の光を通過させるＲ（赤色）フィルタ、緑色波長の光を通過させるＧ（緑色）フィルタおよび青色波長の光を通過させるＢ（青色）フィルタを含む。受光部１２０に入射した蛍光または透過光は、結像レンズ１２３により集光および結像された後、カラーフィルタ１２２を通ってカメラ１２１により受光される。これにより、測定対象物Ｓの画像が得られる。カメラ１２１の撮像素子の各画素からは、受光量に対応するアナログの電気信号（以下、受光信号と呼ぶ）が制御基板１７０に出力される。
モノクロＣＣＤには、カラーＣＣＤとは異なり、赤色波長の光を受光する画素、緑色波長の光を受光する画素および青色波長の光を受光する画素を設ける必要がない。そのため、モノクロＣＣＤの計測の分解能はカラーＣＣＤの分解能よりも高くなる。また、モノクロＣＣＤには、カラーＣＣＤとは異なり、各画素にカラーフィルタを設ける必要がない。そのため、モノクロＣＣＤの感度はカラーＣＣＤの感度よりも高くなる。これらの理由により、本例におけるカメラ１２１にはモノクロＣＣＤが設けられる。
本例においては、カラーフィルタ１２２のＲフィルタ、ＧフィルタおよびＢフィルタを通過した光が時分割でカメラ１２１により受光される。この構成によれば、モノクロＣＣＤを用いた受光部１２０により測定対象物Ｓのカラー画像を得ることができる。
一方、カラーＣＣＤが十分な分解能および感度を有する場合には、撮像素子は、カラーＣＣＤであってもよい。この場合、カメラ１２１は、Ｒフィルタ、ＧフィルタおよびＢフィルタを通過した光を時分割で受光する必要がないので、受光部１２０にカラーフィルタ１２２が設けられない。それにより、受光部１２０の構成を単純にすることができる。
制御基板１７０には、図示しないＡ／Ｄ変換器（アナログ／デジタル変換器）およびＦＩＦＯ（First In First Out）メモリが実装される。カメラ１２１から出力される受光信号は、ＰＣ２００による制御に基づいて、Ａ／Ｄ変換器により一定のサンプリング周期でサンプリングされるとともにデジタル信号に変換される。Ａ／Ｄ変換器から出力されるデジタル信号は、ＦＩＦＯメモリに順次蓄積される。ＦＩＦＯメモリに蓄積されたデジタル信号は画素データとして順次ＰＣ２００に転送される。
また、制御基板１７０は、ＰＣ２００による制御に基づいて、パターン付与部１１０、受光部１２０、透過光供給部１３０、ステージ１４０、フィルタユニット１５０およびレンズユニット１６０の動作を制御する。さらに、制御基板１７０は、ＰＣ２００による制御に基づいて、測定光供給部３００の投光部３２０の動作を制御する。
図１に示すように、ＰＣ２００は、ＣＰＵ（中央演算処理装置）２１０、ＲＯＭ（リードオンリメモリ）２２０、ＲＡＭ（ランダムアクセスメモリ）２３０、記憶装置２４０および操作部２５０を含む。操作部２５０は、キーボードおよびポインティングデバイスを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。
表示部４００は、例えばＬＣＤパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。図２の例においては、ＰＣ２００および表示部４００は、１台のノート型パーソナルコンピュータにより実現される。
ＲＯＭ２２０には、システムプログラムが記憶される。ＲＡＭ２３０は、種々のデータの処理のために用いられる。記憶装置２４０は、ハードディスク等からなる。記憶装置２４０には、画像処理プログラムおよび顕微鏡撮像プログラムが記憶される。また、記憶装置２４０は、測定部１００から与えられる画素データ等の種々のデータを保存するために用いられる。
図４は、ＣＰＵ２１０の構成を示すブロック図である。図４に示すように、ＣＰＵ２１０は、画像データ生成部２１１、パターン生成部２１２、制御部２１３および合焦検出部２１４を含む。画像データ生成部２１１は、測定部１００から与えられる画素データに基づいて画像データを生成する。画像データは複数の画素データの集合である。
パターン生成部２１２は、図２の光変調素子１１２により出射される測定光のパターンとして、空間的な位相を所定量ずつ順次移動させつつ前記測定対象物に照射すべきパターンを生成する。制御部２１３は、パターン生成部２１２により生成されたパターンに基づいて図２の制御基板１７０を介して光変調素子１１２を制御することにより、所定のパターンを有する測定光を測定対象物Ｓに照射しつつパターンの位相を移動させる。
また、制御部２１３は、制御基板１７０を介して受光部１２０、透過光供給部１３０、ステージ１４０、フィルタユニット１５０、レンズユニット１６０および投光部３２０の動作を制御する。さらに、制御部２１３は、生成した画像データにＲＡＭ２３０を用いて各種処理を行うとともに、画像データに基づく画像を表示部４００に表示させる。
測定部１００においては、測定対象物Ｓと図３の対物レンズ１６１との相対的な距離を変化させることにより、測定対象物Ｓに対する対物レンズ１６１の焦点の位置（以下、対物レンズ１６１の焦点位置と呼ぶ）が変化する。対物レンズ１６１の焦点位置が変化されつつ測定光が測定対象物Ｓに照射される。これにより、各焦点位置における測定対象物Ｓの画像データが生成される。合焦検出部２１４は、焦点位置調整機構１６３により対物レンズ１６１の焦点位置が複数変化されたときに画像データ生成部２１１によりそれぞれ生成された複数の画像データに基づいて合焦位置を検出する。
本実施の形態に係る顕微鏡撮像装置５００では、図２の投光部３２０を用いて測定対象物Ｓの落射観察を行うことができ、透過光供給部１３０を用いて測定対象物Ｓの透過通常観察（透過観察）を行うことができる。
落射観察としては、以下に説明するパターン化された測定光を用いるセクショニング観察および均一な測定光を用いる落射通常観察を行うことができる。以下の説明においては、透過通常観察および落射通常観察を総称して通常観察と呼ぶ。
（２）セクショニング観察および落射通常観察
セクショニング観察では、１次元状または２次元状のパターンを有する測定光を測定対象物Ｓに照射しつつそのパターンの位相を一定量ずつ移動させる。１次元状のパターンを有する測定光は、ＸＹ平面上の一方向（例えばＹ方向）において周期的に変化する強度を有する。２次元状のパターンを有する測定光は、ＸＹ平面上の互いに交差する二方向（例えばＸ方向およびＹ方向）において周期的に変化する強度を有する。
以下、パターンを有する測定光をパターン測定光と呼ぶ。特に、１次元状のパターンを有する測定光を１次元状パターン測定光と呼び、２次元状のパターンを有する測定光を２次元状パターン測定光と呼ぶ。また、均一な強度を有する測定光を均一測定光と呼ぶ。
パターン測定光のパターンは、光変調素子１１２により制御される。以下、パターン測定光のパターンについて説明する。ここで、強度が所定の値以上のパターン測定光の部分を明部分と呼び、強度が所定の値より小さいパターン測定光の部分を暗部分と呼ぶ。図５は、パターン付与部１１０により出射される測定光の例を示す図である。
図５（ａ）は、１次元状パターン測定光の一例を示す。図５（ａ）の１次元状パターン測定光を矩形波状測定光と呼ぶ。矩形波状測定光の断面は、一方向（例えばＸ方向）に平行でかつ一方向に直交する他の方向（例えばＹ方向）に略等間隔で並ぶ複数の直線状の明部分を含み、複数の明部分の間に複数の直線状の暗部分を含む。
図５（ｂ）は、１次元状パターン測定光の他の例を示す。図５（ｂ）の１次元状パターン測定光を１次元正弦波状測定光と呼ぶ。１次元正弦波状測定光の断面は、例えばＸ方向に平行でかつＹ方向に強度が正弦波状に変化するパターンを含む。
図５（ｃ）は、２次元状パターン測定光の一例を示す。図５（ｃ）の２次元状パターン測定光をドット状測定光と呼ぶ。ドット状測定光の断面は、Ｘ方向およびＹ方向に略等間隔で並ぶ複数のドット状の明部分を含む。
２次元状パターン測定光の他の例として、パターン測定光は２次元正弦波状測定光であってもよい。２次元正弦波状測定光の断面は、Ｘ方向およびＹ方向に強度が正弦波状に変化するパターンを含む。２次元状パターン測定光のさらに他の例として、パターン測定光は格子状のパターンまたはチェッカーパターン（市松模様）を有してもよい。
セクショニング観察では、パターン測定光の明部分が測定光の照射範囲の全体に少なくとも１回照射されるようにパターン測定光のパターンの位相を一定量ずつ移動させつつ、測定対象物Ｓにより放出される蛍光を検出する。これにより、測定対象物Ｓの複数の画像データが生成される。
以下、測定対象物Ｓにパターン測定光が照射された場合に得られる画像データをパターン画像データと呼ぶ。パターン画像データに基づく画像をパターン画像と呼ぶ。
各パターン画像データにおいて、パターン測定光の明部分に対応する画素データは高い値（輝度値）を有し、パターン測定光の暗部分に対応する画素データは低い値（輝度値）を有する。そのため、各パターン画像において、パターン測定光の明部分に対応する画素は明るく、パターン測定光の暗部分に対応する画素は暗い。
複数のパターン画像データから画素ごとに複数の画素データの値を用いて明暗差の度合いを表わす成分（以下、合焦成分と呼ぶ）が算出される。合焦成分を有する画素をつなぎ合わせることにより生成される画像データをセクショニング画像データと呼ぶ。セクショニング画像データに基づく画像をセクショニング画像と呼ぶ。
矩形波状測定光またはドット状測定光を用いて生成されたパターン画像データにおいては、合焦成分は、例えば画素データの最大値（最大輝度値）と最小値（最小輝度値）との差、または画素データの値の標準偏差である。１次元正弦波状測定光または２次元正弦波状測定光を用いて生成されたパターン画像データにおいては、合焦成分は、例えば画素データの振幅（ピークトゥピーク）である。
最も簡単な方法では、各画素について、複数のパターン画像データから最大値を有する画素データを選択し、全画素について、選択された画素データをつなぎ合せることにより、セクショニング画像データを生成することが可能である。
ここで、各パターン画像は、迷光の影響を受ける。それにより、パターン画像のパターンにはボケが生じる。各パターン画像データにおいて迷光による成分をボケ成分と呼ぶ。ボケ成分は、パターン測定光の各明部分自体において発生する迷光によるボケ成分と、パターン測定光の各明部分に隣り合う他の明部分からの迷光によるボケ成分とを含む。
そこで、迷光の影響を除去するために、各画素について、パターン測定光の明部分および暗部分が照射されたときのパターン画像データの画素データの差を算出する。算出された全画素についての差をつなぎ合せることにより、セクショニング画像データを生成する。各画素について、パターン測定光の暗部分が照射されたときのパターン画像データの画素データの値は、ボケ成分に相当する。したがって、迷光の影響が除去されたセクショニング画像データを得ることができる。
セクショニング画像データの生成方法の一例として、本実施の形態では、各画素について、複数のパターン画像データの複数の画素データの最大値（最大輝度値）と最小値（最小輝度値）との差を算出する。算出された全画素についての差をつなぎ合せることにより、セクショニング画像データを生成する。他の方法により、複数のパターン画像データの複数の画素データに基づいてセクショニング画像が生成されてもよい。
例えば、各画素について、複数のパターン画像データの複数の画素データの値の標準偏差を算出する。算出された全画素についての標準偏差をつなぎ合せることにより、セクショニング画像データを生成してもよい。
セクショニング観察において、１次元状パターン測定光を用いる場合には、パターン測定光の位相が例えばＹ方向に移動されるので、Ｙ方向におけるボケ成分が除去されたセクショニング画像データが生成される。また、パターン測定光の位相は例えばＸ方向に移動される必要がないので、撮像回数が低減される。そのため、比較的高い画質を有するセクショニング画像を高速に得ることができる。
一方、セクショニング観察において、２次元状パターン測定光を用いる場合には、パターン測定光の位相がＸ方向およびＹ方向に移動されるので、Ｘ方向Ｙ方向におけるボケ成分が除去されたセクショニング画像データが生成される。そのため、１次元状パターン測定光を用いる場合よりも撮像回数が増加するが、非常に高い画質を有するセクショニング画像を得ることができる。
特に測定部１００が蛍光顕微鏡である場合には、多数回のパターン測定光を測定対象物Ｓに照射することにより測定対象物Ｓの蛍光試薬が褪色することがある。そのため、測定対象物Ｓによっては、撮像回数を低減させることが重視されることがある。
本実施の形態においては、光変調素子１１２を制御することにより、１次元状パターン測定光と２次元状パターン測定光とを容易かつ高速に切り替えることができる。したがって、使用者は、セクショニング画像データの生成に要する時間（撮像回数）と、得られるセクショニング画像の画質とを考慮して、セクショニング観察に用いるパターン測定光を選択することができる。
図５（ｄ）は、均一測定光の一例を示す。均一測定光は、均一な強度分布を有する。すなわち、均一測定光は明部分のみからなる測定光である。落射通常観察では、図５（ｄ）の均一測定光が測定対象物Ｓの全ての部分に照射され、測定対象物Ｓにより放出される蛍光が検出される。これにより、測定対象物Ｓの画像データが生成される。落射通常観察において得られる画像データを落射通常画像データと呼び、落射通常画像データに基づく画像を落射通常画像と呼ぶ。
測定対象物Ｓが立体的な構造を有する場合、測定対象物Ｓの一部に対物レンズ１６１の焦点が合っていても、測定対象物Ｓの他の部分に対物レンズ１６１の焦点が合っていない。したがって、ある焦点位置におけるセクショニング画像データまた落射通常画像データのうち一部の画素データは測定対象物Ｓの部分に焦点が合った状態で得られ、他の部分の画素データは測定対象物Ｓの部分に焦点が合っていない状態で得られる。以下、測定対象物Ｓの一部に焦点が合った状態で得られる画素データを合焦点画素データと呼ぶ。
複数の焦点位置で得られた複数のセクショニング画像データまたは落射通常画像データのうち、合焦点画素データが合成されることにより、測定対象物Ｓの全体に焦点が合った状態で得られる画像データが生成される。以下、測定対象物Ｓの全体に焦点が合った状態で得られる画像データを全焦点画像データと呼ぶ。全焦点画像データに基づく画像を全焦点画像と呼ぶ。
（３）測定条件の設定
（ａ）測定条件および明度パラメータ
セクショニング観察における測定条件ならびにセクショニング観察および落射通常観察における明度パラメータについて説明する。図６は、測定条件および明度パラメータの種類を示す図である。
図６に示すように、セクショニング観察における測定条件は、パターン種別および測定パラメータを含む。パターン種別は、パターン測定光および均一測定光を含む。パターン測定光は、１次元状パターン測定光および２次元状パターン測定光を含む。１次元状パターン測定光は、矩形波状測定光および１次元正弦波状測定光を含む。２次元状パターン測定光は、ドット状測定光および２次元正弦波状測定光を含む。
セクショニング観察における測定パラメータは、撮像回数、パターン測定光の位相の移動量、パターン測定光の明部分および暗部分の幅、ならびにパターン測定光の位相の空間周期を含む。撮像回数は、パターン画像データの生成回数である。
明度パラメータは、受光部１２０の露光時間、受光部１２０のゲイン、パターン画像データまたは落射通常画像データにおけるビニング数および蛍光（測定光）の強度を含む。ここで、ビニング数とは、複数の画素データを擬似的に結合させて１つの画素データとして扱うビニング処理において結合される画素データの数を意味する。
セクショニング観察において適切な測定パラメータは、パターン種別に応じて異なる。明度パラメータは、測定条件に連動して自動的に適切に設定される。以下、パターン種別に応じた測定パラメータの設定について説明する。
（ｂ）矩形波状測定光
図７は、矩形波状測定光の強度分布を示す図である。図７（ａ），（ｂ）の横軸は矩形波状測定光の位置（例えばＹ方向における位置）を示し、縦軸は矩形波状測定光の強度を示す。図７（ａ）は、理想的な矩形波状測定光の強度分布を示す。理想的な矩形波状測定光においては、各明部分は略矩形状の強度分布を有する。
矩形波状測定光の最大強度（各明部分の強度）はＩｍａｘである。矩形波状測定光の最小強度（各暗部分の強度）はＩｍｉｎである。矩形波状測定光の最大強度Ｉｍａｘと最小強度Ｉｍｉｎとの差が大きいほど、パターン画像の画質を向上させることができる。
矩形波状測定光の平均強度はＩａｖｅである。矩形波状測定光の平均強度Ｉａｖｅが大きいほど、パターン画像が明るくなる。矩形波状測定光の平均強度Ｉａｖｅは比較的小さいので、パターン画像は比較的暗い。したがって、矩形状測定光が選択された場合には、自動的に明度パラメータが比較的大きく設定される。これにより、パターン画像を明るくすることができる。
矩形波状測定光の各明部分の幅はＷ１であり、矩形波状測定光の各暗部分の幅はＷ２である。パターンは一定の空間周期Ｔｓで繰り返される。空間周期Ｔｓは、明部分の幅Ｗ１と暗部分の幅Ｗ２との和である。
光変調素子１１２がＤＭＤである場合には、各マイクロミラーの寸法を１単位とする。矩形波状測定光の各明部分の幅Ｗ１は例えば４単位であり、矩形波状測定光の各暗部分の幅Ｗ２は例えば１２単位である。この場合、空間周期Ｔｓは１６単位である。なお、明部分および暗部分の単位は、光変調素子１１２の構成により異なる。例えば、光変調素子１１２がＬＣＤである場合には、１単位は１画素の寸法である。
空間周期Ｔｓが小さい場合、矩形波状測定光の一の明部分が照射されるべき測定対象物Ｓの部分に他の明部分から迷光が照射されることがある。この場合、パターン画像に発生するボケが増加する。そのため、空間周期Ｔｓを大きく設定することにより、パターン画像に発生するボケを低減することができる。
また、矩形波状測定光の各明部分の幅Ｗ１が大きい場合、各明部分における迷光が測定対象物Ｓに照射されることにより、測定対象物Ｓの細部におけるパターン画像の画質が低下する。そのため、矩形波状明部分の幅Ｗ１を小さく設定することにより、測定対象物Ｓの細部におけるパターン画像の画質を向上させることができる。
図７（ｂ）は、現実的な矩形波状測定光の強度分布を示す。現実的な矩形波状測定光においては、各明部分の強度分布は略台形状となる。また、現実的な矩形波状測定光の最大強度Ｉｍａｘは、図７（ａ）の理想的な矩形波状測定光の最大強度Ｉｍａｘよりも小さくなる。現実的な矩形波状測定光の最小強度Ｉｍｉｎは、図７（ａ）の理想的な矩形波状測定光の最小強度Ｉｍｉｎよりも大きくなる。
図７（ｂ）の矩形波状測定光の明部分が測定光の照射範囲の全体に少なくとも１回照射されるように矩形波状測定光のパターンの位相の移動量を設定する。図８は、図７（ｂ）の矩形波状測定光のパターンの位相の移動量を説明するための図である。図８（ａ），（ｂ）の横軸は矩形波状測定光の位置（例えばＹ方向における位置）を示し、縦軸は矩形波状測定光の強度を示す。
図８（ａ）の例においては、第１の時点において、測定対象物Ｓの部分Ａに明部分が位置するように、矩形波状測定光が測定対象物Ｓに照射される。これにより、測定対象物Ｓの部分Ａから放出される蛍光が受光部１２０により受光される。蛍光の受光量に基づいて、測定対象物Ｓの１番目のパターン画像データが生成される。
その後、矩形波状測定光のパターンの位相を空間周期Ｔｓの略１／３だけＹ方向に移動させる。次に、第１の時点後の第２の時点において、測定対象物Ｓの部分Ｂに明部分が位置するように、矩形波状測定光が測定対象物Ｓに照射される。これにより、測定対象物Ｓの部分Ｂから放出される蛍光が受光部１２０により受光される。蛍光の受光量に基づいて、測定対象物Ｓの２番目のパターン画像データが生成される。
その後、矩形波状測定光のパターンの位相を空間周期Ｔｓの略１／３だけＹ方向にさらに移動させる。次に、第２の時点後の第３の時点において、測定対象物Ｓの部分Ｃに明部分が位置するように、矩形波状測定光が測定対象物Ｓに照射される。これにより、測定対象物Ｓの部分Ｃから放出される蛍光が受光部１２０により受光される。蛍光の受光量に基づいて、測定対象物Ｓの３番目のパターン画像データが生成される。
このように、パターンの位相を移動させつつ矩形波状測定光を測定対象物Ｓに３回照射することにより、測定対象物Ｓの全ての部分に明部分が照射される。生成された１番目〜３番目のパターン画像データに基づいて、セクショニング画像データが生成される。このセクショニング画像データは、測定対象物Ｓの全ての部分に図８（ａ）の太い曲線で示される強度分布の測定光が照射された場合に生成されるパターン画像データと等価である。
しかしながら、図８（ａ）の例においては、部分Ａ，Ｂの境界付近、部分Ｂ，Ｃの境界付近、および部分Ｃ，Ａの境界付近に照射される明部分の強度は、部分Ａ〜Ｃの中央付近に照射される明部分の強度よりも小さい。この場合、部分Ａ，Ｂの境界付近、部分Ｂ，Ｃの境界付近、および部分Ｃ，Ａの境界付近に対応するセクショニング画像データの画素は暗くなるか、または欠落する。そのため、正確なセクショニング画像データを生成することができない。
図８（ｂ）の例においては、第１の時点において、測定対象物Ｓの部分Ａに明部分が位置するように、矩形波状測定光が測定対象物Ｓに照射されることにより、測定対象物Ｓの１番目のパターン画像データが生成される。その後、矩形波状測定光のパターンの位相を空間周期Ｔｓの略１／５だけＹ方向に移動させる。
この状態で、同様の矩形波状測定光の出射およびパターンの位相の移動が繰り返される。これにより、第２〜第５の時点において、それぞれ測定対象物Ｓの部分Ｂ〜Ｅに明部分が位置するように、矩形波状測定光が測定対象物Ｓに照射され、２番目〜５番目のパターン画像データが生成される。
このように、パターンの位相を移動させつつ矩形波状測定光を測定対象物Ｓに５回照射することにより、測定対象物Ｓの全ての部分に明部分が照射される。生成された１番目〜５番目のパターン画像データに基づいて、セクショニング画像データが生成される。このセクショニング画像データは、測定対象物Ｓの全ての部分に図８（ｂ）の太い曲線で示される強度分布の測定光が照射された場合に生成されるパターン画像データと等価である。
図８（ｂ）の例においては、測定対象物Ｓの全ての部分に照射される明部分の強度は略均一である。これにより、測定対象物Ｓの正確なセクショニング画像データを生成することができる。
（ｃ）１次元正弦波状測定光
図９は、１次元正弦波状測定光の強度分布を示す図である。図９（ａ），（ｂ）の横軸は１次元正弦波状測定光の位置（例えばＹ方向における位置）を示し、縦軸は１次元正弦波状測定光の強度を示す。
図９（ａ）は、理想的な１次元正弦波状測定光の強度分布を示す。１次元正弦波状測定光の最大強度はＩｍａｘである。１次元正弦波状測定光の最小強度はＩｍｉｎである。１次元正弦波状測定光の平均強度はＩａｖｅである。１次元正弦波状測定光の平均強度Ｉａｖｅは、矩形波状測定光の平均強度Ｉａｖｅよりも大きい。そのため、１次元正弦波状測定光を用いたパターン画像は、矩形波状測定光を用いたパターン画像よりも明るくなる。したがって、１次元正弦波状測定光が選択された場合には、自動的に明度パラメータが比較的小さく設定される。
パターンは一定の空間周期Ｔｓで繰り返される。空間周期Ｔｓが大きい場合、セクショニング画像に発生する広域的なボケ成分を低減することができる反面、測定対象物Ｓの細部におけるセクショニング画像の画質が低下する。そのため、空間周期Ｔｓは、セクショニング画像に発生する広域的なボケと測定対象物Ｓの細部におけるセクショニング画像の画質とのトレードオフにより適切に設定される。
図９（ｂ）は、現実的な１次元正弦波状測定光の強度分布を示す。現実的な正弦波状測定光の最大強度Ｉｍａｘは、図９（ａ）の理想的な１次元正弦波状測定光の最大強度Ｉｍａｘよりも小さくなる。現実的な１次元正弦波状測定光の最小強度Ｉｍｉｎは、図９（ａ）の理想的な１次元正弦波状測定光の最小強度Ｉｍｉｎよりも大きくなる。
図９（ｂ）の１次元正弦波状測定光の明部分が測定光の照射範囲の全体に少なくとも１回照射されるように１次元正弦波状測定光のパターンの位相の移動量を設定する。図１０は、図９（ｂ）の１次元正弦波状測定光のパターンの位相の移動量を説明するための図である。図１０の横軸は１次元正弦波状測定光の位置（例えばＹ方向における位置）を示し、縦軸は１次元正弦波状測定光の強度を示す。
図１０の例においては、第１の時点において、測定対象物Ｓの部分Ａに明部分が位置するように、１次元正弦波状測定光が測定対象物Ｓに照射されることにより、測定対象物Ｓの１番目のパターン画像データが生成される。その後、１次元正弦波状測定光のパターンの位相を空間周期Ｔｓの略１／３だけＹ方向に移動させる。
この状態で、同様の１次元正弦波状測定光の出射およびパターンの位相の移動が繰り返される。これにより、第２および第３の時点において、それぞれ測定対象物Ｓの部分Ｂ，Ｃに明部分が位置するように、１次元正弦波状測定光が測定対象物Ｓに照射され、２番目および３番目のパターン画像データが生成される。
このように、パターンの位相を移動させつつ１次元正弦波状測定光を測定対象物Ｓに３回照射することにより、測定対象物Ｓの全ての部分に明部分が照射される。生成された１番目〜３番目のパターン画像データに基づいて、セクショニング画像データが生成される。
具体的には、１番目〜３番目のパターン画像データにおける任意の画素データの値をそれぞれＬＡ，ＬＢ，ＬＣとすると、下記式（１）により当該画素データの値Ｌが算出される。全画素について、算出された画素データをつなぎ合せることにより、１次元正弦波状測定光を用いたセクショニング画像データを生成することができる。
Figure 2015084056
（ｄ）ドット状測定光
ドット状測定光を用いた測定パラメータの設定は、以下の点を除いて、矩形波状測定光を用いた測定パラメータの設定と同様である。
ドット状測定光のパターンは、例えばＹ方向だけでなくＸ方向にも一定の空間周期Ｔｓで繰り返される。そのため、ドット状測定光を用いる場合には、設定された回数（本例においては５回）だけＹ方向へパターンの位相を移動させた後に、設定された回数（本例においては５回）だけＸ方向へパターンの位相を移動させる。
パターンの位相を移動させた状態において、測定対象物Ｓから放出される蛍光が受光部１２０により受光される。これにより、蛍光の受光量に基づいて、測定対象物Ｓの１番目〜２５番目のパターン画像データが生成される。
このように、パターンの位相を移動させつつドット状測定光を測定対象物Ｓに２５回照射することにより、測定対象物Ｓの全ての部分に明部分が照射される。生成された１番目〜２５番目のパターン画像データに基づいて、セクショニング画像データが生成される。
（ｅ）２次元正弦波状測定光
２次元正弦状測定光を用いた測定パラメータの設定は、以下の点を除いて、１次元正弦波状測定光を用いた測定パラメータの設定と同様である。
２次元正弦状測定光のパターンは、例えばＹ方向だけでなくＸ方向にも一定の空間周期Ｔｓで繰り返される。そのため、２次元正弦状測定光を用いる場合には、設定された回数（本例においては３回）だけＹ方向へパターンの位相を移動させる。このＹ方向へのパターンの位相の移動を、設定された回数（本例においては３回）だけＸ方向へパターンの位相を移動させつつ繰り返す。
パターンの位相を移動させた状態において、測定対象物Ｓから放出される蛍光が受光部１２０により受光される。これにより、蛍光の受光量に基づいて、測定対象物Ｓの１番目〜９番目のパターン画像データが生成される。
このように、パターンの位相を移動させつつ２次元正弦状測定光を測定対象物Ｓに９回照射することにより、測定対象物Ｓの全ての部分に明部分が照射される。生成された１番目〜９番目のパターン画像データに基づいて、セクショニング画像データが生成される。具体的には、全画素について式（１）と同様の画素データの値Ｌを算出し、算出された画素データをつなぎ合せることにより２次元正弦波状測定光を用いたセクショニング画像データを生成することができる。
（ｆ）均一測定光
セクショニング観察を行わない場合には、落射通常観察により均一測定光を用いて落射通常画像データを生成することができる。均一測定光を用いる場合には、明部分が測定対象物Ｓの全ての部分に照射されるので、均一測定光の位相を移動させる必要がない。そのため、空間周期Ｔｓの設定は行われない。均一測定光の強度は十分に大きいので、均一測定光を用いた測定対象物Ｓの画像は十分に明るい。したがって、均一測定光が選択された場合には、自動的に明度パラメータが十分に小さく設定される。均一測定光を測定対象物Ｓに１回照射することにより、１つの落射通常画像データが生成される。
このように、セクショニング観察と落射通常観察とを使い分けることができる。セクショニング観察においては、パターン種別が設定される。これにより、パターン種別に応じた特性を有するセクショニング画像データを生成することができる。設定されたパターン種別に応じて、測定パラメータが設定される。
測定パラメータの一例として、撮像回数は、矩形波状測定光においては５〜１０回に設定され、１次元正弦波状測定光においては３〜４回に設定される。また、撮像回数は、ドット状測定光においては２５〜１００回に設定され、２次元正弦波状測定光においては９〜１６回に設定される。なお、撮像回数は、均一測定光においては１回である。
本例においては、パターン種別、パターンの位相の移動量および空間周期Ｔｓが設定されることにより撮像回数が自動的に設定される。例えば、撮像回数は、１次元状測定光を用いる場合にはパターンの位相の移動量に対する空間周期Ｔｓの比により与えられ、２次元状測定光を用いる場合にはパターンの位相の移動量に対する空間周期Ｔｓの比の二乗により与えられる。
明度パラメータは、測定条件により変化するパターン測定光の暗部分に対する明部分の比率に連動して自動的に適切に設定される。明度パラメータの第１の例として、受光部１２０の露光時間は、矩形波状測定光およびドット状測定光においては比較的長く設定される。受光部１２０の露光時間は、１次元正弦波状測定光および２次元正弦波状測定光においては比較的短く設定される。受光部１２０の露光時間は、均一測定光においては十分に短く設定される。
明度パラメータの第２の例として、蛍光の強度すなわち測定光の強度が、矩形波状測定光およびドット状測定光においては比較的大きく設定されてもよい。測定光の強度が、１次元正弦波状測定光および２次元正弦波状測定光においては比較的小さく設定されてもよい。測定光の強度が、均一測定光においては十分に小さく設定されてもよい。
明度パラメータの第３の例として、パターン画像データにおけるビニング数が、矩形波状測定光およびドット状測定光においては比較的大きく設定されてもよい。パターン画像データにおけるビニング数が、１次元正弦波状測定光および２次元正弦波状測定光においては比較的小さく設定されてもよい。落射通常画像データにおけるビニング数が、均一測定光においては十分に小さく設定されてもよい。
明度パラメータの第４の例として、受光部１２０のゲインが、矩形波状測定光およびドット状測定光においては比較的大きく設定されてもよい。受光部１２０のゲインが、１次元正弦波状測定光および２次元正弦波状測定光においては比較的小さく設定されてもよい。受光部１２０のゲインが、均一測定光においては十分に小さく設定されてもよい。
パターン測定光においては、パターン画像に発生するボケの許容度合に応じて空間周期Ｔｓが設定される。また、矩形波状測定光およびドット状測定光においては、明部分の幅Ｗ１が設定される。
図１１は、空間周期Ｔｓを図７の空間周期Ｔｓよりも小さくした場合における矩形波状測定光の強度分布を示す図である。図１１（ａ）は理想的な矩形波状測定光の強度分布を示し、図１１（ｂ）は現実的な矩形波状測定光の強度分布を示す。
空間周期Ｔｓが小さい場合、矩形波状測定光の一の明部分が照射されるべき測定対象物Ｓの部分に他の明部分からの迷光が照射されることがある。図１１（ｂ）の例においては、例えば明部分ｂが照射されるべき測定対象物Ｓの部分に明部分ａまたは明部分ｃからの迷光が照射されることがある。この場合、セクショニング画像に発生する広域的なボケ成分が増加する。
一方、空間周期Ｔｓが小さい場合、明部分ａ〜ｅ間の間隔が小さいので、測定光の照射範囲の全体への明部分ａ〜ｅの照射が短時間で行われる。これにより、撮像回数を低減させるとともに、セクショニング画像データを短時間で生成することができる。
図１２は、空間周期Ｔｓを図７の空間周期Ｔｓよりも大きくした場合における矩形波状測定光の強度分布を示す図である。図１２（ａ）は理想的な矩形波状測定光の強度分布を示し、図１２（ｂ）は現実的な矩形波状測定光の強度分布を示す。
空間周期Ｔｓが大きい場合、明部分ａ〜ｅ間の間隔が大きいので、測定光の照射範囲の全体への明部分ａ〜ｅの照射を終了するまでに長時間を要する。この場合、撮像回数が増加するとともに、セクショニング画像データが生成されるまでに長時間を要する。
一方、空間周期Ｔｓが大きい場合、矩形波状測定光の一の明部分が照射されるべき測定対象物Ｓの部分には他の明部分からの迷光が照射されることがほとんどない。これにより、セクショニング画像の広域的なボケ成分を低減することができる。
図１３は、明部分の幅Ｗ１を図７の明部分の幅Ｗ１よりも大きくした場合における矩形波状測定光の強度分布を示す図である。図１３（ａ）は理想的な矩形波状測定光の強度分布を示し、図１３（ｂ）は現実的な矩形波状測定光の強度分布を示す。
明部分の幅Ｗ１が大きい場合、矩形波状測定光の各明部分自体において発生する迷光が測定対象物Ｓの対応する部分に照射されることがある。図１３（ｂ）の例においては、明部分ａ〜ｅにおいてそれぞれ発生する迷光が測定対象物Ｓの対応する部分に照射されることがある。この場合、測定対象物Ｓの細部におけるセクショニング画像の画質が低下する。
一方、明部分の幅Ｗ１が大きい場合、暗部分の幅Ｗ２が小さいので、測定光の照射範囲の全体への明部分ａ〜ｄの照射が短時間で行われる。これにより、撮像回数を低減させるとともに、セクショニング画像データを短時間で生成することができる。
図１４は、明部分の幅Ｗ１を図７の明部分の幅Ｗ１よりも小さくした場合における矩形波状測定光の強度分布を示す図である。図１４（ａ）は理想的な矩形波状測定光の強度分布を示し、図１４（ｂ）は現実的な矩形波状測定光の強度分布を示す。
明部分の幅Ｗ１が小さい場合、暗部分の幅Ｗ２が大きいので、測定光の照射範囲の全体への明部分ａ〜ｄの照射を終了するまでに長時間を要する。この場合、撮像回数が増加するとともに、セクショニング画像データが生成されるまでに長時間を要する。
一方、明部分の幅Ｗ１が小さい場合、矩形波状測定光の各明部分自体において発生する迷光が測定対象物Ｓの対応する部分に照射されることがほとんどない。これにより、測定対象物Ｓの細部におけるセクショニング画像の画質を向上させることができる。
使用者は、パターンの位相の移動量を任意に設定することができる。ここで、矩形波状測定光の明部分を測定光の照射範囲の全体に少なくとも１回照射するため、パターンの位相の移動量を、明部分の幅Ｗ１よりも僅かに小さく設定されることが好ましい。設定されたパターンの位相の移動量に対する空間周期Ｔｓの比が撮像回数となる。
本実施の形態においては、パターン種別を切り替えることにより、パターン種別に対応して設定された測定パラメータが自動的に切り替わる。測定パラメータは、パターン種別に対応して固定値であってもよいし、予め定められた複数の値から選択されてもよい。また、複数の測定パラメータの一部が使用者により選択された場合、測定パラメータの他の一部が自動的に決定されてもよい。
上記の測定条件および明度パラメータ以外に他の設定項目が追加されてもよい。例えば、本実施の形態においては、使用者は、図１の操作部２５０を用いてＲＯＩ（関心領域）を設定することができる。この場合、ＲＯＩに対応する測定対象物Ｓの部分にのみ測定光が照射され、他の部分に測定光が照射されないように光変調素子１１２が制御されてもよい。これにより、複数のパターン画像データまたは落射通常画像データを高速に生成することができる。
また、受光部１２０が均一な強度を有する光を受光した場合でも、受光部１２０から出力される各画素における受光信号のレベルは均一にならないことがある。これは、光の強度が本来的に一様でないこと、ミラーの反射率が反射面の全体において一様でないこと、またはレンズの透過率がレンズ全体において一様でないこと等が原因である。これにより、画像の中心部が明るくなり、画像の周縁部が暗くなるシェーディング現象が発生する。
そのため、不均一な受光信号のレベルを均一に補正（以下、シェーディング補正と呼ぶ）するために、シェーディング補正係数が乗じられた強度の測定光を出射するように光変調素子１１２が制御されてもよい。これにより、複数のパターン画像データまたは落射通常画像データを正確に生成することができる。
図１５は、ＣＰＵ２１０による光変調素子１１２の制御処理を示すフローチャートである。ＣＰＵ２１０は、使用者により測定条件が指示されるまで待機する（ステップＳ１）。ステップＳ１において、使用者により測定条件が指示された場合、ＣＰＵ２１０は、指示された測定条件のパターン種別に基づいてパターン種別を設定する（ステップＳ２）。
また、ＣＰＵ２１０は、指示された測定条件の測定パラメータの空間周期Ｔｓおよびパターンの位相の移動量に基づいて撮像回数を算出する（ステップＳ３）。ステップＳ２，Ｓ３の処理はいずれが先に実行されてもよい。続いて、ＣＰＵ２１０は、設定されたパターン種別の測定光を出射するように光変調素子１１２を制御する（ステップＳ４）。その後、ＣＰＵ２１０は、光変調素子１１２が算出された撮像回数だけ測定光を出射したか否かを判定する（ステップＳ５）。
ステップＳ５において、光変調素子１１２が算出された撮像回数だけ測定光を出射していない場合、ＣＰＵ２１０は、設定された移動量だけパターンの位相を移動させるように光変調素子１１２を制御する（ステップＳ６）。その後、ＣＰＵ２１０は、ステップＳ４の処理に戻る。これにより、光変調素子１１２が算出された撮像回数だけ測定光を出射するまでステップＳ４〜Ｓ６の処理が繰り返される。ステップＳ５において、光変調素子１１２が算出された撮像回数だけ測定光を出射した場合、ＣＰＵ２１０は、光変調素子１１２の制御処理を終了する。
（４）受光量レベル調整
測定光が測定対象物Ｓに照射されることにより、測定対象物Ｓから蛍光が放出される。測定対象物Ｓから放出される蛍光の強度は、測定対象物Ｓに照射される測定光の強度に比例する。したがって、測定対象物Ｓにパターン測定光が照射された場合には、測定対象物Ｓはパターン測定光のパターンと略同一のパターンを有する蛍光を放出する。なお、蛍光の強度は測定光の強度の１０−６倍程度である。
測定対象物Ｓから放出された蛍光は、受光部１２０により受光される。それにより、受光部１２０から受光量を示す受光信号が出力される。受光部１２０から出力される受光信号に基づいて、測定対象物Ｓのパターン画像データが生成される。受光信号のレベルは、測定対象物Ｓから放出される蛍光の強度、受光部１２０の露光時間および受光部１２０のゲインに比例する。測定対象物Ｓから放出される蛍光の強度は測定光の強度に比例する。
したがって、測定光の強度、受光部１２０の露光時間および受光部１２０のゲインの少なくとも１つを調整することにより、受光信号のレベルを調整することができる。以下、測定光の強度、受光部１２０の露光時間および受光部１２０のゲインの少なくとも１つを調整することにより受光信号のレベルを調整することを受光レベル調整と呼ぶ。測定光の強度、受光部１２０の露光時間または受光部１２０のゲインを高くしすぎると、受光部１２０から出力される受光信号が飽和する。
セクショニング観察では、上記のように、パターンの位相を移動させつつパターン測定光が測定対象物Ｓに複数回照射される。そのため、測定対象物Ｓから放出された蛍光は、受光部１２０により複数回受光される。
これにより、複数回の照射時の各画素についての受光信号のレベルに基づいて、複数のパターン画像データがそれぞれ生成される。本実施の形態では、生成された複数のパターン画像データに基づいて、各画素について、最大受光レベルに相当する画素データの最大値と最小受光レベルに相当する画素データの最小値との差が算出される。全画素について算出された差をつなぎ合せることによりセクショニング画像データが生成される。これにより、生成されるセクショニング画像データから迷光の影響が除去される。
このように、セクショニング画像データから迷光の影響を除去するために、各画素について画素データの最大値と画素データの最小値との差が算出される。そのため、迷光の影響を除去したセクショニング画像は、迷光の影響を除去しないセクショニング画像よりも暗くなる。
本実施の形態においては、セクショニング画像データの各画素データの値に１よりも大きい一定のコントラスト補正量が乗算されることにより、セクショニング画像データのコントラストが補正される。コントラスト補正量は、例えばセクショニング画像データの複数の値のうち最大値に対する受光部１２０の出力レンジの上限値の比である。
コントラスト補正量は、セクショニング画像データの最大値に対する受光部１２０の出力レンジの上限値の比ではなく、例えば最大値から上位数％までの値を有するセクショニング画像データの複数の値の平均値に対する受光部１２０の出力レンジの上限値の比であってもよい。
上記のコントラストの補正により、セクショニング画像を明るくすることができる。一方、コントラストが補正された場合、複数のセクショニング画像の明るさを定量的に比較することができない。そこで、本実施の形態においては、生成されたセクショニング画像データが図１の記憶装置２４０に保存される際には、コントラストが補正される前のセクショニング画像データとコントラスト補正量を示すメタデータとが独立して保存される。
この場合、コントラストが補正される前のセクショニング画像データに基づいて、複数のセクショニング画像の明るさを定量的に比較することができる。また、コントラストが補正される前のセクショニング画像データとメタデータとに基づいてコントラストが補正された後のセクショニング画像を表示することができる。なお、セクショニング画像データの保存形式は、一般的な保存形式であってもよいし、他の独自の保存形式であってもよい。
一般的な保存形式は、ＴＩＦＦ（Tagged Image File）形式、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＢＭＰ（Windows（登録商標）bitmap）形式またはＰＮＧ（Portable Network Graphics）形式を含む。一般的な保存形式でセクショニング画像データを保存する場合において、画像を表示するソフトウェアがメタデータの読み込みに対応している場合には、コントラストが補正された後のセクショニング画像を表示することができる。
一方、画像を表示するソフトウェアがメタデータの読み込みに対応していない場合には、コントラストが補正された後のセクショニング画像を表示することができない。この場合には、コントラストが補正される前のセクショニング画像データおよびメタデータに加えて、コントラストが補正された後のセクショニング画像データがサムネイルデータとして別個に保存されてもよい。
サムネイルデータに基づいてブラウザ上にセクショニング画像のサムネイルが表示されることにより、ブラウザ上でのセクショニング画像の視認性を向上させることができる。その結果、セクショニング画像データの探索性を向上させることができる。
補正前のセクショニング画像データのコントラストが大きいほど、セクショニング画像の画質を向上させることができる。そのため、受光部１２０から出力される受光信号のレベルを適切に設定することが好ましい。図１６は、受光部１２０から出力される受光信号を示す図である。図１６（ａ）〜（ｃ）の横軸は測定対象物Ｓの水平方向の位置（例えばＹ方向における位置）を示し、縦軸はを示す。最大受光レベルはＬｍａｘであり、最小受光レベルはＬｍｉｎであり、受光部１２０の出力レンジの上限値はＬｓａｔである。
図１６（ａ）は、受光信号のレベルが適正である場合の例を示す。図１６（ａ）の例においては、最大受光レベルＬｍａｘが出力レンジの上限値Ｌｓａｔよりも僅かに低くなり、かつ最小受光レベルＬｍｉｎが出力レンジの下限値よりも僅かに高くなる。これにより、コントラストＣｔが大きくなる。
図１６（ｂ）は、受光信号のレベルが低すぎる場合の例を示す。受光信号のレベルを図１６（ａ）の状態から低下させていく場合、最小受光レベルＬｍｉｎは、受光部１２０の出力レンジの下限値まで低下した後は一定になる。これに対し、受光信号のレベルを図１６（ａ）の状態から低下させていく場合、最大受光レベルＬｍａｘは、最小受光レベルＬｍｉｎが受光部１２０の出力レンジの下限値で一定になった後も低下し得る。そのため、図１６（ｂ）に示すように、受光信号のレベルが低すぎるとコントラストＣｔが低下する。この場合、セクショニング画像が暗くなる。
また、測定光の明部分に対応する測定対象物Ｓの部分と測定光の暗部分に対応する測定対象物Ｓの部分とを区別することができないので、セクショニング画像を正確に生成することができない。さらに、セクショニング画像が暗いので、コントラストの補正が行われる場合には、コントラスト補正量が大きくなる。そのため、セクショニング画像のノイズ成分も大きくなる。
図１６（ｃ）は、受光信号のレベルが高すぎる場合の例を示す。受光信号のレベルを図１６（ａ）の状態から上昇させていく場合、最大受光レベルＬｍａｘは、受光部１２０の出力レンジの上限値Ｌｓａｔまで上昇した後は一定になる。これに対し、受光信号のレベルを図１６（ａ）の状態から上昇させていく場合、最小受光レベルＬｍｉｎは、最大受光レベルＬｍａｘが受光部１２０の出力レンジの上限値Ｌｓａｔで一定になった後も上昇し得る。そのため、図１６（ｃ）に示すように、受光信号のレベルが高すぎるとコントラストＣｔが低下する。この場合、受光信号のレベルを高くしたにもかかわらず、セクショニング画像が暗くなる。
受光信号のレベルを図１６（ｃ）の状態からさらに上昇させることにより、最小受光レベルＬｍｉｎも受光部１２０の出力レンジの上限値Ｌｓａｔまで上昇した場合は、コントラストＣｔが０になる。また、最大受光レベルＬｍａｘ付近における蛍光のパターンが変形するため、セクショニング画像を正確に生成することができない。
（５）表示部
（ａ）画像表示領域
図１７および図１８は、表示部４００の表示例を示す図である。図１７および図１８に示すように、表示部４００には画像表示領域４１０および設定表示領域４２０が並ぶように設けられる。設定表示領域４２０については後述する。画像表示領域４１０には、メインウインドウ４１１およびサブウインドウ４１２が表示される。サブウインドウ４１２の表示および非表示は切り替え可能である。
図２の透過光供給部１３０から出射された透過光が測定対象物Ｓを透過して受光部１２０により受光されることにより、測定対象物Ｓの画像データが生成される。以下、透過光を用いて生成される測定対象物Ｓの画像データを透過通常画像データと呼び、透過通常画像データに基づく画像を透過通常画像と呼ぶ。また、透過通常画像データおよび落射通常画像データを総称して通常画像データと呼び、透過通常画像および落射通常画像を総称して通常画像と呼ぶ。メインウインドウ４１１には、パターン画像、セクショニング画像、通常画像または全焦点画像等の種々の画像が表示される。
具体的には、メインウインドウ４１１は、通常表示とプレビュー表示とを選択的にまたは同時に実行可能に構成される。通常表示は、既に生成された画像データに基づいてパターン画像、セクショニング画像、通常画像または全焦点画像等を表示する方式である。プレビュー表示は、測定条件が変更された際に生成される画像データに基づくパターン画像またはセクショニング画像を表示する方式である。通常表示においては、既に生成された画像データに基づいて、メインウインドウ４１１に複数の画像を重畳表示することができる。
プレビュー表示においては、測定条件、明度パラメータまたは視野が変更された場合のみ、測定対象物Ｓに再度測定光が照射される。例えば、パターン種別、パターン測定光の位相の移動量、明部分の幅Ｗ１もしくは位相の空間周期Ｔｓ、受光部１２０の露光時間またはビニング数等が変更された場合、測定対象物Ｓに再度測定光が照射される。あるいは、ステージ１４０がＸ方向またはＹ方向に移動された場合、または焦点位置調整機構１６３が制御された場合、測定対象物Ｓに再度測定光が照射される。
これにより、受光される蛍光に基づいてパターン画像またはセクショニング画像データが生成されるとともに、明度画像データが生成される。その結果、メインウインドウ４１１に表示されるパターン画像またはセクショニング画像が更新される。
一方、測定条件が変更されない場合には、測定対象物Ｓに再度測定光を照射する必要がないので、ＣＰＵ２１０は、光変調素子１１２を制御することにより、測定対象物Ｓへの測定光の照射を遮断する。これにより、測定対象物Ｓに測定光が照射され続けることによる蛍光試薬の不必要な褪色を低減することができる。
本実施の形態においては、測定対象物Ｓへの測定光の照射と照射の遮断とを光変調素子１１２により高速に切り替えることができる。したがって、複数のパターン画像データを高速で生成することができる。これにより、複数のパターン画像データにより生成されるセクショニング画像データを高速で生成することができる。その結果、測定条件が変更された際のセクショニング画像を高い応答性でプレビュー表示することができる。
プレビュー表示においては、例えばビニング数を大きくしてパターン画像データを生成するように設定されていてもよい。この場合、パターン画像データおよびセクショニング画像データをより高速に生成することができる。これにより、プレビュー表示において、パターン画像またはセクショニング画像をより高速に表示することができる。使用者は、プレビュー表示されたパターン画像またはセクショニング画像を見ながら、適切な測定条件を容易にかつ短時間で選択することができる。
図１９は、通常表示においてメインウインドウ４１１に表示された画像の一例を示す図である。図１９（ａ）は、ＧＦＰの吸収波長を有する測定光を測定対象物Ｓに照射した場合のセクショニング画像を示す。図１９（ｂ）は、Ｔｅｘａｓ Ｒｅｄの吸収波長を有する測定光を測定対象物Ｓに照射した場合のセクショニング画像を示す。
図２０は、通常表示においてメインウインドウ４１１に表示された画像の他の例を示す図である。図２０（ａ）は、ＤＡＰＩの吸収波長を有する測定光を測定対象物Ｓに照射した場合のセクショニング画像を示す。図２０（ｂ）は、位相差観察用の透過光を測定対象物Ｓに照射した場合の透過通常画像を示す。
図２１は、通常表示においてメインウインドウ４１１に重畳表示された画像の一例を示す図である。図２１（ａ）は、２つの画像が重畳表示された画像を示す。図２１（ａ）の画像には、図１９（ａ）のセクショニング画像および図１９（ｂ）のセクショニング画像が含まれる。図２１（ｂ）は、３つの画像が重畳表示された画像を示す。図２１（ｂ）の画像には、図１９（ａ）のセクショニング画像、図１９（ｂ）のセクショニング画像および図２０（ｂ）の透過通常画像が含まれる。
図２２は、通常表示においてメインウインドウ４１１に重畳表示された画像の他の例を示す図である。図２２は、４つの画像が重畳表示された画像を示す。図２２の画像には、図１９（ａ）のセクショニング画像、図１９（ｂ）のセクショニング画像、図２０（ａ）のセクショニング画像および図２０（ｂ）の透過通常画像が含まれる。
特に、測定対象物Ｓが生物標本である場合には、測定対象物Ｓの細胞の形状を観察する際に、セクショニング画像と透過通常画像（例えば位相差観察された画像）とを重畳表示することが有効である。これにより、使用者は、タンパク質の組成により特定の波長を有する光を照射した場合のみ蛍光が発生する測定対象物Ｓの部分を容易に認識することができる。その結果、細胞中の核、細胞膜またはＤＮＡ（デオキシリボ核酸）等を容易に識別することができる。
セクショニング画像データまたは通常画像データを生成する際にビニング処理が行われた場合、当該セクショニング画像データに基づくセクショニング画像または当該通常画像データに基づく通常画像のサイズは変更される。したがって、当該セクショニング画像または当該通常画像のサイズは、ビニング処理が行われない他の画像データに基づくセクショニング画像または通常画像のサイズと異なる。
そのため、画像の重畳表示が行われる場合には、表示される全ての画像が同一のサイズになるように画像の拡大または縮小が行われる。あるいは、ビニング処理等の画像のサイズに関連する明度パラメータは、全ての画像データを生成する際に共通に設定されてもよい。この場合、生成される画像データに基づく画像のサイズは統一されるので、画像の重畳表示を容易に行うことができる。
使用者は、図１のＰＣ２００の操作部２５０を用いて図１８の設定表示領域４２０のサブウインドウ表示チェックボックス４５０を指定することにより、画像表示領域４１０にサブウインドウ４１２を表示させることができる。サブウインドウ４１２には、コントラストが補正される前の画像が表示される。以下、コントラストが補正される前の画像を明度画像と呼び、明度画像を表示するための画像データを明度画像データと呼ぶ。
図２３および図２４は、プレビュー表示においてメインウインドウ４１１に表示された測定対象物Ｓのセクショニング画像を示す図である。メインウインドウ４１１には、測定対象物Ｓのパターン画像が表示されてもよい。
図２３のセクショニング画像の取得時の受光部１２０の露光時間は、図２４のセクショニング画像の取得時の受光部１２０の露光時間よりも長い。すなわち、図２３の例における受光部１２０の受光信号のレベルは、図２４の例における受光部１２０の受光信号のレベルよりも高い。したがって、図２３の例における受光部１２０の受光信号は、図２４の例における受光部１２０の受光信号よりも飽和しやすい。
図２３の例においては、セクショニング画像の例えば白い円で囲まれた領域Ｒ内の画素に対応する受光信号は飽和している。一方、図２４の例においては、セクショニング画像の当該領域Ｒ内の画素に対応する受光信号は飽和していない。しかしながら、コントラストの補正が行われているため、図２３の例における領域Ｒ内の画素は、図２４の例における領域Ｒ内の画素よりも暗く表示される。
使用者の直感によれば、受光信号のレベルが高いほど、セクショニング画像は明るくなる。受光信号のレベルを低い状態から上昇させる場合、受光信号のレベルが一定値に達するまでは、セクショニング画像は明るくなる。しかしながら、受光信号のレベルが一定値を超えると、パターンの明部分が照射された測定対象物Ｓの部分に対応する画素における受光信号は飽和する。これに対し、パターンの暗部分が照射された測定対象物Ｓの部分に対応する画素における受光信号のレベルが上昇する。そのため、これらの画素データの値の差により生成されるセクショニング画像データに基づくセクショニング画像は徐々に暗くなる。
そのため、使用者は、図２３のセクショニング画像を得る際の受光部１２０の受光信号のレベルが図２４のセクショニング画像を得る際の受光部１２０の受光信号のレベルよりも高いことを認識することができない。また、使用者は、図２３のメインウインドウ４１１のセクショニング画像を見ても、受光信号が飽和していることを認識することができない。
そこで、図２３および図２４の例においては、メインウインドウ４１１に表示されるセクショニング画像を構成する複数のパターン画像データに基づいて、各画素における最大受光レベルが抽出される。抽出された各画素についての最大受光レベルに基づいて、明度画像データが生成される。生成された明度画像データに基づいて、サブウインドウ４１２に明度画像が表示される。また、明度画像データに基づいて受光部１２０により出力される受光信号が飽和しているか否か判定される。
明度画像は、メインウインドウ４１１に表示されるセクショニング画像を構成する複数のパターン画像の明るさの分布状態を示す。そのため、図２３のサブウインドウ４１２の明度画像は、図２４のサブウインドウ４１２の明度画像よりも明るく表示される。受光信号が飽和した画素が存在する場合には、明度画像における当該画素が識別可能に（本例においては異なる色で）サブウインドウ４１２に表示されることにより、受光信号が飽和した画素が使用者に通知される。
使用者は、明度画像を見ることにより、図２３のセクショニング画像を得る際の受光部１２０の受光信号のレベルが図２４のセクショニング画像を得る際の受光部１２０の受光信号のレベルよりも大きいことを認識することができる。また、使用者は、明度画像を見ることにより、受光信号が飽和していることを認識することができる。
使用者は、受光信号が飽和していることを認識することにより、測定光の強度等の明度パラメータを変更することができる。ここで、上記のように、プレビュー表示においては、測定条件が変更された場合のみ、測定対象物Ｓに再度測定光が照射される。これにより、受光される蛍光に基づいてパターン画像またはセクショニング画像データが生成されるとともに、明度画像データが生成される。その結果、メインウインドウ４１１に表示されるパターン画像またはセクショニング画像が更新され、サブウインドウ４１２に表示される明度画像が更新される。
なお、測定対象物Ｓへの測定光の遮断は、光変調素子１１２が制御されることにより高速で行われるが、これに限定されない。測定対象物Ｓへの測定光の遮断は、図２の投光部３２０の遮光機構３２３が制御されることにより行われてもよい。
また、メインウインドウ４１１にパターン画像を表示させる場合には、ＣＰＵ２１０は、測定条件が変更されるたびに、パターンの位相が一定量だけ移動された測定光が測定対象物Ｓに照射されるように光変調素子１１２を制御する。この場合、測定対象物Ｓの特定の部分にのみ測定光が照射されることが防止される。これにより、測定対象物Ｓの特定の部分における蛍光試薬のみが褪色することが防止される。
本実施の形態においては、明度画像データは、複数のパターン画像データの各画素における最大受光レベルに基づいて生成されるが、これに限定されない。明度画像データは、複数のパターン画像データの各画素における受光信号の平均値に基づいて生成されてもよい。
あるいは、明度画像データは、複数のパターン画像データのうちのいずれか１つまたは２つ以上の画像データであってもよい。明度画像データが複数のパターン画像データのうちのいずれか２つ以上である場合には、２以上のパターン画像が明度画像として交互にサブウインドウ４１２に表示されてもよい。
本実施の形態においては、コントラスト補正量はセクショニング画像の全ての画素について一律に決定されるが、これに限定されない。コントラスト補正量は、受光信号が飽和した画素が存在する場合には、セクショニング画像における当該画素が明るく表示されるように決定されてもよい。
この場合、セクショニング画像において、受光信号の飽和している部分に対応する画素が受光信号の飽和していない部分に対応する画素よりも明るく表示される。それにより、使用者は、セクショニング画像を見ることにより受光信号が飽和していることを容易に認識することができる。
本実施の形態においては、受光信号が飽和した画素が存在する場合には、明度画像における当該画素が識別可能に表示されることにより、受光信号が飽和した画素が使用者に通知されるが、これに限定されない。明度画像ではなくセクショニング画像またはパターン画像における当該画素が識別可能に表示されることにより、受光信号が飽和した画素が使用者に通知されてもよい。
例えば、セクショニング画像の飽和した画素を識別可能に塗りつぶす塗りつぶし処理が行われてもよい。塗りつぶし処理は、通常表示されたセクショニング画像およびプレビュー表示されたセクショニング画像のいずれにも適用可能である。塗りつぶされる画素データの値は、例えば画素データの最大値である。なお、本例では、画素データは８ビットを有するので、画素データの最大値は２５５である。
塗りつぶされる画素データの値は、飽和した画素の周囲の画素群の画素データの最大値、平均値、最小値、中央値および最頻値のいずれかであってもよい。この場合、塗りつぶされた画素（飽和した画素）の明るさと当該画素の周囲の画素群の明るさとが大きく異なることがない。これにより、使用者に違和感のない塗りつぶし処理を飽和した画素に行うことができる。
あるいは、受光信号が飽和した画素が存在する場合には、受光信号が飽和したことを示す通知画面が表示部４００に表示されてもよい。あるいは、受光信号が飽和した画素が存在する場合には、受光信号が飽和したことを示す通知音声が図示しないスピーカから出力されてもよい。
あるいは、受光信号が飽和した画素が存在する場合には、以下のＨＤＲ（ハイダイナミックレンジ）処理がＣＰＵ２１０により自動的に行われてもよい。あるいは、受光信号が飽和した画素が存在する場合には、ＨＤＲ処理を行うことを推奨する画面が表示部４００に表示されてもよい。あるいは、受光信号が飽和した画素が存在する場合には、ＨＤＲ処理を行うことを推奨する音声が図示しないスピーカから出力されてもよい。
ＨＤＲ処理においては、測定対象物Ｓの複数パターン画像に白とびした部分が含まれないように受光レベル調整が行われた状態で、複数の第１のパターン画像データが生成される。また、測定対象物Ｓの複数パターン画像に黒つぶれした部分が含まれないように受光レベル調整が行われた状態で、複数の第２のパターン画像データが生成される。
生成された複数の第１のパターン画像データと複数の第２のパターン画像データが合成される。これにより、ダイナミックレンジが拡大された複数の第３のパターン画像データが生成される。複数の第３のパターン画像データを合成することにより、ダイナミックレンジが拡大されたセクショニング画像データを生成することができる。
なお、本実施の形態におけるＨＤＲ処理においては、第１の受光レベル調整が行われた状態で測定光が測定対象物Ｓに順次照射され、その後、第２の受光レベル調整が行われた状態で測定光が測定対象物Ｓに順次される。この手順によれば、受光レベル調整と測定対象物Ｓへの測定光の照射とを交互に行う手順と異なり、測定対象物Ｓの特定の部分に連続的に測定光が照射されることがない。これにより、測定対象物Ｓの特定の部分における蛍光試薬のみが褪色することが防止される。
（ｂ）設定表示領域
図１７および図１８に示すように、設定表示領域４２０には、フィルタ選択欄４３０、測定条件設定欄４４０、サブウインドウ表示チェックボックス４５０および付随機能設定欄４６０が表示される。また、設定表示領域４２０には、複数のタブが表示される。複数のタブは、焦点位置調整タブ４７０およびコントラスト補正設定タブ４８０を含む。使用者は、図１のＰＣ２００の操作部２５０を用いて表示部４００に表示されたＧＵＩ（Graphical User Interface）を操作することにより、ＣＰＵ２１０に各種の指示を与えることができる。
フィルタ選択欄４３０には、複数（本例では３個）のフィルタ選択ボタン４３１，４３２，４３３，４３４が表示される。３個のフィルタ選択ボタン４３１〜４３３は、３個のフィルタキューブ１５１にそれぞれ対応し、フィルタ選択ボタン４３４はフィルタターレット１５２の開口部に対応する。
フィルタ選択ボタン４３１〜４３４のいずれかが使用者により選択される。ＣＰＵ２１０は、選択されたフィルタ選択ボタンに対応するフィルタキューブ１５１または開口部が受光部１２０の光軸上に位置するようにフィルタターレット駆動部を駆動する。
測定条件設定欄４４０には、パターン選択欄４４１、パターン設定バー４４２、露光時間設定バー４４３、露光時間設定ボタン４４４、オートボタン４４５および詳細設定ボタン４４６が表示される。パターン選択欄４４１から矩形波状測定光、１次元正弦波状測定光、ドット状測定光、２次元正弦波状測定光および均一測定光のいずれかが使用者により選択される。ＣＰＵ２１０は、選択された測定光がパターン付与部１１０から出射されるように光変調素子１１２を制御する。
パターン設定バー４４２は、水平方向に移動可能なスライダを有する。矩形波状測定光またはドット状測定光が選択されている場合、パターン設定バー４４２のスライダが移動されることにより、パターンの空間周期Ｔｓ、明部分の幅Ｗ１およびパターンの位相の移動量が設定される。
また、１次元正弦波状測定光または２次元正弦波状測定光が選択されている場合、パターン設定バー４４２のスライダが移動されることにより、パターンの空間周期Ｔｓおよび位相の移動量が設定される。ＣＰＵ２１０は、測定光が設定されたパターンの空間周期Ｔｓ、明部分の幅Ｗ１を有するように光変調素子１１２を制御する。また、ＣＰＵ２１０は、設定された移動量でパターンの位相が移動するように光変調素子１１２を制御する。
露光時間設定バー４４３は、水平方向に移動可能なスライダを有する。露光時間設定バー４４３のスライダが移動されるか、または露光時間設定ボタン４４４が操作されることにより、受光部１２０の露光時間が設定される。また、オートボタン４４５が操作されることにより、受光部１２０の露光時間が自動的に適切に設定される。ＣＰＵ２１０は、受光部１２０の露光時間が設定された露光時間になるように受光部１２０を制御する。
使用者は、詳細設定ボタン４４６を操作することにより、測定条件をより詳細に設定することができる。詳細は後述する。
付随機能設定欄４６０には、自動コントラスト補正チェックボックス４６１、コントラスト補正量表示欄４６２および全焦点ボタン４６３が表示される。自動コントラスト補正チェックボックス４６１が指定された場合、ＣＰＵ２１０は、全てのセクショニング画像データまたは落射通常画像データの各画素データの値に一定のコントラスト補正量を乗算する。これにより、セクショニング画像または落射通常画像のコントラストが補正される。
また、ＣＰＵ２１０は、コントラスト補正量表示欄４６２にコントラスト補正量を表示する。使用者は、コントラスト補正量表示欄４６２に表示されたコントラスト補正量を見ることにより、コントラスト補正前のセクショニング画像の明るさを認識することができる。これにより、受光信号が飽和していることおよび飽和の程度を認識することができる。全焦点ボタン４６３は、全焦点画像データを生成する場合等に操作される。詳細は後述する。
複数のタブからいずれかのタブが選択される。図１７に示すように、焦点位置調整タブ４７０が選択されている場合には、設定表示領域４２０に対物レンズ選択欄４７１、焦点位置調整欄４７２およびステージ位置調整欄４７３が表示される。
対物レンズ選択欄４７１には、複数（本例では６個）の対物レンズ選択ボタン４７１ａ，４７１ｂ，４７１ｃ，４７１ｄ，４７１ｅ，４７１ｆが表示される。６個の対物レンズ選択ボタン４７１ａ〜４７１ｆは、６個の対物レンズ１６１にそれぞれ対応する。
対物レンズ選択ボタン４７１ａ〜４７１ｆのいずれかが選択される。ＣＰＵ２１０は、選択された対物レンズ選択ボタン４７１ａ〜４７１ｆに対応する対物レンズ１６１が受光部１２０の光軸上に位置するようにレンズターレット駆動部を駆動する。
焦点位置調整欄４７２には、焦点位置調整バー４７２ａ、初期距離ボタン４７２ｂおよびオートフォーカスボタン４７２ｃが表示される。焦点位置調整バー４７２ａは、垂直方向に移動可能なスライダを有する。焦点位置調整バー４７２ａのスライダの位置は、測定対象物Ｓと対物レンズ１６１との間の距離に相当する。
焦点位置調整バー４７２ａのスライダが移動されることにより、測定対象物Ｓと対物レンズ１６１との間の距離が調整される。ＣＰＵ２１０は、測定対象物Ｓと対物レンズ１６１との間の距離がスライダにより調整された距離になるように焦点位置調整機構１６３を制御する。
初期距離ボタン４７２ｂが操作された場合、ＣＰＵ２１０は、測定対象物Ｓと対物レンズ１６１との間の距離が初期条件として予め設定された距離になるように焦点位置調整機構１６３を制御する。オートフォーカスボタン４７２ｃが操作された場合、ＣＰＵ２１０は、測定対象物Ｓに対物レンズ１６１の焦点が合うように焦点位置調整機構１６３を制御する。
ステージ位置調整欄４７３には、ステージ移動ボタン４７３ａ，４７３ｂ，４７３ｃ，４７３ｄおよび初期位置ボタン４７３ｅが表示される。ステージ移動ボタン４７３ａ，４７３ｂが操作された場合、ＣＰＵ２１０は、ステージ１４０がＸ方向上の一方向および反対方向にそれぞれ移動するようにステージ駆動部を制御する。
ステージ移動ボタン４７３ｃ，４７３ｄが操作された場合、ＣＰＵ２１０は、ステージ１４０がＹ方向上の一方向および反対方向にそれぞれ移動するようにステージ駆動部を制御する。初期位置ボタン４７３ｅが操作された場合、ＣＰＵ２１０は、測定対象物Ｓの位置が初期条件として予め設定された位置に移動するようにステージ駆動部を制御する。
図１８に示すように、コントラスト補正設定タブ４８０が選択されている場合には、設定表示領域４２０にヒストグラム表示欄４８１が表示される。ＣＰＵ２１０は、コントラストの補正が行われる前のセクショニング画像データの複数の画素データの値と各値を有する画素数との関係を示すヒストグラム画像をヒストグラム表示欄４８１に表示させる。すなわち、ヒストグラム表示欄４８１に表示されるヒストグラム画像は、明度画像における画素データの値（輝度値）と画素数との関係を示す。
使用者は、ヒストグラム表示欄４８１に表示されたヒストグラムを見ることにより、セクショニング画像データの複数の画素データの値と各値を有する画素の数との関係を認識することができる。これにより、使用者は受光信号が飽和していることおよび飽和の程度を認識することができる。
また、コントラスト補正設定タブ４８０が選択されている場合には、設定表示領域４２０に図示しない複数のコントラスト補正量設定バー、コントラスト補正量入力欄およびガンマ補正値入力欄が表示される。各コントラスト補正量設定バーは水平方向に移動可能なスライダを有する。
自動コントラスト補正チェックボックス４６１が指定されない場合、各コントラスト補正量設定バーのスライダが移動されるか、またはコントラスト補正量入力欄に数値が入力されることにより、コントラスト補正量が任意に設定される。また、ガンマ補正値入力欄に数値が入力されている場合には、ＣＰＵ２１０は、入力された数値に基づいてコントラスト補正量にガンマ補正を行う。ＣＰＵ２１０は、全ての画素のコントラストに設定またはガンマ補正されたコントラスト補正量を乗算することによりセクショニング画像のコントラストを補正する。
詳細設定ボタン４４６が操作された場合、設定表示領域４２０に測定条件詳細設定ウインドウが表示される。図２５は、測定条件詳細設定ウインドウの一例を示す図である。図２５に示すように、測定条件詳細設定ウインドウ４４６０には、矩形波状測定光チェックボックス４４６１、ドット状測定光チェックボックス４４６２および空間周期設定欄４４６３が表示される。また、測定条件詳細設定ウインドウ４４６０には、明部分幅設定欄４４６４、位相移動量設定欄４４６５、ビニング数選択欄４４６６およびゲイン選択欄４４６７が表示される。
なお、図２５の例においては、測定条件詳細設定ウインドウ４４６０には、図１７の例と同様の露光時間設定バー４４３、露光時間設定ボタン４４４およびオートボタン４４５も表示される。図２５の露光時間設定バー４４３、露光時間設定ボタン４４４およびオートボタン４４５の機能は、それぞれ図１７の露光時間設定バー４４３、露光時間設定ボタン４４４およびオートボタン４４５の機能と同様である。
矩形波状測定光チェックボックス４４６１およびドット状測定光チェックボックス４４６２のいずれか一方が指定される。矩形波状測定光チェックボックス４４６１が指定された場合にはパターン付与部１１０から矩形波状測定光が出射される。一方、ドット状測定光チェックボックス４４６２が指定された場合にはパターン付与部１１０からドット状測定光が出射される。空間周期設定欄４４６３に数値が入力されることにより空間周期Ｔｓが設定される。
明部分幅設定欄４４６４が操作されることにより、パターンの明部分の幅Ｗ１が設定される。ここで、パターンの明部分の幅Ｗ１が自動的に適切に設定されるオートモードおよびパターンの明部分の幅Ｗ１が任意に設定されるマニュアルモードのいずれか一方が使用者により選択される。マニュアルモードが選択される場合、パターンの明部分の幅Ｗ１に相当する数値が明部分幅設定欄４４６４に入力される。
位相移動量設定欄４４６５が操作されることにより、パターンの位相の移動量が設定される。ここで、パターンの位相の移動量が自動的に適切に設定されるオートモードおよびパターンの位相の移動量が任意に設定されるマニュアルモードのいずれか一方が使用者により選択される。マニュアルモードが選択される場合、パターンの位相の移動量に相当する数値が位相移動量設定欄４４６５に入力される。
ビニング数選択欄４４６６からパターン画像データまたは落射通常画像データにおけるビニング数が使用者により選択される。ＣＰＵ２１０は、選択されたビニング数でパターン画像データまたは落射通常画像データを生成する。また、ゲイン選択欄４４６７から受光部１２０のゲインの値が使用者により選択される。ＣＰＵ２１０は、受光部１２０のゲインが選択されたゲインの値になるように受光部１２０を制御する。
測定条件詳細設定ウインドウ４４６０には、測定光の最大強度Ｉｍａｘおよび最小強度Ｉｍｉｎを設定するための強度設定欄が設けられてもよい。この場合、使用者は、測定光の最大強度Ｉｍａｘおよび最小強度Ｉｍｉｎを設定することができる。
また、測定条件詳細設定ウインドウ４４６０には、ＲＯＩを設定するためのＲＯＩ設定欄が設けられてもよい。この場合、使用者は、例えばＲＯＩ設定欄を操作した状態で、メインウインドウ４１１上で操作部２５０を操作してＲＯＩを指定することにより、ＲＯＩを設定することができる。
（６）合焦点画素データの判定
（ａ）判定方式
測定対象物Ｓと対物レンズ１６１との相対的な距離を変化させつつ測定対象物Ｓに測定光を照射することにより、複数の焦点位置における複数のセクショニング画像データまたは通常画像データがそれぞれ生成される。生成された複数のセクショニング画像データまたは通常画像データの画素データのうち合焦点画素データがＣＰＵ２１０の合焦検出部２１４により画素ごとに判定される。
合焦点画素データの判定結果に基づいて、全焦点画像データまたは測定対象物Ｓの立体的な形状を示すデータ（以下、立体形状データと呼ぶ）を生成することができる。また、合焦点画素データの判定結果に基づいて、オートフォーカスを実行することができる。本実施の形態においては、セクショニング観察と通常観察とで異なる合焦点画素データの判定方式が採用される。
図２６は、セクショニング観察における合焦点画素データの判定方式を説明するための図である。図２６の横軸はパターン測定光の焦点位置（Ｚ方向における位置）を示し、縦軸は画素データを示す。
セクショニング観察では、複数のセクショニング画像データにおける同一の画素についての複数の画素データのうち、最大値を有する画素データが合焦点画素データであると判定される。図２６の画素の例においては、位置Ｐａにおいて生成された画素データが最大値Ｄｍａｘを有する。したがって、位置Ｐａにおいて生成された画素データが合焦点画素データであると判定される。
特に、矩形波状測定光またはドット状測定光を用いる場合には、１次元正弦波状測定光または２次元正弦波状測定光を用いる場合に比べて、最大値を有する画素データを容易に判定することができる。そのため、透明でかつ模様を有さないガラス基板等の測定対象物Ｓの画素データに対しても合焦点画素データの判定を容易に行うことができる。
図２７は、通常観察における合焦点画素データの判定方式を説明するための図である。図２６の横軸はパターン測定光の焦点位置（Ｚ方向における位置）を示し、縦軸は局所的コントラストを示す。ここで、局所的コントラストは、例えば任意の画素データの値と当該画素データに隣接する他の画素データの値との差である。局所的コントラストは、任意の画素データの値と当該画素データに隣接する他の画素データの値との分散であってもよい。
通常観察では、複数の通常画像データにおける同一の画素データについての複数の画素データのうち、最大の局所的コントラストを有する画素データが合焦点画素データであると判定される。図２７の画素の例においては、位置Ｐｂにおいて生成された画素データが最大の局所的コントラストＣｍａｘを有する。したがって、位置Ｐａにおいて生成された画素データが合焦点画素データであると判定される。通常観察では、エッジ部分での局所的コントラストの変化に基づいて合焦点画素データが判定されてもよい。
本実施の形態において、ＣＰＵ２１０は観察方式に応じて適切な合焦点画素データの判定方式を自動的に設定するが、これに限定されない。ＣＰＵ２１０は、表示部４００に合焦点画素データの判定方式を設定するための設定画面を表示してもよい。
（ｂ）画像データの合成
全焦点画像データを生成する場合、使用者は、図１の操作部２５０を用いて図１７および図１８の全焦点ボタン４６３を操作する。これにより、設定表示領域４２０に全焦点画像作成ウインドウが表示される。図２８は、全焦点画像作成ウインドウの一例を示す図である。図２８に示すように、全焦点画像作成ウインドウ４６３０には、開始ボタン４６３１および画像保存ボタン４６３２が表示される。
使用者は、開始ボタン４６３１を操作することにより、全焦点画像データを生成するための全焦点画像データ生成処理をＣＰＵ２１０に指示することができる。図２９および図３０は、全焦点画像データ生成処理を示すフローチャートである。以下、図２および図２８〜図３０を参照しながら全焦点画像データ生成処理を説明する。
ＣＰＵ２１０は、開始ボタン４６３１が操作されたか否かを判定する（ステップＳ１１）。ステップＳ１において開始ボタン４６３１が操作されていない場合、ＣＰＵ２１０は開始ボタン４６３１が操作されるまで待機する。
ステップＳ１において開始ボタン４６３１が操作された場合、ＣＰＵ２１０は、測定対象物Ｓに測定光が照射されるように図１の投光部３２０およびパターン付与部１１０を制御する（ステップＳ１２）。また、ＣＰＵ２１０は、図１の制御基板１７０から与えられる画素データに基づいて、セクショニング画像データまたは通常画像データを生成する（ステップＳ１３）。生成されたセクショニング画像データまたは通常画像データは図１のＲＡＭ２３０に記憶される。
ここで、ＣＰＵ２１０は、現時点までに生成された一または複数のセクショニング画像データまたは通常画像データの画素データのうち、測定対象物Ｓの一部に焦点がより近い状態で得られる画素データを抽出する（ステップＳ１４）。
セクショニング観察では、抽出される画素データは、現時点までに生成された一または複数のセクショニング画像データにおける同一の画素についての複数の画素データのうち、最大値を有する画素データである。通常観察では、抽出される画素データは、現時点までに生成された一または複数の通常画像データにおける同一の画素についての複数の画素データのうち、最大の局所的コントラストを有する画素データである。
ＣＰＵ２１０は、抽出した複数の画素データを合成することにより画像データを生成する（ステップＳ１５）。生成された画像データはＲＡＭ２３０に記憶される。なお、最初にセクショニング画像データまたは通常画像データが生成された時点では、当該セクショニング画像データまたは通常画像データの全ての画素データが、測定対象物Ｓの一部に焦点がより近い状態で得られる画素データであると判定され、抽出される。そのため、複数の画素データを合成することにより生成される画像データは当該セクショニング画像データまたは通常画像データと同一である。
次に、ＣＰＵ２１０は、全焦点画像データが生成されたか否かを判定する（ステップＳ１６）。ＣＰＵ２１０は、予め定められた範囲内で焦点位置の移動を終了した場合、全焦点画像データが生成されたと判定する。
ＣＰＵ２１０は、セクショニング観察においては、予め定められた範囲内で焦点位置の移動を終了する前に最大値を有する全ての画素データを抽出したと判定した場合には、全焦点画像データが生成されたと判定してもよい。ＣＰＵ２１０は、通常観察においては、予め定められた範囲内で焦点位置の移動を終了する前に最大の局所的コントラストを有する全ての画素データを抽出したと判定した場合には、全焦点画像データが生成されたと判定してもよい。
ステップＳ１６において、全焦点画像データが生成されていない場合、ＣＰＵ２１０は、対物レンズ１６１の焦点位置が一定の距離だけ移動するように焦点位置調整機構１６３を制御する（ステップＳ１７）。その後、ＣＰＵ２１０は、ステップＳ１２の処理に戻る。その後、ＣＰＵ２１０は、ステップＳ１２〜Ｓ１７の手順までを繰り返す。これにより、対物レンズ１６１の焦点位置が移動し、新たな焦点位置におけるセクショニング画像データまたは通常画像データが生成されるごとに、ＲＡＭ２３０に記憶された画像データが更新される。
上記の手順が繰り返されることにより、測定対象物Ｓの一部に焦点が合った状態で得られる画素データ、すなわち合焦点画素データが抽出される。全ての合焦点画素データが抽出された場合、ＲＡＭ２３０に記憶された画像データは、測定対象物Ｓの全体に焦点が合った状態で得られる画像データ、すなわち全焦点画像データとなる。
ステップＳ１６において、全焦点画像データが生成された場合、ＣＰＵ２１０は、ＲＡＭ２３０に記憶された全焦点画像データを図１の記憶装置２４０に保存する（ステップＳ１８）。これにより、ＣＰＵ２１０は、全焦点画像データ生成処理を終了する。画像保存ボタン４６３２が操作された場合にも、ＣＰＵ２１０は、ＲＡＭ２３０に記憶された画像データを記憶装置２４０に保存して全焦点画像データ生成処理を終了する。
また、ＣＰＵ２１０は、図２のステージ１４０をＸ方向またはＹ方向に移動させながら複数のセクショニング画像データまたは通常画像データを生成することができる。このようにして生成された複数のセクショニング画像データまたは通常画像データを合成することにより、使用者は、より大きい寸法を有する測定対象物Ｓの全体のセクショニング画像または通常画像を観察することができる。
さらに、ＣＰＵ２１０は、一定時間ごとに測定対象物Ｓのセクショニング画像データまたは通常画像データを生成することができる（タイムラプス撮影）。異なる時点において生成された複数のセクショニング画像データまたは通常画像データを合成することにより、使用者は、測定対象物Ｓの時間変化するセクショニング画像または通常画像を動画として観察することができる。
これらのように、後で合成されるべき複数のセクショニング画像データまたは通常画像データの生成過程において、測定条件が変更されると、合成されたセクショニング画像または通常画像の一部の明るさが不自然に変化するか、または明るさの統一性が低下する。また、測定対象物Ｓの動画の明るさにちらつきが生じる。そのため、後で合成されるべき複数のセクショニング画像データまたは通常画像データを生成する場合には、測定条件が変更されないことが好ましい。
同様に、後で合成されるべき複数のセクショニング画像データ間でコントラスト補正量が異なる場合でも、合成されたセクショニング画像の一部の明るさが不自然に変化するか、または明るさの統一性が低下する。また、測定対象物Ｓの動画の明るさにちらつきが生じる。
一方、本実施の形態においては、上記のようにコントラストが補正される前のセクショニング画像データとコントラスト補正量を示すメタデータとが独立して保存される。そのため、複数のセクショニング画像データ間でコントラスト補正量を統一することができる。これにより、合成されたセクショニング画像の明るさの不自然な変化、明るさの不統一、または明るさのちらつきを防止することができる。
ここで、コントラスト補正量は、セクショニング画像の白とびした部分および黒つぶれした部分が最も少なくなる値に設定されてもよい。この場合、セクショニング画像のダイナミックレンジが拡大される。あるいは、コントラスト補正量は、複数のセクショニング画像データのコントラスト補正量の平均値であってもよい。この場合、セクショニング画像の全体的な明るさが最適化される。これらのコントラスト補正量は、セクショニング画像データの特性に応じて切り替え可能であってもよい。
（ｃ）立体形状データおよびオートフォーカス
全焦点画像データの生成手順において、焦点位置が移動した際には、測定対象物Ｓと対物レンズ１６１との相対的な距離がＲＡＭ２３０に記憶される。ＣＰＵ２１０は、抽出した画素データに対応する測定対象物Ｓの部分とＲＡＭ２３０に記憶された対物レンズ１６１との相対的な距離に基づいて、測定対象物Ｓの当該部分の高さを算出する。
ＣＰＵ２１０は、測定対象物Ｓの全ての部分について算出された高さを合成することにより、立体形状データを生成する。立体形状データはＲＡＭ２３０に記憶される。画像保存ボタン４６３２が操作された場合、ＣＰＵ２１０は、ＲＡＭ２３０に記憶された画像データとともに立体形状データを記憶装置２４０に保存する。
図１７および図１８のオートフォーカスボタン４７２ｃが操作された場合、オートフォーカスが行われる。具体的には、ＣＰＵ２１０は、複数の異なる焦点位置における複数のパターン画像の中央部分の画素データを算出する。または複数の異なる焦点位置における複数の通常画像の中央部分の画素の局所的コントラストを算出する。
これにより、パターン画像または通常画像の中央部分の合焦点画素データが判定される。また、パターン画像または通常画像の中央部分に対応する測定対象物Ｓの部分に焦点が合ったときの測定対象物Ｓと対物レンズ１６１との相対的な距離が算出される。ＣＰＵ２１０は、測定対象物Ｓと対物レンズ１６１との相対的な距離が算出された距離になるように焦点位置調整機構１６３を制御する。
なお、ＲＯＩが設定されている場合には、ＣＰＵ２１０は、パターン画像または通常画像の中央部分ではなく、ＲＯＩ内の合焦点画素データを判定してもよい。この場合、ＲＯＩに対応する測定対象物Ｓの部分にオートフォーカスを行うことができる。
セクショニング観察と通常観察とでは、合焦点画素データの判定方式が異なる。そのため、セクショニング観察と通常観察とでは、オートフォーカスが行われたときの焦点位置が異なる。使用者は、セクショニング観察時のオートフォーカスと通常観察時のオートフォーカスとを切り替えることにより、最適な焦点位置を判断することができる。
また、矩形波状測定光またはドット状測定光の空間周期Ｔｓが長い場合、合焦点画素データの判定が短時間で終了する。そのため、空間周期Ｔｓを長く設定することにより、オートフォーカスを高速で行うことができる。一方、矩形波状測定光またはドット状測定光の空間周期Ｔｓが短い場合、最大値を有する画素データが高い精度で判定される。そのため、空間周期Ｔｓを短く設定することにより、オートフォーカスの精度を向上させることができる。
オートフォーカスを行う場合には、測定光が出射されるごとに測定対象物Ｓへの測定光の照射位置が切り替えられる。これにより、測定対象物Ｓの特定の部分における蛍光試薬のみが褪色することが防止される。ここで、受光部１２０の露光時間内に測定対象物Ｓへの測定光の照射位置が切り替えられると、受光部１２０から出力される受光信号のレベルが不正確になり、オートフォーカスの精度が低下する。そのため、測定対象物Ｓへの測定光の照射位置の切り替えは、受光部１２０の露光時間の経過後に行われることが好ましい。
（７）効果
本実施の形態に係る撮像装置５００においては、使用者は、操作部２５０を用いてセクショニング観察または通常観察を指示することができる。セクショニング観察においては、投光部３２０により出射された光からパターン付与部１１０によりパターン測定光が生成される。通常観察においては、投光部３２０により出射された光からパターン付与部１１０により均一測定光が生成される。パターン付与部１１０により生成された測定光が対物レンズ１６１により集光され、測定対象物Ｓに照射される。
セクショニング観察においては、パターン測定光のパターンの空間的な位相がパターン付与部１１０により所定量ずつ測定対象物Ｓ上で順次移動される。受光部１２０により測定対象物Ｓからの蛍光が受光され、受光信号が出力される。受光部１２０から出力される受光信号に基づいてパターンの複数の位相で生成される複数のパターン画像データに基づいてセクショニング画像データが生成される。通常観察においては、受光部１２０から出力される受光信号に基づいて通常画像データが生成される。また、測定対象物Ｓと対物レンズ１６１との相対的な距離が複数変化される。
本実施の形態においては、セクショニング観察が指示されたときには、セクショニング画像データの画素データの値を用いて測定対象物Ｓの各部分の合焦位置を検出する方式が自動的に選択される。セクショニング画像データの各画素データの値は、測定対象物Ｓに対物レンズ１６１の焦点が合っているときに最大となる。そのため、セクショニング画像データの各画素データの値に基づいて、高い精度で測定対象物Ｓの各部分の合焦位置を検出することができる。
一方、通常観察が指示されたときには、通常画像データの局所的なコントラストに基づいて測定対象物Ｓの各部分の合焦位置を検出する方式が自動的に選択される。通常画像データの局所的コントラストは測定対象物Ｓに対物レンズ１６１の焦点に合っているときに最大となる。そのため、通常画像データの局所的コントラストに基づいて、高い精度で測定対象物Ｓの各部分の合焦位置を検出することができる。
なお、本実施の形態においては、共通の測定光源３２１により出射された測定光からパターンを有する測定光およびパターンを有しない測定光がパターン付与部１１０により生成されるが、これに限定されない。均一測定光を生成するための他の光源が測定部１００に設けられてもよい。この場合、測定光源３２１により出射された測定光からパターンを有する測定光がパターン付与部１１０により生成され、他の光源によりパターンを有しない測定光が生成される。
あるいは、測定光源３２１が均一な強度を有する測定光を出射するように構成され、パターン付与部１１０が測定光の光路上から抜き差しされてもよい。この構成によれば、パターン付与部１１０が測定光の光路上に配置された場合には、測定光源３２１により出射された均一な強度を有する測定光からパターンを有する測定光が生成される。一方、パターン付与部１１０が測定光の光路上から除外された場合には、測定光源３２１により均一測定光が生成される。
（８）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
上記実施の形態においては、測定光源３２１が光源の例であり、パターン付与部１１０がパターン付与部の例であり、パターン付与部１１０、透過光源１３１および測定光源３２１が投光部の例である。ステージ１４０がステージの例であり、測定対象物Ｓが測定対象物の例であり、透過光学系１３２、フィルタユニット１５０およびレンズユニット１６０が光学系の例であり、受光部１２０が受光部の例である。
画像データ生成部２１１が画像データ生成部の例であり、操作部２５０が指示部の例であり、制御部２１３が投光制御部および処理装置の例であり、焦点位置調整機構１６３が焦点制御部の例である。合焦検出部２１４が合焦検出部の例であり、顕微鏡撮像装置５００が顕微鏡撮像装置の例である。
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
本発明は、種々の顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラムに有効に利用することができる。
１００ 測定部
１１０ パターン付与部
１１１ 光出力部
１１２ 光変調素子
１１３ ミラー
１２０ 受光部
１２１ カメラ
１２２ カラーフィルタ
１２３ 結像レンズ
１３０ 透過光供給部
１３１ 透過光源
１３２ 透過光学系
１４０ ステージ
１５０ フィルタユニット
１５１ フィルタキューブ
１５１ａ フレーム
１５１ｂ 励起フィルタ
１５１ｃ ダイクロイックミラー
１５１ｄ 吸収フィルタ
１５２ フィルタターレット
１５２ａ フィルタキューブ取付部
１６０ レンズユニット
１６１ 対物レンズ
１６２ レンズターレット
１６２a 対物レンズ取付部
１６３ 焦点位置調整機構
１７０ 制御基板
２００ ＰＣ
２１０ ＣＰＵ
２１１ 画像データ生成部
２１２ パターン生成部
２１３ 制御部
２１４ 合焦検出部
２２０ ＲＯＭ
２３０ ＲＡＭ
２４０ 記憶装置
２５０ 操作部
３００ 測定光供給部
３１０ 電源装置
３２０ 投光部
３２１ 測定光源
３２２ 減光機構
３２３ 遮光機構
３３０ 導光部材
４００ 表示部
４１０ 画像表示領域
４１１ メインウインドウ
４１２ サブウインドウ
４２０ 設定表示領域
４３０ フィルタ選択欄
４３１〜４３４ フィルタ選択ボタン
４４０ 測定条件設定欄
４４１ パターン選択欄
４４２ パターン設定バー
４４３ 露光時間設定バー
４４４ 露光時間設定ボタン
４４５ オートボタン
４４６ 詳細設定ボタン
４５０ サブウインドウ表示チェックボックス
４６０ 付随機能設定欄
４６１ 自動コントラスト補正チェックボックス
４６２ コントラスト補正量表示欄
４６３ 全焦点ボタン
４７０ 焦点位置調整タブ
４７１ 対物レンズ選択欄
４７２ 焦点位置調整欄
４７２ａ 焦点位置調整バー
４７２ｂ 初期距離ボタン
４７２ｃ オートフォーカスボタン
４７３ ステージ位置調整欄
４７３ａ〜４７３ｄ ステージ移動ボタン
４８０ コントラスト補正設定タブ
４８１ ヒストグラム表示欄
５００ 顕微鏡撮像装置
４４６０ 測定条件詳細設定ウインドウ
４４６１ 矩形波状測定光チェックボックス
４４６２ ドット状測定光チェックボックス
４４６３ 空間周期設定欄
４４６４ 明部分幅設定欄
４４６５ 位相移動量設定欄
４４６６ ビニング数選択欄
４４６７ ゲイン選択欄
４６３０ 全焦点画像作成ウインドウ
４６３１ 開始ボタン
４６３２ 画像保存ボタン
Ｓ 測定対象物

Claims (9)

  1. 光を出射する少なくとも１つの光源と前記光源により出射された光から所定のパターンを有する測定光を生成するように構成されたパターン付与部とを含む投光部と、
    測定対象物を載置するためのステージと、
    前記投光部により生成された測定光を集光して前記ステージ上の前記測定対象物に照射する光学系と、
    前記測定対象物からの光を受光し、受光量を示す受光信号を出力する受光部と、
    前記受光部から出力される受光信号に基づいて画像データを生成する画像データ生成部と、
    第１の動作モードまたは第２の動作モードを指示するための指示部と、
    前記第１の動作モードにおいて、パターンを有する測定光を生成するとともに生成されたパターンの空間的な位相を所定量ずつ前記測定対象物上で順次移動させるように前記パターン付与部を制御し、前記パターンの複数の位相で生成される複数の画像データに基づいて前記測定対象物の画像を示すセクショニング画像データを生成するように前記画像データ生成部を制御し、前記第２の動作モードにおいて、パターンを有しない測定光を生成するように前記投光部を制御し、パターンを有しない測定光が照射されたときの前記測定対象物の画像を示す通常画像データを生成するように前記画像データ生成部を制御する投光制御部と、
    前記光学系と前記ステージとの相対位置を前記光学系の光軸方向に変化させる焦点制御部と、
    前記焦点制御部により前記光学系と前記ステージとの相対位置が複数変化されたときに前記画像データ生成部によりそれぞれ生成された複数の画像データに基づいて合焦位置を検出する合焦検出部と、
    を備え、
    前記合焦検出部は、
    前記第１の動作モードにおいて、セクショニング画像データの各画素の値に基づいて前記測定対象物の各部分の合焦位置を検出し、前記第２の動作モードにおいて、通常画像データの局所的なコントラストに基づいて前記測定対象物の各部分の合焦位置を検出する、顕微鏡撮像装置。
  2. 前記パターン付与部は、前記光源により出射された光からパターンを有しない測定光をさらに生成するように構成された、請求項１記載の顕微鏡撮像装置。
  3. 前記合焦検出部は、前記第２の動作モードにおいて、通常画像データにより示される画像のコントラストまたは画像におけるエッジ部分でのコントラストの変化に基づいて前記測定対象物の各部分の合焦位置を検出することを含む、請求項１または２記載の顕微鏡撮像装置。
  4. 前記投光制御部は、前記合焦検出部により検出された前記第１または前記第２の動作モード時の合焦位置に基づいて、前記測定対象物の複数の部分にそれぞれ前記光学系の焦点が合っている状態で得られる複数の画素の値を合成することにより、前記測定対象物の全体に前記光学系の焦点が合っている画像を示す全焦点画像データを生成するように前記画像データ生成部を制御する、請求項３記載の顕微鏡撮像装置。
  5. 前記投光制御部は、前記合焦検出部により検出された前記第１または前記第２の動作モード時の合焦位置に基づいて、前記測定対象物の複数の部分にそれぞれ前記光学系の焦点が合っている状態における前記ステージと前記光学系との相対的な距離を合成することにより、前記測定対象物の立体的な形状を示す立体形状データを生成するように前記画像データ生成部を制御する、請求項３または４記載の顕微鏡撮像装置。
  6. 前記投光制御部は、前記合焦検出部により検出された前記第１または前記第２の動作モード時の合焦位置に基づいて、前記測定対象物の設定された領域に前記光学系の焦点が合うように前記合焦検出部を制御する、請求項３〜５のいずれか一項に記載の顕微鏡撮像装置。
  7. 前記合焦検出部は、前記第１の動作モードにおいてはセクショニング画像データの各画素の値に基づいて前記測定対象物の各部分の合焦位置を検出する処理を自動的に選択し、前記第２の動作モードにおいては通常画像データの局所的なコントラストに基づいて前記測定対象物の各部分の合焦位置を検出する処理を自動的に選択する、請求項１〜６のいずれか一項に記載の顕微鏡撮像装置。
  8. 投光部の少なくとも１つの光源により光を出射するステップと、
    第１の動作モードまたは第２の動作モードを選択するための指示を受け付けるステップと、
    前記第１の動作モードにおいては、パターンを有する測定光を前記光源により出射された光から前記投光部のパターン付与部により生成し、前記第２の動作モードにおいては、パターンを有しない測定光を前記投光部により生成するステップと、
    前記投光部により生成された測定光を光学系により集光してステージ上に載置された測定対象物に照射するステップと、
    前記第１の動作モードにおいては、生成されたパターンの空間的な位相を前記パターン付与部により所定量ずつ前記測定対象物上で順次移動させるステップと、
    受光部により前記測定対象物からの光を受光し、受光量を示す受光信号を出力するステップと、
    前記第１の動作モードにおいては、前記受光部から出力される受光信号に基づいて前記パターンの複数の位相で生成される複数の画像データに基づいて前記測定対象物の画像を示すセクショニング画像データを生成し、前記第２の動作モードにおいては、前記受光部から出力される受光信号に基づいてパターンを有しない測定光が照射されたときの前記測定対象物の画像を示す通常画像データを生成するステップと、
    前記光学系と前記ステージとの相対位置を前記光学系の光軸方向に複数変化させるステップと、
    前記第１の動作モードにおいては、生成されたセクショニング画像データの各画素の値に基づいて前記測定対象物の各部分の合焦位置を検出し、前記第２の動作モードにおいては、生成された通常画像データの局所的なコントラストに基づいて前記測定対象物の各部分の合焦位置を検出するステップとを含む、顕微鏡撮像方法。
  9. 処理装置により実行可能な顕微鏡撮像プログラムであって、
    投光部の少なくとも１つの光源により光を出射する処理と、
    第１の動作モードまたは第２の動作モードを選択するための指示を受け付ける処理と、
    前記第１の動作モードにおいては、パターンを有する測定光を前記光源により出射された光から前記投光部のパターン付与部により生成し、前記第２の動作モードにおいては、パターンを有しない測定光を前記投光部により生成する処理と、
    前記投光部により生成された測定光を光学系により集光してステージ上に載置された測定対象物に照射する処理と、
    前記第１の動作モードにおいては、生成されたパターンの空間的な位相を前記パターン付与部により所定量ずつ前記測定対象物上で順次移動させる処理と、
    受光部により前記測定対象物からの光を受光し、受光量を示す受光信号を出力する処理と、
    前記第１の動作モードにおいては、前記受光部から出力される受光信号に基づいて前記パターンの複数の位相で生成される複数の画像データに基づいて前記測定対象物の画像を示すセクショニング画像データを生成し、前記第２の動作モードにおいては、前記受光部から出力される受光信号に基づいてパターンを有しない測定光が照射されたときの前記測定対象物の画像を示す通常画像データを生成する処理と、
    前記光学系と前記ステージとの相対位置を前記光学系の光軸方向に複数変化させる処理と、
    前記第１の動作モードにおいては、生成されたセクショニング画像データの各画素の値に基づいて前記測定対象物の各部分の合焦位置を検出し、前記第２の動作モードにおいては、生成された通常画像データの局所的なコントラストに基づいて前記測定対象物の各部分の合焦位置を検出する処理とを、
    前記処理装置に実行させる、顕微鏡撮像プログラム。
JP2013222721A 2013-10-25 2013-10-25 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム Expired - Fee Related JP6266302B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013222721A JP6266302B2 (ja) 2013-10-25 2013-10-25 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
US14/481,938 US20150116477A1 (en) 2013-10-25 2014-09-10 Microscopic Imaging Device, Microscopic Imaging Method, and Microscopic Imaging Program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013222721A JP6266302B2 (ja) 2013-10-25 2013-10-25 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム

Publications (2)

Publication Number Publication Date
JP2015084056A true JP2015084056A (ja) 2015-04-30
JP6266302B2 JP6266302B2 (ja) 2018-01-24

Family

ID=52994944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013222721A Expired - Fee Related JP6266302B2 (ja) 2013-10-25 2013-10-25 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム

Country Status (2)

Country Link
US (1) US20150116477A1 (ja)
JP (1) JP6266302B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830501B2 (en) * 2013-07-23 2017-11-28 Northwestern University High throughput partial wave spectroscopic microscopy and associated systems and methods
DE102014112002A1 (de) * 2014-08-21 2016-02-25 Carl Zeiss Microscopy Gmbh Verfahren zur Abbildung einer Probe mittels eines Mikroskops und Mikroskop
JP6552230B2 (ja) * 2015-03-18 2019-07-31 キヤノン株式会社 計測装置
FR3053129B1 (fr) * 2016-06-23 2018-07-27 Bertin Technologies Microscope
WO2018111644A1 (en) * 2016-12-16 2018-06-21 Electro Scientific Industries, Inc. Imaging method for low contrast features
CN109688389A (zh) * 2018-11-23 2019-04-26 苏州佳世达电通有限公司 成像装置及参数调整方法
JP7268991B2 (ja) * 2018-11-29 2023-05-08 株式会社キーエンス 拡大観察装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06317739A (ja) * 1993-05-07 1994-11-15 Olympus Optical Co Ltd 顕微鏡用自動焦点検出装置
JP2001066112A (ja) * 1999-06-25 2001-03-16 Mitsutoyo Corp 画像計測方法及び装置
JP2005508521A (ja) * 2001-11-08 2005-03-31 イマジナティヴ・オプティクス・インコーポレーテッド 空間光変調器
JP2007033790A (ja) * 2005-07-26 2007-02-08 Olympus Corp 顕微鏡照明装置
JP2008032951A (ja) * 2006-07-28 2008-02-14 Nikon Corp 光学装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548661A (en) * 1991-07-12 1996-08-20 Price; Jeffrey H. Operator independent image cytometer
JPH1051796A (ja) * 1996-05-31 1998-02-20 Olympus Optical Co Ltd 固体撮像装置
GB2338858B (en) * 1997-04-04 2000-12-27 Isis Innovation Microscopy imaging apparatus and method
DE102004053730B4 (de) * 2004-11-06 2014-04-03 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Unterdrückung von Falschlicht
EP2318875B1 (en) * 2008-07-25 2019-11-06 Sloan Kettering Institute For Cancer Research Rapid confocal microscopy to support surgical procedures
JP2010166247A (ja) * 2009-01-14 2010-07-29 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP5594429B2 (ja) * 2011-05-06 2014-09-24 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法
JP5989109B2 (ja) * 2011-07-13 2016-09-07 ライカ バイオシステムズ イメージング インコーポレイテッド 蛍光顕微鏡システムの標準化
JP6089436B2 (ja) * 2012-04-18 2017-03-08 ソニー株式会社 画像処理装置と画像処理装置の作動方法および撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06317739A (ja) * 1993-05-07 1994-11-15 Olympus Optical Co Ltd 顕微鏡用自動焦点検出装置
JP2001066112A (ja) * 1999-06-25 2001-03-16 Mitsutoyo Corp 画像計測方法及び装置
JP2005508521A (ja) * 2001-11-08 2005-03-31 イマジナティヴ・オプティクス・インコーポレーテッド 空間光変調器
JP2007033790A (ja) * 2005-07-26 2007-02-08 Olympus Corp 顕微鏡照明装置
JP2008032951A (ja) * 2006-07-28 2008-02-14 Nikon Corp 光学装置

Also Published As

Publication number Publication date
US20150116477A1 (en) 2015-04-30
JP6266302B2 (ja) 2018-01-24

Similar Documents

Publication Publication Date Title
JP6305012B2 (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
JP6266302B2 (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
US9007452B2 (en) Magnification observation device, magnification observation method, and magnification observation program
EP1598688B1 (en) Fluorescence microscope
US9690089B2 (en) Magnifying observation apparatus, magnified image observing method and computer-readable recording medium
US9690088B2 (en) Magnifying observation apparatus, magnified image observing method and computer-readable recording medium
TWI482996B (zh) The focus depth of the microscope device and the microscope device is enlarged
US20090185034A1 (en) Imaging device for microscope
JP6211389B2 (ja) 顕微鏡装置
US7709773B2 (en) Scanning optical device which sets hardware in association with a depth of a focus position based on hardware set values stored in association with depths of focus positions
EP2804039B1 (en) Microscope system and method for deciding stitched area
JP2006292421A (ja) 蛍光検出装置
JP5532459B2 (ja) 顕微鏡システム
JP6246555B2 (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
JP6009288B2 (ja) 計測顕微鏡装置及び計測顕微鏡装置操作プログラム並びにコンピュータで読み取り可能な記録媒体
WO2017163427A1 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP2014523545A (ja) 生体イメージングのための顕微鏡システム及び方法
JP5403458B2 (ja) 表面形状測定方法及び表面形状測定装置
JP2018194780A (ja) 顕微鏡システム、制御方法、及び、プログラム
JP6253509B2 (ja) 画像表示方法、制御装置、顕微鏡システム
JP6327830B2 (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
WO2013005765A1 (ja) 顕微鏡装置
JP2015084062A (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
US20100020392A1 (en) Confocal microscope device
JP6378869B2 (ja) 顕微鏡、顕微鏡システム、制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

R150 Certificate of patent or registration of utility model

Ref document number: 6266302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees