JP2017026664A - Microscope system, calculation method and program - Google Patents

Microscope system, calculation method and program Download PDF

Info

Publication number
JP2017026664A
JP2017026664A JP2015141962A JP2015141962A JP2017026664A JP 2017026664 A JP2017026664 A JP 2017026664A JP 2015141962 A JP2015141962 A JP 2015141962A JP 2015141962 A JP2015141962 A JP 2015141962A JP 2017026664 A JP2017026664 A JP 2017026664A
Authority
JP
Japan
Prior art keywords
values
calculated
microscope
target value
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015141962A
Other languages
Japanese (ja)
Other versions
JP6562547B2 (en
Inventor
喜裕 上
Yoshihiro Kami
喜裕 上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015141962A priority Critical patent/JP6562547B2/en
Publication of JP2017026664A publication Critical patent/JP2017026664A/en
Application granted granted Critical
Publication of JP6562547B2 publication Critical patent/JP6562547B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Lens Barrels (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technique which can specify setting in which a spherical aberration can be preferably corrected.SOLUTION: A microscope system 1 comprises a microscope device and a calculation device 20. The microscope device comprises a correction ring 111 for correcting a spherical aberration, and acquires plural pieces of image data in plural states in which set values of the correction ring 111 are different from each other. The calculation device 20 calculates plural contrast values from plural pieces of image data, using an evaluation formula for evaluating a contrast of each image based on a difference of pixel values in pixels, then calculates the set value of the correction ring 111 corresponding to the spherical aberration amount generated on the microscope device based on the calculated plural contrast values. The calculation device 20 uses plural shift amounts which are each a different interval between pixels in which the difference of pixel values is calculated, in the processing for calculating the plural contrast values.SELECTED DRAWING: Figure 1

Description

本発明は、顕微鏡システム、顕微鏡システムが備える球面収差を補正する補正装置の設定値を算出する算出方法、及び、プログラムに関する。   The present invention relates to a microscope system, a calculation method for calculating a set value of a correction device that corrects spherical aberration included in the microscope system, and a program.

従来、補正環は、専らカバーガラスの厚さに起因する球面収差を補正する手段として用いられてきたが、サンプル(例えば、生体試料)の深部を観察する手法が開発され普及した近年では、観察対象面の深さに応じて変化する球面収差を補正する目的にも使用可能である。   Conventionally, the correction ring has been used exclusively as a means for correcting spherical aberration caused by the thickness of the cover glass. However, in recent years when a method for observing the deep part of a sample (for example, a biological sample) has been developed and spread, It can also be used for the purpose of correcting spherical aberration that changes according to the depth of the target surface.

ところで、球面収差が補正された状態では、球面収差が補正されていない状態に比べて、コントラストの高い画像が得られる。このため、球面収差が補正されているか否かの判定は、画像のコントラストを評価した評価値に基づいて行うことができる。このような技術は、例えば、特許文献1に記載されている。   By the way, in a state where the spherical aberration is corrected, an image having a high contrast is obtained compared to a state where the spherical aberration is not corrected. Therefore, it can be determined whether the spherical aberration is corrected based on an evaluation value obtained by evaluating the contrast of the image. Such a technique is described in Patent Document 1, for example.

特開2014−160213号公報JP 2014-160213 A

しかしながら、オートフォーカスの分野で一般的に利用されている、J.F.Brennerらによって提案されたBrenner gradientと呼ばれるコントラストの評価式では、画像のコントラストを適切に評価することができない場合がある。画像のコントラストを適切に評価することができなければ、球面収差が補正された状態を正しく特定することは困難である。   However, the contrast evaluation formula called Brenner gradient proposed by J. F. Brenner et al., Which is generally used in the field of autofocus, may not be able to properly evaluate the contrast of an image. If the contrast of the image cannot be properly evaluated, it is difficult to correctly specify the state in which the spherical aberration is corrected.

なお、カバーガラスの厚さや観察対象面の深さによって変化する球面収差を補正する手段として補正環を例示したが、球面収差を補正する任意の手段において、同様の課題が生じうる。   In addition, although the correction ring was illustrated as a means for correcting the spherical aberration that varies depending on the thickness of the cover glass or the depth of the observation target surface, a similar problem may occur in any means for correcting the spherical aberration.

以上のような実情を踏まえ、本発明は、球面収差が良好に補正される設定を特定する技術を提供することを目的とする。   In light of the circumstances as described above, an object of the present invention is to provide a technique for specifying a setting for satisfactorily correcting spherical aberration.

本発明の一態様は、球面収差を補正する補正装置を有し、前記補正装置の設定値が異なる複数の状態で複数の画像データを取得する顕微鏡装置と、画素間の画素値の差分に基づいて画像のコントラストを評価する評価式を用いて、前記顕微鏡装置で取得された前記複数の画像データから複数のコントラスト値を算出し、算出した前記複数のコントラスト値に基づいて、前記顕微鏡装置で発生した球面収差量に対応する前記補正装置の設定値である設定目標値を算出する演算手段と、を備え、前記演算手段は、前記複数のコントラスト値を算出する処理において、各々が、画素値の差分が算出される画素間の異なる間隔である、複数のシフト量を使用する顕微鏡システムを提供する。   One embodiment of the present invention includes a correction device that corrects spherical aberration, a microscope device that acquires a plurality of pieces of image data in a plurality of states with different setting values of the correction device, and a difference in pixel values between pixels. And calculating a plurality of contrast values from the plurality of image data acquired by the microscope apparatus using an evaluation formula for evaluating the contrast of the image, and generating in the microscope apparatus based on the calculated plurality of contrast values Calculating means for calculating a set target value that is a setting value of the correction device corresponding to the spherical aberration amount, and the calculating means is configured to calculate each of the pixel values in the process of calculating the plurality of contrast values. Provided is a microscope system using a plurality of shift amounts, which are different intervals between pixels for which a difference is calculated.

本発明の別の態様は、球面収差を補正する補正装置の設定値が異なる複数の状態で複数の画像データを取得し、画素間の画素値の差分に基づいて画像のコントラストを評価する評価式を用いて、前記補正装置を有する顕微鏡装置が取得した前記複数の画像データから複数のコントラスト値を算出し、前記複数のコントラスト値に基づいて、前記顕微鏡装置で発生した球面収差量に対応する前記補正装置の設定値である設定目標値を算出し、前記複数のコントラスト値は、画素値の差分が算出される画素間の異なる間隔である複数のシフト量を使用して算出される算出方法を提供する。   Another aspect of the present invention is an evaluation formula for acquiring a plurality of image data in a plurality of states having different setting values of a correction device for correcting spherical aberration, and evaluating the contrast of the image based on a difference in pixel values between pixels. And calculating a plurality of contrast values from the plurality of image data acquired by the microscope apparatus having the correction device, and corresponding to the amount of spherical aberration generated in the microscope apparatus based on the plurality of contrast values A setting target value that is a setting value of the correction device is calculated, and the plurality of contrast values are calculated using a plurality of shift amounts that are different intervals between pixels in which a difference between pixel values is calculated. provide.

本発明の更に別の態様は、画素間の画素値の差分に基づいて画像のコントラストを評価する評価式を用いて、球面収差を補正する補正装置の設定値が異なる複数の状態で顕微鏡装置が取得した複数の画像データから複数のコントラスト値を算出し、前記複数のコントラスト値に基づいて、前記顕微鏡装置で発生した球面収差量に対応する前記補正装置の設定値である設定目標値を算出し、前記複数のコントラスト値は、画素値の差分が算出される画素間の異なる間隔である複数のシフト量を使用して算出される処理をコンピュータに実行させるプログラムを提供する。   According to still another aspect of the present invention, a microscope apparatus is used in a plurality of states with different setting values of a correction apparatus that corrects spherical aberration using an evaluation formula that evaluates contrast of an image based on a difference in pixel values between pixels. A plurality of contrast values are calculated from the acquired plurality of image data, and a setting target value that is a setting value of the correction device corresponding to the amount of spherical aberration generated in the microscope device is calculated based on the plurality of contrast values. The plurality of contrast values provide a program for causing a computer to execute processing calculated using a plurality of shift amounts that are different intervals between pixels from which a difference in pixel values is calculated.

本発明によれば、球面収差が良好に補正される設定を特定することができる。   According to the present invention, it is possible to specify a setting in which spherical aberration is favorably corrected.

実施例1に係る顕微鏡システムの構成を例示した図である。1 is a diagram illustrating a configuration of a microscope system according to Example 1. FIG. 図1に例示される演算装置の構成を例示した図である。It is the figure which illustrated the structure of the arithmetic unit illustrated by FIG. 図1に例示される顕微鏡の構成を例示した図である。FIG. 2 is a diagram illustrating a configuration of a microscope illustrated in FIG. 1. 球面収差補正処理のフローチャートである。It is a flowchart of a spherical aberration correction process. 目標値算出処理のフローチャートである。It is a flowchart of a target value calculation process. 目標値算出処理において最初に決定した複数の設定値によって得られる複数の評価値を示した図である。It is the figure which showed the some evaluation value obtained by the some setting value determined initially in the target value calculation process. 目標値算出処理において2回目に決定した複数の設定値によって得られる複数の評価値を示した図である。It is a figure showing a plurality of evaluation values obtained by a plurality of set values determined for the second time in target value calculation processing. 従来のコントラスト評価式の空間周波数特性と光学系の変調伝達関数(Modulation Transfer Function)との関係を例示した図である。It is the figure which illustrated the relationship between the spatial frequency characteristic of the conventional contrast evaluation type | formula, and the modulation transfer function (Modulation Transfer Function) of an optical system. 顕微鏡システムで使用するコントラスト評価式の空間周波数特性と従来のコントラスト評価式の空間周波数特性とを比較した図である。It is the figure which compared the spatial frequency characteristic of the contrast evaluation type | formula used with a microscope system, and the spatial frequency characteristic of the conventional contrast evaluation type | formula. 画像データの領域毎に領域目標値を算出した例を示した図である。It is the figure which showed the example which calculated the area | region target value for every area | region of image data. 別の目標値算出処理のフローチャートである。It is a flowchart of another target value calculation process. 図10に示す目標値算出処理について説明するための図である。It is a figure for demonstrating the target value calculation process shown in FIG. 更に別の目標値算出処理のフローチャートである。It is a flowchart of another target value calculation process. 目標値の信頼性と評価値の関係について説明するための図である。It is a figure for demonstrating the relationship between the reliability of a target value, and an evaluation value. 目標値を複数回算出したときの目標値の変化の様子を例示した図である。It is the figure which illustrated the mode of the change of a target value when a target value was calculated in multiple times. 第2の目標値を複数回算出したときの第2の目標値の変化の様子を例示した図である。It is the figure which illustrated the mode of the change of the 2nd target value when the 2nd target value was computed in multiple times. 屈折率表示処理のフローチャートである。It is a flowchart of a refractive index display process. 屈折率算出処理のフローチャートである。It is a flowchart of a refractive index calculation process. 変化率と屈折率の関係を示した図である。It is the figure which showed the relationship between a change rate and a refractive index. 屈折率の算出方法について説明するための図である。It is a figure for demonstrating the calculation method of a refractive index. 実施例2に係る顕微鏡システムの構成を例示した図である。6 is a diagram illustrating a configuration of a microscope system according to Embodiment 2. FIG. 実施例3に係る顕微鏡システムの構成を例示した図である。6 is a diagram illustrating a configuration of a microscope system according to Embodiment 3. FIG.

図1は、本実施例に係る顕微鏡システム1の構成を例示した図である。図2は、図1に例示される演算装置20の構成を例示した図である。図3は、図1に例示される顕微鏡100の構成を例示した図である。   FIG. 1 is a diagram illustrating a configuration of a microscope system 1 according to the present embodiment. FIG. 2 is a diagram illustrating the configuration of the arithmetic device 20 illustrated in FIG. FIG. 3 is a diagram illustrating the configuration of the microscope 100 illustrated in FIG.

図1に示す顕微鏡システム1は、顕微鏡100と、顕微鏡制御装置10と、演算装置20と、表示装置30と、演算装置20への指示を入力するための複数の入力装置(キーボード40、補正環操作装置50、Z駆動部操作装置60)を備えている。   A microscope system 1 shown in FIG. 1 includes a microscope 100, a microscope control device 10, a calculation device 20, a display device 30, and a plurality of input devices (keyboard 40, correction ring) for inputting instructions to the calculation device 20. An operation device 50 and a Z drive unit operation device 60) are provided.

顕微鏡制御装置10は、演算装置20からの指示に従って顕微鏡100の動作を制御する装置であり、顕微鏡100の各種電動部の動作を制御する制御信号を生成する。顕微鏡制御装置10は、光源の出力を制御する光源制御装置11と、ズーム倍率を制御するズーム制御装置12と、観察対象面の光軸方向の位置(以降、単に、観察対象面の位置と記す)を制御するZ制御装置13と、補正環111の設定値を制御する補正環制御装置14と、を備えている。ここで、補正環111の設定値とは、例えば、基準位置に対する補正環111の回転角度のことである。   The microscope control device 10 is a device that controls the operation of the microscope 100 according to an instruction from the arithmetic device 20, and generates a control signal that controls the operation of various electric parts of the microscope 100. The microscope control device 10 includes a light source control device 11 that controls the output of the light source, a zoom control device 12 that controls the zoom magnification, and a position of the observation target surface in the optical axis direction (hereinafter simply referred to as the position of the observation target surface). ) And a correction ring control device 14 for controlling the set value of the correction ring 111. Here, the set value of the correction ring 111 is, for example, the rotation angle of the correction ring 111 with respect to the reference position.

演算装置20は、各種の演算処理を行うコンピュータであり、例えば、図2に示すように、CPU(Central Processing Unit)21、メモリ22、入力I/F装置23、出力I/F装置24、記憶装置25、及び、可搬記録媒体27が挿入される可搬記録媒体駆動装置26を備え、これらがバス28によって相互に接続されている。なお、図2は、演算装置20の構成の一例であり、演算装置20はこの構成に限定されるものではない。   The arithmetic device 20 is a computer that performs various arithmetic processes. For example, as shown in FIG. 2, a CPU (Central Processing Unit) 21, a memory 22, an input I / F device 23, an output I / F device 24, and a storage A device 25 and a portable recording medium driving device 26 into which a portable recording medium 27 is inserted are provided, and these are connected to each other by a bus 28. FIG. 2 is an example of the configuration of the arithmetic device 20, and the arithmetic device 20 is not limited to this configuration.

CPU21は、所定のプログラムを実行して演算処理等を行う。メモリ22は、例えば、RAM(Random Access Memory)であり、プログラムの実行の際に、記憶装置25または可搬記録媒体27に記憶されているプログラムまたはデータを一時的に格納する。   The CPU 21 executes a predetermined program and performs arithmetic processing and the like. The memory 22 is, for example, a RAM (Random Access Memory), and temporarily stores a program or data stored in the storage device 25 or the portable recording medium 27 when the program is executed.

入力I/F装置23は、キーボード40、補正環操作装置50、Z駆動部操作装置60、及び表示装置30からの信号を受信する。また、入力I/F装置23は、図3において後述する顕微鏡100のA/D変換器108からの信号も受信する。出力I/F装置24は、表示装置30及び顕微鏡制御装置10へ信号を出力する。   The input I / F device 23 receives signals from the keyboard 40, the correction ring operation device 50, the Z drive unit operation device 60, and the display device 30. Further, the input I / F device 23 also receives a signal from an A / D converter 108 of the microscope 100 described later in FIG. The output I / F device 24 outputs a signal to the display device 30 and the microscope control device 10.

記憶装置25は、例えば、ハードディスク記憶装置であり、主に各種データやプログラムの保存に用いられる。可搬記録媒体駆動装置26は、光ディスクやコンパクトフラッシュ(登録商標)等の可搬記録媒体27を収容するもので、可搬記録媒体27は、記憶装置25を補助する役割を有する。   The storage device 25 is, for example, a hard disk storage device, and is mainly used for storing various data and programs. The portable recording medium driving device 26 accommodates a portable recording medium 27 such as an optical disk or a compact flash (registered trademark), and the portable recording medium 27 has a role of assisting the storage device 25.

演算装置20は、記憶装置25または可搬記録媒体27に記憶されているプログラムをCPU21がメモリ22にロードして実行することで、様々な機能を実現する。演算装置20は、例えば、顕微鏡100からの出力に基づいて画像データを生成する手段(画像データ生成手段)、画像データのコントラスト値を算出する手段(コントラスト算出手段)、球面収差が補正される補正環111の設定値である設定目標値を算出する手段(目標値算出手段)、サンプルSの屈折率を算出する手段(屈折率算出手段)、及び、表示装置30を制御する手段(表示制御手段)として動作する。   The arithmetic device 20 realizes various functions by the CPU 21 loading the program stored in the storage device 25 or the portable recording medium 27 into the memory 22 and executing it. The arithmetic unit 20 is, for example, a unit that generates image data (image data generation unit) based on an output from the microscope 100, a unit that calculates a contrast value of image data (contrast calculation unit), and a correction that corrects spherical aberration. Means for calculating a set target value that is a set value of the ring 111 (target value calculating means), means for calculating the refractive index of the sample S (refractive index calculating means), and means for controlling the display device 30 (display control means) ).

表示装置30は、例えば、液晶ディスプレイ装置、有機ELディスプレイ装置、CRTディスプレイ装置などである。なお、表示装置30は、タッチパネルセンサを備えてもよく、その場合、入力装置としても機能する。   The display device 30 is, for example, a liquid crystal display device, an organic EL display device, a CRT display device, or the like. The display device 30 may include a touch panel sensor, and in that case, the display device 30 also functions as an input device.

補正環操作装置50は、補正環111の設定値を指示するための入力手段である。利用者が補正環操作装置50で補正環111の設定値を指示すると、補正環制御装置14は、補正環111の設定値を指示された値に変更する。   The correction ring operating device 50 is an input means for instructing the set value of the correction ring 111. When the user instructs the setting value of the correction ring 111 with the correction ring operating device 50, the correction ring control device 14 changes the setting value of the correction ring 111 to the instructed value.

Z駆動部操作装置60は、観察対象面の位置の変更を指示するための入力手段である。利用者がZ駆動部操作装置60で観察対象面の位置の変更を指示すると、Z制御装置13は、Z駆動部109を光軸方向に移動させて観察対象面の位置を変更する。   The Z drive unit operating device 60 is an input means for instructing a change in the position of the observation target surface. When the user instructs the Z drive unit operation device 60 to change the position of the observation target surface, the Z control device 13 moves the Z drive unit 109 in the optical axis direction to change the position of the observation target surface.

顕微鏡100は、2光子励起顕微鏡である。サンプルSは、例えば、マウスの脳などの生体試料であるが、生体試料に限られない。顕微鏡100は、図3に示すように、照明光路上に、レーザー101と、走査ユニット102と、瞳投影光学系103と、ミラー104と、ダイクロイックミラー105と、対物レンズ110とを備えている。   The microscope 100 is a two-photon excitation microscope. The sample S is, for example, a biological sample such as a mouse brain, but is not limited to a biological sample. As shown in FIG. 3, the microscope 100 includes a laser 101, a scanning unit 102, a pupil projection optical system 103, a mirror 104, a dichroic mirror 105, and an objective lens 110 on the illumination optical path.

レーザー101は、例えば、超短パルスレーザーであり、近赤外域のレーザー光を発振する。レーザー101の出力は、光源制御装置11によって制御される。即ち、光源制御装置11は、サンプルに照射するレーザー光のパワーを制御するレーザー制御装置である。   The laser 101 is, for example, an ultrashort pulse laser, and oscillates near-infrared laser light. The output of the laser 101 is controlled by the light source control device 11. That is, the light source control device 11 is a laser control device that controls the power of the laser light applied to the sample.

走査ユニット102は、レーザー光でサンプルSを2次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナントスキャナなどを含んでいる。走査ユニット102の走査範囲が変化することでズーム倍率が変化する。走査ユニット102の走査範囲は、ズーム制御装置12によって制御される。   The scanning unit 102 is scanning means for scanning the sample S two-dimensionally with laser light, and includes, for example, a galvano scanner or a resonant scanner. The zoom magnification changes as the scanning range of the scanning unit 102 changes. The scanning range of the scanning unit 102 is controlled by the zoom control device 12.

瞳投影光学系103は、走査ユニット102を対物レンズ110の瞳位置に投影する光学系である。ダイクロイックミラー105は、励起光(レーザ光)とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。   The pupil projection optical system 103 is an optical system that projects the scanning unit 102 onto the pupil position of the objective lens 110. The dichroic mirror 105 is a light separating unit that separates the excitation light (laser light) and the detection light (fluorescence) from the sample S, and separates the laser light and the fluorescence according to the wavelength.

対物レンズ110は、補正環111を備えた乾燥系又は液浸系の対物レンズであり、Z駆動部109に装着されている。Z駆動部109は、対物レンズ110を対物レンズ110の光軸方向に移動させる手段であり、Z駆動部109の移動(即ち、対物レンズ110の移動)は、Z制御装置13によって制御される。   The objective lens 110 is a dry or immersion objective lens including a correction ring 111 and is attached to the Z drive unit 109. The Z drive unit 109 is means for moving the objective lens 110 in the optical axis direction of the objective lens 110, and the movement of the Z drive unit 109 (that is, movement of the objective lens 110) is controlled by the Z control device 13.

補正環111は、その設定値を変更することにより対物レンズ110内のレンズを移動させて、球面収差を補正する補正装置である。補正環111の設定値は、補正環制御装置14(補正装置制御装置)によって変更される。なお、補正環111の設定値は、補正環111を直接操作することで、手動で変更することもできる。   The correction ring 111 is a correction device that corrects spherical aberration by moving the lens in the objective lens 110 by changing the set value. The set value of the correction ring 111 is changed by the correction ring control device 14 (correction device control device). Note that the setting value of the correction ring 111 can be changed manually by directly operating the correction ring 111.

顕微鏡100は、さらに、検出光路(ダイクロイックミラー105の反射光路)上に、瞳投影光学系106と、光検出器107とを備えている。光検出器107から出力された信号は、A/D変換器108に出力される。   The microscope 100 further includes a pupil projection optical system 106 and a photodetector 107 on the detection optical path (the reflection optical path of the dichroic mirror 105). The signal output from the photodetector 107 is output to the A / D converter 108.

瞳投影光学系106は、対物レンズ110の瞳を光検出器107に投影する光学系である。光検出器107は、例えば、光電子増倍管(PMT)であり、入射した蛍光の光量に応じたアナログ信号を出力する。A/D変換器108は、光検出器107からのアナログ信号をデジタル信号(輝度信号)に変換して、演算装置20に出力する。   The pupil projection optical system 106 is an optical system that projects the pupil of the objective lens 110 onto the photodetector 107. The photodetector 107 is, for example, a photomultiplier tube (PMT), and outputs an analog signal corresponding to the amount of incident fluorescence. The A / D converter 108 converts the analog signal from the photodetector 107 into a digital signal (luminance signal) and outputs the digital signal to the arithmetic unit 20.

以上のように構成された顕微鏡システム1では、顕微鏡100は、走査ユニット102を用いてレーザー光で対物レンズ110の光軸と直交する方向にサンプルSを走査して、サンプルSの各位置からの蛍光を光検出器107で検出する。そして、演算装置20は、光検出器107からの信号を変換したデジタル信号(輝度信号)と走査ユニット102からの信号とに基づいて、画像データを生成する。即ち、顕微鏡システム1では、顕微鏡100と演算装置20により構成される顕微鏡装置が、サンプルSの画像データを取得する。   In the microscope system 1 configured as described above, the microscope 100 scans the sample S in the direction perpendicular to the optical axis of the objective lens 110 with the laser beam using the scanning unit 102, and from each position of the sample S. The fluorescence is detected by the photodetector 107. Then, the arithmetic unit 20 generates image data based on the digital signal (luminance signal) obtained by converting the signal from the photodetector 107 and the signal from the scanning unit 102. That is, in the microscope system 1, the microscope apparatus configured by the microscope 100 and the arithmetic device 20 acquires the image data of the sample S.

図4は、顕微鏡システム1で行われる球面収差補正処理のフローチャートである。以下、図4を参照しながら、顕微鏡システム1において補正環111を利用して行われる球面収差を補正する処理について説明する。   FIG. 4 is a flowchart of spherical aberration correction processing performed in the microscope system 1. Hereinafter, with reference to FIG. 4, processing for correcting spherical aberration performed using the correction ring 111 in the microscope system 1 will be described.

顕微鏡システム1は、まず、顕微鏡装置で観察される観察対象面の位置を特定する(ステップS1)。ここでは、例えば、利用者がZ駆動部操作装置60を操作して観察対象面の位置を指定する。これにより、演算装置20がZ駆動部操作装置60から指定された観察対象面の位置に関する情報(深さ情報)を受信し、観察対象面の位置を特定する。   First, the microscope system 1 specifies the position of the observation target surface observed by the microscope apparatus (step S1). Here, for example, the user operates the Z drive unit operation device 60 to designate the position of the observation target surface. Thereby, the arithmetic unit 20 receives information (depth information) on the position of the observation target surface designated from the Z drive unit operation device 60, and specifies the position of the observation target surface.

次に、顕微鏡システム1は、ステップS1で決定した観察対象面における球面収差が補正される補正環111の設定値(以降、設定目標値、又は、単に目標値、と記す)を算出する(ステップS2)。目標値は、顕微鏡装置で発生した球面収差量に対応する。ここでは、顕微鏡装置が取得した画像データに基づいて、演算装置20が目標値を算出する。なお、目標値を算出する処理については、後に詳述する。   Next, the microscope system 1 calculates a set value (hereinafter referred to as a set target value or simply a target value) of the correction ring 111 for correcting the spherical aberration on the observation target surface determined in Step S1 (Step S1). S2). The target value corresponds to the amount of spherical aberration generated in the microscope apparatus. Here, the arithmetic unit 20 calculates the target value based on the image data acquired by the microscope apparatus. The process for calculating the target value will be described in detail later.

顕微鏡システム1は、目標値が算出されると、補正環111の設定値を目標値に設定する(ステップS3)。ここでは、補正環制御装置14が補正環111の設定値をステップS2で算出された目標値に変更する。なお、補正環制御装置14は、自動的に、即ち、演算装置20からの指示に従って、ステップS2で算出した目標値に補正環111の設定値を変更してもよい。また、手動により、即ち、ステップS2で算出された目標値が表示装置30に表示され、表示された目標値に基づいて利用者が補正環操作装置50を操作することにより、補正環制御装置14が補正環111の設定値を目標値に変更してもよい。また、利用者が補正環111を直接操作して補正環111の設定値を目標値に変更してもよい。   When the target value is calculated, the microscope system 1 sets the set value of the correction ring 111 as the target value (step S3). Here, the correction ring control device 14 changes the set value of the correction ring 111 to the target value calculated in step S2. The correction ring control device 14 may change the set value of the correction ring 111 to the target value calculated in step S2 automatically, that is, in accordance with an instruction from the arithmetic device 20. The target value calculated in step S2 is displayed on the display device 30 manually, and the correction ring control device 14 is operated by the user operating the correction ring operation device 50 based on the displayed target value. However, the set value of the correction ring 111 may be changed to the target value. The user may directly operate the correction ring 111 to change the set value of the correction ring 111 to the target value.

最後に、顕微鏡システム1は、レーザー101の出力を設定する(ステップS4)。ここでは、光源制御装置11が、補正環111の設定値が目標値であるときに顕微鏡装置で取得された画像データに基づいて、サンプルSに照射するレーザー光のパワーを制御する。例えば、ステップS3で補正環111の設定値を変更した後に改めて画像データを取得して、その画像データから算出される画像の明るさに基づいてレーザー101の出力を設定してもよい。また、ステップS2で補正環111の設定値が目標値であるときの画像データが既に取得されている場合には、その画像データから算出される画像の明るさに基づいてレーザー101の出力を設定してもよい。   Finally, the microscope system 1 sets the output of the laser 101 (step S4). Here, the light source control device 11 controls the power of the laser light applied to the sample S based on the image data acquired by the microscope device when the set value of the correction ring 111 is the target value. For example, after changing the setting value of the correction ring 111 in step S3, image data may be acquired again, and the output of the laser 101 may be set based on the brightness of the image calculated from the image data. If the image data when the set value of the correction ring 111 is the target value has already been acquired in step S2, the output of the laser 101 is set based on the brightness of the image calculated from the image data. May be.

顕微鏡システム1は、図4に示す球面収差補正処理を実行することで、観察対象面の深さに応じて変化する球面収差を補正することができる。これにより、顕微鏡100が有する光学性能を十分に発揮して、高品質な画像を得ることができる。また、球面収差が補正された状態では、一般に、球面収差が補正されていない状態に比べて明るい画像が得られる。このため、球面収差が補正された状態で取得された画像データに基づいてレーザー101の出力を設定することで、レーザー101の出力を抑えて、生体試料へのダメージを抑制することができる。なお、この効果は、より大きな出力が必要とされるサンプルSの深部を観察する場合に、特に顕著である。   The microscope system 1 can correct the spherical aberration that changes according to the depth of the observation target surface by executing the spherical aberration correction processing shown in FIG. Thereby, the optical performance of the microscope 100 can be fully exhibited, and a high-quality image can be obtained. Further, in a state where the spherical aberration is corrected, generally a brighter image is obtained compared to a state where the spherical aberration is not corrected. For this reason, by setting the output of the laser 101 based on the image data acquired in a state where the spherical aberration is corrected, the output of the laser 101 can be suppressed and damage to the biological sample can be suppressed. This effect is particularly remarkable when observing a deep portion of the sample S that requires a larger output.

以下、図4のステップS2で行われる目標値算出処理について、具体的に説明する。図5は、顕微鏡システム1で行われる目標値算出処理のフローチャートである。図6A及び図6Bは、図5に示す目標値算出処理について説明するための図である。図6Aには、最初に決定した複数の設定値で得られる複数の評価値が、図6Bには、2回目に決定した複数の設定値で得られる複数の評価値が示されている。図7は、従来のコントラスト評価式の空間周波数特性と光学系の変調伝達関数(以降、MTFと記す)との関係を例示した図である。図8は、顕微鏡システム1で用いるコントラスト評価式の空間周波数特性と従来のコントラスト評価式の空間周波数特性とを比較した図である。   Hereinafter, the target value calculation process performed in step S2 of FIG. 4 will be specifically described. FIG. 5 is a flowchart of target value calculation processing performed in the microscope system 1. 6A and 6B are diagrams for explaining the target value calculation processing shown in FIG. FIG. 6A shows a plurality of evaluation values obtained with a plurality of setting values determined first, and FIG. 6B shows a plurality of evaluation values obtained with a plurality of setting values determined for the second time. FIG. 7 is a diagram illustrating the relationship between the spatial frequency characteristic of the conventional contrast evaluation formula and the modulation transfer function (hereinafter referred to as MTF) of the optical system. FIG. 8 is a diagram comparing the spatial frequency characteristics of the contrast evaluation formula used in the microscope system 1 with the spatial frequency characteristics of the conventional contrast evaluation formula.

顕微鏡システム1は、まず、補正環111の複数の設定値を決定する(ステップS11)。ここでは、顕微鏡装置でサンプルの画像データを取得する際の補正環111の設定値を演算装置20が複数個決定する。例えば、図6Aに示すように、演算装置20は、補正環111が回転可能な範囲(動作可能範囲)自体又はそれより少しだけ狭い範囲を探索範囲に決定し、探索範囲を均等に分割する予め決められた数(ここでは10)の設定値(補正環位置)を、複数の設定値として決定する。なお、図6Aでは、θ1からθ10までの10個の設定値(補正環位置)が決定される例が示されている。   First, the microscope system 1 determines a plurality of set values of the correction ring 111 (step S11). Here, the arithmetic unit 20 determines a plurality of setting values of the correction ring 111 when the sample image data is acquired by the microscope apparatus. For example, as shown in FIG. 6A, the arithmetic unit 20 determines a range (operational range) in which the correction ring 111 can rotate itself or a range slightly narrower as the search range, and divides the search range equally. A predetermined number (here, 10) of set values (correction ring positions) are determined as a plurality of set values. FIG. 6A shows an example in which ten set values (correction ring positions) from θ1 to θ10 are determined.

次に、顕微鏡システム1は、補正環111の設定値をステップS11で決定した設定値に変更する(ステップS12)。ここでは、補正環制御装置14が演算装置20からの指示に従ってステップS11で決定した複数の設定値のいずれかに設定する。例えば、補正環制御装置14は、補正環111の設定値をθ1に変更する。   Next, the microscope system 1 changes the setting value of the correction ring 111 to the setting value determined in step S11 (step S12). Here, the correction ring control device 14 sets one of a plurality of set values determined in step S11 in accordance with an instruction from the arithmetic device 20. For example, the correction ring control device 14 changes the set value of the correction ring 111 to θ1.

補正環111の設定値が変更されると、顕微鏡システム1は、サンプルSの画像データを取得する(ステップS13)。ここでは、顕微鏡装置が演算装置20からの指示に従って画像データを取得する。例えば、顕微鏡装置は、補正環111の設定値がθ1の状態で画像データを取得する。   When the set value of the correction ring 111 is changed, the microscope system 1 acquires the image data of the sample S (step S13). Here, the microscope apparatus acquires image data in accordance with an instruction from the arithmetic unit 20. For example, the microscope apparatus acquires image data in a state where the setting value of the correction ring 111 is θ1.

その後、顕微鏡システム1は、ステップS11で決定したすべての設定値で画像データを取得したか否かを判断し(ステップS14)、すべての設定値で画像データを取得していない場合には、ステップS12からステップS14の処理を繰り返す。これにより、顕微鏡装置は、補正環111の設定値が異なる複数の状態の各々で、サンプルSの観察対象面の画像データを取得し、その結果、複数の画像データを取得する。   Thereafter, the microscope system 1 determines whether or not the image data has been acquired with all the set values determined in step S11 (step S14). The process from S12 to step S14 is repeated. Thereby, the microscope apparatus acquires image data of the observation target surface of the sample S in each of a plurality of states with different setting values of the correction ring 111, and as a result, acquires a plurality of image data.

すべての設定値で画像データが取得されると、顕微鏡システム1は、ステップS13で取得した複数の画像データから複数の評価値を算出する(ステップS15)。ここでは、演算装置20が、画素間の画素値(輝度値)の差分に基づいて画像のコントラストを評価する評価式を用いて、複数の画像データから、複数のコントラスト値を算出する。なお、一般に、球面収差が補正された画像ほど高いコントラストを有していることから、コントラスト値は、球面収差が補正されているかどうかを評価する評価値として好適である。   When the image data is acquired with all the set values, the microscope system 1 calculates a plurality of evaluation values from the plurality of image data acquired in step S13 (step S15). Here, the arithmetic unit 20 calculates a plurality of contrast values from a plurality of image data using an evaluation formula that evaluates the contrast of the image based on the difference between pixel values (luminance values) between pixels. In general, an image in which spherical aberration is corrected has a higher contrast. Therefore, the contrast value is suitable as an evaluation value for evaluating whether spherical aberration is corrected.

画像のコントラストを評価する評価式としては、例えば、x方向にn画素分ずれた位置にある2つの画素の画素値の差分の2乗を、画像データ全体で積算してコントラスト値を算出する、下式が知られている。下式は、J.F.Brennerらによって提案された評価式であり、Brenner gradientと呼ばれている。
As an evaluation formula for evaluating the contrast of an image, for example, the square of the difference between the pixel values of two pixels located at positions shifted by n pixels in the x direction is integrated over the entire image data to calculate a contrast value. The following formula is known. The following formula is an evaluation formula proposed by JFBrenner et al. And is called Brenner gradient.

ここで、FBrennerはコントラスト値であり、xは画像データを構成する画素の列を特定する変数であり、yは画像データを構成する画素の行を特定する変数である。Wは画像データを構成する画素のx方向の画素数(即ち、列数)であり、Hは画像データを構成する画素のy方向の画素数(即ち、行数)である。fは画素の画素値であり、nはシフト量であり、画素値の差分が算出される画素間の間隔を示す整数(例えば、2など)である。 Here, F Brenner is a contrast value, x is a variable that identifies a column of pixels that constitute image data, and y is a variable that identifies a row of pixels that constitute image data. W is the number of pixels in the x direction (ie, the number of columns) of the pixels constituting the image data, and H is the number of pixels in the y direction (ie, the number of rows) of the pixels constituting the image data. f is a pixel value of a pixel, n is a shift amount, and is an integer (for example, 2) indicating an interval between pixels from which a difference in pixel value is calculated.

顕微鏡の分野では、Brenner gradientのシフト量を2に設定するのが通常である。しかしながら、Brenner gradientのシフト量を特定の値に固定して画像のコントラストを評価すると、光学系が情報を伝達することができる空間周波数領域内に、画像のコントラストに対する感度が極端に低い領域が生じてしまう。このため、画像のコントラストを適切に評価することができない場合がある。   In the field of the microscope, it is usual to set the shift amount of the Brenner gradient to 2. However, when the Brenner gradient shift amount is fixed to a specific value and the contrast of the image is evaluated, a region with extremely low sensitivity to the contrast of the image is generated in the spatial frequency region where the optical system can transmit information. End up. For this reason, the contrast of an image may not be evaluated appropriately.

例えば、画素サイズが0.5mmであり、x方向の画素数が1024画素である撮像素子を用いる場合、シフト量2におけるBrenner gradient(評価式)は、図7の線LBrennerで示す空間周波数特性を有する。また、図7の線LMTFは光学系のMTFを示している。従って、この場合、光学系によってコントラスト情報が伝達されているにもかかわらず、撮像素子上で1000[line/mm]程度の空間周波数を有する成分については、そのコントラストが低く評価されてしまう。なお、図7では、シフト量2におけるBrenner gradientの特性を例示したが、他のシフト量におけるBrenner gradientでも、コントラストに対する感度が低い空間周波数領域が存在する。 For example, when an image sensor having a pixel size of 0.5 mm and the number of pixels in the x direction is 1024 pixels, the Brenner gradient (evaluation formula) at the shift amount 2 is the spatial frequency characteristic indicated by the line L Brenner in FIG. Have Further, a line L MTF in FIG. 7 indicates the MTF of the optical system. Therefore, in this case, although the contrast information is transmitted by the optical system, the contrast of components having a spatial frequency of about 1000 [line / mm] on the image sensor is evaluated low. In FIG. 7, the characteristics of the Brenner gradient at the shift amount 2 are exemplified. However, even with the Brenner gradient at other shift amounts, a spatial frequency region with low sensitivity to contrast exists.

そこで、ステップS15では、例えば、異なる複数のシフト量を使用する以下の評価式により、ステップS13で取得した複数の画像データの各々のコントラスト値を算出する。なお、図6Aには、ステップS13で取得した複数の画像データのコントラスト値が示されている。
Therefore, in step S15, for example, the contrast value of each of the plurality of image data acquired in step S13 is calculated by the following evaluation formula using a plurality of different shift amounts. FIG. 6A shows the contrast values of the plurality of image data acquired in step S13.

例えば、5つのシフト量(n=1、2、3、5、10)を用いる場合、評価式(2)は、図8の線Lwideに示す空間周波数特性を有する。なお、図8では、評価式(1)の空間周波数特性と評価式(2)の空間周波数特性との比較を容易にするため、評価式(2)のコントラスト値を評価式(2)で使用するシフト量の数(5つ)で割った値で線Lwideを描いている。 For example, when five shift amounts (n = 1, 2, 3, 5, 10) are used, the evaluation formula (2) has a spatial frequency characteristic indicated by a line L wide in FIG. In FIG. 8, the contrast value of the evaluation formula (2) is used in the evaluation formula (2) to facilitate the comparison between the spatial frequency characteristic of the evaluation formula (1) and the spatial frequency characteristic of the evaluation formula (2). The line L wide is drawn by the value divided by the number of shift amounts (five).

図8に示すように、評価式(2)によれば、従来の評価式(1)に比べて、広い空間周波数領域でコントラストを安定して評価することができる。このため、画像に含まれる周波数成分によらず、即ち、サンプルや光学系の倍率などによらず、画像のコントラストの評価を安定して行うことができる。   As shown in FIG. 8, according to the evaluation formula (2), the contrast can be stably evaluated in a wider spatial frequency region as compared with the conventional evaluation formula (1). Therefore, it is possible to stably evaluate the contrast of the image regardless of the frequency component included in the image, that is, regardless of the magnification of the sample or the optical system.

複数の評価値が算出されると、顕微鏡システム1は、所定の条件を満たしているか否かを判断する(ステップS16)。所定の条件としては、例えば、ステップS12からステップS16までの処理の繰り返し回数が所定回数に達しているか否かであってもよく、複数の設定値の平均間隔が所定値以下であるか否かであってもよい。   When a plurality of evaluation values are calculated, the microscope system 1 determines whether or not a predetermined condition is satisfied (step S16). The predetermined condition may be, for example, whether or not the number of repetitions of the processing from step S12 to step S16 has reached a predetermined number, and whether or not the average interval of a plurality of setting values is equal to or less than a predetermined value. It may be.

ステップS16で所定の条件を満たしていない場合には、顕微鏡システム1は、改めて複数の設定値を決定し(ステップS17)、その後、ステップS12からステップS16の処理を繰り返す。   If the predetermined condition is not satisfied in step S16, the microscope system 1 again determines a plurality of setting values (step S17), and then repeats the processing from step S12 to step S16.

ステップS17では、演算装置20は、以下の2つの条件を満たすように複数の設定値を決定する。第1の条件は、ステップS17で決定する複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔が、先の複数の設定値の分布範囲及び平均間隔と比較して、狭いことである。第2の条件は、ステップS17で決定する複数の設定値の分布範囲内に、ステップS15で算出された最大の評価値に対応する補正環111の設定値が含まれることである。なお、本明細書において、評価値に対応する設定値とは、ある画像データから算出された評価値に対するその画像データが取得されたときの補正装置の設定値のことをいうものとする。また、設定値に対応する評価値とは、ある画像データが取得されたときの補正装置の設定値に対するその画像データから算出された評価値のことをいうものとする。   In step S17, the arithmetic unit 20 determines a plurality of set values so as to satisfy the following two conditions. The first condition is that the distribution range (that is, the search range) and the average interval of the plurality of setting values determined in step S17 are narrower than the distribution range and the average interval of the plurality of setting values. . The second condition is that the set value of the correction ring 111 corresponding to the maximum evaluation value calculated in step S15 is included in the distribution range of the plurality of set values determined in step S17. In this specification, the setting value corresponding to the evaluation value refers to the setting value of the correction device when the image data for the evaluation value calculated from certain image data is acquired. Further, the evaluation value corresponding to the set value means an evaluation value calculated from the image data with respect to the set value of the correction apparatus when certain image data is acquired.

これにより、顕微鏡装置は、設定値が異なる複数の状態で複数の画像データを取得する処理を、複数の状態で設定される補正環111の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、その分布範囲内に演算装置20が算出した最大の評価値に対応する補正環111の設定値が含まれるように、繰り返す。そして、演算装置は、繰り返し毎に、複数の画像データから複数の評価値を算出する。   As a result, the microscope apparatus repeats the process of acquiring a plurality of image data in a plurality of states with different setting values for each of the distribution ranges and average intervals of the plurality of setting values of the correction ring 111 set in the plurality of states. And the set value of the correction ring 111 corresponding to the maximum evaluation value calculated by the arithmetic unit 20 is included in the distribution range. Then, the arithmetic device calculates a plurality of evaluation values from a plurality of image data for each repetition.

図6Bは、ステップS17で決定した複数の設定値に基づいて取得した複数の画像データのコントラスト値が示されている。図6Aと図6Bを比較すると、図6Bに示す複数の設定値(補正環位置)は、上記2つの条件を満たしていることが確認できる。なお、図6Aと図6Bでは、いずれも10個の設定値(補正環位置)が決定されている例が示されているが、設定値の数は、繰り返し毎に設定値の平均間隔が狭くなる限り、同一に限られず、増加しても減少してもよい。   FIG. 6B shows contrast values of a plurality of image data acquired based on the plurality of setting values determined in step S17. Comparing FIG. 6A and FIG. 6B, it can be confirmed that the plurality of set values (correction ring positions) shown in FIG. 6B satisfy the above two conditions. 6A and 6B both show examples in which ten set values (correction ring positions) are determined. However, the number of set values is such that the average interval between the set values is narrow for each repetition. As much as possible, it is not limited to the same, and may be increased or decreased.

ステップS16で所定の条件を満たしている場合には、顕微鏡システム1は、ステップS15で算出した複数の評価値と、それら複数の評価値に対応する複数の設定値と、に基づいて目標値を算出し(ステップS18)、目標値算出処理を終了する。ここでは、例えば、最後の繰り返しにおいてステップS15で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値が目標値として算出されてもよい。また、最後の繰り返しに限らずステップS15で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値が目標値として算出されてもよい。なお、演算装置20は、算出した目標値と観察対象面の位置の組み合わせを、記憶装置25に記憶させる。   When the predetermined condition is satisfied in step S16, the microscope system 1 sets the target value based on the plurality of evaluation values calculated in step S15 and the plurality of setting values corresponding to the plurality of evaluation values. Calculation is performed (step S18), and the target value calculation process is terminated. Here, for example, the set value of the correction ring 111 corresponding to the maximum evaluation value among the plurality of evaluation values calculated in step S15 in the last iteration may be calculated as the target value. In addition, the set value of the correction ring 111 corresponding to the maximum evaluation value among the plurality of evaluation values calculated in step S15 is not limited to the last repetition, and may be calculated as a target value. Note that the arithmetic unit 20 causes the storage device 25 to store the combination of the calculated target value and the position of the observation target surface.

顕微鏡システム1は、図5に示す目標値算出処理を実行することで、サンプルや光学系の倍率などによらず、画像のコントラストの評価を安定して行うことができる。このため、画像のコントラストを適切に評価して目標値を算出することができる。即ち、球面収差が良好に補正される補正装置の設定を特定することができる。また、比較的少ない画像データの取得回数で目標値を高精度に算出することもできる。従って、図4に示す球面収差補正処理及び図5に示す目標値算出処理を実行する顕微鏡システム1によれば、短時間で球面収差を良好に補正することができる。   The microscope system 1 can stably evaluate the contrast of an image by executing the target value calculation process shown in FIG. 5 regardless of the magnification of the sample or the optical system. Therefore, the target value can be calculated by appropriately evaluating the contrast of the image. That is, it is possible to specify the setting of the correction device that corrects spherical aberration satisfactorily. It is also possible to calculate the target value with high accuracy with a relatively small number of acquisitions of image data. Therefore, according to the microscope system 1 that executes the spherical aberration correction process shown in FIG. 4 and the target value calculation process shown in FIG. 5, the spherical aberration can be corrected well in a short time.

なお、図5のステップS15では、シフト量を5つ使用する例を示したが、シフト量は複数使用されればよく、5つに限られない。また、画像データ毎に評価値を算出する例を示したが、画像データの全体領域を複数の領域に分割して、分割によって得られる領域毎に評価値(以降、画像データ毎に算出される評価値と区別するため、領域評価値と記す。)を算出してもよい。この場合、ステップS18では、領域毎に目標値(全体領域に対して算出される目標値と区別するため、以降、領域目標値と記す。)を算出し、複数の領域目標値に基づいて、全体領域に対する目標値を算出する。   In addition, although the example which uses five shift amounts was shown in FIG.5 S15, multiple shift amount should just be used and is not restricted to five. Moreover, although the example which calculates an evaluation value for every image data was shown, the whole area | region of image data is divided | segmented into several area | region, and evaluation value (henceforth, it calculates for every image data) for every area | region obtained by division | segmentation In order to distinguish it from the evaluation value, it may be referred to as a region evaluation value). In this case, in step S18, a target value is calculated for each region (hereinafter referred to as a region target value in order to be distinguished from a target value calculated for the entire region), and based on a plurality of region target values, A target value for the entire area is calculated.

図9は、画像データの全体領域WRを領域R1から領域R9の9つの領域に分割し、領域毎に領域目標値を算出した例を示している。全体領域に対する目標値は、例えば、領域目標値を昇順又は降順に並べた(θ3:θ3:θ4:θ4:θ5:θ5:θ5:θ6:θ6)中間値(θ5)に決定されてもよく、最頻値(θ5)に決定されてもよい。なお、分割数も9つに限られず、9つより少なくても多くてもよい。   FIG. 9 shows an example in which the entire area WR of the image data is divided into nine areas R1 to R9, and the area target value is calculated for each area. The target value for the entire region may be determined as an intermediate value (θ5), for example, in which the region target values are arranged in ascending or descending order (θ3: θ3: θ4: θ4: θ5: θ5: θ5: θ6: θ6) It may be determined to the mode value (θ5). The number of divisions is not limited to nine, and may be smaller or larger than nine.

領域毎に領域目標値を算出し、複数の領域目標値に対する統計的な処理により確からしい目標値を算出することで、画像データに他の画素データと比較して極端に高輝度又は低輝度を有する画素データが含まれる場合であっても、その影響を抑えて画像のコントラストを評価することができる。このため、球面収差が補正される設定値を正しく算出することができる。   By calculating the area target value for each area and calculating a probable target value by statistical processing for a plurality of area target values, the image data has extremely high brightness or low brightness compared to other pixel data. Even when the pixel data is included, it is possible to evaluate the contrast of the image while suppressing the influence. For this reason, the set value for correcting the spherical aberration can be calculated correctly.

また、図5のステップS15(評価値算出処理)では、ステップS13で取得した画像データ毎に、複数のシフト量を用いて単一のコントラスト値を算出する例を示した。しかしながら、ステップS15では、複数の画像データから複数のシフト量を用いて複数のコントラスト値が算出されればよく、画像データの数と算出されるコントラストの数は一致しなくてもよい。   Further, in step S15 (evaluation value calculation processing) of FIG. 5, an example is shown in which a single contrast value is calculated using a plurality of shift amounts for each image data acquired in step S13. However, in step S15, a plurality of contrast values may be calculated from a plurality of image data using a plurality of shift amounts, and the number of image data and the calculated number of contrasts do not have to match.

例えば、画像データ毎に、それぞれ異なるシフト量を用いて算出した複数のコントラスト値を算出してもよい。その場合、ステップS18で、同じシフト量を用いて算出された複数の評価値と、それら複数の評価値に対応する複数の設定値と、に基づいて、そのシフト量における暫定的な目標値(以降、暫定目標値と記す)を算出し、各々が異なるシフト量における暫定目標値である、複数の暫定目標値から最終的な単一の目標値を算出してもよい。複数の暫定目標値から最終的な目標値を算出する処理は、例えば、複数の暫定目標値から最も確からしい値を選択する処理(例えば、中央値を選択する処理)であってもよく、複数の暫定目標値から確からしい値を算出する処理(例えば、平均値を算出する処理)であってもよい。   For example, a plurality of contrast values calculated using different shift amounts may be calculated for each image data. In that case, in step S18, based on a plurality of evaluation values calculated using the same shift amount and a plurality of set values corresponding to the plurality of evaluation values, a provisional target value for the shift amount ( Hereinafter, a temporary single target value may be calculated from a plurality of temporary target values, each of which is a temporary target value at a different shift amount. The process of calculating a final target value from a plurality of provisional target values may be, for example, a process of selecting the most probable value from a plurality of provisional target values (for example, a process of selecting a median value). May be a process of calculating a probable value from the provisional target value (for example, a process of calculating an average value).

図10は、顕微鏡システム1で行われる別の目標値算出処理のフローチャートである。図11は、図10に示す目標値算出処理について説明するための図である。図10及び図11を参照しながら、図10に示す目標値算出処理について説明する。なお、図10に示す目標値算出処理のステップS21からステップS25までの処理は、図5に示す目標値算出処理のステップS11からステップS15までの処理と同様であるので、詳細な説明は割愛する。   FIG. 10 is a flowchart of another target value calculation process performed in the microscope system 1. FIG. 11 is a diagram for explaining the target value calculation processing shown in FIG. The target value calculation process shown in FIG. 10 will be described with reference to FIGS. 10 and 11. The process from step S21 to step S25 of the target value calculation process shown in FIG. 10 is the same as the process from step S11 to step S15 of the target value calculation process shown in FIG. .

顕微鏡システム1は、ステップS25で複数の評価値が算出されると、複数の画像データの座標情報に基づいて目標値を算出し(ステップS26)、目標値算出処理を終了する。なお、画像データの座標情報とは、その画像データから算出された評価値とその評価値に対応する補正環111の設定値との組み合わせをいうものとする。   When a plurality of evaluation values are calculated in step S25, the microscope system 1 calculates a target value based on the coordinate information of the plurality of image data (step S26), and ends the target value calculation process. Note that the coordinate information of the image data refers to a combination of an evaluation value calculated from the image data and a set value of the correction ring 111 corresponding to the evaluation value.

ステップS26では、演算装置20は、まず、ステップS23で取得した複数の画像データから3つ以上の画像データを選択する。この3つ以上の画像データは、ステップS25で算出した複数の評価値のうちの最大値が算出された画像データが含まれるように、選択される。   In step S26, the arithmetic unit 20 first selects three or more image data from the plurality of image data acquired in step S23. The three or more pieces of image data are selected so as to include the image data for which the maximum value among the plurality of evaluation values calculated in step S25 is calculated.

その後、演算装置20は、選択した3つ以上の画像データの座標情報に基づいて目標値を算出する。具体的には、3つ以上の画像データの座標情報に基づいて、補間又は関数近似により関数を算出する。なお、この関数は、評価値と設定値に関する関数である。そして、算出した関数のピーク座標(評価値が最大となる座標)から得られる設定値が目標値として算出される。演算装置20は、算出した目標値と観察対象面の位置の組み合わせを、記憶装置25に記憶させる。   Thereafter, the arithmetic unit 20 calculates a target value based on the coordinate information of the selected three or more image data. Specifically, a function is calculated by interpolation or function approximation based on coordinate information of three or more image data. This function is a function related to the evaluation value and the set value. Then, a set value obtained from the peak coordinates of the calculated function (coordinate at which the evaluation value is maximized) is calculated as a target value. The calculation device 20 stores the calculated combination of the target value and the position of the observation target surface in the storage device 25.

図11には、最大の評価値が算出される画像データとその前後(つまり、設定値が近い)の画像データからなる3つの画像データを選択し、それらの画像データから得られる3つの座標情報からラグランジュ補間により二次関数を算出し、そのピーク座標から目標値を算出した例が示されている。なお、補間には、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。また、関数近似にも、最小二乗法などの任意の近似法が採用され得る。   FIG. 11 shows three pieces of coordinate information obtained by selecting three pieces of image data including image data for which the maximum evaluation value is calculated and image data before and after that (that is, set values are close). An example is shown in which a quadratic function is calculated by Lagrangian interpolation and a target value is calculated from the peak coordinates. For the interpolation, any interpolation method such as Lagrangian interpolation or spline interpolation may be employed. In addition, an arbitrary approximation method such as a least square method can be adopted for the function approximation.

顕微鏡システム1は、図10に示す目標値算出処理を実行することで、サンプルや光学系の倍率などによらず、画像のコントラストの評価を安定して行うことができる。このため、画像のコントラストを適切に評価して目標値を算出することができる。即ち、球面収差が良好に補正される補正装置の設定を特定することができる。また、図5に示す目標値算出処理よりもさらに少ない画像データの取得回数で目標値を高精度に算出することができる。従って、図4に示す球面収差補正処理及び図10に示す目標値算出処理を実行する顕微鏡システム1によれば、より短時間で球面収差を良好に補正することができる。   By executing the target value calculation process shown in FIG. 10, the microscope system 1 can stably evaluate the contrast of the image regardless of the magnification of the sample or the optical system. Therefore, the target value can be calculated by appropriately evaluating the contrast of the image. That is, it is possible to specify the setting of the correction device that corrects spherical aberration satisfactorily. In addition, the target value can be calculated with high accuracy with a smaller number of image data acquisition times than the target value calculation process shown in FIG. Therefore, according to the microscope system 1 that executes the spherical aberration correction process shown in FIG. 4 and the target value calculation process shown in FIG. 10, the spherical aberration can be corrected well in a shorter time.

なお、図5に示す目標値算出処理と図10に示す目標値算出処理を組み合わせて目標値を算出してもよい。例えば、図10に示す目標値算出処理に図5のステップS16及びステップS17の処理を追加して、ステップS26で算出した目標値が分布範囲に含まれるように、複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔を徐々に狭めながら、目標値の算出を繰り返してもよい。これにより、目標値をより高い精度で算出することが可能となる。   The target value may be calculated by combining the target value calculation process shown in FIG. 5 and the target value calculation process shown in FIG. For example, the processing of step S16 and step S17 of FIG. 5 is added to the target value calculation processing shown in FIG. 10, and the distribution range of a plurality of set values (in order that the target value calculated in step S26 is included in the distribution range ( That is, the calculation of the target value may be repeated while gradually narrowing the search range) and the average interval. Thereby, the target value can be calculated with higher accuracy.

図12は、顕微鏡システム1で行われる更に別の目標値算出処理のフローチャートである。図13は、目標値の信頼性と評価値の関係について説明するための図である。図14Aは、目標値を複数回算出したときの目標値の変化の様子を例示した図である。図14Bは、第2の目標値を複数回算出したときの第2の目標値の変化の様子を例示した図である。図12から図14Bを参照しながら、図12に示す目標値算出処理について説明する。なお、図12に示す目標値算出処理のステップS31からステップS36までの処理は、図10に示す目標値算出処理のステップS21からステップS26までの処理と同様であるので、詳細な説明は割愛する。   FIG. 12 is a flowchart of still another target value calculation process performed in the microscope system 1. FIG. 13 is a diagram for explaining the relationship between the reliability of the target value and the evaluation value. FIG. 14A is a diagram exemplifying how the target value changes when the target value is calculated a plurality of times. FIG. 14B is a diagram exemplifying how the second target value changes when the second target value is calculated a plurality of times. The target value calculation process shown in FIG. 12 will be described with reference to FIGS. 12 to 14B. Note that the process from step S31 to step S36 of the target value calculation process shown in FIG. 12 is the same as the process from step S21 to step S26 of the target value calculation process shown in FIG. .

顕微鏡システム1は、ステップS36で目標値が算出されると、目標値の信頼性の高低を判定済みか否かについて判定し(ステップS37)、信頼性の高低を判定していない場合には、目標値の信頼性の高低を判定する(ステップS38)。   When the target value is calculated in step S36, the microscope system 1 determines whether or not the reliability of the target value has been determined (step S37), and if the reliability is not determined, The reliability of the target value is determined (step S38).

図13には、観察対象面の深さが100μmのときに取得した複数の画像データから算出した複数のコントラスト値(実測値)と、観察対象面の深さが600μmのときに取得した複数の画像データから算出した複数のコントラスト値(実測値)が、プロットされている。図13に示すように、一般に観察対象面の位置が深くなるほど、球面収差が補正された状態での画像のコントラストは低下し、且つ、補正環の設定値の変更によるコントラストの変化も小さくなる。このため、球面収差が補正されている状態を正しく特定することが難しくなり、目標値の信頼性が低下する。   FIG. 13 shows a plurality of contrast values (measured values) calculated from a plurality of image data acquired when the depth of the observation target surface is 100 μm, and a plurality of contrast values acquired when the depth of the observation target surface is 600 μm. A plurality of contrast values (actual measurement values) calculated from the image data are plotted. As shown in FIG. 13, in general, the deeper the position of the observation target surface, the lower the contrast of the image in a state where the spherical aberration is corrected, and the smaller the change in contrast caused by changing the setting value of the correction ring. For this reason, it is difficult to correctly specify the state in which the spherical aberration is corrected, and the reliability of the target value is lowered.

そこで、ステップS38では、演算装置20は、ステップS35で算出した複数のコントラスト値に基づいて、ステップS36で算出した目標値の信頼性の高低を判定する(ステップS39)。より具体的には、演算装置20は、例えば、複数のコントラスト値のうちの最大値のコントラスト値が所定の閾値以上であれば信頼性が高いと判定し、閾値未満であれば信頼性が低いと判定してもよい。また、演算装置20は、観察対象面の深さに基づいて、目標値の信頼性の高低を判定してもよい。   Therefore, in step S38, the arithmetic unit 20 determines the level of reliability of the target value calculated in step S36 based on the plurality of contrast values calculated in step S35 (step S39). More specifically, for example, the arithmetic unit 20 determines that the reliability is high if the maximum contrast value of the plurality of contrast values is equal to or greater than a predetermined threshold value, and the reliability is low if the contrast value is less than the threshold value. May be determined. Moreover, the arithmetic unit 20 may determine the reliability of the target value based on the depth of the observation target surface.

顕微鏡システム1は、ステップS39で信頼性が高いと判定された場合には、目標値算出処理を終了する。一方、ステップS39で信頼性が低いと判定された場合には、複数の画像データを再度取得して、それらの画像データに基づいて目標値を再度算出する(ステップS31からステップS36)。これにより、顕微鏡システム1では、顕微鏡装置によって複数の画像データが複数回取得され、演算装置20によって目標値が複数回算出される。   If the microscope system 1 determines that the reliability is high in step S39, the microscope system 1 ends the target value calculation process. On the other hand, if it is determined in step S39 that the reliability is low, a plurality of pieces of image data are acquired again, and the target value is calculated again based on the image data (steps S31 to S36). Thereby, in the microscope system 1, a plurality of image data is acquired a plurality of times by the microscope apparatus, and the target value is calculated a plurality of times by the arithmetic unit 20.

顕微鏡システム1は、ステップS37で信頼性の高低を判定済みと判断すると、さらに、目標値を所定回数以上算出済みか否かを判定する(ステップS40)。ここでは、演算装置20は、例えば、予め決められた回数(例えば、3回)以上目標値を算出しているか否かを判定する。目標値の算出回数が予め決められた回数に達していないと判定されると、顕微鏡システム1は、複数の画像データを再度取得して、それらの画像データに基づいて目標値を再度算出する(ステップS31からステップS36)。   When the microscope system 1 determines that the level of reliability has been determined in step S37, the microscope system 1 further determines whether the target value has been calculated a predetermined number of times or more (step S40). Here, the arithmetic unit 20 determines whether or not the target value is calculated more than a predetermined number of times (for example, three times), for example. When it is determined that the target value calculation count has not reached the predetermined count, the microscope system 1 acquires a plurality of image data again, and calculates the target value again based on the image data ( Step S31 to step S36).

顕微鏡システム1は、ステップS40で所定回数以上目標値を算出済みであると判断すると、複数の目標値に基づいて第2の目標値を算出し(ステップS41)、目標値算出処理を終了する。ここでは、演算装置20は、ステップS36で算出した複数の目標値に基づいて、第2の目標値を算出する。第2の目標値を算出する処理は、例えば、複数の目標値から最も確からしい値を選択する処理(例えば、中央値を選択する処理)であってもよく、複数の目標値から確からしい値を算出する処理(例えば、平均値を算出する処理)であってもよい。   When determining that the target value has been calculated a predetermined number of times or more in step S40, the microscope system 1 calculates the second target value based on the plurality of target values (step S41), and ends the target value calculation process. Here, the arithmetic unit 20 calculates the second target value based on the plurality of target values calculated in step S36. The process for calculating the second target value may be, for example, a process for selecting a most probable value from a plurality of target values (for example, a process for selecting a median value), and a probable value from a plurality of target values. (For example, a process for calculating an average value).

図14Aには、観察対象面の深さが100μmのときに算出された複数の目標値と、観察対象面の深さが600μmのときに算出された複数の目標値が、プロットされている。図14Bには、観察対象面の深さが100μmのときに算出された複数の目標値を3つ毎に平均した第2の目標値と、観察対象面の深さが600μmのときに算出された複数の目標値を3つ毎に平均した第2の目標値と、がプロットされている。図14Aに示すように、画像のコントラストが低くなるサンプル深部(ここでは、深さ600μmの部位)では、目標値は、算出される度に比較的大きく変動する。しかしながら、図14Bに示すように、平均化処理によって算出される第2の目標値では、算出される度に生じる変動幅が小さくなり、観察対象面の深さによらず、ほぼ一定の値を示している。つまり、第2の目標値を算出することで、データの信頼性が向上する。   FIG. 14A plots a plurality of target values calculated when the depth of the observation target surface is 100 μm and a plurality of target values calculated when the depth of the observation target surface is 600 μm. In FIG. 14B, the second target value obtained by averaging a plurality of target values calculated when the depth of the observation target surface is 100 μm and the depth of the observation target surface is 600 μm. A second target value obtained by averaging a plurality of target values every three is plotted. As shown in FIG. 14A, in the sample deep portion where the contrast of the image is low (here, the portion having a depth of 600 μm), the target value varies relatively large every time it is calculated. However, as shown in FIG. 14B, in the second target value calculated by the averaging process, the fluctuation range that occurs every time the calculation is performed is small, and a substantially constant value is obtained regardless of the depth of the observation target surface. Show. That is, the reliability of data is improved by calculating the second target value.

顕微鏡システム1は、図12に示す目標値算出処理を実行することで、サンプルや光学系の倍率などによらず、画像のコントラストの評価を安定して行うことができる。このため、画像のコントラストを適切に評価して目標値を算出することができる。即ち、球面収差が良好に補正される補正装置の設定を特定することができる。また、顕微鏡システム1は、画像のコントラストが低く目標値の信頼性が低い場合には、複数回目標値を算出し、より信頼性の高い第2の目標値を算出することができる。従って、図4に示す球面収差補正処理及び図12に示す目標値算出処理を実行する顕微鏡システム1によれば、観察対象面の深さによらず、球面収差を良好に補正することができる。   By executing the target value calculation process shown in FIG. 12, the microscope system 1 can stably evaluate the contrast of the image regardless of the magnification of the sample or the optical system. Therefore, the target value can be calculated by appropriately evaluating the contrast of the image. That is, it is possible to specify the setting of the correction device that corrects spherical aberration satisfactorily. Further, when the contrast of the image is low and the reliability of the target value is low, the microscope system 1 can calculate the target value a plurality of times and calculate the second target value with higher reliability. Therefore, according to the microscope system 1 that executes the spherical aberration correction processing shown in FIG. 4 and the target value calculation processing shown in FIG. 12, spherical aberration can be corrected well regardless of the depth of the observation target surface.

なお、図12では、目標値の信頼性の高低を判定して、第2の目標値を算出するか否かを決定する例を示したが、第2の目標値は、目標値の信頼性の高低を判定することなく算出されてもよい。また、図5に示す目標値算出処理と図12に示す目標値算出処理を組み合わせて第2の目標値を算出してもよい。例えば、図5に示す目標値算出処理に図12のステップS37からステップS41の処理を追加してもよい。   Although FIG. 12 shows an example of determining whether or not the second target value is calculated by determining whether the reliability of the target value is high or low, the second target value is the reliability of the target value. It may be calculated without determining the height of. Further, the second target value may be calculated by combining the target value calculation process shown in FIG. 5 and the target value calculation process shown in FIG. For example, the processing from step S37 to step S41 in FIG. 12 may be added to the target value calculation processing shown in FIG.

また、図12では、複数の目標値から第2の目標値を算出することで、目標値(第2の目標値)の信頼性の向上を図る例を示したが、信頼性を向上させる方法はこの方法に限られない。複数の評価値を設定値毎に取得し、複数の評価値から第2の評価値を設定値毎に算出し、異なる設定値で算出された複数の第2の評価値から信頼性の高い目標値を算出してもよい。この場合、ステップS36の処理を省略し、ステップS41において、同じ設定値で取得した複数の評価値から、最も確からしい値を選択する処理(例えば、中央値を選択する処理)、又は、確からしい値を算出する処理(例えば、平均値を算出する処理)により、設定値毎に第2の評価値を算出してもよい。その上で、さらに、異なる設定値に対応する複数の第2の評価値から目標値を算出してもよい。なお、複数の第2の評価値から目標値を算出する処理は、例えば、ステップS36と同様の処理に、座標情報に基づく処理であってもよい。このような方法でも、複数の画像データの情報から目標値が算出されるため、目標値の信頼性が向上することができる。   FIG. 12 shows an example in which the reliability of the target value (second target value) is improved by calculating the second target value from a plurality of target values. Is not limited to this method. A plurality of evaluation values are acquired for each set value, a second evaluation value is calculated for each set value from the plurality of evaluation values, and a highly reliable target is calculated from the plurality of second evaluation values calculated with different set values A value may be calculated. In this case, the process of step S36 is omitted, and in step S41, the most probable value is selected from a plurality of evaluation values acquired with the same set value (for example, the process of selecting the median value), or the probable A second evaluation value may be calculated for each set value by a process of calculating a value (for example, a process of calculating an average value). In addition, a target value may be calculated from a plurality of second evaluation values corresponding to different set values. In addition, the process based on coordinate information may be sufficient as the process which calculates a target value from several 2nd evaluation value, for example in the process similar to step S36. Even in such a method, since the target value is calculated from the information of the plurality of image data, the reliability of the target value can be improved.

図15は、顕微鏡システム1で行われる屈折率表示処理のフローチャートである。図16は、顕微鏡システム1で行われる屈折率算出処理のフローチャートである。図17は、変化率と屈折率の関係を示した図である。以下、図15から図17を参照しながら、サンプルSの任意の部位の屈折率を算出して、その屈折率に関する情報(以降、屈折率情報と記す。)を表示する屈折率表示処理について説明する。   FIG. 15 is a flowchart of the refractive index display process performed in the microscope system 1. FIG. 16 is a flowchart of a refractive index calculation process performed in the microscope system 1. FIG. 17 is a diagram showing the relationship between the change rate and the refractive index. Hereinafter, a refractive index display process for calculating the refractive index of an arbitrary part of the sample S and displaying information on the refractive index (hereinafter referred to as refractive index information) will be described with reference to FIGS. To do.

顕微鏡システム1は、まず、球面収差を補正する(ステップS51)。ここでは、顕微鏡システム1は、図4に示す球面収差補正処理を行って、顕微鏡装置で発生する球面収差を補正する。球面収差補正処理を終了すると、顕微鏡システム1は、サンプルSの二次元画像データを取得する(ステップS52)。ここでは、顕微鏡装置が、サンプルSの画像データを取得する。さらに、顕微鏡システム1は、屈折率を算出する(ステップS53)。ここでは、演算装置20が、図16に示す屈折率算出処理を実行して、サンプルSの現在の観察対象面における屈折率を算出する。   The microscope system 1 first corrects spherical aberration (step S51). Here, the microscope system 1 performs the spherical aberration correction processing shown in FIG. 4 to correct the spherical aberration generated in the microscope apparatus. When the spherical aberration correction process is completed, the microscope system 1 acquires two-dimensional image data of the sample S (step S52). Here, the microscope apparatus acquires the image data of the sample S. Furthermore, the microscope system 1 calculates a refractive index (step S53). Here, the arithmetic unit 20 executes the refractive index calculation process shown in FIG. 16 to calculate the refractive index of the sample S on the current observation target surface.

具体的には、まず、演算装置20は、観察対象面の位置の情報を取得する(ステップS61)。演算装置20は、例えば、図4のステップS1で受信した観察対象面の深さ情報を取得する。次に、演算装置20は、複数の目標値を取得する(ステップS62)。演算装置20は、例えば、現在の観察対象面近傍の2つの深さ位置に観察対象面を移動させて、それぞれの位置で目標値を算出することで、2つの目標値と2つの深さ情報を取得する。また、現在の観察対象面における目標値と深さ情報は既知であるので、現在の観察対象面近傍の1つの深さ位置に観察対象面を移動させて、その位置で目標値を算出することで、2つの目標値と2つの深さ情報を取得してもよい。   Specifically, first, the arithmetic unit 20 acquires information on the position of the observation target surface (step S61). The arithmetic unit 20 acquires, for example, the depth information of the observation target surface received in step S1 of FIG. Next, the arithmetic unit 20 acquires a plurality of target values (step S62). For example, the computing device 20 moves the observation target surface to two depth positions near the current observation target surface, and calculates the target value at each position, thereby obtaining two target values and two depth information. To get. Since the target value and depth information on the current observation target surface are known, the observation target surface is moved to one depth position near the current observation target surface, and the target value is calculated at that position. Thus, two target values and two depth information may be acquired.

その後、演算装置20は、複数の目標値に基づいて、現在の観察対象面の位置における、光軸方向へ観察対象面の移動量(観察対象面の位置の変化量)と目標値の変化量との関係を算出する(ステップS63)。演算装置20は、例えば、ステップS62で取得した2つの目標値の差分(目標値の変化量Δθ)に対する、ステップS62で取得した2つの深さ情報の差分(観察対象面の移動量ΔD)の比を算出する。   Thereafter, the arithmetic unit 20 determines the amount of movement of the observation target surface in the optical axis direction (change amount of the position of the observation target surface) and the change amount of the target value based on the plurality of target values. (Step S63). For example, the arithmetic unit 20 calculates the difference between the two depth information acquired in step S62 (the movement amount ΔD of the observation target surface) with respect to the difference between the two target values acquired in step S62 (target value change amount Δθ). Calculate the ratio.

そして、最後に、演算装置20は、ステップS63で算出した関係に基づいて、現在の観察対象面の位置におけるサンプルSの屈折率を算出する(ステップS64)。演算装置20は、例えば、記憶装置25に記憶されている図17に示す変化率と屈折率との関数Fに基づいて、ステップS63で算出した関係(変化率)から屈折率を算出する。なお、変化率と屈折率の関数Fは、対物レンズ毎に異なるため、記憶装置25には、対物レンズ毎の変化率と屈折率の関数Fが記憶されていることが望ましい。また、記憶装置25には、関数Fの代わりに、変化率と屈折率の関係を示すデータが記憶されていてもよい。   Finally, the computing device 20 calculates the refractive index of the sample S at the current position of the observation target surface based on the relationship calculated in step S63 (step S64). For example, the arithmetic unit 20 calculates the refractive index from the relationship (change rate) calculated in step S63 based on the function F of the change rate and the refractive index shown in FIG. 17 stored in the storage device 25. Since the change rate and the refractive index function F are different for each objective lens, the storage device 25 preferably stores the change rate and the refractive index function F for each objective lens. The storage device 25 may store data indicating the relationship between the change rate and the refractive index instead of the function F.

屈折率が算出されて図16に示す処理が終了すると、顕微鏡システム1は、二次元画像上に屈折率情報を表示する(ステップS54)。ここでは、演算装置20は、サンプルSの屈折率に関する情報をステップS52で取得した二次元画像と関連付けて表示装置30に表示させる。   When the refractive index is calculated and the processing shown in FIG. 16 is completed, the microscope system 1 displays the refractive index information on the two-dimensional image (step S54). Here, the arithmetic unit 20 causes the display device 30 to display information related to the refractive index of the sample S in association with the two-dimensional image acquired in step S52.

以上のように、本実施例に係る顕微鏡システム1によれば、利用者は、サンプルを観察しながら、それと同時に観察対象面の屈折率を把握することができる。また、サンプルが、屈折率の異なる複数の層からなる積層構造物など、複雑な屈折率分布を有するものであっても、そのサンプルの構造によらず、任意の部位の屈折率を正確に算出することができる。この点については、後に詳述する。さらに、サンプルをスライスすることなくサンプルの深部の屈折率を算出することができるため、in vivoでの生体サンプルの屈折率の測定が可能となる。   As described above, according to the microscope system 1 according to the present embodiment, the user can grasp the refractive index of the observation target surface while observing the sample. Also, even if the sample has a complex refractive index distribution, such as a laminated structure consisting of multiple layers with different refractive indexes, the refractive index of any part can be accurately calculated regardless of the sample structure. can do. This will be described in detail later. Furthermore, since the refractive index of the deep part of the sample can be calculated without slicing the sample, the refractive index of the biological sample can be measured in vivo.

図18は、屈折率の算出方法について説明するための図である。図18を参照しながら、サンプルの構造によらず、サンプル内の任意の部位の屈折率を正確に算出することができることについて、より詳細に説明する。   FIG. 18 is a diagram for explaining a refractive index calculation method. Referring to FIG. 18, the fact that the refractive index of an arbitrary part in the sample can be accurately calculated regardless of the structure of the sample will be described in more detail.

以降、図18に示すように、観察対象面が、対物レンズ110から3層目の、屈折率n3を有する媒質からなる第3層内に位置する場合を例に説明する。なお、対物レンズ110に隣接する屈折率n1を有する媒質からなる第1層は、例えば、空気や浸液であり、屈折率n2を有する媒質からなる第2層と屈折率n3を有する媒質からなる第3層は、例えば、生体サンプルである。   Hereinafter, as illustrated in FIG. 18, an example in which the observation target surface is located in the third layer made of a medium having the refractive index n3 from the objective lens 110 will be described. The first layer made of a medium having a refractive index n1 adjacent to the objective lens 110 is, for example, air or immersion liquid, and is made of a second layer made of a medium having a refractive index n2 and a medium having a refractive index n3. The third layer is, for example, a biological sample.

対物レンズ110からの光線Rの、第1層と第2層との界面IF1への入射角をθ1、界面IF1からの出射角をθ2、第2層と第3層との界面IF2からの出射角をθ3とすると、スネルの法則から、以下の式(3)が導かれる。
The incident angle of the light ray R from the objective lens 110 to the interface IF1 between the first layer and the second layer is θ1, the exit angle from the interface IF1 is θ2, and the exit from the interface IF2 between the second layer and the third layer When the angle is θ3, the following formula (3) is derived from Snell's law.

さらに、図18から幾何学的に次の関係も導かれる。なお、Dは第2層の厚さである。
Further, the following relationship is derived geometrically from FIG. Here, D is the thickness of the second layer.

これらの関係から、δは、下式(4)で表わされる。
From these relationships, δ is expressed by the following equation (4).

さらに、図18から幾何学的に次の関係も導かれる。
Further, the following relationship is derived geometrically from FIG.

この関係から、dは、下式(5)で表わされる。
さらに、式(5)を用いて、式(4)を変形すると、式(6)が導かれる。
From this relationship, d 2 is represented by the following formula (5).
Further, when Expression (4) is transformed using Expression (5), Expression (6) is derived.

ここで、式(3)から次の関係が導かれる。
Here, the following relationship is derived from the equation (3).

この関係を用いて、式(6)を変形すると、式(7)が導かれる。
Using this relationship, transforming equation (6) leads to equation (7).

D=0のときには、δは第2層のパラメータに依存しない。また、式(7)は、θ=0のときには、δは、屈折率差(屈折率比)のみに依存する。θ=0のときのδである近軸移動量δは、式(8)で表わされる。
When D = 0, δ does not depend on the parameters of the second layer. Further, in Expression (7), when θ 1 = 0, δ depends only on the refractive index difference (refractive index ratio). A paraxial movement amount δ 0 that is δ when θ 1 = 0 is expressed by Expression (8).

光線Rに生じる球面収差量Δは、δとδの差分である。このため、式(7)と式(8)から式(9)が導かれる。なお、顕微鏡装置で生じる球面収差量は、式(9)をθについて0から対物レンズ110のNAで定まる最大入射角度θMAXまで積分することで、算出される。
The spherical aberration Δ occurring light R, which is the difference between [delta] and [delta] 0. Therefore, Expression (9) is derived from Expression (7) and Expression (8). Note that the amount of spherical aberration generated in the microscope apparatus is calculated by integrating Equation (9) from 0 for θ 1 to the maximum incident angle θ MAX determined by the NA of the objective lens 110.

さらに、式(9)をdで微分することで、式(10)が導かれる。式(10)は、観察対象面の深さ変化量あたりの球面収差量の変化量で定義される、球面収差量の変化率を表わしている。
Further, the expression (10) is derived by differentiating the expression (9) by d 1 . Expression (10) represents the change rate of the spherical aberration amount defined by the change amount of the spherical aberration amount per depth change amount of the observation target surface.

式(10)には、第2層のパラメータが含まれない。このことから、球面収差量の変化率は、第1層と観察対象面を含む第3層に依存し、中間層である第2層には影響しないことがわかる。さらに、θは積分変数であり、nは対物レンズ110とサンプルSの間の媒質の屈折率であって、一般に対物レンズ110によって定まる。これらを考慮すると、球面収差量の変化率を特定することで、式(10)を用いて観察対象面を含む第3層の屈折率nを算出し得ることがわかる。従って、球面収差量の変化率を特定することで、サンプルの構造によらず、任意の部位の屈折率を正確に算出することができる。 Equation (10) does not include the parameters of the second layer. From this, it can be seen that the change rate of the spherical aberration amount depends on the third layer including the first layer and the observation target surface, and does not affect the second layer which is the intermediate layer. Further, θ 1 is an integral variable, and n 1 is a refractive index of a medium between the objective lens 110 and the sample S, and is generally determined by the objective lens 110. In consideration of these, by identifying the rate of change of the spherical aberration, it can be seen that can calculate the refractive index n 3 of the third layer including an observation target surface using Equation (10). Therefore, by specifying the rate of change of the amount of spherical aberration, the refractive index of an arbitrary part can be accurately calculated regardless of the sample structure.

顕微鏡システム1では、球面収差量の変化率を直接算出する代わりに、補正環111の目標値の変化率(観察対象面の移動量と目標値の変化量の関係)を算出している。対物レンズが定まると目標値と球面収差量の関係は既知であり、球面収差の変化率を目標値の変化率に変換することができる。このため、目標値の変化率から屈折率を算出する顕微鏡システム1でも、サンプルの構造によらず、任意の部位の屈折率を正確に算出することができる。   In the microscope system 1, instead of directly calculating the rate of change of the spherical aberration amount, the rate of change of the target value of the correction ring 111 (the relationship between the amount of movement of the observation target surface and the amount of change of the target value) is calculated. When the objective lens is determined, the relationship between the target value and the spherical aberration amount is known, and the change rate of the spherical aberration can be converted into the change rate of the target value. For this reason, even in the microscope system 1 that calculates the refractive index from the change rate of the target value, the refractive index of an arbitrary part can be accurately calculated regardless of the structure of the sample.

図19は、本実施例に係る顕微鏡200の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡100の代わりに顕微鏡200を含む点が図1に示す顕微鏡システム1と異なっている。その他の点については、顕微鏡システム1と同様であるので、同一の構成要素については同一の符号で参照する。   FIG. 19 is a diagram illustrating the configuration of the microscope 200 according to the present embodiment. The microscope system according to this embodiment is different from the microscope system 1 shown in FIG. 1 in that a microscope 200 is included instead of the microscope 100. Since the other points are the same as those of the microscope system 1, the same components are referred to by the same reference numerals.

顕微鏡200は、共焦点顕微鏡である。サンプルSは、例えば、マウスの脳などの生体試料である。顕微鏡200は、図19に示すように、照明光路上に、レーザー201と、ビームエクスパンダ202と、ダイクロイックミラー203と、走査ユニット204と、瞳投影光学系205と、対物レンズ110とを備えている。なお、対物レンズ110、対物レンズ110を光軸方向に移動させるZ駆動部109、対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である補正環111については、実施例1に係る顕微鏡100と同様である。   The microscope 200 is a confocal microscope. The sample S is a biological sample such as a mouse brain, for example. As shown in FIG. 19, the microscope 200 includes a laser 201, a beam expander 202, a dichroic mirror 203, a scanning unit 204, a pupil projection optical system 205, and an objective lens 110 on the illumination optical path. Yes. Note that the objective lens 110, the Z driving unit 109 that moves the objective lens 110 in the optical axis direction, and the correction ring 111 that is a correction device that corrects spherical aberration by moving the lens in the objective lens 110 are described in the first embodiment. This is the same as the microscope 100.

レーザー201は、例えば、可視域や紫外域、赤外域のレーザー光を発振する。レーザー201から発振されるレーザーの出力は、光源制御装置11によって制御される。ビームエクスパンダ202は、レーザー201からのレーザー光(コリメート光)の光束を対物レンズ111の瞳径に応じて調整する光学系である。ダイクロイックミラー203は、励起光(レーザ光)とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。   For example, the laser 201 oscillates laser light in the visible region, the ultraviolet region, and the infrared region. The output of the laser oscillated from the laser 201 is controlled by the light source control device 11. The beam expander 202 is an optical system that adjusts the luminous flux of laser light (collimated light) from the laser 201 in accordance with the pupil diameter of the objective lens 111. The dichroic mirror 203 is a light separating unit that separates the excitation light (laser light) and the detection light (fluorescence) from the sample S, and separates the laser light and the fluorescence according to the wavelength.

走査ユニット204は、レーザー光でサンプルSを2次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナントスキャナなどを含んでいる。走査ユニット204の走査範囲が変化することでズーム倍率が変化する。走査ユニット204の走査範囲は、ズーム制御装置12によって制御される。瞳投影光学系205は、走査ユニット204を対物レンズ110の瞳位置に投影する光学系である。   The scanning unit 204 is a scanning unit for scanning the sample S two-dimensionally with laser light, and includes, for example, a galvano scanner or a resonant scanner. The zoom magnification changes as the scanning range of the scanning unit 204 changes. The scanning range of the scanning unit 204 is controlled by the zoom control device 12. The pupil projection optical system 205 is an optical system that projects the scanning unit 204 onto the pupil position of the objective lens 110.

顕微鏡200は、さらに、検出光路(ダイクロイックミラー203の透過光路)上に、ミラー206と、共焦点レンズ207と、共焦点絞り208と、集光レンズ209と、光検出器210とを備えている。光検出器210から出力された信号は、A/D変換器211に出力される。   The microscope 200 further includes a mirror 206, a confocal lens 207, a confocal stop 208, a condensing lens 209, and a photodetector 210 on the detection optical path (the transmission optical path of the dichroic mirror 203). . The signal output from the photodetector 210 is output to the A / D converter 211.

共焦点レンズ207は、共焦点絞り208上に、蛍光を集光するレンズである。共焦点絞り208は、対物レンズ110の焦点面と光学的に共役な位置に配置された絞りである。共焦点絞り208には、対物レンズ110の焦点位置から生じた蛍光を透過させるピンホールが形成されている。集光レンズ209は、共焦点絞り208を通過した蛍光を光検出器210に導くレンズである。   The confocal lens 207 is a lens that collects fluorescence on the confocal stop 208. The confocal stop 208 is a stop disposed at a position optically conjugate with the focal plane of the objective lens 110. The confocal stop 208 is formed with a pinhole that transmits fluorescence generated from the focal position of the objective lens 110. The condenser lens 209 is a lens that guides the fluorescence that has passed through the confocal stop 208 to the photodetector 210.

光検出器210は、例えば、光電子増倍管(PMT)であり、入射した蛍光の光量に応じたアナログ信号を出力する。A/D変換器211は、光検出器210からのアナログ信号をデジタル信号(輝度信号)に変換して、演算装置20に出力する。   The photodetector 210 is a photomultiplier tube (PMT), for example, and outputs an analog signal corresponding to the amount of incident fluorescence. The A / D converter 211 converts the analog signal from the photodetector 210 into a digital signal (luminance signal) and outputs it to the arithmetic unit 20.

以上のように構成された本実施例に係る顕微鏡システムでは、顕微鏡200は、走査ユニット204を用いてレーザー光でサンプルSを走査して、サンプルSの各位置からの蛍光を光検出器210で検出する。そして、演算装置20は、光検出器210からの信号を変換したデジタル信号(輝度信号)と走査ユニット204の走査情報とに基づいて、画像データを生成する。即ち、本実施例に係る顕微鏡システムでは、顕微鏡200と演算装置20により構成される顕微鏡装置が、サンプルSの画像データを取得する。   In the microscope system according to this embodiment configured as described above, the microscope 200 scans the sample S with laser light using the scanning unit 204, and the fluorescence from each position of the sample S is detected by the photodetector 210. To detect. Then, the arithmetic unit 20 generates image data based on the digital signal (luminance signal) obtained by converting the signal from the photodetector 210 and the scanning information of the scanning unit 204. That is, in the microscope system according to the present embodiment, the microscope apparatus configured by the microscope 200 and the arithmetic unit 20 acquires the image data of the sample S.

本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様の処理を行うことができる。このため、画像のコントラストを適切に評価して目標値を算出することが可能であり、短時間で球面収差を良好に補正することができる。また、サンプル内の任意の部位の屈折率を算出することもできる。   In the microscope system according to the present embodiment, the same processing as that of the microscope system 1 according to the first embodiment can be performed. Therefore, the target value can be calculated by appropriately evaluating the contrast of the image, and the spherical aberration can be corrected well in a short time. In addition, the refractive index of an arbitrary part in the sample can be calculated.

図20は、本実施例に係る顕微鏡300の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡100の代わりに顕微鏡300を含む点が図1に示す顕微鏡システム1と異なっている。その他の点については、顕微鏡システム1と同様であるので、同一の構成要素については同一の符号で参照する。   FIG. 20 is a diagram illustrating the configuration of the microscope 300 according to the present embodiment. The microscope system according to the present embodiment is different from the microscope system 1 shown in FIG. 1 in that a microscope 300 is included instead of the microscope 100. Since the other points are the same as those of the microscope system 1, the same components are referred to by the same reference numerals.

顕微鏡300は、走査型ではない通常の蛍光顕微鏡である。なお、顕微鏡300は、ズーム機能を備えているため、ズーム顕微鏡とも呼ばれる。サンプルSは、例えば、マウスの脳などの生体試料である。顕微鏡300は、図20に示すように、照明光路上に、光源302を内蔵したランプハウス301と、コレクタレンズ303と、蛍光キューブ304と、ズームレンズ305と、対物レンズ110とを備えている。なお、対物レンズ110、対物レンズ110を光軸方向に移動させるZ駆動部109、対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である補正環111については、実施例1に係る顕微鏡100と同様である。   The microscope 300 is a normal fluorescence microscope that is not a scanning type. Note that the microscope 300 is also called a zoom microscope because it has a zoom function. The sample S is a biological sample such as a mouse brain, for example. As shown in FIG. 20, the microscope 300 includes a lamp house 301 including a light source 302, a collector lens 303, a fluorescent cube 304, a zoom lens 305, and an objective lens 110 on the illumination optical path. Note that the objective lens 110, the Z driving unit 109 that moves the objective lens 110 in the optical axis direction, and the correction ring 111 that is a correction device that corrects spherical aberration by moving the lens in the objective lens 110 are described in the first embodiment. This is the same as the microscope 100.

光源302は、例えば、LED光源、高出力の水銀ランプなどである。なお、光源302の出力は、光源制御装置11によって制御される。コレクタレンズ303は、光源302からの励起光をコリメートする。蛍光キューブ304は、図示しないダイクロイックミラーと励起フィルタと吸収フィルタとを備えている。蛍光キューブ304は、励起光とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長により励起光と蛍光を分離する。   The light source 302 is, for example, an LED light source or a high output mercury lamp. The output of the light source 302 is controlled by the light source control device 11. The collector lens 303 collimates the excitation light from the light source 302. The fluorescent cube 304 includes a dichroic mirror, an excitation filter, and an absorption filter (not shown). The fluorescent cube 304 is a light separation unit that separates excitation light and detection light (fluorescence) from the sample S, and separates excitation light and fluorescence according to wavelength.

ズームレンズ305は、ズームレンズ305を構成するレンズ間の距離が変化するように構成されている。ズーム制御装置12がレンズ間の距離を図示しないモータ等によって変化させることでズーム倍率が変化する。即ち、ズームレンズ305は、ズーム制御装置12によって制御される。   The zoom lens 305 is configured such that the distance between the lenses constituting the zoom lens 305 changes. The zoom magnification is changed by the zoom control device 12 changing the distance between the lenses by a motor or the like (not shown). That is, the zoom lens 305 is controlled by the zoom control device 12.

顕微鏡300は、さらに、検出光路(蛍光キューブ304の透過光路)上に、結像レンズ306と、撮像装置307を備えている。結像レンズ306は、対物レンズ110及びズームレンズ305を介して入射する蛍光を撮像装置307上に集光させて、サンプルSの光学像を形成する。撮像装置307は、例えば、CCDカメラであり、サンプルSの光学像を撮像してサンプルSの画像データを生成する。撮像装置307は、生成した画像データを演算装置20に出力する。本実施例に係る顕微鏡システムでは、顕微鏡300である顕微鏡装置が、サンプルSの画像データを取得する。   The microscope 300 further includes an imaging lens 306 and an imaging device 307 on the detection optical path (the transmission optical path of the fluorescent cube 304). The imaging lens 306 condenses the fluorescence incident through the objective lens 110 and the zoom lens 305 on the imaging device 307 to form an optical image of the sample S. The imaging device 307 is, for example, a CCD camera, and captures an optical image of the sample S to generate image data of the sample S. The imaging device 307 outputs the generated image data to the arithmetic device 20. In the microscope system according to the present embodiment, the microscope apparatus that is the microscope 300 acquires the image data of the sample S.

本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様の処理を行うことができる。このため、画像のコントラストを適切に評価して目標値を算出することが可能であり、短時間で球面収差を良好に補正することができる。また、サンプル内の任意の部位の屈折率を算出することもできる。   In the microscope system according to the present embodiment, the same processing as that of the microscope system 1 according to the first embodiment can be performed. Therefore, the target value can be calculated by appropriately evaluating the contrast of the image, and the spherical aberration can be corrected well in a short time. In addition, the refractive index of an arbitrary part in the sample can be calculated.

上述した各実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。顕微鏡システム、算出方法及びプログラムは、特許請求の範囲により規定される範囲において、さまざまな変形、変更が可能である。この明細書で説明される個別の実施例の文脈におけるいくつかの特徴を組み合わせて単一の実施例としてもよい。   The above-described embodiments are specific examples for facilitating understanding of the invention, and the present invention is not limited to these embodiments. The microscope system, the calculation method, and the program can be variously modified and changed within the scope defined by the claims. Several features in the context of the individual embodiments described in this specification may be combined into a single embodiment.

Z制御装置13がZ駆動部109を制御して観察対象面の位置を変化させる構成を例示したが、Z制御装置13は、顕微鏡のステージを光軸方向に移動させることにより観察対象面の位置を変化させてもよい。   The configuration in which the Z control device 13 controls the Z drive unit 109 to change the position of the observation target surface is illustrated, but the Z control device 13 moves the microscope stage in the optical axis direction to move the position of the observation target surface. May be changed.

また、観察対象面の深さによって変化する球面収差を補正する補正装置として補正環111を例示したが、補正装置は、光路上で生じる球面収差の量を変化させることができるものであればよい。補正装置は、例えば、LCOS(Liquid crystal on silicon、商標)、DFM(Deformable Mirror)、液体レンズなどを用いた装置であってもよい。また、発生する球面収差量が大きく単一の補正装置では十分に球面収差を補正しきれない場合には、補正する球面収差量を複数の補正装置で分担して、観察対象面で生じる球面収差を補正してもよい。   In addition, the correction ring 111 is illustrated as a correction device that corrects the spherical aberration that varies depending on the depth of the observation target surface. However, the correction device may be any device that can change the amount of spherical aberration that occurs on the optical path. . The correction device may be, for example, a device using LCOS (Liquid crystal on silicon (trademark)), DFM (Deformable Mirror), a liquid lens, or the like. In addition, when the amount of generated spherical aberration is large and a single correction device cannot sufficiently correct spherical aberration, the amount of spherical aberration to be corrected is shared by a plurality of correction devices, and spherical aberration generated on the observation target surface May be corrected.

また、画素分解能が光学分解能よりも大きい、即ち、画素分解能から算出されるピクセルサイズが光学的に識別し得る2点間の距離よりも大きい場合には、発生した球面収差が画像データに十分に反映していない可能性がある。このような場合には、発生した球面収差を画像データ、ひいては評価値に正しく反映させるため、画素分解能が光学分解能よりも小さくなるように、ズーム倍率を高くした状態で目標値算出処理を実行してもよい。これにより、観察対象面に生じた球面収差をより高い精度で補正する設定値を算出することが可能となる。   In addition, when the pixel resolution is larger than the optical resolution, that is, when the pixel size calculated from the pixel resolution is larger than the distance between two points that can be optically identified, the generated spherical aberration is sufficient in the image data. It may not be reflected. In such a case, in order to correctly reflect the generated spherical aberration in the image data and thus in the evaluation value, the target value calculation process is executed with the zoom magnification increased so that the pixel resolution is smaller than the optical resolution. May be. Thereby, it is possible to calculate a set value for correcting the spherical aberration generated on the observation target surface with higher accuracy.

また、評価値を算出する方法として、設定値毎に1枚の画像データを取得し、取得した画像データ毎に評価値を算出する例を示したが、設定値毎に複数の画像データを取得して、カルマンフィルタ等を用いて複数の画像データから評価値を算出してもよい。このような方法によれば、画像データの各々に含まれるノイズ成分を設定値毎の複数の画像データを用いて相殺させることができるため、より精度の高い評価値を算出することができる。   In addition, as an example of a method for calculating an evaluation value, one image data is acquired for each set value, and an evaluation value is calculated for each acquired image data. However, a plurality of image data is acquired for each set value. Then, the evaluation value may be calculated from a plurality of image data using a Kalman filter or the like. According to such a method, the noise component included in each of the image data can be canceled by using a plurality of image data for each set value, so that a more accurate evaluation value can be calculated.

1 顕微鏡システム
10 顕微鏡制御装置
11 光源制御装置
12 ズーム制御装置
13 Z制御装置
14 補正環制御装置
20 演算装置
30 表示装置
40 キーボード
50 補正環操作装置
60 Z駆動部操作装置
100、200、300 顕微鏡
101、201 レーザー
102、204 走査ユニット
103、106、205 瞳投影光学系
104、206 ミラー
105、203 ダイクロイックミラー
107、210 光検出器
108、211 A/D変換器
109 Z駆動部
110 対物レンズ
111 補正環
202 ビームエクスパンダ
207 共焦点レンズ
208 共焦点絞り
209 集光レンズ
301 ランプハウス
302 光源
303 コレクタレンズ
304 蛍光キューブ
305 ズームレンズ
306 結像レンズ
307 撮像装置
S サンプル
DESCRIPTION OF SYMBOLS 1 Microscope system 10 Microscope control apparatus 11 Light source control apparatus 12 Zoom control apparatus 13 Z control apparatus 14 Correction ring control apparatus 20 Arithmetic apparatus 30 Display apparatus 40 Keyboard 50 Correction ring operation apparatus 60 Z drive part operation apparatuses 100, 200, 300 Microscope 101 , 201 Laser 102, 204 Scanning unit 103, 106, 205 Pupil projection optical system 104, 206 Mirror 105, 203 Dichroic mirror 107, 210 Photo detector 108, 211 A / D converter 109 Z drive unit 110 Objective lens 111 Correction ring 202 Beam expander 207 Confocal lens 208 Confocal stop 209 Condensing lens 301 Lamp house 302 Light source 303 Collector lens 304 Fluorescent cube 305 Zoom lens 306 Imaging lens 307 Imaging device S Sample

Claims (9)

球面収差を補正する補正装置を有し、前記補正装置の設定値が異なる複数の状態で複数の画像データを取得する顕微鏡装置と、
画素間の画素値の差分に基づいて画像のコントラストを評価する評価式を用いて、前記顕微鏡装置で取得された前記複数の画像データから複数のコントラスト値を算出し、算出した前記複数のコントラスト値に基づいて、前記顕微鏡装置で発生した球面収差量に対応する前記補正装置の設定値である設定目標値を算出する演算手段と、を備え、
前記演算手段は、前記複数のコントラスト値を算出する処理において、各々が、画素値の差分が算出される画素間の異なる間隔である、複数のシフト量を使用する
ことを特徴とする顕微鏡システム。
A microscope apparatus having a correction apparatus for correcting spherical aberration, and acquiring a plurality of image data in a plurality of states with different setting values of the correction apparatus;
A plurality of contrast values are calculated from the plurality of image data acquired by the microscope apparatus using an evaluation formula for evaluating a contrast of an image based on a difference in pixel values between pixels, and the calculated plurality of contrast values And a calculation means for calculating a setting target value that is a setting value of the correction device corresponding to the amount of spherical aberration generated in the microscope device,
The microscope system according to claim 1, wherein in the process of calculating the plurality of contrast values, a plurality of shift amounts, each of which is a different interval between pixels from which a difference between pixel values is calculated, are used.
請求項1に記載の顕微鏡システムにおいて、
前記演算装置は、前記複数の画像データの各々のコントラスト値を、前記複数のシフト量を用いて算出する
ことを特徴とする顕微鏡システム。
The microscope system according to claim 1, wherein
The arithmetic system calculates a contrast value of each of the plurality of image data using the plurality of shift amounts.
請求項1または請求項2に記載の顕微鏡システムにおいて、
前記顕微鏡装置は、前記複数の画像データを複数回取得し、
前記演算装置は、前記設定目標値を複数回算出し、算出された複数の前記設定目標値に基づいて、前記複数の設定目標値よりも確からしい第2の設定目標値を算出する
ことを特徴とする顕微鏡システム。
The microscope system according to claim 1 or 2,
The microscope apparatus acquires the plurality of image data a plurality of times,
The computing device calculates the set target value a plurality of times, and calculates a second set target value that is more likely than the set target values based on the calculated set target values. A microscope system.
請求項1または請求項2に記載の顕微鏡システムにおいて、
前記顕微鏡装置は、前記複数の画像データを複数回取得し、
前記演算装置は、前記設定目標値を複数回算出し、算出された複数の前記設定目標値に基づいて、前記複数の設定目標値から最も確からしい第2の設定目標値を選択する
ことを特徴とする顕微鏡システム。
The microscope system according to claim 1 or 2,
The microscope apparatus acquires the plurality of image data a plurality of times,
The arithmetic device calculates the set target value a plurality of times, and selects the most probable second set target value from the plurality of set target values based on the calculated set target values. A microscope system.
請求項3または請求項4に記載の顕微鏡システムにおいて、
前記演算装置は、算出した前記設定目標値の信頼性の高低を判定し、
前記顕微鏡装置は、前記設定目標値の信頼性が低いと判定した場合に、前記複数の画像データを再度取得する
ことを特徴とする顕微鏡システム。
The microscope system according to claim 3 or claim 4,
The arithmetic device determines the level of reliability of the calculated set target value,
When the microscope apparatus determines that the reliability of the set target value is low, the microscope apparatus acquires the plurality of image data again.
請求項5に記載の顕微鏡システムにおいて、さらに、
前記演算装置は、前記設定目標値の信頼性の高低を、前記複数のコントラスト値に基づいて判定する
ことを特徴とする顕微鏡システム。
The microscope system according to claim 5, further comprising:
The arithmetic system determines whether the reliability of the set target value is high or low based on the plurality of contrast values.
請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、
前記顕微鏡装置は、さらに、対物レンズを有し、
前記補正装置は、前記対物レンズ内のレンズを移動させる補正環を含む
ことを特徴とする顕微鏡システム。
The microscope system according to any one of claims 1 to 6,
The microscope apparatus further includes an objective lens,
The microscope system, wherein the correction device includes a correction ring for moving a lens in the objective lens.
球面収差を補正する補正装置の設定値が異なる複数の状態で複数の画像データを取得し、
画素間の画素値の差分に基づいて画像のコントラストを評価する評価式を用いて、前記補正装置を有する顕微鏡装置が取得した前記複数の画像データから複数のコントラスト値を算出し、
前記複数のコントラスト値に基づいて、前記顕微鏡装置で発生した球面収差量に対応する前記補正装置の設定値である設定目標値を算出し、
前記複数のコントラスト値は、画素値の差分が算出される画素間の異なる間隔である複数のシフト量を使用して算出される
ことを特徴とする算出方法。
Acquire a plurality of image data in a plurality of states with different setting values of a correction device for correcting spherical aberration,
Using an evaluation formula that evaluates the contrast of an image based on a difference in pixel values between pixels, a plurality of contrast values are calculated from the plurality of image data acquired by the microscope apparatus having the correction device,
Based on the plurality of contrast values, a setting target value that is a setting value of the correction device corresponding to the amount of spherical aberration generated in the microscope device is calculated,
The calculation method characterized in that the plurality of contrast values are calculated using a plurality of shift amounts which are different intervals between pixels from which a difference of pixel values is calculated.
画素間の画素値の差分に基づいて画像のコントラストを評価する評価式を用いて、球面収差を補正する補正装置の設定値が異なる複数の状態で顕微鏡装置が取得した複数の画像データから複数のコントラスト値を算出し、
前記複数のコントラスト値に基づいて、前記顕微鏡装置で発生した球面収差量に対応する前記補正装置の設定値である設定目標値を算出し、
前記複数のコントラスト値は、画素値の差分が算出される画素間の異なる間隔である複数のシフト量を使用して算出される
処理をコンピュータに実行させることを特徴とするプログラム。
Using an evaluation formula that evaluates the contrast of an image based on a difference in pixel values between pixels, a plurality of image data acquired from a plurality of image data acquired by a microscope apparatus in a plurality of states with different setting values of a correction device that corrects spherical aberration Calculate the contrast value,
Based on the plurality of contrast values, a setting target value that is a setting value of the correction device corresponding to the amount of spherical aberration generated in the microscope device is calculated,
The program for causing the computer to execute a process of calculating the plurality of contrast values using a plurality of shift amounts which are different intervals between pixels from which a difference of pixel values is calculated.
JP2015141962A 2015-07-16 2015-07-16 Microscope system, calculation method, and program Active JP6562547B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015141962A JP6562547B2 (en) 2015-07-16 2015-07-16 Microscope system, calculation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015141962A JP6562547B2 (en) 2015-07-16 2015-07-16 Microscope system, calculation method, and program

Publications (2)

Publication Number Publication Date
JP2017026664A true JP2017026664A (en) 2017-02-02
JP6562547B2 JP6562547B2 (en) 2019-08-21

Family

ID=57949640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015141962A Active JP6562547B2 (en) 2015-07-16 2015-07-16 Microscope system, calculation method, and program

Country Status (1)

Country Link
JP (1) JP6562547B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108627963A (en) * 2017-03-20 2018-10-09 卡尔蔡司显微镜有限责任公司 Microscope application method and for the microscope to image objects
JP2018194780A (en) * 2017-05-22 2018-12-06 オリンパス株式会社 Microscope system, control method and program
CN110476102A (en) * 2017-03-20 2019-11-19 卡尔蔡司显微镜有限责任公司 The microscope and method of micro-imaging for object
JP2019215437A (en) * 2018-06-12 2019-12-19 株式会社ニコン Microscope, method and program
WO2021161432A1 (en) * 2020-02-12 2021-08-19 オリンパス株式会社 Microsope system, setting search method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073616A (en) * 2006-12-11 2012-04-12 Cytyc Corp Focusing method for image processing system
JP2014507685A (en) * 2011-02-01 2014-03-27 コンスティテューション・メディカル・インコーポレイテッド High-speed automatic focusing in microscope imaging
JP2014160213A (en) * 2013-02-20 2014-09-04 Olympus Corp Microscope system and program
WO2014141647A1 (en) * 2013-03-13 2014-09-18 ソニー株式会社 Information processing device, information processing method, and information processing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073616A (en) * 2006-12-11 2012-04-12 Cytyc Corp Focusing method for image processing system
JP2014507685A (en) * 2011-02-01 2014-03-27 コンスティテューション・メディカル・インコーポレイテッド High-speed automatic focusing in microscope imaging
JP2014160213A (en) * 2013-02-20 2014-09-04 Olympus Corp Microscope system and program
WO2014141647A1 (en) * 2013-03-13 2014-09-18 ソニー株式会社 Information processing device, information processing method, and information processing program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108627963A (en) * 2017-03-20 2018-10-09 卡尔蔡司显微镜有限责任公司 Microscope application method and for the microscope to image objects
CN110476102A (en) * 2017-03-20 2019-11-19 卡尔蔡司显微镜有限责任公司 The microscope and method of micro-imaging for object
US11300782B2 (en) 2017-03-20 2022-04-12 Carl Zeiss Microscopy Gmbh Microscopy method and microscope for imaging an object
JP2018194780A (en) * 2017-05-22 2018-12-06 オリンパス株式会社 Microscope system, control method and program
JP2019215437A (en) * 2018-06-12 2019-12-19 株式会社ニコン Microscope, method and program
WO2021161432A1 (en) * 2020-02-12 2021-08-19 オリンパス株式会社 Microsope system, setting search method, and program
JP7369801B2 (en) 2020-02-12 2023-10-26 株式会社エビデント Microscope system, setting search method, and program

Also Published As

Publication number Publication date
JP6562547B2 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
JP6555811B2 (en) Microscope system, identification method, and program
JP6552041B2 (en) Microscope system, refractive index calculation method, and program
JP6562547B2 (en) Microscope system, calculation method, and program
US10379329B2 (en) Microscope system and setting value calculation method
JP5489392B2 (en) Optical system evaluation apparatus, optical system evaluation method, and optical system evaluation program
US9383569B2 (en) Magnification observation device
JP6434296B2 (en) Microscope system, set value calculation method, and program
US10416427B2 (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
WO2021019597A1 (en) Nucleic acid analysis device and method
JP6423261B2 (en) Microscope system, function calculation method, and program
JP6422761B2 (en) Microscope system and method for calculating relationship between Z position and set value of correction device
JP2009109315A (en) Light measuring device and scanning optical system
US10823675B2 (en) Microscope, observation method, and a storage medium
US9400377B2 (en) Automatic focusing method for an optical instrument for magnified viewing of an object
JP4968337B2 (en) Confocal microscope
JP6312410B2 (en) Alignment apparatus, microscope system, alignment method, and alignment program
JP2015210396A (en) Aligment device, microscope system, alignment method and alignment program
JP2007286147A (en) Infrared microscope
JP7369801B2 (en) Microscope system, setting search method, and program
Hopkinson et al. A combined fluorescence lifetime and depth imaging system for medical imaging and surgical guidance
JP2007279085A (en) Confocal microscope
JP2019070737A (en) Observation device, focusing control method, and program
JP5881445B2 (en) microscope
JP2009293969A (en) Spectrometer and method
WO2019244275A1 (en) Observation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R151 Written notification of patent or utility model registration

Ref document number: 6562547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250