JP2019070737A - Observation device, focusing control method, and program - Google Patents

Observation device, focusing control method, and program Download PDF

Info

Publication number
JP2019070737A
JP2019070737A JP2017196913A JP2017196913A JP2019070737A JP 2019070737 A JP2019070737 A JP 2019070737A JP 2017196913 A JP2017196913 A JP 2017196913A JP 2017196913 A JP2017196913 A JP 2017196913A JP 2019070737 A JP2019070737 A JP 2019070737A
Authority
JP
Japan
Prior art keywords
focusing
evaluation value
processing unit
threshold
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017196913A
Other languages
Japanese (ja)
Inventor
修平 泉
Shuhei Izumi
修平 泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017196913A priority Critical patent/JP2019070737A/en
Publication of JP2019070737A publication Critical patent/JP2019070737A/en
Pending legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

To provide a technique that performs contrast AF at high speed with high accuracy using a few computational resources.SOLUTION: A microscope device 1 includes a processing unit 40 for performing focusing control processing. The processing unit 40 computes an evaluation value having positive correlations with both contrast of an image and size of a focusing target area on the basis of data corresponding to the focusing target area of data on the image of a sample S in the focusing control processing. Furthermore, the processing unit 40 compares the evaluation value with at least one threshold value corresponding to the size of the focusing target area and having a positive correlation with the size of the focusing target area.SELECTED DRAWING: Figure 1

Description

本明細書の開示は、コントラストAF方式でオートフォーカス(以降、AFと記す。)を行う観察装置、合焦制御方法、及び、プログラムに関する。   The disclosure of the present specification relates to an observation apparatus that performs autofocus (hereinafter, referred to as AF) by a contrast AF method, a focus control method, and a program.

近年の顕微鏡システムは、観察作業を効率的に行うために、AF機能を搭載している。AFには様々な方式が存在するが、CCDやCMOS等の撮像デバイスを備える顕微鏡システムに採用されるAF方式としては、コントラストAFと呼ばれるAF方式が代表的である。   In recent years, a microscope system has an AF function in order to perform an observation operation efficiently. Although various methods exist for AF, an AF method called contrast AF is typical as an AF method employed for a microscope system provided with an imaging device such as a CCD or CMOS.

コントラストAFでは、画像のコントラストと正の相関があるAF評価値を画像データから算出してそのAF評価値が最も高くなる位置を合焦位置として検出する。このようなコントラストAFは、顕微鏡システムだけではなく、カメラなどでも採用されている。例えば、特許文献1には、コントラストAFを行う顕微鏡が、特許文献2には、コントラストAFを行うカメラが、記載されている。   In contrast AF, an AF evaluation value that has a positive correlation with the contrast of the image is calculated from the image data, and the position where the AF evaluation value is the highest is detected as the in-focus position. Such contrast AF is employed not only in a microscope system but also in a camera or the like. For example, Patent Document 1 describes a microscope performing contrast AF, and Patent Document 2 describes a camera performing contrast AF.

コントラストAFにおけるAF評価値の算出方法としては様々な方法が提案されているが、隣接画素の画素値の差分の二乗の総和、つまり、シフト量1のBrenner gradient、を用いて算出する方法が一般的である。   Various methods have been proposed as methods for calculating AF evaluation values in contrast AF, but the method of calculating using the sum of squares of differences between pixel values of adjacent pixels, that is, Brenner gradient of shift amount 1 is generally used. It is

ただし、Brenner gradientは、計算対象とする画素(以降、AF対象画素と記す。)が増えるほど大きな値になることから、コントラストAFでは、多くの場合、Brenner gradientそのものをAF評価値として使用するのではなく、Brenner gradientをAF対象画素の画素数を用いて正規化した値をAF評価値として使用する。   However, since Brenner gradient has a larger value as the number of pixels to be calculated (hereinafter referred to as AF target pixels) increases, in many cases, Brenner gradient itself is used as an AF evaluation value in contrast AF. Instead, the normalized value of Brenner gradient using the number of pixels of the AF target pixel is used as an AF evaluation value.

特許第5881445号公報明細書Patent No. 588 1 445 特許第5478213号公報明細書Patent No. 5478213 specification

ところで、上述したBrenner gradient算出処理や正規化処理には、“二乗”や“除算”といった計算リソースを比較的多く消費する演算が含まれている。AFの高速化にあたっては、画像を取得する度に行われるこれらの処理が高速化を制限する一要因となり得る。   By the way, the above-described Brenner gradient calculation processing and normalization processing include an operation that consumes a relatively large amount of calculation resources such as "square" and "division". In order to speed up AF, these processes performed every time an image is acquired can be one factor that limits the speeding up.

以上のような実情を踏まえ、本発明の一側面に係る目的は、少ない計算リソースで高速且つ精度の高いコントラストAFを実現する技術を提供することである。   Based on the above-mentioned actual situation, an object according to one aspect of the present invention is to provide a technology for realizing high-speed and high-precision contrast AF with a small number of calculation resources.

本発明の一態様に係る観察装置は、合焦制御処理を行う処理部を備える観察装置である。前記処理部は、前記合焦制御処理において、試料の画像のデータのうちの合焦対象領域に対応するデータに基づいて、前記画像のコントラストと前記合焦対象領域のサイズの両方と正の相関を有する評価値を算出し、前記評価値を、前記合焦対象領域のサイズに応じた少なくとも1つの閾値であって、前記合焦対象領域のサイズと正の相関を有する前記少なくとも1つの閾値と、比較する。   An observation apparatus according to an aspect of the present invention is an observation apparatus including a processing unit that performs focusing control processing. In the focusing control process, the processing unit positively correlates with both the contrast of the image and the size of the focusing target region based on data corresponding to the focusing target region of the data of the sample image. And calculating the evaluation value as at least one threshold according to the size of the focusing target area, the at least one threshold having a positive correlation with the size of the focusing target area, and ,Compare.

本発明の一態様に係る合焦制御方法は、観察装置の処理部が行う合焦制御方法であり、試料の画像のデータのうちの合焦対象領域に対応するデータに基づいて、前記画像のコントラストと前記合焦対象領域のサイズの両方と正の相関を有する評価値を算出し、前記評価値を、前記合焦対象領域のサイズに応じた少なくとも1つの閾値であって、前記合焦対象領域のサイズと正の相関を有する前記少なくとも1つの閾値と、比較する。   The focusing control method according to an aspect of the present invention is the focusing control method performed by the processing unit of the observation device, and the focusing control method of the image is performed based on data corresponding to the focusing target area among the data of the image of the sample. An evaluation value having a positive correlation with both the contrast and the size of the focus target area is calculated, and the evaluation value is at least one threshold corresponding to the size of the focus target area, the focus target Compare with the at least one threshold that is positively correlated with the size of the region.

本発明の一態様に係るプログラムは、観察装置が有する合焦制御処理を行う処理部に、試料の画像のデータのうちの合焦対象領域に対応するデータに基づいて、前記画像のコントラストと前記合焦対象領域のサイズの両方と正の相関を有する評価値を算出し、前記評価値を、前記合焦対象領域のサイズに応じた少なくとも1つの閾値であって、前記合焦対象領域のサイズと正の相関を有する前記少なくとも1つの閾値と、比較する処理を実行させる。   A program according to an aspect of the present invention is characterized in that, in a processing unit for performing focusing control processing included in an observation apparatus, the contrast of the image and the contrast of the image are determined based on data corresponding to a focusing target area An evaluation value having a positive correlation with both of the sizes of the focusing area is calculated, and the evaluation value is at least one threshold according to the size of the focusing area, and the size of the focusing area And the process of comparing with the at least one threshold value having positive correlation with.

上記の態様によれば、少ない計算リソースで高速且つ精度の高いコントラストAFを実現する技術を提供することができる。   According to the above aspect, it is possible to provide a technology for realizing high-speed and high-precision contrast AF with less computational resources.

第1の実施形態に係る顕微鏡システムの構成を例示した図である。It is a figure which illustrated composition of a microscope system concerning a 1st embodiment. ピーク検出AF方式について説明するための図である。It is a figure for demonstrating a peak detection AF system. 偽合焦について説明するための図である。It is a figure for demonstrating false focusing. ノイズ判定閾値について説明するための図である。It is a figure for demonstrating a noise determination threshold value. 合焦点位置近傍判定閾値について説明するための図である。It is a figure for demonstrating a focus position vicinity determination threshold value. 合焦対象領域のサイズと評価値の関係を説明するための図である。It is a figure for demonstrating the relationship between the size of a focusing object area | region, and an evaluation value. 合焦制御処理のフローチャートである。It is a flowchart of focusing control processing. 合焦判定処理のフローチャートである。It is a flowchart of a focusing determination process. 第2の実施形態に係る顕微鏡システムの構成を例示した図である。It is a figure which illustrated composition of a microscope system concerning a 2nd embodiment. コンピュータ90の構成を例示した図である。FIG. 2 is a diagram illustrating the configuration of a computer 90.

[第1の実施形態]
図1は、本実施形態に係る顕微鏡システムの構成を例示した図である。図1に示す顕微鏡システムは、コントラストAFを行う観察装置の一例である顕微鏡装置1と、顕微鏡装置1が取得した画像を表示する表示装置70と、顕微鏡装置1へ命令を入力する入力装置80を備えている。
First Embodiment
FIG. 1 is a diagram illustrating the configuration of a microscope system according to the present embodiment. The microscope system shown in FIG. 1 includes a microscope device 1 which is an example of an observation device which performs contrast AF, a display device 70 which displays an image acquired by the microscope device 1, and an input device 80 which inputs commands to the microscope device 1. Have.

顕微鏡装置1は、試料Sが載置されるステージ10と、試料Sの光学像を形成する光学系20と、試料Sの光学像を画像データへ変換する撮像装置30を備えている。顕微鏡装置1は、さらに、合焦制御処理を行う処理部40と、準焦装置60を動かす駆動装置50と、ステージ10と顕微鏡装置1の撮像対象面との距離を変更する準焦装置60を備えている。   The microscope apparatus 1 includes a stage 10 on which the sample S is mounted, an optical system 20 for forming an optical image of the sample S, and an imaging apparatus 30 for converting the optical image of the sample S into image data. The microscope apparatus 1 further includes a processing unit 40 that performs focusing control processing, a driving apparatus 50 that moves the focusing apparatus 60, and a focusing apparatus 60 that changes the distance between the stage 10 and the imaging target surface of the microscope apparatus 1. Have.

光学系20は、例えば、対物レンズと結像レンズを含む結像光学系であり、試料Sの光学像を撮像装置30の受光面に投影する。撮像装置30は、例えば、CCDイメージセンサ、CMOSイメージセンサなどの撮像素子を含むデジタルカメラである。撮像装置30は、試料Sの画像データを処理部40へ出力する。   The optical system 20 is, for example, an imaging optical system including an objective lens and an imaging lens, and projects an optical image of the sample S on the light receiving surface of the imaging device 30. The imaging device 30 is, for example, a digital camera including an imaging element such as a CCD image sensor or a CMOS image sensor. The imaging device 30 outputs the image data of the sample S to the processing unit 40.

処理部40は、例えば、顕微鏡装置1の筐体内に実装された電子回路であり、例えば、FPGA(Field Programmable Gate Array)である。処理部40は、画像伝送部41と合焦制御部42を備えている。画像伝送部41は、撮像装置30から出力された画像データを表示装置70へ伝送する。合焦制御部42は、後述する合焦制御処理を行う。   The processing unit 40 is, for example, an electronic circuit mounted in the housing of the microscope apparatus 1 and is, for example, an FPGA (Field Programmable Gate Array). The processing unit 40 includes an image transmission unit 41 and a focusing control unit 42. The image transmission unit 41 transmits the image data output from the imaging device 30 to the display device 70. The focusing control unit 42 performs focusing control processing described later.

駆動装置50は、例えば、処理部40から出力されたパルス信号により駆動するモータである。準焦装置60には、光学系20と撮像装置30が保持されている。準焦装置60は、駆動装置50の動力により、光学系20に含まれる対物レンズの光軸方向に沿って移動する。   The driving device 50 is, for example, a motor driven by a pulse signal output from the processing unit 40. The focusing device 60 holds an optical system 20 and an imaging device 30. The focusing device 60 moves along the optical axis direction of the objective lens included in the optical system 20 by the power of the driving device 50.

表示装置70は、例えば、液晶ディスプレイであるが、有機EL(OLED)ディスプレイ、CRTディスプレイなどであってもよい。入力装置80は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネルなどであってもよい。   The display device 70 is, for example, a liquid crystal display, but may be an organic EL (OLED) display, a CRT display, or the like. The input device 80 is, for example, a keyboard, but may be a mouse, a joystick, a touch panel, or the like.

以上のように構成された顕微鏡装置1は、準焦装置60を動かしながら準焦装置60の各位置において試料Sの画像を取得する。そして、最も高いコントラストの画像を取得したときの準焦装置60の位置を合焦位置として検出し、準焦装置60を合焦位置へ動かす。これにより、コントラストAFが実現される。なお、以降では、合焦位置を検出するために準焦装置60を動かしながら画像を取得する処理をAFサーチと記す。   The microscope apparatus 1 configured as described above acquires an image of the sample S at each position of the focusing device 60 while moving the focusing device 60. Then, the position of the focusing device 60 at the time of acquiring the highest contrast image is detected as the in-focus position, and the focusing device 60 is moved to the in-focus position. Thereby, the contrast AF is realized. Hereinafter, the process of acquiring an image while moving the focusing device 60 to detect the in-focus position is referred to as an AF search.

顕微鏡装置1で行われるコントラストAFについてさらに具体的に説明する。まず、コントラストAFで用いられるAF評価値の算出方法について説明する。   The contrast AF performed by the microscope apparatus 1 will be described more specifically. First, a method of calculating an AF evaluation value used in contrast AF will be described.

コントラストAFでは、画像のコントラストは、画像データを用いて算出されるAF評価値(以降、単に評価値と記す。)の高低で判断される。評価値は、画像のコントラストと正の相関を有する値であり、撮像装置30がAFサーチにおいて画像を取得する毎に算出される。画像を取得する度に行われる評価値算出処理が計算リソースを多く使用する重たい処理であると、AFの高速化が制限されてしまう。   In contrast AF, the contrast of an image is determined by the level of an AF evaluation value (hereinafter simply referred to as an evaluation value) calculated using image data. The evaluation value is a value having a positive correlation with the contrast of the image, and is calculated each time the imaging device 30 acquires an image in an AF search. If the evaluation value calculation process performed each time an image is acquired is a heavy process using a large amount of computational resources, speeding up of AF will be limited.

そこで、顕微鏡装置1では、処理部40は、合焦制御処理において、画像データのうちの合焦対象領域に対応するデータに基づいて、画像のコントラストと合焦対象領域のサイズの両方と正の相関を有する評価値を算出する。なお、合焦対象領域とは、関心領域(ROI)を指定してAFが行われる場合であればその関心領域のことである。関心領域は、利用者が入力装置80を用いて指定しても良く、顕微鏡装置1が自動的に指定してもよい。関心領域を指定せずにAFが行われる場合であれば顕微鏡装置1の視野範囲のことである。   Therefore, in the microscope apparatus 1, the processing unit 40 performs both of the contrast of the image and the size of the focus target area in the focus control processing based on the data corresponding to the focus target area of the image data and positive. Calculate an evaluation value having a correlation. The focusing target area is the area of interest if the area of interest (ROI) is specified and AF is performed. The region of interest may be designated by the user using the input device 80, or may be automatically designated by the microscope device 1. If the AF is performed without specifying the region of interest, it means the field of view of the microscope apparatus 1.

処理部40では、合焦対象領域のサイズと正の相関を有する評価値が算出されるため、従来の評価値を算出する場合とは異なり、評価値の算出過程で正規化処理(除算)が行われない。このため、計算リソースの消費を抑えることができる。また、評価値が画像のコントラストと正の相関を有することで、従来の評価値と同様に、画像のコントラストの高低を評価値により判断することができる。   Since the processing unit 40 calculates an evaluation value having a positive correlation with the size of the focus target area, the normalization process (division) is performed in the process of calculating the evaluation value, unlike the case where the conventional evaluation value is calculated. It does not happen. Therefore, the consumption of computational resources can be suppressed. Further, as the evaluation value has a positive correlation with the contrast of the image, the level of the contrast of the image can be determined by the evaluation value, as in the conventional evaluation value.

具体的には、処理部40は、下式(1)を用いて、評価値を算出してもよい。ここで、Eは評価値である。Iは画像データに含まれている合焦対象領域に対応する各画素の画素値である。N,Mは合焦対象領域に対応する画素(AF対象画素ともいう)の行数、列数である。
Specifically, the processing unit 40 may calculate the evaluation value using the following expression (1). Here, E is an evaluation value. I is a pixel value of each pixel corresponding to the focusing target area included in the image data. N and M are the number of rows and the number of columns of pixels (also referred to as AF target pixels) corresponding to the focus target area.

合焦対象領域が8×8の画素に投影される場合であれば、式(1)は下式(1−1)のように展開される。
If the focusing target area is projected onto the 8 × 8 pixel, the equation (1) is expanded as the following equation (1-1).

式(1)を用いて評価値を算出することで、“二乗”や“除算”といった演算を行うことがなく評価値を算出することができる。   By calculating the evaluation value using equation (1), the evaluation value can be calculated without performing operations such as “square” or “division”.

また、処理部40は、下式(2)を用いて、評価値を算出してもよい。即ち、評価値は、所謂、シフト量1のBrenner gradientであってもよい。
The processing unit 40 may also calculate the evaluation value using the following equation (2). That is, the evaluation value may be a so-called Brenner gradient of shift amount 1.

なお、式(1)と式(2)を比較すると、“二乗”演算を含まない式(1)の方が、計算リソースの消費が小さく、より計算の高速化が可能であるという点で望ましい。   It should be noted that comparing equation (1) with equation (2), equation (1) which does not include the “square” operation is preferable in that it consumes less computational resources and enables faster calculation. .

図2は、ピーク検出AF方式について説明するための図である。図3は、偽合焦について説明するための図である。図4は、ノイズ判定閾値について説明するための図である。図5は、合焦点位置近傍判定閾値について説明するための図である。次に、図2から図5を参照しながら、コントラストAFに用いられる閾値について説明する。この閾値は、評価値に関する閾値であり、AFの性能、主にAFの精度とAFの速度を改善するために用いられる。なお、以降では、コントラストAFの一種であるピーク検出AF方式を例にして説明する。   FIG. 2 is a diagram for explaining the peak detection AF method. FIG. 3 is a diagram for explaining false focusing. FIG. 4 is a diagram for explaining the noise determination threshold. FIG. 5 is a diagram for explaining the in-focus position vicinity determination threshold value. Next, the threshold used for contrast AF will be described with reference to FIGS. 2 to 5. This threshold is a threshold for the evaluation value, and is used to improve the performance of AF, mainly the accuracy of AF and the speed of AF. In the following, a peak detection AF method, which is a type of contrast AF, will be described as an example.

ピーク検出AF方式は、AFサーチ中に検出される、評価値のピーク位置を合焦位置として検出するコントラストAFの方式である。より詳細には、準焦装置60が予め決められたサーチ範囲を開始位置Zstartから終了位置Zendへ向かって移動しながら各位置(サンプリングポイントという。)で画像を取得し評価値を算出する。算出した最新の評価値とその時点における最大の評価値を比較し、最新の評価値がその時点における最大の評価値よりも大きい場合には最大の評価値を最新の評価値で更新する。そして、最新の評価値がその時点における最大の評価値に対して所定の割合(例えば、25%)を越えて低くなったときにその時点における最大の評価値が算出された画像を取得したときの準焦装置60の位置を合焦位置として検出する、というものである。   The peak detection AF method is a method of contrast AF in which the peak position of the evaluation value detected during the AF search is detected as the in-focus position. More specifically, while the focusing device 60 moves a predetermined search range from the start position Zstart toward the end position Zend, an image is obtained at each position (referred to as a sampling point) to calculate an evaluation value. The latest evaluation value calculated is compared with the maximum evaluation value at that time, and if the latest evaluation value is larger than the maximum evaluation value at that time, the maximum evaluation value is updated with the latest evaluation value. Then, when the latest evaluation value becomes lower than a predetermined ratio (for example, 25%) with respect to the maximum evaluation value at that time, when an image is obtained in which the maximum evaluation value at that time is calculated The position of the focusing device 60 is detected as the in-focus position.

図2には、開始位置Zstartから終了位置Zendに向かって準焦装置60が移動中に位置Z1(サンプリングポイントP1参照)で最大値に対して25%を越えて評価値が低下した例が示されている。この場合、その時点における最大の評価値Epeakを示す位置Zpeak(サンプリングポイントPp参照)を合焦位置として検出し、AFサーチを終了する。ピーク検出AF方式は、準焦装置60が終了位置Zendに達する前にAFサーチを打ち切ることができるため、終了位置ZendまでAFサーチを継続する場合に比べてAFの高速化が可能である。   FIG. 2 shows an example in which the evaluation value decreases by more than 25% with respect to the maximum value at position Z1 (see sampling point P1) while the focusing device 60 is moving from the start position Zstart to the end position Zend. It is done. In this case, the position Zpeak (refer to the sampling point Pp) indicating the largest evaluation value Epeak at that time is detected as the in-focus position, and the AF search is ended. In the peak detection AF method, since the AF search can be aborted before the focusing device 60 reaches the end position Zend, the speed of AF can be increased as compared with the case where the AF search is continued to the end position Zend.

その一方で、ピーク検出AF方式では、電気回路で外乱光を原因とするノイズが発生しそのノイズにより偽合焦と呼ばれる事象が発生し得る。これは、コントラストAFはサンプリングポイントが合焦位置に近づくほど大きな評価値が算出されることを前提としているが、ノイズにより合焦位置以外の位置に評価値のピーク(極大値)が生じ得るからである。   On the other hand, in the peak detection AF method, noise caused by disturbance light is generated in the electric circuit, and an event called false focusing may occur due to the noise. This is based on the premise that the contrast AF calculates a larger evaluation value as the sampling point approaches the in-focus position, but noise may cause a peak (maximum value) of the evaluation value at a position other than the in-focus position. It is.

図3には、位置Z2(サンプリングポイントP2)での評価値が位置Zfake(サンプリングポイントPf)での評価値Efakeに対して25%を超えて低下した例が示されている。この場合、ノイズの影響により生じたピーク位置Zfakeを合焦位置として誤検出し、AFサーチを終了する。このような偽合焦は、特に合焦位置から離れた位置で生じやすい。これは、合焦位置から離れた位置でノイズの影響を受けると、隣接するサンプリングポイントで算出される評価値が小さい又は評価値が算出できないため、大きく突出したピークとなりやすいからである。そのため、所定の割合を十分に大きく取っていた場合であっても、誤った位置を合焦位置として検出してしまう。   FIG. 3 shows an example in which the evaluation value at the position Z2 (sampling point P2) decreases by more than 25% with respect to the evaluation value Efake at the position Zfake (sampling point Pf). In this case, the peak position Zfake generated due to the influence of noise is erroneously detected as the in-focus position, and the AF search is ended. Such false focusing tends to occur particularly at a position away from the in-focus position. This is because, if affected by noise at a position away from the in-focus position, the evaluation value calculated at the adjacent sampling points is small or the evaluation value can not be calculated, and thus a peak that is greatly protruded tends to be easily generated. Therefore, even if the predetermined ratio is sufficiently large, an erroneous position is detected as the in-focus position.

そこで、顕微鏡装置1では、処理部40は、合焦制御処理において、評価値とノイズ判定閾値Eth1とを比較し、比較結果(第1の比較結果)に応じてピーク判定に用いられる最大の評価値を更新してもよい。なお、ノイズ判定閾値Eth1は、ノイズレベルに関する顕微鏡装置1の第1の閾値であり、偽合焦を抑制してAFの精度を改善するための閾値である。   Therefore, in the microscope device 1, the processing unit 40 compares the evaluation value with the noise determination threshold Eth1 in the focusing control process, and the maximum evaluation used for peak determination according to the comparison result (first comparison result) You may update the value. The noise determination threshold Eth1 is a first threshold for the noise level in the microscope apparatus 1 and is a threshold for suppressing false focusing and improving the accuracy of AF.

より具体的には、処理部40は、合焦制御処理において、最新の評価値がノイズ判定閾値Eth1を上回っている場合には、その最新の評価値がその時点での最大の評価値よりも大きければ最大の評価値をその最新の評価値で更新する。一方で、最新の評価値がノイズ判定閾値Eth1以下である場合には、最大の評価値を最新の評価値で更新しない。つまり、合焦検出を行わない。   More specifically, when the latest evaluation value exceeds the noise determination threshold Eth1 in the focusing control process, the processing unit 40 determines that the latest evaluation value is higher than the maximum evaluation value at that time. If it is larger, the largest evaluation value is updated with the latest evaluation value. On the other hand, when the latest evaluation value is equal to or less than the noise determination threshold Eth1, the maximum evaluation value is not updated with the latest evaluation value. That is, no focus detection is performed.

これにより、図4に示すように、評価値がノイズ判定閾値Eth1よりも大きい範囲が実際のピーク探索範囲となる。このため、合焦位置から離れた位置で生じ得る小さな評価値によるピークを合焦位置として誤検出することを回避することができるため、偽合焦の発生を大幅に抑制することができる。   Thereby, as shown in FIG. 4, the range where the evaluation value is larger than the noise determination threshold Eth1 is the actual peak search range. For this reason, it is possible to avoid false detection of a peak due to a small evaluation value that may occur at a position away from the in-focus position as the in-focus position, and it is possible to significantly suppress the occurrence of false focusing.

また、顕微鏡装置1では、処理部40は、合焦制御処理において、評価値と合焦近傍判定閾値Eth2とを比較し、比較結果(第2の比較結果)に応じて準焦装置60を制御してもよい。具体的には、比較結果に応じて準焦装置60の移動速度又は移動量を変更する。なお、合焦近傍判定閾値Eth2は、合焦評価値レベルに関する顕微鏡装置1の第2の閾値であり、AFの精度と速度を改善するための閾値である。合焦近傍判定閾値Eth2は、ノイズ判定閾値Eth1より大きな値であることが望ましい。   Further, in the microscope device 1, the processing unit 40 compares the evaluation value with the in-focus vicinity determination threshold Eth2 in the focusing control process, and controls the focusing device 60 according to the comparison result (second comparison result). You may Specifically, the moving speed or the moving amount of the focusing device 60 is changed according to the comparison result. The in-focus vicinity determination threshold Eth2 is a second threshold of the microscope apparatus 1 regarding the in-focus evaluation value level, and is a threshold for improving the accuracy and speed of the AF. It is desirable that the in-focus vicinity determination threshold Eth2 be a value larger than the noise determination threshold Eth1.

より具体的には、処理部40は、合焦制御処理において、評価値が合焦近傍判定閾値Eth2を上回っている場合には、準焦装置60は合焦位置近傍に位置すると判断し、準焦装置60を小さな移動速度又は移動量で制御する。つまり、サンプリングポイントを密に設ける。一方、評価値が合焦近傍判定閾値Eth2以下である場合には、準焦装置60は合焦位置から遠くに位置すると判断し、準焦装置60を大きな移動速度又は移動量で制御する。つまり、サンプリングポイントを粗く設ける。   More specifically, when the evaluation value exceeds the in-focus vicinity determination threshold Eth2 in the focusing control process, the processing unit 40 determines that the focusing device 60 is located in the vicinity of the in-focus position, The focusing device 60 is controlled at a small moving speed or moving amount. That is, the sampling points are closely provided. On the other hand, if the evaluation value is less than or equal to the in-focus determination threshold Eth2, the focusing device 60 determines that the focusing device 60 is located far from the in-focus position, and controls the focusing device 60 at a large moving speed or moving amount. That is, the sampling points are set roughly.

これにより、図5に示すように、合焦位置近傍は準焦装置60がゆっくりと動く低速サーチ範囲となるため、合焦位置近傍でより多くのサンプリングが行われることになる。このため、評価値のピーク位置をより高い精度で検出することが可能となり、AFの精度が向上する。また、合焦位置から離れた領域は準焦装置60が速く動く高速サーチ範囲となるため、合焦位置が存在しない領域での処理時間を短縮してAFの高速化を図ることができる。   As a result, as shown in FIG. 5, since the focusing device 60 is in the low speed search range in which the focusing device 60 moves slowly, more sampling is performed near the focusing position. Therefore, it is possible to detect the peak position of the evaluation value with higher accuracy, and the accuracy of AF is improved. In addition, since the area away from the in-focus position is a high-speed search range in which the focusing device 60 moves fast, the processing time in the area where the in-focus position does not exist can be shortened to speed up AF.

なお、図5には、合焦近傍判定閾値Eth2を用いて低速サーチ範囲を設けることで、低速サーチ範囲を設けない場合よりも、より高い評価値Epeak’が算出される合焦位置Zpeak’を検出した例が示されている。   Note that, in FIG. 5, by providing the low speed search range using the in-focus vicinity determination threshold Eth2, the in-focus position Zpeak 'at which a higher evaluation value Epeak' is calculated than when the low speed search range is not provided. An example of detection is shown.

図6は、合焦対象領域のサイズと評価値の関係を説明するための図である。次に、図6を参照しながら、コントラストAFで用いられる閾値の算出方法について説明する。   FIG. 6 is a diagram for explaining the relationship between the size of the focus target area and the evaluation value. Next, a method of calculating a threshold used in contrast AF will be described with reference to FIG.

上述したように閾値を適切に設定することで、コントラストAFの精度及び速度を改善することができる。しかしながら、処理部40が算出する評価値は、画像のコントラストと合焦対象領域のサイズの両方と正の相関を有しているため、図6に示すように、同じ試料Sに対してAFを行う場合であっても合焦対象領域のサイズに応じて評価値が大きくなってしまう。従って、合焦対象領域のサイズによらず一定の閾値を用いると、合焦対象領域があるサイズの場合には適切であっても、他のサイズの場合には適切ではないといった事態が生じてしまう。   By appropriately setting the threshold as described above, the accuracy and speed of contrast AF can be improved. However, since the evaluation value calculated by the processing unit 40 has a positive correlation with both the contrast of the image and the size of the focusing target area, as shown in FIG. Even in the case where the evaluation is performed, the evaluation value increases in accordance with the size of the focusing target area. Therefore, using a constant threshold regardless of the size of the focusing area causes a situation where the focusing area is appropriate for one size, but not appropriate for other sizes. I will.

そこで、顕微鏡装置1では、処理部40は、合焦制御処理において、合焦対象領域のサイズに応じた閾値を算出する。具体的には、合焦対象領域のサイズと正の相関を有する少なくとも1つの閾値(例えば、ノイズ判定閾値、合焦位置近傍判定閾値)を算出する。より具体的には、処理部40は、合焦制御処理において、合焦対象領域のサイズに関するサイズ情報を取得し、そのサイズ情報に基づいて少なくとも1つの閾値を算出する。   Therefore, in the microscope device 1, the processing unit 40 calculates a threshold according to the size of the focusing target area in the focusing control process. Specifically, at least one threshold (for example, a noise determination threshold or an in-focus position determination threshold) having a positive correlation with the size of the focusing target area is calculated. More specifically, in the focusing control process, the processing unit 40 acquires size information regarding the size of the focusing target area, and calculates at least one threshold based on the size information.

処理部40は、合焦対象領域のサイズと正の相関を有する閾値を算出することで、合焦対象領域のサイズと正の相関を有する評価値に対して適切な閾値を設定することができる。   The processing unit 40 can set an appropriate threshold for the evaluation value having a positive correlation with the size of the focusing target area by calculating the threshold having a positive correlation with the size of the focusing target area. .

なお、評価値が例えば上述した式(1)で算出される場合であれば、閾値の算出式としては、例えば、下式(3)が用いられてもよい。ここで、Ethは少なくとも1つの閾値のうちの1つの閾値である。ΔIは、画像データのダイナミックレンジである。Mは合焦対象領域に対応する画素の行数である。Nは合焦対象領域に対応する画素の列数である。Kは閾値係数である。
In the case where the evaluation value is calculated by, for example, the above-described equation (1), for example, the following equation (3) may be used as a calculation equation of the threshold. Here, Eth is one of at least one threshold. ΔI is a dynamic range of image data. M is the number of rows of pixels corresponding to the focusing target area. N is the number of columns of pixels corresponding to the focusing target area. K is a threshold coefficient.

式(3)を用いて閾値を算出することで、評価値と閾値の両方が合焦対象領域のサイズと比例関係を有する。このため、評価値と閾値の関係も合焦対象領域のサイズによらず一定に維持されるため、評価値に対して適切な閾値を設定することが可能となる。   By calculating the threshold value using equation (3), both the evaluation value and the threshold value have a proportional relationship with the size of the focusing target area. For this reason, since the relationship between the evaluation value and the threshold is also maintained constant regardless of the size of the focusing target area, it is possible to set an appropriate threshold for the evaluation value.

図7は、合焦制御処理のフローチャートである。図8は、合焦判定処理のフローチャートである。図7及び図8を参照しながら、処理部40が行う合焦制御処理について具体的に説明する。   FIG. 7 is a flowchart of focusing control processing. FIG. 8 is a flowchart of the in-focus determination process. The focusing control process performed by the processing unit 40 will be specifically described with reference to FIGS. 7 and 8.

顕微鏡システムの利用者が入力装置80を用いてコントラストAFの開始を指示すると、処理部40(合焦制御部42)は、図7に示す合焦制御処理を開始する。   When the user of the microscope system instructs the start of the contrast AF using the input device 80, the processing unit 40 (focusing control unit 42) starts the focusing control process shown in FIG.

まず、処理部40は、関心領域(ROI)の設定を行う(ステップS10)。ここでは、処理部40は、例えば、利用者が表示装置70に表示されている画像を見ながら入力装置80を用いて指定した試料S上の領域を関心領域として設定してもよい。   First, the processing unit 40 sets a region of interest (ROI) (step S10). Here, the processing unit 40 may set, for example, a region on the sample S designated by the user using the input device 80 while viewing the image displayed on the display device 70 as the region of interest.

次に、処理部40は、閾値を算出する(ステップS20)。ここでは、処理部40は、関心領域(合焦対象領域)のサイズに応じた少なくとも1つの閾値であって、関心領域(合焦対象領域)のサイズと正の相関を有する少なくとも1つの閾値を算出する。処理部40は、例えば、関心領域のサイズに関するサイズ情報(例えば、関心領域が投影された撮像装置30上の領域の画素数)を取得し、そのサイズ情報に基づいて少なくとも1つの閾値を算出してもよい。より具体的には、上述したノイズ判定閾値Eth1と合焦位置近傍判定閾値Eth2を、上述した式(3)を用いて算出してもよい。例えば、ノイズ判定閾値Eth1は閾値計数k1を用いて算出され、合焦位置近傍判定閾値Eth2は閾値計数k2を用いて算出されてもよい。閾値計数k1,k2は、k1<k2の関係を有している。それぞれ例えば10,30などであってもよい。   Next, the processing unit 40 calculates a threshold (step S20). Here, the processing unit 40 is at least one threshold corresponding to the size of the region of interest (focusing target region), and at least one threshold having a positive correlation with the size of the region of interest (focusing target region) calculate. For example, the processing unit 40 acquires size information on the size of the region of interest (for example, the number of pixels of the region on the imaging device 30 onto which the region of interest is projected), and calculates at least one threshold based on the size information. May be More specifically, the above-described noise determination threshold Eth1 and in-focus position vicinity determination threshold Eth2 may be calculated using the above-described equation (3). For example, the noise determination threshold Eth1 may be calculated using the threshold count k1, and the in-focus position vicinity determination threshold Eth2 may be calculated using the threshold count k2. The threshold counts k1 and k2 have a relationship of k1 <k2. For example, 10, 30 etc. may be sufficient.

閾値が算出されると、処理部40は、図8に示す合焦判定処理を開始する(ステップS30)。合焦判定処理では、処理部40は、まず、準焦装置60を移動する(ステップS31)。ここでは、処理部40は、設定に応じた速度又は移動量で準焦装置60を動かす。なお、初期状態の設定は、比較的高速に動かす設定であり、処理部40は準焦装置60をAFサーチの開始位置へ動かす。   When the threshold is calculated, the processing unit 40 starts the in-focus determination process shown in FIG. 8 (step S30). In the focusing determination process, the processing unit 40 first moves the focusing device 60 (step S31). Here, the processing unit 40 moves the focusing device 60 at a speed or movement amount according to the setting. The setting of the initial state is a setting for moving at a relatively high speed, and the processing unit 40 moves the focusing device 60 to the start position of the AF search.

準焦装置60が移動すると、処理部40は、撮像装置30を制御して試料を撮像する(ステップS32)。そして、処理部40は、撮像装置30から画像データを受け取ると、評価値を算出する(ステップS33)。ここでは、処理部40は、ステップS32で受信した画像データの関心領域に対応するデータに基づいて、例えば、式(1)を用いて評価値を算出する。   When the focusing device 60 moves, the processing unit 40 controls the imaging device 30 to image a sample (step S32). Then, when receiving the image data from the imaging device 30, the processing unit 40 calculates an evaluation value (step S33). Here, the processing unit 40 calculates an evaluation value using, for example, Equation (1) based on data corresponding to the region of interest of the image data received in step S32.

評価値が算出されると、処理部40は、評価値と閾値を比較し(ステップS34)、比較結果に応じた処理を行う(ステップS35)。処理部40は、例えば、ステップS33で算出した評価値がステップS20で算出したノイズ判定閾値Eth1よりも大きい場合には、その評価値がその時点での最大評価値よりも大きければ、ピーク判定に用いられる最大評価値を更新する。一方、評価値がノイズ判定閾値Eth1以下であれば最大評価値を更新しない。また、処理部40は、例えば、評価値とステップS20で算出した合焦位置近傍判定閾値Eth2の比較結果に応じて準焦装置60の移動速度又は移動量の設定を変更する。具体的には、評価値が合焦位置近傍判定閾値Eth2よりも大きい場合には、準焦装置60の移動速度又は移動量が小さくなるように設定を変更する。   When the evaluation value is calculated, the processing unit 40 compares the evaluation value with the threshold (step S34), and performs processing according to the comparison result (step S35). For example, when the evaluation value calculated in step S33 is larger than the noise determination threshold Eth1 calculated in step S20, the processing unit 40 determines the peak if the evaluation value is larger than the maximum evaluation value at that time. Update the maximum rating value used. On the other hand, if the evaluation value is less than or equal to the noise determination threshold Eth1, the maximum evaluation value is not updated. Further, the processing unit 40 changes the setting of the moving speed or the moving amount of the focusing device 60, for example, according to the comparison result of the evaluation value and the in-focus position vicinity determination threshold Eth2 calculated in step S20. Specifically, when the evaluation value is larger than the in-focus position vicinity determination threshold Eth2, the setting is changed so that the moving speed or the moving amount of the focusing device 60 is reduced.

その後、処理部40は、ステップS33で算出された評価値がその時点における最大評価値よりも一定の割合を超えて低くない場合には、評価値のピークが検出されていないと判定し(ステップS36NO)、ステップS31からステップS36の処理を繰り返す。一方、ステップS33で算出された評価値がその時点における最大評価値よりも一定の割合を超えて低い場合には、評価値のピークが検出されたと判定し(ステップS36YES)、そのピークの位置を合焦位置として検出し(ステップS37)、合焦判定処理を終了する。   After that, the processing unit 40 determines that the peak of the evaluation value is not detected if the evaluation value calculated in step S33 is not lower than a certain percentage than the maximum evaluation value at that time (step S36 NO), repeat the process from step S31 to step S36. On the other hand, if the evaluation value calculated in step S33 is lower than the maximum evaluation value at that time by more than a certain percentage, it is determined that the peak of the evaluation value is detected (YES in step S36), and the position of the peak is determined. A focus position is detected (step S37), and the focus determination process is ended.

合焦判定処理を終了すると、処理部40は、準焦装置60をステップS37で検出された合焦位置へ動かすことで試料Sにフォーカスを合わせて(ステップS40)、合焦制御処理を終了する。   When the in-focus determination process ends, the processing unit 40 moves the focusing device 60 to the in-focus position detected in step S37 to bring the sample S into focus (step S40), and ends the in-focus control process. .

以上のように動作する顕微鏡装置1では、合焦対象領域のサイズと正の相関を有する評価値が算出されるため、AFサーチ中に画像を取得する度に行われる評価値算出処理において除算を含む正規化が行われない。このため、少ない計算リソースで高速に評価値を算出することができる。   In the microscope apparatus 1 that operates as described above, since an evaluation value having a positive correlation with the size of the focus target area is calculated, division is performed in the evaluation value calculation process performed each time an image is acquired during an AF search. No normalization is performed. Therefore, the evaluation value can be calculated at high speed with a small number of calculation resources.

また、顕微鏡装置1では、合焦対象領域のサイズと正の相関を有する閾値が算出されるため、合焦対象領域のサイズによらず評価値に対して適切な閾値を設定することができる。このため、閾値を用いて偽合焦を抑制しAF精度を向上させること、閾値を用いて準焦装置60を制御することでAF精度とAF速度を両立させること、などを実現することができる。   Further, in the microscope device 1, a threshold having a positive correlation with the size of the focusing target area is calculated, so that an appropriate threshold can be set for the evaluation value regardless of the size of the focusing target area. Therefore, it is possible to suppress false focusing by using the threshold and improve the AF accuracy, and to realize both AF accuracy and AF speed by controlling the focusing device 60 by using the threshold, etc. .

さらに、顕微鏡装置1では、閾値算出処理は、合焦対象領域のサイズ情報を用いた乗算処理を含むが、サイズ情報を用いた除算を含まない。また、閾値算出処理は、評価値算出処理とは異なり、合焦制御処理中に1回だけ行われる。このため、閾値算出処理に起因するAF速度の低下を回避することができる。   Furthermore, in the microscope device 1, the threshold calculation process includes a multiplication process using size information of the focusing target area, but does not include a division using size information. Further, unlike the evaluation value calculation process, the threshold value calculation process is performed only once during the focusing control process. For this reason, it is possible to avoid a decrease in AF speed caused by the threshold value calculation process.

従って、顕微鏡装置1によれば、少ない計算リソースで高速且つ精度の高いコントラストAFを実現することができる。
[第2の実施形態]
Therefore, according to the microscope apparatus 1, it is possible to realize high-speed and high-precision contrast AF with less calculation resources.
Second Embodiment

図9は、本実施形態に係る顕微鏡システムの構成を例示した図である。本実施形態に係る顕微鏡システムは、顕微鏡装置1の代わりに顕微鏡装置2を備える点が、第1の実施形態に係る顕微鏡システムとは異なっている。   FIG. 9 is a diagram illustrating the configuration of the microscope system according to the present embodiment. The microscope system according to the present embodiment is different from the microscope system according to the first embodiment in that a microscope apparatus 2 is provided instead of the microscope apparatus 1.

顕微鏡装置2は、光学系20の代わりに光学系120を備える点、撮像装置30の代わりに光検出器130を備える点、処理部40の代わりに処理部140を備える点、準焦装置60の代わりに準焦装置160を備える点が、顕微鏡装置1とは異なる。   The microscope apparatus 2 includes an optical system 120 instead of the optical system 20, a light detector 130 instead of the imaging apparatus 30, a processing unit 140 instead of the processing unit 40, and the focusing apparatus 60. It differs from the microscope apparatus 1 in that the focusing apparatus 160 is provided instead.

顕微鏡装置2は、走査型顕微鏡であり、光学系120は、試料Sを走査するスキャナ121を備える走査光学系である。光検出器130は、例えば、フォトマルチプライヤ(PMT)、アバランシェフォトダイオード(APD)などである。準焦装置160には、光学系120と光検出器130が保持されている。準焦装置160は、ステージ10と顕微鏡装置2の撮像対象面との距離を変更する   The microscope apparatus 2 is a scanning microscope, and the optical system 120 is a scanning optical system provided with a scanner 121 that scans the sample S. The photodetector 130 is, for example, a photomultiplier (PMT), an avalanche photodiode (APD), or the like. An optical system 120 and a light detector 130 are held in the focusing device 160. The focusing device 160 changes the distance between the stage 10 and the imaging target surface of the microscope device 2

処理部140は、例えば、顕微鏡装置2の筐体内に実装された電子回路であり、例えば、FPGA(Field Programmable Gate Array)である。処理部140は、画像伝送部41と合焦制御部42に加えて、画像構築部141を備えている点が、処理部40とは異なる。画像構築部141は、光検出器130からの信号とスキャナ121の同期信号に基づいて、画像を構築し、画像伝送部41及び合焦制御部42に画像データを出力する。   The processing unit 140 is, for example, an electronic circuit mounted in the housing of the microscope apparatus 2 and is, for example, an FPGA (Field Programmable Gate Array). The processing unit 140 differs from the processing unit 40 in that the processing unit 140 includes an image construction unit 141 in addition to the image transmission unit 41 and the focusing control unit 42. The image construction unit 141 constructs an image based on the signal from the light detector 130 and the synchronization signal of the scanner 121, and outputs the image data to the image transmission unit 41 and the focusing control unit 42.

以上のように構成された顕微鏡装置2でも、処理部140(合焦制御部42)が処理部40と同様の合焦制御処理を行うことで、少ない計算リソースで高速且つ精度の高いコントラストAFを実現することができる。   Also in the microscope apparatus 2 configured as described above, the processing unit 140 (focusing control unit 42) performs the same focusing control processing as the processing unit 40, so that high-speed and high-precision contrast AF can be performed with less computational resources. It can be realized.

上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。観察装置、合焦制御方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。   The embodiments described above show specific examples for facilitating the understanding of the invention, and the embodiments of the present invention are not limited to these. The observation apparatus, the focus control method, and the program can be variously modified and changed without departing from the scope of the claims.

上述した実施形態では、処理部がFPGAで構成される例を示したが、処理部は、FPGAに限られない。処理部は顕微鏡装置に組み込まれたマイコンなどであってもよい。また、顕微鏡システムが、顕微鏡装置に加えて制御用のコンピュータを備えている場合であれば、処理部は、制御用のコンピュータ90に含まれても良い。上述した合焦制御処理は、少ない計算リソースでコントラストAFを行うことができるため、コンピュータよりも一般的に計算リソースが乏しいFPGAなどでも行うことができるが、コンピュータでプログラムを実行することにより行われてもよい。   In the embodiment described above, an example in which the processing unit is configured by the FPGA is shown, but the processing unit is not limited to the FPGA. The processing unit may be a microcomputer or the like incorporated in the microscope apparatus. In addition, when the microscope system includes a computer for control in addition to the microscope apparatus, the processing unit may be included in the computer 90 for control. The above-described focusing control process can perform contrast AF with less computational resources, and thus can be performed with an FPGA or the like which generally has less computational resources than a computer, but it is performed by executing a program with a computer May be

図10は、コンピュータ90のハードウェアの構成を例示した図である。コンピュータ90は、例えば、標準的なコンピュータであり、図10に示すように、プロセッサ91、メモリ92、ストレージ93、インターフェース装置94、及び、可搬記憶媒体96が挿入される可搬記憶媒体駆動装置95を備える。そして、これらの構成要素はバス97によって相互に接続されている。なお、図10は、コンピュータ90のハードウェア構成の一例であり、コンピュータ90はこの構成に限定されるものではない。   FIG. 10 is a diagram illustrating the hardware configuration of the computer 90. The computer 90 is, for example, a standard computer, and as shown in FIG. 10, a portable storage medium drive into which the processor 91, the memory 92, the storage 93, the interface device 94, and the portable storage medium 96 are inserted. 95 is provided. These components are connected to one another by a bus 97. Note that FIG. 10 is an example of a hardware configuration of the computer 90, and the computer 90 is not limited to this configuration.

プロセッサ91は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)などであり、プログラムを実行してプログラムされた合焦制御処理を行う。メモリ92は、例えば、RAM(Random Access Memory)であり、プログラムの実行の際に、ストレージ93または可搬記憶媒体96に記録されているプログラムまたはデータを一時的に記憶する。ストレージ93は、例えば、ハードディスク、フラッシュメモリであり、主に各種データやプログラムの記録に用いられる。インターフェース装置94は、コンピュータ90以外の装置(例えば、顕微鏡装置1、表示装置70、入力装置80など)と信号をやり取りする回路である。可搬記憶媒体駆動装置95は、光ディスクやコンパクトフラッシュ(登録商標)等の可搬記憶媒体96を収容するものである。可搬記憶媒体96は、ストレージ93を補助する役割を有する。   The processor 91 is, for example, a central processing unit (CPU), a micro processing unit (MPU), a digital signal processor (DSP) or the like, and executes a program to perform focused control processing that is programmed. The memory 92 is, for example, a random access memory (RAM), and temporarily stores the program or data recorded in the storage 93 or the portable storage medium 96 when the program is executed. The storage 93 is, for example, a hard disk or a flash memory, and is mainly used to record various data and programs. The interface device 94 is a circuit that exchanges signals with devices other than the computer 90 (for example, the microscope device 1, the display device 70, the input device 80, and the like). The portable storage medium drive device 95 accommodates a portable storage medium 96 such as an optical disk or Compact Flash (registered trademark). The portable storage medium 96 has a role of assisting the storage 93.

上述した実施形態では、観察装置の一例として顕微鏡装置を例示したが、観察装置は、顕微鏡装置に限らない。観察装置は、合焦制御処理を行う処理部を備えていればよく、例えば、デジタルスチールカメラ、デジタルビデオカメラなどのカメラであってもよい。   In the embodiment described above, a microscope apparatus is illustrated as an example of the observation apparatus, but the observation apparatus is not limited to the microscope apparatus. The observation device may be provided with a processing unit that performs focus control processing, and may be, for example, a camera such as a digital still camera or a digital video camera.

1、2 顕微鏡装置
10 ステージ
20、120 光学系
30 撮像装置
40、140 処理部
41 画像伝送部
42 合焦制御部
50 駆動装置
60、160 準焦装置
70 表示装置
80 入力装置
90 コンピュータ
91 プロセッサ
92 メモリ
93 ストレージ
94 インターフェース装置
95 可搬記憶媒体駆動装置
96 可搬記憶媒体
97 バス
121 スキャナ
130 光検出器
141 画像構築部
S 試料
1, 2 microscope apparatus 10 stage 20, 120 optical system 30 imaging apparatus 40, 140 processing unit 41 image transmission unit 42 focusing control unit 50 driving device 60, 160 focusing device 70 display device 80 input device 90 computer 91 processor 92 memory 93 storage 94 interface device 95 portable storage medium drive device 96 portable storage medium 97 bus 121 scanner 130 light detector 141 image construction unit S sample

Claims (10)

合焦制御処理を行う処理部を備える観察装置であって、
前記処理部は、前記合焦制御処理において、
試料の画像のデータのうちの合焦対象領域に対応するデータに基づいて、前記画像のコントラストと前記合焦対象領域のサイズの両方と正の相関を有する評価値を算出し、
前記評価値を、前記合焦対象領域のサイズに応じた少なくとも1つの閾値であって、前記合焦対象領域のサイズと正の相関を有する前記少なくとも1つの閾値と、比較する
ことを特徴とする観察装置。
The observation apparatus includes a processing unit that performs focus control processing.
In the focusing control process, the processing unit
An evaluation value having a positive correlation with both the contrast of the image and the size of the focusing region is calculated based on data corresponding to the focusing region among the data of the image of the sample,
The evaluation value is compared with the at least one threshold corresponding to the size of the focus target area and having a positive correlation with the size of the focus target area. Observation device.
請求項1に記載の観察装置において、
前記処理部は、前記合焦制御処理において、
前記合焦対象領域のサイズに関するサイズ情報を取得し、
前記サイズ情報に基づいて前記少なくとも1つの閾値を算出する
ことを特徴とする観察装置。
In the observation device according to claim 1,
In the focusing control process, the processing unit
Obtaining size information on the size of the focusing area;
The observation apparatus, wherein the at least one threshold is calculated based on the size information.
請求項1又は請求項2に記載の観察装置において、
前記少なくとも1つの閾値は、ノイズレベルに関する第1の閾値を含み、
前記処理部は、前記合焦制御処理において、少なくとも前記評価値と前記第1の閾値との第1の比較結果に応じてピーク判定に用いられる最大評価値を更新する
ことを特徴とする観察装置。
In the observation device according to claim 1 or 2,
The at least one threshold includes a first threshold for noise level,
The processing unit updates the maximum evaluation value used for peak determination according to at least the first comparison result of the evaluation value and the first threshold in the focusing control process. .
請求項1乃至請求項3のいずれか1項に記載の観察装置において、さらに、
前記試料が載置されるステージと前記観察装置の撮像対象面との距離を変更する準焦装置を備え、
前記少なくとも1つの閾値は、合焦評価値レベルに関する第2の閾値を含み、
前記処理部は、前記合焦制御処理において、前記評価値と前記第2の閾値との第2の比較結果に応じて前記準焦装置を制御する
ことを特徴とする観察装置。
In the observation device according to any one of claims 1 to 3, further,
And a focusing device that changes a distance between a stage on which the sample is placed and a surface to be imaged of the observation device.
The at least one threshold includes a second threshold for a focus rating value level,
The observation device, wherein the processing unit controls the focusing device in the focusing control process according to a second comparison result of the evaluation value and the second threshold.
請求項4に記載の観察装置において、
前記処理部は、前記合焦制御処理において、前記第2の比較結果に応じて前記準焦装置の移動速度又は移動量を変更する
ことを特徴とする観察装置。
In the observation device according to claim 4,
The processing unit changes the moving speed or the moving amount of the focusing device according to the second comparison result in the focusing control process.
請求項1乃至請求項5のいずれか1項に記載の観察装置において、さらに、
前記試料の光学像を前記画像のデータに変換する撮像装置と、を備え、
前記処理部は、前記撮像装置から出力された前記画像のデータを用いて前記評価値を算出する
ことを特徴とする観察装置。
In the observation device according to any one of claims 1 to 5, further,
An imaging device for converting an optical image of the sample into data of the image;
The observation device, wherein the processing unit calculates the evaluation value using data of the image output from the imaging device.
請求項1乃至請求項6のいずれか1項に記載の観察装置において、
前記処理部は、前記少なくとも1つの閾値のうちの1つの閾値をEthとし、前記画像のデータのダイナミックレンジをΔIとし、前記合焦対象領域に対応する画素の行数をMとし、前記合焦対象領域に対応する画素の列数をNとし、kを閾値係数とするとき、前記1つの閾値を下式
により算出することを特徴とする観察装置。
The observation device according to any one of claims 1 to 6.
The processing unit sets one of the at least one threshold as Eth, a dynamic range of data of the image as ΔI, a number of rows of pixels corresponding to the focusing target area as M, and the focusing. Assuming that the number of columns of pixels corresponding to the target area is N and k is a threshold coefficient, the above one threshold is
An observation device characterized by calculating
請求項1乃至請求項7のいずれか1項に記載の観察装置において、
前記処理部は、前記評価値をEとし、前記画像のデータに含まれている前記合焦対象領域に対応する各画素の画素値をIとし、前記合焦対象領域に対応する画素の行数をM、前記合焦対象領域に対応する画素の列数をNとするとき、前記評価値を下式
により算出することを特徴とする観察装置。
The observation device according to any one of claims 1 to 7.
The processing unit sets the evaluation value to E, sets the pixel value of each pixel corresponding to the in-focus area included in the data of the image to I, and the number of rows of pixels corresponding to the in-focus area Where M is the number of columns of pixels corresponding to the in-focus area, and the evaluation value is
An observation device characterized by calculating
観察装置の処理部が行う合焦制御方法であって、
試料の画像のデータのうちの合焦対象領域に対応するデータに基づいて、前記画像のコントラストと前記合焦対象領域のサイズの両方と正の相関を有する評価値を算出し、
前記評価値を、前記合焦対象領域のサイズに応じた少なくとも1つの閾値であって、前記合焦対象領域のサイズと正の相関を有する前記少なくとも1つの閾値と、比較する
ことを特徴とする方法。
A focusing control method performed by the processing unit of the observation apparatus
An evaluation value having a positive correlation with both the contrast of the image and the size of the focusing region is calculated based on data corresponding to the focusing region among the data of the image of the sample,
The evaluation value is compared with the at least one threshold corresponding to the size of the focus target area and having a positive correlation with the size of the focus target area. Method.
観察装置が有する合焦制御処理を行う処理部に、
試料の画像のデータのうちの合焦対象領域に対応するデータに基づいて、前記画像のコントラストと前記合焦対象領域のサイズの両方と正の相関を有する評価値を算出し、
前記評価値を、前記合焦対象領域のサイズに応じた少なくとも1つの閾値であって、前記合焦対象領域のサイズと正の相関を有する前記少なくとも1つの閾値と、比較する
処理を実行させることを特徴とするプログラム。
A processing unit that performs focusing control processing of the observation device;
An evaluation value having a positive correlation with both the contrast of the image and the size of the focusing region is calculated based on data corresponding to the focusing region among the data of the image of the sample,
A process of comparing the evaluation value with at least one threshold corresponding to the size of the focusing target area and having a positive correlation with the size of the focusing target area is performed. A program characterized by
JP2017196913A 2017-10-10 2017-10-10 Observation device, focusing control method, and program Pending JP2019070737A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017196913A JP2019070737A (en) 2017-10-10 2017-10-10 Observation device, focusing control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017196913A JP2019070737A (en) 2017-10-10 2017-10-10 Observation device, focusing control method, and program

Publications (1)

Publication Number Publication Date
JP2019070737A true JP2019070737A (en) 2019-05-09

Family

ID=66440663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017196913A Pending JP2019070737A (en) 2017-10-10 2017-10-10 Observation device, focusing control method, and program

Country Status (1)

Country Link
JP (1) JP2019070737A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113899698A (en) * 2021-09-27 2022-01-07 武汉大学 Real-time focusing and centering adjustment method and device for in-situ test platform

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113899698A (en) * 2021-09-27 2022-01-07 武汉大学 Real-time focusing and centering adjustment method and device for in-situ test platform

Similar Documents

Publication Publication Date Title
JP6887960B2 (en) Systems and methods for autofocus triggers
KR101489048B1 (en) Imaging apparatus, image processing method, and recording medium for recording program thereon
US10379329B2 (en) Microscope system and setting value calculation method
US9345391B2 (en) Control device, endoscope apparatus, aperture control method, and information storage medium
JP6555811B2 (en) Microscope system, identification method, and program
US8890997B2 (en) Automatic focusing apparatus and lens apparatus including the automatic focusing apparatus
JP5374119B2 (en) Distance information acquisition device, imaging device, and program
US9482855B2 (en) Microscope system
US20150035855A1 (en) Electronic apparatus, method of controlling the same, and image reproducing apparatus and method
US7869706B2 (en) Shooting apparatus for a microscope
KR20180078596A (en) Method and electronic device for auto focus
US20130176617A1 (en) Microscope system and autofocus method
JP2009181024A (en) Focusing device and optical equipment
JP6434296B2 (en) Microscope system, set value calculation method, and program
US9912858B2 (en) Image capturing apparatus and control method thereof
US10156695B2 (en) Image processing apparatus and image processing method
JP2019070737A (en) Observation device, focusing control method, and program
JP7302596B2 (en) Image processing device, image processing method, and program
US20220155556A1 (en) Context-based focus control of a microscope
JP2016156950A (en) Automatic focus adjustment device and control method of the same
JP6423261B2 (en) Microscope system, function calculation method, and program
JP6312410B2 (en) Alignment apparatus, microscope system, alignment method, and alignment program
JP6422761B2 (en) Microscope system and method for calculating relationship between Z position and set value of correction device
JP5616743B2 (en) Imaging apparatus and image processing method
JP2019070738A (en) Microscope device, automatic focus control method, and program