JP2012108184A - Focal position information detector, microscope device and focal position information detection method - Google Patents
Focal position information detector, microscope device and focal position information detection method Download PDFInfo
- Publication number
- JP2012108184A JP2012108184A JP2010254770A JP2010254770A JP2012108184A JP 2012108184 A JP2012108184 A JP 2012108184A JP 2010254770 A JP2010254770 A JP 2010254770A JP 2010254770 A JP2010254770 A JP 2010254770A JP 2012108184 A JP2012108184 A JP 2012108184A
- Authority
- JP
- Japan
- Prior art keywords
- stage
- position information
- light source
- focal position
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像した顕微鏡画像から顕微鏡光学系の焦点位置情報を検出するための焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法に関する。 The present invention relates to a focus position information detection apparatus, a microscope apparatus, and a focus position information detection method for detecting focus position information of a microscope optical system from a captured microscope image.
光学顕微鏡において、サンプルが載置されるステージの光学系に対する位置を調整することにより、当該光学系の焦点位置をサンプルに一致させることができる。このステージの位置調整が自動で行われれば、サンプルを交換する度に、あるいは光学系の倍率を変更する度にユーザが焦点を合わせる必要がなく利便性が高い。このためには光学系の焦点位置情報を自動的に取得する必要がある。 In the optical microscope, the focal position of the optical system can be matched with the sample by adjusting the position of the stage on which the sample is placed with respect to the optical system. If the position adjustment of the stage is automatically performed, the user does not need to focus every time the sample is changed or the magnification of the optical system is changed, which is highly convenient. For this purpose, it is necessary to automatically acquire the focal position information of the optical system.
ここで、光学顕微鏡の撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが利用されている。ＣＭＯＳイメージセンサには、各光電変換素子の出力が光電変換素子のライン毎に読み出されるローリングシャッタと呼ばれるモードがあり、各光電変換素子の受光タイミングは画素ライン毎に異なっている。即ち、出力される画像は画素位置によって異なるタイミングで撮像されたものである。 Here, a CMOS (Complementary Metal Oxide Semiconductor) image sensor is used as an image sensor of an optical microscope. The CMOS image sensor has a mode called a rolling shutter in which the output of each photoelectric conversion element is read for each line of the photoelectric conversion element, and the light reception timing of each photoelectric conversion element is different for each pixel line. In other words, the output image is taken at a different timing depending on the pixel position.
このローリングシャッタの特性を利用して、焦点深度を取得する発明が特許文献１に記載されている。特許文献１に記載の「自動焦点調節装置」は、フォーカスレンズを駆動しながらローリングシャッタ方式の撮像素子によって焦点検出用の画像を撮像し、当該画像中の焦点が合っている領域（以下、合焦領域）を判定する。当該領域を撮像した光電変換素子のラインの受光タイミングから、焦点が合うまでのフォーカスレンズの駆動時間を算出し、焦点深度を取得するものである。 Patent Document 1 discloses an invention that acquires the depth of focus by using the characteristics of the rolling shutter. The “automatic focus adjustment device” described in Patent Document 1 captures an image for focus detection by a rolling shutter type image sensor while driving a focus lens, and an in-focus region in the image (hereinafter referred to as a focus). Focus area). The focus lens drive time until focusing is calculated from the light reception timing of the line of the photoelectric conversion element that images the region, and the depth of focus is acquired.
しかしながら、特許文献１に記載の発明のように、ローリングシャッタの特性を利用して焦点深度を取得する場合、焦点検出用画像に含まれる合焦領域の位置から、その領域を撮像した光電変換素子のラインを特定し、その受光タイミングに一致する焦点調整機構の動作時間から焦点深度を検出する。このため、特に焦点深度が浅い顕微鏡では、正確な焦点深度の検出が困難である。 However, in the case where the depth of focus is acquired by utilizing the characteristics of the rolling shutter as in the invention described in Patent Document 1, the photoelectric conversion element that captures the area from the position of the in-focus area included in the focus detection image And the depth of focus is detected from the operation time of the focus adjustment mechanism that matches the light reception timing. For this reason, it is difficult to accurately detect the depth of focus particularly in a microscope having a shallow depth of focus.
以上のような事情に鑑み、本発明の目的は、正確な焦点位置情報の検出が可能な焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法を提供することにある。 In view of the circumstances as described above, an object of the present invention is to provide a focus position information detection apparatus, a microscope apparatus, and a focus position information detection method capable of accurately detecting focus position information.
上記目的を達成するため、本発明の一形態に係る焦点位置情報検出装置は、撮像素子と、ステージと、光源と、光源制御部と、焦点位置情報取得部とを具備する。
上記撮像素子は、複数の画素ラインを有し、ローリングシャッタモードで動作する。
上記ステージは、上記撮像素子と顕微鏡光学系を介して対向し、上記顕微鏡光学系の光軸方向に移動可能である。
上記光源は、上記ステージを照明する。
上記光源制御部は、上記光源を上記画素ラインの受光時間より長い間隔を空けて断続的に発光させる。
上記焦点位置情報取得部は、上記ステージを移動させながら上記撮像素子によって撮像された画像に基づいて、上記顕微鏡光学系の焦点位置情報を取得する。
In order to achieve the above object, a focal position information detection apparatus according to an aspect of the present invention includes an imaging element, a stage, a light source, a light source control unit, and a focal position information acquisition unit.
The image sensor has a plurality of pixel lines and operates in a rolling shutter mode.
The stage is opposed to the imaging element via a microscope optical system and is movable in the optical axis direction of the microscope optical system.
The light source illuminates the stage.
The light source control unit causes the light source to emit light intermittently at an interval longer than the light receiving time of the pixel line.
The focal position information acquisition unit acquires focal position information of the microscope optical system based on an image captured by the imaging element while moving the stage.
ローリングシャッタモードは、画素の光電変換信号の出力方式であり、行列状に配列する画素の行である画素ライン毎に光電変換信号を出力するものであり、各画素ラインの光電変換を実行するタイミングは画素ライン毎に順次遅延する。したがって、ローリングシャッタモードの撮像素子により撮像される画像は、一枚の画像の中に、撮像（光電変換）のタイミングが異なる領域が存在する。本発明の焦点位置情報検出装置は、このようなローリングシャッタモードの撮像素子を用いて観察対象物が載置されたステージを移動させながら画像を撮像する。これにより、ステージ位置が顕微鏡光学系の焦点位置に一致したタイミングで撮像された焦点が合っている領域（以下、合焦領域）と、ステージ位置が上記焦点位置に一致していないタイミングで撮像された焦点が合っていない領域（以下、非合焦領域）を含む画像を得ることができる。また、撮像と同時に、光源制御部が光源を画素ラインの受光時間より長い間隔を空けて断続的に発光させることにより、上記画像中に、光源による照明光が到達しない画素ラインの出力に相等する輝度の小さい（黒色の）線像が複数形成される。焦点位置情報取得部は、この線像と上記合焦領域の画像における位置関係から、合焦領域がいずれのタイミング、即ち、ステージの移動量で撮像されたものかを判断し、顕微鏡光学系の焦点位置情報を検出することが可能となる。 The rolling shutter mode is an output method of photoelectric conversion signals of pixels, and outputs a photoelectric conversion signal for each pixel line that is a row of pixels arranged in a matrix, and timing for executing photoelectric conversion of each pixel line Are sequentially delayed for each pixel line. Therefore, an image captured by the imaging device in the rolling shutter mode includes regions having different image capturing (photoelectric conversion) timings in one image. The focal position information detection apparatus of the present invention captures an image while moving the stage on which the observation target is placed, using such an image sensor in the rolling shutter mode. As a result, an in-focus area (hereinafter referred to as an in-focus area) imaged at a timing when the stage position matches the focal position of the microscope optical system, and an image captured at a timing when the stage position does not match the above-mentioned focal position. An image including a region out of focus (hereinafter referred to as an out-of-focus region) can be obtained. Simultaneously with imaging, the light source control unit causes the light source to emit light intermittently at intervals longer than the light reception time of the pixel line, so that it is equivalent to the output of the pixel line where the illumination light from the light source does not reach in the image. A plurality of low-luminance (black) line images are formed. The focal position information acquisition unit determines from the positional relationship between the line image and the image of the in-focus area, at which timing the in-focus area is captured, that is, the amount of movement of the stage. It becomes possible to detect the focal position information.
上記焦点位置情報検出装置は、上記ステージの上記光軸方向の座標を取得するステージ座標取得部をさらに具備し、上記光源制御部は、上記ステージ座標取得部によって取得される上記ステージの座標に基づいて、上記光源を発光させてもよい。 The focal position information detection apparatus further includes a stage coordinate acquisition unit that acquires coordinates of the stage in the optical axis direction, and the light source control unit is based on the coordinates of the stage acquired by the stage coordinate acquisition unit. Thus, the light source may emit light.
光源の発光タイミングをステージの座標に連動させることにより、上記画像における線像を、ステージの移動速度に関係なく直接ステージの座標に対応させることができる。したがって、ステージの移動速度が等速でない場合であっても、線像と上記合焦領域の画像における位置関係から顕微鏡光学系の焦点位置情報を導くことが可能となる。 By linking the light emission timing of the light source to the coordinates of the stage, the line image in the image can be made to correspond directly to the coordinates of the stage regardless of the moving speed of the stage. Therefore, even when the moving speed of the stage is not constant, it is possible to derive the focal position information of the microscope optical system from the positional relationship between the line image and the image of the in-focus area.
上記光源制御部は、上記ステージが所定の座標にあるときに、上記光源の発光間隔を変更してもよい。 The light source control unit may change the light emission interval of the light source when the stage is at a predetermined coordinate.
光源の発光間隔を変更することにより、照明光が到達しない画素ラインの数を変え、上記線像の太さを変えることが可能である。本発明では、光源制御部が予め定められたステージ座標に応じて発光間隔を変更することにより、太さが変更された線像をそのステージ座標を示すマーカとして利用し、合焦領域の示すステージ座標の特定に利用することが可能となる。 By changing the light emission interval of the light source, it is possible to change the number of pixel lines where the illumination light does not reach and change the thickness of the line image. In the present invention, the light source control unit changes the light emission interval in accordance with predetermined stage coordinates, so that the line image whose thickness is changed is used as a marker indicating the stage coordinates, and the stage indicated by the in-focus area It can be used to specify coordinates.
上記目的を達成するため、本発明の一形態に係る顕微鏡装置は、撮像素子と、ステージと、光源と、光源制御部と、焦点位置情報取得部と、焦点調整部とを具備する。
上記撮像素子は、複数の画素ラインを有し、ローリングシャッタモードで動作する。
上記ステージは、上記撮像素子と顕微鏡光学系を介して対向し、上記顕微鏡光学系の光軸方向に移動可能である。
上記光源は、上記ステージを照明する。
上記光源制御部は、上記光源を上記画素ラインの受光時間より長い間隔を空けて断続的に発光させる。
上記焦点位置情報取得部は、上記ステージを移動させながら上記撮像素子によって撮像された画像に基づいて、上記顕微鏡光学系の焦点位置情報を取得する。
上記焦点調整部は、上記焦点位置情報取得部によって取得された焦点位置情報に基づき上記ステージの位置を調整する。
In order to achieve the above object, a microscope apparatus according to an aspect of the present invention includes an imaging device, a stage, a light source, a light source control unit, a focal position information acquisition unit, and a focus adjustment unit.
The image sensor has a plurality of pixel lines and operates in a rolling shutter mode.
The stage is opposed to the imaging element via a microscope optical system and is movable in the optical axis direction of the microscope optical system.
The light source illuminates the stage.
The light source control unit causes the light source to emit light intermittently at an interval longer than the light receiving time of the pixel line.
The focal position information acquisition unit acquires focal position information of the microscope optical system based on an image captured by the imaging element while moving the stage.
The focus adjustment unit adjusts the position of the stage based on the focus position information acquired by the focus position information acquisition unit.
本発明の顕微鏡装置は、焦点調整部が取得された焦点位置情報に応じてステージの位置を自動的に調整する。即ち、この顕微鏡装置はユーザによる焦点調節を要することなく撮像可能な状態とすることが可能である。 In the microscope apparatus of the present invention, the position of the stage is automatically adjusted according to the focal position information acquired by the focal adjustment unit. In other words, the microscope apparatus can be in a state where it can be imaged without requiring focus adjustment by the user.
上記目的を達成するため、本発明の一形態に係る焦点位置情報検出方法は、撮像対象物をステージに載置する。
上記撮像対象物は、上記ステージを顕微鏡光学系の光軸方向に移動させながら、かつ、上記ステージを照明する光源を撮像素子が有する画素ラインの受光時間より長い間隔を空けて断続的に発光させながら、上記撮像素子により撮像される。
上記顕微鏡光学系の焦点位置情報は、上記撮像素子によって撮像された画像に基づいて取得される。
In order to achieve the above object, a focal position information detection method according to an aspect of the present invention places an imaging object on a stage.
The imaging object intermittently emits light while moving the stage in the optical axis direction of the microscope optical system and with a light source that illuminates the stage at an interval longer than the light receiving time of the pixel line of the imaging device. However, the image is picked up by the image pickup device.
The focus position information of the microscope optical system is acquired based on an image captured by the image sensor.
以上のように本発明によれば、正確な焦点位置情報の検出が可能な焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法を提供することが可能である。 As described above, according to the present invention, it is possible to provide a focus position information detection apparatus, a microscope apparatus, and a focus position information detection method capable of accurately detecting focus position information.
（第１の実施形態）
本発明の第１の実施形態について説明する。
(First embodiment)
A first embodiment of the present invention will be described.
［顕微鏡システムの構成］
図１は、本発明の第１の実施形態に係る顕微鏡システム１を示す模式図である。
同図に示すように、顕微鏡システム１は、撮像素子２、顕微鏡光学系３、ステージ４、ステージ駆動部５、光源６、照明光学系７、電流供給回路８、制御部９及び画像処理部１０を有する。ステージ４には観察対象物Ｓが載置されている。
[Configuration of microscope system]
FIG. 1 is a schematic diagram showing a microscope system 1 according to the first embodiment of the present invention.
As shown in the figure, the microscope system 1 includes an image sensor 2, a microscope optical system 3, a stage 4, a stage drive unit 5, a light source 6, an illumination optical system 7, a current supply circuit 8, a control unit 9, and an image processing unit 10. Have An observation object S is placed on the stage 4.
光源６は、電流供給回路８から供給される電流を受けて照明光を放射する。光源６は、ＬＥＤ（Light Emitting Diode）等の電流応答が高速な発光素子を用いることができる。これは、光源６が後述するステージ４の移動に合わせて断続的に明滅する必要があるためである。 The light source 6 receives the current supplied from the current supply circuit 8 and emits illumination light. As the light source 6, a light emitting element having a high current response such as an LED (Light Emitting Diode) can be used. This is because the light source 6 needs to blink intermittently in accordance with the movement of the stage 4 described later.
照明光学系７は、光源６から放射された照明光をステージ４上の観察対象物Ｓに到達ささるための光学系である。照明光学系７は、光源６の放射光を平行光とする第１レンズ７１と、第１レンズ７１を透過した光を反射する反射鏡７２と、反射鏡７２によって反射された光を観察対象部Ｓに集束させる第２レンズ７３とを有する。なお、照明光学系７の構成はこの構成に限られず、適宜変更可能である。 The illumination optical system 7 is an optical system for causing the illumination light emitted from the light source 6 to reach the observation object S on the stage 4. The illumination optical system 7 includes a first lens 71 that collimates the light emitted from the light source 6, a reflecting mirror 72 that reflects the light transmitted through the first lens 71, and light reflected by the reflecting mirror 72. And a second lens 73 for focusing on S. The configuration of the illumination optical system 7 is not limited to this configuration, and can be changed as appropriate.
顕微鏡光学系３は、照明光学系７を介して観察対象物Ｓを透過した光を所定の倍率に拡大して撮像素子２に到達させる。本実施形態では、顕微鏡光学系３は対物レンズ３１と接眼レンズ３２とを有する。なお、顕微鏡光学系３の構成はこの構成に限られず、適宜変更可能である。 The microscope optical system 3 enlarges the light transmitted through the observation object S through the illumination optical system 7 to a predetermined magnification and reaches the image sensor 2. In the present embodiment, the microscope optical system 3 includes an objective lens 31 and an eyepiece lens 32. The configuration of the microscope optical system 3 is not limited to this configuration, and can be changed as appropriate.
撮像素子２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のローリングシャッタモードで動作する撮像素子であり、顕微鏡光学系３を介して到達した観察対象物Ｓの透過光を撮像する。ローリングシャッタモードの詳細については後述する。撮像素子２は、照明光学系７を介してステージ４と対向するように配置される。撮像素子２はカラーイメジャであってもよく、モノクロイメージャであってもよい。撮像素子２は生成した画像（画像データ）を画像処理部１０に出力する。 The imaging device 2 is an imaging device that operates in a rolling shutter mode such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and images the transmitted light of the observation object S that has reached through the microscope optical system 3. Details of the rolling shutter mode will be described later. The image sensor 2 is arranged so as to face the stage 4 through the illumination optical system 7. The image sensor 2 may be a color imager or a monochrome imager. The image sensor 2 outputs the generated image (image data) to the image processing unit 10.
ステージ４は、撮像素子２に対向し、ステージ駆動部５によって、顕微鏡光学系３の光軸方向（以下、Ｚ軸方向とする）に移動可能に構成されている。 The stage 4 faces the image sensor 2 and is configured to be movable in the optical axis direction of the microscope optical system 3 (hereinafter referred to as the Z-axis direction) by the stage driving unit 5.
ステージ駆動部５は、制御部９による制御を受けてステージ４をＺ軸方向に駆動する。また、ステージ駆動部５はエンコーダを内蔵し、ステージ４のＺ軸方向の座標（以下、Ｚ軸座標とする）を取得して制御部９に出力する。 The stage drive unit 5 is driven by the control unit 9 to drive the stage 4 in the Z-axis direction. In addition, the stage drive unit 5 incorporates an encoder, acquires the coordinates of the stage 4 in the Z-axis direction (hereinafter referred to as Z-axis coordinates), and outputs them to the control unit 9.
電流供給回路８は、制御部９による制御を受けて、光源６に駆動電流を供給する。詳細は後述するが、電流供給回路８は光源６にパルス状の駆動電流を供給することが可能なものである。 The current supply circuit 8 supplies a drive current to the light source 6 under the control of the control unit 9. Although details will be described later, the current supply circuit 8 can supply a pulsed drive current to the light source 6.
制御部９は、上述のようにステージ駆動部５及び電流供給回路８を制御する。具体的には、制御部９は、ステージ駆動部５を制御すると同時に、ステージ駆動部５から出力されるステージ４のＺ軸座標と光源６の発光タイミングを連動させるように電流供給回路８を制御する。また、制御部９は画像処理部１０とも接続されている。 The control unit 9 controls the stage driving unit 5 and the current supply circuit 8 as described above. Specifically, the control unit 9 controls the current supply circuit 8 so as to link the Z-axis coordinate of the stage 4 output from the stage drive unit 5 and the light emission timing of the light source 6 at the same time as controlling the stage drive unit 5. To do. The control unit 9 is also connected to the image processing unit 10.
画像処理部１０は、撮像素子２から出力される画像に基づいて焦点位置情報、具体的には観察対象物Ｓが焦点位置に一致するステージ４の位置情報を取得し、制御部９に出力する。画像処理部１０が焦点位置情報を取得する方法については後述する。 The image processing unit 10 acquires focal position information, specifically, positional information of the stage 4 where the observation object S matches the focal position based on the image output from the image sensor 2, and outputs it to the control unit 9. . A method by which the image processing unit 10 acquires focal position information will be described later.
顕微鏡システム１は以上のように構成される。ここに示す構成は一例であり、顕微鏡は蛍光顕微鏡や実体顕微鏡等の種々の形態の顕微鏡とすることができる。 The microscope system 1 is configured as described above. The configuration shown here is an example, and the microscope can be various types of microscopes such as a fluorescence microscope and a stereoscopic microscope.
［顕微鏡システムの焦点位置情報検出動作］
顕微鏡システム１の焦点位置情報検出動作の概略について説明する。
[Focus position information detection operation of microscope system]
An outline of the focus position information detection operation of the microscope system 1 will be described.
制御部９に焦点位置情報取得の指示が入力されると、制御部９はステージ４をＺ軸方向に移動させるようにステージ駆動部５を制御する。ステージ４の移動方向は、顕微鏡光学系３に対して接近する方向でも離間する方向でもよく、その移動方向は例えばステージ４の初期の位置によって決定される。 When an instruction to acquire focal position information is input to the control unit 9, the control unit 9 controls the stage driving unit 5 so as to move the stage 4 in the Z-axis direction. The moving direction of the stage 4 may be a direction toward or away from the microscope optical system 3, and the moving direction is determined by, for example, an initial position of the stage 4.
制御部９は、ステージ駆動部５を駆動すると同時に、ステージ駆動部５から供給されるステージ４のＺ軸座標に基づいて電流供給回路８を制御する。電流供給回路８によって供給されるパルス状の駆動電流により、光源６は断続的に明滅する。 The controller 9 controls the current supply circuit 8 based on the Z-axis coordinates of the stage 4 supplied from the stage drive unit 5 at the same time as driving the stage drive unit 5. The light source 6 flickers intermittently due to the pulsed drive current supplied by the current supply circuit 8.
ステージ４が移動しつつ光源６が明滅している状態で、撮像素子２は観察対象物Ｓを撮像し、焦点位置情報検出用の画像（以下、焦点位置情報検出用画像とする）を取得する。撮像素子２は取得した焦点位置情報検出用画像を画像処理部１０に出力する。画像処理部１０はその焦点位置情報検出用画像から後述する手法によって焦点位置情報を検出し、制御部９に出力する。制御部９はその焦点位置情報に基づいてステージ駆動部５を制御し、観察対象物Ｓの位置が顕微鏡光学系３の焦点位置に一致するようにステージ４を移動させる。この状態で撮像素子２が観察対象物Ｓの画像を撮像することにより、焦点が合っている観察対象物Ｓの画像（以下、観察用画像とする）を撮像することが可能である。顕微鏡システム１ではこのようにして自動的に焦点が調整される。次に、焦点位置情報検出の詳細について説明する。 In a state where the light source 6 is blinking while the stage 4 is moving, the imaging device 2 images the observation target S and acquires an image for detecting the focal position information (hereinafter referred to as an image for detecting the focal position information). . The image sensor 2 outputs the acquired focus position information detection image to the image processing unit 10. The image processing unit 10 detects focus position information from the focus position information detection image by a method described later, and outputs the focus position information to the control unit 9. The control unit 9 controls the stage driving unit 5 based on the focal position information, and moves the stage 4 so that the position of the observation object S coincides with the focal position of the microscope optical system 3. In this state, the imaging device 2 captures an image of the observation target S, whereby an image of the observation target S in focus (hereinafter referred to as an observation image) can be captured. In the microscope system 1, the focus is automatically adjusted in this way. Next, details of focal position information detection will be described.
［ローリングシャッタについて］
撮像素子２のローリングシャッタモードについて説明する。
図２は撮像素子２として、ローリングシャッタモードのＣＭＯＳイメージセンサの概略的な構成を示す模式図である。
同図に示すように、ＣＭＯＳイメージセンサは、行列状に配列された複数の画素２１を有する。ここでは、３行３列の画素２１が示されている。各画素２１は、列毎に垂直信号線２５に接続され、垂直信号線２５は一本の水平信号線２８に接続されている。
[About rolling shutter]
The rolling shutter mode of the image sensor 2 will be described.
FIG. 2 is a schematic diagram showing a schematic configuration of a CMOS image sensor in rolling shutter mode as the image sensor 2.
As shown in the figure, the CMOS image sensor has a plurality of pixels 21 arranged in a matrix. Here, pixels 21 in 3 rows and 3 columns are shown. Each pixel 21 is connected to a vertical signal line 25 for each column, and the vertical signal line 25 is connected to one horizontal signal line 28.
それぞれの画素２１は、フォトダイオード２２、増幅器２３及び画素選択スイッチ２４によって構成されている。フォトダイオード２２は、入射した光を電荷に変換（光電変換）し、増幅器２３に出力する。なお、フォトダイオード２２には、入射光を分光するカラーフィルタ等が設けられている。増幅器２３は、フォトダイオード２２から出力された電荷を電圧に変換し増幅する。図示しない制御回路によって切り替えられる画素選択スイッチ２４によって、増幅器２３から出力された電圧が垂直信号線２５に出力される。このとき、各画素２１の画素選択スイッチ２４は、各列においてひとつのみがＯＮとされる。各列において複数の画素選択スイッチ２４が同時にＯＮとされると、垂直信号線２５において各画素２１からの出力信号を分離できないためである。同時にＯＮとされる画素２１は、各垂直信号線２５において同一の行に属するものとし、この同時にＯＮとされる画素２１の行のひとつを画素ラインＬとして図２に示す。 Each pixel 21 includes a photodiode 22, an amplifier 23, and a pixel selection switch 24. The photodiode 22 converts incident light into electric charge (photoelectric conversion) and outputs it to the amplifier 23. The photodiode 22 is provided with a color filter or the like that separates incident light. The amplifier 23 converts the electric charge output from the photodiode 22 into a voltage and amplifies it. A voltage output from the amplifier 23 is output to the vertical signal line 25 by a pixel selection switch 24 that is switched by a control circuit (not shown). At this time, only one pixel selection switch 24 of each pixel 21 is turned on in each column. This is because if the plurality of pixel selection switches 24 are simultaneously turned on in each column, the output signal from each pixel 21 cannot be separated on the vertical signal line 25. The pixels 21 that are simultaneously turned on belong to the same row in each vertical signal line 25, and one of the rows of pixels 21 that are simultaneously turned on is shown as a pixel line L in FIG.
各垂直信号線２５には列回路２６が設けられており、列回路２６は画素２１間にばらつきのあるノイズを除去し、垂直信号線２５の電圧信号を一時的に保管する。列回路２６は列選択スイッチ２７を介して水平信号線２８に接続されている。図示しない制御回路によって切り替えられる列選択スイッチ２７によって、各垂直信号線２５の電圧信号が水平信号線２８に出力される。このとき、列選択スイッチ２７によって、垂直信号線２５の１本のみがＯＮとされる。複数の列選択スイッチ２７が同時にＯＮとされると、水平信号線２８において各垂直信号線２５の出力信号を分離できないためである。水平信号線２８に出力された電圧信号は、端子２９から図示しない信号処理回路に出力される。即ち、ある瞬間に端子２９から出力されるのは、列選択スイッチ２７がＯＮとされている１本の垂直信号線２５のうち、画素選択スイッチ２４がＯＮとされているひとつの画素２１の出力である。 Each vertical signal line 25 is provided with a column circuit 26. The column circuit 26 removes noise that varies among the pixels 21 and temporarily stores the voltage signal of the vertical signal line 25. The column circuit 26 is connected to a horizontal signal line 28 via a column selection switch 27. A voltage signal of each vertical signal line 25 is output to the horizontal signal line 28 by a column selection switch 27 that is switched by a control circuit (not shown). At this time, only one of the vertical signal lines 25 is turned ON by the column selection switch 27. This is because when the plurality of column selection switches 27 are simultaneously turned ON, the output signals of the vertical signal lines 25 cannot be separated on the horizontal signal line 28. The voltage signal output to the horizontal signal line 28 is output from the terminal 29 to a signal processing circuit (not shown). That is, the output from the terminal 29 at a certain moment is the output of one pixel 21 in which the pixel selection switch 24 is turned on among the one vertical signal line 25 in which the column selection switch 27 is turned on. It is.
画素選択スイッチ２４の動作によって規定される各画素２１の受光開始及び受光終了のタイミング（以下、「受光タイミング」とする）は、同一の画素ラインの各画素２１が同一のタイミングとなる。図３は、画素ライン毎の受光タイミングを示す概念図である。 The light reception start timing and light reception end timing (hereinafter referred to as “light reception timing”) defined by the operation of the pixel selection switch 24 are the same timing for the pixels 21 on the same pixel line. FIG. 3 is a conceptual diagram showing light reception timing for each pixel line.
図３には、複数の画素ライン（画素ラインＬ１、Ｌ２、Ｌ３、Ｌ４及びＬ５）の「受光時間」Ｊと「読出時間」Ｙが示されている。受光時間はその画素ラインの各画素選択スイッチ２４がＯＦＦとされており、フォトダイオード２２が電荷を蓄積している時間、即ち受光している時間である。読出時間Ｙはその画素ラインの各画素選択スイッチ２４がＯＮとされており、フォトダイオード２２に蓄積された電荷が各垂直信号線２５に電圧として出力されている時間である。即ち、読出時間は電荷が蓄積されず、受光がされていない時間である。読出時間Ｙによって挟まれた画素ラインＬ１〜Ｌ５の各受光時間Ｙが一枚の画像を撮像する際の各画素ラインＬ１〜Ｌ５の受光時間である。同図に示すように、各画素ラインＬ１〜Ｌ５の読出時間Ｙは同時刻に重複しないようにずらされている。これは上述のように、１本の垂直信号線２５において各画素２１からの出力信号を分離するためである。これにより、各画素ラインＬ１〜Ｌ５の受光タイミングは同一ではなく、画素ライン毎に異なっている。 FIG. 3 shows “light receiving time” J and “reading time” Y of a plurality of pixel lines (pixel lines L1, L2, L3, L4, and L5). The light reception time is a time during which each pixel selection switch 24 of the pixel line is turned off and the photodiode 22 accumulates electric charges, that is, a time during which light is received. The readout time Y is a time during which each pixel selection switch 24 of the pixel line is turned on and the electric charge accumulated in the photodiode 22 is output as a voltage to each vertical signal line 25. That is, the readout time is a time during which no charge is accumulated and no light is received. The light reception times Y of the pixel lines L1 to L5 sandwiched between the readout times Y are the light reception times of the pixel lines L1 to L5 when a single image is captured. As shown in the figure, the readout times Y of the pixel lines L1 to L5 are shifted so as not to overlap at the same time. This is because the output signal from each pixel 21 is separated on one vertical signal line 25 as described above. Thereby, the light reception timings of the pixel lines L1 to L5 are not the same, but are different for each pixel line.
このように、ローリングシャッタモードでは、画素の受光タイミングが画素ライン毎に異なる。即ち、ローリングシャッタモードの撮像素子によって撮像された画像は、画像の上端と下端では撮像（光電変換）されている時刻がずれている。（ただし、このずれは一般的には数百ｍｓオーダーであり人間にとっては同時）。これに対しＣＣＤ（Charge Coupled Device）イメージセンサ等のグローバルシャッタモードで動作する撮像素子は、各画素の受光タイミングは完全に同一であり、得られる画像における時間的なずれなない。以下で説明するように、本実施形態では、このローリングシャッタモードの構造による受光タイミングのずれを焦点位置情報の検出に利用する。 Thus, in the rolling shutter mode, the light reception timing of the pixels is different for each pixel line. That is, in the image captured by the imaging element in the rolling shutter mode, the time when the image is captured (photoelectric conversion) is shifted between the upper end and the lower end of the image. (However, this deviation is generally on the order of several hundreds of ms and is simultaneous for humans). On the other hand, in an image sensor that operates in a global shutter mode such as a CCD (Charge Coupled Device) image sensor, the light reception timing of each pixel is completely the same, and there is no time lag in the obtained image. As will be described below, in the present embodiment, the shift in the light reception timing due to the structure of the rolling shutter mode is used for detection of focal position information.
[撮影時のステージ駆動による影響]
上述のように、本実施形態では、ステージ４を移動させながら撮像素子２によって観察対象物Ｓを撮像する。このステージ４の移動による影響について説明する。図４は、撮像素子２によって撮像される観察対象物Ｓの画像の例を示す図である。図４（ａ）はステージ４を移動させずに観察対象物Ｓを撮像した画像、図４（ｂ）はステージ４を移動させながら図４（ａ）と同一の観察対象物Ｓを撮像した画像の例を示す模式図である。なお、図４（ａ）に示す画像は、撮像前に顕微鏡光学系３の焦点位置に観察対象物Ｓの位置が一致するようにステージ４の位置が調整されているものとする。なお、これらの観察対象物Ｓの画像は説明のためのものであり、実際とは異なる。
[Effect of stage drive during shooting]
As described above, in this embodiment, the observation object S is imaged by the imaging element 2 while moving the stage 4. The influence of the movement of the stage 4 will be described. FIG. 4 is a diagram illustrating an example of an image of the observation object S imaged by the image sensor 2. 4A is an image obtained by imaging the observation object S without moving the stage 4, and FIG. 4B is an image obtained by imaging the same observation object S as FIG. 4A while moving the stage 4. It is a schematic diagram which shows the example of. In the image shown in FIG. 4A, the position of the stage 4 is adjusted so that the position of the observation object S coincides with the focal position of the microscope optical system 3 before imaging. Note that these images of the observation object S are for explanation and are different from actual ones.
図４（ａ）の画像は、画像の全領域において像の焦点が合っているこ。これに対し、図４（ｂ）の画像は、像の焦点が合っている領域（以下、合焦領域）Ａ１と、像の焦点が合っていない領域（以下、非合焦領域）Ａ２が存在することを示す。これは、上述のようにステージ４をＺ方向に移動させているため、所定の時刻で顕微鏡光学系３の焦点位置とステージ４上に載置された観察対象物Ｓの位置とが一致するためである。上述のように、ローリングシャッタモードでは一枚の画像中に撮像タイミング（受光タイミング）が異なる領域が含まれる。このため、顕微鏡光学系３の焦点位置と観察対象物Ｓの位置とが一致した時刻に受光していた画素ラインに対応する（画像中の）位置に合焦領域Ａ１が生成される。 The image in FIG. 4A is in focus in the entire area of the image. On the other hand, the image of FIG. 4B includes an area where the image is in focus (hereinafter referred to as an in-focus area) A1 and an area where the image is not in focus (hereinafter referred to as an out-of-focus area) A2. Indicates to do. This is because the stage 4 is moved in the Z direction as described above, so that the focal position of the microscope optical system 3 matches the position of the observation object S placed on the stage 4 at a predetermined time. It is. As described above, in the rolling shutter mode, areas having different imaging timings (light reception timings) are included in one image. For this reason, the focus area A1 is generated at a position (in the image) corresponding to the pixel line received at the time when the focus position of the microscope optical system 3 and the position of the observation object S coincide.
このように、ローリングシャッタモードの撮像素子２を用いてステージ４を移動させながら観察対象物Ｓを撮像することにより、合焦領域Ａ１と非合焦領域Ａ２が含まれる１枚の画像を得ることができる。この合焦領域Ａ１の画像における位置と、ステージ４の位置との相関が判れば、撮像した画像から焦点位置情報を得ることが可能となる。 In this manner, by capturing the observation object S while moving the stage 4 using the imaging device 2 in the rolling shutter mode, one image including the in-focus area A1 and the out-of-focus area A2 is obtained. Can do. If the correlation between the position of the focusing area A1 in the image and the position of the stage 4 is known, it is possible to obtain the focal position information from the captured image.
[光源の発光タイミングの調整]
上述のように、本実施形態では、ステージ４を移動させながら撮像素子２によって観察対象物Ｓを撮像する際、ステージ４のＺ軸座標に基づいて光源６を断続的に明滅させる。以下、この光源６の明滅のタイミング（以下、発光タイミング）について説明する。
図５は比較として示す光源の発光タイミングを示し、図６は本実施形態における光源６の発光タイミングを示す。なお、図５及び図６において示す画素ライン（Ｌ１、Ｌ２、Ｌ３…）は図３に示したものと同義である。
[Adjusting the timing of the light source]
As described above, in the present embodiment, the light source 6 is intermittently blinked based on the Z-axis coordinates of the stage 4 when the imaging device 2 images the observation object S while moving the stage 4. Hereinafter, the blinking timing of the light source 6 (hereinafter, the light emission timing) will be described.
FIG. 5 shows the light emission timing of the light source shown as a comparison, and FIG. 6 shows the light emission timing of the light source 6 in the present embodiment. The pixel lines (L1, L2, L3...) Shown in FIGS. 5 and 6 have the same meaning as that shown in FIG.
図５に示す光源の発光タイミングは、ローリングシャッタモードの撮像素子により撮像する際の一般的な光源の発光タイミングである。図５には、光源の発光タイミングを発光時間Ｒとして示す。ここに示すように一般的には、発光時間Ｒが画素ラインの全てが受光時間に含まれるように光源が制御される。そうしなければ、受光開始から受光終了までの間に光源からの光が到達しない画素ラインが生じてしまうからである。なお、図４（ａ）及び図４（ｂ）に示した画像もこのような発光タイミングで光源が発光され、撮像されたものである。 The light emission timing of the light source shown in FIG. 5 is a general light emission timing of the light source when imaging is performed by the imaging device in the rolling shutter mode. In FIG. 5, the light emission timing of the light source is shown as the light emission time R. As shown here, generally, the light source is controlled such that the light emission time R includes all of the pixel lines in the light reception time. Otherwise, there will be a pixel line where the light from the light source does not reach between the start of light reception and the end of light reception. Note that the images shown in FIGS. 4A and 4B are also taken with the light source emitted at such a light emission timing.
図６は、本実施形態に係る光源６の発光タイミングである。図６には、光源６の発光タイミングを発光時間Ｒとして示す。同図に示すように、電流供給回路８は、各画素ライン（Ｌ１、Ｌ２、Ｌ３…）の受光時間Ｊより長い間隔（図６に非発光時間Ｋとして示す）で光源６を断続的に明滅させる。これにより、例えば画素ラインＬ３や画素ラインＬ７に含まれる各画素２１は、その受光開始から受光終了までの間に光源６からの照明光を受光しない。 FIG. 6 shows the light emission timing of the light source 6 according to this embodiment. In FIG. 6, the light emission timing of the light source 6 is shown as the light emission time R. As shown in the figure, the current supply circuit 8 intermittently blinks the light source 6 at intervals longer than the light receiving time J of each pixel line (L1, L2, L3...) (Shown as a non-light emitting time K in FIG. 6). Let Thereby, for example, each pixel 21 included in the pixel line L3 and the pixel line L7 does not receive illumination light from the light source 6 between the start of light reception and the end of light reception.
ここで、制御部９は、ステージ駆動部５を制御すると同時に、ステージ駆動部５から出力されるステージ４のＺ軸座標と光源６の発光タイミングを連動させるように電流供給回路８を制御する。具体的には、制御部９は、ステージ駆動部５のエンコーダから供給されるステージ４の座標を元に、ステージ４を所定のＺ軸座標に移動させてから、ステージ４の移動の開始と同時に所定の時間間隔で光源６を発光させるものとすることができる。制御部９はステージ４を一定速度で移動させるようにステージ駆動部５を制御する。これにより、ステージ４の移動開始からの経過時間でステージ４のＺ軸座標を規定することが可能となる。 Here, the control unit 9 controls the current supply circuit 8 so as to link the Z-axis coordinate of the stage 4 output from the stage drive unit 5 and the light emission timing of the light source 6 at the same time as controlling the stage drive unit 5. Specifically, the control unit 9 moves the stage 4 to a predetermined Z-axis coordinate based on the coordinates of the stage 4 supplied from the encoder of the stage driving unit 5, and simultaneously with the start of the movement of the stage 4. The light source 6 can be made to emit light at a predetermined time interval. The control unit 9 controls the stage driving unit 5 so as to move the stage 4 at a constant speed. Thereby, the Z-axis coordinate of the stage 4 can be defined by the elapsed time from the start of the movement of the stage 4.
[焦点位置情報の検出]
上述のように、光源６の発光タイミングを制御しつつステージ４を移動させながら、観察対象物Ｓを撮像素子２によって撮像することによって取得される焦点位置情報検出用画像について説明する。
図７は、焦点位置情報検出用画像を示す模式図である。同図に示すように、焦点位置情報検出用画像には、水平方向に伸びる複数の「非受光線」Ｐが表れている。非受光線は、上述のように光源６が明滅することによって、上記画素ラインＬ３や画素ラインＬ７のように受光時間において照明光が入射しない画素ラインに対応する。
[Focus position information detection]
As described above, the focus position information detection image acquired by imaging the observation object S by the imaging device 2 while moving the stage 4 while controlling the light emission timing of the light source 6 will be described.
FIG. 7 is a schematic diagram showing a focal position information detection image. As shown in the drawing, a plurality of “non-light-receiving lines” P extending in the horizontal direction appear in the focus position information detection image. The non-light receiving line corresponds to a pixel line in which illumination light does not enter during the light receiving time, such as the pixel line L3 and the pixel line L7, when the light source 6 blinks as described above.
ここで、各非受光線Ｐは光源６の各非発光時間Ｋにそれぞれ対応し、各非発光時間Ｋはそれぞれステージ４のＺ軸座標に対応していることから、上記合焦領域Ａ１が何番目の非受光線Ｐに隣接しているかによって、焦点位置情報を検出することが可能である。具体的には、撮像素子２から焦点位置情報検出用画像を供給された画像処理部１０は、まず合焦領域Ａ１を検出する。これは、同画像の水平方向の周波数特性の解析等の手法によってすることができる。次に、画像処理部１０は、その合焦領域Ａ１に隣接する非受光線Ｐが何番目かを特定する。非受光線Ｐは、その輝度値から検出することが可能である。続いて、画像処理部１０は、合焦領域Ａ１が隣接する非受光線Ｐに対応する光源６の非発光時間Ｋから、対応するステージ４の位置座標、即ち焦点位置情報を検出する。 Here, each non-light receiving line P corresponds to each non-light emitting time K of the light source 6, and each non-light emitting time K corresponds to the Z-axis coordinate of the stage 4, so what is the in-focus area A1? It is possible to detect the focal position information depending on whether it is adjacent to the second non-light-receiving line P. Specifically, the image processing unit 10 supplied with the focus position information detection image from the image sensor 2 first detects the in-focus area A1. This can be done by a technique such as analysis of the horizontal frequency characteristics of the image. Next, the image processing unit 10 identifies the number of the non-light receiving line P adjacent to the in-focus area A1. The non-light receiving line P can be detected from the luminance value. Subsequently, the image processing unit 10 detects the position coordinates of the corresponding stage 4, that is, the focal position information, from the non-light emission time K of the light source 6 corresponding to the non-light receiving line P adjacent to the focusing area A1.
以上のようにして、画像処理部１０は、焦点位置情報を検出することが可能である。画像処理部１０は、検出した焦点位置情報の情報を制御部９に出力する。制御部９はその情報に基づいてステージ駆動部５を制御し、ステージ４を焦点位置に合わせる。この状態で、撮像素子２が観察対象物Ｓを撮像し、焦点のあった観察対象物Ｓの観察用画像を撮像することが可能となる。なお、観察用画像の撮像は通常の撮像であり、光源６は図５に示したような通常の発光タイミングで発光し、ステージ４の位置も撮像の間は移動されない。本実施形態に係る顕微鏡システム１は、このように、焦点位置情報検出用画像を撮像して焦点位置情報を検出し、ステージ４の位置を調整し、観察用画像を撮像するというプロセスを自動で実行することが可能であり、ユーザに高い利便性を提供するものである。 As described above, the image processing unit 10 can detect the focal position information. The image processing unit 10 outputs information on the detected focal position information to the control unit 9. The control unit 9 controls the stage driving unit 5 based on the information, and adjusts the stage 4 to the focal position. In this state, the imaging device 2 can image the observation object S, and can capture an observation image of the focused observation object S. Note that the imaging of the observation image is normal imaging, the light source 6 emits light at the normal light emission timing as shown in FIG. 5, and the position of the stage 4 is not moved during imaging. In this way, the microscope system 1 according to the present embodiment automatically performs the process of capturing the focus position information detection image, detecting the focus position information, adjusting the position of the stage 4, and capturing the observation image. It can be executed and provides high convenience to the user.
（第２の実施形態）
本発明の第２の実施形態について説明する。
なお、第２の実施形態において、第１の実施形態と同様の構成、動作については記載を省略する。第２の実施形態では、第１の実施形態と光源６の発光タイミングの制御方法が異なる。以下、この点を中心に説明する。
(Second Embodiment)
A second embodiment of the present invention will be described.
Note that in the second embodiment, description of the same configuration and operation as in the first embodiment is omitted. In the second embodiment, the control method of the light emission timing of the light source 6 is different from that of the first embodiment. Hereinafter, this point will be mainly described.
[光源の明滅タイミングの調整]
上述のように、本実施形態では、ステージ４を移動させながら撮像素子２によって観察対象物Ｓを撮像する際、ステージ４のＺ軸座標に基づいて光源６を断続的に明滅させる。以下、この光源６の発光タイミングについて説明する。図８は本実施形態における光源６の発光タイミングを示す。なお、図８において示す画素ライン（Ｌ１、Ｌ２、Ｌ３…）は図３に示したものと同義である。
[Adjusting the blinking timing of the light source]
As described above, in the present embodiment, the light source 6 is intermittently blinked based on the Z-axis coordinates of the stage 4 when the imaging device 2 images the observation object S while moving the stage 4. Hereinafter, the light emission timing of the light source 6 will be described. FIG. 8 shows the light emission timing of the light source 6 in this embodiment. Note that the pixel lines (L1, L2, L3,...) Shown in FIG. 8 are synonymous with those shown in FIG.
図８に示すように、本実施形態では、制御部９が電流供給回路８を制御して、光源６を第１発光時間Ｒ１と、第２発光時間Ｒ２の２種類の発光時間で発光させる。第２発光時間Ｒ２は第１発光時間Ｒ１よりも発光開始時刻が遅く、発光時間は短い時間とする。これにより、第１発光時間Ｒ１から第２発光時間Ｒ２の間の非発光時間（以下、非発光時間Ｋ２とする）は、第２発光時間Ｒ２から第１発光時間Ｒ１の間、及び第１発光時間Ｒ１相互間の非発光時間（以下、非発光時間Ｋ１とする）より長い時間となる。制御部９は、ステージ駆動部５に内蔵されているエンコーダから供給されるステージ４の位置情報に基づいて発光タイミングを制御する。 As shown in FIG. 8, in the present embodiment, the control unit 9 controls the current supply circuit 8 to cause the light source 6 to emit light in two types of light emission times, a first light emission time R1 and a second light emission time R2. In the second light emission time R2, the light emission start time is later than the first light emission time R1, and the light emission time is short. Accordingly, the non-light emission time (hereinafter referred to as non-light emission time K2) between the first light emission time R1 and the second light emission time R2 is between the second light emission time R2 and the first light emission time R1, and the first light emission. It is longer than the non-light emission time between the times R1 (hereinafter referred to as the non-light emission time K1). The control unit 9 controls the light emission timing based on the position information of the stage 4 supplied from the encoder built in the stage driving unit 5.
図９は、ステージ４のＺ軸座標と時刻の関係を示す図であり、図１０は、各時刻における電流供給回路８の出力電流を示す図である。図９において、ステージ４のＺ軸座標のうち、特定の座標をｚ１、ｚ２及びｚ３とし、それぞれのＺ座標におけるステージ４の移動開始からの時刻をｔ１、ｔ２及びｔ３とする。即ち、制御部９は、時刻ｔ１、ｔ２及びｔ３においてステージ４が座標ｚ１、ｚ２及びｚ３に到達したことを示す信号をエンコーダから受信する。図１０に示すように、制御部９は、時刻ｔ１、ｔ２及びｔ３において、電流供給回路８の出力電流の非印加時間を他の時刻より短くする。これにより、図８に示すように光源６は、ステージ４が座標ｚ１、ｚ２及びｚ３に到達する時刻において第２発光時間Ｒ２で発光し、それ以外の時刻において第１発光時間Ｒ１で発光する。 FIG. 9 is a diagram showing the relationship between the Z-axis coordinate of the stage 4 and time, and FIG. 10 is a diagram showing the output current of the current supply circuit 8 at each time. In FIG. 9, among the Z-axis coordinates of the stage 4, specific coordinates are z1, z2, and z3, and times from the start of movement of the stage 4 at the respective Z coordinates are t1, t2, and t3. That is, the control unit 9 receives from the encoder a signal indicating that the stage 4 has reached the coordinates z1, z2, and z3 at times t1, t2, and t3. As shown in FIG. 10, the control unit 9 makes the non-application time of the output current of the current supply circuit 8 shorter than other times at times t1, t2, and t3. Thereby, as shown in FIG. 8, the light source 6 emits light at the second light emission time R2 at the time when the stage 4 reaches the coordinates z1, z2, and z3, and emits light at the first light emission time R1 at other times.
[焦点位置情報の検出]
上述のように、光源６の発光タイミングを制御しつつステージ４を移動させながら、観察対象物Ｓを撮像素子２によって撮像することによって取得される焦点位置情報検出用画像について説明する。
図１１は、焦点位置情報検出用画像を示す模式図である。同図に示すように、焦点位置情報検出用画像には、水平方向に伸びるそれぞれ複数の非受光線Ｐ１と非受光線Ｐ２が表れている。非受光線Ｐ１及び非受光線Ｐ２は、それぞれ非発光時間Ｋ１及び非発光時間Ｋ２に対応し、非発光時間Ｋ２の場合には、照明光が入射しない画素ラインが非発光時間Ｋ１の場合に比べて多いために非受光線Ｐ２の太さも非受光線Ｐ１より太くなる。
[Focus position information detection]
As described above, the focus position information detection image acquired by imaging the observation object S by the imaging device 2 while moving the stage 4 while controlling the light emission timing of the light source 6 will be described.
FIG. 11 is a schematic diagram showing an image for detecting focal position information. As shown in the figure, a plurality of non-light receiving lines P1 and non-light receiving lines P2 that extend in the horizontal direction appear in the focus position information detection image. The non-light receiving line P1 and the non-light receiving line P2 correspond to the non-light emitting time K1 and the non-light emitting time K2, respectively. In the case of the non-light emitting time K2, the pixel line to which no illumination light is incident is compared with the non-light emitting time K1. Therefore, the thickness of the non-light receiving line P2 is also thicker than that of the non-light receiving line P1.
各非発光時間Ｋ２はそれぞれステージ４の特定のＺ軸座標に対応していることから、合焦領域Ａ１が何番目の非受光線Ｐ２に隣接しているか、又は非受光線Ｐ２から数えて何番目の非受光線Ｐ１に隣接しているかによって、焦点位置情報を検出することが可能である。具体的には、撮像素子２から焦点深度検出用画像を供給された画像処理部１０は、まず合焦領域Ａ１を検出する。これは、同画像の水平方向の周波数特性の解析等の手法によってすることができる。次に、画像処理部１０は、その合焦領域Ａ１に隣接する非受光線Ｐ１又は非受光線Ｐ２が何番目かを特定する。非受光線Ｐ１及び非受光線Ｐ２は、その輝度値から検出することが可能である。続いて、画像処理部１０は、合焦領域Ａ１が隣接する非受光線Ｐ１又は非受光線Ｐ２に対応する非発光時間Ｋ１又は非発光時間Ｋ２から、対応するステージ４の位置座標、即ち焦点深度を検出する。 Since each non-light emission time K2 corresponds to a specific Z-axis coordinate of the stage 4, what number the non-light reception line P2 is adjacent to the focus area A1 or what is counted from the non-light reception line P2. It is possible to detect the focal position information depending on whether it is adjacent to the second non-light receiving line P1. Specifically, the image processing unit 10 supplied with the focus depth detection image from the image sensor 2 first detects the in-focus area A1. This can be done by a technique such as analysis of the horizontal frequency characteristics of the image. Next, the image processing unit 10 identifies the number of the non-light receiving line P1 or the non-light receiving line P2 adjacent to the in-focus area A1. The non-light receiving line P1 and the non-light receiving line P2 can be detected from their luminance values. Subsequently, the image processing unit 10 determines the position coordinates of the corresponding stage 4, that is, the depth of focus, from the non-light emission time K1 or the non-light emission time K2 corresponding to the non-light reception line P1 or the non-light reception line P2 adjacent to the focusing area A1. Is detected.
以上のようにして、画像処理部１０は、焦点位置情報を検出することが可能である。本実施形態では、第１の実施形態と異なり、ステージ４のＺ軸座標に直接連動する非受光線Ｐ２を基準とすることが可能である。このため、例えばステージ４の移動速度が設定速度と異なっている場合であっても精確正確に焦点位置を検出することが可能である。 As described above, the image processing unit 10 can detect the focal position information. In the present embodiment, unlike the first embodiment, it is possible to use the non-light receiving line P2 that is directly linked to the Z-axis coordinate of the stage 4 as a reference. For this reason, for example, even when the moving speed of the stage 4 is different from the set speed, it is possible to accurately detect the focal position.
本発明はこの実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更することが可能である。 The present invention is not limited to this embodiment, and can be modified within the scope not departing from the gist of the present invention.
１…顕微鏡システム
２…撮像素子
３…顕微鏡光学系
４…ステージ
５…ステージ駆動部
６…光源
８…電流供給回路
９…制御部
１０…画像処理部
DESCRIPTION OF SYMBOLS 1 ... Microscope system 2 ... Imaging element 3 ... Microscope optical system 4 ... Stage 5 ... Stage drive part 6 ... Light source 8 ... Current supply circuit 9 ... Control part 10 ... Image processing part
Claims (5)
前記撮像素子と顕微鏡光学系を介して対向し、前記顕微鏡光学系の光軸方向に移動可能なステージと、
前記ステージを照明する光源と、
前記光源を前記画素ラインの受光時間より長い間隔を空けて断続的に発光させる光源制御部と、
前記ステージを移動させながら前記撮像素子によって撮像された画像に基づいて、前記顕微鏡光学系の焦点位置情報を取得する焦点位置情報取得部と
を具備する焦点位置情報検出装置。 An image sensor having a plurality of pixel lines and operating in a rolling shutter mode;
Opposite the imaging element through a microscope optical system, a stage movable in the optical axis direction of the microscope optical system,
A light source for illuminating the stage;
A light source controller that causes the light source to emit light intermittently at an interval longer than the light receiving time of the pixel line;
A focal position information detection apparatus comprising: a focal position information acquisition unit that acquires focal position information of the microscope optical system based on an image captured by the imaging element while moving the stage.
前記ステージの前記光軸方向の座標を取得するステージ座標取得部をさらに具備し、
前記光源制御部は、前記ステージ座標取得部によって取得される前記ステージの座標に基づいて前記光源を発光させる
焦点位置情報検出装置。 The focal position information detecting device according to claim 1,
It further comprises a stage coordinate acquisition unit that acquires coordinates in the optical axis direction of the stage,
The said light source control part makes the said light source light-emit based on the coordinate of the said stage acquired by the said stage coordinate acquisition part Focus position information detection apparatus.
前記光源制御部は、前記ステージが所定の座標にあるときに、前記光源の発光間隔を変更する
焦点位置情報検出装置。 The focal position information detecting device according to claim 2,
The light source control unit changes a light emission interval of the light source when the stage is at a predetermined coordinate.
前記撮像素子と顕微鏡光学系を介して対向し、前記顕微鏡光学系の光軸方向に移動可能なステージと、
前記ステージを照明する光源と、
前記光源を前記画素ラインの受光時間より長い間隔を空けて断続的に発光させる光源制御部と、
前記ステージを移動させながら前記撮像素子によって撮像された画像に基づいて、前記顕微鏡光学系の焦点位置情報を取得する焦点位置情報取得部と、
前記焦点位置情報取得部によって取得された焦点位置情報に基づき前記ステージの位置を調整する焦点調整部と
を具備する顕微鏡装置。 An image sensor having a plurality of pixel lines and operating in a rolling shutter mode;
Opposite the imaging element through a microscope optical system, a stage movable in the optical axis direction of the microscope optical system,
A light source for illuminating the stage;
A light source controller that causes the light source to emit light intermittently at an interval longer than the light receiving time of the pixel line;
A focal position information acquisition unit that acquires focal position information of the microscope optical system based on an image captured by the imaging element while moving the stage;
A microscope apparatus comprising: a focus adjustment unit that adjusts the position of the stage based on the focus position information acquired by the focus position information acquisition unit.
前記ステージを顕微鏡光学系の光軸方向に移動させながら、かつ、前記ステージを照明する光源を撮像素子が有する画素ラインの受光時間より長い間隔を空けて断続的に発光させながら、前記撮像素子により前記撮像対象物を撮像し、
前記撮像素子によって撮像された画像に基づいて、前記顕微鏡光学系の焦点位置情報を取得する
焦点位置情報検出方法。 Place the object to be imaged on the stage,
While moving the stage in the optical axis direction of the microscope optical system, and while causing the light source that illuminates the stage to emit light intermittently at intervals longer than the light receiving time of the pixel lines of the image sensor, the image sensor Imaging the imaging object;
A focus position information detection method for acquiring focus position information of the microscope optical system based on an image captured by the image sensor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010254770A JP5673002B2 (en) | 2010-11-15 | 2010-11-15 | Focal position information detection apparatus, microscope apparatus, and focal position information detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010254770A JP5673002B2 (en) | 2010-11-15 | 2010-11-15 | Focal position information detection apparatus, microscope apparatus, and focal position information detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012108184A true JP2012108184A (en) | 2012-06-07 |
| JP5673002B2 JP5673002B2 (en) | 2015-02-18 |
Family
ID=46493898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010254770A Expired - Fee Related JP5673002B2 (en) | 2010-11-15 | 2010-11-15 | Focal position information detection apparatus, microscope apparatus, and focal position information detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5673002B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014175219A1 (en) | 2013-04-26 | 2014-10-30 | 浜松ホトニクス株式会社 | Image acquisition device and method and system for acquiring focusing information for specimen |
| WO2014175220A1 (en) | 2013-04-26 | 2014-10-30 | 浜松ホトニクス株式会社 | Image acquisition device and method and system for creating focus map for specimen |
| JP2014240888A (en) * | 2013-06-11 | 2014-12-25 | 浜松ホトニクス株式会社 | Image acquisition apparatus and focusing method for the image acquisition apparatus |
| JP2014240887A (en) * | 2013-06-11 | 2014-12-25 | 浜松ホトニクス株式会社 | Image acquisition apparatus and focusing method for the image acquisition apparatus |
| JP2015061090A (en) * | 2013-09-17 | 2015-03-30 | 株式会社ニコン | Control device for imaging device, imaging device, imaging method, imaging program, storage medium, and microscope device |
| JP2015087723A (en) * | 2013-11-01 | 2015-05-07 | 浜松ホトニクス株式会社 | Image acquisition device and image acquisition method using the same |
| KR101571719B1 (en) | 2014-10-02 | 2015-11-25 | 엘지전자 주식회사 | A robot cleaner |
| US9661212B2 (en) | 2013-04-26 | 2017-05-23 | Hamamatsu Photonics K.K. | Image acquisition device and focusing method for image acquisition device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11326233A (en) * | 1998-05-12 | 1999-11-26 | Mitsui Mining & Smelting Co Ltd | Apparatus for inspecting material surface |
| JP2005316162A (en) * | 2004-04-28 | 2005-11-10 | Olympus Corp | Illuminator for microscope, microscope with illuminator, and illuminating method |
| JP2009124260A (en) * | 2007-11-12 | 2009-06-04 | Ricoh Co Ltd | Imaging apparatus |
| JP2009128726A (en) * | 2007-11-26 | 2009-06-11 | Keyence Corp | Magnification observation device, magnified image observation method, magnified image observation program, and computer-readable recording medium |
| JP2010134195A (en) * | 2008-12-04 | 2010-06-17 | Olympus Corp | Microscope system, method for observing specimen, and program |
-
2010
- 2010-11-15 JP JP2010254770A patent/JP5673002B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11326233A (en) * | 1998-05-12 | 1999-11-26 | Mitsui Mining & Smelting Co Ltd | Apparatus for inspecting material surface |
| JP2005316162A (en) * | 2004-04-28 | 2005-11-10 | Olympus Corp | Illuminator for microscope, microscope with illuminator, and illuminating method |
| JP2009124260A (en) * | 2007-11-12 | 2009-06-04 | Ricoh Co Ltd | Imaging apparatus |
| JP2009128726A (en) * | 2007-11-26 | 2009-06-11 | Keyence Corp | Magnification observation device, magnified image observation method, magnified image observation program, and computer-readable recording medium |
| JP2010134195A (en) * | 2008-12-04 | 2010-06-17 | Olympus Corp | Microscope system, method for observing specimen, and program |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105143954A (en) * | 2013-04-26 | 2015-12-09 | 浜松光子学株式会社 | Image acquisition device and method and system for acquiring focusing information for specimen |
| US10330910B2 (en) | 2013-04-26 | 2019-06-25 | Hamamatsu Photonics K.K. | Image acquisition device and method and system for acquiring focusing information for specimen |
| JPWO2014175220A1 (en) * | 2013-04-26 | 2017-02-23 | 浜松ホトニクス株式会社 | Image acquisition device, method and system for creating focus map of sample |
| JPWO2014175219A1 (en) * | 2013-04-26 | 2017-02-23 | 浜松ホトニクス株式会社 | Image acquisition apparatus, method and system for acquiring in-focus information of sample |
| EP2990850A4 (en) * | 2013-04-26 | 2017-01-04 | Hamamatsu Photonics K.K. | Image acquisition device and method and system for acquiring focusing information for specimen |
| WO2014175219A1 (en) | 2013-04-26 | 2014-10-30 | 浜松ホトニクス株式会社 | Image acquisition device and method and system for acquiring focusing information for specimen |
| WO2014175220A1 (en) | 2013-04-26 | 2014-10-30 | 浜松ホトニクス株式会社 | Image acquisition device and method and system for creating focus map for specimen |
| CN105143953A (en) * | 2013-04-26 | 2015-12-09 | 浜松光子学株式会社 | Image acquisition device and method and system for creating focus map for specimen |
| US10598916B2 (en) | 2013-04-26 | 2020-03-24 | Hamamatsu Photonics K.K. | Image acquisition device and method and system for acquiring focusing information for specimen |
| US9661212B2 (en) | 2013-04-26 | 2017-05-23 | Hamamatsu Photonics K.K. | Image acquisition device and focusing method for image acquisition device |
| US10348954B2 (en) | 2013-04-26 | 2019-07-09 | Hamamatsu Photonics K.K. | Image acquisition device and method and system for creating focus map for specimen |
| CN105143954B (en) * | 2013-04-26 | 2018-06-19 | 浜松光子学株式会社 | Image capturing device, the method and system that are directed at focus information for obtaining sample |
| JP2014240887A (en) * | 2013-06-11 | 2014-12-25 | 浜松ホトニクス株式会社 | Image acquisition apparatus and focusing method for the image acquisition apparatus |
| JP2014240888A (en) * | 2013-06-11 | 2014-12-25 | 浜松ホトニクス株式会社 | Image acquisition apparatus and focusing method for the image acquisition apparatus |
| JP2015061090A (en) * | 2013-09-17 | 2015-03-30 | 株式会社ニコン | Control device for imaging device, imaging device, imaging method, imaging program, storage medium, and microscope device |
| JP2015087723A (en) * | 2013-11-01 | 2015-05-07 | 浜松ホトニクス株式会社 | Image acquisition device and image acquisition method using the same |
| CN105683806B (en) * | 2013-11-01 | 2019-01-01 | 浜松光子学株式会社 | The image acquisition method of image capturing device and image capturing device |
| CN105683806A (en) * | 2013-11-01 | 2016-06-15 | 浜松光子学株式会社 | Image acquisition device and image acquisition method for image acquisition device |
| US10422987B2 (en) | 2013-11-01 | 2019-09-24 | Hamamatsu Photonics K.K. | Image acquisition device and image acquisition method for image acquisition device |
| WO2015064117A1 (en) * | 2013-11-01 | 2015-05-07 | 浜松ホトニクス株式会社 | Image acquisition device and image acquisition method for image acquisition device |
| US9488983B2 (en) | 2014-10-02 | 2016-11-08 | Lg Electronics Inc. | Robot cleaner |
| KR101571719B1 (en) | 2014-10-02 | 2015-11-25 | 엘지전자 주식회사 | A robot cleaner |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5673002B2 (en) | 2015-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5673002B2 (en) | Focal position information detection apparatus, microscope apparatus, and focal position information detection method | |
| US20190297281A1 (en) | Image acqusition device, and imaging device | |
| US20090147077A1 (en) | Light-source control system, shutter control system, endoscope processor, and endoscope system | |
| JP6044941B2 (en) | Optical microscope and optical microscope autofocus device | |
| EP2704422B1 (en) | Image capture apparatus | |
| CN102595050B (en) | Imaging device | |
| CN111095066B (en) | Image pickup apparatus and focus control method for image pickup apparatus | |
| US7949244B2 (en) | Method for measuring subject distance | |
| CN104135607A (en) | Image pickup apparatus and method for controlling image pickup apparatus | |
| KR20150135431A (en) | High-speed image capture method and high-speed image capture device | |
| CN111133356B (en) | Image pickup apparatus, image pickup apparatus main body, and focus control method for image pickup apparatus | |
| JP6381274B2 (en) | Imaging device, control method thereof, and control program | |
| US7615729B2 (en) | Apparatus and method for resonant lens focusing | |
| US20200322560A1 (en) | Imaging element and method of controlling the same, and imaging device | |
| JP2008182419A (en) | Phase adjuster, and digital camera | |
| US10684459B2 (en) | Light observation device, imaging device used for same, and light observation method | |
| KR101333161B1 (en) | Apparatus of processing image based on confocal and method thereof | |
| US20130162801A1 (en) | Microscope | |
| JP2018036660A (en) | Light observation device and imaging device for use in the same | |
| JP2012045053A (en) | Image capturing apparatus and endoscope system | |
| EP2471256B1 (en) | Digital camera system and method | |
| CN205620293U (en) | High -speed microscopy images collection system based on application | |
| JP2009008793A (en) | Microscope with imaging apparatus and method for calculating its exposure time | |
| JP2005148229A (en) | Photoelectric convertor and automatic focus detector | |
| US20200014839A1 (en) | Image capturing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131022 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
| LAPS | Cancellation because of no payment of annual fees |