JP2010091739A - Image pickup device including automatic focusing device - Google Patents

Image pickup device including automatic focusing device Download PDF

Info

Publication number
JP2010091739A
JP2010091739A JP2008260904A JP2008260904A JP2010091739A JP 2010091739 A JP2010091739 A JP 2010091739A JP 2008260904 A JP2008260904 A JP 2008260904A JP 2008260904 A JP2008260904 A JP 2008260904A JP 2010091739 A JP2010091739 A JP 2010091739A
Authority
JP
Japan
Prior art keywords
image
autofocus
objective lens
time
specimen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008260904A
Other languages
Japanese (ja)
Inventor
Akira Tsutsui
亮 筒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008260904A priority Critical patent/JP2010091739A/en
Publication of JP2010091739A publication Critical patent/JP2010091739A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image pickup device that achieves shortening of total photographing time by performing automatic focusing including the time excepting an exposure time, that is, the time to transfer an image from an image capturing means to an image recorder. <P>SOLUTION: The image pickup device includes the image capturing means, an image storage means, an objective lens 4, a sample 1, a stage 3 on which the sample is fixed, a means for switching an optical element, a means capable of relatively changing a distance between the sample and the objective lens, a light source 10, and the automatic focusing device 6, and automatically repeatedly picks up the image of the sample by using an automatic focusing method for performing focusing adjustment by changing a relative position of the objective lens to the sample. All or a portion of the time to transfer the image from the image capturing means to the image storage means is included in an automatic focusing operation period. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、医学、生物学などの分野において生物組織等の状態を観察するときに利用される光学機器、例えば自動焦点調節装置を備えた画像撮像装置に関する。   The present invention relates to an optical apparatus used when observing a state of a biological tissue or the like in the fields of medicine, biology, and the like, for example, an image capturing apparatus including an automatic focusing device.

このような画像撮像装置では、1つの視野で自動的に複数の条件により画像撮影を行ったり、あるいは自動的に複数のエリアで大量の画像撮影を行ったりし、そしてそのようにして撮像した画像からの解析が行われている。この場合撮像条件の変化、たとえば対物レンズ交換や、撮像位置の移動、または撮影環境の変化により、装置本体の寸法が変わってしまうため、最初に焦点位置の設定を行っても焦点位置が変化してしまう。
そこで、自動的に繰り返して複数の撮影を行うために、自動焦点合焦装置により撮像位置に焦点を合わせる方法が用いられている。
In such an image pickup apparatus, an image is automatically taken under a plurality of conditions in one field of view, or a large number of images are automatically taken in a plurality of areas, and images taken in this way are taken. Analysis from In this case, the dimensions of the main body of the device will change due to changes in imaging conditions such as objective lens replacement, movement of the imaging position, or changes in the shooting environment, so the focus position will change even if the focus position is set first. End up.
Therefore, in order to automatically and repeatedly perform a plurality of shootings, a method of focusing on an imaging position using an automatic focusing device is used.

例えば、特許文献1には撮像部から照明光像の撮像結果を取得して合焦評価を行い、照明光像の合焦評価に従って、対物レンズおよび標本の少なくとも一方を駆動することにより、蛍光像を撮像面に合焦させる焦点制御部を備えた蛍光顕微鏡が記載されている。   For example, in Patent Document 1, the imaging result of the illumination light image is acquired from the imaging unit, the focus evaluation is performed, and at least one of the objective lens and the specimen is driven according to the focus evaluation of the illumination light image, thereby obtaining a fluorescent image. Describes a fluorescence microscope provided with a focus control unit that focuses the image on the imaging surface.

また、特許文献2には駆動ステージを備え、駆動ステージにより、試料を特定の位置に移動させている間、対物レンズの瞳の反対側の片側半分の領域を通過した反射光に基づいて焦点合わせを行い、試料が特定の位置に移動した後に2次元光検出器で検出された光源から対物レンズを介して試料に入射した光のうち、試料で反射された反射光により試料を観察するようにした光学顕微鏡が記載されている。
特開2006-11149号公報 特開2006-163122号公報
Further, Patent Document 2 includes a drive stage, and focusing is performed based on the reflected light that has passed through the half-side region on the opposite side of the pupil of the objective lens while the sample is moved to a specific position by the drive stage. The sample is observed by the reflected light reflected by the sample out of the light incident on the sample through the objective lens from the light source detected by the two-dimensional photodetector after the sample has moved to a specific position. An optical microscope is described.
JP 2006-11149 A JP 2006-163122 A

しかし、特許文献1に記載されている方法では、撮影画像の記録中に次の撮影条件での焦点合焦や光学素子の変更を行っておらず、効率が悪くなり、トータルの撮影時間が長くなってしまうという問題点がある。   However, in the method described in Patent Document 1, the focus is not changed or the optical element is not changed under the following shooting conditions during recording of the shot image, so that the efficiency is lowered and the total shooting time is long. There is a problem of becoming.

また、特許文献2に記載されている方法では、ステージの移動中に焦点位置の調整を行っているが、光学素子の変更時間は自動焦点調整の時間に含まれていないので、やはりトータルの撮影時間が長くなってしまうという問題点がある。   In the method described in Patent Document 2, the focus position is adjusted while the stage is moving. However, since the change time of the optical element is not included in the time of the automatic focus adjustment, the total photographing is still performed. There is a problem that the time becomes longer.

ところで、140万画素(1360×1024ピクセル)の冷却CCDカメラを使用して撮影を行った場合、冷却CCDカメラから画像記記憶装置に転送にかかる時間は、例えば0.8秒である。画像の解像度がさらに求められた場合、1100画素(4008×2672ピクセル)の冷却CCDカメラで画像を撮影した場合の画像転送時間は例えば、3.5秒である。また、今後さらに高精細のカメラが開発されることが考えられ、さらに転送時間が長くなることが考えられる。転送速度も改善によって少しは早くなることが考えられるが、転送時間は必ず発生する。   By the way, when shooting is performed using a cooled CCD camera having 1.4 million pixels (1360 × 1024 pixels), the time required for transfer from the cooled CCD camera to the image storage device is, for example, 0.8 seconds. When the resolution of the image is further determined, the image transfer time when the image is taken with a 1100 pixel (4008 × 2672 pixel) cooled CCD camera is, for example, 3.5 seconds. In addition, it is conceivable that a camera with higher definition will be developed in the future, and the transfer time may be further increased. Although it is conceivable that the transfer speed is slightly increased by the improvement, the transfer time is always generated.

医学、生物学などの分野で生物組織等の状態を観察する場合は、マイクロプレートと呼ばれる容器に複数のウェルが形成された細胞培養容器が使用されている。例えば96穴箇所のウェルが形成されているマイクロプレートの、1つのウェルを20倍の対物レンズを使用して観察を行った場合、1つのウェル全体を撮影するためには、200回撮影する必要がある。   When observing a state of a biological tissue or the like in a field such as medicine or biology, a cell culture container in which a plurality of wells are formed in a container called a microplate is used. For example, in the case of observing one well of a microplate in which 96 wells are formed using a 20 × objective lens, it is necessary to photograph 200 times in order to photograph the entire well. There is.

このような撮影を例えば、140万画素のカメラを使用して撮影すると、自動焦点合焦に1.5秒、露光時間に1.5秒かかる。したがって、画像転送後に自動焦点合焦を行う場合、1回の撮影で、焦点合焦から撮影完了まで3秒必要であり、画像記記憶装置に転送するのに0.8秒必要である。また、1箇所で2色の染色を行って、フィルタを交換して2回撮影を行うと撮影時間は3秒×2回で6秒となる。その結果、画像転送時間を含めると、(3+0.8+3+0.8)秒×200箇所×96ウェルで約40.5時間かかることになる。この工程の一部のシーケンス図を図5に示す。   For example, when taking a picture using a camera with 1.4 million pixels, it takes 1.5 seconds for autofocusing and 1.5 seconds for the exposure time. Therefore, when autofocusing is performed after image transfer, it takes 3 seconds from focusing to completion of shooting in one shooting, and 0.8 seconds are required to transfer to the image storage device. In addition, if two colors are dyed at one place and the filter is exchanged to perform twice photographing, the photographing time becomes 3 seconds × 2 times 6 seconds. As a result, including the image transfer time, (3 + 0.8 + 3 + 0.8) seconds × 200 locations × 96 wells takes about 40.5 hours. FIG. 5 shows a partial sequence diagram of this process.

また、1100万画素のカメラを使用して撮影すると、自動焦点合焦に1.5秒、露光時間に1.5秒かかる。したがって、画像転送後自動焦点合焦を行った場合は、1回の撮影で、焦点合焦から撮影完了まで3秒必要であり、画像記記憶装置に転送するのに3.5秒必要である。また、1箇所で2色の染色を行って、フィルタを交換して2回撮影を行うと撮影時間は3秒×2回で6秒となる。その結果、画像転送時間を含めると、(3+3.5+3+3.5)秒×200箇所×96ウェル=約69時間かかる。この工程の一部のシーケンス図を図6に示す。   Further, when photographing using a camera with 11 million pixels, it takes 1.5 seconds for autofocusing and 1.5 seconds for exposure time. Therefore, when autofocus is performed after image transfer, it takes 3 seconds from focusing to completion of shooting in one shooting, and 3.5 seconds are required to transfer to the image storage device. . In addition, if two colors are dyed at one place and the filter is exchanged to perform twice photographing, the photographing time becomes 3 seconds × 2 times 6 seconds. As a result, including the image transfer time, it takes (3 + 3.5 + 3 + 3.5) seconds × 200 locations × 96 wells = about 69 hours. A partial sequence diagram of this step is shown in FIG.

このように、1枚のマイクロプレートを撮影する場合であってもトータルの撮影回数が多いので、そのたびに自動焦点合焦を行い、そのたびに画像転送を行うと、上記のように撮影を完了するのに数日要することになる。   In this way, even when a single microplate is shot, the total number of shots is large, so autofocusing is performed each time and image transfer is performed each time. It will take a few days to complete.

そこで、撮影時間の短縮化が望まれることになる。ここで、撮影サイクルを検討してみるに、通常3秒程度要している自動焦点合焦動作期間に、同時期に行うことが可能な動作をその間に行うようにすれば、それだけ撮影に要する時間が短縮できることになる。そして、自動焦点合焦動作期間と同時期に行うことが可能な動作を検討した結果、画像取り込み手段から画像記憶手段への画像転送を行えることがわかった。また、光学素子の交換も行えることがわかった。これらの動作は自動焦点合焦動作とは基本的には無関係に行える動作である。   Therefore, it is desired to shorten the photographing time. Here, considering the shooting cycle, if an operation that can be performed at the same time is performed during the auto-focusing operation period, which normally takes about 3 seconds, it is necessary for the shooting. Time can be shortened. As a result of examining the operation that can be performed at the same time as the automatic focusing operation period, it was found that the image transfer from the image capturing unit to the image storage unit can be performed. It was also found that the optical element can be replaced. These operations are basically performed independently of the autofocus operation.

ここで例えば、140万画素のカメラを使用して、画像転送中に自動焦点合焦を行った場合は、画像記憶装置に転送するのに要していた0.8秒が不要となるため、1箇所で2色の染色を行い、フィルタを交換して2回撮影行うと6秒必要なので、トータルの撮影時間は画像転送時間も含め、6秒×200箇所×96ウェルで約32時間となる。この場合の工程の一部のシーケンス図を図7に示す。
よって、画像転送中に自動焦点合焦時間を含めることで、従来の画像転送後に自動焦点合焦を行う場合と比べ8.5時間短縮できることになる。
Here, for example, when autofocusing is performed during image transfer using a camera with 1.4 million pixels, 0.8 seconds required to transfer to the image storage device is not necessary. 6 seconds are required if two colors are dyed at one location and the filter is replaced and taken twice, so the total imaging time, including the image transfer time, is approximately 32 hours at 6 seconds × 200 locations × 96 wells. . FIG. 7 shows a partial sequence diagram of the steps in this case.
Therefore, by including the autofocusing time during image transfer, it can be shortened by 8.5 hours compared to the case of performing autofocusing after conventional image transfer.

また、1100万画素のカメラを使用して、画像転送中に自動焦点合焦を行ったときにかかる時間は、焦点合焦から撮影が終わるまでに、3.5秒+1.5秒で5秒かかる。したがって、1箇所で2色の染色を行い、フィルタを交換して2回撮影行うと、トータルの撮影時間は画像転送時間も含め、10秒×200箇所×96ウェル=約53時間となる。この場合の工程の一部のシーケンス図を図8に示す。
よって、画像転送中に自動焦点合焦時間を含めることで、従来の画像転送後に自動焦点合焦を行う場合と比べ17時間短縮できることになる。
In addition, using an 11 million pixel camera and autofocusing during image transfer takes 3.5 seconds + 1.5 seconds for 5 seconds from focusing to the end of shooting. Take it. Therefore, if two colors are dyed at one place and the filter is exchanged and the picture is taken twice, the total photography time including the image transfer time is 10 seconds × 200 places × 96 wells = about 53 hours. FIG. 8 shows a partial sequence diagram of the steps in this case.
Therefore, by including the autofocusing time during image transfer, it can be shortened by 17 hours compared to the case of performing autofocusing after conventional image transfer.

すなわち、従来個別の時間帯に行うようにしていた、自動焦点合焦と画像転送を同時期に行うようにすれば、それだけ全撮影時間に要する時間の短縮化が可能となる。また、光学素子の交換を自動焦点合焦と同時期に行うことでも、全撮影時間に要する時間の短縮化が可能となる。自動焦点合焦と画像転送と光学素子の交換は平行処理が可能な動作であることに着目したのである。   In other words, if autofocusing and image transfer are performed at the same time, which is conventionally performed in individual time zones, the time required for the total photographing time can be shortened accordingly. Also, the time required for the entire photographing time can be shortened by replacing the optical element at the same time as the automatic focusing. It was noted that autofocusing, image transfer, and exchange of optical elements are operations capable of parallel processing.

そこで本発明は、上記課題に鑑みてなされたものであり、露光時間を除く時間、すなわち画像取り込み手段から画像記録装置へ画像を転送している時間を含めて自動焦点合焦を行うことで、トータルの撮影時間を短縮することを可能とした画像撮像装置を提供することを目的としている。また、自動焦点合焦中に光学素子の交換時間を含めることでさらにトータルの撮影時間の短縮を実現した画像撮像装置を提供することを目的としている。   Therefore, the present invention has been made in view of the above problems, and by performing autofocusing including the time excluding the exposure time, that is, the time during which the image is transferred from the image capturing means to the image recording apparatus, An object of the present invention is to provide an image pickup apparatus capable of shortening the total shooting time. It is another object of the present invention to provide an image pickup apparatus that further shortens the total shooting time by including the replacement time of the optical element during autofocusing.

上記目的を達成するために、本発明の自動焦点合焦装置を備えた画像撮像装置は、画像取り込み手段と、画像記憶手段と、対物レンズと、標本と、前記標本を固定するステージと、光学素子を切り替える手段と、前記標本と前記対物レンズの距離を相対的に変化させることができる手段と、光源と、自動焦点合焦装置とを有し、前記標本と前記対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて自動的に繰り返し前記標本の撮像を行う撮像装置において、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれていることを特徴としている。   In order to achieve the above object, an image pickup apparatus provided with the autofocus device of the present invention includes an image capturing means, an image storage means, an objective lens, a specimen, a stage for fixing the specimen, and an optical device. A means for switching elements; a means capable of relatively changing a distance between the specimen and the objective lens; a light source; and an autofocus device; and changing a relative position between the specimen and the objective lens. In the imaging apparatus that automatically and repeatedly images the specimen using an autofocus method that performs focusing adjustment, all or part of the image transfer time from the image capturing unit to the image storage unit is automatically It is characterized by being included in the focusing operation period.

また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記標本の露光時間が、前記自動焦点合焦動作期間に含まれていないことが好ましい。   In the image pickup apparatus provided with the autofocus device of the present invention, it is preferable that the exposure time of the specimen is not included in the autofocus operation period.

また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記光学素子の交換時間が、前記自動焦点合焦動作期間に含まれていることが好ましい。   In the image pickup apparatus provided with the autofocus device of the present invention, it is preferable that the replacement time of the optical element is included in the autofocus operation period.

また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記標本が、ウェルプレート又はスライドガラスであることが好ましい。   In the image pickup apparatus provided with the autofocus device of the present invention, the specimen is preferably a well plate or a slide glass.

また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記ステージが、標本をXY平面上を自由に移動することが可能な電動ステージであることが好ましい。   In the image pickup apparatus provided with the autofocus device of the present invention, it is preferable that the stage is an electric stage that can freely move the sample on the XY plane.

また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記画像取り込み手段が、冷却CCDカメラであることが好ましい。   In the image pickup apparatus provided with the autofocus device of the present invention, it is preferable that the image capturing means is a cooled CCD camera.

また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記光学素子とは、励起フィルタ,ダイクロイックミラー及び吸収フィルタであることが好ましい。   In the image pickup apparatus provided with the autofocus device of the present invention, the optical element is preferably an excitation filter, a dichroic mirror, and an absorption filter.

また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記自動焦点合焦装置が、レーザー光を前記対物レンズを介して前記標本に照射し、反射した光を前記対物レンズを介して受光部で受光して、演算結果により焦点合焦を行う、瞳分割方式であることが好ましい。   Further, in the image pickup apparatus provided with the autofocus device of the present invention, the autofocus device irradiates the sample with laser light through the objective lens, and reflects the reflected light through the objective lens. It is preferable to use a pupil division method in which the light is received by the light receiving unit and the focus is focused based on the calculation result.

CCDカメラの露光終了直後、すなわち画像記憶装置に転送している時間に合焦動作を開始することで、トータルの撮影時間の短縮につながった。また、自動焦点合焦時間に光学素子を構成する励起フィルタ,ダイクロイックミラー及び吸収フィルタの交換を行うことにより効率がよくなり、さらに時間短縮につながった。   Starting the focusing operation immediately after the end of exposure of the CCD camera, that is, the time during transfer to the image storage device, led to a reduction in the total photographing time. Moreover, the efficiency was improved by exchanging the excitation filter, the dichroic mirror, and the absorption filter constituting the optical element during the autofocusing time, which further reduced the time.

次に、本発明の自動焦点合焦装置を備えた画像撮像装置の詳細な説明に先立ち概略と制御手順について説明する。
本発明の自動焦点合焦装置を備えた画像撮像装置は、画像取り込み手段と、画像記憶手段と、対物レンズと、標本と、前記標本を固定するステージと、光学素子を切り替える手段と、標本と対物レンズの距離を相対的に変化させることができる手段と、光源と、自動焦点合焦装置とを有している。
Next, an outline and a control procedure will be described prior to a detailed description of an image pickup apparatus provided with the autofocus device of the present invention.
An image pickup apparatus provided with the autofocus device of the present invention includes an image capturing means, an image storage means, an objective lens, a specimen, a stage for fixing the specimen, a means for switching optical elements, a specimen, Means capable of relatively changing the distance of the objective lens, a light source, and an autofocus device are provided.

本発明の画像撮像装置の構成は、画像取り込み手段としてCCDカメラを用い、画像記録装置としてコンピュータを用い、標本と対物レンズの距離を相対的に変化させる手段として蛍光顕微鏡のレボルバとステージを用いる。レボルバには対物レンズが、ステージには標本が搭載されている。光学素子の切り替え手段にはフィルタチェンジャーを用いる。
標本としては、マルチウェルプレート又はスライドガラス又はディッシュに蛍光標識された細胞を培養したものを使用する。
光源には白色照明またはLED光源を使用し、光源から照明された光は光学素子を通過し、対物レンズを介して励起光が標本に照射され、蛍光を発する。蛍光をCCDカメラによって露光する。
In the configuration of the image pickup apparatus of the present invention, a CCD camera is used as the image capturing means, a computer is used as the image recording apparatus, and a revolver and stage of a fluorescence microscope are used as means for relatively changing the distance between the specimen and the objective lens. The revolver has an objective lens and the stage has a specimen. A filter changer is used as the optical element switching means.
As the specimen, a multi-well plate, a slide glass or a dish in which cells labeled with fluorescence are cultured is used.
A white illumination or LED light source is used as the light source, and the light illuminated from the light source passes through the optical element, and the sample is irradiated with excitation light through the objective lens to emit fluorescence. The fluorescence is exposed by a CCD camera.

また、本発明の自動焦点合焦装置を備えた画像撮像装置は、標本と対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて、自動的に繰り返し標本の撮像を行う。   In addition, an image pickup apparatus equipped with the autofocus device of the present invention automatically and repeatedly samples a sample using an autofocus method that adjusts the focus by changing the relative position of the sample and the objective lens. I do.

自動焦点合焦装置の原理について説明すると、半導体レーザーから出射されたレーザー光は、スリットにより半分をカットされコリメートレンズによって平行光に変えられる。その後PBS(偏光ビームスプリッタ:Polarization Beam Splitter)でP偏光成分のみが透過し、λ/4板で45°偏光され対物レンズを通過し標本に反射され、再びλ/4板により、45°偏光されコリメートレンズを通過し、受光センサに結像される。
受光センサは、光軸を中心に設置された2分割(A領域とB領域)のフォトダイオードとなっている。
受光センサに入った信号は(A−B)/(A+B)の演算を行う。その値は評価関数値(Ef値)と呼ばれ合焦判定に用いられる。対物レンズと標本の距離を相対的に変化させEf値が0となる箇所を合焦位置と判定する。
The principle of the automatic focusing device will be described. Laser light emitted from a semiconductor laser is cut in half by a slit and converted into parallel light by a collimating lens. After that, only the P-polarized light component is transmitted through a PBS (Polarization Beam Splitter), polarized by 45 ° by a λ / 4 plate, reflected by the objective lens through the objective lens, and again polarized by 45 ° by the λ / 4 plate. It passes through the collimating lens and forms an image on the light receiving sensor.
The light receiving sensor is a two-divided photodiode (A region and B region) arranged around the optical axis.
The signal that enters the light receiving sensor performs the calculation of (A−B) / (A + B). The value is called an evaluation function value (Ef value) and is used for focusing determination. The position where the distance between the objective lens and the sample is relatively changed and the Ef value becomes 0 is determined as the in-focus position.

これを用いて照射されたレーザーは対物レンズを介して、標本に照射され反射光は再び対物レンズを介して自動焦点合焦装置の受光部に戻り、演算結果により合焦位置が特定される。   The laser irradiated using this is irradiated to the specimen through the objective lens, and the reflected light returns to the light receiving unit of the autofocus device again through the objective lens, and the in-focus position is specified by the calculation result.

そして、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれている。   In the image pickup apparatus provided with the autofocus device of the present invention, all or part of the image transfer time from the image capturing means to the image storage means is included in the autofocus operation period.

CCDカメラによる撮像した画像の転送を、次の撮影のための自動焦点合焦動作期間に行うことにより、画像転送のための独自の時間が不要となり、結果としてトータルの撮影時間を短縮できる。また、画像転送の開始時期と自動焦点合焦動作の開始時期は、同時期であることを基本とするが、必ずしも同時期でなくてもよい。
なお、自動焦点合焦動作期間よりも画像転送時間の方が長い場合は、この長い部分が自動焦点合焦動作期間に含まれない場合もある。その場合でも、画像転送時間のうち自動焦点合焦動作期間の長さ分は短縮されることになる。
By transferring the image captured by the CCD camera during the auto-focusing operation period for the next shooting, a unique time for image transfer becomes unnecessary, and as a result, the total shooting time can be shortened. In addition, the start time of the image transfer and the start time of the auto-focusing operation are basically the same period, but are not necessarily the same period.
When the image transfer time is longer than the autofocus operation period, this long part may not be included in the autofocus operation period. Even in that case, the length of the auto-focusing operation period in the image transfer time is shortened.

また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、標本の露光時間は、自動焦点合焦動作期間に含まれていない。   In the image pickup apparatus provided with the autofocus device of the present invention, preferably, the specimen exposure time is not included in the autofocus operation period.

自動焦点合焦動作期間には、CCDカメラによる標本の露光は行わない。一方、露光終了後の画像転送は、次の撮影のための自動焦点合焦動作期間に行うのである。   During the automatic focusing operation period, the specimen is not exposed by the CCD camera. On the other hand, image transfer after the end of exposure is performed during the autofocus operation period for the next shooting.

また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、光学素子の交換時間は、自動焦点合焦動作期間に含まれている。   In the image pickup apparatus provided with the autofocus device of the present invention, preferably, the optical element replacement time is included in the autofocus operation period.

光学素子の交換は、自動焦点合焦動作期間においても行うことが可能である。そこで光学素子の交換を、自動焦点合焦動作期間に同時に行うことにより、トータルでの撮影時間の短縮化を図れる。   The optical element can be replaced even during the autofocus operation period. Therefore, the total imaging time can be shortened by exchanging the optical elements simultaneously during the automatic focusing operation period.

また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、標本は、ウェルプレート又はスライドガラスである。   In the image pickup apparatus provided with the autofocus device of the present invention, the specimen is preferably a well plate or a slide glass.

本発明の画像撮像装置は、主に医学、生物学などの分野で生物組織等の状態を観察するのに使用するものであるので、標本はこのようなものが用いられ、そして本発明はこのような標本の撮影に特に適したものである。   Since the image pickup apparatus of the present invention is mainly used for observing the state of a biological tissue or the like in the field of medicine, biology, etc., such a sample is used. It is particularly suitable for photographing such specimens.

また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、ステージは、標本をXY平面上を自由に移動することが可能な電動ステージである。   In the image pickup apparatus including the autofocus device of the present invention, the stage is preferably an electric stage that can freely move the specimen on the XY plane.

本発明の画像撮像装置は、上記したように主に医学、生物学などの分野で生物組織等の状態を観察するのに使用するものであり、標本はウェルプレートやスライドガラスなどが使用されるので、自動的に繰り返して多くの回数の撮影を行うためには電動ステージを用いることになる。   As described above, the image pickup apparatus of the present invention is mainly used for observing the state of a biological tissue or the like in the fields of medicine, biology, etc., and a well plate, a slide glass or the like is used as a specimen. Therefore, an electric stage is used to automatically and repeatedly take a large number of times.

また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、画像取り込み手段は、冷却CCDカメラである。   In the image pickup apparatus provided with the autofocus device of the present invention, preferably, the image capturing means is a cooled CCD camera.

長時間にわたり多くの回数の撮影を行うので、安定した状態で撮影を行うためには冷却CCDカメラを使用することになる。   Since many times of shooting are performed over a long period of time, a cooled CCD camera is used to perform shooting in a stable state.

また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、光学素子とは、励起フィルタ,ダイクロイックミラー及び吸収フィルタである。   In the image pickup apparatus provided with the autofocus device of the present invention, the optical elements are preferably an excitation filter, a dichroic mirror, and an absorption filter.

蛍光観察を行う場合にこのような光学素子が必要となる。そして、励起する波長に合わせて交換をしやすくするために、通常は一体となっている。   Such an optical element is necessary for fluorescence observation. In order to facilitate exchange according to the wavelength to be excited, they are usually integrated.

また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、自動焦点合焦装置は、レーザー光を対物レンズを介して標本に照射し、反射した光を対物レンズを介して受光部で受光して、演算結果により焦点合焦を行う、瞳分割方式である。   In the image pickup apparatus provided with the autofocus device of the present invention, the autofocus device preferably irradiates the specimen with laser light through the objective lens and receives the reflected light through the objective lens. This is a pupil division method in which the light is received by a unit and focused by the calculation result.

この方式が本発明の画像撮像装置の自動焦点合焦には、合焦に要する時間や正確さからみて適している。   This method is suitable for autofocusing of the image pickup apparatus of the present invention in view of the time and accuracy required for focusing.

次に、本発明の自動焦点合焦装置を備えた画像撮像装置の制御手順を図1のシーケンス図に基づいて説明する。   Next, the control procedure of the image pickup apparatus provided with the autofocus device of the present invention will be described based on the sequence diagram of FIG.

まず、自動焦点合焦装置のレーザーがONとなると、演算により合焦位置が検出され、レボルバが駆動され、対物レンズと標本の距離が制御されて対物レンズが焦点合焦位置に移動させられる。
対物レンズが焦点合焦位置に移動させられると、自動焦点合焦装置のレーザーはOFFとなる。
First, when the laser of the autofocus device is turned on, the focus position is detected by calculation, the revolver is driven, the distance between the objective lens and the sample is controlled, and the objective lens is moved to the focus focus position.
When the objective lens is moved to the focus position, the laser of the autofocus device is turned off.

次に光源のシャッタが開けられ、標本に励起光が照射され、CCDカメラの露光が行われる。   Next, the shutter of the light source is opened, the sample is irradiated with excitation light, and the CCD camera is exposed.

CCDカメラの露光が終わると光源のシャッタが閉じられ、CCDカメラに蓄積した画像は画像記憶装置であるコンピュータに転送される。
また、露光が停止した直後から次の撮像を行うために、自動焦点合焦装置のレーザーがONとなり、合焦位置の検出が行われる。
合焦位置の検出が行われている間にフィルタチェンジャーが駆動され、フィルタの交換が行われる。
フィルタチェンジャーの動作終了をうけて、光源のシャッタが開かれ、CCDカメラにより露光が行われる。
When the exposure of the CCD camera is completed, the shutter of the light source is closed, and the image stored in the CCD camera is transferred to a computer which is an image storage device.
Further, in order to perform the next imaging immediately after the exposure is stopped, the laser of the autofocus device is turned on, and the focus position is detected.
While the in-focus position is detected, the filter changer is driven and the filter is replaced.
Upon completion of the operation of the filter changer, the shutter of the light source is opened and exposure is performed by the CCD camera.

これにより、CCDカメラの露光が終わった直後すなわち画像の転送時間を含めて自動焦点調整を行うため、工程に無駄が無くなり、トータル時間の削減につながる。さらに光学素子の交換を自動焦点調整の時間に含めることで、効率がさらによくなる。   As a result, since the automatic focus adjustment is performed immediately after the exposure of the CCD camera, that is, including the image transfer time, the process is not wasted and the total time is reduced. Further, the efficiency is further improved by including the replacement of the optical element in the time of the automatic focus adjustment.

次に、本発明の自動焦点合焦装置を備えた画像撮像装置の一実施例を図2及び図3に基づいて説明する。図2は、本発明の自動焦点合焦装置を備えた画像撮像装置の説明図である。図3は、図2に示す画像撮像装置の制御方法の詳細を示すシーケンス図である。   Next, an embodiment of an image pickup apparatus provided with the autofocus device of the present invention will be described with reference to FIGS. FIG. 2 is an explanatory diagram of an image pickup apparatus provided with the autofocus device of the present invention. FIG. 3 is a sequence diagram showing details of a control method of the image pickup apparatus shown in FIG.

まず、図2に基づいて本発明の自動焦点合焦装置を備えた画像撮像装置について説明する。
本発明の自動焦点合焦装置を備えた画像撮像装置は、画像取り込み手段として冷却CCDカメラ11が用いられる。画像記録装置15としてはコンピュータが用いられる。標本1としてはウェルプレートやスライドガラスが使用される。そして、標本1と対物レンズ4の距離を相対的に変化させる手段としては蛍光顕微鏡のレボルバ16と電動XYステージ3が用いられる。レボルバ16には対物レンズ4が搭載され、電動XYステージ3には標本1が搭載されている。また、光学素子の切り替え手段としてはフィルタチェンジャー17が用いられる。
First, an image pickup apparatus provided with the autofocus device of the present invention will be described based on FIG.
In the image pickup apparatus provided with the autofocus device of the present invention, the cooled CCD camera 11 is used as the image capturing means. A computer is used as the image recording device 15. As the specimen 1, a well plate or a slide glass is used. As a means for relatively changing the distance between the specimen 1 and the objective lens 4, a revolver 16 of a fluorescence microscope and an electric XY stage 3 are used. An objective lens 4 is mounted on the revolver 16, and a specimen 1 is mounted on the electric XY stage 3. A filter changer 17 is used as the optical element switching means.

光源10としては白色照明またはLED光源が使用される。光源10から照明された光は光学素子を通過し、対物レンズ4を介して励起光13が標本1に照射され、蛍光が発せられる。そして、蛍光は冷却CCDカメラ11によって露光される。なお、光学素子は、励起フィルタ8と、第二ダイクロイックミラー7と吸収フィルタ9により構成され、これらはフィルタチェンジャー17による交換の便宜のために一体となっている。   As the light source 10, white illumination or an LED light source is used. The light illuminated from the light source 10 passes through the optical element, and the sample 1 is irradiated with the excitation light 13 through the objective lens 4 to emit fluorescence. Then, the fluorescence is exposed by the cooled CCD camera 11. The optical element includes an excitation filter 8, a second dichroic mirror 7, and an absorption filter 9, which are integrated for convenience of replacement by the filter changer 17.

また、自動焦点合焦装置6から照射されたレーザー光12は、第一ダイクロイックミラー5で折り返され、対物レンズ4を介してスライドガラス1により反射されるようになっている。反射光は対物レンズ4を介して第一ダイクロイックミラー5で折り返され自動焦点合焦装置6に戻り受光センサで受光され、演算結果により合焦位置が判断される。   The laser beam 12 emitted from the autofocus device 6 is folded back by the first dichroic mirror 5 and reflected by the slide glass 1 through the objective lens 4. The reflected light is turned back by the first dichroic mirror 5 through the objective lens 4, returned to the automatic focusing device 6 and received by the light receiving sensor, and the in-focus position is determined by the calculation result.

そして、制御装置14により、電動XYステージ3、自動焦点合焦装置6、光源10、光源シャッタ10’、冷却CCDカメラ11、画像記憶装置15、レボルバ16の制御が統合して行われるようになっている。自動焦点合焦装置6の演算結果に基づき、標本1と対物レンズ4の相対位置が変化させられて合焦調整が行われる。また、制御装置14により所定の順序で、自動焦点合焦と撮影と画像転送と光学素子の交換が行われる。   Then, the control device 14 performs integrated control of the electric XY stage 3, the autofocus device 6, the light source 10, the light source shutter 10 ', the cooling CCD camera 11, the image storage device 15, and the revolver 16. ing. Based on the calculation result of the automatic focusing device 6, the relative position between the sample 1 and the objective lens 4 is changed, and focusing adjustment is performed. The control device 14 performs autofocusing, shooting, image transfer, and optical element replacement in a predetermined order.

次に、上記した本発明の自動焦点合焦装置を備えた画像撮像装置の制御方法の一例を図3に基づいて説明する。
なお、本実施例では同一の撮像エリアについて光学素子を変更し、第1の撮像条件と第2の撮像条件により2回撮影している。
Next, an example of a control method of the image pickup apparatus provided with the above-described autofocus device of the present invention will be described with reference to FIG.
In this embodiment, the optical element is changed for the same imaging area, and images are taken twice under the first imaging condition and the second imaging condition.

標本として、スライドガラス1上の撮像範囲2に細胞を培養し、核をDAPI、細胞質をGFPで染色したものを用意した。
スライドガラス1を電動XYステージ3に取り付け、撮像条件を設定し、撮像範囲2に対して3×3箇所の撮像エリア(2a1〜2c3)を撮像するように、制御装置14にプログラムを設定した。制御装置14により、電動XYステージ3、自動焦点合焦装置6、光源10、光源シャッタ10’、冷却CCDカメラ11、画像記憶装置15、レボルバ16の制御が行われる。
As a specimen, cells were cultured in the imaging range 2 on the slide glass 1, and the nucleus was stained with DAPI and the cytoplasm was stained with GFP.
The slide glass 1 was attached to the electric XY stage 3, the imaging conditions were set, and a program was set in the control device 14 so as to image 3 × 3 imaging areas (2 a 1 to 2 c 3) with respect to the imaging range 2. The control device 14 controls the electric XY stage 3, the autofocus device 6, the light source 10, the light source shutter 10 ', the cooling CCD camera 11, the image storage device 15, and the revolver 16.

まず、第1の撮像条件として核を撮影するための自動焦点調整が行われる。自動焦点合焦装置6から照射されたレーザー光12は、第一ダイクロイックミラー5で折り返されて対物レンズ4を介してスライドガラス1により反射される。反射光は対物レンズ4を介して第一ダイクロイックミラー5で折り返され自動焦点合焦装置6に戻り受光センサで受光され、演算結果により合焦位置が判断される。そして、レボルバ16がZ方向に動かされ対物レンズ4とスライドガラス1の相対的な距離が変更され、合焦位置に合わせられる。   First, automatic focus adjustment for photographing a nucleus is performed as a first imaging condition. The laser beam 12 emitted from the automatic focusing device 6 is reflected by the first dichroic mirror 5 and reflected by the slide glass 1 through the objective lens 4. The reflected light is turned back by the first dichroic mirror 5 through the objective lens 4, returned to the automatic focusing device 6 and received by the light receiving sensor, and the in-focus position is determined by the calculation result. Then, the revolver 16 is moved in the Z direction, the relative distance between the objective lens 4 and the slide glass 1 is changed, and is adjusted to the in-focus position.

自動焦点調整を行っている間にフィルタチェンジャー17により、励起フィルタ8、第二ダイクロイックミラー7、吸収フィルタ9が交換される。光学素子となる励起フィルタ8,第二ダイクロイックミラー7及び吸収フィルタ9は、励起する波長に合わせて交換をしやすくするために、一体となっている。   During the automatic focus adjustment, the filter changer 17 replaces the excitation filter 8, the second dichroic mirror 7, and the absorption filter 9. The excitation filter 8, the second dichroic mirror 7, and the absorption filter 9 that are optical elements are integrated to facilitate replacement according to the wavelength to be excited.

そして、焦点合焦が完了したら自動焦点合焦装置6のレーザー光12が止められる。
それと同時に、光源10の光源シャッタ10’が開かれ、照射された光は励起フィルタ8により特定の波長のみが通過し、第二ダイクロイックミラー7により折り返され、対物レンズ4を介して最初の撮像エリア(2a1)が照射される。
When the focusing is completed, the laser beam 12 of the automatic focusing device 6 is stopped.
At the same time, the light source shutter 10 ′ of the light source 10 is opened, and the irradiated light passes only a specific wavelength by the excitation filter 8, is turned back by the second dichroic mirror 7, and passes through the objective lens 4 to the first imaging area. (2a1) is irradiated.

反射された光は、対物レンズ4を介して吸収フィルタ9を通過して冷却CCDカメラ11によって指定の露光時間で撮像される。   The reflected light passes through the absorption filter 9 via the objective lens 4 and is imaged by the cooled CCD camera 11 with a specified exposure time.

次に、第2の撮像条件で細胞質の撮影を行うために、露光が終了した直後、すなわち冷却CCDカメラ11から画像記憶装置15に第1の撮像条件での画像の転送を開始すると同時に、自動焦点合焦装置6からレーザー光12が照射され、第2の撮像条件での撮影のための焦点合焦が行われる。焦点合焦を行っている間にフィルタチェンジャー17により、光学素子を構成する励起フィルタ8,第二ダイクロイックミラー7及び吸収フィルタ9の交換が行われる。   Next, in order to capture cytoplasm under the second imaging condition, immediately after the exposure is completed, that is, at the same time as the transfer of the image under the first imaging condition from the cooled CCD camera 11 to the image storage device 15 is started, The laser beam 12 is emitted from the focusing device 6 and focusing for shooting under the second imaging condition is performed. During focusing, the filter changer 17 exchanges the excitation filter 8, the second dichroic mirror 7 and the absorption filter 9 constituting the optical element.

そして、焦点合焦が完了したら自動焦点合焦装置6のレーザー光12が止められる。
それと同時に、光源シャッタ10’が開放され照射された光は励起フィルタ8により特定の波長のみが通過し、第二ダイクロイックミラー7により折り返され、対物レンズ4を介して最初の撮像エリア(2a1)が照射される。
反射された光は、対物レンズ4を介して吸収フィルタ9を通過して冷却CCDカメラ11によって指定の露光時間で撮像される。
When the focusing is completed, the laser beam 12 of the automatic focusing device 6 is stopped.
At the same time, the light irradiated with the light source shutter 10 ′ being opened passes only a specific wavelength by the excitation filter 8, is turned back by the second dichroic mirror 7, and the first imaging area (2 a 1) is passed through the objective lens 4. Irradiated.
The reflected light passes through the absorption filter 9 via the objective lens 4 and is imaged by the cooled CCD camera 11 with a specified exposure time.

最初の撮像エリア(2a1)での第1の撮像条件と第2の撮像条件での露光が終了すると、スライドガラス1は電動XYステージ3により次の撮像エリア(2a2)に移動される。そして、以上の動作を自動的に繰り返して最終の撮像エリア(2c3)まで撮像が行われることになる。   When the exposure under the first imaging condition and the second imaging condition in the first imaging area (2a1) is completed, the slide glass 1 is moved to the next imaging area (2a2) by the electric XY stage 3. Then, the above operation is automatically repeated until the final imaging area (2c3) is imaged.

次に、標本として図4に示す96穴マイクロプレート1を準備し、上記した図2に示す画像撮像装置により撮影を行った例を示す。
各ウェル2には細胞の核をDAPI、細胞質をGFPで染色したものがウェル2底面に固定されている。マイクロプレート1は、底面が平らで、透明になっており下面から観察が可能になっている。
Next, an example is shown in which the 96-hole microplate 1 shown in FIG. 4 is prepared as a sample and taken by the image pickup apparatus shown in FIG.
In each well 2, the cell nucleus stained with DAPI and the cytoplasm stained with GFP is fixed to the bottom of the well 2. The microplate 1 has a flat bottom surface, is transparent, and can be observed from the bottom surface.

マイクロプレート1を画像撮影装置の電動XYステージ3に取り付けた。露光時間1.5秒、20倍対物レンズに設定し、1つのウェル2につきそれぞれ全体の撮影がなされるように、横方向400μmピッチ、縦方向300μmピッチで、14×14箇所の撮影エリア(2a1〜2n14)を設定した。   The microplate 1 was attached to the electric XY stage 3 of the image photographing apparatus. An exposure time of 1.5 seconds and a 20 × objective lens are set, and 14 × 14 shooting areas (2a1) are arranged at a pitch of 400 μm in the horizontal direction and a pitch of 300 μm in the vertical direction so that the whole image is taken for each well 2. ~ 2n14) was set.

制御装置14からは、電動XYステージ3、自動焦点合焦装置6、光源10、光源シャッタ10’、冷却CCDカメラ11、画像記録装置15、レボルバ12の制御が行われる。
冷却CCDカメラ11には、ビットラン社製BS41を使用した。仕様は140万画素(1326×1024ピクセル)で、画像1枚を画像記録装置15に転送するために0.8秒を要する。
The control device 14 controls the electric XY stage 3, the autofocus device 6, the light source 10, the light source shutter 10 ′, the cooling CCD camera 11, the image recording device 15, and the revolver 12.
For the cooled CCD camera 11, BS41 made by Bitlan Co. was used. The specification is 1.4 million pixels (1326 × 1024 pixels), and it takes 0.8 seconds to transfer one image to the image recording device 15.

まず電動XYステージ3が移動され、マイクロプレート1のウェル2が第1の撮影場所に移動させられる。同時にレボルバ16が回転させられ、20倍の対物レンズ4が光路に入るように制御される。   First, the electric XY stage 3 is moved, and the well 2 of the microplate 1 is moved to the first imaging location. At the same time, the revolver 16 is rotated and controlled so that the 20 × objective lens 4 enters the optical path.

まず初めに、DAPIで染色された核を撮影するためにフィルタチェンジャー17により、光学素子となる励起フィルタ8、第二ダイクロイックミラー7、吸収フィルタ9の交換が行われる。励起フィルタ8、第二ダイクロイックミラー7、吸収フィルタ9は、励起する波長に合わせて交換をしやすくするために、一体となっている。
なお、DAPIで染色された核を観察するための光学素子は、オリンパス社製フィルタキューブU-MWG2を使用した。
First, in order to photograph nuclei stained with DAPI, the filter changer 17 exchanges the excitation filter 8, the second dichroic mirror 7, and the absorption filter 9 which are optical elements. The excitation filter 8, the second dichroic mirror 7, and the absorption filter 9 are integrated in order to facilitate exchange according to the wavelength to be excited.
Note that Olympus filter cube U-MWG2 was used as an optical element for observing nuclei stained with DAPI.

また同時に、自動焦点合焦装置6のレーザー光12がONとなり、焦点合焦が行われる。自動焦点合焦装置6から照射されたレーザー光12は第一ダイクロイックミラー5で折り返され、マイクロプレート1の上面で反射され、再び第一ダイクロイックミラー5で折り返され自動焦点合焦装置6の受光センサに戻る。   At the same time, the laser beam 12 of the automatic focusing device 6 is turned on and focusing is performed. The laser beam 12 emitted from the autofocus device 6 is folded back by the first dichroic mirror 5, reflected by the upper surface of the microplate 1, and folded back by the first dichroic mirror 5 again, and the light receiving sensor of the autofocus device 6. Return to.

受光センサは、光軸を中心に設置された2分割(A領域とB領域)のフォトダイオードとなっている。受光センサに入った信号は(A−B)/(A+B)の演算を行う。その値は評価関数値(Ef値)と呼ばれ合焦判定に用いられる。対物レンズと標本の距離を相対的に変化させEf値が0となる箇所を合焦位置と判定する。Ef値が0となる位置は、マイクロプレート1上面位置であるため合焦位置とは異なる。そこでマイクロプレート1の上面から観察したい位置までは、あらかじめ決まった値だけオフセット値を設定しておき、観察位置まで自動で、距離を設定するようになっている。   The light receiving sensor is a two-divided photodiode (A region and B region) arranged around the optical axis. The signal that enters the light receiving sensor performs the calculation of (A−B) / (A + B). The value is called an evaluation function value (Ef value) and is used for focusing determination. The position where the distance between the objective lens and the sample is relatively changed and the Ef value becomes 0 is determined as the in-focus position. The position where the Ef value is 0 is different from the in-focus position because it is the upper surface position of the microplate 1. Therefore, an offset value is set by a predetermined value from the upper surface of the microplate 1 to the position to be observed, and the distance is automatically set to the observation position.

そして、レボルバ16により対物レンズ4とマイクロプレート1の間の距離が相対的に変更されて、合焦位置にあわせられる。   Then, the distance between the objective lens 4 and the microplate 1 is relatively changed by the revolver 16 and is adjusted to the in-focus position.

そして、焦点合焦が完了したら自動焦点合焦装置6のレーザー光12が止められる。   When the focusing is completed, the laser beam 12 of the automatic focusing device 6 is stopped.

ついで、光源10の光源シャッタ10’が開かれ、照射された光は励起フィルタ8により特定の波長のみが通過し、第二ダイクロイックミラー7により折り返され、対物レンズ4を介して最初の撮像エリア(2a1)が照射される。   Next, the light source shutter 10 ′ of the light source 10 is opened, and the irradiated light passes only a specific wavelength by the excitation filter 8, is turned back by the second dichroic mirror 7, and is passed through the objective lens 4 to the first imaging area ( 2a1) is irradiated.

反射された光は対物レンズ4を介して吸収フィルタ7を通過して冷却CCDカメラ11によって露光される。   The reflected light passes through the absorption filter 7 via the objective lens 4 and is exposed by the cooled CCD camera 11.

冷却CCDカメラ11によって蓄積された画像は、画像記憶装置15に転送される。
それと同時に、次にGFPで染色された細胞質の撮影を行うために、露光が終了した直後、すなわち冷却CCDカメラ11から画像記憶装置15に画像の転送を開始すると同時に、自動焦点装置6からレーザー光12が照射され、焦点合焦が行われる。また同時に、フィルタチェンジャー17により、励起フィルタ8とダイクロイックミラー7と吸収フィルタ9の交換が行われる。
なお、GFPで染色された細胞質を撮像するための光学素子は、オリンパス社製フィルタキューブU-MGFPHQを使用した。
The image accumulated by the cooled CCD camera 11 is transferred to the image storage device 15.
At the same time, immediately after the exposure is completed, that is, at the same time as the transfer of the image from the cooled CCD camera 11 to the image storage device 15 is started in order to capture the cytoplasm stained with GFP, the laser beam from the autofocus device 6 12 is irradiated and focusing is performed. At the same time, the filter changer 17 exchanges the excitation filter 8, the dichroic mirror 7, and the absorption filter 9.
Note that Olympus filter cube U-MGFPHQ was used as an optical element for imaging the cytoplasm stained with GFP.

焦点合焦が完了したら自動焦点合焦装置のレーザー光12が止められる。そして光源シャッタ10’が開放されて、冷却CCDカメラ11によって露光が行われる。   When the focusing is completed, the laser beam 12 of the automatic focusing device is stopped. Then, the light source shutter 10 ′ is opened and exposure is performed by the cooled CCD camera 11.

撮像エリア(2a1)の露光が終了すると、冷却CCDカメラ11によって蓄積された画像は、画像記憶装置15に転送される。それと同時に、次の撮像エリア(2a2)を撮影するために、マイクロプレート1は電動XYステージ3により移動される。また同時に、自動焦点合焦装置6からレーザー光12が照射され、焦点合焦が行われる。さらに同時に、次の撮像エリア(2a2)においてDAPIで染色された核を撮影するためにフィルタチェンジャー17により、光学素子となる励起フィルタ8、第二ダイクロイックミラー7、吸収フィルタ9の交換が行われる。   When the exposure of the imaging area (2a1) is completed, the image accumulated by the cooled CCD camera 11 is transferred to the image storage device 15. At the same time, the microplate 1 is moved by the electric XY stage 3 to photograph the next imaging area (2a2). At the same time, the laser beam 12 is emitted from the automatic focusing device 6 and focusing is performed. At the same time, the filter changer 17 exchanges the excitation filter 8, the second dichroic mirror 7, and the absorption filter 9 as optical elements in order to photograph the nucleus stained with DAPI in the next imaging area (2a2).

焦点合焦が完了したら自動焦点合焦装置のレーザー光12が止められる。そして光源シャッタ10’が開放されて、冷却CCDカメラ11によって露光が行われる。   When the focusing is completed, the laser beam 12 of the automatic focusing device is stopped. Then, the light source shutter 10 ′ is opened and exposure is performed by the cooled CCD camera 11.

以上の動作を繰り返し、最後の撮像エリア(2n14)までのウェル2内全ての撮像を行い、マイクロプレート1の96個のウェル2全部の撮影を行う。
その結果、マイクロプレート1の96個のウェル2全部の撮影に要した時間は32時間であった。また、画像転送後に自動焦点合焦動作を行った場合には、40.5時間要したので本実施例では8.5時間の短縮になった。
The above operation is repeated, all the images in the well 2 up to the last imaging area (2n14) are imaged, and all 96 wells 2 of the microplate 1 are imaged.
As a result, the time required for photographing all 96 wells 2 of the microplate 1 was 32 hours. Further, when the autofocus operation was performed after the image transfer, it took 40.5 hours, so in this embodiment the time was reduced to 8.5 hours.

本発明の自動焦点合焦装置を備えた画像撮像装置の制御手順を示すシーケンス図である。It is a sequence diagram which shows the control procedure of an image pick-up device provided with the autofocus device of the present invention. 本発明の自動焦点合焦装置を備えた画像撮像装置の説明図である、It is explanatory drawing of the image pick-up device provided with the autofocus device of the present invention. 図2に示す画像撮像装置の制御方法の詳細を示すシーケンス図である。It is a sequence diagram which shows the detail of the control method of the image imaging device shown in FIG. マイクロプレートの一例を示す説明図である。It is explanatory drawing which shows an example of a microplate. 140万画素のカメラを使用して、画像転送後に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。It is a sequence diagram which shows a part of process in the case of performing an autofocus after an image transfer using a 1.4 million pixel camera. 1100万画素のカメラを使用して、画像転送後に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。It is a sequence diagram which shows a part of process in the case of performing an autofocus after an image transfer using a 11 million pixel camera. 140万画素のカメラを使用して、画像転送中に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。It is a sequence diagram which shows a part of process in the case of using a 1.4 million pixel camera and performing autofocusing during image transfer. 1100万画素のカメラを使用して、画像転送中に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。It is a sequence diagram which shows a part of process in the case of performing autofocusing during image transfer using a 11 million pixel camera.

符号の説明Explanation of symbols

1 スライドガラス(マイクロプレート、標本)
2 撮像範囲(ウェル)
2a1〜2n14 撮像エリア
3 電動XYステージ
4 対物レンズ
5 第一ダイクロイックミラー
6 自動焦点合焦装置
7 第二ダイクロイックミラー
8 励起フィルタ
9 吸収フィルタ
10 光源
10’ 光源シャッタ
11 冷却CCDカメラ
12 レーザー光
13 励起光
14 制御装置
15 画像記憶装置
16 レボルバ
17 フィルタチェンジャー
1 Slide glass (microplate, specimen)
2 Imaging range (well)
2a1 to 2n14 Image pickup area 3 Electric XY stage 4 Objective lens 5 First dichroic mirror 6 Auto focus device 7 Second dichroic mirror 8 Excitation filter 9 Absorption filter 10 Light source 10 ′ Light source shutter 11 Cooling CCD camera 12 Laser light 13 Excitation light 14 Control device 15 Image storage device 16 Revolver 17 Filter changer

Claims (8)

画像取り込み手段と、画像記憶手段と、対物レンズと、標本と、前記標本を固定するステージと、光学素子を切り替える手段と、前記標本と前記対物レンズの距離を相対的に変化させることができる手段と、光源と、自動焦点合焦装置とを有し、前記標本と前記対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて自動的に繰り返し前記標本の撮像を行う撮像装置において、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれていることを特徴とする自動焦点合焦装置を備えた画像撮像装置。   Image capturing means, image storage means, objective lens, specimen, stage for fixing the specimen, means for switching optical elements, and means capable of relatively changing the distance between the specimen and the objective lens And a light source and an autofocus device, and automatically and repeatedly image the sample using an autofocus method that adjusts the focus by changing the relative position of the sample and the objective lens. An image provided with an autofocus device characterized in that in the imaging device to be performed, all or part of the image transfer time from the image capturing means to the image storage means is included in the autofocus operation period. Imaging device. 前記標本の露光時間が、前記自動焦点合焦動作期間に含まれていないことを特徴とする請求項1に記載の自動焦点合焦装置を備えた画像撮像装置。   2. The image capturing apparatus with an autofocus device according to claim 1, wherein an exposure time of the specimen is not included in the autofocus operation period. 前記光学素子の交換時間が、前記自動焦点合焦動作期間に含まれていることを特徴とする請求項1又は2に記載の自動焦点合焦装置を備えた画像撮像装置。   3. The image pickup apparatus provided with the autofocus device according to claim 1, wherein the replacement time of the optical element is included in the autofocus operation period. 前記標本が、ウェルプレート又はスライドガラスであることを特徴とする請求項1〜3のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。   The image pickup apparatus provided with the automatic focusing device according to any one of claims 1 to 3, wherein the specimen is a well plate or a slide glass. 前記ステージが、標本をXY平面上を自由に移動することが可能な電動ステージであることを特徴とする請求項1〜3のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。   The image capturing apparatus including the autofocus device according to any one of claims 1 to 3, wherein the stage is an electric stage capable of freely moving the specimen on the XY plane. 前記画像取り込み手段が、冷却CCDカメラであることを特徴とする請求項1〜3のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。   The image capturing apparatus provided with the autofocus device according to any one of claims 1 to 3, wherein the image capturing means is a cooled CCD camera. 前記光学素子とは、励起フィルタ,ダイクロイックミラー及び吸収フィルタであることを特徴とする請求項1〜3のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。   The image pickup device provided with the autofocus device according to any one of claims 1 to 3, wherein the optical element is an excitation filter, a dichroic mirror, and an absorption filter. 前記自動焦点合焦装置が、レーザー光を前記対物レンズを介して前記標本に照射し、反射した光を前記対物レンズを介して受光部で受光して、演算結果により焦点合焦を行う、瞳分割方式であることを特徴とする請求項1〜3のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。   The pupil that irradiates the sample with laser light through the objective lens, receives the reflected light at the light receiving unit through the objective lens, and performs focusing based on the calculation result. The image pickup apparatus provided with the autofocus device according to any one of claims 1 to 3, wherein the image pickup apparatus is a division method.
JP2008260904A 2008-10-07 2008-10-07 Image pickup device including automatic focusing device Withdrawn JP2010091739A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008260904A JP2010091739A (en) 2008-10-07 2008-10-07 Image pickup device including automatic focusing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008260904A JP2010091739A (en) 2008-10-07 2008-10-07 Image pickup device including automatic focusing device

Publications (1)

Publication Number Publication Date
JP2010091739A true JP2010091739A (en) 2010-04-22

Family

ID=42254527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008260904A Withdrawn JP2010091739A (en) 2008-10-07 2008-10-07 Image pickup device including automatic focusing device

Country Status (1)

Country Link
JP (1) JP2010091739A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104633599A (en) * 2014-12-11 2015-05-20 广州市雅江光电设备有限公司 Method of automatic focusing for patterned moving lamp
WO2019098018A1 (en) * 2017-11-17 2019-05-23 富士フイルム株式会社 Observation device and method, and observation device control program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104633599A (en) * 2014-12-11 2015-05-20 广州市雅江光电设备有限公司 Method of automatic focusing for patterned moving lamp
WO2019098018A1 (en) * 2017-11-17 2019-05-23 富士フイルム株式会社 Observation device and method, and observation device control program
JPWO2019098018A1 (en) * 2017-11-17 2020-11-26 富士フイルム株式会社 Observation device and method and observation device control program
US11480780B2 (en) 2017-11-17 2022-10-25 Fujifilm Corporation Observation device, observation method, and observation device control program

Similar Documents

Publication Publication Date Title
JP6158197B2 (en) Multifunction autofocus system and method for automated microscope use
JP4923541B2 (en) microscope
JP5566188B2 (en) Living body observation device
US8809809B1 (en) Apparatus and method for focusing in fluorescence microscope
US20150185456A1 (en) Microscope system and control method therefor
JP6044941B2 (en) Optical microscope and optical microscope autofocus device
JP5231610B2 (en) Microscope system and observation method
JP2008051773A (en) Fluorescence image acquisition device and fluorescence image acquisition method
CA2849330A1 (en) Slide scanner with a tilted image
JP6940696B2 (en) Two-dimensional and three-dimensional fixed Z-scan
JP6143098B2 (en) Objective lens drive control method and fluorescence microscope system
JP2005128493A (en) Microscope system
JP5185704B2 (en) Living body observation device
JP6327829B2 (en) Microscope control apparatus, microscope system, control method, and program
JP5322368B2 (en) Microscope system, observation method and observation program
JP2012163767A (en) Control program, control program recorded medium, and microscope system
JP2010091739A (en) Image pickup device including automatic focusing device
JP2008051772A (en) Fluorescence image acquisition device and fluorescence image acquisition method
US8411357B2 (en) Motor-operated microscope system and software for controlling motor-operated microscopes
JP2015087723A (en) Image acquisition device and image acquisition method using the same
JP2012159854A (en) Inverted microscope system
JP2008003331A (en) Microscope apparatus
JP5399580B2 (en) Microscope system, observation method and observation program
JP2017097301A (en) Control device, microscope device, control method and control program
JP5530330B2 (en) Microscope system

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120110