JP2013080024A - Scanning microscope - Google Patents

Scanning microscope Download PDF

Info

Publication number
JP2013080024A
JP2013080024A JP2011218839A JP2011218839A JP2013080024A JP 2013080024 A JP2013080024 A JP 2013080024A JP 2011218839 A JP2011218839 A JP 2011218839A JP 2011218839 A JP2011218839 A JP 2011218839A JP 2013080024 A JP2013080024 A JP 2013080024A
Authority
JP
Japan
Prior art keywords
illumination
light
scanning
scanning microscope
illumination light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011218839A
Other languages
Japanese (ja)
Other versions
JP5892410B2 (en
Inventor
Naoki Kuratsu
直樹 倉津
Hisao Osawa
日佐雄 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011218839A priority Critical patent/JP5892410B2/en
Publication of JP2013080024A publication Critical patent/JP2013080024A/en
Application granted granted Critical
Publication of JP5892410B2 publication Critical patent/JP5892410B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a scanning microscope that can obtain an image of a specimen beyond an optical limit of an optical system.SOLUTION: A scanning microscope 10 includes: an illumination optical system that scans a specimen 70 with illumination light radiated from a light source device 20 using a scanning optical system 30; a light collecting optical system that guides the light from the specimen 70 to a detecting unit (for example, first detecting unit 40); and a control unit 100 that controls a scanning position of the illumination light on the specimen 70 by the scanning optical system 30, and controls the intensity of the illumination light to change to be the 1/n-th power of a sine waveform in accordance with the scanning position. Here, n is an integer equal to or greater than 1.

Description

本発明は、走査型顕微鏡に関する。   The present invention relates to a scanning microscope.

従来、顕微鏡光学系の分解能よりも高い分解能で標本を観察する超解像技術について、様々な手法が提案されている。それらの中には、構造化照明と画像処理とを組み合わせる方法がある(例えば、特許文献1参照)。   Conventionally, various techniques have been proposed for super-resolution techniques for observing a specimen with a resolution higher than that of a microscope optical system. Among them, there is a method of combining structured illumination and image processing (see, for example, Patent Document 1).

特開2008−216778号公報JP 2008-216778 A

構造化照明を行う方法として、例えば、回折格子で空間変調した照明光を標本に照射する構成があるが、励起光と蛍光の共通光路中に標本の共役面が形成されるように構成させる、一般的な走査型顕微鏡に適用することは現実的ではない。   As a method of performing structured illumination, for example, there is a configuration in which the sample is irradiated with illumination light spatially modulated by a diffraction grating, but a configuration is made so that a conjugate plane of the sample is formed in a common optical path of excitation light and fluorescence. It is not realistic to apply to a general scanning microscope.

本発明はこのような課題に鑑みてなされたものであり、光学系の光学限界能を超えた標本の画像を取得することができる走査型顕微鏡を提供することを目的とする。   The present invention has been made in view of such problems, and an object of the present invention is to provide a scanning microscope that can acquire an image of a specimen that exceeds the optical limit ability of an optical system.

前記課題を解決するために、本発明に係る走査型顕微鏡は、光源部から照射された照明光により走査手段を用いて標本を走査する照明光学系と、標本からの光を検出部へ導く集光光学系と、走査手段による標本における照明光の走査位置を制御するとともに、照明光の強度変化が正弦波状波形の1/n乗となるように、走査位置に応じて制御する制御部と、を有することを特徴とする。但し、nは1以上の整数である。   In order to solve the above-described problems, a scanning microscope according to the present invention includes an illumination optical system that scans a specimen using a scanning unit with illumination light emitted from a light source unit, and a light guide that guides light from the specimen to a detection unit. A control unit for controlling the scanning position of the illumination light on the sample by the scanning unit and controlling according to the scanning position so that the intensity change of the illumination light becomes a 1 / nth power of a sinusoidal waveform; It is characterized by having. However, n is an integer of 1 or more.

このような走査型顕微鏡において、光源部は、音響光学素子を含み、制御部は、走査位置に応じて音響光学素子を正弦波状波形の1/n乗の駆動信号を用いて制御することにより、照明光の強度変化が正弦波状波形の1/n乗となるように制御することが好ましい。   In such a scanning microscope, the light source unit includes an acoustooptic device, and the control unit controls the acoustooptic device using a 1 / nth power drive signal of a sinusoidal waveform according to the scanning position, It is preferable to control so that the intensity change of the illumination light becomes a 1 / nth power of a sinusoidal waveform.

また、このような走査型顕微鏡において、光源部は、レーザ光源を含み、制御部は、走査位置に応じてレーザ光源を正弦波状波形の1/n乗の駆動信号を用いて制御することにより、照明光の強度変化が正弦波状波形の1/n乗となるように制御することが好ましい。   Further, in such a scanning microscope, the light source unit includes a laser light source, and the control unit controls the laser light source using a 1 / nth power drive signal of a sinusoidal waveform according to the scanning position, It is preferable to control so that the intensity change of the illumination light becomes a 1 / nth power of a sinusoidal waveform.

また、このような走査型顕微鏡において、制御部は、照明光の正弦波状波形の位相を変化させた照明状態で取得した複数の画像から演算により標本の画像を生成することが好ましい。   In such a scanning microscope, it is preferable that the control unit generates an image of the sample by calculation from a plurality of images acquired in an illumination state in which the phase of the sinusoidal waveform of the illumination light is changed.

また、このような走査型顕微鏡において、照明光の正弦波状波形の位相を変化させた照明状態で取得した複数の画像は、照明光の正弦波状波形の位相を変化させることにより照明縞パターンの位相が変化した照明状態で取得した複数の画像であることが好ましい。   In such a scanning microscope, a plurality of images acquired in an illumination state in which the phase of the sinusoidal waveform of the illumination light is changed can be obtained by changing the phase of the illumination fringe pattern by changing the phase of the sinusoidal waveform of the illumination light. It is preferable that they are a plurality of images acquired in an illumination state in which is changed.

また、このような走査型顕微鏡において、照明光の正弦波状波形の位相を変化させた照明状態で取得した複数の画像は、照明光の正弦波状波形の位相を走査ライン毎に変化させることにより照明縞パターンが回転した照明状態で取得した複数の画像であることが好ましい。   In such a scanning microscope, a plurality of images acquired in an illumination state in which the phase of the sinusoidal waveform of the illumination light is changed are illuminated by changing the phase of the sinusoidal waveform of the illumination light for each scanning line. It is preferable that the images are a plurality of images acquired in an illumination state in which the stripe pattern is rotated.

また、このような走査型顕微鏡において、制御部は、強度変調の1周期分のデータを記憶する駆動波形テーブルと、駆動波形テーブルのプリセット値として指定された位置を開始位置として、データを循環読み出しするカウンタと、を有し、照明状態に応じてプリセット値を設定して読み出したデータにより正弦波状波形を制御することが好ましい。   In such a scanning microscope, the control unit circulates and reads out data using a drive waveform table storing data for one period of intensity modulation and a position designated as a preset value of the drive waveform table as a start position. It is preferable to control the sinusoidal waveform by data read out by setting a preset value according to the illumination state.

また、このような走査型顕微鏡は、標本を介して照明光学系に対向する位置に配置され、標本を透過した照明光を検出する検出部をさらに有することが好ましい。   In addition, such a scanning microscope preferably further includes a detection unit that is disposed at a position facing the illumination optical system via the sample and detects illumination light transmitted through the sample.

本発明を以上のように構成すると、光学系の光学限界能を超えた標本の画像を取得することができる走査型顕微鏡を提供することができる。   When the present invention is configured as described above, it is possible to provide a scanning microscope that can acquire an image of a specimen that exceeds the optical limit capability of the optical system.

走査型顕微鏡の構成を示す説明図である。It is explanatory drawing which shows the structure of a scanning microscope. 超解像の画像を取得するための照明状態を説明するための説明図である。It is explanatory drawing for demonstrating the illumination state for acquiring the image of a super-resolution. 上記走査型顕微鏡の制御部の構成を示す説明図である。It is explanatory drawing which shows the structure of the control part of the said scanning microscope. 照明縞信号発生器の構成を示す説明図である。It is explanatory drawing which shows the structure of an illumination fringe signal generator. 同期信号発生器から出力される同期信号のタイミングを示す説明図である。It is explanatory drawing which shows the timing of the synchronizing signal output from a synchronizing signal generator. AOTFの駆動方法を説明するための説明図であって、(a)は駆動波形を示し、(b)は駆動波形テーブルの構成を示す。It is explanatory drawing for demonstrating the drive method of AOTF, (a) shows a drive waveform, (b) shows the structure of a drive waveform table. 位相をずらした縞照明の駆動波形を示す説明図である。It is explanatory drawing which shows the drive waveform of the striped illumination which shifted the phase. 縞照明をπ/3回転させる場合の駆動波形を示す説明図である。It is explanatory drawing which shows the drive waveform in the case of carrying out pi / 3 rotation of fringe illumination. 2光子励起のための駆動波形を示す説明図である。It is explanatory drawing which shows the drive waveform for two-photon excitation.

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図1を用いて走査型顕微鏡の光学系の構成について説明する。この走査型顕微鏡10は、光源装置20から放射されたレーザ光(照明光)をステージ上に載置された標本70に照射して走査する走査光学系30と、標本70からの蛍光(観察光)を検出する第1検出部40及び第2検出部50と、標本70を透過した照明光を検出する第3検出部60と、を有して構成される。なお、以降の説明において、走査光学系30の光軸方向をz軸とし、このz軸に直交する面内で互いに直交する方向をそれぞれx軸及びy軸とする。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, the configuration of the optical system of the scanning microscope will be described with reference to FIG. This scanning microscope 10 includes a scanning optical system 30 that scans a sample 70 placed on a stage by irradiating laser light (illumination light) emitted from a light source device 20, and fluorescence (observation light) from the sample 70. ), And a third detector 60 that detects illumination light transmitted through the specimen 70. In the following description, the optical axis direction of the scanning optical system 30 is defined as the z axis, and the directions orthogonal to each other in a plane orthogonal to the z axis are defined as the x axis and the y axis, respectively.

この走査型顕微鏡10において、光源装置20は、波長が異なる複数のレーザ光を、同時または個別に射出することが可能に構成された光源21と、後述するAOTFドライバの制御により、通過するレーザ光の強度を0〜100%の間で変化させる(強度変調させる)強度変調素子であるAOTF(音響光学素子)22とから構成されている。なお、以降の説明においては、光源21から赤外光および可視光の2種類のレーザ光が射出されるものとして説明する。また、この光源21から射出される赤外光は、標本70の多光子励起を誘発するための、所定の周期で射出される非常に短いパルス状の光(例えば、100フェムト秒のパルス光であって、以下、「IRパルス光」と呼ぶ)であるものとする。   In this scanning microscope 10, the light source device 20 includes a light source 21 configured to be able to emit a plurality of laser beams having different wavelengths simultaneously or individually, and a laser beam that passes under the control of an AOTF driver described later. Is composed of an AOTF (acousto-optic element) 22 which is an intensity modulation element that changes (intensity modulates) the intensity between 0 and 100%. In the following description, it is assumed that two types of laser light, infrared light and visible light, are emitted from the light source 21. The infrared light emitted from the light source 21 is a very short pulsed light (for example, 100 femtosecond pulsed light) emitted at a predetermined period for inducing multiphoton excitation of the specimen 70. And hereinafter referred to as “IR pulsed light”).

走査光学系30は、光源装置20側から順に、第1ダイクロイックミラー31、走査ユニット32、スキャンレンズ33、第2対物レンズ34、第2ダイクロックミラー35、及び、対物レンズ36を有して構成されている。   The scanning optical system 30 includes a first dichroic mirror 31, a scanning unit 32, a scan lens 33, a second objective lens 34, a second dichroic mirror 35, and an objective lens 36 in order from the light source device 20 side. Has been.

また、第1検出部40は、NDD(Non Descanned Detector)であって、第2ダイクロイックミラー35の側方に配置され、この第2ダイクロイックミラー35側から順に、第1集光レンズ41、第2集光レンズ42、及び、第1光検出器43から構成される。ここで、第1光検出器43の受光面は対物レンズ36の射出瞳Pの位置と略共役に配置されている。   The first detection unit 40 is an NDD (Non Descanned Detector), and is disposed on the side of the second dichroic mirror 35. The first condensing lens 41, the second condensing lens 41 are arranged in this order from the second dichroic mirror 35 side. The condenser lens 42 and the first photodetector 43 are included. Here, the light receiving surface of the first photodetector 43 is arranged substantially conjugate with the position of the exit pupil P of the objective lens 36.

また、第2検出部50は、第1ダイクロイックミラー31の側方に配置されており、この第1ダイクロイックミラー31側から順に、第3集光レンズ51、対物レンズ36の標本側の焦点面と略共役な位置に配置された遮光板52、及び、第2光検出器53から構成される。ここで、遮光板52にはピンホール52aが設けられており、このピンホール52aは走査光学系30の光軸を含むように配置されている。   The second detection unit 50 is disposed on the side of the first dichroic mirror 31, and in order from the first dichroic mirror 31 side, the third condenser lens 51 and the focal plane on the sample side of the objective lens 36. The light shielding plate 52 and the second photodetector 53 are arranged at substantially conjugate positions. Here, the light shielding plate 52 is provided with a pinhole 52 a, and the pinhole 52 a is disposed so as to include the optical axis of the scanning optical system 30.

また、第3検出部60は、標本70を挟んで対物レンズ36の反対側に配置されており、この標本70側から順に、第4集光レンズ61及び第3光検出器62から構成されている。   The third detection unit 60 is disposed on the opposite side of the objective lens 36 with the sample 70 interposed therebetween, and includes a fourth condenser lens 61 and a third photodetector 62 in order from the sample 70 side. Yes.

また、この走査型顕微鏡10には、AOTF22及び走査ユニット32の作動を制御するとともに、走査ユニット32でレーザ光を走査する位置(標本70上の走査面内の座標)及び第1、第2及び第3光検出器43,53,62で検出された値を処理する制御部100(図1には図示していない)が設けられている。なお、第1〜第3光検出器43,53,62としては、例えば、PMT(Photo Multiplier Tube:光電子倍増管)が用いられる。   In addition, the scanning microscope 10 controls the operation of the AOTF 22 and the scanning unit 32, the position where the scanning unit 32 scans the laser beam (coordinates within the scanning plane on the specimen 70), the first, second, and A control unit 100 (not shown in FIG. 1) that processes values detected by the third photodetectors 43, 53, and 62 is provided. As the first to third photodetectors 43, 53, and 62, for example, a PMT (Photo Multiplier Tube) is used.

この走査型顕微鏡10において、光源装置20の光源21から放射された略平行光束であるレーザ光は、AOTF22を透過した後、第1ダイクロイックミラー31を透過し、走査ユニット32に入射する。この走査ユニット32は、光軸に直交する方向(上述のx軸方向及びy軸方向)にレーザ光を2次元的に走査するものであり、例えば、レーザ光を反射することによりこのレーザ光を光軸に直交する面内で所定の方向(この方向をx軸方向とする)に偏向させる第1の偏向素子、及び、光軸に直交する面内で第1の偏向素子の偏向方向と略直交する方向(この方向をy軸方向とする)に偏向させる第2の偏向素子からなる2つの偏向素子で構成されている。そして、この走査ユニット32を出射したレーザ光(略平行光束)はスキャンレンズ33により一次像面Iに結像された後、第2対物レンズ34を通過することにより再び略平行光束となり、第2ダイクロイックミラー35を透過して対物レンズ36によって標本70上の対物レンズ36の焦点面に集光される。なお、標本70上に集光されたレーザ光は点像となっており、その点像の径は対物レンズ36の開口数(NA)で決まる大きさである。   In the scanning microscope 10, the laser light, which is a substantially parallel light beam emitted from the light source 21 of the light source device 20, passes through the AOTF 22, passes through the first dichroic mirror 31, and enters the scanning unit 32. The scanning unit 32 scans the laser light two-dimensionally in the direction orthogonal to the optical axis (the above-described x-axis direction and y-axis direction). For example, the scanning unit 32 reflects the laser light to reflect the laser light. A first deflection element that deflects in a predetermined direction (this direction is defined as an x-axis direction) in a plane orthogonal to the optical axis, and a deflection direction of the first deflection element in a plane orthogonal to the optical axis. It consists of two deflecting elements comprising a second deflecting element that deflects in an orthogonal direction (this direction is the y-axis direction). The laser light (substantially parallel light beam) emitted from the scanning unit 32 is imaged on the primary image plane I by the scan lens 33 and then passes through the second objective lens 34 to become a substantially parallel light beam again. The light passes through the dichroic mirror 35 and is collected by the objective lens 36 on the focal plane of the objective lens 36 on the specimen 70. The laser beam condensed on the specimen 70 is a point image, and the diameter of the point image is determined by the numerical aperture (NA) of the objective lens 36.

ここで、本実施形態に係る走査型顕微鏡10において、標本70の観察時には、光源21から放射されるレーザ光のうち、IRパルス光又は可視光の何れか一方が、標本70の画像を得るためのイメージング用の照明光(励起光)として用いられる。   Here, in the scanning microscope 10 according to the present embodiment, at the time of observing the sample 70, either the IR pulse light or the visible light among the laser light emitted from the light source 21 obtains an image of the sample 70. It is used as illumination light (excitation light) for imaging.

例えば、IRパルス光を照明光(励起光)として用いる場合、可視光は全く使用されないか、又は、標本70の光刺激用として使用される。この場合、IRパルス光が標本70に照射されると、標本70からは多光子励起による蛍光が発生し、この蛍光は観察光となって対物レンズ36に入射し、この対物レンズ36で略平行光束となり第2ダイクロイックミラー35で反射されて第1検出部40に入射する。そして、この観察光は第1集光レンズ41及び第2集光レンズ42で必要な径の略平行光束に変換されて第1光検出器43に入射して検出される。なお、この第1検出部40には、標本70や対物レンズ36等で反射され、観察光とともにこの第1検出部40に入射するIRパルス光を除去するために、図示しないIRカットフィルタを配置しても良い。   For example, when IR pulse light is used as illumination light (excitation light), visible light is not used at all, or is used for light stimulation of the specimen 70. In this case, when the sample 70 is irradiated with IR pulse light, fluorescence by multiphoton excitation is generated from the sample 70, and this fluorescence becomes observation light and enters the objective lens 36, and is substantially parallel by the objective lens 36. It becomes a light beam, is reflected by the second dichroic mirror 35, and enters the first detection unit 40. The observation light is converted into a substantially parallel light beam having a required diameter by the first condenser lens 41 and the second condenser lens 42, and is incident on the first photodetector 43 and detected. In addition, in this 1st detection part 40, in order to remove IR pulse light which is reflected by the sample 70, the objective lens 36, etc., and injects into this 1st detection part 40 with observation light, IR cut filter which is not illustrated is arrange | positioned. You may do it.

一方、可視光を照明光(励起光)として用いる場合、IRパルス光は標本70の光刺激用として使用しても良い。この場合、観察光が標本70に照射されると、標本70からは蛍光が発生し、この蛍光は観察光となって対物レンズ36に入射し、この対物レンズ36で略平行光束となり第2ダイクロイックミラー35を透過する。そして、この観察光は、第2対物レンズ34により一次像面Iに結像された後、さらにスキャンレンズ33で略平行光束にされて走査ユニット32に入射し、この走査ユニット32でデスキャンされて出射し、第1ダイクロイックミラー31で反射されて第2検出部50内に入り、第3集光レンズ51により遮光板52のピンホール52a上に集光される。この第2検出部50において、遮光板52のピンホール52aを通過した光のみが第2光検出器53に到達し検出される。   On the other hand, when using visible light as illumination light (excitation light), IR pulse light may be used for light stimulation of the specimen 70. In this case, when the observation light is irradiated onto the specimen 70, fluorescence is generated from the specimen 70, and this fluorescence becomes observation light and enters the objective lens 36. The objective lens 36 becomes a substantially parallel light beam, and the second dichroic. The light passes through the mirror 35. Then, this observation light is imaged on the primary image plane I by the second objective lens 34, further converted into a substantially parallel light beam by the scan lens 33, and incident on the scanning unit 32, and descanned by the scanning unit 32. The light is emitted, reflected by the first dichroic mirror 31, enters the second detection unit 50, and is condensed on the pinhole 52 a of the light shielding plate 52 by the third condenser lens 51. In the second detector 50, only the light that has passed through the pinhole 52 a of the light shielding plate 52 reaches the second photodetector 53 and is detected.

上述のように、遮光板52のピンホール52aは標本70上の走査面に集光されたレーザ光の点像と共役であり、標本70上の照射領域(対物レンズ36の焦点面)から出た観察光(蛍光)はこのピンホール52aを通過することができる。一方、標本70上の他の領域から出た光のほとんどはこのピンホール52a上には集光されず、通過することができない。   As described above, the pinhole 52a of the light shielding plate 52 is conjugate with the point image of the laser beam condensed on the scanning surface on the specimen 70, and exits from the irradiation area on the specimen 70 (focal plane of the objective lens 36). The observed light (fluorescence) can pass through the pinhole 52a. On the other hand, most of the light emitted from other regions on the specimen 70 is not condensed on the pinhole 52a and cannot pass therethrough.

以上より、走査光学系30は、光源部である光源装置20から照射された照明光により標本70を走査する照明光学系及び走査手段、並びに、標本70からの光を第1及び第2検出部40,50に導く集光手段の機能を有している。そして、図示しない制御部100が走査ユニット32の走査に同期されて第1及び第2光検出器43,53で検出された光信号を処理することにより、標本70上のレーザ光の走査位置と光信号から求められる輝度を用いて、標本70の走査面における二次元的な画像を得ることができる。これによりこの走査型顕微鏡10は、高い分解能で標本70の像を得ることができる。このように、本実施形態に係る走査型顕微鏡10は、走査型多光子顕微鏡及び走査型共焦点顕微鏡の両方として使用することができる。なお、走査型多光子顕微鏡として使用する場合は、第2検出部50は不要であり、走査型共焦点顕微鏡として使用する場合は、第1検出部40は不要である。   As described above, the scanning optical system 30 includes the illumination optical system and the scanning unit that scan the sample 70 with the illumination light emitted from the light source device 20 that is the light source unit, and the light from the sample 70 as the first and second detection units. 40 and 50 have a function of light collecting means. Then, the control unit 100 (not shown) processes the optical signals detected by the first and second photodetectors 43 and 53 in synchronization with the scanning of the scanning unit 32, so that the scanning position of the laser light on the specimen 70 is determined. A two-dimensional image on the scanning surface of the specimen 70 can be obtained using the luminance obtained from the optical signal. As a result, the scanning microscope 10 can obtain an image of the specimen 70 with high resolution. Thus, the scanning microscope 10 according to the present embodiment can be used as both a scanning multiphoton microscope and a scanning confocal microscope. In addition, when using as a scanning multiphoton microscope, the 2nd detection part 50 is unnecessary, and when using as a scanning confocal microscope, the 1st detection part 40 is unnecessary.

ここで、本実施形態に係る走査型顕微鏡10は、この走査型顕微鏡10の光学分解能を超えた分解能(以下、「超解像」と呼ぶ)の画像を得るために、光源装置20に設けられたAOTF22のレーザ光の透過率を走査ユニット32の動作に応じて変化させる。その際、IRパルス光を励起光として用いる場合は(2光子励起)、標本70上の走査領域に対して強度変化の2乗が正弦波状になる(レーザ光の強度変化が正弦波の1/2乗になる)ようにレーザ光の強度変調を行い、可視光を励起光として用いる場合は(1光子励起)、標本70上の走査領域に対して強度変化が正弦波状になるように、レーザ光の強度変化を行って、異なる照明状態の画像を複数取得するように構成されている。つまり、レーザ光の強度変化のn乗が正弦波状になるように、即ち、レーザ光の強度変化が正弦波状波形の1/n乗となるように行う(nは、励起時の励起光の光子数)。具体的には、可視光を励起光として用いる場合(1光子励起)において、図2に示すように、走査領域においてx軸方向にレーザ光の強度が正弦波状に変化する縞状の照明状態を基準とし(この照明状態を「0位相」と呼ぶ)、この0位相の状態から正弦波状波形の位相をx軸方向に−2π/3及び+2π/3ずらした照明状態(それぞれ「−2π/3位相」及び「+2π/3位相」と呼ぶ)の3つの照明状態を1組とし(この組を「θrad」と呼ぶ)、さらに、この組に加えてこの組のそれぞれの照明縞を光軸を中心に+π/3rad及び−π/3rad回転させ(それぞれの組を「θ+π/3rad」及び「θ−π/3rad」と呼ぶ)、合計9つの照明状態の標本70の画像を取得し(9枚の画像を取得し)、これらの画像から超解像の画像を取得するように構成されている。   Here, the scanning microscope 10 according to the present embodiment is provided in the light source device 20 in order to obtain an image with a resolution exceeding the optical resolution of the scanning microscope 10 (hereinafter referred to as “super-resolution”). The laser beam transmittance of the AOTF 22 is changed according to the operation of the scanning unit 32. At this time, when IR pulse light is used as excitation light (two-photon excitation), the square of the intensity change becomes a sine wave shape with respect to the scanning region on the specimen 70 (the intensity change of the laser light is 1 / sine of the sine wave). In the case where the intensity of the laser light is modulated so that it becomes square (2) and visible light is used as the excitation light (one-photon excitation), the laser has a sinusoidal intensity change with respect to the scanning region on the specimen 70. A plurality of images with different illumination states are acquired by changing the intensity of light. That is, it is performed so that the nth power of the intensity change of the laser light becomes a sine wave shape, that is, the intensity change of the laser light becomes 1 / nth power of the sine wave waveform (n is a photon of the excitation light at the time of excitation) number). Specifically, when visible light is used as excitation light (one-photon excitation), as shown in FIG. 2, a striped illumination state in which the intensity of the laser light changes sinusoidally in the x-axis direction as shown in FIG. A reference (this illumination state is referred to as “0 phase”), and the illumination state in which the phase of the sinusoidal waveform is shifted from the 0 phase state by −2π / 3 and + 2π / 3 in the x-axis direction (“−2π / 3 respectively”). The three illumination states (referred to as “phase” and “+ 2π / 3 phase”) are set as one set (this set is referred to as “θrad”). Rotate by + π / 3 rad and −π / 3 rad to the center (each set is called “θ + π / 3 rad” and “θ-π / 3 rad”), and acquire images of the sample 70 in a total of nine illumination states (9 sheets) Images) and super-resolution images from these images Is configured to get.

以下に、レーザ光の強度変調をして標本70を走査するための構成について図3を用いて説明する。なお、図3は、走査型顕微鏡10の制御部100の構成を中心に示し、光学系は主要部分だけを示している。また、ここでは、可視光を励起光として用いる場合は(1光子励起)標本70から出射した蛍光を第2検出部50を用いて画像の取得を行う場合について説明する。   Hereinafter, a configuration for scanning the specimen 70 by modulating the intensity of laser light will be described with reference to FIG. FIG. 3 mainly shows the configuration of the control unit 100 of the scanning microscope 10, and only the main part of the optical system is shown. Further, here, a case will be described in which visible light is used as excitation light (one-photon excitation), and fluorescence emitted from the specimen 70 is used to acquire an image using the second detection unit 50.

この制御部100は、AOTF22の透過率、走査ユニット32によるレーザ光(照明光)の走査位置(座標)、並びに、第2光検出器53による蛍光(観察光)の検出及び記憶を同期させるための同期信号を発生する同期信号発生器101、同期信号によりレーザ光の強度変調を行うための信号(照明縞信号)を発生する照明縞信号発生器102、デジタル信号である照明縞信号をアナログ信号に変換する外部DA変換素子103、アナログ信号の照明縞信号によりAOTF22の透過率を制御するAOTFドライバ104、同期信号発生器101から出力される駆動信号により走査ユニット32の第1及び第2の偏向素子の回転角を制御するスキャナドライバ105、第2光検出器53の出力信号を増幅する信号増幅器106、同期信号発生器101から出力される信号により、第2光検出器53の出力信号(アナログ信号)をデジタル信号に変換するAD変換素子107,及び、このデジタル信号を記憶するメモリ108から構成される。   The control unit 100 synchronizes the transmittance of the AOTF 22, the scanning position (coordinates) of the laser light (illumination light) by the scanning unit 32, and the detection and storage of fluorescence (observation light) by the second photodetector 53. A synchronizing signal generator 101 for generating a synchronizing signal, an illumination fringe signal generator 102 for generating a signal (illumination fringe signal) for modulating the intensity of the laser light by the synchronizing signal, and an analog signal for the illumination fringe signal which is a digital signal An external DA conversion element 103 for conversion to A, an AOTF driver 104 for controlling the transmittance of the AOTF 22 by an analog illumination fringe signal, and a first and second deflection of the scanning unit 32 by a drive signal output from the synchronization signal generator 101. A scanner driver 105 for controlling the rotation angle of the element; a signal amplifier 106 for amplifying the output signal of the second photodetector 53; and a synchronization signal The signal output from the raw device 101, AD converter 107 for converting an output signal of the second photodetector 53 (analog signal) into a digital signal and,, and a memory 108 for storing the digital signal.

ここで、走査領域上の512×512の点の画像(点像)を取得する場合を例に説明する。なお、以降の説明において、同期信号発生器101は、AOTF22を駆動するための基準クロックclkA、走査領域上の点像を取得するタイミングを示すピクセルクロックpclk及び水平同期信号Hsync、点像の情報をメモリ108に記憶するタイミングを示すメモリコントロールmem_cnt、並びに、走査ユニット32を作動させるための駆動信号sigAを出力する。   Here, a case where an image (point image) of 512 × 512 points on the scanning region is acquired will be described as an example. In the following description, the synchronization signal generator 101 receives the reference clock clkA for driving the AOTF 22, the pixel clock pclk indicating the timing for acquiring the point image on the scanning region, the horizontal synchronization signal Hsync, and the point image information. The memory control mem_cnt indicating the timing to be stored in the memory 108 and the drive signal sigA for operating the scanning unit 32 are output.

同期信号発生器101において、ピクセルクロックpclkは、1ライン512分割された等間隔のクロックとなり、これに同期して等速の駆動信号sigAを発生させる。また、水平同期信号Hsyncは、1ライン毎の水平方向に同期した信号である(ピクセルクロックpclkが512カウントされる毎に変化するクロックである)。また、同期信号発生器101は、ピクセルクロックpclkに同期した基準クロックclkAを照明縞信号発生器102へと出力し、照明縞信号発生器102はピクセルクロックpclkに同期した基準クロックclkAにて照明縞信号を構成することができる。これら、駆動信号sigA、水平同期信号Hsync、ピクセルクロックpclk、及び、このピクセルクロックpclkに同期した基準クロックclkAの概略タイミングチャートを図5に示す。   In the synchronization signal generator 101, the pixel clock pclk is an equally-spaced clock divided by one line 512, and generates a constant-speed drive signal sigA in synchronization therewith. The horizontal synchronization signal Hsync is a signal synchronized in the horizontal direction for each line (a clock that changes every time the pixel clock pclk is counted 512). Further, the synchronization signal generator 101 outputs the reference clock clkA synchronized with the pixel clock pclk to the illumination fringe signal generator 102, and the illumination fringe signal generator 102 uses the reference clock clkA synchronized with the pixel clock pclk. The signal can be configured. FIG. 5 shows a schematic timing chart of the drive signal sigA, the horizontal synchronization signal Hsync, the pixel clock pclk, and the reference clock clkA synchronized with the pixel clock pclk.

次に、9枚の画像取得に必要なレーザ光の強度変調の発生方法、及び、照明縞信号発生器102について述べる。今、図6(a)に示すように、照明縞を発生させるための正弦波の駆動波形を300個の離散値に分割し、それぞれをN0からN299とし、このデータを「駆動データ」と呼ぶ。この図6(a)に示す駆動波形を上述のθradにおける0位相としたとき、これらの駆動データを図4に示す駆動波形テーブル102bに持ち、同期信号発生器101により生成された基準クロックclkAを300データを1周期としてカウンタ102aにてカウントし、駆動波形テーブル102bより順次データを読み出す。0位相ではプリセット値は0であり、1周期でカウンタ102aをリセットする。+2π/3位相及び−2π/3位相ずらした波形は、プリセット値を100及び200とすれば良い。すなわち、+2π/3位相のときは、駆動データをN100から読み出せば良く、また、−2π/3位相のときは、駆動データをN200から読み出せば、図7に示すように駆動波形をずらすことができる。上述のように、N299まで読み出されると、カウンタ102bがリセットされてN0から順次データが読み出される(この動作を「循環読み出し」と呼ぶ)。   Next, a method of generating intensity modulation of the laser light necessary for acquiring nine images and the illumination fringe signal generator 102 will be described. Now, as shown in FIG. 6A, a sine wave drive waveform for generating illumination fringes is divided into 300 discrete values, each of which is designated as N0 to N299, and this data is referred to as “drive data”. . When the drive waveform shown in FIG. 6A is 0 phase in the above-described θrad, these drive data are held in the drive waveform table 102b shown in FIG. 4, and the reference clock clkA generated by the synchronization signal generator 101 is used. 300 data is counted as one cycle by the counter 102a, and the data is sequentially read from the drive waveform table 102b. In the zero phase, the preset value is zero, and the counter 102a is reset in one cycle. For the waveforms shifted by + 2π / 3 phase and −2π / 3 phase, the preset values may be 100 and 200. That is, when the phase is + 2π / 3, the drive data may be read from N100, and when the phase is −2π / 3, the drive data is read from N200 and the drive waveform is shifted as shown in FIG. be able to. As described above, when data is read up to N299, the counter 102b is reset and data is sequentially read from N0 (this operation is referred to as “circular read”).

ここで、対物レンズ36の解像限界をfmaxとすると、この解像限界は対物レンズ36の開口数NAと波長λからfmax=2NA/λで定義される。一方、サンプリングによる空間周波数をfsampleとすると、この空間周波数は標本画像を取得するためのピクセルサイズPからfsample=2/Pとなる。この走査型顕微鏡10で取得した画像が対物レンズ36の解像限界を超えるためには、fmax<fsampleの関係を有することが必要であり、実空間では対物レンズ36の解像限界が2.5〜3画素程度になっていることが望ましい。すなわち、2画素未満の場合、対物レンズ36の性能を活かしていないと言える。そのため、上述の駆動波形は2画素以上で1周期とすることが必要である。本実施形態では、3画素(ピクセルクロックpclkが3クロック)で、駆動波形が1周期となるように制御されている。   Here, assuming that the resolution limit of the objective lens 36 is fmax, the resolution limit is defined by fmax = 2NA / λ from the numerical aperture NA of the objective lens 36 and the wavelength λ. On the other hand, if the sampling spatial frequency is fsample, this spatial frequency is fsample = 2 / P from the pixel size P for obtaining the sample image. In order for the image acquired by the scanning microscope 10 to exceed the resolution limit of the objective lens 36, it is necessary to have a relationship of fmax <fsample. In real space, the resolution limit of the objective lens 36 is 2.5. It is desirable to have about 3 pixels. That is, in the case of less than 2 pixels, it can be said that the performance of the objective lens 36 is not utilized. For this reason, the above-described driving waveform needs to be one cycle with two or more pixels. In the present embodiment, the drive waveform is controlled to be one cycle with three pixels (pixel clock pclk is three clocks).

次に、照明縞を回転させる方法を示す。この場合も、照明縞信号発生器102により駆動波形テーブル102bから駆動データを読み出すときのプリセット値を各々の回転に合わせて設定すれば良いが、位相をずらすだけの場合はすべてのラインに対して1画像で同じプリセット値を与えれば良いのに対して、回転の場合はプリセット値を1ライン毎に設定する必要がある。例えば、0位相からπ/3rad回転させる場合(θ+π/3radの0位相とする場合)、ライン毎に駆動波形をπ/3位相ずつずらして行けばよいため、1ライン目はプリセット値を0とし、2ライン目はプリセット値を50とし、3ライン目はプリセット値を100とし、4ライン目はプリセット値を150とし、5ライン目はプリセット値を200とし、6ライン目はプリセット値を250とする。1ライン目から6ライン目までを1周期とすると、7ライン目はプリセット値を再び0とし、同様な繰り返しによりプリセット値を設定すると、図8に示すように、+π/3rad回転した照明縞パターンを発生することができる。その他の画像においても同様に適宜プリセット値を与えることで、図2に示すような9種類の照明縞パターンを構築することができる。   Next, a method for rotating the illumination stripe will be described. In this case as well, a preset value for reading drive data from the drive waveform table 102b by the illumination fringe signal generator 102 may be set in accordance with each rotation. However, if only the phase is shifted, it is applied to all lines. While it is sufficient to give the same preset value for one image, it is necessary to set the preset value for each line in the case of rotation. For example, in the case of rotating π / 3 rad from 0 phase (when 0 phase of θ + π / 3 rad is set), the drive waveform may be shifted by π / 3 phase for each line, so the preset value is set to 0 for the first line. The second line has a preset value of 50, the third line has a preset value of 100, the fourth line has a preset value of 150, the fifth line has a preset value of 200, and the sixth line has a preset value of 250. To do. Assuming one cycle from the 1st line to the 6th line, the preset value for the 7th line is set to 0 again, and if the preset value is set by repeating the same, the illumination fringe pattern rotated by + π / 3 rad as shown in FIG. Can be generated. Similarly, nine types of illumination fringe patterns as shown in FIG. 2 can be constructed by appropriately giving preset values to other images as well.

照明縞信号発生器102にて照明縞信号(照明パターン)を生成し、外部DA変換素子103にて基準クロックclkAと同期したアナログ信号(正弦波駆動信号)をAOTFドライバ104へ入力し、AOTF22の透過率を制御してレーザ光の強度変調を行う。このレーザ光により励起されて得られた蛍光は第2光検出器53にて電気信号へと変換された後、信号増幅器106にて増幅され、AD変換素子107でピクセルクロックpclkに同期してサンプリングされる。そして、このAD変換素子107にてサンプリングされた画像データは、同期信号発生器101より発生するメモリコントロール信号mem_cntにてコントロールされてメモリ108へ格納される。   The illumination fringe signal generator 102 generates an illumination fringe signal (illumination pattern), and the external DA converter 103 inputs an analog signal (sine wave drive signal) synchronized with the reference clock clkA to the AOTF driver 104. The intensity of the laser beam is modulated by controlling the transmittance. The fluorescence obtained by excitation with the laser light is converted into an electric signal by the second photodetector 53, then amplified by the signal amplifier 106, and sampled in synchronization with the pixel clock pclk by the AD conversion element 107. Is done. The image data sampled by the AD conversion element 107 is controlled by a memory control signal mem_cnt generated by the synchronization signal generator 101 and stored in the memory 108.

このように、本実施形態に係る走査型顕微鏡10では、θradのときの0位相の1周期分の駆動波形を照明縞信号発生器102の駆動波形テーブル102bに記憶し、カウンタ102aのプリセット値を縞状の照明状態に応じて設定するだけで、上述の9つの縞状の照明状態を実現することができるので、少ない記憶領域及び簡単な構成で、超解像を得るための照明状態を発生させることができる。   As described above, in the scanning microscope 10 according to the present embodiment, the drive waveform for one period of 0 phase at θ rad is stored in the drive waveform table 102b of the illumination fringe signal generator 102, and the preset value of the counter 102a is stored. The above nine striped illumination states can be realized simply by setting according to the striped illumination state, so that an illumination state for obtaining super-resolution can be generated with a small storage area and a simple configuration. Can be made.

以上のようにして、縞状の照明状態を変化させて格納された9枚の画像データから、演算により最終的に超解像の1枚の画像を得る。以下に超解像の画像を得る方法について説明する。   As described above, one super-resolution image is finally obtained from the nine pieces of image data stored by changing the striped illumination state. A method for obtaining a super-resolution image will be described below.

画像上の点r=(x,y)における点像強度分布P(r)を持つ顕微鏡光学系において、標本70上の点O(r)に、ある強度分布を持った照明を与えると標本70におけるレーザ光(照明光)は空間変調を受ける。単一の空間周波数成分ベクトルKを持つ正弦波状の照明の場合、空間変調成分としては、0,±1次の3変調成分となる。これらの空間変調をm1exp(ilkr+ilφ),(l=1,0,−1)と表記すると、空間変調を受けた標本70の像は、次式(1)のように表すことができる。ここで、rは標本70上の位置ベクトルであり、Krは内積を示し、*は畳み込み積分を示す。 In a microscope optical system having a point image intensity distribution P (r) at a point r = (x, y) on the image, if the point O (r) on the sample 70 is illuminated with a certain intensity distribution, the sample 70 The laser light (illumination light) in is subjected to spatial modulation. In the case of a sinusoidal illumination having a single spatial frequency component vector K, the spatial modulation components are 0, ± 1st order three modulation components. When these spatial modulations are expressed as m 1 exp (ilkr + ilφ), (l = 1, 0, −1), the image of the sample 70 subjected to the spatial modulation can be expressed as the following equation (1). Here, r is a position vector on the sample 70, Kr indicates an inner product, and * indicates a convolution integral.

Figure 2013080024
Figure 2013080024

上述のように縞照明を変化させて画像の取得を行うと、同一の変調周波数、変調振幅を持ち、変調位相φのみ異なる画像がN枚(ここでは、3枚)得られるが、このときのj番目の画像の照明の位相をφjと表すと、j番目の画像は次式(2)のように表され、N個の方程式が得られる。 When the image is acquired by changing the fringe illumination as described above, N images (here, 3 images) having the same modulation frequency and modulation amplitude and different only in the modulation phase φ are obtained. When the illumination phase of the j-th image is represented as φ j , the j-th image is represented by the following equation (2), and N equations are obtained.

Figure 2013080024
Figure 2013080024

また、光検出器(上述の例では第2光検出器53)の入力光量と出力信号の事前の測定データから、入射光量I(r)を出力信号S(r)の多項式によって次式(3)のように近似する。なお、事前の測定データは、テーブルとして制御部100のメモリに記憶しておくことが望ましい。   Further, the incident light quantity I (r) is calculated from the input light quantity of the photodetector (second photodetector 53 in the above example) and the previous measurement data of the output signal by the following equation (3) by the polynomial of the output signal S (r). ). In addition, it is desirable to store the previous measurement data in the memory of the control unit 100 as a table.

Figure 2013080024
Figure 2013080024

なお、入射光量と出力信号の関係は、光検出器の温度によって異なる。したがって、実際に利用する光検出器の温度に合わせて、それぞれデータを取得し、近似する必要があり、それぞれの温度でデータを取得し、テーブルとして制御部100のメモリに記憶しておくことが望ましい。   The relationship between the incident light quantity and the output signal varies depending on the temperature of the photodetector. Therefore, it is necessary to acquire and approximate data in accordance with the temperature of the photodetector that is actually used. Data can be acquired at each temperature and stored in the memory of the control unit 100 as a table. desirable.

上述の式(2)及び式(3)より、次式(4)のようなN個の方程式が得られる。   From the above equations (2) and (3), N equations such as the following equation (4) are obtained.

Figure 2013080024
Figure 2013080024

これらの方程式ではO(r)exp(ilKr),(l=−1,0,1)が未知数であり、それらはN≧3の画像を取得することで求めることができる。N個の方程式(4)のうち3つの式を用いると、次式(5)が得られる。   In these equations, O (r) exp (ilKr), (l = −1, 0, 1) is an unknown, and can be obtained by acquiring an image of N ≧ 3. When three equations out of N equations (4) are used, the following equation (5) is obtained.

Figure 2013080024
Figure 2013080024

この方程式を解くことで、O(r)exp(ilKr)*P(r),(l=−1,0,1)を求めることができる。   By solving this equation, O (r) exp (ilKr) * P (r), (l = -1, 0, 1) can be obtained.

または、N≧4の画像から、公知の手法により最小二乗法を用いて求めても良い。最小二乗法を用いることでノイズを低減させることができる。これらは、l=0が超解像ではない通常の顕微鏡像に、l=±1が超解像成分に対応する。   Or you may obtain | require from the image of N> = 4 using the least squares method by a well-known method. Noise can be reduced by using the least square method. In these, l = 0 corresponds to a normal microscopic image that is not super-resolution, and l = ± 1 corresponds to a super-resolution component.

上記で求められるO(r)exp(ilKr)*P(r),(l=−1,0,1)は波数空間では、それぞれOk(k)Pk(r+1K),(l=−1,0,1)に対応する。ここで、Ok(k)は標本70における発光体の分布のフーリエ変換、Pk(k)は強度分布を持たない照明を与えた場合の顕微鏡光学系が持つ伝達関数(OTF:Optical Transfer Function)である。 O (r) exp (ilKr) * P (r) and (l = −1, 0, 1) obtained above are O k (k) P k (r +1 K) and (l in wave number space, respectively. = -1, 0, 1). Here, O k (k) is a Fourier transform of the distribution of the illuminant in the specimen 70, and P k (k) is a transfer function (OTF: Optical Transfer Function) of the microscope optical system when illumination having no intensity distribution is given. ).

強度分布を持たない照明を与えた場合の通常の伝達関数は光の波長λ、対物レンズ36の開口数NAに対してk=−2NA/λ〜2NA/λであるから、上記で得られた標本情報O(r)exp(ilKr)*P(r),(l=−1,0,1)は、l=−1,0,1に対して、k=−2NA/λ−K〜2NA/λ−K、k=−2NA/λ〜2NA/λ、k=−2NA/λ+K〜2NA/λ+Kの情報を含むことが分かる。従って、O(r)exp(ilKr)*P(r)全体としてはk=−2NA/λ−K〜2NA/λ+Kまでの情報を含むので、高い解像度を持った顕微鏡画像を得ることができる。   The normal transfer function when illumination with no intensity distribution is given is k = −2 NA / λ to 2 NA / λ with respect to the wavelength λ of light and the numerical aperture NA of the objective lens 36, and thus was obtained above. The sample information O (r) exp (ilKr) * P (r), (l = −1, 0, 1) is k = −2NA / λ−K to 2NA with respect to l = −1, 0, 1. It can be seen that the information includes / λ−K, k = −2NA / λ to 2NA / λ, and k = −2NA / λ + K to 2NA / λ + K. Therefore, since O (r) exp (ilKr) * P (r) as a whole includes information from k = -2NA / λ-K to 2NA / λ + K, a microscopic image with high resolution can be obtained.

上述のように、強度変調の位相をずらした照明状態及びこれらを回転させた照明状態により得られた9枚の画像から超解像画像を得る場合、例えば、光軸方向のセクショニング性能(半値幅)は330nm、横方向の分解能(半値幅)は100nmとすることができる。   As described above, when a super-resolution image is obtained from nine images obtained by shifting the intensity modulation phase and rotating the illumination state, for example, sectioning performance in the optical axis direction (half-value width) ) Can be 330 nm, and the horizontal resolution (half-value width) can be 100 nm.

なお、標本70を透過した照明光(励起光)を第3検出部60の第3光検出器62で検出し、標本70上のレーザ光の走査位置と光信号から求められる輝度を用いて、標本70の透過像を得ることができる。この場合、照明光の強度変調の位相がずれた3枚の画像(−2π/3位相、0位相、+2π/3位相の画像)を重ね合わせることにより、標本70の透過像を得ることができる。   The illumination light (excitation light) that has passed through the specimen 70 is detected by the third photodetector 62 of the third detector 60, and the brightness obtained from the scanning position of the laser light on the specimen 70 and the optical signal is used. A transmission image of the specimen 70 can be obtained. In this case, a transmission image of the specimen 70 can be obtained by superimposing three images (-2π / 3 phase, 0 phase, + 2π / 3 phase images) whose intensity modulation phases of the illumination light are shifted. .

また、以上の説明では、IRパルス光を励起光として用いる場合は(2光子励起)、標本70から出射した蛍光を第1光検出部40の第1光検出器43で検出し、可視光を励起光として用いる場合は(1光子励起)、標本70から出射した蛍光を第2検出部50の第2光検出器53で検出して超解像画像を得るように構成していたが、可視光を励起光として用いる場合は(1光子励起)、第2光検出器53の位置に分光装置を配置し、標本70から出射した蛍光を所定の波長毎に分光して検出し、それぞれの波長毎の超解像画像を得ることもできる。多波長の蛍光観察を行う場合、ある蛍光成分の中に複数の蛍光成分のもれ込みが存在するため、上述の9枚の画像毎にアンミックス処理を行い単独の蛍光サンプル毎の蛍光画像を取得し、この9枚の単独の蛍光画像から上述の処理により超解像の蛍光画像を得ることが好ましい。   In the above description, when IR pulse light is used as excitation light (two-photon excitation), the fluorescence emitted from the sample 70 is detected by the first photodetector 43 of the first light detection unit 40, and visible light is detected. When used as excitation light (one-photon excitation), the fluorescence emitted from the specimen 70 is detected by the second photodetector 53 of the second detection unit 50 to obtain a super-resolution image. When light is used as excitation light (one-photon excitation), a spectroscopic device is disposed at the position of the second photodetector 53, and the fluorescence emitted from the sample 70 is detected by spectroscopic analysis for each predetermined wavelength. Each super-resolution image can be obtained. When performing multi-wavelength fluorescence observation, there is a leakage of a plurality of fluorescent components in a certain fluorescent component. Therefore, the above-mentioned nine images are unmixed and a fluorescent image of each single fluorescent sample is obtained. It is preferable to obtain and obtain a super-resolution fluorescent image from the nine single fluorescent images by the above-described processing.

なお、上述の照明光の強度は、正弦波状に変調した場合について説明したが、2光子励起による観察を行うときは、図9に示すように、強度分布の2乗が正弦波状になるように変調することが望ましい。この場合も、図9に示す強度分布から、所定の個数(例えば300個)に分けた駆動データを駆動波形テーブル102bに格納し、同期信号発生器101により生成された基準クロックclkAを分割数(300データ)を1周期としたカウンタ102aにてカウントし、駆動波形テーブル102bより順次データを読み込んでAOTF22を制御することにより実現できる。   Note that the intensity of the illumination light described above has been described as being modulated in a sine wave shape. However, when observation is performed by two-photon excitation, as shown in FIG. 9, the square of the intensity distribution becomes a sine wave shape. It is desirable to modulate. Also in this case, drive data divided into a predetermined number (for example, 300) from the intensity distribution shown in FIG. 9 is stored in the drive waveform table 102b, and the reference clock clkA generated by the synchronization signal generator 101 is divided into the number ( 300 data) is counted by the counter 102a, and the data is sequentially read from the drive waveform table 102b and the AOTF 22 is controlled.

また、以上の説明においては、AOTF22を駆動するための駆動波形を、離散値に変換して駆動波形テーブル102bに格納し、この駆動波形テーブル102bのデータに基づいて制御する構成を示したが、正弦波を発生する信号発生器と、この正弦波の位相を任意の位相だけ遅延させることができる遅延回路とを用いて、AOTFドライバ104の作動を制御するように構成することも可能である。遅延量については、上述の説明と同じである。   In the above description, the drive waveform for driving the AOTF 22 is converted into discrete values, stored in the drive waveform table 102b, and controlled based on the data of the drive waveform table 102b. The operation of the AOTF driver 104 may be controlled using a signal generator that generates a sine wave and a delay circuit that can delay the phase of the sine wave by an arbitrary phase. The amount of delay is the same as described above.

また、以上の説明では、光源装置20を、レーザ光を放射する光源21と、このレーザ光の強度変調を行うAOTF22とから構成した場合について説明したが、この構成は一例であり、本発明はこれに限定されることはない。例えば、レーザ光の強度を直接変化させることができるレーザ光源を用いることもできる。   In the above description, the light source device 20 has been described with respect to the case where the light source 21 is configured by the light source 21 that emits the laser light and the AOTF 22 that modulates the intensity of the laser light. It is not limited to this. For example, a laser light source that can directly change the intensity of the laser light can be used.

また、AOTF22は、光源装置20の構成である必要はなく、IRパルス光を励起光として用いる場合は(2光子励起)、光源21から第2ダイクロイックミラー35までの空間であれば、任意の位置に配置可能である。   In addition, the AOTF 22 does not need to have the configuration of the light source device 20, and when IR pulse light is used as excitation light (two-photon excitation), any position can be used as long as it is a space from the light source 21 to the second dichroic mirror 35. Can be arranged.

また、第3検出部60は、標本70を透過した照明光(励起光)を検出することによって透過像を取得するために用いるが、IRパルス光を励起光として用いる場合は(2光子励起)、標本70から発生した蛍光を効率よく取得するために、透過蛍光を取得するためにも用いてもよい。この場合、透過蛍光取得のタイミングは、第1検出部40による蛍光取得のタイミングに同期させる必要がある。   The third detector 60 is used to acquire a transmission image by detecting the illumination light (excitation light) that has passed through the specimen 70, but when using IR pulse light as excitation light (two-photon excitation). In order to efficiently acquire fluorescence generated from the specimen 70, it may be used to acquire transmitted fluorescence. In this case, the transmission fluorescence acquisition timing needs to be synchronized with the fluorescence acquisition timing by the first detection unit 40.

10 走査型顕微鏡
20 光源装置 21 光源 22 AOTF(強度変調素子)
30 走査光学系 31 第1ダイクロイックミラー 32 走査ユニット
33 スキャンレンズ 34 第2対物レンズ
35 第2ダイクロイックミラー 36 対物レンズ
40 第1検出部 41 第1集光レンズ 42 第2集光レンズ
43 第1光検出器
50 第2検出部 51 第3集光レンズ
52 遮光板 52a ピンホール 53 第2光検出器
60 第3検出部 61 第4集光レンズ 62 第3光検出器
70 標本 100 制御部 101 同期信号発生器
102 照明縞信号発生器 102a カウンタ 102b 駆動波形テーブル
103 DA変換素子 104 AOTFドライバ
105 スキャナドライバ 106 信号増幅器 107 AD変換素子
108 メモリ I 一次像面 P 射出瞳
DESCRIPTION OF SYMBOLS 10 Scanning microscope 20 Light source device 21 Light source 22 AOTF (intensity modulation element)
DESCRIPTION OF SYMBOLS 30 Scan optical system 31 1st dichroic mirror 32 Scan unit 33 Scan lens 34 2nd objective lens 35 2nd dichroic mirror 36 Objective lens 40 1st detection part 41 1st condensing lens 42 2nd condensing lens 43 1st light detection Device 50 second detector 51 third condenser lens 52 light shielding plate 52a pinhole 53 second photodetector 60 third detector 61 fourth condenser lens 62 third photodetector 70 sample 100 controller 101 synchronization signal generation Unit 102 illumination fringe signal generator 102a counter 102b drive waveform table 103 DA conversion element 104 AOTF driver 105 scanner driver 106 signal amplifier 107 AD conversion element 108 memory I primary image plane P exit pupil

Claims (8)

光源部から照射された照明光により走査手段を用いて標本を走査する照明光学系と、
前記標本からの光を検出部へ導く集光光学系と、
前記走査手段による前記標本における前記照明光の走査位置を制御するとともに、前記照明光の強度変化が正弦波状波形の1/n乗となるように、前記走査位置に応じて制御する制御部と、を有することを特徴とする走査型顕微鏡。
但し、nは1以上の整数である。
An illumination optical system that scans a sample using a scanning unit with illumination light emitted from a light source unit;
A condensing optical system for guiding light from the specimen to the detection unit;
A control unit that controls the scanning position of the illumination light in the specimen by the scanning means, and controls the illumination light according to the scanning position so that the intensity change of the illumination light is a 1 / nth power of a sinusoidal waveform; A scanning microscope characterized by comprising:
However, n is an integer of 1 or more.
前記光源部は、音響光学素子を含み、
前記制御部は、前記走査位置に応じて前記音響光学素子を正弦波状波形の1/n乗の駆動信号を用いて制御することにより、前記照明光の強度変化が正弦波状波形の1/n乗となるように制御することを特徴とする請求項1に記載の走査型顕微鏡。
The light source unit includes an acousto-optic element,
The control unit controls the acoustooptic device using a drive signal having a 1 / nth power of a sinusoidal waveform in accordance with the scanning position, whereby the intensity change of the illumination light is increased to a 1 / nth power of the sinusoidal waveform. The scanning microscope according to claim 1, wherein the scanning microscope is controlled to be
前記光源部は、レーザ光源を含み、
前記制御部は、前記走査位置に応じて前記レーザ光源を正弦波状波形の1/n乗の駆動信号を用いて制御することにより、前記照明光の強度変化が正弦波状波形の1/n乗となるように制御することを特徴とする請求項1に記載の走査型顕微鏡。
The light source unit includes a laser light source,
The control unit controls the laser light source according to the scanning position using a 1 / nth power drive signal having a sinusoidal waveform, whereby the intensity change of the illumination light is changed to a 1 / nth power of the sinusoidal waveform. It controls so that it may become. The scanning microscope of Claim 1 characterized by the above-mentioned.
前記制御部は、前記照明光の前記正弦波状波形の位相を変化させた照明状態で取得した複数の画像から演算により前記標本の画像を生成することを特徴とする請求項1〜3のいずれか一項に記載の走査型顕微鏡。   The said control part produces | generates the image of the said sample by calculation from the several image acquired in the illumination state which changed the phase of the said sine wave waveform of the said illumination light, The one of Claims 1-3 characterized by the above-mentioned. The scanning microscope according to one item. 前記照明光の前記正弦波状波形の位相を変化させた照明状態で取得した複数の画像は、前記照明光の前記正弦波状波形の位相を変化させることにより照明縞パターンの位相が変化した照明状態で取得した複数の画像であることを特徴とする請求項4に記載の走査型顕微鏡。   The plurality of images acquired in the illumination state in which the phase of the sinusoidal waveform of the illumination light is changed are in an illumination state in which the phase of the illumination fringe pattern is changed by changing the phase of the sinusoidal waveform of the illumination light. The scanning microscope according to claim 4, wherein the scanning microscope is a plurality of acquired images. 前記照明光の前記正弦波状波形の位相を変化させた照明状態で取得した複数の画像は、前記照明光の前記正弦波状波形の位相を走査ライン毎に変化させることにより照明縞パターンが回転した照明状態で取得した複数の画像であることを特徴とする請求項4に記載の走査型顕微鏡。   The plurality of images acquired in the illumination state in which the phase of the sinusoidal waveform of the illumination light is changed, the illumination fringe pattern rotated by changing the phase of the sinusoidal waveform of the illumination light for each scanning line The scanning microscope according to claim 4, wherein the scanning microscope is a plurality of images acquired in a state. 前記制御部は、
前記強度変調の1周期分のデータを記憶する駆動波形テーブルと、
前記駆動波形テーブルのプリセット値として指定された位置を開始位置として、前記データを循環読み出しするカウンタと、を有し、前記照明状態に応じて前記プリセット値を設定して読み出した前記データにより前記正弦波状波形を制御することを特徴とする請求項4〜6のいずれか一項に記載の走査型顕微鏡。
The controller is
A drive waveform table for storing data for one period of the intensity modulation;
A counter that circulates and reads out the data starting from a position specified as a preset value in the drive waveform table, and sets the preset value according to the illumination state and reads out the sine The scanning microscope according to any one of claims 4 to 6, wherein a wavy waveform is controlled.
前記標本を介して前記照明光学系に対向する位置に配置され、前記標本を透過した前記照明光を検出する検出部をさらに有することを特徴とする請求項1〜7のいずれか一項に記載の走査型顕微鏡。   8. The apparatus according to claim 1, further comprising a detection unit that is disposed at a position facing the illumination optical system via the sample and detects the illumination light transmitted through the sample. Scanning microscope.
JP2011218839A 2011-10-03 2011-10-03 Scanning microscope Expired - Fee Related JP5892410B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011218839A JP5892410B2 (en) 2011-10-03 2011-10-03 Scanning microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011218839A JP5892410B2 (en) 2011-10-03 2011-10-03 Scanning microscope

Publications (2)

Publication Number Publication Date
JP2013080024A true JP2013080024A (en) 2013-05-02
JP5892410B2 JP5892410B2 (en) 2016-03-23

Family

ID=48526457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011218839A Expired - Fee Related JP5892410B2 (en) 2011-10-03 2011-10-03 Scanning microscope

Country Status (1)

Country Link
JP (1) JP5892410B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015125301A (en) * 2013-12-26 2015-07-06 オリンパス株式会社 Optical scanning type image formation device and optical scanning image formation method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61260108A (en) * 1985-05-15 1986-11-18 Agency Of Ind Science & Technol Three-dimensional measuring method
JP2000035400A (en) * 1998-07-04 2000-02-02 Carl Zeiss Jena Gmbh Inspection method by confocal microscope and its system configuration
JP2002323660A (en) * 2001-04-07 2002-11-08 Carl Zeiss Jena Gmbh Method and apparatus for gaining optical understanding through deep part optical analysis of sample
JP2005049864A (en) * 2003-07-17 2005-02-24 Olympus Corp Scanning laser microscope and laser scanning method
JP2006031008A (en) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Method for image acquisition of object by means of optical scanning microscope
US20090161203A1 (en) * 2007-11-26 2009-06-25 Michael Kempe Method and Configuration for the Optical Detection of an Illuminated Specimen
US20090161208A1 (en) * 2007-11-26 2009-06-25 Michael Kempe Method and Configuration for Optically Detecting an Illuminated Specimen
WO2010101894A2 (en) * 2009-03-02 2010-09-10 President & Fellows Of Harvard College High resolution laser scanning microscopy imaging system and method using spatially patterned cumulative illumination of detection fields
JP2010540994A (en) * 2007-09-26 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー Method for three-dimensional imaging of a sample with a microscope
JP2010540998A (en) * 2007-09-28 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー Method and apparatus for optically capturing an illuminated sample
JP2013011728A (en) * 2011-06-29 2013-01-17 Yokogawa Electric Corp Microscope device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61260108A (en) * 1985-05-15 1986-11-18 Agency Of Ind Science & Technol Three-dimensional measuring method
JP2000035400A (en) * 1998-07-04 2000-02-02 Carl Zeiss Jena Gmbh Inspection method by confocal microscope and its system configuration
JP2002323660A (en) * 2001-04-07 2002-11-08 Carl Zeiss Jena Gmbh Method and apparatus for gaining optical understanding through deep part optical analysis of sample
JP2005049864A (en) * 2003-07-17 2005-02-24 Olympus Corp Scanning laser microscope and laser scanning method
JP2006031008A (en) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Method for image acquisition of object by means of optical scanning microscope
JP2010540994A (en) * 2007-09-26 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー Method for three-dimensional imaging of a sample with a microscope
JP2010540998A (en) * 2007-09-28 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー Method and apparatus for optically capturing an illuminated sample
US20090161203A1 (en) * 2007-11-26 2009-06-25 Michael Kempe Method and Configuration for the Optical Detection of an Illuminated Specimen
US20090161208A1 (en) * 2007-11-26 2009-06-25 Michael Kempe Method and Configuration for Optically Detecting an Illuminated Specimen
WO2010101894A2 (en) * 2009-03-02 2010-09-10 President & Fellows Of Harvard College High resolution laser scanning microscopy imaging system and method using spatially patterned cumulative illumination of detection fields
JP2013011728A (en) * 2011-06-29 2013-01-17 Yokogawa Electric Corp Microscope device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015125301A (en) * 2013-12-26 2015-07-06 オリンパス株式会社 Optical scanning type image formation device and optical scanning image formation method

Also Published As

Publication number Publication date
JP5892410B2 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
US9500846B2 (en) Rapid adaptive optical microscopy over large multicellular volumes
US9086536B2 (en) Talbot imaging devices and systems
US11002601B2 (en) Spectroscopic microscope and spectroscopic observation method
JP4817356B2 (en) Optical microscope
US20170031145A1 (en) Stimulated emission depletion microscope
JPH11194275A (en) Programable and spacially light-modulated microscope and method by microscope thereof
JP5592763B2 (en) Method and apparatus for determining height map of object surface
JP6000010B2 (en) Laser scanning microscope
JP2013130853A (en) Microscope device
JP2020079929A (en) Accelerated method and apparatus for three-dimensional microscopy with structured illumination
Feldkhun et al. Doppler encoded excitation pattern tomographic optical microscopy
US20240126059A1 (en) Programmable multiple-point illuminator, confocal filter, confocal microscope and method to operate said confocal microscope
JP2016212154A (en) Scan type microscope system
JP6006053B2 (en) Laser scanning fluorescence microscope
US20130250088A1 (en) Multi-color confocal microscope and imaging methods
CN109870441B (en) Frequency shift-based three-dimensional super-resolution optical section fluorescence microscopic imaging method and device
JP4885429B2 (en) Optical stimulator and optical scanning observation device
WO2017094184A1 (en) Scanning microscope and microscope image acquisition method
JP6720051B2 (en) Optical image measuring device and optical image measuring method
JP5892410B2 (en) Scanning microscope
WO2017169597A1 (en) Image acquisition device and image acquisition method
JP6537153B2 (en) Optical information detector and microscope system
JP7268144B2 (en) Method and apparatus for scanning a sample
JP5973777B2 (en) Laser scanning microscope equipment
JP6639595B2 (en) Stimulated radiation suppression microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160211

R150 Certificate of patent or registration of utility model

Ref document number: 5892410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees