JP2011154312A - Laser scanning microscope and control method - Google Patents
Laser scanning microscope and control method Download PDFInfo
- Publication number
- JP2011154312A JP2011154312A JP2010017196A JP2010017196A JP2011154312A JP 2011154312 A JP2011154312 A JP 2011154312A JP 2010017196 A JP2010017196 A JP 2010017196A JP 2010017196 A JP2010017196 A JP 2010017196A JP 2011154312 A JP2011154312 A JP 2011154312A
- Authority
- JP
- Japan
- Prior art keywords
- scanning
- signal
- sample
- time
- laser beam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000005070 sampling Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 abstract description 21
- 238000002834 transmittance Methods 0.000 abstract description 19
- 238000012545 processing Methods 0.000 description 27
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、レーザ走査型顕微鏡および制御方法に関する。 The present invention relates to a laser scanning microscope and a control method.
従来、試料に照射されるレーザ光を走査し、試料から発せられた反射光または蛍光を光検出器に導入して、その検出光の強度とレーザ光の走査位置とを関連付けることで、レーザ光の走査範囲内の画像を取得し、試料の観察を行うレーザ走査型顕微鏡がある。レーザ走査型顕微鏡では、レーザ光の走査範囲を変更することにより画像の倍率(以下、適宜、走査倍率と称する)を変更することができ、例えば、レーザ光の走査範囲を縮小すると、より拡大した画像が取得される。 Conventionally, laser light irradiated on a sample is scanned, reflected light or fluorescence emitted from the sample is introduced into a photodetector, and the intensity of the detected light is correlated with the scanning position of the laser light. There is a laser scanning microscope that acquires an image within the scanning range and observes a sample. In a laser scanning microscope, the magnification of an image (hereinafter referred to as a scanning magnification as appropriate) can be changed by changing the scanning range of the laser beam. For example, when the scanning range of the laser beam is reduced, the magnification is further increased. An image is acquired.
例えば、ユーザは、所定の基準走査倍率で画像を取得した後、その画像のうちの注目している領域(以下、適宜、注目領域と称する)を指定して、注目領域にレーザ光を走査するようにレーザ走査型顕微鏡を操作する。これにより、基準走査倍率の画像の一部である注目領域を拡大した画像が取得される。 For example, after acquiring an image at a predetermined reference scanning magnification, the user designates a region of interest in the image (hereinafter referred to as a region of interest as appropriate) and scans the region of interest with laser light. The laser scanning microscope is operated as follows. As a result, an image obtained by enlarging the region of interest that is a part of the image at the reference scanning magnification is acquired.
このように基準走査倍率の画像から注目領域を指定して走査倍率を変更するとき、ユーザが指定した注目領域と、走査倍率変更後に取得される画像とが一致することが望ましい。例えば、ユーザは、試料中の目標観察対象が中心に配置されるように注目領域を指定した場合、その目標観察対象が走査倍率変更後の画像の中央に配置されていること、即ち、注目領域の中心位置と、走査倍率変更後に取得される画像の中心位置とが一致することを期待している。 As described above, when the region of interest is designated from the image of the reference scanning magnification and the scanning magnification is changed, it is desirable that the region of interest designated by the user coincides with the image acquired after the scanning magnification is changed. For example, when the user designates the attention area so that the target observation object in the sample is arranged at the center, the target observation object is arranged in the center of the image after changing the scanning magnification, that is, the attention area. The center position of the image and the center position of the image acquired after changing the scanning magnification are expected to match.
しかしながら、一般的に、レーザ走査型顕微鏡では、例えば、制御装置から出力される駆動信号に従ってガルバノモータが走査ミラーを駆動してレーザ光を走査しており、レーザ光の走査範囲を変更すると、即ち、走査ミラーの振幅を変更すると、駆動信号に対する走査ミラーの挙動が変化してしまう。このような走査ミラーの挙動の変化により発生する誤差により、ユーザが指定した注目領域の中心位置と、走査倍率変更後に取得される画像の中心位置とが一致しなくなる。そして、例えば、ユーザが指定した注目領域において中央に配置されていた目標観察対象が、走査倍率変更後の画像の中央から移動することにより、良好な観察を行うのに支障が生じていた。 However, in general, in a laser scanning microscope, for example, when a galvano motor drives a scanning mirror in accordance with a drive signal output from a control device and scans a laser beam, and the scanning range of the laser beam is changed, that is, If the amplitude of the scanning mirror is changed, the behavior of the scanning mirror with respect to the drive signal changes. Due to the error caused by the change in the behavior of the scanning mirror, the center position of the attention area designated by the user and the center position of the image acquired after changing the scanning magnification are not matched. For example, the target observation target arranged at the center in the attention area designated by the user moves from the center of the image after the change of the scanning magnification, which hinders good observation.
なお、走査倍率を変更したときだけでなく、レーザ光の走査速度を変更したときにも、走査ミラーの挙動が変化する。以下、適宜、走査倍率または走査速度、或いは、走査倍率と走査速度との組み合わせを、走査条件と称する。 Note that the behavior of the scanning mirror changes not only when the scanning magnification is changed but also when the scanning speed of the laser beam is changed. Hereinafter, the scanning magnification or the scanning speed or the combination of the scanning magnification and the scanning speed is referred to as a scanning condition as appropriate.
このような、走査条件の変更に伴って誤差が発生することを回避するため、例えば、特許文献1には、スリットを設けた光検出器により走査ミラーの裏面の反射を検出して制御を行うレーザ走査型顕微鏡が開示されている。
In order to avoid such an error from occurring due to a change in scanning conditions, for example, in
しかしながら、特許文献1に開示されているレーザ走査型顕微鏡では、走査ミラーが画像の中心(走査ミラーの全振幅の中心)に対応する位置となるタイミングのみしか検出することができない。このため、走査条件変更前の画像における中心以外の任意の位置に注目領域の中心が配置されるように走査条件を変更したときには、走査条件の変更に伴う誤差の発生を抑制することはできなかった。
However, the laser scanning microscope disclosed in
本発明は、このような状況に鑑みてなされたものであり、レーザ光の走査条件の変更に伴う誤差を抑制することができるようにするものである。 The present invention has been made in view of such a situation, and is intended to suppress an error associated with a change in scanning conditions of laser light.
本発明のレーザ走査型顕微鏡は、試料に照射されるレーザ光を走査して前記試料を観察するレーザ走査型顕微鏡であって、所定の走査条件に基づいた駆動信号に従って、前記レーザ光を走査する走査手段と、前記走査手段による走査位置に対応した位置信号を出力する位置出力手段と、前記試料へのレーザ光の照射強度を調整する照射強度調整手段と、前記照射強度調整手段により前記試料への前記レーザ光の照射を観察時の強度よりも抑制(停止も含む)させた状態で、前記走査手段に駆動信号を供給して前記走査手段を予備的に駆動させ、所定の時刻において前記位置信号を測定し、前記駆動信号に対して予め予測された前記位置信号の遅れ時間からのずれ時間を算出する演算手段とを備えることを特徴とする。 The laser scanning microscope of the present invention is a laser scanning microscope that scans a laser beam irradiated on a sample and observes the sample, and scans the laser beam according to a drive signal based on a predetermined scanning condition. Scanning means, position output means for outputting a position signal corresponding to the scanning position by the scanning means, irradiation intensity adjusting means for adjusting the irradiation intensity of the laser beam to the sample, and the irradiation intensity adjusting means to the sample In a state where the irradiation of the laser beam is suppressed (including the stop) from the intensity at the time of observation, a driving signal is supplied to the scanning unit to preliminarily drive the scanning unit, and the position is determined at a predetermined time. And a calculation means for measuring a signal and calculating a deviation time from a delay time of the position signal predicted in advance with respect to the drive signal.
本発明の制御方法は、試料に照射されるレーザ光を走査して前記試料を観察するレーザ走査型顕微鏡の制御方法であって、前記照射強度調整手段により前記試料への前記レーザ光の照射を観察時の強度よりも抑制(停止も含む)させた状態で、前記走査手段に駆動信号を供給して前記走査手段を予備的に駆動させ、所定の時刻のおいて前記位置信号を測定し、前記駆動信号に対して予め予測された前記位置信号の遅れ時間からのずれ時間を算出するステップを含むことを特徴とする。 The control method of the present invention is a control method of a laser scanning microscope that scans a laser beam applied to a sample and observes the sample, and the irradiation intensity adjusting means applies the laser light to the sample. In a state of suppressing (including stopping) the intensity at the time of observation, the scanning means is preliminarily driven by supplying a driving signal to the scanning means, and the position signal is measured at a predetermined time, The method includes a step of calculating a deviation time from a delay time of the position signal predicted in advance with respect to the drive signal.
本発明のレーザ走査型顕微鏡および制御方法においては、照射強度調整手段により試料へのレーザ光の照射を観察時の強度よりも抑制(停止も含む)させた状態で、走査手段に駆動信号を供給して走査手段が予備的に駆動され、所定の時刻のおいて位置信号を測定し、駆動信号に対して予め予測された位置信号の遅れ時間からのずれ時間が算出される。 In the laser scanning microscope and the control method of the present invention, the drive signal is supplied to the scanning means in a state where the irradiation intensity adjusting means suppresses the laser beam irradiation to the sample from the observation intensity (including stoppage). Then, the scanning unit is preliminarily driven, the position signal is measured at a predetermined time, and the deviation time from the delay time of the position signal predicted in advance with respect to the drive signal is calculated.
本発明のレーザ走査型顕微鏡および制御方法によれば、レーザ光の走査条件の変更に伴う誤差を抑制することができる。 According to the laser scanning microscope and the control method of the present invention, it is possible to suppress errors associated with changes in the scanning conditions of the laser light.
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings.
図1は、本発明を適用したレーザ走査型顕微鏡の一実施の形態の構成例を示す図である。 FIG. 1 is a diagram showing a configuration example of an embodiment of a laser scanning microscope to which the present invention is applied.
図1のレーザ走査型顕微鏡11では、ステージ12に載置された試料13が観察される。光源14から出力されるレーザ光は、集光レンズ15により平行光とされ、光透過率可変手段16に入射する。光透過率可変手段16は、制御装置28の制御に従って、レーザ光の強度を調整する。光透過率可変手段16として、例えば、AOTF(Acousto Optic Tunable Filter)、AOM(Acousto Optic Modulator)があげられる。
In the
光透過率可変手段16を通過したレーザ光は、ダイクロイックミラー17を介して、X走査ミラー18およびY走査ミラー19を備えて構成されるガルバノスキャナにより、試料13に向かって反射され、集光レンズ20により一旦結像された後、対物レンズ21により試料13に集光される。そして、X軸走査手段22およびY軸走査手段23が、制御装置28の制御に従って、X走査ミラー18およびY走査ミラー19を駆動することによりレーザ光が偏向され、試料13上に形成されるスポットが二次元的に走査される。
The laser light that has passed through the light
ここで、レーザ走査型顕微鏡11では、X走査ミラー18およびY走査ミラー19が駆動することによって、レーザ光のスポットは、試料13の所定範囲を走査することができるが、より広範囲の走査を実現するために、駆動機構24がステージ12をX−Y方向(試料13に照射されるレーザ光の光軸をZ方向として、Z方向に直交する方向)に駆動するように構成されている。なお、駆動機構24は、ユーザによる手動で駆動する手動機構や、電気的に制御されて駆動する電動機構などにより構成される。
Here, in the
試料13に含まれている蛍光材料にレーザ光が照射されると、その蛍光材料から蛍光が発せられ、対物レンズ21および集光レンズ20を介してレーザ光の経路を逆に辿り、ダイクロイックミラー17に向かう。ダイクロイックミラー17に入射した蛍光は、レーザ光よりも波長が長いためダイクロイックミラー17で反射し、集光レンズ25により集光されて光検出器26に入射する。光検出器26は、入射した光を、その強度に応じた電気信号に変換して強度信号画像化回路27に出力する。
When the fluorescent material included in the
強度信号画像化回路27は、制御装置28の制御に従ったタイミングで、即ち、試料13上のスポットの位置に応じたX走査ミラー18およびY走査ミラー19の角度に関連付けられたタイミングで、光検出器26から出力される電気信号をサンプリングし、その結果得られる強度信号を試料13上の走査面に対応した強度信号列とすることで画像化する。そして、強度信号画像化回路27は、画像信号を表示装置(図示せず)に出力して表示させたり、記憶装置(図示せず)に出力して記憶させる。
The intensity
制御装置28は、図示しない上位の装置から供給される走査条件に従って、レーザ走査型顕微鏡11の各部の制御を行う。
The
例えば、制御装置28は、光透過率可変手段16によるレーザ光の透過率を示す光透過率制御信号を光透過率可変手段16に供給し、試料13に照射されるレーザ光の強度を制御する。また、制御装置28は、例えば、図2を参照して後述するように、水平同期信号、水平サンプリング有効信号、強度信号サンプリング同期信号、垂直同期信号などの各種のタイミング信号を強度信号画像化回路27に供給し、強度信号画像化回路27による強度信号のサンプリングを制御する。
For example, the
また、制御装置28は、鋸形状のX走査軸駆動信号(図2)をX軸走査手段22に供給し、X軸走査手段22により駆動されるX走査ミラー18の回転角度を制御する。
Further, the
X軸走査手段22は、X走査ミラー18が固定されている走査軸22aの角度を検出する角度センサ22bを内蔵しており、その角度センサ22bの出力(即ち、X走査ミラー18の角度を示す情報)を制御装置28に供給する。ここで、X走査ミラー18の角度は、試料13上で形成されるレーザ光のスポットのX方向の位置に対応しており、制御装置28は、X軸走査手段22の角度センサ22bからの出力を、試料13上で形成されるレーザ光のスポットのX方向の位置を示すX軸位置信号として制御を行う。例えば、X軸走査手段22としてガルバノモータを使用することができ、ガルバノモータは、駆動信号に対して安定した挙動を実現するために角度センサを備えており、その角度センサの出力を制御装置28にフィードバックしてサーボ系を構成することで、ガルバノモータを駆動する際の安定化が図られる。
The X-axis scanning means 22 incorporates an
また、制御装置28は、X軸走査手段22と同様に、Y軸走査手段23に対してY走査軸駆動信号を供給してY走査ミラー19を駆動させる。そして、Y走査ミラー19が固定されている走査軸23aの角度を検出する角度センサ23bの出力が、制御装置28に供給され、制御装置28は、その出力を、試料13上で形成されるレーザ光のスポットのY方向の位置を示すY軸位置信号として制御を行う。
Similarly to the
このように構成されているレーザ走査型顕微鏡11において、制御装置28からX軸走査手段22にX走査軸駆動信号が供給されると、X軸走査手段22によりX走査ミラー18が所定の往復運動を行い、試料13からの蛍光が、X走査ミラー18の角度に応じた強度信号として、即ち、試料13上で形成されるスポットの位置に応じた強度信号として強度信号画像化回路27により検出されるため、スポットの位置と強度信号とを関連付けることにより画像が構築される。
In the
ところで、制御装置28からのX走査軸駆動信号に従って、X軸走査手段22がX走査ミラー18を駆動するため、X軸位置信号の波形は、X走査軸駆動信号と略同形状となるが、X軸走査手段22は、ガルバノモータなどの電磁力により走査軸22aを駆動させる機構であるため、X軸位置信号は、X走査軸駆動信号の変化に対して、ある遅れ時間で遅れて追従することになる。同様に、Y軸位置信号は、Y走査軸駆動信号の変化に対して、ある遅れ時間で遅れて追従することになる。即ち、図2に示すように、位置信号は駆動信号に対して遅れることになり、この遅れ時間を考慮して、制御装置28は、強度信号画像化回路27に各種のタイミング信号を出力する必要がある。
Incidentally, since the X-axis scanning means 22 drives the
図2を参照して、制御装置28が出力する駆動信号、制御装置28に入力される位置信号、および、各種のタイミング信号について説明する。なお、図2では、X軸方向(水平方向)について説明するが、Y軸方向(垂直方向)についても同様である。
With reference to FIG. 2, the drive signal output from the
図2の上側には、鋸歯形状の駆動信号および位置信号が示されている。駆動信号(実線)および位置信号(破線)は、縦軸を信号の電圧値(V)とし、横軸を時刻(T)として表されている。 On the upper side of FIG. 2, a sawtooth drive signal and a position signal are shown. In the drive signal (solid line) and the position signal (broken line), the vertical axis represents the signal voltage value (V) and the horizontal axis represents time (T).
駆動信号および位置信号の波形の下側には、上から順に、水平同期信号、光透過率制御信号、水平サンプリング有効信号、強度信号サンプリング同期信号、読み出しクロック信号が示されている。 Below the waveforms of the drive signal and the position signal, a horizontal synchronization signal, a light transmittance control signal, a horizontal sampling effective signal, an intensity signal sampling synchronization signal, and a readout clock signal are shown in order from the top.
水平同期信号は、水平方向の走査の1ラインが開始されるタイミングを示す信号である。光透過率制御信号は、光源14から発せられるレーザ光により画像が取得される区間である画像取得区間に対応する区間で、レーザ光が試料13に照射されるように、光透過率可変手段16を通過するレーザ光を制御(オン/オフ)するための信号である。
The horizontal synchronization signal is a signal indicating the timing at which one line of horizontal scanning is started. The light transmittance control signal is a light transmittance variable means 16 so that the
水平サンプリング有効信号は、レーザ光の水平方向の走査において、強度信号画像化回路27によるサンプリングが有効とされる区間を示す信号である。強度信号サンプリング同期信号は、強度信号画像化回路27が強度信号のサンプリングを行うタイミングを示す信号である。読み出しクロック信号は、数値データ列からアナログ信号である駆動信号を生成する際に、制御装置28が備えるD/A(Digital/Analog)コンバータが数値データを読み出すタイミングを示す信号である。
The horizontal sampling effective signal is a signal indicating a section in which sampling by the intensity
駆動信号は、X軸走査手段22により駆動されるX走査ミラー18の回転角を制御するための信号であり、駆動信号に従って、X走査ミラー18が往復運動を行うように駆動される。駆動信号は、一定の範囲でスポットが等速度で移動するように走査した後に反転し、反転直後は、非線形に駆動して反転に係わる時間が最小となるような鋸歯形状となっている。
The drive signal is a signal for controlling the rotation angle of the
このような駆動信号によってX走査ミラー18が駆動されると、X走査ミラー18が等速度で駆動している区間において、試料13上のスポットの軌跡が一定速度となり、等間隔の強度信号サンプリング同期信号でサンプリングされる強度信号が線形に変化するので、この区間が、強度信号画像化回路27が強度信号をサンプリングして、画像化するのに適している。
When the
ここで、駆動信号に対するX走査ミラー18の応答に遅れがないと仮定すると、図2に示すように、水平同期信号、光透過率制御信号、水平サンプリング有効信号、および、強度信号サンプリング同期信号が、制御装置28から強度信号画像化回路27に出力される。
Here, assuming that there is no delay in the response of the
即ち、駆動信号の1周期の開始時刻に水平同期信号にLowが出力されて、X走査ミラー18の回転速度が安定するまでの一定時間Ts(一定時間Tsは、走査手段の機械的要因と、駆動回路の電気的特性により決定される)が経過した後、水平サンプリング有効信号が無効から有効に切り替えられ、一定の画像取得区間、水平サンプリング有効信号が有効とされる。また、光源14の光出力の立ち上がり時間分に応じたタイミングで、水平サンプリング有効信号が有効に切り替えられるよりも先に、光透過率制御信号がオフからオンに切り替えられており、この時間差により、水平サンプリング有効信号が有効に切り替えられた時点で、レーザ光の出力が安定状態に達している。
That is, a certain time Ts (a certain time Ts is a mechanical factor of the scanning means) until Low is output to the horizontal synchronization signal at the start time of one cycle of the drive signal and the rotation speed of the
そして、水平サンプリング有効信号が有効となっている画像取得区間において、強度信号サンプリング同期信号が、水平解像度に応じたパルス数で出力される。強度信号画像化回路27は、強度信号サンプリング同期信号に同期して光検出器26の出力信号をサンプリングし、これによりX走査ミラー18の走査位置に対応した強度信号列が得られ、強度に応じた表示を行うことで、1ラインの走査を画像化することができる。そして、X走査ミラー18により水平方向へ1ラインの走査が行われるたびに、Y走査ミラー19により垂直方向へ1ライン分移動させることを繰り返すことにより、1ラインずつ垂直方向に異なる水平方向の強度信号列が蓄積され、二次元の画像を得ることができる。
Then, in the image acquisition period in which the horizontal sampling valid signal is valid, the intensity signal sampling synchronization signal is output with the number of pulses corresponding to the horizontal resolution. The intensity
このように、X軸走査手段22が駆動信号に従ってX走査ミラー18を駆動することにより画像が取得されるが、図2に示すように、X軸走査手段22から出力される位置信号は、駆動信号に対して遅れが生じている。この遅れは、走査条件によって異なるものである。従って、走査条件の変更の前後で、水平サンプリング有効信号がオンになるタイミングが同一である場合、遅れ時間が変化することによって、画像化される領域に誤差が生じてしまう。このような誤差によって、走査条件を変更する前の画像の中心位置と、走査条件を変更した後の画像の中心位置とにズレが発生してしまう。
As described above, the
例えば、画像取得期間が開始するときの駆動電圧Vsと、画像取得期間が終了するときの駆動電圧Veと間の振幅が走査倍率に対応しており、この駆動電圧の振幅が小さくなると走査倍率が高くなる。このように走査倍率を変更したとき、水平サンプリング有効信号がオンになるタイミングが同一である場合、その前後において画像の中心位置にズレが発生する。 For example, the amplitude between the drive voltage Vs at the start of the image acquisition period and the drive voltage Ve at the end of the image acquisition period corresponds to the scanning magnification. When the amplitude of the driving voltage is reduced, the scanning magnification is increased. Get higher. When the scanning magnification is changed in this way and the timing at which the horizontal sampling valid signal is turned on is the same, a shift occurs in the center position of the image before and after that.
次に、図3を参照して、走査倍率の変更の前後における画像の中心位置のズレについて説明する。 Next, with reference to FIG. 3, the shift of the center position of the image before and after the change of the scanning magnification will be described.
図3の左側には、レーザ走査型顕微鏡11において基準となる走査倍率である基準走査倍率で画像を取得するときの駆動信号(実線)と、その駆動信号に従って駆動するX軸走査手段22から出力される位置信号(破線)とが示されている。また、図3の右側には、基準走査倍率のn倍の走査倍率で画像を取得するときの駆動信号(実線)と位置信号(破線)とが示されている。
On the left side of FIG. 3, a drive signal (solid line) for acquiring an image at a reference scan magnification which is a reference scan magnification in the
基準走査倍率での駆動信号における画像取得区間に対応する駆動電圧の振幅VRに対して、n倍の走査倍率での駆動信号における画像取得区間に対応する駆動電圧の振幅Vnは、1/nである。基準走査倍率での位置信号は、所定の遅れ時間DRの後に、駆動信号に対応した出力として、駆動信号と略同形状の波形として計測される。なお、駆動信号が急峻に変化している箇所において、機械的な応答限界により、位置信号は、同形状となっていない。 The amplitude Vn of the drive voltage corresponding to the image acquisition interval in the drive signal at the scanning magnification of n is 1 / n with respect to the amplitude VR of the drive voltage corresponding to the image acquisition interval in the drive signal at the reference scanning magnification. is there. The position signal at the reference scanning magnification is measured as a waveform having substantially the same shape as the drive signal as an output corresponding to the drive signal after a predetermined delay time DR. Note that the position signal does not have the same shape at a portion where the drive signal changes sharply due to a mechanical response limit.
例えば、基準走査倍率での駆動信号の振幅VRの中心電圧Vcに対応した位置を中心に画像を取得したいとき、駆動信号の周期が開始される基準時刻(水平同期信号Lowが出力されるタイミング)から、中心電圧Vcが画像取得区間の中央時刻となるような適切な一定時間Tsが経過した後に、水平サンプリング有効信号を画像取得区間だけ有効とすることで、駆動信号の中心電圧Vcに対応した位置を中心とした画像を取得することができる。 For example, when it is desired to acquire an image centered on a position corresponding to the center voltage Vc of the amplitude VR of the drive signal at the reference scanning magnification, the reference time at which the cycle of the drive signal starts (timing at which the horizontal synchronization signal Low is output) Thus, after an appropriate fixed time Ts has passed so that the center voltage Vc becomes the central time of the image acquisition interval, the horizontal sampling effective signal is enabled only in the image acquisition interval, thereby corresponding to the center voltage Vc of the drive signal. An image centered on the position can be acquired.
そして、基準走査倍率での画像の中心付近をn倍に拡大したい場合、駆動電圧の変化を1/nにすることにより、同一のサンプリング数(画素数)で試料13上の狭い範囲でスポットが走査され、その結果、光学的にn倍の画像を得ることができる。
When it is desired to enlarge the vicinity of the center of the image at the reference scanning magnification by a factor of n, a spot is formed in a narrow range on the
しかしながら、上述したように、基準走査倍率で画像を取得するときの振幅VRの駆動信号に対する遅れ時間DRと、n倍の走査倍率で画像を取得するときの振幅Vnの駆動信号に対する遅れ時間Dnとは、一般的に異なる時間となるため、水平サンプリング有効信号を有効とする区間を維持したまま駆動信号の振幅だけを変化させただけでは、取得される画像の範囲(視野に相当)にズレが発生することになる。 However, as described above, the delay time DR with respect to the drive signal having the amplitude VR when the image is acquired at the reference scanning magnification, and the delay time Dn with respect to the drive signal having the amplitude Vn when the image is acquired at the scanning magnification of n times. In general, since the time is different, if only the amplitude of the drive signal is changed while maintaining the section in which the horizontal sampling effective signal is enabled, the range of the acquired image (corresponding to the visual field) is shifted. Will occur.
このとき、走査倍率の変化に応じて、水平サンプリング有効信号を有効にするタイミングを変化させることにより、画像の範囲にズレが発生することを補正することができると考えられるが、走査倍率を変更したときの駆動信号の振幅の変化に対する遅れ時間の変化は、走査ミラーの質量、駆動機構のトルク、駆動機構の動摩擦係数、可動部全体の重心と可動中心のずれ、駆動電気回路の周波数特性、電流供給能力等、様々な要素が関連していて線形の関係とならないため、走査倍率の変化から遅れ時間のずれ時間(基準走査条件の時の遅れ時間からのずれ時間)(以下、適宜、ディレイ時間と称する)を算出することは困難である。例えば、走査速度が500Hzまたは1KHzのとき、遅れ時間は160μ秒前後であり、走査倍率の変更に伴って遅れ時間に数μ秒程度のずれ時間が発生する。 At this time, it is considered that the occurrence of deviation in the image range can be corrected by changing the timing at which the horizontal sampling effective signal is activated in accordance with the change in the scanning magnification, but the scanning magnification is changed. The change in the delay time with respect to the change in the amplitude of the drive signal at this time is the mass of the scanning mirror, the torque of the drive mechanism, the dynamic friction coefficient of the drive mechanism, the deviation between the center of gravity of the entire movable part and the movable center, Since various factors such as current supply capability are related and do not have a linear relationship, the shift time of the delay time from the change of the scanning magnification (the shift time from the delay time at the time of the reference scanning condition) (hereinafter referred to as the delay appropriately) It is difficult to calculate (referred to as time). For example, when the scanning speed is 500 Hz or 1 kHz, the delay time is around 160 μsec, and a shift time of about several μsec occurs in the delay time as the scanning magnification is changed.
そこで、レーザ走査型顕微鏡11では、試料13の画像を取得する前に、レーザ光を試料13に照射せずに予備的な走査を行い、ディレイ時間を測定して補正することで、走査条件の変化による誤差の発生を抑制することができる。
Therefore, the
次に、図4を参照して、ディレイ時間を補正する方法について説明する。 Next, a method for correcting the delay time will be described with reference to FIG.
図4Aには、基準走査倍率での駆動信号(実線)および位置信号(破線)について、画像取得区間の中心に対応する中心電圧Vc付近が示されている。 FIG. 4A shows the vicinity of the center voltage Vc corresponding to the center of the image acquisition interval for the drive signal (solid line) and the position signal (broken line) at the reference scanning magnification.
X軸走査手段22に供給される駆動信号に対し、X走査ミラー18は、駆動信号が示す位置へ遅れ時間DR後に到達する。従って、駆動信号から遅れ時間DRに応じた時間差で、強度信号画像化回路27により強度信号がサンプリングされるように制御することで、意図した位置の強度がサンプリングされる。
With respect to the drive signal supplied to the X-axis scanning means 22, the
そして、基準走査倍率で取得された画像の中央付近が注目領域として指定され、その注目領域の画像を取得するように走査倍率が変更されると、駆動信号および位置信号は、図4Bに示すような傾きとなる。 When the vicinity of the center of the image acquired at the reference scanning magnification is designated as the attention area, and the scanning magnification is changed so as to acquire the image of the attention area, the drive signal and the position signal are as shown in FIG. 4B. It becomes a slant.
走査条件が変更されて、図4Bに示すような傾きの駆動信号でX軸走査手段22がX走査ミラー18を駆動すると、位置信号は、基準走査倍率のときの遅れ時間DRよりもディレイ時間ΔDで遅れることになる。このとき、基準走査倍率のときと同一のタイミングで強度信号をサンプリングすると、誤差電圧ΔVに応じて異なる位置の強度信号がサンプリングされる。
When the scanning condition is changed and the X-axis scanning means 22 drives the
従って、ディレイ時間ΔDだけタイミングを変更して、強度信号のサンプリングを行うようにすることで、誤差電圧ΔVに応じたズレを解消することができると考えられるが、制御装置28が出力する強度信号サンプリング同期信号は、所定の基準クロックを基に生成されるため、基準クロック単位で強度信号サンプリング同期信号を変更させることに対して、任意の時間で強度信号サンプリング同期信号を変更させることは困難である。
Therefore, it is considered that the deviation corresponding to the error voltage ΔV can be eliminated by changing the timing by the delay time ΔD and sampling the intensity signal, but the intensity signal output from the
そこで、例えば、ディレイ時間ΔDが解消される方向に、強度信号サンプリング同期信号を基準クロック単位で変更した後、基準クロック単位では変更することができない微小な時間差を、駆動信号を誤差電圧ΔDに応じてオフセットすることで、時間差と等価な効果を高精度に得ることができる。 Therefore, for example, after changing the intensity signal sampling synchronization signal in units of reference clocks in a direction in which the delay time ΔD is eliminated, a minute time difference that cannot be changed in units of reference clocks is determined according to the error voltage ΔD. By offsetting, an effect equivalent to the time difference can be obtained with high accuracy.
即ち、図4Cに示すように、駆動信号をオフセットすることで、結果的に、基準走査倍率のときと同一のタイミング(即ち、遅れ時間DRで遅れたタイミング)で、希望の位置でサンプリングを行うことができる。 That is, as shown in FIG. 4C, by offsetting the drive signal, as a result, sampling is performed at a desired position at the same timing as the reference scanning magnification (that is, timing delayed by the delay time DR). be able to.
このように、レーザ走査型顕微鏡11では、走査条件を変更する際に、強度信号サンプリング同期信号のタイミングの調整、および、駆動信号のオフセットを行うことで、走査条件の変更に伴って誤差が発生することを防止することができる。
As described above, in the
ここで、タイミングを調整するタイミング調整値およびオフセット値を求める方法について、さらに説明する。 Here, a method for obtaining the timing adjustment value and the offset value for adjusting the timing will be further described.
上述したように、レーザ走査型顕微鏡11は、光透過率可変手段16により試料13へのレーザ光の照射をオン/オフすることができ、レーザ光を照射しての画像の取得を行う前に、レーザ光の照射をオフにした状態で、画像を取得するときの走査条件と同一の条件でX走査ミラー18およびY走査ミラー19を予備的に駆動し、その位置信号を解析することで、ディレイ時間ΔDが精密に測定される。このように、予備的な駆動を行う際に、試料13にレーザ光が照射されないようにすることで、試料13にダメージを与えることが回避される。
As described above, the
駆動信号に対する位置の遅れは、駆動信号から一定の時間関係を持ったサンプリング信号で位置信号を計測し、その時刻での位置から、駆動信号に対する応答遅れ時間として測定される。具体的には、駆動信号に対する機械的応答は、遅れることが既知であるため、画像取得区間の開始時刻に位置計測を行うと、開始位置に到達していない位置を計測してしまうのは明らかである。そこで、例えば、概略の応答遅れ時間(図3の一定時間Ts)を考慮した上で、駆動信号の画像取得区間の中央時刻で、位置信号の計測を行えば、実際に画像取得を行っているほぼ中央時刻付近で位置を計測することができ、かつ、推定位置が不足、過分であっても画像取得区間から大きく外れないことが期待できる。このため、画像取得区間の中央付近での計測が最も合理的な計測タイミングとなる。 The position delay with respect to the drive signal is measured as a response delay time with respect to the drive signal from the position at that time by measuring the position signal with a sampling signal having a fixed time relationship from the drive signal. Specifically, since it is known that the mechanical response to the drive signal is delayed, it is clear that if the position measurement is performed at the start time of the image acquisition section, the position that has not reached the start position is measured. It is. Therefore, for example, if the position signal is measured at the central time of the image acquisition section of the drive signal in consideration of the approximate response delay time (a constant time Ts in FIG. 3), the image acquisition is actually performed. It can be expected that the position can be measured almost at the central time, and that the estimated position is insufficient or excessively deviated from the image acquisition section even if the estimated position is insufficient. For this reason, the measurement near the center of the image acquisition section is the most reasonable measurement timing.
ここで、図2に示したように、画像取得期間が開始するときの駆動電圧Vsと、画像取得期間が終了するときの駆動電圧Veとから、予測遅れ時間(予め予測された応答遅れ時間)が正確であれば、中央時刻での位置信号の電圧Vrは、Vr=(Vs+Ve)/2の値で計測される。しかしながら、予測遅れ時間が正確ではないため、例えば、電圧Vrとは異なる電圧Vfが計測される。電圧Vrと電圧Vfの差、および、画像取得有効区間の単位時間当たりの電圧変化量Scから、ディレイ時間ΔDは、ΔD=(Vr−Vf)/Scで算出することができる。 Here, as shown in FIG. 2, from the drive voltage Vs when the image acquisition period starts and the drive voltage Ve when the image acquisition period ends, a predicted delay time (a response delay time predicted in advance). Is accurate, the voltage Vr of the position signal at the central time is measured with a value of Vr = (Vs + Ve) / 2. However, since the predicted delay time is not accurate, for example, a voltage Vf different from the voltage Vr is measured. From the difference between the voltage Vr and the voltage Vf and the voltage change amount Sc per unit time in the image acquisition effective section, the delay time ΔD can be calculated by ΔD = (Vr−Vf) / Sc.
このようにディレイ時間ΔDを算出することで、その遅れを補正するための補正値を求めることができる。ディレイ時間ΔDは、アナログ量であるので、精密に補正するには、補正計算の有効桁の範囲で補正するのが望ましい。ところが、画像取得のタイミング信号は、走査信号を生成するD/Aコンバータの読み出しクロックと同期関係が必要となるため、共通の基準クロックに由来する信号を元に作られるのが普通である。従って、基準クロックの周期単位が、時間調整の最小単位となる。 By calculating the delay time ΔD in this way, a correction value for correcting the delay can be obtained. Since the delay time ΔD is an analog quantity, it is desirable to correct within the effective digit range of the correction calculation for precise correction. However, since the timing signal for image acquisition needs to be synchronized with the readout clock of the D / A converter that generates the scanning signal, it is usually generated based on a signal derived from a common reference clock. Therefore, the period unit of the reference clock is the minimum unit for time adjustment.
通常、デジタル回路のクロックは、ノイズ低減のため、可能な限り低い周波数に保つ必要があり、無闇に時間分解能をあげる目的で、高い周波数とすることができない。例えば、水平走査速度を1KHzの周期で走査を行う場合、走査の1周期は1msecとなるが、そのうち、画像取得区間を走査の1周期の50%程度と仮定すると、画像取得区間は500μsecとなる、又、画像化する際の解像度を512と仮定すると、1画素あたりの時間は、約1μsecとなる。従って、タイミングを生成するための元となる基準クロックは、その数分の1にとるのが普通である。仮に、タイミングを生成するための元となる基準クロックが、画像取得のタイミング信号の1/8とすると、基準クロックは約125nsec程度なる。即ち、125nsec程度の時間単位でないと、画像取得タイミングを調整することができない。 Usually, the clock of a digital circuit needs to be kept at a frequency as low as possible in order to reduce noise, and cannot be set to a high frequency for the purpose of improving time resolution without darkness. For example, when scanning is performed at a horizontal scanning speed of 1 kHz, one scanning period is 1 msec, and assuming that the image acquisition section is about 50% of one scanning period, the image acquisition section is 500 μsec. Also, assuming that the resolution at the time of imaging is 512, the time per pixel is about 1 μsec. Therefore, the reference clock that is the basis for generating the timing is usually a fraction of that. If the reference clock for generating timing is 1/8 of the image acquisition timing signal, the reference clock is about 125 nsec. That is, the image acquisition timing cannot be adjusted unless the time unit is about 125 nsec.
また、1画素あたりの画像取得時間が約1μsecの仮定では、調整時間単位が125nsecであれば、1画素の1/8であるから、画像位置の調整精度は1/8画素と言い換えることができる。即ち、同じ走査倍率で画像を取得している間は、十分な調整精度と言えるが、仮に最初に取得した画像の中央部を、走査倍率で50倍に拡大したと仮定すると、元々の位置調整精度が1/8画素の誤差を含んでいた為、50倍に拡大後の画像では、約6画素の誤差となってしまう。従って、走査倍率により拡大を行う場合、元となる画像の位置精度は可能な限り高くしておく方が望ましい。 In addition, assuming that the image acquisition time per pixel is about 1 μsec, if the adjustment time unit is 125 nsec, it is 1/8 of 1 pixel, so the image position adjustment accuracy can be paraphrased as 1/8 pixel. . That is, while the image is acquired with the same scanning magnification, it can be said that the adjustment accuracy is sufficient, but assuming that the center of the first acquired image is enlarged 50 times with the scanning magnification, the original position adjustment is performed. Since the accuracy includes an error of 1/8 pixel, an error after enlargement of 50 times results in an error of about 6 pixels. Therefore, when enlarging with the scanning magnification, it is desirable to keep the position accuracy of the original image as high as possible.
さらに、基準クロックを基にしたタイミング信号により、ディレイ時間ΔDを調整する場合、精密に調整しようとすると、元となる基準クロックの周波数が非常に高くなってしまい、現実的ではない。例えば、10nsec単位で調整しようとすると、100MHzの基準クロックが必要となり、一般のプログラマブルロジックアレイ等では扱えない周波数となってしまう。 Furthermore, when the delay time ΔD is adjusted by the timing signal based on the reference clock, the frequency of the original reference clock becomes very high if it is to be adjusted precisely, which is not realistic. For example, if an adjustment is made in units of 10 nsec, a reference clock of 100 MHz is required, and the frequency cannot be handled by a general programmable logic array or the like.
そこで、レーザ走査型顕微鏡11においては、画像取得区間の駆動信号が直線的に増加することに着目し、ディレイ時間ΔDを調整する代わりに、微小な時間の調整は、駆動信号を電圧方向にオフセットすることで、図4Cを参照して説明したように、時間の調整と等価なことを、アナログオフセット電圧の調整で実現している。
Therefore, in the
アナログ信号のオフセット電圧であれば、D/A変換器の分解能が調整限界となり、16bit程度のDA変換機を使用すれば、全出力振幅に対し、1/65536となるが、全振幅の半分程度を画像取得区間に使用すると仮定すると、分解能は、1/32768となる。また、最大振幅の際の画素解像度を512と仮定すると、512/32768≒0.016となり、約100分の2画素以下となり、基準クロックを基にしたタイミング信号による調整よりも、高精度の調整を行うことができる。 If the offset voltage is an analog signal, the resolution of the D / A converter becomes the limit of adjustment. If a 16-bit DA converter is used, it becomes 1/65536 of the total output amplitude, but about half of the total amplitude. Assuming that is used for the image acquisition interval, the resolution is 1/32768. Assuming that the pixel resolution at the maximum amplitude is 512, 512/32768 ≒ 0.016, which is less than about 2/100 pixels, and performs higher-precision adjustment than the adjustment by the timing signal based on the reference clock. be able to.
次に、図5は、制御装置28の構成例を示すブロック図である。
Next, FIG. 5 is a block diagram illustrating a configuration example of the
制御装置28では、演算処理回路31は、外部の装置から供給される走査条件に従って、制御装置28の各ブロックに対する設定を行う。また、演算処理回路31には、X軸走査手段22の角度センサ22bおよびY軸走査手段23の角度センサ23bからの出力が、位置信号検出回路32を介してX軸位置信号およびY軸位置信号として供給され、演算処理回路31は、X走査軸駆動信号およびY走査軸駆動信号に対するX軸位置信号およびY軸位置信号のディレイ時間ΔDから、Xオフセット値、Yオフセット値、およびタイミング調整値を算出する。
In the
位置信号検出回路32は、タイミング生成回路33から供給されるX位置信号検出タイミング信号およびY位置信号検出タイミング信号に従ったタイミングで、X軸走査手段22の角度センサ22bおよびY軸走査手段23の角度センサ23bからの出力をサンプリングし、X軸位置信号およびY軸位置信号として演算処理回路31に供給する。
The position
演算処理回路31は、走査条件設定信号をタイミング生成回路33に供給して走査条件をタイミング生成回路33に設定する。タイミング生成回路33は、演算処理回路31による設定に従い、基準となる所定の基準クロックから各種のタイミング信号を生成して、各ブロックに供給する。
The
例えば、タイミング生成回路33は、光透過率制御信号を光透過率可変手段16に供給し、水平同期信号、垂直同期信号、水平サンプリング有効信号、および強度信号サンプリング同期信号を強度信号画像化回路27に供給する。また、タイミング生成回路33は、X走査軸駆動波形生成画素アドレス信号および読み出しクロック信号をX走査軸駆動波形生成回路34に供給し、Y走査軸駆動波形生成ラインアドレス信号および読み出しクロック信号をY走査軸駆動波形生成回路35に供給する。
For example, the
また、演算処理回路31は、算出したタイミング調整値をタイミング調整値保持回路36に保持させ、タイミング調整値保持回路36を介して、タイミング調整値をタイミング生成回路33に供給する。これにより、タイミング生成回路33は、タイミング調整値に従って、出力するタイミング信号を調整する。
The
また、演算処理回路31は、走査条件に応じて、所定の制御プログラムに従ってX走査ミラー18を駆動するためのX走査軸駆動波形データを生成してX走査軸駆動波形生成回路34に設定するとともに、算出したXオフセット値(駆動中心)をXオフセット値保持回路37に保持させる。なお、演算処理回路31が、制御プログラムに従ってX走査軸駆動波形データを生成することにより、様々な走査条件に対応する波形を生成することができる。
In addition, the
X走査軸駆動波形生成回路34は、書き換え可能なメモリ(例えば、RAM(Random Access Memory)など)を内蔵しており、そのメモリにX走査軸駆動波形データ(数値データ列)を格納させる。そして、X走査軸駆動波形生成回路34は、タイミング生成回路33から供給されるX走査軸駆動波形生成画素アドレス信号に応じたアドレスに記憶されている数値を、読み出しクロック信号(図2)に従ったタイミングで順次読み出すことで、時系列的に変化する波形を示す信号を生成する。そして、X走査軸駆動波形生成回路34は、その信号を、Xオフセット値保持回路37に保持されているXオフセット値でオフセットしてX走査軸駆動波形信号を生成し、X走査軸駆動回路39に供給する。
The X scan axis drive
X走査軸駆動回路39は、X走査軸駆動波形信号をD/A変換して、アナログ電圧であるX走査軸駆動信号(図2の駆動信号)を生成し、X軸走査手段22に供給する。これにより、X軸走査手段22が、X走査軸駆動信号に従ってX走査ミラー18を駆動し、X軸の走査が行われる。
The X scan axis drive circuit 39 D / A converts the X scan axis drive waveform signal to generate an X scan axis drive signal (drive signal in FIG. 2) that is an analog voltage, and supplies it to the X axis scanning means 22. . As a result, the
ここで、演算処理回路31が、X走査軸駆動波形信号を生成するためのX走査軸駆動波形データとXオフセット値とを分離してX走査軸駆動波形生成回路34に供給することで、即ち、Xオフセット値をXオフセット値保持回路37を介してX走査軸駆動波形生成回路34に供給することで、駆動波形は、振幅と走査速度とにより全振幅電圧幅の中心電圧を基点とした、振幅および周期の変化として一般化され、オフセット電圧は、振幅中心の位置を静的に与えることができる。
Here, the
このようにX軸走査手段22が駆動されるのに伴って、X走査ミラー18の実位置を示すX軸位置信号がX軸走査手段22から位置信号検出回路32に供給され、演算処理回路31は、任意のタイミングで、X走査ミラー18の実位置を測定することができる。
As the
また、X軸走査と同様に、演算処理回路31は、Y走査軸駆動信号をY走査軸駆動波形生成回路35に設定するとともに、算出したYオフセット値をYオフセット値保持回路38に保持させ、X走査軸駆動回路40から出力されるY走査軸駆動信号に従ってY軸走査手段23によりY走査ミラー19を駆動させてY軸走査を行わせる。そして、Y走査ミラー19の実位置を示すY軸位置信号がY軸走査手段23から位置信号検出回路32に供給され、演算処理回路31は、Y走査ミラー19の実位置を測定することができる。
Similarly to the X-axis scanning, the
次に、図6は、レーザ走査型顕微鏡11により行われる予備走査処理を説明するフローチャートである。
Next, FIG. 6 is a flowchart for explaining the preliminary scanning process performed by the
ステップS11において、制御装置28は、例えば、基準走査倍率で走査を行うようにX軸走査手段22およびY軸走査手段23を制御し、強度信号画像化回路27から基準走査倍率での画像信号が表示装置(図示せず)に出力して表示される。そして、ユーザが、基準走査倍率での画像に対して注目領域を指定すると、その注目領域を走査するための走査条件(走査速度、走査倍率、中心位置など)が決定されて演算処理回路31に供給されると、処理はステップS12に進む。
In step S11, the
ステップS12において、演算処理回路31は、ステップS11で決定された走査条件に応じて、所定の制御プログラムに従ってX走査ミラー18およびY走査ミラー19を駆動するためのX走査軸駆動波形データおよびY走査軸駆動波形データを生成し、X走査軸駆動波形生成回路34およびY走査軸駆動波形生成回路35に設定する。
In step S12, the
ステップS13において、光透過率可変手段16により試料13へのレーザ光の照射がオフとされた状態で、X走査軸駆動波形生成回路34は、X走査軸駆動波形データを読み出しクロック信号に従って読み出し、X走査軸駆動波形信号を生成してX走査軸駆動回路39に供給する。X走査軸駆動回路39は、X走査軸駆動波形信号をD/A変換してX走査軸駆動信号を生成し、X軸走査手段22は、X走査軸駆動信号に従ってX走査ミラー18を予備的に駆動する。
In step S13, the X-scan axis drive
この駆動に従って、X軸走査手段22の角度センサ22bから出力される位置信号が位置信号検出回路32を介して演算処理回路31に供給され、演算処理回路31は、画像取得区間の中央時刻に対応する位置信号を計測する。このとき、概略的な遅れ時間として予め測定してある一定時間Tsを考慮して位置信号が測定される。同様に、Y軸に対しても予備的な駆動が行われる。
In accordance with this driving, the position signal output from the
ステップS14において、演算処理回路31は、ステップS13で計測された位置信号の電圧値Vfと、本来あるべき電圧値Vrとの差を求める。そして、この電圧値の差と、駆動信号の単位時間当たりの電圧変化量Scから、ディレイ時間ΔDを算出する。
In step S14, the
ステップS15において、演算処理回路31は、ディレイ時間ΔDのうち、時間調整単位の整数倍の時間を、タイミング調整値として算出し、タイミング調整値保持回路36に保持させる。
In step S15, the
ステップS16において、演算処理回路31は、時間調整単位の整数倍では調整できなかったディレイ時間ΔDの残りの時間をオフセット電圧に変換してXオフセット値およびYオフセット値を算出し、Xオフセット値保持回路37およびYオフセット値保持回路38に保持させ、予備走査処理は終了する。
In step S16, the
以上のように、レーザ光の照射をオフにした状態で予備走査処理を実行することで、試料13に影響を及ぼすこと(劣化や退色など)を回避して、誤差を補正するためのタイミング調整値、Xオフセット値、およびYオフセット値を算出することができる。なお、本実施の形態の説明では、予備走査はレーザ光の照射をオフにした状態で行う例を説明したが、これに限定されず、試料に影響を与えない程度にレーザ光の強度を観察時の強度より十分に弱めた状態で、予備走査を行ってもよい。 As described above, by performing the pre-scan process with the laser beam irradiation turned off, the timing adjustment for correcting the error while avoiding the influence on the sample 13 (deterioration, fading, etc.) is performed. A value, an X offset value, and a Y offset value can be calculated. In the description of this embodiment, an example is described in which the preliminary scanning is performed with the laser beam irradiation turned off. However, the present invention is not limited to this, and the laser beam intensity is observed to the extent that the sample is not affected. The preliminary scanning may be performed in a state sufficiently weaker than the intensity of time.
次に、図7は、レーザ走査型顕微鏡11により行われる画像取得処理を説明するフローチャートである。
Next, FIG. 7 is a flowchart for explaining image acquisition processing performed by the
ステップS21において、演算処理回路31は、図6のステップS12で生成した駆動信号を使用するように、X走査軸駆動波形生成回路34およびY走査軸駆動波形生成回路35を制御する。
In step S21, the
ステップS22において、タイミング生成回路33は、タイミング調整値保持回路36に保持されているタイミング調整値を一定時間Tsに加算した時間で、駆動信号の周期が開始する基準時刻から遅れて水平サンプリング有効信号が有効となるように、タイミング信号を生成するように設定を行う。
In step S22, the
ステップS23において、X走査軸駆動波形生成回路34は、X走査軸駆動波形データを、Xオフセット値保持回路37に保持されているXオフセット値でオフセットすることによりX走査軸駆動波形信号を生成するように設定を行う。また、Y走査軸駆動波形生成回路35は、Y走査軸駆動波形データを、Yオフセット値保持回路38に保持されているYオフセット値でオフセットすることによりY走査軸駆動波形信号を生成するように設定を行う。
In step S <b> 23, the X scan axis drive
ステップS24において、X走査軸駆動波形生成回路34およびY走査軸駆動波形生成回路35が、タイミング生成回路33から供給される読み出しクロック信号に従ったタイミングでX走査軸駆動波形信号およびY走査軸駆動波形信号を生成して出力することで、レーザ光が走査される。また、タイミング生成回路33から出力される水平サンプリング有効信号に従って強度信号画像化回路27によるサンプリングが開始される。これにより、レーザ光の走査と、試料13の画像の取得が行われ、画像取得処理は終了される。
In step S24, the X scan axis drive
以上のように、予備走査処理により算出されたタイミング調整値、Xオフセット値、およびYオフセット値に基づいた補正を行って画像を取得するので、レーザ光の走査条件の変更に伴う誤差を抑制することができる。これにより、例えば、走査倍率の変更の前後における画像の中心位置がずれることが回避され、試料13の観察をよりスムーズに行うことができる。また、同一走査条件での走査に対するディレイ時間ΔDは、短時間では安定しているため、画像を取得するのに先立って、ディレイ時間ΔDを測定して、補正量を精密に調整することで、走査位置の安定化を図ることができる。
As described above, since an image is obtained by performing correction based on the timing adjustment value, X offset value, and Y offset value calculated by the preliminary scanning process, errors due to changes in the laser light scanning conditions are suppressed. be able to. Thereby, for example, it is avoided that the center position of the image before and after the change of the scanning magnification is shifted, and the
また、例えば、代表的な走査条件に対する応答遅れ時間を予め測定して補正値を記憶しておき、代表的な走査条件と異なる走査条件については、その走査条件に近い代表的な走査条件から補正値を推定することで誤差を抑制するような手法よりも、レーザ走査型顕微鏡11では、実際の測定条件と同一の条件で補正値を算出しているので、より精密に誤差を抑制することができる。
Further, for example, a response delay time with respect to a representative scanning condition is measured in advance and a correction value is stored, and for a scanning condition different from the representative scanning condition, correction is performed from the representative scanning condition close to the scanning condition. The
なお、本実施の形態においては、タイミング調整値とオフセット値とを併用して、誤差の補正を行っているが、タイミング調整値およびオフセット値どちらか一方だけを用いて誤差の補正を行ってもよい。例えば、時間調整制度と、D/A変換の直線性との兼ね合いから、誤差を高精度に抑制することが期待される方を選択することができる。また、オフセット値だけで誤差の補正を行うことにより、処理を単純化することができ、オフセット値だけの調整によっても、従来よりも誤差の発生を抑制することができる。 In this embodiment, the timing adjustment value and the offset value are used together to correct the error. However, the error correction may be performed using only the timing adjustment value or the offset value. Good. For example, from the balance between the time adjustment system and the linearity of the D / A conversion, it is possible to select the one expected to suppress the error with high accuracy. Further, by correcting the error only with the offset value, the processing can be simplified, and the occurrence of the error can be suppressed more than the conventional case by adjusting only the offset value.
また、例えば、所定の時間毎に画像の取得を間歇的に行うことを長時間繰り返すような(一般にタイムラプスと呼ばれる)観察を行う場合には、一定の期間が経過したときに予備走査処理を再度行うことで、より正確な測定を行うことができる。また、ある走査条件に対する遅れ時間が長期間に渡って安定していることが分かっている場合には、走査条件に対応付けてタイミング調整値およびオフセット値を記録しておき、同一の走査条件に対しては、記録されているタイミング調整値およびオフセット値を使用するようにすることで、観察に要する時間を短縮することができる。 In addition, for example, when performing observation such as intermittently acquiring images every predetermined time for a long time (generally referred to as time lapse), the preliminary scanning process is performed again after a certain period of time has elapsed. By performing, a more accurate measurement can be performed. If it is known that the delay time with respect to a certain scanning condition is stable for a long time, the timing adjustment value and the offset value are recorded in association with the scanning condition, and the same scanning condition is set. On the other hand, the time required for observation can be shortened by using the recorded timing adjustment value and offset value.
さらに、例えば、試料の希望箇所にレーザ光を照射して試料を刺激する観察を行う場合にも、レーザ光による刺激を行う際に走査条件が変更されるため、例えば、所定の走査倍率で得られた画像に対し、刺激する箇所を指定したとき、希望箇所からズレた箇所にレーザ光が照射されることがあった。このような観察を行う場合にも、レーザ光の刺激を行う走査条件で予備走査処理を行うことにより、走査条件の変更に伴う誤差の発生を抑制し、希望箇所に確実にレーザ光を照射して、所望の観察を行うことができる。 In addition, for example, when performing observation for irradiating a sample with a laser beam to stimulate the sample, the scanning condition is changed when performing stimulation with the laser beam. When a location to be stimulated is specified for the obtained image, a laser beam may be irradiated to a location that is shifted from the desired location. Even when performing such observations, pre-scan processing is performed under the scanning conditions that stimulate the laser beam, thereby suppressing the occurrence of errors associated with changes in the scanning conditions and irradiating the laser beam reliably to the desired location. Desired observations can be made.
なお、制御装置28により誤差の補正を自動的に行う他、例えば、計測されたディレイ時間をユーザに提示し、ユーザの判断により誤差を補正するようにしてもよい。また、本発明は、試料13から発せられる蛍光により画像が取得するような観察の他、例えば、レーザ光を試料13に照射した際の反射光により画像を取得するような観察にも適用することができる。
In addition to automatically correcting the error by the
なお、制御装置28は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ(例えば、EEPROM(Electronically Erasable and Programmable Read Only Memory))などを備えて構成されており、ROMまたはフラッシュメモリに記憶されているプログラムをRAMにロードして実行することで、レーザ走査型顕微鏡11の各部を制御する。なお、CPUが実行するプログラムは、あらかじめROMおよびフラッシュメモリに記憶されているものの他、適宜、フラッシュメモリにダウンロードして更新することができる。
The
また、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。 In addition, the processes described with reference to the flowcharts described above do not necessarily have to be processed in time series in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing). The program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
11 レーザ走査型顕微鏡, 12 ステージ, 13 試料, 14 光源, 15 集光レンズ, 16 光透過率可変手段, 17 ダイクロイックミラー, 18 X走査ミラー, 19 Y走査ミラー, 20 集光レンズ, 21 対物レンズ, 22 X軸走査手段, 23 Y軸走査手段, 24 駆動機構, 25 集光レンズ, 26 光検出器, 27 強度信号画像化回路, 28 制御装置, 31 演算処理回路, 32 位置信号検出回路, 33 タイミング生成回路, 34 X走査軸駆動波形生成回路, 35 Y走査軸駆動波形生成回路, 36 タイミング調整値保持回路, 37 Xオフセット値保持回路, 38 Yオフセット値保持回路, 39 X走査軸駆動回路, 40 X走査軸駆動回路 11 laser scanning microscope, 12 stage, 13 sample, 14 light source, 15 condenser lens, 16 light transmittance variable means, 17 dichroic mirror, 18 X scanning mirror, 19 Y scanning mirror, 20 condenser lens, 21 objective lens, 22 X-axis scanning means, 23 Y-axis scanning means, 24 drive mechanism, 25 condenser lens, 26 photodetector, 27 intensity signal imaging circuit, 28 control device, 31 arithmetic processing circuit, 32 position signal detection circuit, 33 timing Generation circuit, 34 X scan axis drive waveform generation circuit, 35 Y scan axis drive waveform generation circuit, 36 timing adjustment value holding circuit, 37 X offset value holding circuit, 38 Y offset value holding circuit, 39 X scan axis drive circuit, 40 X scan axis drive circuit
Claims (5)
所定の走査条件に基づいた駆動信号に従って、前記レーザ光を走査する走査手段と、
前記走査手段による走査位置に対応した位置信号を出力する位置出力手段と、
前記試料へのレーザ光の照射強度を調整する照射強度調整手段と、
前記照射強度調整手段により前記試料への前記レーザ光の照射を観察時の強度よりも抑制(停止も含む)させた状態で、前記走査手段に駆動信号を供給して前記走査手段を予備的に駆動させ、所定の時刻において前記位置信号を測定し、前記駆動信号に対して予め予測された前記位置信号の遅れ時間からのずれ時間を算出する演算手段と
を備えることを特徴とするレーザ走査型顕微鏡。 In a laser scanning microscope that observes the sample by scanning the laser beam irradiated on the sample,
Scanning means for scanning the laser beam in accordance with a driving signal based on a predetermined scanning condition;
Position output means for outputting a position signal corresponding to a scanning position by the scanning means;
Irradiation intensity adjusting means for adjusting the irradiation intensity of the laser beam to the sample;
In a state where the irradiation intensity adjusting means suppresses the irradiation of the laser beam to the sample from the intensity at the time of observation (including stoppage), a driving signal is supplied to the scanning means to preliminarily make the scanning means A laser scanning type, comprising: an operating means for driving, measuring the position signal at a predetermined time, and calculating a deviation time from the delay time of the position signal predicted in advance with respect to the drive signal. microscope.
前記予め予測された遅れ時間からのずれ時間に応じて、前記駆動信号をオフセットさせるオフセット値を算出し、
前記照射強度調整手段により前記試料へのレーザ光の照射を観察時の強度で行わせる状態で、前記オフセット値でオフセットされた前記駆動信号を前記走査手段に供給する
ことを特徴とする請求項1に記載のレーザ走査型顕微鏡。 The computing means is
Calculating an offset value for offsetting the drive signal in accordance with a deviation time from the previously predicted delay time;
2. The driving signal offset by the offset value is supplied to the scanning unit in a state where the irradiation intensity adjusting unit causes the sample to be irradiated with laser light at the intensity at the time of observation. The laser scanning microscope described in 1.
前記演算手段は、
前記予め予測された遅れ時間からのずれ時間に応じて、前記画像化手段によるサンプリングを開始するタイミングを調整するタイミング調整値を算出し、
前記照射強度調整手段により前記試料へのレーザ光の照射を観察時の強度で行わせる状態で、前記タイミング調整値で調整されたタイミングで、サンプリングの開始を指示する信号を前記画像化手段に供給する
ことを特徴とする請求項1に記載のレーザ走査型顕微鏡。 Further comprising an imaging means for obtaining an image signal by sampling an intensity signal corresponding to the intensity of observation light from the sample;
The computing means is
Calculating a timing adjustment value for adjusting a timing of starting sampling by the imaging unit according to a deviation time from the previously predicted delay time;
A signal instructing the start of sampling is supplied to the imaging means at a timing adjusted by the timing adjustment value in a state in which the irradiation intensity adjusting means irradiates the sample with laser light at the intensity at the time of observation. The laser scanning microscope according to claim 1.
前記演算手段は、
前記所定の時間調整単位の整数倍で前記画像化手段によるサンプリングを開始するタイミングを調整するとともに、前記所定の時間調整単位以下の前記遅れ時間からのずれ時間の残りに応じて、前記駆動信号をオフセットさせるオフセット値を算出し、
前記オフセット値でオフセットされた前記駆動信号を前記駆動手段に供給する
ことを特徴とする請求項3に記載のレーザ走査型顕微鏡。 The timing for starting sampling by the imaging means can be adjusted by an integral multiple of a predetermined time adjustment unit,
The computing means is
The timing for starting sampling by the imaging means is adjusted by an integer multiple of the predetermined time adjustment unit, and the drive signal is set according to the remainder of the deviation time from the delay time equal to or less than the predetermined time adjustment unit. Calculate the offset value to be offset,
The laser scanning microscope according to claim 3, wherein the driving signal offset by the offset value is supplied to the driving unit.
前記レーザ走査型顕微鏡は、
所定の走査条件に基づいた駆動信号に従って、前記レーザ光を走査する走査手段と、
前記走査手段による走査位置に対応した位置信号を出力する位置出力手段と、
前記試料へのレーザ光の照射を調整する照射強度調整手段と
を備え、
前記照射強度調整手段により前記試料への前記レーザ光の照射を観察時の強度よりも抑制(停止も含む)させた状態で、前記走査手段に駆動信号を供給して前記走査手段を予備的に駆動させ、所定の時刻のおいて前記位置信号を測定し、前記駆動信号に対して予め予測された前記位置信号の遅れ時間からのずれ時間を算出する
ステップを含むことを特徴とする制御方法。 In a control method of a laser scanning microscope for observing the sample by scanning a laser beam irradiated on the sample,
The laser scanning microscope is
Scanning means for scanning the laser beam in accordance with a driving signal based on a predetermined scanning condition;
Position output means for outputting a position signal corresponding to a scanning position by the scanning means;
An irradiation intensity adjusting means for adjusting irradiation of the laser beam to the sample, and
In a state where the irradiation intensity adjusting means suppresses the irradiation of the laser beam to the sample from the intensity at the time of observation (including stoppage), a driving signal is supplied to the scanning means to preliminarily make the scanning means A control method comprising: driving, measuring the position signal at a predetermined time, and calculating a deviation time from a delay time of the position signal predicted in advance with respect to the drive signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010017196A JP5581707B2 (en) | 2010-01-28 | 2010-01-28 | Control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010017196A JP5581707B2 (en) | 2010-01-28 | 2010-01-28 | Control method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011154312A true JP2011154312A (en) | 2011-08-11 |
JP2011154312A5 JP2011154312A5 (en) | 2013-04-04 |
JP5581707B2 JP5581707B2 (en) | 2014-09-03 |
Family
ID=44540308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010017196A Expired - Fee Related JP5581707B2 (en) | 2010-01-28 | 2010-01-28 | Control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5581707B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013188990A1 (en) * | 2012-06-20 | 2013-12-27 | Metrologic Instruments, Inc. | Laser scanning code symbol reading system providing control over length of laser scan line projected onto a scanned object using dynamic range-dependent scan angle control |
JP2015139528A (en) * | 2014-01-28 | 2015-08-03 | キヤノン株式会社 | Image generation apparatus and image generation method |
JPWO2014128864A1 (en) * | 2013-02-20 | 2017-02-02 | パイオニア株式会社 | Two-dimensional optical scanning device |
WO2021064863A1 (en) * | 2019-10-01 | 2021-04-08 | 富士通株式会社 | Laser sensor, mirror control method, and program |
CN114967109A (en) * | 2021-02-25 | 2022-08-30 | 成都理想境界科技有限公司 | Image correction method and optical fiber scanning imaging system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004212807A (en) * | 2003-01-07 | 2004-07-29 | Nikon Corp | Laser scanning microscope |
WO2008010311A1 (en) * | 2006-07-18 | 2008-01-24 | Nikon Corporation | Laser scanning apparatus and laser scanning microscope |
-
2010
- 2010-01-28 JP JP2010017196A patent/JP5581707B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004212807A (en) * | 2003-01-07 | 2004-07-29 | Nikon Corp | Laser scanning microscope |
WO2008010311A1 (en) * | 2006-07-18 | 2008-01-24 | Nikon Corporation | Laser scanning apparatus and laser scanning microscope |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013188990A1 (en) * | 2012-06-20 | 2013-12-27 | Metrologic Instruments, Inc. | Laser scanning code symbol reading system providing control over length of laser scan line projected onto a scanned object using dynamic range-dependent scan angle control |
US10049245B2 (en) | 2012-06-20 | 2018-08-14 | Metrologic Instruments, Inc. | Laser scanning code symbol reading system providing control over length of laser scan line projected onto a scanned object using dynamic range-dependent scan angle control |
JPWO2014128864A1 (en) * | 2013-02-20 | 2017-02-02 | パイオニア株式会社 | Two-dimensional optical scanning device |
JP2015139528A (en) * | 2014-01-28 | 2015-08-03 | キヤノン株式会社 | Image generation apparatus and image generation method |
WO2021064863A1 (en) * | 2019-10-01 | 2021-04-08 | 富士通株式会社 | Laser sensor, mirror control method, and program |
JP7283560B2 (en) | 2019-10-01 | 2023-05-30 | 富士通株式会社 | LASER SENSOR, MIRROR CONTROL METHOD, AND PROGRAM |
CN114967109A (en) * | 2021-02-25 | 2022-08-30 | 成都理想境界科技有限公司 | Image correction method and optical fiber scanning imaging system |
CN114967109B (en) * | 2021-02-25 | 2024-01-05 | 成都理想境界科技有限公司 | Image correction method and optical fiber scanning imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP5581707B2 (en) | 2014-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5581707B2 (en) | Control method | |
JP5858167B2 (en) | Shape measuring apparatus, structure manufacturing system, shape measuring method, structure manufacturing method, program, and recording medium | |
US10348954B2 (en) | Image acquisition device and method and system for creating focus map for specimen | |
JP5814709B2 (en) | Time-lapse observation method and time-lapse observation apparatus used therefor | |
US8069008B2 (en) | Depth measurement apparatus and depth measurement method | |
JP2007093988A (en) | Scanning laser microscope system and light quantity detector | |
JP5307418B2 (en) | Scanning laser microscope | |
JP2009145826A (en) | Scanning type microscope | |
US9835837B2 (en) | Method and apparatus for estimating an in-focus position | |
JP2005275199A (en) | Three-dimensional confocal microscopic system | |
JP2010019762A (en) | Method and apparatus for measuring surface profile | |
US9091861B2 (en) | Scanning microscope | |
WO2010143375A1 (en) | Microscope device and control program | |
TWI704023B (en) | Control device of laser processing machine, laser processing method and laser processing machine | |
JP5378187B2 (en) | Scanning microscope | |
JP5083325B2 (en) | Scanning laser microscope | |
JP4337346B2 (en) | Laser scanning microscope | |
JP2008046484A (en) | Automatic focus detecting device and method | |
JP2012073551A (en) | Scanning type microscope | |
JP2018521575A (en) | Multi-line detection method | |
JP2011186060A (en) | Laser scanning-type microscope and control method | |
JP6604514B2 (en) | Surface shape measuring apparatus and surface shape measuring method | |
JP7333744B2 (en) | Height measuring method and height measuring device | |
JP2005223563A (en) | Line sensor image reader | |
JP4819991B2 (en) | Method and apparatus for adjusting magnification of scanning optical microscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140617 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5581707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |