JP4007854B2 - Sampling clock generator - Google Patents

Sampling clock generator Download PDF

Info

Publication number
JP4007854B2
JP4007854B2 JP2002149227A JP2002149227A JP4007854B2 JP 4007854 B2 JP4007854 B2 JP 4007854B2 JP 2002149227 A JP2002149227 A JP 2002149227A JP 2002149227 A JP2002149227 A JP 2002149227A JP 4007854 B2 JP4007854 B2 JP 4007854B2
Authority
JP
Japan
Prior art keywords
scanning
sampling clock
signal
clock generator
speed information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002149227A
Other languages
Japanese (ja)
Other versions
JP2003344781A (en
Inventor
秀夫 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002149227A priority Critical patent/JP4007854B2/en
Publication of JP2003344781A publication Critical patent/JP2003344781A/en
Application granted granted Critical
Publication of JP4007854B2 publication Critical patent/JP4007854B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Manipulation Of Pulses (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、試料に光を走査して試料の情報を取得する光走査型サンプリングシステムに適用されるサンプリングクロック発生装置に関する。
【0002】
【従来の技術】
試料に光を走査させると共に走査に同期したサンプリングクロックを発生し、光検出器で検出される前記試料からの反射光や、蛍光又は透過光をサンプリングすることによって試料の情報を取得する光走査型サンプリングシステムとして、例えば走査型共焦点レーザ顕微鏡が知られている。
【0003】
走査型共焦点レーザ顕微鏡には、光走査のために主にガルバノスキャナや共振スキャナが用いられている。共振スキャナは、その動作原理から正弦波状にミラーが振動している。一方、ガルバノスキャナも画面の更新速度を早めるために正弦波状に駆動することがある。
【0004】
ミラーの角度が時間と共に正弦波状に変化すると、光走査による試料への光照射位置が時間と共に正弦波状に変化する。このように、光走査による試料への光照射位置が時間と共に正弦波状に変化する場合に、例えば、前記試料からの反射光、蛍光又は透過光を検出した光検出器の検出信号をシステムのタイミングを管理する水晶発振器などにより等しい時間間隔(一定の時間間隔)でサンプリングすると、図14(a)に示すように、試料上でのサンプリング位置が等間隔にならない。このため、画面の両端と中央で著しく歪みのある画像を取得することになってしまう。
【0005】
このような場合において、歪のない画像を得るためには、図14(b)に示すように、走査に合わせてサンプリングする時間を一定ではないような時間間隔(以下、「不等時間間隔」と称する)にすることで、最終的に得られる画像において試料上の位置関係(画素の位置関係)が等間隔になるようにすることが考えられる。
【0006】
上記のように、正弦波状の走査に合わせて不等時間間隔でサンプリングクロックを発生させる方法として、次のような提案がある。
【0007】
米国特許No.527,131号(特許第3121037号)では、正弦波状の速度信号パターンをROMに記憶させておき、スキャナの1周期に同期させてROMパターンを出力し、乗算型D/Aコンバータによって制御信号としてVCOに与え、VCO出力をサンプリングクロックとして得ている。ROMパターンはサンプリングクロックにより順次アドレスされ、その出力の1周期がスキャナ周期に合致するように乗算型D/Aコンバータでゲイン調整され、VCOは自身の生成するサンプリングクロックからF−Vコンバータを通してROMパターンとの偏差をフィードバックしている。
【0008】
特開平7−154544号公報では、スキャナの1周期にPLLにより同期した逓倍クロックを発生させて、これにより速度パターンの記憶されたROMをアドレスする。そして、ROMの出力を乗算器とD/Aコンバータにより制御信号に変換して、V−Fコンバータによりサンプリングクロックを得ている。なお、ROMパターン出力に対して乗算器で行われるゲイン調整は、ROMパターン(速度信号)を積分することで位置情報に変換し画像有効範囲長に合致するように行われる。
【0009】
特開2001―21829号公報では、上記と同様にスキャナの1周期にPLLにより同期した逓倍クロックを発生させて、これにより速度パターンの記憶されたROMをアドレスする。ROM出力の1周期がスキャナ周期に合致するように乗算型D/Aコンバータでゲイン調整され、制御信号としてVCOに与えることでサンプリングクロックが得られる。
【0010】
一方、ガルバノスキャナは位置の制御が可能であり、ガルバノスキャナを鋸歯状波で駆動する場合においては、図14(c)に示すように、その走査位置が時間的に等間隔に変化していく。従って、例えば前記試料の反射光、蛍光又は透過光を検出した光検出器の検出信号をシステムのタイミングを管理する水晶発振器などにより一定の時間間隔でサンプリングしても、試料上でのサンプリング位置が等間隔になるので直ちに画面内で著しく歪みのある画像を取得することにはならない。
【0011】
そのため、スキャナを駆動する鋸歯状波はその目標位置波形をメモリなどに記憶させ、システムのタイミングを管理する水晶発振器などにより順次データをデジタル−アナログ変換して駆動回路に供給し、同時にそのクロックでサンプリングする方式が一般的である。
【0012】
【発明が解決しようとする課題】
上記のように、正弦波駆動の場合には、いずれもROMに速度パターンをあらかじめ記憶させ、スキャナの1周期に同期するように動作させながら電圧制御発振手段によって不等時間間隔のサンプリングクロックを得ている。
【0013】
このような方法はスキャナの動作が理想的な正弦波状に動作していることを前提としており、かつ数学的な考察からパターンデータを生成している。しかし、実際にスキャナを装置内へ搭載して使用すると様々な誤差要因が重畳し、最終的に得られる画像の線形性は必ずしも最良の状態になるとは限らない。この歪みをデータの補正で相殺することも可能ではあるが、数千点に及ぶデータの一部を修正することになり長時間に亘る試行錯誤を要する。また、この作業でプログラムによってデータ生成を行うようにしたとしても、クロック発生装置の開発以外にその治具開発にも多大な苦労を強いられることとなる。
【0014】
米国特許No.527,131号(特許第3121037号)では、VCO部分でROMパターンとの比較によるフィードバック制御で精度向上を図っている。ところが、ROM側回路の遅延時間とF−Vコンバータ側回路の遅延時間が一致していないため、かえってサンプリングクロックの周波数変化に歪みが生じるおそれがある。
【0015】
特開平7−154544号公報も同様にVCOへ与える最低周波数と最高周波数の間の関係はROMパターンとして数学的に正弦波で規定されてしまっているので、そのROMパターンが装置内での様々な誤差要因を吸収する上での制限となってしまう可能性がある。そのため、画像の両端において歪みを取りきれないおそれが考えられる。
【0016】
特開2001―21829号公報においても、スキャナの動作に同期した信号入力によって後段でPLLをかけているものの、そもそもスキャナ周期に対する管理しかされていないことから、スキャナ振幅を変化させて光学的なズームをかけるとスキャナに対する同期信号の位相がずれて、回路全体の動作点がずれる可能性がある。この理由は、次のように考えられる。コンパレータで動作検出コイルの正弦波信号のゼロクロスを検出するので、ズームによってスキャナ振り角が小さくなると動作検出コイルの信号振幅も小さくなりゼロクロスの検出位置が遅れてくる。即ち、ズームを掛けると視野が右(画像が左)に移動する現象が発生する。そして、ROMに記憶されている速度パターンはスキャナ動作と位相遅れなく完全に合致していることを前提とするので、ズームによって位相ずれが生じると画像の歪み具合に変化が生じることになる。
【0017】
一方、ガルバノスキャナの鋸歯状波駆動においては、駆動波形入力にサーボをかけてスキャナの位置(姿勢)を管理しているが、スキャナの周波数応答に応じて駆動回路の調整を最適化しているので折り返し点での急激な入力変化に追従するには限界がある。そのため、整定するための時間を考慮すると、直線駆動していながらスキャナの1周期に対する画像化できる範囲の効率は走査速度の上昇に応じて劣化してくる。スキャナの応答する領域内で走査速度を上げていくと、画像化できる範囲が減少すると共に無効期間を大きく取ることになり、走査型共焦点レーザ顕微鏡において蛍光などを観察している場合は、試料の観察対象範囲以外の不必要な領域まで蛍光の退色を与える割合が多くなり、好ましい状態ではない。
【0018】
【発明が解決しようとする課題】
本発明の目的は、光走査型サンプリングシステムで画像劣化の無いサンプリングを行うために、走査手段の動作に忠実にサンプリング可能であり、画像の線形性を自動補正可能であり、ズームによる位相ずれを起こさない、走査手段の走査範囲を任意の有効画素数で有効に画像期間に割り当てることができるサンプリングクロック発生装置を提供することである。
【0019】
【課題を解決するための手段】
本発明は、上記の課題を解決するために次のような手段を講じた。
【0020】
本発明の一局面に係るサンプリングクロック発生装置は、試料に光を走査させ、この走査に同期したサンプリングクロックに基づいて光検出器で検出される前記試料からの光をサンプリングすることによって前記試料の情報を取得する光走査型サンプリングシステムに適用されるサンプリングクロック発生装置において、光源からの光を振動しながら反射または屈折して、前記試料に光を照射する走査手段と、前記走査手段の速度情報を得るための速度情報生成手段と、前記走査光の前記試料への照射からサンプリングクロック発生までの間の時間的遅延を吸収する移相手段と、前記速度情報を絶対値化して絶対値速度情報を生成する手段と、前記絶対値速度情報を所定の振幅に調整する第1の可変ゲイン手段と、前記走査手段の走査状況に関連した量でその振幅を補正する第2の可変ゲイン手段と、レベルを補正するオフセット調整手段と、前記補正された前記絶対値速度情報に対応する周波数のサンプリングクロックを生成する電圧制御発振手段と、前記走査手段の走査に対応するサンプリングクロック数と前記試料の画像化期間を管理する同期手段とを具備することを特徴とする。
【0021】
本発明の一局面によれば、走査手段から得られる速度情報を絶対値化し、電圧制御発振手段に与えることでサンプリングクロックを得る。このとき、走査手段の1周期中に所定数のサンプリングクロックが包含されるように速度情報の振幅調整を行うが、速度情報の形状をそのままクロック周波数制御に用いるため、周期だけでなく走査手段の動作パターンに常に追従しサンプリング位置ずれが生じない。一方で、画像線形性補正をかけるための周波数調整も可能であり、画像歪みの生じないサンプリングクロックが得られる。
【0022】
上記のサンプリングクロック発生装置の好ましい実施態様は以下のとおりである。なお、以下の各実施態様は、単独で適用しても良いし、適宜組み合わせて適用しても良い。
(1) 前記電圧制御発振手段に出力される前記制御信号は、前記速度情報生成手段で生成される前記走査手段の速度波形に基づくものであること。速度情報の形状をそのままクロック周波数制御に用いるため、正確に走査手段の動作パターンに常に追従しサンプリング位置ずれが生じない。
【0023】
(2) 前記第1及び第2の可変ゲイン手段及び前記オフセット調整手段に与えられる前記走査手段の走査状況に関連した補正は、前記走査手段の走査振幅によらず一定の振幅の前記速度情報を出力するようにしたものであって、前記電圧制御発振手段の出力であるサンプリングクロックを所定数カウントして、このカウント周期と前記走査手段からの走査周期との位相差を低減するように前記絶対速度情報の振幅を微調整するものであり、前記振幅調整とは別に前記電圧制御発振手段に与える前記絶対値速度情報のレベルを決定するものであること。スキャナの走査振幅(即ち光学ズーム)によらず一一定の振幅の速度情報を出力できるため、後に続く周期管理のための回路動作においてスキャナとの時間的動作点のずれが生じない。一方、スキャナの周期とサンプリングクロックの計数の周期が合致するように前記絶対値速度情報のゲインを微調整するが、これとは別に電圧制御発振手段に与える最低周波数を調節できるため、周期だけでなく画像線形性補正をかけることも可能であり、画像歪みの生じないサンプリングクロックが得られる。
【0024】
(3) 前記走査手段による前記試料上の走査位置を検出する走査位置検出手段と、画像の線形性を検出し補正する線形性補正手段とを更に具備すること。走査手段から得られる速度情報を絶対値化し、電圧制御発振手段に与えることでサンプリングクロックを得る。このとき、走査手段の1周期中に所定数のサンプリングクロックが包含されるように速度情報の振幅調整を行うが、速度情報の形状をそのままクロック周波数制御に用いるため、周期だけでなく走査手段の動作パターンに常に追従しサンプリング位置ずれが生じない。一方で、画像線形性補正をかけながら周波数調整も行い、画像歪みの生じないサンプリングクロックが得られる。
【0025】
(4) 前記線形性補正手段は、前記走査位置検出手段により得られる前記走査手段の走査位置を表す走査位置信号を、前記電圧制御発振手段にて生成されるサンプリングクロックのタイミングで取得し、n画素ごとの走査位置の変化量が一定になるように前記第2のゲイン可変手段における前記絶対値速度情報のレベルを決定するものであること。任意量離れたサンプリングポイントで実際の走査手段の変位量を確認しながら常に電圧制御発振手段に与える最低周波数を調節できるため、画像線形性補正をかけながらサンプリングクロックが生成される。
【0026】
(5) 速度情報生成手段は、前記走査手段の少なくとも1つの速度情報を生成し、前記生成された少なくとも1つの速度情報を選択する選択手段を更に具備すること。サンプリングクロックを発生させるための回路に入力する速度情報に精度とコストを考慮した適当な組み合わせを実現できる。
【0027】
(6) 前記同期手段は、前記電圧制御発振手段から出力された前記サンプリングクロックに基づいて画像化有効の開始点と期間を決定するものであること。走査手段の走査開始点から画像期間の開始点までのクロック数と画像の有効画素数とから走査手段の1周期中に含まれるサンプリングクロック数が決定されるので、走査手段の走査範囲に対して任意の有効画素数を効率的に画像期間として割り当てることができる。
【0028】
【発明の実施の形態】
図面を参照して本発明の実施の形態を説明する。
【0029】
(第1の実施形態)
図1は、本発明の第1の実施形態に係るサンプリングクロック発生装置が適用される走査型共焦点レーザ顕微鏡のブロック図である。本実施形態に係るサンプリングクロック発生装置が適用される走査型共焦点レーザ顕微鏡の顕微鏡本体1は次のように構成されている。
【0030】
レーザ光源6からは、試料11の焦点面(表面)を走査するスポット光としてのレーザ光が出射される。レーザ光源6から出射されたレーザ光は、ミラー7に導かれ、このミラー7で反射されたレーザ光は、ハーフミラー8を透過して、2次元走査機構5に導かれる。2次元走査機構5は、ミラー7を介して得たレーザ光源6からのレーザ光を2次元走査するための機構であって、次のような構成を有している。2次元走査機構5は、2次元走査駆動制御回路4の制御下において、レーザ光をXY走査する。例えば、2次元走査機構5は、X軸方向走査用の共振スキャナとY軸方向走査用のガルバノスキャナとを有しており、これらのスキャナのミラーをそれぞれX軸方向、Y軸方向に振る(振動させる)ことによって、対物レンズ10に対するレーザ光の光路をXY方向に振らせることができる。
【0031】
レボルバ9には、倍率の異なる複数の対物レンズ10が保持されており、レボルバ9の切り替えにより、複数の対物レンズ10の中で所望の倍率を持つ対物レンズ10を顕微鏡の観察光路中に配置することができる。また、レボルバ9は、Z軸駆動制御回路16により光軸方向(上下方向)に移動させることができるようになっている。2次元走査機構5からのレーザ光が、光軸上に配置された対物レンズ10を介してステージ12上の試料11を2次元走査しながら照射する。なお、ステージ12は、試料11を載置するために使用される。
【0032】
試料11からの反射光は、入射光とは逆の経路で、対物レンズ10及び2次元走査機構5を介してハーフミラー8へ至る。ハーフミラー8に入射した反射光は、ハーフミラー8で反射されて検出系に導かれる。検出系は、レンズ13と、ピンホール板14と、光検出器15とからなる。レンズ13は、ハーフミラー8を介して得られた2次元走査機構5からの反射光を集光する。ピンホール板14は、所要の径のピンホールを有し、光検出器15の受光面の前面におけるレンズ13の焦点位置にそのピンホールがくるように配置される。光検出器15は、ピンホールを介して得られる光を、その光量に対応する電気信号に変換する光検出素子である。
【0033】
なお、光検出器15、2次元走査駆動制御回路4、Z軸駆動制御回路16は、それぞれ顕微鏡入出力回路17に接続されている。顕微鏡入出力回路17は、共焦点走査型レーザ顕微鏡の顕微鏡本体1と外部機器(本実施形態では、コンピュータ2)とについてデータ(信号)の授受を行う。すなわち、顕微鏡入出力回路17は、光検出器15で光電変換された信号を2次元走査駆動制御回路4からのタイミング信号と共にコンピュータ2へ送り、また、コンピュータ2からの各種制御信号を2次元走査駆動制御回路4、Z軸駆動制御回路16、その他図示しない顕微鏡内部機能などへ送る機能を有している。
【0034】
コンピュータ2は、制御回路18と画像入力回路19を備えている。制御回路18は、図示しない入力手段でオペレータによって入力された命令を、コンピュータ2が適切に実行するように制御する。画像入力回路19は、光検出器15で光電変換された信号と2次元走査駆動制御回路4からのタイミング信号を入力する。コンピュータ2はこれらの入力信号に基づいて、モニタ3に光検出器15で検出した画像を表示することで試料11の表面情報を得ることができる。
【0035】
第1の実施形態におけるサンプリングクロック発生装置は、上記の走査型共焦点レーザ顕微鏡において、2次元走査機構5と2次元走査駆動制御回路4の一部(X軸方向走査用の共振スキャナとタイミング信号の生成部)を構成し、例えば、図2に示すような構成を備えている。
【0036】
共振スキャナ21は駆動回路22からの信号により正弦波状にミラーを振動させる。駆動回路22は共振スキャナ21に内蔵される速度ピックアップコイルによるミラーの速度信号に基づいて自励発振し、フィードバック制御により、その駆動振幅が制御される。
【0037】
速度入力選択回路23は、駆動回路22からの出力信号の種類(例えば、駆動回路22は、速度信号を出力するのではなく、位置信号や同期信号を出力する場合もあり)に応じて自由に本実施形態に係るサンプリングクロック発生装置への入力を選ぶための回路であって、この速度入力選択回路23によって、サンプリングクロック発生装置を走査手段や駆動回路によらず使用できる。例えば、駆動回路22から位置信号が出力される場合には、その信号を速度信号に変換すれば良い。本実施形態では、駆動回路22から、例えば、ピックアップコイル信号(センス信号:Sens)とその方向を示す信号(SYNC)が与えられている。これらの信号の関係を図3(a)に示す。図3(b)は、速度入力選択回路23の回路例を示す図である。図3(b)に示す速度入力選択回路23は、バンドパスフィルタ33(BPF)と、マルチプレクサ34とを備えている。バンドパスフィルタ33は、共振スキャナ21の共振周波数に中心周波数を有する。これにより、SYNC信号が通過すると正弦波状の信号が生成される。そして、マルチプレクサ34で選択された信号は、速度信号(Velocity)として出力される。そして、移相回路60によって、前記走査光の前記試料への照射からサンプリングクロック発生までの時間(すなわち、時間遅延)を吸収する。その後、AGC回路24で所定の振幅に調節されて、絶対値回路25と比較器26に入力される。
【0038】
比較器26は、Velocity信号のゼロクロス位置(+と−が入れ替わる位置)でHレベルとLレベルとが切り替わるCYCLE信号を生成する。絶対値回路25を通ったVelocity信号は可変ゲインアンプ27でゲイン調節され、バイアス回路28によって与えられるオフセット電圧が加算器61で加算された後に、Control信号として電圧制御発振器29(以下、「VCO」と称する)に与えられる。VCO29は、サンプリングクロック(以下、「SCLK」と称する)を出力する。同期回路30は、VCOからのSCLKを入力して、画像有効期間信号(以下、「DE」と称する)とタイミング信号(以下、「CLR」と称する)を生成する。
【0039】
位相比較器31は、CYCLE信号とCLRを入力して、それらの位相を比較して、その位相差に応じた出力信号をローパスフィルタ32(以下、「LPF」と称する)に出力する。ローパスフィルタ32を通過した信号は、可変ゲインアンプ27のゲイン制御信号(gain)となる。
【0040】
上記のように構成された第1の実施形態に係るサンプリングクロック発生装置の動作を、図2から図5を参照して説明する。
【0041】
まず、駆動回路22によって共振スキャナ21が動作を開始すると、図4(a)に示すように、ミラー位置は正弦波状の振動軌跡になる。そして、この場合には、ミラー位置(図4(a))、Sens信号(図4(b))、SYNC信号(図4(c))は、図示のような関係になっている。ここで、速度入力選択回路23において、サンプリングの精度を高めるためにSens信号を図示しない設定手段によって選択したとする。Sens信号はマルチプレクサ34によってVelocity信号(図4(d))として出力される。
【0042】
続いて、速度入力選択回路23から出力されたVelocity信号が移相回路60に入力される。サンプリングクロック発生には、回路の時間的遅延があるので、共振スキャナ21が指示した位置に即座に対応して出力されず、実際にサンプリングされた画像は本来希望する位置よりずれた位置になってしまう。不等間隔のサンプリングクロックが出力されるため、このずれは画像の歪みを生じさせる。そのため、移相回路60は、この時間的遅延を吸収し、光照射位置とサンプリングクロック発生が揃うようにVelocity信号の位相を調整する。このように位相が調整されたVelocity信号は、AGC回路24に入力されて、共振スキャナ21の光学ズームに伴うVelocity信号の振幅変化を相殺して常に一定の振幅の信号となるように調整される。次に、Velocity信号は、絶対値回路25を通過することで図4(e)に示すように正の振幅のみを有する信号に変換され、一方、比較器26に入力したVelocity信号は、比較器26でゼロレベルと比較されて(すなわち、Velocity信号の正負が判定されて)、図4(f)に示すCYCLE信号となる。Velocity信号が、先のAGC回路24で一定振幅に調整されているので、ズームによるゼロクロス点を横切る傾斜角が変化しないのでCYCLE信号に位相ずれが生じない。
【0043】
絶対値回路25で絶対値化されたVelocity信号は可変ゲインアンプ27でゲイン調節され、バイアス回路28から出力された所定のオフセット電圧が加算器61で加算された後に、Control信号(図4(g))としてVCO29に与えられる。VCO出力がSCLK(図4(h))となる。
【0044】
この場合において、可変ゲインアンプ27によるゲイン調整は、以下に詳述するようなフィードバック制御により行なわれる。
図5に示すように画像の有効期間NENを1024画素とし、走査に対する画像化効率95%とすると、共振スキャナ21の1周期に対し全クロック数は2156、前側無効期間Nは27画素、後側無効期間N(=N)は27画素となる。これを図示しない入力手段によって同期回路30へ設定すると、同期回路30はVCO29から出力されたSCLKを、上記の所定数(=2156)だけ計数しながら、DEとCLRを出力する。
【0045】
位相比較器31は前記CYCLE信号(図4(f))とCLR(図4(i))との位相を比較し、その位相差に応じた誤差信号を出力する(図4(j))。この誤差信号をLPF32で平滑化することでgain信号(図4(k))を得て、可変ゲインアンプ27のゲインが調節される。
【0046】
バイアス回路28から出力されるVelocity信号の直流レベルは、最終的に画像の線形性が最良になるようなレベルに調整されるが、このレベルはVCO29の出力の最低周波数を決定している。そして、VCO29ではこの周波数を基準にVelocity信号の形状に応じてSCLKの周波数が上昇及び下降する。例えば、ゲインが高めでVelocity信号の電圧差が大きく与えられている場合には、SCLKの周波数が高めになる。このため、共振スキャナ21の走査1周期に対し、2156個のSCLK計数時間の方が速くなる。逆に、ゲインが低めでVelocity信号の電圧差が小さく与えられている場合には、SCLKの周波数が低めになる。このため、2156個のSCLKの計数時間の方が遅くなる。このように、位相比較器31は、CYCLE信号とCLRとのずれが無くなるようにgain信号を常に制御している。
【0047】
従って、上記のような制御により、共振スキャナ21の1周期に対しVelocity信号の形状に応じて加減速する2156個のSCLKが出る時間が一致するように、VCO29へ与えられるVelocity信号の振幅が調整されることになる。最終的にVCO29の出力であるSCLKは共振スキャナ21の速度波形を反映した周波数変化を伴うクロックとなり、ミラー位置の変化量が等間隔となる位置及び時間でサンプリングクロックが発生することになる。
【0048】
以上に説明したように、VCO29から出力されるSCLKの周波数変化は、共振スキャナ21の速度波形そのものから生成されているので、周期内の加減速変化も直接反映していることになる。このため、本実施形態によれば、近似波形では得ることのできない変動まで吸収することができる。即ち、本実施形態による構成では、サンプリング位置ずれが起きないことを意味する。また、AGC回路24により、位相比較の基準になるCYCLE信号はズームによる共振スキャナ21の動作との位相ずれが生じないので、ズームの有無に関わらず常に安定したサンプリングクロックが得られる。
【0049】
上記の第1の実施形態では、往復サンプリングを例に取って説明したが、同期回路30における有効画素期間信号の半周期側をマスクすれば片側サンプリングももちろん可能である。加えて、更に画像期間、有効画素数も可変、特にスキャナの動作の数学的近似などの考察をしなくても条件設定が可能である
(第2の実施形態)
第2の実施形態に係るサンプリングクロック発生装置の概略構成を、図6に示す。図6において、図1と同じ部分には、同じ符号を付し、詳細な説明を省略する。第2の実施形態においては、共振スキャナ21のミラー位置を直接検出できるようにするために、レーザ光源35から出力されてミラー21で反射されたレーザ光は位置検出素子37(以下「PSD」と称する)で検出される。なお、レーザ光源35は、例えば、図1のレーザ光源6と同じものであって、走査型共焦点レーザ顕微鏡内のレーザ光をX走査用共振スキャナの後で光学的に分岐したものであっても良いし、別途、共振スキャナ21のミラー位置を直接検出するために設けられた半導体レーザなどであっても良い。PSD37の出力はアンプ38で増幅されて、共振スキャナ21のミラー位置に対応した正弦波状の位置信号として出力される。移相回路60は、第1の実施形態と同様に、走査光の試料の照射からサンプリングクロック発生までの遅延を吸収する。
【0050】
速度入力選択回路36は、第1の実施形態と同様に自由に本発明のサンプリングクロック発生装置への入力を選べるようにしたものであり、走査手段や駆動回路によらず、本発明の第2の実施形態に係るサンプリングクロックが走査型共焦点レーザ顕微鏡に適用できるように設けられたものである。本実施形態では、共振スキャナ21のミラー位置を示すPosition信号と、駆動回路22から出力されたピックアップコイル信号(Sens)及びその方向を示す信号(SYNC)が与えられている。これらの信号の関係を図7(a)に示す。図7(b)は、速度入力選択回路36の構成の一例であり、SYNC信号は共振スキャナ21の共振周波数に中心周波数をもつバンドパスフィルタ43を通過し、Position信号は微分回路44を通過する。バンドパスフィルタ43と微分回路44は、それぞれ正弦波状の信号を生成し、マルチプレクサ45で選択された信号が速度信号(Velocity)として出力される。
【0051】
位相比較器42は、その動作が安定すると、線形性補正回路41への通知信号としてLOCK信号を出力する。
【0052】
一方、共振スキャナ21のPosition信号はAGC回路39で適当な振幅に調節された後に、A/D変換器40によりデジタルデータに変換され線形性補正回路41に与えられる。線形性補正回路41は、SCLK、DE、LOCKの各信号からA/D変換のタイミング信号Convertを生成して、それらをA/D変換器40へ出力する。線形性補正回路41は、VCO29へ与えるControl信号をオフセットさせるOFFSET信号を発生する。例えば、線形性補正回路41は、図8に示すように、分周器46と、メモリ47と、CPU48と、D/A変換器49と、スイッチ50と、固定バイアス51からなっている。ここで、D/A変換器49の初期値は固定バイアス51のレベルと同じ値が設定されているものとする。VCO29へ与えられるControl信号のオフセット量はスイッチ50によって固定値からD/A変換器49の発生するOFFSET信号へ切り換えられるようになっている。スイッチ50は位相比較器42からのLOCK信号に従って動作する。
【0053】
上記のような構成において、本第2の実施形態において、サンプリングの精度を最も高めるために速度入力選択回路36においてPosition信号を図示しない設定手段によって選択したものとして説明する。Position信号は図7(b)に示す微分回路44によってVelocity信号に変換され、出力される。
【0054】
これ以降のSCLK発生の基本的な動作は第1の実施形態と同様であり、これにより安定なサンプリングクロックが得られる。しかし、走査型共焦点レーザ顕微鏡などに共振スキャナ21が搭載されると様々な誤差要因が重畳し、最終的に得られる画像の線形性は必ずしも最良の状態になるとは限らない。これは、共振スキャナ21の1周期に対し、所定数のクロックが出る時間が一致していても、特にX方向の画面内位置で図9に示すような非線型性が残る場合があるからである。すなわち、基準スケールなどを観察したとき、スケール上を走査するレーザ光の画面両端部と中央部での実際の速度比とVelocity信号における画面両端部と中央部での速度比とが、光学系や回路の歪みなどで完全に一致していない状態が起こり得る。
【0055】
例えば、図9(a)は画面両端の寸法が中央に比べて広がって見える場合であって、走査に対して両端部でクロックが速すぎで、中央部で遅すぎの状態である。図9(b)はこの逆の場合であって、画面両端の寸法が中央に比べて縮んで見える場合で、走査に対して両端部でクロックが遅すぎで、中央部で速すぎの状態である。
【0056】
以下、第2の実施形態における上記のような歪に対する補正作用を説明する。位相比較器42において位相比較が定常状態に入り、共振スキャナ21の動作にSCLKの発生タイミングが一致すると、位相比較器42から、その通知(LOCK信号)を受けた線形性補正回路41はその補正動作を開始する。すなわち、共振スキャナ21のミラー位置に対応した正弦波状のPosition信号はAGC回路39で適当な振幅に調節された後に、A/D変換器40によりデジタルデータに変換され線形性補正回路41に与えられる。この変換タイミングは画像有効期間中のn画素おきのSCLKのタイミングとする。ここではn=4とする。分周器46は図示しない設定手段によってこのn=4が設定されると、DE中のSCLKを分周し、4画素に1回Convert信号としてA/D変換器40に変換パルスを送出し、その瞬間のPosition信号(共振スキャナ21のミラー位置)データがA/D変換器40から出力されてメモリ47に蓄積される。A/D変換器40でのサンプリングによって得られる共振スキャナ21の位置データは、本来のSCLKの生成目的から考えると一定の値で増加(または減少)するデータとなるはずである。これは、スキャナの走査位置が時間的に不等時間間隔に変化していくので等間隔位置でサンプリングされるように時間間隔が不等なSCLKを生成したからである。
【0057】
1ラインの有効画素数を1024画素とすると、CPU48は共振スキャナ21の1ライン分の走査で256個の位置データをメモリ47から得ることになる。このサンプリングされた位置データ間の変化量は取得順に見ると、図9(a)や図9(b)のようなサンプリングの線形性を反映していることになる。
【0058】
ここで、例えば、図9(a)に示すように画面両端部の寸法が伸びて見えるようなサンプリング状態であった場合を考慮する。この場合には、位置データの変化量が両端部で小さく、中央部で大きいような位置データ群が得られているはずである。このことは、例えば、位相比較器42からのLOCK信号を受けてスイッチ50が切り替わる前に固定バイアス51によって与えられているVCO29のControl信号の直流分が大きくて、全体的にSCLKの周波数が高めに動作していることを意味する。それでも共振スキャナ21の1周期と所定数(第1の実施形態と同じとすると2156個)のSCLKが出る時間は合致しているので、周期でのつじつまが合うように可変ゲインアンプ27でのゲイン設定が低めに設定されており、SCLKの周波数変調比が小さくなっている状態で安定していることになる。これは、走査に対して両端部でクロックが速すぎで、中央部で遅すぎるという状態である。
【0059】
続いて、CPU48は得られたデータ群から線形性を判断し、これに関連する補正値をD/A変換器49に設定することで、VCO29のControl信号をオフセットするOFFSET信号を発生する。この場合には、上述の理由からCPU48はVCO29のControl信号のオフセットを下げなくてはならない。CPU48は固定バイアス51のレベルよりも低くなる補正値をD/A変換器49に設定する。これにより、VCO29のControl信号のレベルが下がる。VCO29のControl信号のレベルが下がるとVCO29の動作点が変わり、全体的にSCLKの周波数が低くなって出力される。この場合には、画像両端部でのクロックが遅くなるように作用している。そのままでは1周期のクロック数が減ってしまうので、2156個のSCLKがカウントされるようにゲインループの働きでVelocity信号に与えるゲインが上がり、中央部のクロック周波数比が高くなる。本実施形態では、線形性補正回路41でのサンプリングによって、走査するレーザ光の画面両端部と中央部での実際の速度比とサンプリングクロックにおける画面両端部と中央部での周波数比とが一致するまでループが回り、図9(c)にように最終的に線形性が向上する。但し、Velocity信号のオフセットを変化させることでゲインループの動作点を変化させているので、線形性補正ループ時定数をゲインループ時定数より十分下げておく必要がある。
【0060】
なお、線形性が図9(b)のような分布を示している場合は、上記の説明と反対にオフセットを上げる方向へ補正が働くことにより、図9(c)のように線形性が向上する。
【0061】
以上に説明したように、第2の実施形態によれば、第1の実施形態と同様に、サンプリング位置ずれが起きず、ズームに関わらず常に安定したサンプリングクロックが得られることに加えて、実際の共振スキャナ21の走査位置をサンプリングクロックのタイミングで検出し、その変化率からVCO29で生成されるサンプリングクロックの周波数変調比を調節するようにしたので、得られる画像の線形性をも補正可能としている。ここでは位置データの取得を4画素おきに行う例で説明したが、もちろんこれ以外の画素数おきに取得しても問題ない。
【0062】
また、第1の実施形態と同様に、同期回路30における有効画素期間信号の半周期側をマスクすれば片側サンプリングももちろん可能であり、更に画像期間、有効画素数も可変、特にスキャナの動作の数学的近似などの考察をしなくても条件設定が可能である。
【0063】
(第3の実施形態)
第3の実施形態に係るサンプリングクロック発生装置の概略構成を、図10に示す。図10において、図1又は図6と同じ部分には、同じ符号を付し、詳細な説明を省略する。図10において、X軸方向走査用のスキャナにはガルバノスキャナ52を使用したものとしている。ガルバノスキャナ52は通常その内部に位置検出用のセンサを内蔵しているので、そのPosition信号が直接得られる。駆動回路53はガルバノスキャナ52に内蔵された位置センサによりフィードバック制御で位置の指示入力に追従するようガルバノスキャナ52の動作を制御する。移相回路60は、第1の実施形態と同様に、走査光の試料の照射からサンプリングクロック発生までの遅延を吸収する。
【0064】
微分回路54は、Position信号を微分し、Velocity信号に変換する。Velocity信号は、AGC回路24へ入力されて所定の振幅に調節され、絶対値回路25と比較器26に入力する。比較器26は、Velocity信号のゼロクロス位置でHレベルとLレベルとが切り替わるCYCLE信号を生成する。絶対値回路25で絶対値化されたVelocity信号は可変ゲインアンプ27でゲイン調節されて、線形性補正回路41から出力されるオフセット電圧が加算器61で加算された後に、Control信号としてVCO29に与えられる。そして、VCO出力がサンプリングクロック(SCLK)となる。
【0065】
同期回路55はSCLKを入力して、画像有効期間信号(DE)とタイミング信号(CLR)を生成する。
【0066】
位相比較器42は、CYCLE信号とCLRの位相を比較し、その位相差に応じた信号を出力する。位相比較器42からの出力信号はローパスフィルタ32を通過して可変ゲインアンプ27のゲイン制御信号(gain)となる。また、位相比較器42はその動作が安定すると、線形性補正回路41へ通知信号としてのLOCK信号を生成する。
【0067】
一方、ガルバノスキャナ52のPosition信号はAGC回路39で適当な振幅に調節された後に、A/D変換器40によりデジタルデータに変換されて線形性補正回路41に与えられる。第2の実施形態と同様に、線形性補正回路41は、SCLK、DE、LOCKの各信号からA/D変換のタイミング信号Convertを生成して、それらをA/D変換器40へ出力する。線形性補正回路41は、VCO29へ与えるControl信号をオフセットさせるOFFSET信号を発生する。なお、線形性補正回路41の構成は、第2の実施形態と同様で良い。
【0068】
続いて以上のように構成された本発明の動作を説明する。ガルバノスキャナ52の駆動回路53に鋸歯状波を与えるとガルバノスキャナ52が動作を開始し、ガルバノスキャナ52は図11(a)の鋸歯状波状の振動軌跡で動作する。そのため、位置の変化は時間に対して等間隔であり、図11(b)のようなVelocity信号が得られる。
【0069】
続いて、Velocity信号はAGC回路24に入力され、ガルバノスキャナ52の光学ズームに伴うVelocity信号の振幅変化を相殺して常に一定の振幅の信号となるように調整される。次に、Velocity信号は、絶対値回路25を通過することで図11(c)に示すように正の振幅のみを有する信号に変換される。一方、比較器26に入力したVelocity信号は、比較器26でゼロレベルと比較されて(すなわち、Velocity信号の正負が判定されて)、図11(d)に示すCYCLE信号となる。このCYCLE信号は、先のAGC回路24で一定振幅に調整されているので、ズームによってゼロクロス点を横切る傾斜角が変化しないのでCYCLE信号に位相ずれが生じない。
【0070】
絶対値回路25を通ったVelocity信号は可変ゲインアンプ27でゲイン調節され、線形性補正回路41によって適当なオフセット電圧を加算された後に、Control信号(図11(e))としてVCO29に与えられる。VCOの出力がSCLK(図11(f))となる。
【0071】
第3の実施形態では、位置信号が鋸歯状波駆動であるのでVelocity信号は走査の期間中ある一定レベルを示し、動作が急峻な帰線期間ではそれよりも大きなレベルを示す。ところがガルバノスキャナ52の帯域は有限であるので波形の折り返し点では応答できず、画像両端部分に対応するVelocity信号に曲線部分が発生する。ガルバノスキャナ52の個別の帯域ばらつきなども考慮しながら従来の一般的なサンプリング回路においてはこの曲線部分を避けて画像化するため、どうしても走査範囲に対する画像化期間の割合が限定される。しかし、本実施形態ではVCO29によってSCLKのタイミングが調節されるので特に気にする必要がない。
【0072】
そして、可変ゲインアンプ27によるゲイン調整は、以下に詳述するようなフィードバック制御により行なわれる。
図12に示すように画像の有効期間NENを1024画素とし、走査に対する画像化効率95%(従来は、80%以下である)とする。帰線期間の速度を画像取得する方向の走査速度の4倍となるように鋸歯状波形が作られているとすると、ガルバノスキャナ52の1周期に対し全クロック数は1348、前側無効期間Nは27画素、後側無効期間N(=N)は27画素、帰線期間Nは270画素となる。これを図示しない入力手段によって同期回路55へ設定すると、同期回路55はVCO29によって得られたSCLKを上記の所定数だけ計数しながら、DEとCLRを出力する。位相比較器42は前記CYCLE信号(図11(d))とCLR(図11(g))を位相比較し、その差に応じた誤差信号を出力する。(図11(h))これをLPF32で平滑化することでgain信号(図11(i))を得て、可変ゲインアンプ27のゲインが調節される。これにより、ガルバノスキャナ52の1周期に対し、Velocity信号の形状に応じて加減速する1348個のSCLKが出る時間が一致するように、VCO29へ与えられるVelocity信号の振幅が調整されることになる。
【0073】
ところで、第2の実施形態で説明したように、ゲインループ安定直後に固定バイアス51で与えられるオフセット量が適切でない場合は、やはり画像の線形性は完全にならない。Velocity信号がガルバノスキャナ52の周期に渡ってほぼ一定レベルであるので、第2の実施形態の場合とは異なり、線形性の分布は図13(a)や図13(b)のような画像両端部、つまりVelocity信号の曲線部分でのみ少々劣化することが考えられる。しかし、このような問題点も第2の実施形態と同様に、線形性補正回路41によって自動的に図13(c)に示すように解消される。
【0074】
以上に説明したように、本実施形態においては、VCO29で生成されるSCLKの周波数変化は、ガルバノスキャナ52の速度波形そのものから作られており、周期内の加減速変化も直接反映しているのでサンプリング位置ずれが起きない。また、従来では画像化出来ない波形の折り返し点近傍まで効率良く利用できることになる。即ち、試料への無駄な範囲のレーザ照射も抑えられることを意味する。また、前述したAGC回路24の作用のため、位相比較の基準になるCYCLE信号はズームによってガルバノスキャナ52の動作との位相ずれが生じないので、ズームに関わらず常に安定したサンプリングクロックが得られる。
【0075】
更に、実際のガルバノスキャナ52の走査位置をサンプリングクロックのタイミングで検出し、その変化率からVCO29で生成されたサンプリングクロックの周波数変調比を調節するようにしたので、得られる画像の線形性をも補正可能としている。
【0076】
また、三角波を使うことで両側サンプリングももちろん可能であり、更に画像期間、有効画素数も可変、特にスキャナの動作の数学的近似などの考察をしなくても条件設定が可能である。
【0077】
本発明は、上記の発明の実施の形態に限定されるものではない。本発明の要旨を変更しない範囲で種々変形して実施できるのは勿論である。
【0078】
【発明の効果】
本発明の各実施形態によれば、試料に光を走査させると共に走査に同期したサンプリングクロックを発生し、光検出器で検出される前記試料の反射光、蛍光又は透過光をサンプリングすることによって試料の情報を取得する光走査型サンプリングシステムに適用されるサンプリングクロック発生装置において、本実施形態で得られる全ての効果ではないが、例えば、下記のような効果が得られる。
(1) 走査手段の動作パターンに常に追従しサンプリング位置ずれが生じない。
(2) 走査手段における光学ズームによる位相ずれも起きない。
(3) スキャナの走査範囲に対して任意の有効画素数を効率的に画像期間に割り当てることができる。
(4) 画像歪みが生じない。
(5) サンプリングクロック発生回路に与える速度情報に精度とコストを考慮した適当な組み合わせが選択できる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態を搭載する走査型共焦点レーザ顕微鏡の構成図。
【図2】 本発明の第1の実施形態の構成図。
【図3】 第1の実施形態に使用される速度入力選択回路の説明図。
【図4】 第1の実施形態の動作を説明するためのタイミング図。
【図5】 第1の実施形態の走査と画像化期間の対応を示した図。
【図6】 本発明の第2実施形態の構成図。
【図7】 第2実施形態に使用される速度入力選択回路の説明図。
【図8】 第2実施形態に使用される線形性補正回路の構成図。
【図9】 第2実施形態での画像に残る非線形性を示した図。
【図10】 本発明の第3実施形態の構成図。
【図11】 第3実施形態の動作を説明するためのタイミング図。
【図12】 第3実施形態の走査と画像化期間の対応を示した図。
【図13】 第3実施形態での画像に残る非線形性を示した図。
【図14】 走査位置とサンプリングクロックのタイミングの説明図。
【符号の説明】
1…顕微鏡本体
2…コンピュータ
3…モニタ
4…2次元走査駆動制御回路
5…2次元走査機構
6…レーザ光源
7…ミラー
8…ハーフミラー
9…レボルバ
10…対物レンズ
11…試料
12…ステージ
13…レンズ
14…ピンホール板
15…光検出器
16…Z軸駆動制御回路
17…顕微鏡入出力回路
18…制御回路
19…画像入力回路
21…共振スキャナ
22…駆動回路
23…速度入力選択回路
24…AGC回路
25…絶対値回路
26…比較器
27…可変ゲインアンプ
28…バイアス回路
29…電圧制御発振器(VCO)
30…同期回路
31…位相比較器
32…ローパスフィルタ(LPF)
33…バンドパスフィルタ
34…マルチプレクサ
35…レーザ光源
36…速度入力選択回路
37…位置検出素子(PSD)
38…アンプ
39…AGC回路
40…A/D変換器
41…線形性補正回路
42…位相比較器
43…バンドパスフィルタ
44…微分回路
45…マルチプレクサ
46…分周器
47…メモリ
48…CPU
49…D/A変換器
50…スイッチ
51…固定バイアス
52…ガルバノスキャナ
53…駆動回路
54…微分回路
55…同期回路
60…移相回路
61…加算器
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a sampling clock generator applied to an optical scanning sampling system that scans a sample with light to acquire information on the sample.
[0002]
[Prior art]
Optical scanning type that scans the sample with light and generates a sampling clock synchronized with the scanning, and obtains sample information by sampling reflected light, fluorescence or transmitted light from the sample detected by a photodetector For example, a scanning confocal laser microscope is known as a sampling system.
[0003]
In the scanning confocal laser microscope, a galvano scanner or a resonant scanner is mainly used for optical scanning. In the resonant scanner, the mirror vibrates in a sinusoidal shape due to its operating principle. On the other hand, the galvano scanner may be driven in a sine wave shape to increase the screen update speed.
[0004]
When the angle of the mirror changes in a sine wave shape with time, the light irradiation position on the sample by optical scanning changes in a sine wave shape with time. In this way, when the light irradiation position on the sample by optical scanning changes in a sinusoidal shape with time, for example, the detection signal of the photodetector that detects reflected light, fluorescence or transmitted light from the sample is used as the system timing. When sampling is performed at equal time intervals (constant time intervals) by a crystal oscillator or the like that manages the sampling, the sampling positions on the sample are not evenly spaced as shown in FIG. For this reason, images with significant distortion are acquired at both ends and the center of the screen.
[0005]
In such a case, in order to obtain a distortion-free image, as shown in FIG. 14B, a time interval (hereinafter referred to as “unequal time interval”) in which the time for sampling in accordance with scanning is not constant. It is conceivable that the positional relationship (pixel positional relationship) on the sample is equally spaced in the finally obtained image.
[0006]
As described above, as a method for generating the sampling clock at unequal time intervals in accordance with the sinusoidal scanning, there are the following proposals.
[0007]
U.S. Pat. No. 527,131 (Japanese Patent No. 3121037) stores a sinusoidal velocity signal pattern in a ROM, outputs the ROM pattern in synchronization with one period of the scanner, and outputs it as a control signal by a multiplying D / A converter. A VCO output is obtained as a sampling clock. The ROM pattern is sequentially addressed by the sampling clock, the gain is adjusted by the multiplying D / A converter so that one cycle of the output matches the scanner cycle, and the VCO is read from the sampling clock generated by the VCO through the FV converter. The deviation is fed back.
[0008]
In Japanese Patent Laid-Open No. 7-154544, a multiplied clock synchronized with a PLL in one period of the scanner is generated, thereby addressing a ROM in which a speed pattern is stored. The ROM output is converted into a control signal by a multiplier and a D / A converter, and a sampling clock is obtained by a VF converter. The gain adjustment performed by the multiplier for the ROM pattern output is performed so that the ROM pattern (speed signal) is integrated to be converted into position information to match the effective image length.
[0009]
In Japanese Patent Application Laid-Open No. 2001-21829, a multiplication clock synchronized with a PLL is generated in one period of the scanner in the same manner as described above, thereby addressing a ROM in which a speed pattern is stored. The gain is adjusted by the multiplication type D / A converter so that one period of the ROM output coincides with the scanner period, and a sampling clock is obtained by giving it to the VCO as a control signal.
[0010]
On the other hand, the position of the galvano scanner can be controlled, and when the galvano scanner is driven by a sawtooth wave, as shown in FIG. 14C, the scanning position changes at regular intervals over time. . Therefore, for example, even if the detection signal of the photodetector that detects reflected light, fluorescence, or transmitted light of the sample is sampled at a constant time interval by a crystal oscillator that manages the timing of the system, the sampling position on the sample is not changed. Since the intervals are equal, an image having a significant distortion in the screen is not immediately acquired.
[0011]
Therefore, the sawtooth wave that drives the scanner stores the target position waveform in a memory, etc., and sequentially converts the data from digital to analog by a crystal oscillator or the like that manages the system timing, and supplies it to the drive circuit. A sampling method is common.
[0012]
[Problems to be solved by the invention]
As described above, in the case of sine wave drive, in all cases, a speed pattern is stored in the ROM in advance, and sampling clocks with unequal time intervals are obtained by the voltage controlled oscillation means while operating in synchronization with one period of the scanner. ing.
[0013]
Such a method is based on the premise that the scanner operates in an ideal sine wave shape, and pattern data is generated from mathematical considerations. However, when the scanner is actually mounted in the apparatus and used, various error factors are superimposed, and the linearity of the finally obtained image is not always in the best state. Although it is possible to cancel this distortion by correcting the data, a part of the data of several thousand points is corrected, and a long trial and error is required. Even if data is generated by a program in this work, a great deal of effort is required not only for the clock generator but also for the jig development.
[0014]
U.S. Pat. No. 527,131 (Japanese Patent No. 3121037) attempts to improve accuracy by feedback control based on comparison with the ROM pattern in the VCO portion. However, since the delay time of the ROM side circuit and the delay time of the FV converter side circuit do not match, there is a possibility that the frequency change of the sampling clock may be distorted.
[0015]
Similarly, in Japanese Patent Laid-Open No. 7-154544, the relationship between the lowest frequency and the highest frequency given to the VCO is mathematically defined as a sine wave as a ROM pattern. There is a possibility that it becomes a limit in absorbing the error factor. Therefore, there is a possibility that distortion cannot be completely removed at both ends of the image.
[0016]
In Japanese Patent Laid-Open No. 2001-21829, although the PLL is applied in the latter stage by the signal input synchronized with the operation of the scanner, since only the management of the scanner cycle is performed in the first place, the optical zoom can be changed by changing the scanner amplitude. If applied, the phase of the synchronizing signal for the scanner may shift, and the operating point of the entire circuit may be shifted. The reason is considered as follows. Since the comparator detects the zero cross of the sine wave signal of the motion detection coil, if the scanner swing angle is reduced by zooming, the signal amplitude of the motion detection coil is also reduced and the zero cross detection position is delayed. That is, when zooming is applied, a phenomenon occurs in which the field of view moves to the right (image is left). Since it is assumed that the speed pattern stored in the ROM completely matches the scanner operation without any phase delay, if a phase shift occurs due to zooming, the degree of image distortion will change.
[0017]
On the other hand, in the sawtooth wave drive of the galvano scanner, the servo is applied to the drive waveform input to manage the position (posture) of the scanner, but the adjustment of the drive circuit is optimized according to the frequency response of the scanner. There is a limit to following a sudden input change at the turning point. For this reason, considering the time for settling, the efficiency of the range that can be imaged for one cycle of the scanner while linearly driving deteriorates as the scanning speed increases. Increasing the scanning speed in the area where the scanner responds reduces the range that can be imaged and increases the ineffective period. If you are observing fluorescence with a scanning confocal laser microscope, The ratio of giving fluorescence fading to an unnecessary area other than the observation target range increases, which is not a preferable state.
[0018]
[Problems to be solved by the invention]
An object of the present invention is to perform sampling without image degradation in an optical scanning sampling system, so that sampling can be performed faithfully to the operation of the scanning means, linearity of the image can be automatically corrected, and phase shift due to zoom can be corrected. It is an object of the present invention to provide a sampling clock generator capable of effectively allocating a scanning range of a scanning means that does not occur to an image period with an arbitrary number of effective pixels.
[0019]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the present invention has taken the following measures.
[0020]
A sampling clock generator according to an aspect of the present invention scans light from a sample and samples light from the sample detected by a photodetector based on a sampling clock synchronized with the scanning. In a sampling clock generator applied to an optical scanning sampling system for acquiring information, scanning means for reflecting or refracting light from a light source while vibrating and irradiating the sample with light, and speed information of the scanning means Speed information generating means for obtaining the phase, a phase shift means for absorbing a time delay from irradiation of the scanning light to the sample until generation of a sampling clock, and absolute value speed information by converting the speed information into an absolute value Generating means, first variable gain means for adjusting the absolute velocity information to a predetermined amplitude, and the scanning status of the scanning means A second variable gain means for correcting the amplitude by a continuous amount; an offset adjustment means for correcting the level; a voltage controlled oscillation means for generating a sampling clock having a frequency corresponding to the corrected absolute value speed information; And a sampling means corresponding to the scanning of the scanning means and a synchronizing means for managing the imaging period of the sample.
[0021]
According to one aspect of the present invention, the speed information obtained from the scanning unit is converted into an absolute value and supplied to the voltage controlled oscillation unit to obtain a sampling clock. At this time, the amplitude of the speed information is adjusted so that a predetermined number of sampling clocks are included in one cycle of the scanning means. However, since the shape of the speed information is used as it is for the clock frequency control, Sampling position deviation does not occur by always following the operation pattern. On the other hand, frequency adjustment for applying image linearity correction is also possible, and a sampling clock free from image distortion can be obtained.
[0022]
A preferred embodiment of the sampling clock generator described above is as follows. In addition, each following embodiment may be applied independently and may be applied in combination as appropriate.
(1) The control signal output to the voltage controlled oscillating means is based on a speed waveform of the scanning means generated by the speed information generating means. Since the shape of the speed information is used as it is for the clock frequency control, the operation pattern of the scanning means is always followed accurately and no sampling position deviation occurs.
[0023]
(2) The correction related to the scanning state of the scanning unit given to the first and second variable gain units and the offset adjusting unit is performed by using the velocity information having a constant amplitude regardless of the scanning amplitude of the scanning unit. A predetermined number of sampling clocks that are output from the voltage controlled oscillating means, and the absolute value so as to reduce the phase difference between this count cycle and the scanning cycle from the scanning means. The amplitude of the speed information is finely adjusted, and the level of the absolute value speed information to be given to the voltage controlled oscillation means is determined separately from the amplitude adjustment. Since speed information with a constant amplitude can be output regardless of the scanning amplitude of the scanner (that is, optical zoom), there is no time operating point deviation from the scanner in the subsequent circuit operation for cycle management. On the other hand, the absolute value speed information gain is finely adjusted so that the scanner period and the sampling clock counting period coincide with each other. However, since the minimum frequency given to the voltage controlled oscillation means can be adjusted separately, only the period can be adjusted. Therefore, it is possible to perform image linearity correction and obtain a sampling clock without image distortion.
[0024]
(3) A scanning position detecting unit that detects a scanning position on the sample by the scanning unit and a linearity correcting unit that detects and corrects the linearity of the image. Sampling clocks are obtained by converting velocity information obtained from the scanning means into absolute values and supplying them to the voltage controlled oscillation means. At this time, the amplitude of the speed information is adjusted so that a predetermined number of sampling clocks are included in one cycle of the scanning means. However, since the shape of the speed information is used as it is for the clock frequency control, Sampling position deviation does not occur by always following the operation pattern. On the other hand, a frequency adjustment is also performed while performing image linearity correction, and a sampling clock free from image distortion can be obtained.
[0025]
(4) The linearity correction unit acquires a scanning position signal representing the scanning position of the scanning unit obtained by the scanning position detection unit at the timing of the sampling clock generated by the voltage controlled oscillation unit, and n The level of the absolute value speed information in the second gain variable means is determined so that the change amount of the scanning position for each pixel becomes constant. Since the minimum frequency given to the voltage-controlled oscillation means can always be adjusted while confirming the actual displacement amount of the scanning means at sampling points separated by an arbitrary amount, the sampling clock is generated while image linearity correction is performed.
[0026]
(5) The speed information generation means further includes selection means for generating at least one speed information of the scanning means and selecting the generated at least one speed information. An appropriate combination of accuracy and cost can be realized in the speed information input to the circuit for generating the sampling clock.
[0027]
(6) The synchronization means determines an imaging effective start point and period based on the sampling clock output from the voltage controlled oscillation means. Since the number of sampling clocks included in one period of the scanning unit is determined from the number of clocks from the scanning start point of the scanning unit to the start point of the image period and the number of effective pixels of the image, the number of sampling clocks included in one cycle of the scanning unit is determined. Any number of effective pixels can be efficiently allocated as an image period.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0029]
(First embodiment)
FIG. 1 is a block diagram of a scanning confocal laser microscope to which a sampling clock generator according to a first embodiment of the present invention is applied. The microscope body 1 of the scanning confocal laser microscope to which the sampling clock generator according to this embodiment is applied is configured as follows.
[0030]
Laser light as a spot light for scanning the focal plane (surface) of the sample 11 is emitted from the laser light source 6. The laser light emitted from the laser light source 6 is guided to the mirror 7, and the laser light reflected by the mirror 7 passes through the half mirror 8 and is guided to the two-dimensional scanning mechanism 5. The two-dimensional scanning mechanism 5 is a mechanism for two-dimensionally scanning the laser light from the laser light source 6 obtained through the mirror 7 and has the following configuration. The two-dimensional scanning mechanism 5 performs XY scanning of the laser beam under the control of the two-dimensional scanning drive control circuit 4. For example, the two-dimensional scanning mechanism 5 includes a resonance scanner for scanning in the X-axis direction and a galvano scanner for scanning in the Y-axis direction, and swings the mirrors of these scanners in the X-axis direction and the Y-axis direction, respectively ( The optical path of the laser beam with respect to the objective lens 10 can be swung in the XY directions.
[0031]
The revolver 9 holds a plurality of objective lenses 10 having different magnifications. By switching the revolver 9, the objective lens 10 having a desired magnification is arranged in the observation optical path of the microscope. be able to. The revolver 9 can be moved in the optical axis direction (vertical direction) by the Z-axis drive control circuit 16. Laser light from the two-dimensional scanning mechanism 5 irradiates the sample 11 on the stage 12 through the objective lens 10 disposed on the optical axis while performing two-dimensional scanning. The stage 12 is used for mounting the sample 11.
[0032]
The reflected light from the sample 11 reaches the half mirror 8 via the objective lens 10 and the two-dimensional scanning mechanism 5 through a path opposite to the incident light. The reflected light incident on the half mirror 8 is reflected by the half mirror 8 and guided to the detection system. The detection system includes a lens 13, a pinhole plate 14, and a photodetector 15. The lens 13 condenses the reflected light from the two-dimensional scanning mechanism 5 obtained through the half mirror 8. The pinhole plate 14 has a pinhole having a required diameter, and is arranged so that the pinhole comes to the focal position of the lens 13 in front of the light receiving surface of the photodetector 15. The light detector 15 is a light detection element that converts light obtained through the pinhole into an electric signal corresponding to the light amount.
[0033]
Note that the photodetector 15, the two-dimensional scanning drive control circuit 4, and the Z-axis drive control circuit 16 are each connected to a microscope input / output circuit 17. The microscope input / output circuit 17 exchanges data (signals) between the microscope main body 1 of the confocal scanning laser microscope and an external device (computer 2 in this embodiment). That is, the microscope input / output circuit 17 sends the signal photoelectrically converted by the photodetector 15 to the computer 2 together with the timing signal from the two-dimensional scanning drive control circuit 4, and also two-dimensionally scans various control signals from the computer 2. It has a function of sending to the drive control circuit 4, the Z-axis drive control circuit 16, and other microscope internal functions not shown.
[0034]
The computer 2 includes a control circuit 18 and an image input circuit 19. The control circuit 18 controls the computer 2 to appropriately execute a command input by an operator using an input unit (not shown). The image input circuit 19 inputs a signal photoelectrically converted by the photodetector 15 and a timing signal from the two-dimensional scanning drive control circuit 4. The computer 2 can obtain the surface information of the sample 11 by displaying an image detected by the photodetector 15 on the monitor 3 based on these input signals.
[0035]
The sampling clock generator in the first embodiment is the same as the scanning confocal laser microscope described above, except for the two-dimensional scanning mechanism 5 and a part of the two-dimensional scanning drive control circuit 4 (resonant scanner for X-axis direction scanning and timing signal). For example, a configuration as shown in FIG. 2 is provided.
[0036]
The resonance scanner 21 vibrates the mirror in a sine wave shape by a signal from the drive circuit 22. The drive circuit 22 self-oscillates based on a mirror speed signal by a speed pickup coil built in the resonance scanner 21, and its drive amplitude is controlled by feedback control.
[0037]
The speed input selection circuit 23 is free according to the type of output signal from the drive circuit 22 (for example, the drive circuit 22 may output a position signal or a synchronization signal instead of outputting a speed signal). This is a circuit for selecting an input to the sampling clock generator according to the present embodiment, and this speed input selection circuit 23 allows the sampling clock generator to be used regardless of the scanning means and the drive circuit. For example, when a position signal is output from the drive circuit 22, the signal may be converted into a speed signal. In the present embodiment, for example, a pickup coil signal (sense signal: Sens) and a signal (SYNC) indicating the direction thereof are given from the drive circuit 22. The relationship between these signals is shown in FIG. FIG. 3B is a diagram illustrating a circuit example of the speed input selection circuit 23. The speed input selection circuit 23 shown in FIG. 3B includes a band pass filter 33 (BPF) and a multiplexer 34. The band pass filter 33 has a center frequency at the resonance frequency of the resonance scanner 21. Thereby, when the SYNC signal passes, a sinusoidal signal is generated. The signal selected by the multiplexer 34 is output as a velocity signal (Velocity). Then, the phase shift circuit 60 absorbs the time (that is, time delay) from the irradiation of the scanning light to the sample to the generation of the sampling clock. Thereafter, the amplitude is adjusted to a predetermined amplitude by the AGC circuit 24 and input to the absolute value circuit 25 and the comparator 26.
[0038]
The comparator 26 generates a CYCLE signal in which the H level and the L level are switched at the zero cross position of the Velocity signal (a position where + and − are switched). The Velocity signal that has passed through the absolute value circuit 25 is gain-adjusted by the variable gain amplifier 27, the offset voltage given by the bias circuit 28 is added by the adder 61, and then the voltage-controlled oscillator 29 (hereinafter “VCO”) as the Control signal. It is given). The VCO 29 outputs a sampling clock (hereinafter referred to as “SCLK”). The synchronization circuit 30 receives SCLK from the VCO and generates an image valid period signal (hereinafter referred to as “DE”) and a timing signal (hereinafter referred to as “CLR”).
[0039]
The phase comparator 31 receives the CYCLE signal and the CLR, compares the phases thereof, and outputs an output signal corresponding to the phase difference to a low-pass filter 32 (hereinafter referred to as “LPF”). The signal that has passed through the low-pass filter 32 becomes a gain control signal (gain) of the variable gain amplifier 27.
[0040]
The operation of the sampling clock generator according to the first embodiment configured as described above will be described with reference to FIGS.
[0041]
First, when the resonant scanner 21 starts operating by the drive circuit 22, the mirror position becomes a sinusoidal vibration locus as shown in FIG. In this case, the mirror position (FIG. 4 (a)), the Sens signal (FIG. 4 (b)), and the SYNC signal (FIG. 4 (c)) are in the relationship shown in the figure. Here, it is assumed that the speed signal selection circuit 23 selects the Sens signal by setting means (not shown) in order to increase the sampling accuracy. The Sens signal is output as a Velocity signal by the multiplexer 34 (FIG. 4D).
[0042]
Subsequently, the Velocity signal output from the speed input selection circuit 23 is input to the phase shift circuit 60. Since there is a time delay of the circuit in the generation of the sampling clock, it is not output immediately corresponding to the position instructed by the resonant scanner 21, and the actually sampled image is shifted from the originally desired position. End up. Since unequally spaced sampling clocks are output, this shift causes image distortion. Therefore, the phase shift circuit 60 absorbs this time delay and adjusts the phase of the Velocity signal so that the light irradiation position and the sampling clock generation are aligned. The Velocity signal whose phase has been adjusted in this way is input to the AGC circuit 24, and is adjusted so that the amplitude change of the Velocity signal associated with the optical zoom of the resonant scanner 21 is canceled and the signal always has a constant amplitude. . Next, the Velocity signal is converted to a signal having only a positive amplitude as shown in FIG. 4E by passing through the absolute value circuit 25, while the Velocity signal input to the comparator 26 is Compared with the zero level at 26 (that is, whether the Velocity signal is positive or negative), the CYCLE signal shown in FIG. Since the Velocity signal is adjusted to have a constant amplitude by the AGC circuit 24, the tilt angle across the zero cross point due to zooming does not change, so that no phase shift occurs in the CYCLE signal.
[0043]
The Velocity signal converted to an absolute value by the absolute value circuit 25 is gain-adjusted by the variable gain amplifier 27, and a predetermined offset voltage output from the bias circuit 28 is added by the adder 61, and then the Control signal (FIG. 4 (g) )) To the VCO 29. The VCO output becomes SCLK (FIG. 4 (h)).
[0044]
In this case, gain adjustment by the variable gain amplifier 27 is performed by feedback control as described in detail below.
As shown in FIG. 5, the effective period N of the image EN Is 1024 pixels and the imaging efficiency for scanning is 95%, the total number of clocks is 2156 for one period of the resonant scanner 21, and the front invalid period N L Is 27 pixels, rear invalid period N T (= N L ) Is 27 pixels. When this is set in the synchronization circuit 30 by an input means (not shown), the synchronization circuit 30 outputs DE and CLR while counting SCLK output from the VCO 29 by the predetermined number (= 2156).
[0045]
The phase comparator 31 compares the phases of the CYCLE signal (FIG. 4 (f)) and CLR (FIG. 4 (i)), and outputs an error signal corresponding to the phase difference (FIG. 4 (j)). The error signal is smoothed by the LPF 32 to obtain a gain signal (FIG. 4 (k)), and the gain of the variable gain amplifier 27 is adjusted.
[0046]
The DC level of the Velocity signal output from the bias circuit 28 is adjusted to a level that ultimately provides the best image linearity. This level determines the lowest frequency of the output of the VCO 29. In the VCO 29, the frequency of SCLK rises and falls according to the shape of the Velocity signal with reference to this frequency. For example, when the gain is high and the voltage difference of the Velocity signal is large, the frequency of SCLK becomes high. For this reason, 2156 SCLK counting times are faster than one scanning period of the resonant scanner 21. On the contrary, when the gain is low and the voltage difference of the Velocity signal is small, the frequency of SCLK is low. For this reason, the counting time of 2156 SCLKs is delayed. As described above, the phase comparator 31 always controls the gain signal so that there is no deviation between the CYCLE signal and the CLR.
[0047]
Therefore, the amplitude of the Velocity signal given to the VCO 29 is adjusted by the control as described above so that the time when 2156 SCLKs that accelerate / decelerate according to the shape of the Velocity signal coincide with one period of the resonant scanner 21 is matched. Will be. Finally, SCLK, which is the output of the VCO 29, becomes a clock with a frequency change reflecting the velocity waveform of the resonant scanner 21, and a sampling clock is generated at a position and time at which the amount of change in the mirror position is equally spaced.
[0048]
As described above, since the frequency change of SCLK output from the VCO 29 is generated from the velocity waveform itself of the resonant scanner 21, the acceleration / deceleration change within the cycle is also directly reflected. For this reason, according to the present embodiment, it is possible to absorb fluctuations that cannot be obtained with an approximate waveform. That is, in the configuration according to the present embodiment, it means that no sampling position deviation occurs. Further, the AGC circuit 24 does not cause a phase shift of the CYCLE signal as a reference for phase comparison with the operation of the resonance scanner 21 by zooming, so that a stable sampling clock is always obtained regardless of zooming.
[0049]
In the first embodiment described above, the reciprocal sampling has been described as an example. However, if the half cycle side of the effective pixel period signal in the synchronization circuit 30 is masked, one-side sampling is naturally possible. In addition, the image period and the number of effective pixels are also variable. In particular, conditions can be set without considering the mathematical approximation of the scanner operation.
(Second Embodiment)
FIG. 6 shows a schematic configuration of the sampling clock generator according to the second embodiment. 6, the same parts as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted. In the second embodiment, in order to directly detect the mirror position of the resonant scanner 21, the laser beam output from the laser light source 35 and reflected by the mirror 21 is a position detection element 37 (hereinafter referred to as "PSD"). Detected). The laser light source 35 is, for example, the same as the laser light source 6 in FIG. 1, and is an optically branched laser beam in the scanning confocal laser microscope after the X scanning resonance scanner. Alternatively, a semiconductor laser or the like provided separately for directly detecting the mirror position of the resonant scanner 21 may be used. The output of the PSD 37 is amplified by an amplifier 38 and output as a sinusoidal position signal corresponding to the mirror position of the resonant scanner 21. Similarly to the first embodiment, the phase shift circuit 60 absorbs a delay from the irradiation of the scanning light sample to the generation of the sampling clock.
[0050]
The speed input selection circuit 36 can freely select the input to the sampling clock generator of the present invention as in the first embodiment. The speed input selection circuit 36 does not depend on the scanning means or the drive circuit, and the second input of the present invention. The sampling clock according to the embodiment is provided so as to be applicable to a scanning confocal laser microscope. In the present embodiment, a Position signal indicating the mirror position of the resonance scanner 21, a pickup coil signal (Sens) output from the drive circuit 22, and a signal (SYNC) indicating the direction thereof are given. The relationship between these signals is shown in FIG. FIG. 7B shows an example of the configuration of the speed input selection circuit 36. The SYNC signal passes through a bandpass filter 43 having a center frequency at the resonance frequency of the resonance scanner 21, and the Position signal passes through a differentiation circuit 44. . The band pass filter 43 and the differentiating circuit 44 each generate a sine wave signal, and the signal selected by the multiplexer 45 is output as a velocity signal (Velocity).
[0051]
When the operation of the phase comparator 42 is stabilized, the phase comparator 42 outputs a LOCK signal as a notification signal to the linearity correction circuit 41.
[0052]
On the other hand, the Position signal of the resonant scanner 21 is adjusted to an appropriate amplitude by the AGC circuit 39, converted to digital data by the A / D converter 40, and given to the linearity correction circuit 41. The linearity correction circuit 41 generates an A / D conversion timing signal Convert from the SCLK, DE, and LOCK signals and outputs them to the A / D converter 40. The linearity correction circuit 41 generates an OFFSET signal for offsetting the Control signal applied to the VCO 29. For example, as shown in FIG. 8, the linearity correction circuit 41 includes a frequency divider 46, a memory 47, a CPU 48, a D / A converter 49, a switch 50, and a fixed bias 51. Here, it is assumed that the initial value of the D / A converter 49 is set to the same value as the level of the fixed bias 51. The offset amount of the Control signal given to the VCO 29 is switched from a fixed value to an OFFSET signal generated by the D / A converter 49 by the switch 50. The switch 50 operates according to the LOCK signal from the phase comparator 42.
[0053]
In the configuration as described above, the second embodiment will be described on the assumption that the position signal is selected by the setting means (not shown) in the speed input selection circuit 36 in order to maximize the sampling accuracy. The Position signal is converted into a Velocity signal by the differentiating circuit 44 shown in FIG.
[0054]
Subsequent basic operations for generating SCLK are the same as those in the first embodiment, and a stable sampling clock can be obtained. However, when the resonant scanner 21 is mounted on a scanning confocal laser microscope or the like, various error factors are superimposed, and the linearity of the finally obtained image is not always in the best state. This is because, even if the time required for generating a predetermined number of clocks matches with one period of the resonant scanner 21, non-linearity as shown in FIG. 9 may remain particularly at the position in the screen in the X direction. is there. That is, when the reference scale is observed, the actual speed ratio of the laser beam scanning on the scale at both ends and the center of the screen and the speed ratio at the ends and the center of the Velocity signal are determined by the optical system and A state that does not completely match may occur due to circuit distortion or the like.
[0055]
For example, FIG. 9A shows a case where the dimensions at both ends of the screen appear to be wider than the center, and the clock is too fast at both ends and too slow at the center with respect to scanning. FIG. 9B shows the opposite case where the dimensions of both ends of the screen appear to be smaller than the center. The clock is too slow at both ends and too fast at the center. is there.
[0056]
Hereinafter, the correction action for the above-described distortion in the second embodiment will be described. When the phase comparison enters the steady state in the phase comparator 42 and the generation timing of SCLK coincides with the operation of the resonant scanner 21, the linearity correction circuit 41 that receives the notification (LOCK signal) from the phase comparator 42 corrects the correction. Start operation. That is, a sine-wave Position signal corresponding to the mirror position of the resonant scanner 21 is adjusted to an appropriate amplitude by the AGC circuit 39, converted to digital data by the A / D converter 40, and given to the linearity correction circuit 41. . This conversion timing is set to the timing of SCLK every n pixels during the image effective period. Here, n = 4. When n = 4 is set by a setting means (not shown), the frequency divider 46 divides SCLK in DE, and sends a conversion pulse to the A / D converter 40 as a Convert signal once for four pixels. Position signal (mirror position of the resonant scanner 21) data at that moment is output from the A / D converter 40 and stored in the memory 47. The position data of the resonant scanner 21 obtained by sampling in the A / D converter 40 should be data that increases (or decreases) by a constant value when considered from the original SCLK generation purpose. This is because the scanning positions of the scanner change at unequal time intervals in time, so that SCLKs having unequal time intervals are generated so as to be sampled at the equal interval positions.
[0057]
When the number of effective pixels in one line is 1024 pixels, the CPU 48 obtains 256 position data from the memory 47 by scanning the resonance scanner 21 for one line. The amount of change between the sampled position data reflects the linearity of sampling as shown in FIGS. 9A and 9B when viewed in the order of acquisition.
[0058]
Here, for example, consider the case where the sampling state is such that the dimensions at both ends of the screen appear to expand as shown in FIG. In this case, a position data group in which the change amount of the position data is small at both ends and large at the center should be obtained. This is because, for example, the DC component of the control signal of the VCO 29 given by the fixed bias 51 before the switch 50 is switched after receiving the LOCK signal from the phase comparator 42 is large, and the SCLK frequency is generally increased. Means it is working. Still, since one period of the resonant scanner 21 and a predetermined number of times (2156 if the same as in the first embodiment) are generated, the SCLK is output, the gain in the variable gain amplifier 27 is adjusted so that the period is consistent. The setting is set to be low, and it is stable in a state where the frequency modulation ratio of SCLK is small. This is a state where the clock is too fast at both ends with respect to the scan and too slow at the center.
[0059]
Subsequently, the CPU 48 determines linearity from the obtained data group, and sets a correction value related thereto in the D / A converter 49, thereby generating an OFFSET signal for offsetting the control signal of the VCO 29. In this case, the CPU 48 must lower the offset of the control signal of the VCO 29 for the reason described above. The CPU 48 sets a correction value that is lower than the level of the fixed bias 51 in the D / A converter 49. As a result, the level of the control signal of the VCO 29 is lowered. When the level of the control signal of the VCO 29 is lowered, the operating point of the VCO 29 is changed, and the SCLK frequency is lowered as a whole and output. In this case, the clocks at both ends of the image are delayed. Since the number of clocks in one cycle is reduced as it is, the gain given to the Velocity signal is increased by the function of the gain loop so that 2156 SCLKs are counted, and the clock frequency ratio in the central portion is increased. In the present embodiment, the sampling at the linearity correction circuit 41 matches the actual speed ratio of the scanning laser beam at both ends and the center of the screen with the frequency ratio at the ends and center of the screen in the sampling clock. As shown in FIG. 9C, the linearity is finally improved. However, since the operating point of the gain loop is changed by changing the offset of the Velocity signal, the linearity correction loop time constant needs to be sufficiently lower than the gain loop time constant.
[0060]
In addition, when the linearity shows a distribution as shown in FIG. 9B, the linearity is improved as shown in FIG. 9C by correcting the offset in the direction opposite to the above description. To do.
[0061]
As described above, according to the second embodiment, as in the first embodiment, the sampling position is not shifted, and a stable sampling clock is always obtained regardless of the zoom. Since the scanning position of the resonance scanner 21 is detected at the timing of the sampling clock and the frequency modulation ratio of the sampling clock generated by the VCO 29 is adjusted from the rate of change, the linearity of the obtained image can be corrected. Yes. Here, the example in which the position data is acquired every four pixels has been described, but of course, there is no problem if the position data is acquired every other number of pixels.
[0062]
Similarly to the first embodiment, if the half cycle side of the effective pixel period signal in the synchronizing circuit 30 is masked, one-side sampling is of course possible, and the image period and the number of effective pixels are also variable. Conditions can be set without considering mathematical approximation.
[0063]
(Third embodiment)
FIG. 10 shows a schematic configuration of a sampling clock generator according to the third embodiment. 10, the same parts as those in FIG. 1 or FIG. 6 are denoted by the same reference numerals, and detailed description thereof is omitted. In FIG. 10, a galvano scanner 52 is used as a scanner for scanning in the X-axis direction. Since the galvano scanner 52 normally has a sensor for position detection therein, its Position signal can be obtained directly. The drive circuit 53 controls the operation of the galvano scanner 52 so as to follow the position instruction input by feedback control using a position sensor built in the galvano scanner 52. Similarly to the first embodiment, the phase shift circuit 60 absorbs a delay from the irradiation of the scanning light sample to the generation of the sampling clock.
[0064]
The differentiating circuit 54 differentiates the Position signal and converts it into a Velocity signal. The Velocity signal is input to the AGC circuit 24, adjusted to a predetermined amplitude, and input to the absolute value circuit 25 and the comparator 26. The comparator 26 generates a CYCLE signal in which the H level and the L level are switched at the zero cross position of the Velocity signal. The Velocity signal converted into an absolute value by the absolute value circuit 25 is gain-adjusted by the variable gain amplifier 27, the offset voltage output from the linearity correction circuit 41 is added by the adder 61, and then given to the VCO 29 as a Control signal. It is done. The VCO output becomes the sampling clock (SCLK).
[0065]
The synchronization circuit 55 receives SCLK and generates an image valid period signal (DE) and a timing signal (CLR).
[0066]
The phase comparator 42 compares the phases of the CYCLE signal and CLR and outputs a signal corresponding to the phase difference. The output signal from the phase comparator 42 passes through the low pass filter 32 and becomes a gain control signal (gain) of the variable gain amplifier 27. When the operation of the phase comparator 42 is stabilized, the phase comparator 42 generates a LOCK signal as a notification signal to the linearity correction circuit 41.
[0067]
On the other hand, the Position signal of the galvano scanner 52 is adjusted to an appropriate amplitude by the AGC circuit 39, converted to digital data by the A / D converter 40, and given to the linearity correction circuit 41. As in the second embodiment, the linearity correction circuit 41 generates an A / D conversion timing signal Convert from the SCLK, DE, and LOCK signals, and outputs them to the A / D converter 40. The linearity correction circuit 41 generates an OFFSET signal for offsetting the Control signal applied to the VCO 29. The configuration of the linearity correction circuit 41 may be the same as that of the second embodiment.
[0068]
Next, the operation of the present invention configured as described above will be described. When a sawtooth wave is applied to the drive circuit 53 of the galvano scanner 52, the galvano scanner 52 starts to operate, and the galvano scanner 52 operates according to the sawtooth wave vibration locus of FIG. Therefore, the change in position is equally spaced with respect to time, and a Velocity signal as shown in FIG. 11B is obtained.
[0069]
Subsequently, the Velocity signal is input to the AGC circuit 24, and is adjusted so that the amplitude change of the Velocity signal accompanying the optical zoom of the galvano scanner 52 is canceled and the signal always has a constant amplitude. Next, the Velocity signal is converted into a signal having only a positive amplitude as shown in FIG. 11C by passing through the absolute value circuit 25. On the other hand, the Velocity signal input to the comparator 26 is compared with the zero level by the comparator 26 (that is, whether the Velocity signal is positive or negative), and becomes the CYCLE signal shown in FIG. Since this CYCLE signal has been adjusted to have a constant amplitude by the AGC circuit 24, the tilt angle across the zero cross point does not change due to zooming, so no phase shift occurs in the CYCLE signal.
[0070]
The Velocity signal that has passed through the absolute value circuit 25 is gain-adjusted by the variable gain amplifier 27, an appropriate offset voltage is added by the linearity correction circuit 41, and then supplied to the VCO 29 as a Control signal (FIG. 11 (e)). The output of the VCO becomes SCLK (FIG. 11 (f)).
[0071]
In the third embodiment, since the position signal is sawtooth wave drive, the Velocity signal shows a certain level during the scanning period, and shows a higher level in the retrace period where the operation is steep. However, since the band of the galvano scanner 52 is limited, it cannot respond at the turning point of the waveform, and a curved portion is generated in the Velocity signal corresponding to both ends of the image. In consideration of the individual band variation of the galvano scanner 52 and the like, the conventional general sampling circuit avoids this curved portion and forms an image. Therefore, the ratio of the imaging period to the scanning range is inevitably limited. However, in this embodiment, since the timing of SCLK is adjusted by the VCO 29, there is no need to worry about it.
[0072]
The gain adjustment by the variable gain amplifier 27 is performed by feedback control as described in detail below.
As shown in FIG. 12, the effective period N of the image EN Is 1024 pixels, and the imaging efficiency for scanning is 95% (conventionally 80% or less). Assuming that the sawtooth waveform is formed so that the speed of the blanking period is four times the scanning speed in the image acquisition direction, the total number of clocks is 1348 for one cycle of the galvano scanner 52, and the front invalid period N L Is 27 pixels, rear invalid period N T (= N L ) Is 27 pixels, blanking period N R Becomes 270 pixels. When this is set in the synchronization circuit 55 by an input means (not shown), the synchronization circuit 55 outputs DE and CLR while counting SCLK obtained by the VCO 29 by the predetermined number. The phase comparator 42 compares the CYCLE signal (FIG. 11 (d)) and CLR (FIG. 11 (g)) and outputs an error signal corresponding to the difference. (FIG. 11 (h)) By smoothing this with the LPF 32, a gain signal (FIG. 11 (i)) is obtained, and the gain of the variable gain amplifier 27 is adjusted. As a result, the amplitude of the Velocity signal applied to the VCO 29 is adjusted so that the time when 1348 SCLKs that accelerate / decelerate according to the shape of the Velocity signal coincide with one cycle of the galvano scanner 52. .
[0073]
By the way, as described in the second embodiment, when the offset amount given by the fixed bias 51 is not appropriate immediately after the gain loop is stabilized, the linearity of the image is not perfect. Since the Velocity signal is at a substantially constant level over the period of the galvano scanner 52, unlike the case of the second embodiment, the distribution of linearity is the both ends of the image as shown in FIGS. 13 (a) and 13 (b). It is conceivable that only a part of the curve, that is, the curve portion of the Velocity signal, deteriorates slightly. However, such a problem is automatically solved by the linearity correction circuit 41 as shown in FIG. 13C, as in the second embodiment.
[0074]
As described above, in this embodiment, the frequency change of SCLK generated by the VCO 29 is made from the velocity waveform itself of the galvano scanner 52 and directly reflects the acceleration / deceleration change within the period. Sampling position deviation does not occur. In addition, it can be efficiently used up to the vicinity of the turning point of the waveform that cannot be imaged conventionally. In other words, it means that laser irradiation of the sample in a useless range can be suppressed. Further, because of the operation of the AGC circuit 24 described above, the CYCLE signal that is a reference for phase comparison does not cause a phase shift from the operation of the galvano scanner 52 by zooming, so that a stable sampling clock is always obtained regardless of zooming.
[0075]
Furthermore, the actual scanning position of the galvano scanner 52 is detected at the timing of the sampling clock, and the frequency modulation ratio of the sampling clock generated by the VCO 29 is adjusted from the rate of change, so that the linearity of the obtained image is also improved. It can be corrected.
[0076]
In addition, by using a triangular wave, it is possible to perform both-side sampling, and the image period and the number of effective pixels are also variable. In particular, conditions can be set without considering the mathematical approximation of the operation of the scanner.
[0077]
The present invention is not limited to the above-described embodiments. Of course, various modifications can be made without departing from the scope of the present invention.
[0078]
【The invention's effect】
According to each embodiment of the present invention, a sample is generated by causing the sample to scan with light, generating a sampling clock synchronized with the scan, and sampling the reflected light, fluorescence, or transmitted light of the sample detected by the photodetector. In the sampling clock generator applied to the optical scanning sampling system that acquires the above information, for example, the following effects can be obtained, although not all the effects obtained in the present embodiment.
(1) The operation pattern of the scanning means is always followed and no sampling position deviation occurs.
(2) No phase shift due to optical zoom in the scanning means occurs.
(3) Any number of effective pixels can be efficiently allocated to the image period with respect to the scanning range of the scanner.
(4) No image distortion occurs.
(5) An appropriate combination of accuracy and cost can be selected for the speed information given to the sampling clock generation circuit.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a scanning confocal laser microscope equipped with a first embodiment of the present invention.
FIG. 2 is a configuration diagram of the first embodiment of the present invention.
FIG. 3 is an explanatory diagram of a speed input selection circuit used in the first embodiment.
FIG. 4 is a timing chart for explaining the operation of the first embodiment.
FIG. 5 is a diagram showing a correspondence between scanning and an imaging period according to the first embodiment.
FIG. 6 is a configuration diagram of a second embodiment of the present invention.
FIG. 7 is an explanatory diagram of a speed input selection circuit used in the second embodiment.
FIG. 8 is a configuration diagram of a linearity correction circuit used in the second embodiment.
FIG. 9 is a diagram illustrating nonlinearity remaining in an image in the second embodiment.
FIG. 10 is a configuration diagram of a third embodiment of the present invention.
FIG. 11 is a timing chart for explaining the operation of the third embodiment.
FIG. 12 is a diagram illustrating a correspondence between scanning and an imaging period according to the third embodiment.
FIG. 13 is a diagram illustrating nonlinearity remaining in an image according to the third embodiment.
FIG. 14 is an explanatory diagram of the scanning position and the timing of the sampling clock.
[Explanation of symbols]
1 ... Microscope body
2 ... Computer
3 ... Monitor
4 ... Two-dimensional scanning drive control circuit
5 ... Two-dimensional scanning mechanism
6 ... Laser light source
7 ... Mirror
8 ... Half mirror
9 ... Revolver
10 ... Objective lens
11 ... Sample
12 ... Stage
13 ... Lens
14 ... Pinhole plate
15 ... Photodetector
16 ... Z-axis drive control circuit
17 ... Microscope input / output circuit
18 ... Control circuit
19. Image input circuit
21 ... Resonant scanner
22 ... Drive circuit
23 ... Speed input selection circuit
24 ... AGC circuit
25. Absolute value circuit
26 ... Comparator
27 ... Variable gain amplifier
28 ... Bias circuit
29 ... Voltage controlled oscillator (VCO)
30 ... Synchronous circuit
31 ... Phase comparator
32 ... Low-pass filter (LPF)
33 ... Bandpass filter
34 ... Multiplexer
35 ... Laser light source
36 ... Speed input selection circuit
37 ... Position detecting element (PSD)
38 ... Amplifier
39 ... AGC circuit
40 ... A / D converter
41. Linearity correction circuit
42 ... Phase comparator
43 ... Band pass filter
44. Differentiation circuit
45. Multiplexer
46 ... frequency divider
47 ... Memory
48 ... CPU
49 ... D / A converter
50 ... Switch
51: Fixed bias
52 ... Galvano scanner
53 ... Drive circuit
54. Differentiation circuit
55. Synchronous circuit
60: Phase shift circuit
61 ... Adder

Claims (7)

試料に光を走査させ、この走査に同期したサンプリングクロックに基づいて光検出器で検出される前記試料からの光をサンプリングすることによって前記試料の情報を取得する光走査型サンプリングシステムに適用されるサンプリングクロック発生装置において、
光源からの光を振動しながら反射または屈折して、前記試料に光を照射する走査手段と、
前記走査手段の速度情報を得るための速度情報生成手段と、
前記走査光の前記試料への照射からサンプリングクロック発生までの間の時間的遅延を吸収する移相手段と、
前記走査手段の走査状況に関連した量でその振幅を補正する第1の可変ゲイン手段と、
前記速度情報を絶対値化して絶対値速度情報を生成する手段と、
前記絶対値速度情報を所定の振幅に調整する第2の可変ゲイン手段と、
レベルを補正するオフセット調整手段と、
前記補正された前記絶対値速度情報に対応する周波数のサンプリングクロックを生成する電圧制御発振手段と、
前記走査手段の走査に対応するサンプリングクロック数と前記試料の画像化期間を管理する同期手段と、を具備することを特徴とするサンプリングクロック発生装置。
Applied to an optical scanning type sampling system that scans light with a sample and obtains information of the sample by sampling light from the sample detected by a photodetector based on a sampling clock synchronized with the scanning In the sampling clock generator,
Scanning means for reflecting or refracting light from a light source while oscillating, and irradiating the sample with light;
Speed information generating means for obtaining speed information of the scanning means;
A phase shift means for absorbing a time delay between irradiation of the scanning light to the sample and generation of a sampling clock;
First variable gain means for correcting its amplitude by an amount related to the scanning status of the scanning means;
Means for generating absolute value speed information by converting the speed information into an absolute value;
Second variable gain means for adjusting the absolute value speed information to a predetermined amplitude;
Offset adjusting means for correcting the level;
Voltage-controlled oscillation means for generating a sampling clock having a frequency corresponding to the corrected absolute value speed information;
A sampling clock generator comprising: a sampling clock corresponding to scanning of the scanning means; and a synchronizing means for managing an imaging period of the sample.
請求項1に記載のサンプリングクロック発生装置において、前記電圧制御発振手段に出力される前記制御信号は、前記速度情報生成手段で生成される前記走査手段の速度波形に基づくものであることを特徴とするサンプリングクロック発生装置。2. The sampling clock generator according to claim 1, wherein the control signal output to the voltage controlled oscillation means is based on a velocity waveform of the scanning means generated by the velocity information generating means. Sampling clock generator. 請求項1に記載のサンプリングクロック発生装置において、
前記第1及び第2の可変ゲイン手段及び前記オフセット調整手段に与えられる前記走査手段の走査状況に関連した補正は、
前記走査手段の走査振幅によらず一定の振幅の前記速度情報を出力するようにしたものであって、
前記電圧制御発振手段の出力であるサンプリングクロックを所定数カウントして、このカウント周期と前記走査手段からの走査周期との位相差を低減するように前記絶対速度情報の振幅を微調整するものであり、
前記振幅調整とは別に前記電圧制御発振手段に与える前記絶対値速度情報のレベルを決定するものであることを特徴とするサンプリングクロック発生装置。
The sampling clock generator according to claim 1,
The correction related to the scanning status of the scanning means given to the first and second variable gain means and the offset adjusting means is:
The speed information having a constant amplitude is output regardless of the scanning amplitude of the scanning means,
A predetermined number of sampling clocks that are output from the voltage controlled oscillation means are counted, and the amplitude of the absolute velocity information is finely adjusted so as to reduce the phase difference between this count cycle and the scanning cycle from the scanning means. Yes,
A sampling clock generator for determining the level of the absolute speed information to be given to the voltage controlled oscillation means separately from the amplitude adjustment.
請求項1に記載のサンプリングクロック発生装置において、
前記走査手段による前記試料上の走査位置を検出する走査位置検出手段と、
画像の線形性を検出し補正する線形性補正手段とを更に具備することを特徴とするサンプリングクロック発生装置。
The sampling clock generator according to claim 1,
Scanning position detecting means for detecting a scanning position on the sample by the scanning means;
A sampling clock generator further comprising linearity correction means for detecting and correcting linearity of an image.
請求項4に記載のサンプリングクロック発生装置において、前記線形性補正手段は、前記走査位置検出手段により得られる前記走査手段の走査位置を表す走査位置信号を、前記電圧制御発振手段にて生成されるサンプリングクロックのタイミングで取得し、n画素ごとの走査位置の変化量が一定になるように前記オフセット調整手段における前記絶対値速度情報のレベルを決定するものであることを特徴とするサンプリングクロック発生装置。5. The sampling clock generator according to claim 4, wherein the linearity correction means generates a scanning position signal representing a scanning position of the scanning means obtained by the scanning position detection means by the voltage controlled oscillation means. Sampling clock generator characterized in that it obtains at the timing of the sampling clock and determines the level of the absolute value speed information in the offset adjusting means so that the amount of change in scanning position for every n pixels is constant. . 請求項1から請求項5のいずれか1項に記載のサンプリングクロック発生装置において、速度情報生成手段は、前記走査手段の少なくとも1つの速度情報を生成し、
前記生成された少なくとも1つの速度情報を選択する選択手段を更に具備することを特徴とするサンプリングクロック発生装置。
6. The sampling clock generator according to claim 1, wherein the speed information generation unit generates at least one speed information of the scanning unit,
A sampling clock generator, further comprising selection means for selecting the generated at least one speed information.
請求項1から請求項6のいずれか1項に記載のサンプリングクロック発生装置において、前記同期手段は、前記電圧制御発振手段から出力された前記サンプリングクロックに基づいて画像化有効の開始点と期間を決定するものであることを特徴とするサンプリングクロック発生装置。The sampling clock generator according to any one of claims 1 to 6, wherein the synchronization unit determines an imaging effective start point and a period based on the sampling clock output from the voltage controlled oscillation unit. A sampling clock generator characterized by being determined.
JP2002149227A 2002-05-23 2002-05-23 Sampling clock generator Expired - Fee Related JP4007854B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002149227A JP4007854B2 (en) 2002-05-23 2002-05-23 Sampling clock generator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002149227A JP4007854B2 (en) 2002-05-23 2002-05-23 Sampling clock generator

Publications (2)

Publication Number Publication Date
JP2003344781A JP2003344781A (en) 2003-12-03
JP4007854B2 true JP4007854B2 (en) 2007-11-14

Family

ID=29767461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002149227A Expired - Fee Related JP4007854B2 (en) 2002-05-23 2002-05-23 Sampling clock generator

Country Status (1)

Country Link
JP (1) JP4007854B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002893A1 (en) * 2010-06-30 2012-01-05 Ge Healthcare Bio-Sciences Corp A system for synchronization in a line scanning imaging microscope
WO2012020811A1 (en) * 2010-08-12 2012-02-16 株式会社ニコン Scanning microscope
JP5695508B2 (en) * 2011-06-10 2015-04-08 オリンパス株式会社 Sampling clock generation device and sampling clock generation system
JP2014068704A (en) * 2012-09-28 2014-04-21 Nidek Co Ltd Ophthalmic photographing apparatus
JP6011970B2 (en) * 2013-01-11 2016-10-25 日本電信電話株式会社 Optical coherence tomography device
GB201409203D0 (en) 2014-05-23 2014-07-09 Ffei Ltd Improvements in digitising slides
GB201409202D0 (en) 2014-05-23 2014-07-09 Ffei Ltd Improvements in imaging microscope samples
CN107683431B (en) * 2015-06-02 2021-01-01 生命技术公司 System and method for stabilizing a sample stage in a structured illumination imaging system
JP6350496B2 (en) * 2015-11-30 2018-07-04 京セラドキュメントソリューションズ株式会社 Image forming apparatus

Also Published As

Publication number Publication date
JP2003344781A (en) 2003-12-03

Similar Documents

Publication Publication Date Title
JPS62209978A (en) Image pickup device
JP4007854B2 (en) Sampling clock generator
CN101495834A (en) Dynamic image acquisition with imaging sensors
JP5242148B2 (en) Scanning microscope equipment
JP2001021829A (en) Optical scanner
JP5598740B2 (en) Scanning microscope
JP2000266995A (en) Microscope focusing point detecting method
JP4115755B2 (en) Sampling clock generation apparatus and sampling clock generation method
JP6812149B2 (en) Scanning microscope and control method of scanning microscope
JP4216925B2 (en) Scanning microscope
JP5695508B2 (en) Sampling clock generation device and sampling clock generation system
JPH11271626A (en) Scanning type laser microscope
US6859294B2 (en) Method for ascertaining position values, and scanning microscope
JPH1010449A (en) Scanner drive unit
JP2004184699A (en) Confocal microscope
JP4303465B2 (en) Confocal microscope
JP4337346B2 (en) Laser scanning microscope
JP2004053922A (en) Method for correcting scanned image and program therefor, and laser scanning type microscope
JP4792239B2 (en) Scanning confocal laser microscope
WO2022249607A1 (en) Optical scanning device and optical scanning method
JPH11271621A (en) Sampling clock generator for optical scanning mechanism
JP2620543B2 (en) Imaging device
US20220307825A1 (en) Modulation Of Scanning Velocity During Overlay Metrology
JPH07159711A (en) Amplitude controller
JPH1032743A (en) Image adding device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070828

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100907

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4007854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100907

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110907

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120907

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130907

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees