JP2005070689A - ３次元共焦点レーザ顕微鏡システム - Google Patents

Abstract

【課題】対物レンズを高速に走査することによって、リアルタイムで試料の超深度画像を得ることのできる３次元共焦点レーザ顕微鏡システムを実現する。
【解決手段】 試料のスライス像を共焦点画像として取得する共焦点スキャナと、前記共焦点画像をビデオ信号に変換するビデオレートカメラと、前記ビデオレート信号を画像データに変換する画像処理装置と、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御手段を備え、試料の深さ方向のスライス画像を取得することができるように構成した３次元共焦点レーザ顕微鏡システムであって、
前記制御手段は、前記ビデオ信号の垂直同期信号周期内で前記走査波形信号を少なくとも１回発生するようにしたことを特徴とする３次元共焦点レーザ顕微鏡システム。
【選択図】 図１

Description

本発明は、３次元共焦点レーザ顕微鏡システムに関し、詳しくは、試料の３次元形状を超深度画像として観察するための改良に関するものである。

共焦点顕微鏡は、試料を薄切片にすることなくスライス画像が得られ、そのスライス画像から試料の正確な３次元立体像を構築できるので、生物やバイオテクノロジーなどの分野における生きた細胞の生理反応観察や形態観察あるいは半導体市場におけるＬＳＩの表面観察などに使用されている（例えば、特許文献１参照）。
このような、試料の観察では、試料に対して全体に焦点の合った超深度画像（または、全焦点画像とも呼ぶ）が必要とされる場合がある。このため、試料の各焦点位置でのスライス画像を複数枚得た後、画像処理で合成して超深度画像を得る。（例えば非特許文献１参照）

特開２００２−７２１０２号公報 「超深度カラー３Ｄ形状測定顕微鏡ＶＫ−９５００」、カタログ、株式会社キーエンス、［平成１５年８月１４日検索］、インターネット＜ＵＲＬ：http://www.keyence.co.jp/microscope/product/VK9500/index.html＞

図４は特許文献１に記載の共焦点顕微鏡の構成図である。ビデオレートカメラ１、共焦点スキャナ２、顕微鏡３、アクチュエータ４および対物レンズ５は、同じ光軸上に配置されている。共焦点スキャナ２は、多数のピンホールを持つニポウディスクと、それに対応するマイクロレンズアレイを有するもので、シンプルな光学系から成るニポウディスク方式を採用したコンパクトなアドオンタイプである。

この共焦点スキャナ２は顕微鏡３のカメラポートに取り付けられる。共焦点顕微鏡は、レーザ光を使用して、対物レンズ５、アクチュエータ４および顕微鏡３を経由して、試料の像を共焦点スキャナ２に入力する。共焦点スキャナ２は、試料の共焦点画像を得て、ビデオレートカメラ１に入力する。

図５は、図４の共焦点顕微鏡が取り扱う各種信号のタイムチャートである。ビデオレートカメラ１は、共焦点画像をビデオ信号１０１に変換し、共焦点スキャナ２、同期インターフェイスボックス９の信号入力端子および画像処理装置６の画像入力端子にビデオ信号１０１を入力する。共焦点スキャナ２は、ビデオ信号１０１に同期して、ニポウディスクの回転同期制御を行う。

画像処理装置６にビデオテープデッキを採用する場合、ビデオテープデッキは、画像入力端子から入力されるビデオ信号１０１と、音声入力端子から入力される開始信号１０３を長時間用のビデオテープに同時に記録する。ビデオテープには、リアルタイムに変化する共焦点画像と対物レンズ５の焦点位置の走査開始のタイミングが同時に記録される。

同期インターフェイスボックス９は、ビデオ信号１０１の偶数側パルス列または奇数側パルス列の何れか一方を抽出し、内部Ａ信号を作成する。任意波形発生器７は、Ｈレベルのパルス信号であるトリガ信号１０２を発生し、同期インターフェイスボックス９のトリガ入力端子に入力して、焦点面の走査の開始タイミングに利用する。

同期インターフェイスボックス９は、トリガ信号１０２の立下りに同期して、内部Ｂ信号を作成する。内部Ｂ信号は、Ｈレベルのパルス幅時間が３５ｍｓｅｃ程度であり、ビデオレートカメラ１のビデオレートの時間に比して若干長いパルス信号である。同期インターフェイスボックス９は、内部Ａ信号の反転信号と内部Ｂ信号とを論理積演算することにより、開始信号１０３を発生し、画像処理装置６および任意波形発生器７の同期入力端子に入力する。

画像処理装置６は、同期入力端子からの開始信号１０３の立上りに同期して、ビデオ信号１０１を画像データに変換し記録するキャプチャを開始する。同期インターフェイスボックス９は、信号入力端子からのビデオ信号１０１に基づいて、共焦点スキャナ２によるニポウディスクの回転同期制御、画像処理装置６によるビデオ信号の取得の開始タイミング、および光学制御系による対物レンズの焦点位置の走査開始のタイミングを全て同期させる。

任意波形発生器７は、開始信号１０３の立上りに同期して、光学制御系による対物レンズ５の焦点位置の走査を開始する。任意波形発生器７は、走査信号１０４を発生し、コントローラ８に入力する。走査信号１０４は、ＬレベルからＨレベルまで一定時間で直線的に増加するノコギリ波状の信号である。コントローラ８は、走査信号１０４をアクチュエータ４に入力する。アクチュエータ信号１０５は実際のアクチュエータの位置信号であり、伸びきってから一気に原点に戻ったあとにオーバーシュートがあり、この間は不感帯となる。

アクチュエータ４は、顕微鏡３の対物レンズレボルバーと対物レンズ５との間に取り付けられ、ピエゾ駆動により走査信号１０４のレベルに比例して画像の焦点方向の長さが変化し、対物レンズ５の焦点位置を制御する。共焦点顕微鏡は、走査信号１０４に基づいて、焦点面を走査することにより、試料のスライス画像を取得する。

このような構成によれば、ニポウディスクの回転同期制御、画像処理装置によるビデオ信号の取得の開始タイミングおよび光学制御系によるレンズの焦点位置の走査開始のタイミングが、すべてビデオ信号に同期することにより、共焦点画像の位置精度が向上し、複数のスライス画像を取得する際に個々の取得時間のバラツキがなくなるので、信頼性の高いスライス画像が得られる。

しかしながら、従来の３次元共焦点レーザ顕微鏡システムにおいて超深度画像を得ようとすると、非特許文献１に記載されたように、上述のアクチュエータなどのレンズ移動機構によりＺ軸方向に対物レンズを移動させ、それぞれの焦点位置で得られたスライス画像を全て取得してから重ね合わせることにより超深度画像を作製することになる。このため、リアルタイム性に欠けるという問題があった。

本発明は、このような従来の共焦点顕微鏡システムが有していた問題を解決しようとするものであり、対物レンズを高速に走査することによって、リアルタイムで試料の超深度画像を得ることのできる３次元共焦点レーザ顕微鏡システムを実現することを目的とするものである。

本発明は次の通りの構成になった３次元共焦点レーザ顕微鏡システムである。
（１）試料のスライス像を共焦点画像として取得する共焦点スキャナと、前記共焦点画像をビデオ信号に変換するビデオレートカメラと、前記ビデオレート信号を画像データに変換する画像処理装置と、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御手段を備え、試料の深さ方向のスライス画像を取得することができるように構成した３次元共焦点レーザ顕微鏡システムであって、
前記制御手段は、前記ビデオ信号の垂直同期信号周期内で前記走査波形信号を少なくとも１回発生することを特徴とする３次元共焦点レーザ顕微鏡システム。

（２）前記走査波形信号は、二等辺三角状波であることを特徴とする（１）に記載の３次元共焦点レーザ顕微鏡システム。

（３）前記走査波形信号の周期は、前記垂直同期信号周期の整数分の１倍であることを特徴とする（１）または（２）に記載の３次元共焦点レーザ顕微鏡システム。

（４）前記走査波形は、波形の折返し点がＳ字制御により生成された波形であることを特徴とする（１）乃至（３）のいずれかに記載の３次元共焦点レーザ顕微鏡システム。
（５）試料のスライス像を共焦点画像として取得する共焦点スキャナと、前記共焦点画像をビデオ信号に変換するビデオレートカメラと、前記ビデオレート信号を画像データに変換する画像処理装置と、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御手段を備え、試料の深さ方向のスライス画像を取得することができるように構成した３次元共焦点レーザ顕微鏡システムであって、
前記制御手段は、前記走査波形信号として前記ビデオ信号の垂直同期信号周期の整数倍の周期の二等辺三角状波を発生し、
前記画像処理手段は、取得したスライス画像を積算または平均化することを特徴とする３次元共焦点レーザ顕微鏡システム。

本発明によれば、以下のような効果がある。

請求項１及び請求項３に記載の発明によれば、対物レンズをビデオ信号の垂直同期信号周期内にアクチュエータを駆動する走査波形が少なくとも１つ存在することにより、カメラの撮像スピードよりも対物レンズを高速に走査しリアルタイムで試料の超深度画像を得られる３次元共焦点レーザ顕微鏡システムを実現することができる。

請求項２記載の発明によれば、二等辺三角状波でアクチュエータを駆動することにより、変位が時間的に線形となるため、試料の断面によって露光時間が均一になり、結果として得られる超深度画像の明るさ情報が正確となる。

請求項４に記載の発明によれば、二等辺三角状波の折返し点において、Ｓ字制御を行うことにより、加速度の値が一定に制限され、アクチュエータや顕微鏡筐体の振動を抑えることができる。

請求項５に記載の発明によれば、アクチュエータを操作する二等辺三角状波の周期をビデオの垂直同期信号周期の整数倍にすることにより、アクチュエータの１走査の間に各焦点位置に対するスライス画像を得るようにしている。これら複数枚のスライス画像を積算または平均化すると超深度画像が得られる。つまり、試料の断面の明るさ情報が均一であるため、積算または平均化されていく画像をリアルタイムに観察することができる。これは、主として暗い（反射率の低い）試料を観察する場合に有効である。

以下図面を用いて本発明を詳細に説明する。図１は本発明に係る３次元共焦点レーザ顕微鏡システムの一実施例を示す構成図である。なお、図１において図４と同等部分には同一符号を付し、その説明は省略する。

図１において、１０は信号制御器、１１は波形計算装置、１２はアクチュエータドライバ、２０は試料である。
信号制御器１０は、ビデオレートカメラ（以下単にカメラという）１から出力されるビデオ信号を受けて、そのビデオ信号をそのまま出力すると共に、ビデオ信号から垂直同期信号を抽出しこれを基に各種のトリガ信号を生成する。
任意波形発生器７ａは、信号制御器１０からの走査波形発生トリガ信号を受信すると、あらかじめ波形計算装置１１から送られ記憶した二等辺三角状波を発生して、アクチュエータドライバ１２へ送る。

波形計算装置１１は、試料２０を観察する際の対物レンズ５の走査周期と光軸方向の走査距離から、二等辺三角状波を計算によって求め、それを走査波形として任意波形発生器７ａに出力する。
アクチュエータドライバ１２は、任意波形発生器７ａから出力される走査波形信号に基づいて、アクチュエータ４を駆動するための駆動信号を発生する。
なお、ここでは、波形計算装置１１、任意波形発生器７ａ、アクチュエータドライバ１２、信号制御器１０から構成される部分を制御手段と呼ぶ。

このような構成の動作を、図２に示す各信号のタイムチャートを参照して次に説明する。カメラ１から制御信号器１０に図２の（ａ）に示すビデオ信号（垂直同期信号が含まれる）が送られると、信号制御器１０では、そのビデオ信号をそのまま画像処理装置６へ送ると同時に、ビデオ信号から垂直同期信号を抽出して、共焦点スキャナ２へ同期信号を送ると共に、各種トリガ信号すなわち走査波形発生トリガ信号［図２の（ｃ）］、画像取込トリガ信号［図２の（ｅ）］を生成する。

信号制御器１０では、図２（ｂ）に示す画像取込スタート信号を受信すると、画像取込スタート信号がLOWになった後の最初の垂直同期信号を走査波形発生トリガ信号［同図（ｃ）］として任意波形発生器７ａへ送ると共に、垂直同期信号を図２（ｅ）に示す画像取込トリガ信号として画像処理装置６へ送る。なお、画像取込スタート信号は、操作者が上位コントローラ例えばパーソナルコンピュータから、任意のタイミングに信号制御器に入力する信号であり、そのパルス幅はビデオ信号の垂直同期信号の周期の２倍以上である。

任意波形発生器７ａでは、信号制御器１０から走査波形発生トリガ信号を受信すると、あらかじめ波形計算装置１１から入力され記憶してある図２（ｄ）に示す二等辺三角状波を発生し、これをアクチュエータドライバ１２に送る。

アクチュエータ４はアクチュエータドライバ１２からの駆動信号によって駆動され、図２（ｄ）の波形に従って対物レンズ５を光軸方向に走査する。画像処理装置６では、これに同期して試料２０の超深度画像を取得する。
対物レンズの走査に対してカメラ１の１フレームの撮像スピードが十分に遅いため、各焦点位置においてスキャンされた試料のスライス画像が重なった形で撮像され、画像処理装置６がビデオ信号を画像データに変換し超深度画像を得ることができる。

以上の一連の動作において、ビデオ信号［図２（ａ）］の１周期（カメラ１のフレーム周期）内に、アクチュエータ４を駆動する走査波形である二等辺三角状波［図２（ｄ）］
が３つ存在する。それによって、試料の全断面が全てビデオ信号の１フレーム内に露光でき、超深度画像が１枚の画像として得られる。
二等辺三角状波でアクチュエータ４を駆動することにより、変位が時間的に線形となるため、試料の断面によって露光時間が均一になり、得られる超深度画像の明るさ情報が正確になる。

尚、ビデオ信号１周期内に存在する二等辺三角状波は、少なくとも１つ有ればよく、ビデオ信号の垂直同期信号周期と二等辺三角状波の周期の関係は以下のようになる。
ビデオ信号の垂直同期信号周期＝ｎ×二等辺三角状波の周期 （ｎは整数）

また、二等辺三角状波の折返し点において、前出の波形計算装置１１が加速度の値を一定に制限するためＳ字制御による計算を行うことにより、アクチュエータ４や顕微鏡筐体の振動を抑えることのできる二等辺三角状波を生成することができる。

図３は、走査波形の周期をビデオの垂直同期信号周期の整数倍にした場合のタイミングチャートである。
図３において、各信号の役割は前出の図２のものと同様である。ここでは、アクチュエータ４を操作する二等辺三角状の走査信号（ｄ）の周期をビデオ信号の垂直同期信号周期（ａ）の整数倍にすることにより、アクチュエータ４の１走査の間に各焦点位置に対するスライス画像を得るようにしている。これら複数枚のスライス画像の画像データを前出の画像処理装置６により積算または平均化すると超深度画像が得られる。つまり、試料の断面の明るさ情報が均一であるため、積算または平均化されていく画像をリアルタイムに観察することができる。これは、主として暗い（反射率の低い）試料を観察する場合に有効である。

なお、本発明は、上記実施例に限定されることなく、その本質から逸脱しない範囲で更に多くの変更、変形をも含むものである。

本発明に係る３次元共焦点レーザ顕微鏡システムの一実施例を示す構成図である。 本発明に係る各信号のタイムチャートである。 走査波形の周期をビデオの垂直同期信号周期の整数倍にした場合のタイミングチャートである。 従来の共焦点顕微鏡の一例を示す構成図である。 図４の共焦点顕微鏡が取り扱う各信号のタイムチャートである。

符号の説明

１ ビデオレートカメラ
２ 共焦点スキャナ
３ 顕微鏡
４ アクチュエータ
５ 対物レンズ
６ 画像処理装置
７ａ 任意波形発生器
１０ 信号制御器
１１ 波形計算装置
１２ アクチュエータドライバ
２０ 試料

Claims (5)

1. 試料のスライス像を共焦点画像として取得する共焦点スキャナと、前記共焦点画像をビデオ信号に変換するビデオレートカメラと、前記ビデオ信号を画像データに変換する画像処理装置と、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御手段を備え、試料の深さ方向のスライス画像を取得することができるように構成した３次元共焦点レーザ顕微鏡システムであって、
   前記制御手段は、前記ビデオ信号の垂直同期信号周期内で前記走査波形信号を少なくとも１回発生することを特徴とする３次元共焦点レーザ顕微鏡システム。
2. 前記走査波形信号は、二等辺三角状波であることを特徴とする請求項１に記載の３次元共焦点レーザ顕微鏡システム。
3. 前記走査波形信号の周期は、前記垂直同期信号周期の整数分の１倍であることを特徴とする請求項１または請求項２に記載の３次元共焦点レーザ顕微鏡システム。
4. 前記走査波形は、波形の折返し点がＳ字制御により生成された波形であることを特徴とする請求項１乃至請求項３のいずれかに記載の３次元共焦点レーザ顕微鏡システム。
5. 試料のスライス像を共焦点画像として取得する共焦点スキャナと、前記共焦点画像をビデオ信号に変換するビデオレートカメラと、前記ビデオ信号を画像データに変換する画像処理装置と、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御手段を備え、試料の深さ方向のスライス画像を取得することができるように構成した３次元共焦点レーザ顕微鏡システムであって、
   前記制御手段は、前記走査波形信号として前記ビデオ信号の垂直同期信号周期の整数倍の周期の二等辺三角状波を発生し、
   前記画像処理手段は、取得したスライス画像を積算または平均化することを特徴とする３次元共焦点レーザ顕微鏡システム。
   
   
   

Images