JP2004029537A

JP2004029537A - Microscope, three-dimensional image generating method, program for making computer perform control of generating three-dimensional image and recording medium having the program recorded thereon

Info

Publication number: JP2004029537A
Application number: JP2002187987A
Authority: JP
Inventors: Wataru Nagata; 永田　渉
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-06-27
Filing date: 2002-06-27
Publication date: 2004-01-29
Anticipated expiration: 2022-06-27
Also published as: JP4197898B2

Abstract

<P>PROBLEM TO BE SOLVED: To prevent an out-of-focus part from being included in natural color three-dimensional surface images. <P>SOLUTION: In order to obtain the three-dimensional surface image, confocal image signals are acquired at a plurality of stage positions by using a two-dimensional scanner 3 and a photodetector 9 first. On the basis of the signals, a processor 11 acquires height information indicating the relative distance in an optical axis direction of a stage 7 and a sample 6 when luminance information becomes maximum for each pixel. Then, color image data are acquired at the plurality of stage positions by using a color camera 17. The processor 11 generates color information for maximizing color data for each pixel on the basis of the plurality of color image data and generates colored three-dimensional images by compositing the three-dimensional image of the surface of the sample generated on the basis of the height information and the color information. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、試料表面の高さを観察測定する顕微鏡に関し、特に高さ情報を取得して三次元表示する共焦点走査型顕微鏡に関する。
【０００２】
【従来の技術】
共焦点走査型顕微鏡は、光源からの光をスポット状にして試料面を走査するとともに、試料面からの反射光のうち共焦点絞りを通過した光のみを光検出器により電気信号に変換し、試料面の三次元情報を得るようにしたものである。
【０００３】
すなわち、このような共焦点走査型顕微鏡では、試料に対して光軸上で焦点が合った場合、試料表面からの反射光は共焦点絞りを通過することができるため、光検出器によって検出される光量は最大となり、逆に試料に対する焦点が外れたところでは、試料表面からの反射光の大部分が共焦点絞りを通過することができず、光検出器によって検出される光量はほとんどゼロになる。この性質を利用して、Ｚ軸方向、つまり、試料を載置するステージに対して直交する方向に所定のピッチで試料面を移動させながら、試料面でスポット光を二次元走査することにより、Ｚ軸方向に複数のスライス像を得る。光量が最大となる光軸位置が、試料の表面であると考えられるので、複数のスライス像のなかで最も光量が大きくなる光軸位置を試料表面の高さを示す高さ情報として得ることにより、試料の三次元表面形状を得ることができる。
【０００４】
このようにして得られた表面形状は、表示画面上では三次元像として表示される。
ところで、このような三次元像表示は、そのままでは凹凸の状態認識が困難であるため、従来から、高さ情報に対して擬似的に割り当てたカラーや、高さに応じた輝度パターンなどを貼り付けて表面の情報認識をし易くすることが行われてきた。
【０００５】
例えば、特開２００１−８２９３５に記載の発明によれば、カラー撮像手段から得られる画素毎のカラー情報を三次元表面像に貼り付けて、試料部位と三次元表示部位の対応関係をわかりやすくする試みがされている。
【０００６】
【発明が解決しようとする課題】
しかしながら、一平面のカラー画像には、焦点が合っていない部分、いわゆるボケを含んでいる可能性が高い。従って、一平面のカラー画像を三次元表面像に貼り付ける場合に、三次元表面像にピントが合っていない部分ができる可能性が高いという問題があった。
【０００７】
また、上述の特開２００１−８２９３５に記載の発明では、画素ごとの最大受光量が画素ごとの色情報の輝度成分に反映されているため、光学系の色収差の影響により、単色光による共焦点画像の最大光量位置と白色光による非共焦点画像のカラー撮像とで、ピントが合う位置がずれている可能性がある。このため、作成される三次元像にボケが含まれる可能性が高い。
【０００８】
また、共焦点光学系の光源からのスポット上の光、ここではレーザ光のオフセットがカラー画像に乗ってしまうことにより、実際の試料の色情報が忠実に再現されない可能性がある。
このことを防ぐために、カラー撮像を行う際に、レーザ光がカラー撮像手段に入らないようにする必要がある。
【０００９】
そのために、高さ情報を求めるためのカラー撮像を、データをを取得する全ての高さ位置において行う際に、各高さ位置での撮像の度にレーザ駆動を停止させるか、またはシャッタ等の遮光手段によりレーザ光を遮光する必要があった。それにより、撮像動作が煩雑になるという問題が生じた。
【００１０】
本発明は、上記のような問題に鑑み、簡易的、効率的にボケの影響を排除した色情報を得て、観察者に対し認識し易い三次元像を表示できる共焦点走査型顕微鏡を提供することを第１の課題とする。
また、本発明は、カラー画像を撮影する際の撮像動作を簡略にすることを第２の課題とする。
【００１１】
【課題を解決するための手段】
請求項１記載の発明は、顕微鏡において、光源から発した光を試料上に集光する対物レンズと、前記試料からの反射光を共焦点絞りを通過させて検出して共焦点画像を示す信号を出力する検出器と、前記対物レンズと前記試料を載置するステージとの前記光源の光軸方向の相対距離を変化させる駆動手段と、前記検出器の信号に基づいて、前記試料の表面で前記共焦点画像の焦点が合った時の前記相対距離を示す高さ情報を求める高さ情報取得手段と、前記対物レンズを介して前記試料のカラー画像データを取得するカラー画像撮像手段と、異なる複数の前記相対距離において撮影された複数のカラー画像データに基づいて焦点合成された色情報を生成する色情報生成手段と、前記高さ情報に基づいて生成された前記試料の表面の三次元画像を前記色情報と合成することにより着色された三次元画像を生成する着色手段と、を備えることを特徴とする。
【００１２】
複数のカラー画像データのうち、焦点が合っている部分を合成して色情報を生成し、その色情報と三次元画像とを合成することにより、着色された三次元画像を得る。これにより、焦点が合っていない、いわゆるボケを含まない画像を得ることが可能となる。
【００１３】
請求項２記載の発明は、請求項１記載の発明において、対物レンズの焦点深度を示す焦点深度情報に基づいてカラー画像データを取得する際の前記相対距離を決定する相対距離決定手段を、更に備えることを特徴としている。
これにより、ユーザ等が指定しなくとも、カラー画像データを取得するために最適な対物レンズと試料との相対距離を自動的に決定することが可能となる。従って、ユーザが指定する手間を省き、かつ、不必要な相対距離においてカラー画像データを取得することを防ぐことが可能となる。
【００１４】
請求項３記載の発明は、請求項１記載の発明において、高さ情報に基づいて、前記カラー画像データを取得する際の前記対物レンズと前記試料との前記相対距離を決定する相対距離決定手段を、更に備えることを特徴とする。
これによっても、請求項２記載の発明と同様に、ユーザ等がカラー画像データを取得する際の相対距離を指定しなくとも、カラー画像データを取得するために最適な対物レンズと試料との相対距離を自動的に決定することを可能とし、かつ、不必要な相対距離においてカラー画像データを取得することを防ぐことが可能となる。
【００１５】
請求項４に記載の発明は、請求項３記載の発明において、高さ情報取得手段は、共焦点画像中の各画素について高さ情報を取得し、相対距離決定手段は、高さ情報が示す前記相対距離が同じである画素の計数結果に基づいて、カラー画像データを取得する際の対物レンズと前記試料との相対距離を決定する、ことを特徴とする。
【００１６】
請求項５記載の発明は、対物レンズを介して試料の表面の三次元表示画像を生成する画像生成方法において、前記試料に照射された光の反射光を共焦点絞りを通過させて検出して共焦点画像を示す信号を生成し、前記信号に基づいて前記試料の表面で前記共焦点画像の焦点が合った時の前記試料と前記対物レンズの相対距離を示す高さ情報を求め、異なる複数の相対距離において複数のカラー画像データを取得し、前記複数のカラー画像データに基づいて焦点合成された色情報を生成し、前記高さ情報に基づいて生成された前記試料の表面の三次元画像と前記色情報とを合成することにより着色された三次元画像を生成する、ことを含むことを特徴とする。この方法によっても、請求項１記載の発明と同様の効果を得ることが可能である。
【００１７】
請求項６記載の発明は、請求項５記載の発明において、前記対物レンズの焦点深度を示す焦点深度情報に基づいて、前記カラー画像データを取得する際の前記相対距離を決定する、ことを更に含むことを特徴とする。
請求項７記載の発明は、請求項５記載の発明において、前記高さ情報に基づいて、前記カラー画像を撮像する際の前記対物レンズと前記試料との前記相対距離を決定する、ことを更に含むことを特徴とする。
【００１８】
請求項６記載の発明及び請求項７記載の発明のいずれによっても、ユーザ等がカラー画像データを取得する際の相対距離を指定しなくとも、カラー画像データを取得するために最適な対物レンズと試料との相対距離を自動的に決定することを可能とし、かつ、不必要な相対距離においてカラー画像データを取得することを防ぐことが可能となる。
【００１９】
請求項８記載の発明は、請求項７記載の発明において、前記高さ情報を、前記共焦点画像中の各画素について取得し、前記高さ情報が示す前記相対距離が同じである画素の計数結果に基づいて、前記カラー画像データを取得する際の前記対物レンズと前記試料との前記相対距離を決定する、ことを更に含むことを特徴とする。
【００２０】
請求項９記載の発明は、光源から発した光を試料上に集光する対物レンズと、前記試料からの反射光を共焦点絞りを通過させて検出して共焦点画像を示す信号を出力する検出器と、前記対物レンズを介して観察された前記試料のカラー画像データを取得するカラー画像撮像手段とを備える装置によって得られた情報に基づいて、前記試料の表面の三次元表示画像を生成する制御をコンピュータに行わせるプログラムを記録したコンピュータで読み取り可能な記録媒体であって、前記検出器からの共焦点画像を示す信号に基づいて前記試料の表面で前記共焦点画像の焦点が合った時の前記試料と前記対物レンズの相対距離を示す高さ情報を求め、異なる複数の相対距離において前記カラー画像撮像手段によって取得された複数のカラー画像データに基づいて焦点合成された色情報を生成し、前記高さ情報に基づいて生成された前記試料の表面の三次元画像と前記色情報とを合成することにより着色された三次元画像を生成することを含む制御を前記コンピュータに実行させることを特徴とする。
【００２１】
請求項１０記載の発明は、コンピュータに、試料の表面の三次元表示画像を生成する制御を行わせるコンピュータ・プログラムであって、前記試料に照射された光の反射光を共焦点絞りを通過させて検出して共焦点画像を示す信号に基づいて、前記試料の表面で前記共焦点画像の焦点があった時の前記試料と対物レンズの相対距離を示す高さ情報を求め、異なる複数の相対距離において複数のカラー画像データに基づいて焦点合成された色情報を生成し、前記高さ情報に基づいて生成された前記試料の表面の三次元画像と前記色情報とを合成することにより着色された三次元画像を生成する、ことを含む制御を前記コンピュータに実行させることを特徴とする。
【００２２】
請求項９及び１０記載の発明のいずれによっても、請求項１記載の発明と同様の効果を得ることが可能である。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。なお、同じ装置等には同じ参照番号をつけ、説明を省略する。
（第１の実施の形態）
＜構成＞
図１は、本発明が適用される共焦点走査型顕微鏡の概略構成を示している。図１に示すように、共焦点走査型顕微鏡は、光源１、シャッタ２、二次元走査スキャナ３、ビームスプリッタ４、対物レンズ５、ステージ７、共焦点絞り８、光検出器９、Ａ／Ｄ変換器１０、処理装置１１、フレームメモリ１２、表示部１３、白色光源１４、ビームスプリッタ１５、シャッタ１６、カラーカメラ１７を備える。
【００２４】
説明において、ステージ７に対して平行な方向（水平方向）をＸ軸方向及びＹ軸方向といい、ステージ７に対して直交する方向（上下方向）をＺ軸方向という。Ｚ軸方向は、光源１及び１４の光軸方向でもある。図１において、向かって紙面の縦が、上下方向を示し、横が水平方向を示す。
【００２５】
光源１は、例えばレーザ光などの点光源からなっている。この光源１からのスポット光は、シャッタ２を介して二次元走査スキャナ３に導かれ、ビームスプリッタ４および対物レンズ５を通して、ステージ７上の試料６の表面上に二次元走査されて照射される。なお、シャッタ２及びシャッタ１６としては、ここでは開閉動作を行うことで遮光と通過をするタイプを用いているが、これに限られるものではなく、例えばレーザ光の反射する方向を切り替えるようなものであっても同様の効果を得ることができる。
【００２６】
二次元走査スキャナ３は、例えばＸ紬方向走査用のガルバノミラーまたはレゾナントスキャナ（以下、Ｘスキャナと称する）とＹ軸方向走査用のガルバノミラー（以下、Ｙスキャナと称する）を有し、これらＸスキャナとＹスキャナをＸ軸方向およびＹ軸方向に振ることでスポット光を試料６上でＸＹ方向に振らせるようになっている。
【００２７】
ステージ７は、試料６を載置する。ステージ７は、処理装置１１により制御され、試料６をスポット光の光軸方向、つまりＺ軸方向に連続的に移動できるようになっている。
試料６からの反射光は、対物レンズ５およびビームスプリッタ４を通して二次元走査スキャナ３に戻り、この二次元走査スキャナ３からの反射光が共焦点絞り８を介して光検出器９に導かれるようになっている。
【００２８】
この光検出器９は、共焦点絞り８を介して受光される光情報を、その光量に対応した電気信号に変換するようにしている。そして、光検出器９は、Ａ／Ｄ変換器１０を介して処理装置１１に接続されている。
白色光源１４は、例えばハロゲン、あるいは水銀等の光源である。白色光源１４からの光は、ビームスプリッタ１５、シャッタ１６を通り、さらに前述のビームスプリッタ４および対物レンズ５を通して、ステージ７上の試料６に照明される。
【００２９】
ここで、シャッタ１６は、前述のシャッタ２とは排他的な関係があり、シャッタ１６が開いている時にはシャッタ２は閉じており、逆にシャッタ２が開いている時にはシャッタ１６は閉じているように処理装置１１によって制御される。
試料６により反射された白色光は、対物レンズ５、ビームスプリッタ４、シャッタ１６、ビームスプリッタ１５、および図示しない結像レンズを通して、カラーカメラ１７に結像される。
【００３０】
カラーカメラ１７は、処理装置１１に接続されて、撮像制御がなされる。
処理装置１１には、他にフレームメモリ１２を介して表示部１３が接続されている。処理装置１１は、各所の制御命令を出力する。例えば、処理装置１１は、二次元走査スキャナ３に対しスポット光走査の開始やステージ７のＺ軸（高さ）方向の走査を指示するとともに、光検出器９によって検出される試料６の光情報に基づいて、光量最大の画素の輝度情報と、高さ情報を求め、これらの結果から三次元像を生成する。さらに、処理装置１１は、カラーカメラ１７に対する撮像動作制御を行うと共に、シャッタ１６をその撮像動作に同期して開閉制御する。
【００３１】
これらの処理装置１１による処理は、処理装置１１に備えられたプロセッサ（不図示）によって、処理装置に備えられたＲＡＭやＲＯＭ等の不図示のメモリ（記録媒体）に格納（記録）されたコンピュータ・プログラムに基づいて実行される。
【００３２】
また、上記コンピュータ・プログラムを不図示の可搬記録媒体に格納し、不図示の媒体駆動装置を用いてその可搬記録媒体からそのコンピュータ・プログラムを読み出してメモリへコンピュータ・プログラムをロードすることとしてもよい。
【００３３】
また、処理装置１１に備えられた不図示のメモリは、処理装置１１で決定されるピーク光量情報や処理装置１１で演算される高さ情報などを記憶する。そして、表示部１３は、処理装置１１で生成された三次元像を、フレームメモリ１２を介して表示する。
【００３４】
＜作用＞
次に、このような構成を有する共焦点走査型顕微鏡による動作について、図２に示すフローチャートを用いて説明する。なお、同図において用いられる記号において、ｉ、ｊは、それぞれ画素のｘ、ｙ座標（ｉ＝１，２，３‥・，Ｎｉ、ｊ＝１，２，３‥・，Ｎｊ）を示す。ｘ座標及びｙ座標を用いて、撮像画像上の画素を特定する。ｋはステージ７の高さ位置（ｋ＝１，２，３…，Ｎｋ）を示し、ａ（ｉ，ｊ，ｋ）は共焦点光学系の光検出器により得られたスライス像の各座標に対応する画素ごとの光量データを示し、ｐ（ｉ，ｊ）は光量が最大となる画素の輝度情報を示し、ｈ（ｉ，ｊ）は、光量が最大となる時の試料６と対物レンズ５との相対距離を示す情報、ここでは、ステージ７の高さ情報を示す。
【００３５】
また、ｂ（ｉ，ｊ，ｍ）はカラーカメラ１７によりステージ７の高さ位置ｍにおいて撮像されたカラー画像データを示し、ｑ（ｉ，ｊ）はカラーデータが最大である画素のカラー情報を示す。
動作が開始されると、まず、ステップ２０１で初期化を行なう。この初期化では、処理装置１１によってメモリから動作のための諸条件が読み込まれる。その諸条件に基づいて、ステージ７は指定動作範囲における動作開始位置に移動される。光量データａ（ｉ，ｊ，ｋ）、光量最大の画素の輝度情報ｐ（ｉ，ｊ）、高さ情報ｈ（ｉ，ｊ）は初期値として０に設定される。また、カラー画像データｂ（ｉ，ｊ，ｍ）、及び、カラーデータが最大の画素のカラー情報ｑ（ｉ，ｊ）は初期値として、カラーの三原色であるＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）の各成分値が０に設定される。
【００３６】
次に、ステップ２０２で、シャッタ２を開けてシャッタ１６を閉じることにより、動作モードを共焦点光学系に切り替える。ステップ２０３では、光源１からのスポット光を二次元走査スキャナ３によりＸＹ方向に走査し、ステージ７の高さ位置ｋにおいて、試料６から反射されて光検出器９により検出される全画素の光量データａ（ｉ，ｊ，ｋ）を取得する。
【００３７】
ステップ２０４において、そのステージ位置で撮像された画像中の全画素について同一座標の画素ごとに、ステップ２０３で得られた光量データａ（ｉ，ｊ，ｋ）と、これまでで光量最大として記憶されている当該画素の輝度情報ｐ（ｉ，ｊ）との大小関係を比較して、新たに取得された光量データａ（ｉ，ｊ，ｋ）のほうが輝度情報ｐ（ｉ，ｊ）より大きいかどうか、すなわちａ（ｉ，ｊ，ｋ）＞ｐ（ｉ，ｊ）が成立するかどうかについて判断される。
【００３８】
ここで、ａ（ｉ，ｊ，ｋ）＞ｐ（ｉ，ｊ）が真である場合には、ステップ２０５に進み、輝度情報ｐ（ｉ，ｊ）をステップ２０３で得られた光量データａ（ｉ，ｊ，ｋ）に置き換える。そして、高さ情報ｈ（ｉ，ｊ）にこの時の高さ位置ｋを記憶させる。
【００３９】
次に、ステップ２０６で、ステージ７の高さ位置ｋを、次の高さ位置ｋ＋１に更新する。ステップ２０４において、ａ（ｉ，ｊ，ｋ）＞ｐ（ｉ，ｊ）が偽であった場合には、ステップ２０５を経由せずにステップ２０６に進む。
ステップ２０７において、次にデータを取得する高さ位置ｋ＋１が、予め指定された動作範囲内であるかどうかを判定して、範囲内であればステップ２０３に戻り、同様の動作を繰り返す。
【００４０】
これらの動作は、ステップ２０７で、ステージ７の高さ位置ｋが指定動作範囲の終了位置を超えるまで繰り返され、全スライス像の同一座標の各画素について光量が最大である画素の輝度情報ｐ（ｉ，ｊ）とステージ７の高さ情報ｈ（ｉ，ｊ）が検出される。
【００４１】
ステップ２０７で、高さ位置ｋが指定動作範囲の終了位置を超えた場合には、ステップ２０８に進み、これまでの動作により得られた高さ情報ｈを用いて三次元表示時の高さ情報を設定する。より具体的には、ある画素位置（ｘ，ｙ）についての三次元表示時の高さ情報を設定する場合、まず、この画素位置（ｘ，ｙ）での高さ情報ｈ（ｘ，ｙ）を取り出し、この高さ情報ｈ（ｘ，ｙ）を三次元表示時の高さ情報ｚ（ｘ，ｙ）として設定する。つまり、ｚ（ｘ，ｙ）＝ｈ（ｘ，ｙ）を設定する。
【００４２】
全てのスライス画像の全画素について、このような三次元表示時の高さ情報の設定が行われ、それにより三次元表示時の画像の全画素に対する高さマップが作成される。
次に、ステップ２０９で、シャッタ２を閉じてシャッタ１６を開けることにより、動作光学系をカラーカメラ１７側に切り替える。これにより、カラーカメラ１７による撮像が可能になるとともに、例えば、共焦点光学系においてレーザ光源を用いている場合でも、カラー画像にレーザ光のオフセットが乗ることがない。
【００４３】
ステップ２１０において、予め指定されたステージ７の高さ位置がメモリから読み込まれ、ステップ２１１でステージ７が指定位置へ移動される。この高さ位置は、例えば、前述の三次元表示時の高さ情報を求める工程において用いられたスライス像を取得する高さ間隔に、一定係数α（αは１以上の正の数）を掛けた間隔により決定される。この場合、三次元表示時の高さ情報を求める工程においてＮｋ枚のスライス像が取得されたとすると、カラー画像を取得する回数はＮｋ／α回となる。或いは、三次元表示時の高さ情報を求める工程における指定動作範囲の中心を基準として一定間隔毎に指定するような方法であってもよい。
【００４４】
カラー撮像は非共焦点撮像であり、三次元表示のための高さ情報を得る工程よりも、広い範囲でピントが合った画像となるため、このように三次元表示のための高さ情報を得る工程よりもα倍の広い間隔で撮像しても、最終的に合成されて全面に焦点が合った画像を得ることが期待できる。
【００４５】
次に、ステップ２１２で、カラーカメラ１７により該ステージ位置での全画素のカラー画像データｂ（ｉ，ｊ，ｍ）を取得する。
ステップ２１３において、そのステージ位置で撮像されたカラー画像中の全画素について、同一座標の画素ごとに、ステップ２１２で得られたカラー画像データｂ（ｉ，ｊ，ｍ）と、これまででカラー画像データが最大として記憶されている当該画素のカラー情報ｑ（ｉ，ｊ）との大小関係を比較して、新たに取得されたカラー画像データｂ（ｉ，ｊ，ｍ）のほうがカラー情報ｑ（ｉ，ｊ）より大きいかどうか、すなわちｂ（ｉ，ｊ，ｍ）＞ｑ（ｉ，ｊ）が成立するかどうかについて判断される。
【００４６】
ここで、ｂ（ｉ，ｊ，ｍ）＞ｑ（ｉ，ｊ）が真である場合には、ステップ２１４に進み、輝度情報ｑ（ｉ，ｊ）をステップ２１２で得られたカラー画像データｂ（ｉ，ｊ，ｍ）に置き換える。
ステップ２１３において、ｂ（ｉ，ｊ，ｍ）＞ｑ（ｉ，ｊ）が偽であった場合、もしくはステップ２１４が実行された場合には、ステップ２１５に進み、予め指定されたステージ高さ位置でのカラーカメラ１７による撮像が全て終了したかを判断し、終了していなければ、ステップ２１０に戻って同様の動作を繰り返す。
【００４７】
ステップ２１５で、カラー画像の撮像がステージ７の全ての指定位置において終了したと判断された場合は、ステップ２１６に進み、これまでの動作により得られたカラー情報ｑ（ｉ，ｊ）を用いて三次元表示時のカラー情報が設定される。より具体的には、ある画素位置（ｘ，ｙ）についての三次元表示時のカラー情報を設定する場合、この画素位置（ｘ，ｙ）でのカラー情報ｑ（ｘ，ｙ）を取り出し、このカラー情報ｑ（ｘ，ｙ）が三次元表示時のカラー情報ｃ（ｘ，ｙ，ｚ）として設定される。なお、ｃ（ｘ，ｙ，ｚ）のＺ座標の値ｚは、カラー画像が撮像された際のステージ７の高さ（位置）を示す。
【００４８】
ステップ２１７では、画像の全領域について、各画素の三次元表示時の高さ情報ｚ（ｘ，ｙ）および三次元表示時のカラー情報ｃ（ｘ，ｙ，ｚ）に基づいて、フレームメモリ１２を通して表示部１３に三次元像が表示される。
＜効果＞
従って、このようにすれば、試料６に対する各ステージ高さでの輝度情報を元に三次元表示のための高さ情報ｚ（ｘ，ｙ）が構築される。さらに、複数のカラースライス像中の画素のカラー情報が各画素において最大となるようにして、複数のカラースライス像のうちで焦点があった部分が合成されたカラー情報を作成し、そのカラー情報を三次元像の表面に貼り付ける。これにより、ボケが無いカラー画像を三次元像の表面に貼り付けて表示することができる。
【００４９】
また、カラー撮像時は共焦点撮像用の光源１からの光は完全に遮断されるので、光源１のオフセット光がカラー画像にのらず、実際の試料の色情報を三次元像に反映できる。
これにより、ユーザに対し、実際の試料の表面形状をより反映した、認識しやすい三次元像を提供することができる。さらに、図５（後述）に示すように、カラー撮像は、高さ情報を得る際のステージ位置の全数に対して行う必要が無いため、効率的に短時間で三次元表示時のカラー情報を得ることができる。
【００５０】
（第２の実施の形態）
＜構成＞
第１の実施の形態では、予めユーザ等により指定された条件に従ってカラー撮像する際ステージ位置を決定するようにしたが、第２の実施の形態では、対物レンズ５の焦点深度情報を用いて、カラー撮像する際のステージ位置を決定するようにしている。この場合、第２の実施の形態が適用される共焦点走査型顕微鏡の概略構成は、図１と同様であるため、同図を第２の実施の形態においても適用することとする。
【００５１】
＜作用＞
以下、第２の実施の形態に係わる共焦点走査型顕微鏡による動作について、図３に示すフローチャートを用いて説明する。まず、第２の実施の形態においても図２に示すフローチャートの三次元表示時の高さ情報を求める工程の部分、すなわちステップ２０１からステップ２０８までを、第１の実施の形態で述べたと同様にして行う。
【００５２】
続いて、ステップ３０１では、シャッタ２を閉じてシャッタ１６を開けることにより、動作モードをカラーカメラ１７側に切り替える。これにより、カラーカメラ１７による撮像が可能になるとともに、例えば、共焦点光学系の光源１としてレーザ光源を用いている場合でも、カラー画像にレーザ光のオフセットがのることが無い。
【００５３】
ステップ３０２において、対物レンズ５の焦点深度データに係数βを掛けた値を基準にして、カラー撮像を行うステージ位置が算出される。なお、対物レンズ５の焦点深度データは、処理装置１１に備えられた不図示のメモリに格納されることとしても良い。
【００５４】
より具体的には、焦点深度をΔ、初期オフセット位置をｔとすると、カラー撮像を行うステージ位置ｍは、ｍ＝（β×△）×ｎ＋ｔによって与えられる。ここで、ｎは０以上の整数（ｎ＝０，１，２，・・・）である。
非共焦点光学系においては、対物レンズ５の焦点深度の範囲内では、ピントがシャープに合っているため、この間隔β×Δに基づいて撮像を行い、最終的に焦点合成を行えば、ピントの漏れのない三次元表示のためのカラー情報を構築することができる。
【００５５】
次にステップ３０３で、ステップ３０２において求められたステージ位置が、三次元表示時の高さ情報を求める工程における動作範囲内であるかどうかを判断し、動作範囲内であれば、ステップ３０４に進み、ステージ７をステップ３０２で算出された位置に移動させる。
【００５６】
ステップ３０５では、カラーカメラ１７により該ステージ位置での全画素のカラー画像データｂ（ｉ，ｊ，ｍ）を取得する。
ステップ３０６において、そのステージ位置で撮影されたカラー画像中の全ての全画素について、同一座標の画素ごとに、ステップ３０５で得られたカラー画像データｂ（ｉ，ｊ，ｍ）と、これまででカラーデータ最大として記憶されている当該画素のカラー情報ｑ（ｉ，ｊ）との大小関係を比較して、新たに取得されたカラー画像データｂ（ｉ，ｊ，ｍ）のほうがカラー情報ｑ（ｉ，ｊ）より大きいかどうか、すなわちｂ（ｉ，ｊ，ｍ）＞ｑ（ｉ，ｊ）が成立するかどうかについての判断を行う。ここで、ｂ（ｉ，ｊ，ｍ）＞ｑ（ｉ，ｊ）が真である場合には、ステップ３０７に進み、輝度情報ｑ（ｉ，ｊ）をステップ３０５で得られたカラー画像データｂ（ｉ，ｊ，ｍ）に置き換える。
【００５７】
ステップ３０６において、ｂ（ｉ，ｊ，ｍ）＞ｑ（ｉ，ｊ）が偽であった場合、もしくはステップ３０７が実行された場合には、ステップ３０２に戻って同様の動作を繰り返す。
ステップ３０３で、ステップ３０２において算出されたステージ位置が、動作範囲外と判断された場合には、ステップ３０８に進み、これまでの動作により得られたカラー情報ｑ（ｉ，ｊ）を用いて三次元表示時のカラー情報を設定する。より具体的には、ある画素位置（ｘ，ｙ）についての三次元表示時のカラー情報を設定する場合、この画素位置（ｘ，ｙ）でのカラー情報ｑ（ｘ，ｙ）を取り出し、このカラー情報ｑ（ｘ，ｙ）を三次元表示時のカラー情報ｃ（ｘ，ｙ，ｚ）として設定する。
【００５８】
ステップ３０９では、画像の全領域について、各画素の三次元表示時の高さ情報ｚ（ｘ，ｙ）および三次元表示時のカラー情報ｃ（ｘ，ｙ，ｚ）に基づいて、フレームメモリ１２を通して表示部１３に三次元像を表示する。
＜効果＞
従って、このようにすれば、試料６に対する各ステージ高さでの輝度情報を元に三次元表示のための高さ情報ｚ（ｘ，ｙ）が構築される。さらに、対物レンズ５の焦点深度データに基づいた間隔だけ離れた複数のステージ位置においてカラースライス像を撮影し、その複数のカラースライス像中の画素のカラー情報が各画素において最大となるようにして、複数のカラースライス像のうちで焦点があった部分が合成されたカラー情報を作成し、そのカラー情報を三次元像の表面に貼り付ける。これにより、ボケが無いカラー画像を三次元像の表面に貼り付けて表示することができる。
【００５９】
また、カラー撮像時は共焦点撮像用の光源１からの光は完全に遮断されるので、カラー画像に光源１からのオフセット光がのらずに、実際の試料の色情報を三次元像に反映できる。
これにより、ユーザに対し、実際の試料の表面形状をより反映した、認識しやすい三次元像を提供することができる。
【００６０】
さらに、カラー撮像は、対物レンズ５の焦点深度データに基づいた間隔ずつステージ位置を変えて行われるため、同じピントで得られる画像を重複して撮像する無駄を省いて、短時間で三次元表示時のカラー情報を得ることができる。
（第３の実施の形態）
＜構成＞
第１の実施の形態では、予めユーザにより指定された条件に従ってカラー撮像するステージ位置を決定するようにしたが、第３の実施の形態では、三次元表示時の高さ情報を求める工程において得られる高さ頻度を用いて、カラー撮像するステージ位置を決定するようにしている。
【００６１】
第３の実施の形態が適用される共焦点走査型顕微鏡の概略構成は、図１と同様であるため、同図を第３の実施の形態においても適用することとする。
＜作用＞
以下、第３の実施の形態に係わる共焦点走査型顕微鏡による動作について、図４に示すフローチャートを用いて説明する。まず、第３の実施の形態においても、図２に示すフローチャートの三次元表示時の高さ情報を求める工程の部分、すなわちステップ２０１からステップ２０８までを、第１の実施の形態で述べたのと同様にして行う。
【００６２】
続いて、ステップ４０１では、ステップ２０８において得られた全画素の高さ情報ｚ（ｉ，ｊ）のヒストグラムを作成する。このヒストグラムは、高さ情報ｚに対する、その高さ情報を持つ画素の数の関係を示す。そして、ステップ４０２において、ヒストグラムに基づいて、カラー画像の撮像を行うべき複数のステージ位置のリストを作成する。
【００６３】
以下、具体的にカラー画像の撮像を行うべきステージ位置の決定方法についてより詳しく説明する。
図６に、ヒストグラムの一例を示す。図６において、横軸が高さ情報、つまりステージ位置を示す。縦軸は、そのステージ位置において輝度情報が最大となる画素の数、つまり頻度を示す。例えば、ステージ位置Ａにおいて、輝度情報が最大となる画素が２つあれば、頻度は２となる。
【００６４】
ステージ７のＺ軸方向の動作範囲は、複数のブロックに分割される。好ましくは、対物レンズ５の焦点深度データに基づいてブロック分けを行うとよい。図６において、点線は、これらのブロックの区切りを示す。処理装置１１は、一定の閾値以上の頻度面積（ブロックにおける頻度の積分値）を持つブロックの中心においてカラー撮像を行うように決定する。図６において、頻度面積が閾値以上であるブロックは、ｍ０、ｍ１、ｍ２及びｍ３の４ブロックであるとすると、ブロックｍ０、ｍ１、ｍ２及びｍ３のそれぞれのブロックの中心となるステージ位置が撮像位置として決定され、それぞれのステージ位置においてカラー画像の撮像が行われる。これにより、光軸に直交する観察試料面が含まれる高さ位置において、カラー画像を密に取得することができる。
【００６５】
ステップ４０３では、シャッタ２を閉じてシャッタ１６を開けることにより、動作モードをカラーカメラ１７側に切り替える。これにより、カラーカメラ１７による撮像が可能になるとともに、例えば、共焦点光学系にレーザ光源を用いている場合でも、カラー画像にレーザ光のオフセットがのることが無い。
【００６６】
ステップ４０４において、ステージ７をステップ４０２で算出されたステージ位置に移動させ、ステップ４０５で、カラーカメラ１７により該ステージ位置での全画素のカラー画像データｂ（ｉ，ｊ，ｍ）を取得する。
ステップ４０６において、そのステージ位置で撮影されたカラー画像中の全画素について、同一座標の画素ごとに、ステップ４０５で得られたカラー画像データｂ（ｉ，ｊ，ｍ）と、これまででカラー画像データが最大として記憶されている当該画素のカラー情報ｑ（ｉ，ｊ）との大小関係を比較して、新たに取得されたカラー画像データｂ（ｉ，ｊ，ｍ）のほうがカラー情報ｑ（ｉ，ｊ）よりも大きいかどうか、すなわちｂ（ｉ，ｊ，ｍ）＞ｑ（ｉ，ｊ）が成立するかどうかについての判断を行う。
【００６７】
ここで、ｂ（ｉ，ｊ，ｍ）＞ｑ（ｉ，ｊ）が真である場合には、ステップ４０７に進み、カラー情報ｑ（ｉ，ｊ）をステップ４０５で得られたカラー画像データｂ（ｉ，ｊ，ｍ）に置き換える。ステップ４０６において、ｂ（ｉ，ｊ，ｍ）＞ｑ（ｉ，ｊ）が偽であった場合、もしくはステップ４０７が実行された場合には、ステップ４０８に進み、全ての撮像位置においてカラー撮像がされたかどうかを判断する。まだカラー撮像していない撮像位置がある場合には、ステップ４０４に戻り、カラー撮像が全ての撮像位置において終了するまで、同様の処理を繰り返す。
【００６８】
ステップ４０８で、全ての撮像位置においてカラー撮像がされたと判断された場合には、ステップ４０９に進み、これまでの動作により得られたカラー情報ｑを用いて三次元表示時のカラー情報を設定する。
より具体的には、ある画素位置（ｘ，ｙ）について三次元表示時のカラー情報を設定する場合、この画素位置（ｘ，ｙ）でのカラー情報ｑを処理装置１１に備えられた不図示のメモリから取り出し、このカラー情報ｑを三次元表示時のカラー情報ｃ（ｘ，ｙ，ｚ）として設定する。
【００６９】
ステップ４１０では、画像の全領域について、各画素の三次元表示時の高さ情報ｚ（ｘ，ｙ）および三次元表示時のカラー情報ｃ（ｘ，ｙ，ｚ）に基づいて、フレームメモリ１２を通して表示部１３に三次元像を表示させる。
＜効果＞
従って、このようにすれば、試料６に対する各ステージ高さでの輝度情報を元に三次元表示のための高さ情報ｚ（ｘ，ｙ）が構築される。さらに、高さ情報の頻度データに基づいてカラー撮像をすべき複数のステージ位置を決定し、各ステージ位置で得られた複数のカラースライス像中の画素のカラー情報が各画素において最大となるようにして、複数のカラースライス像のうちで焦点があった部分が合成されたカラー情報を作成し、そのカラー情報を三次元像の表面に貼り付ける。これにより、焦点が合成されてボケが無いカラー画像を三次元像の表面に貼り付けて表示することができる。
【００７０】
また、カラー撮像時は共焦点撮像用の光源１からの光は完全に遮断されるので、オフセット光がカラー画像にのらずに、実際の試料の色情報を反映できる。これにより、観察者に対し、実際の試料の表面形状をより反映した、認識しやすい三次元像を表示できる。
【００７１】
さらに、カラー撮像は、共焦点画像中の画素の輝度情報が最大となるステージ位置を示す高さ情報に基づいた高さ位置で行われるため、高さ情報がほとんど無いステージ位置でカラー画像を撮影する無駄を省きつつ、短時間で三次元表示時のカラー情報を得ることができる。
【００７２】
以下、図５を用いて、本発明の各実施の形態において、画像を撮影する際のステージ位置について説明する。
図５に、共焦点撮像する際のステージ位置と、カラー撮像する際のステージ位置の関係を示す。図５において、縦方向は、Ｚ座標を示す。撮像開始時、ステージ７の指定動作範囲の開始位置にステージ７はある。なお、図５において、開始位置はステージ７の指定動作範囲の上限であるが、開始位置を限定する趣旨ではない。共焦点画像の撮像を開始すると、ステージ位置を移動させながら、一定間隔ずつ間隔があいたステージ位置において共焦点撮像を行う。ステージ７の指定動作範囲の終了位置に至ると、共焦点撮像を終了する。
【００７３】
続いて、カラー画像の撮像を開始する。カラー画像の撮像を行う際、カラー画像の撮像を行いながら、ステージ７の指定動作範囲の終了位置から開始位置にステージ位置が戻るようにステージ７を移動させることとしても良い。これにより、ステージ７を駆動するために要する時間を短くすることが可能となる。
【００７４】
本発明によれば、第１の実施の形態から第３の実施の形態のいずれの実施の形態であっても、カラー撮像を行う回数は、共焦点撮像を行う回数よりも少ない。以下、各実施の形態においてカラー撮像を行うステージ位置について説明する。
第１の実施の形態によれば、カラー撮像は、予め指定された複数のステージ位置において行われる。カラー撮像は、図５（１）に示すように一定間隔ずつ隔たったステージ位置において行われ、その間隔は、共焦点撮像を行う際のステージ位置の間隔をΔｈとすると、そのα倍でありα×Δｈとなる。なお、αは１以上の正の数である。
【００７５】
第２の実施の形態によれば、カラー撮像を行う際のステージ位置は、処理装置１１によって対物レンズ５の焦点深度データに基づいて決定される。より具体的には、図５（２）に示すように、カラー撮像は、一定間隔ずつ隔たったステージ位置において行われ、その間隔は、焦点深度をΔとすると、Δ×βである。βは、微調整のための正の値を持つ任意の係数である。
【００７６】
第３の実施の形態によれば、カラー撮像を行う際のステージ位置は、処理装置１１によって、三次元表示時の高さ情報に基づいて決定される。より具体的には、ステージ７の指定動作範囲を複数のブロックに分け、各ブロックに該当するステージ位置を示す三次元表示時の高さ情報を持つ画素数をカウントする。このカウント値がある定数以上になるブロックを複数抽出し、抽出された複数のブロックの中心に相当する複数のステージ位置においてカラー撮像を行う。なお、第３の実施の形態によれば、カラー撮像は、必ずしも一定間隔ずつ隔たったステージ位置において行われるのではない。例えば、光軸に直交する試料表面が含まれる高さ位置において、重点的にカラー撮像を行い、光軸に直交する資料表面がほとんど含まれない高さ位置では、カラー撮像を行わないようにすれば、効率的にデータ取得できる。
【００７７】
（変形例）
上述した３つの実施の形態では、対物レンズ５と試料６の相対距離はステージ７を移動させて変化させるようにしているが、対物レンズ５が上下する機構により対物レンズと試料６の相対距離を変化させる方法であってもかまわない。
【００７８】
また、上述した各実施の形態では、シャッタ２およびシャッタ１６により共焦点光学系とカラー撮像系の切り替えを行っているが、光源１の駆動を停止させることにより光源１の光がカラー撮像系に入らないようにする方法であってもよい。
【００７９】
カラー撮像時には、自動的に共焦点光学系の光源からの光をシャッタで遮蔽する、あるいは光源の駆動を停止することにより、カラー撮像時の撮像動作を簡略化することができる。
（付記）
光源から発した光を試料上に集光する対物レンズと、
前記試料からの反射光を共焦点絞りを通過させて検出して共焦点画像を示す信号を出力する検出器と、
前記対物レンズと前記試料を載置するステージとの前記光源の光軸方向の相対距離を変化させる駆動手段と、
前記検出器の信号に基づいて、前記試料の表面で前記共焦点画像の焦点が合った時の前記相対距離を示す高さ情報を求める高さ情報取得手段と、
前記対物レンズを介して前記試料のカラー画像データを取得するカラー画像撮像手段と、
異なる複数の前記相対距離において撮影された複数のカラー画像データに基づいて焦点合成された色情報を生成する色情報生成手段と、
前記高さ情報に基づいて生成された前記試料の表面の三次元画像を前記色情報と合成することにより着色された三次元画像を生成する着色手段と、
を備える顕微鏡において、
前記光源の光学系路上に配置された第１の遮光手段と、
前記カラー画像撮像手段の光学系路上に配置された第２の遮光手段と、
を更に備え、
前記第１及び第２の遮光手段は、互いに排他的に制御される、
ことを特徴とする顕微鏡。
【００８０】
これにより、カラー画像データを示す情報を取得する際には、共焦点画像を示す信号を得る時に使用される光源は自動的に第１の遮光手段によって遮蔽されるとともに、第２の遮光手段は開放される。従って、カラー画像データを取得するための撮像動作を従来より簡略にすることが可能となる。
【００８１】
対物レンズを介して試料の表面の三次元表示画像を生成する画像生成方法であって、
前記試料に照射された光の反射光を共焦点絞りを通過させて検出して共焦点画像を示す信号を生成し、
前記信号に基づいて前記試料の表面で前記共焦点画像の焦点が合った時の前記試料と前記対物レンズの相対距離を示す高さ情報を求め、
異なる複数の相対距離において複数のカラー画像データを取得し、
前記複数のカラー画像データに基づいて焦点合成された色情報を生成し、
前記高さ情報に基づいて生成された前記試料の表面の三次元画像と前記色情報とを合成することにより着色された三次元画像を生成する、
ことを含み、
前記カラー画像データを取得する際に、前記光源からの光を遮光する遮光手段を動作させる、
ことを更に含むことを特徴とする画像生成方法。
【００８２】
【発明の効果】
以上述べたように本発明によれば、簡易的、効率的に三次元表面像に貼り付けるための、ボケに影響されないカラー画像を構築することができ、観察者に対し認識し易い三次元像を表示することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る共焦点型顕微鏡の概略構成を示す図である。
【図２】第１の実施の形態に係わる顕微鏡の動作を示すためのフローチャートである。
【図３】第２の実施の形態に係わる顕微鏡の動作を示すためのフローチャートである。
【図４】第３の実施の形態に係わる顕微鏡の動作を示すためのフローチャートである。
【図５】共焦点撮像する際のステージ位置と、カラー撮像する際のステージ位置の関係を示す。
【図６】ヒストグラムの一例を示す図である。
【符号の説明】
１　光源
２　シャッタ
３　二次元走査スキャナ
４　ビームスプリッタ
５　対物レンズ
６　試料
７　ステージ
８　共焦点絞り
９　光検出器
１０　Ａ／Ｄ変換器
１１　処理装置
１２　フレームメモリ
１３　表示部１３
１４　白色光源
１５　ビームスプリッタ
１６　シャッタ
１７　カラーカメラ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a microscope for observing and measuring the height of a sample surface, and more particularly to a confocal scanning microscope that acquires height information and three-dimensionally displays it.
[0002]
[Prior art]
The confocal scanning microscope scans the sample surface with the light from the light source in the form of a spot, and converts only the light that has passed through the confocal aperture out of the reflected light from the sample surface into an electrical signal using a photodetector, The three-dimensional information of the sample surface is obtained.
[0003]
That is, in such a confocal scanning microscope, when the sample is focused on the optical axis, the reflected light from the sample surface can pass through the confocal stop and is detected by the photodetector. In contrast, when the sample is out of focus, most of the reflected light from the sample surface cannot pass through the confocal stop, and the amount of light detected by the photodetector is almost zero. Become. By utilizing this property, the spot light is two-dimensionally scanned on the sample surface while moving the sample surface at a predetermined pitch in the Z-axis direction, that is, in a direction orthogonal to the stage on which the sample is mounted. A plurality of slice images are obtained in the Z-axis direction. Since the optical axis position where the amount of light is maximum is considered to be the surface of the sample, by obtaining the optical axis position where the amount of light is largest among the plurality of slice images as height information indicating the height of the sample surface. The three-dimensional surface shape of the sample can be obtained.
[0004]
The surface shape thus obtained is displayed as a three-dimensional image on the display screen.
By the way, in such a three-dimensional image display, it is difficult to recognize the state of unevenness as it is, and thus, conventionally, a color pseudo-assigned to height information, a luminance pattern according to the height, and the like are pasted. Attachments have been made to facilitate surface information recognition.
[0005]
For example, according to the invention described in Japanese Patent Application Laid-Open No. 2001-82935, color information for each pixel obtained from a color imaging unit is pasted on a three-dimensional surface image to make it easy to understand the correspondence between a sample part and a three-dimensional display part. Attempts have been made.
[0006]
[Problems to be solved by the invention]
However, there is a high possibility that a one-plane color image includes a part that is out of focus, that is, a so-called blur. Therefore, when a one-dimensional color image is pasted on a three-dimensional surface image, there is a problem that a portion where the three-dimensional surface image is out of focus is likely to be formed.
[0007]
Further, in the invention described in JP-A-2001-82935, since the maximum amount of received light for each pixel is reflected in the luminance component of the color information for each pixel, confocal by monochromatic light due to the influence of chromatic aberration of the optical system. There is a possibility that the in-focus position is shifted between the maximum light amount position of the image and the color imaging of the non-confocal image using white light. For this reason, there is a high possibility that a blur is included in the created three-dimensional image.
[0008]
In addition, the light on the spot from the light source of the confocal optical system, in this case, the offset of the laser light is superimposed on the color image, so that the actual color information of the sample may not be faithfully reproduced.
In order to prevent this, it is necessary to prevent laser light from entering the color imaging means when performing color imaging.
[0009]
Therefore, when color imaging for obtaining height information is performed at all height positions where data is acquired, laser driving is stopped every time imaging is performed at each height position, or a shutter or the like is used. It was necessary to shield the laser light by the light shielding means. As a result, there has been a problem that the imaging operation is complicated.
[0010]
The present invention has been made in view of the above problems, and provides a confocal scanning microscope that can easily and efficiently obtain color information from which the effects of blur are eliminated and display a three-dimensional image that is easily recognized by an observer. Is the first task.
Further, a second object of the present invention is to simplify an imaging operation when capturing a color image.
[0011]
[Means for Solving the Problems]
According to the present invention, in a microscope, an objective lens for condensing light emitted from a light source on a sample, and a signal indicating a confocal image by detecting reflected light from the sample by passing through a confocal stop A driving means for changing the relative distance in the optical axis direction of the light source between the objective lens and the stage on which the sample is mounted, and a detector on the surface of the sample based on a signal from the detector. Height information obtaining means for obtaining height information indicating the relative distance when the confocal image is in focus, and color image imaging means for obtaining color image data of the sample via the objective lens, Color information generating means for generating focus-combined color information based on a plurality of color image data captured at the plurality of relative distances, and a three-dimensional image of the surface of the sample generated based on the height information Characterized in that it comprises a coloring unit for generating a three-dimensional image that is colored by synthesizing and the color information.
[0012]
Of the plurality of color image data, a focused portion is combined to generate color information, and the color information and the three-dimensional image are combined to obtain a colored three-dimensional image. This makes it possible to obtain an image that is out of focus, that is, does not include so-called blur.
[0013]
According to a second aspect of the present invention, in the first aspect of the present invention, a relative distance determining means for determining the relative distance when acquiring color image data based on focal depth information indicating the focal depth of the objective lens is further provided. It is characterized by having.
This makes it possible to automatically determine the optimum relative distance between the objective lens and the sample for acquiring color image data without the need of designation by a user or the like. Therefore, it is possible to save the trouble of designating by the user and prevent the color image data from being acquired at an unnecessary relative distance.
[0014]
According to a third aspect of the present invention, in the first aspect of the present invention, relative distance determining means for determining the relative distance between the objective lens and the sample when acquiring the color image data based on height information. Is further provided.
In this manner, similarly to the second aspect of the present invention, even if the user or the like does not specify the relative distance when acquiring color image data, the optimal relative distance between the objective lens and the sample for acquiring color image data can be obtained. The distance can be automatically determined, and it is possible to prevent color image data from being acquired at an unnecessary relative distance.
[0015]
According to a fourth aspect of the present invention, in the third aspect of the present invention, the height information obtaining means obtains height information for each pixel in the confocal image, and the relative distance determining means indicates the height information. The relative distance between the objective lens and the sample when acquiring color image data is determined based on the result of counting the pixels having the same relative distance.
[0016]
The invention according to claim 5 is an image generation method for generating a three-dimensional display image of the surface of a sample via an objective lens, wherein the reflected light of the light applied to the sample is detected by passing the reflected light through a confocal stop. A signal indicating a confocal image is generated, and height information indicating a relative distance between the sample and the objective lens when the confocal image is focused on the surface of the sample based on the signal is determined. Obtain a plurality of color image data at a relative distance, generate focus-combined color information based on the plurality of color image data, a three-dimensional image of the surface of the sample generated based on the height information And generating a colored three-dimensional image by combining the color information with the color information. According to this method, it is possible to obtain the same effect as the first aspect of the present invention.
[0017]
According to a sixth aspect of the present invention, in the fifth aspect of the present invention, the relative distance at the time of acquiring the color image data is determined based on focal depth information indicating a focal depth of the objective lens. It is characterized by including.
The invention according to claim 7 is the invention according to claim 5, further comprising: determining the relative distance between the objective lens and the sample when capturing the color image based on the height information. It is characterized by including.
[0018]
According to the invention described in claim 6, the objective lens that is optimal for acquiring color image data can be obtained without a user or the like specifying a relative distance when acquiring color image data. This makes it possible to automatically determine the relative distance to the sample, and to prevent the acquisition of color image data at an unnecessary relative distance.
[0019]
According to an eighth aspect of the present invention, in the invention according to the seventh aspect, the height information is obtained for each pixel in the confocal image, and counting of pixels having the same relative distance indicated by the height information is performed. Determining the relative distance between the objective lens and the sample when acquiring the color image data based on a result.
[0020]
According to a ninth aspect of the present invention, an objective lens for condensing light emitted from a light source on a sample, and detecting reflected light from the sample through a confocal stop to output a signal indicating a confocal image. A three-dimensional display image of the surface of the sample is generated based on information obtained by a device including a detector and a color image capturing unit that obtains color image data of the sample observed through the objective lens. A computer-readable recording medium having recorded thereon a program for causing a computer to perform control, wherein the confocal image is focused on the surface of the sample based on a signal indicating a confocal image from the detector. Height information indicating the relative distance between the sample and the objective lens at the time is obtained, and a plurality of color image data acquired by the color image imaging means at a plurality of different relative distances. Generates color information that is focus-synthesized based on the color information, and generates a colored three-dimensional image by synthesizing the color information with the three-dimensional image of the surface of the sample generated based on the height information. And causing the computer to execute the control including:
[0021]
The invention according to claim 10 is a computer program for causing a computer to perform control for generating a three-dimensional display image of the surface of a sample, wherein the reflected light of light applied to the sample is passed through a confocal stop. The height information indicating the relative distance between the sample and the objective lens when the focus of the confocal image is on the surface of the sample is determined based on the signal indicating the confocal image detected. It is colored by generating focus-combined color information based on a plurality of color image data at a distance, and combining the color information with a three-dimensional image of the surface of the sample generated based on the height information. And causing the computer to execute control including generating a three-dimensional image.
[0022]
According to any one of the ninth and tenth aspects of the invention, the same effect as that of the first aspect can be obtained.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the same reference numerals are given to the same devices and the like, and description thereof will be omitted.
(First Embodiment)
<Structure>
FIG. 1 shows a schematic configuration of a confocal scanning microscope to which the present invention is applied. As shown in FIG. 1, the confocal scanning microscope includes a light source 1, a shutter 2, a two-dimensional scanning scanner 3, a beam splitter 4, an objective lens 5, a stage 7, a confocal stop 8, a photodetector 9, an A / D. It includes a converter 10, a processing device 11, a frame memory 12, a display unit 13, a white light source 14, a beam splitter 15, a shutter 16, and a color camera 17.
[0024]
In the description, directions parallel to the stage 7 (horizontal direction) are referred to as X-axis directions and Y-axis directions, and directions perpendicular to the stage 7 (vertical directions) are referred to as Z-axis directions. The Z-axis direction is also the optical axis direction of the light sources 1 and 14. In FIG. 1, the vertical direction of the paper indicates the vertical direction, and the horizontal direction indicates the horizontal direction.
[0025]
The light source 1 is a point light source such as a laser beam. The spot light from the light source 1 is guided to a two-dimensional scanning scanner 3 via a shutter 2, passes through a beam splitter 4 and an objective lens 5, and is two-dimensionally scanned onto a surface of a sample 6 on a stage 7 and irradiated. . Here, as the shutter 2 and the shutter 16, a type that performs light blocking and passing by performing an opening and closing operation is used, but the shutter 2 and the shutter 16 are not limited to this type. However, the same effect can be obtained.
[0026]
The two-dimensional scanning scanner 3 has, for example, a galvano mirror or a resonant scanner (hereinafter, referred to as X scanner) for scanning in the X-axis direction and a galvano mirror (hereinafter, referred to as Y scanner) for scanning in the Y-axis direction. By oscillating the scanner and the Y scanner in the X-axis direction and the Y-axis direction, the spot light is oscillated on the sample 6 in the XY directions.
[0027]
The stage 7 places the sample 6 thereon. The stage 7 is controlled by the processing device 11 so that the sample 6 can be continuously moved in the optical axis direction of the spot light, that is, in the Z-axis direction.
The reflected light from the sample 6 returns to the two-dimensional scanning scanner 3 through the objective lens 5 and the beam splitter 4, and the reflected light from the two-dimensional scanning scanner 3 is guided to the photodetector 9 via the confocal stop 8. It has become.
[0028]
The light detector 9 converts light information received through the confocal stop 8 into an electric signal corresponding to the light amount. Then, the photodetector 9 is connected to the processing device 11 via the A / D converter 10.
The white light source 14 is a light source such as halogen or mercury. The light from the white light source 14 passes through the beam splitter 15 and the shutter 16 and further illuminates the sample 6 on the stage 7 through the beam splitter 4 and the objective lens 5 described above.
[0029]
Here, the shutter 16 has an exclusive relationship with the shutter 2 described above. When the shutter 16 is open, the shutter 2 is closed, and when the shutter 2 is open, the shutter 16 is closed. Is controlled by the processing device 11.
The white light reflected by the sample 6 is imaged on the color camera 17 through the objective lens 5, the beam splitter 4, the shutter 16, the beam splitter 15, and an imaging lens (not shown).
[0030]
The color camera 17 is connected to the processing device 11 and performs imaging control.
The display unit 13 is connected to the processing device 11 via a frame memory 12. The processing device 11 outputs control commands for various places. For example, the processing device 11 instructs the two-dimensional scanning scanner 3 to start spot light scanning and to scan the stage 7 in the Z-axis (height) direction, and at the same time, detects the optical information of the sample 6 , The luminance information and the height information of the pixel having the maximum light amount are obtained, and a three-dimensional image is generated from these results. Further, the processing device 11 controls the imaging operation of the color camera 17 and controls the opening and closing of the shutter 16 in synchronization with the imaging operation.
[0031]
The processing by these processing devices 11 is performed by a computer (not shown) stored (recorded) in a memory (recording medium) such as a RAM or a ROM provided in the processing device by a processor (not shown) provided in the processing device 11.・ It is executed based on the program.
[0032]
Further, the computer program is stored in a portable recording medium (not shown), and the computer program is read from the portable recording medium using a medium driving device (not shown) and the computer program is loaded into a memory. Is also good.
[0033]
A memory (not shown) provided in the processing device 11 stores peak light amount information determined by the processing device 11, height information calculated by the processing device 11, and the like. Then, the display unit 13 displays the three-dimensional image generated by the processing device 11 via the frame memory 12.
[0034]
<Action>
Next, the operation of the confocal scanning microscope having such a configuration will be described with reference to the flowchart shown in FIG. In the symbols used in the figure, i and j indicate the x and y coordinates (i = 1, 2, 3 ‥ ·, Ni, j = 1, 2, 3 ‥, Nj) of the pixel, respectively. A pixel on the captured image is specified using the x coordinate and the y coordinate. k indicates the height position (k = 1, 2, 3,..., Nk) of the stage 7, and a (i, j, k) indicates the coordinates of the slice image obtained by the photodetector of the confocal optical system. The light amount data for each corresponding pixel is shown, p (i, j) indicates the luminance information of the pixel having the maximum light amount, and h (i, j) indicates the sample 6 and the objective lens 5 when the light amount is the maximum. The information indicates the relative distance from the stage 7, here, the height information of the stage 7.
[0035]
B (i, j, m) indicates color image data captured by the color camera 17 at the height position m of the stage 7, and q (i, j) indicates color information of a pixel having the maximum color data. Show.
When the operation is started, first, in step 201, initialization is performed. In this initialization, the processing device 11 reads various conditions for operation from the memory. Based on the various conditions, the stage 7 is moved to the operation start position in the specified operation range. The light amount data a (i, j, k), the luminance information p (i, j) and the height information h (i, j) of the pixel having the maximum light amount are set to 0 as initial values. The color image data b (i, j, m) and the color information q (i, j) of the pixel having the largest color data are initially set to the respective components of the three primary colors RGB (Red Green Blue). The value is set to 0.
[0036]
Next, in step 202, the operation mode is switched to the confocal optical system by opening the shutter 2 and closing the shutter 16. In step 203, the two-dimensional scanning scanner 3 scans the spot light from the light source 1 in the X and Y directions, and at the height position k of the stage 7, the light amount of all pixels reflected from the sample 6 and detected by the photodetector 9. Data a (i, j, k) is obtained.
[0037]
In step 204, the light amount data a (i, j, k) obtained in step 203 and the light amount maximum so far are stored for each pixel having the same coordinates for all pixels in the image captured at the stage position. Compare the magnitude relationship with the luminance information p (i, j) of the pixel, and determine whether the newly acquired light amount data a (i, j, k) is greater than the luminance information p (i, j). It is determined whether or not a, i.e., a (i, j, k)> p (i, j) holds.
[0038]
If a (i, j, k)> p (i, j) is true, the process proceeds to step 205, where the luminance information p (i, j) is converted to the light amount data a ( i, j, k). Then, the height position k at this time is stored in the height information h (i, j).
[0039]
Next, in step 206, the height position k of the stage 7 is updated to the next height position k + 1. In step 204, if a (i, j, k)> p (i, j) is false, the process proceeds to step 206 without passing through step 205.
In step 207, it is determined whether or not the height position k + 1 at which the next data is to be acquired is within a previously specified operation range. If it is within the range, the process returns to step 203 and the same operation is repeated.
[0040]
These operations are repeated in step 207 until the height position k of the stage 7 exceeds the end position of the designated operation range, and the luminance information p ( i, j) and the height information h (i, j) of the stage 7 are detected.
[0041]
If the height position k exceeds the end position of the designated operation range in step 207, the process proceeds to step 208, and the height information at the time of three-dimensional display is obtained using the height information h obtained by the operation so far. Set. More specifically, when setting height information at the time of three-dimensional display for a certain pixel position (x, y), first, height information h (x, y) at this pixel position (x, y) is set. And the height information h (x, y) is set as height information z (x, y) at the time of three-dimensional display. That is, z (x, y) = h (x, y) is set.
[0042]
Such setting of the height information at the time of three-dimensional display is performed for all the pixels of all slice images, and thereby a height map for all the pixels of the image at the time of three-dimensional display is created.
Next, in step 209, the operation optical system is switched to the color camera 17 side by closing the shutter 2 and opening the shutter 16. This enables the color camera 17 to take an image, and for example, even when a laser light source is used in the confocal optical system, there is no offset of the laser light on the color image.
[0043]
In step 210, the height position of the stage 7 designated in advance is read from the memory, and in step 211, the stage 7 is moved to the designated position. This height position is obtained, for example, by multiplying a height interval for acquiring a slice image used in the above-described step of obtaining height information at the time of three-dimensional display by a constant coefficient α (α is a positive number of 1 or more). Is determined by the interval. In this case, assuming that Nk slice images have been obtained in the step of obtaining height information during three-dimensional display, the number of times color images are obtained is Nk / α times. Alternatively, a method may be used in which the information is specified at regular intervals based on the center of the specified operation range in the step of obtaining height information during three-dimensional display.
[0044]
Color imaging is non-confocal imaging, and since the image is focused over a wider range than the process of obtaining height information for three-dimensional display, the height information for three-dimensional display is thus obtained. Even if the image is picked up at an interval α times larger than the obtaining step, it can be expected that an image that is finally synthesized and focused on the entire surface is obtained.
[0045]
Next, in step 212, the color camera 17 acquires color image data b (i, j, m) of all pixels at the stage position.
In step 213, the color image data b (i, j, m) obtained in step 212 and the color image data obtained so far for all the pixels in the color image captured at the stage position for each pixel having the same coordinates. By comparing the magnitude relationship with the color information q (i, j) of the pixel in which the data is stored as the maximum, the newly acquired color image data b (i, j, m) has the color information q ( It is determined whether or not b (i, j)> q (i, j).
[0046]
Here, if b (i, j, m)> q (i, j) is true, the process proceeds to step 214, where the luminance information q (i, j) is converted into the color image data b obtained in step 212. (I, j, m).
In step 213, if b (i, j, m)> q (i, j) is false or if step 214 has been executed, the process proceeds to step 215, where the stage height position specified in advance is set. It is determined whether or not the imaging by the color camera 17 has been completed, and if not, the process returns to step 210 to repeat the same operation.
[0047]
If it is determined in step 215 that the imaging of the color image has been completed at all the designated positions on the stage 7, the process proceeds to step 216, and the color information q (i, j) obtained by the operation up to this point is used. Color information for three-dimensional display is set. More specifically, when setting color information for a certain pixel position (x, y) at the time of three-dimensional display, the color information q (x, y) at this pixel position (x, y) is extracted, and The color information q (x, y) is set as color information c (x, y, z) for three-dimensional display. The value z of the Z coordinate of c (x, y, z) indicates the height (position) of the stage 7 when a color image is captured.
[0048]
In step 217, for the entire area of the image, the frame memory 12 based on the height information z (x, y) of each pixel in three-dimensional display and the color information c (x, y, z) in three-dimensional display. Through the display, a three-dimensional image is displayed on the display unit 13.
<Effect>
Therefore, in this way, height information z (x, y) for three-dimensional display is constructed based on the luminance information at each stage height with respect to the sample 6. Further, the color information of the pixel in the plurality of color slice images is maximized in each pixel, and color information in which a focused portion of the plurality of color slice images is synthesized is created. Is attached to the surface of the three-dimensional image. Thereby, a color image without blur can be pasted and displayed on the surface of the three-dimensional image.
[0049]
Further, during color imaging, light from the light source 1 for confocal imaging is completely shut off, so that offset light of the light source 1 does not appear in a color image, and color information of an actual sample can be reflected in a three-dimensional image. .
Thereby, it is possible to provide the user with a three-dimensional image that is easy to recognize and reflects the actual surface shape of the sample. Further, as shown in FIG. 5 (to be described later), it is not necessary to perform color imaging for all the stage positions when obtaining height information, so that color information for three-dimensional display can be efficiently and quickly obtained. Obtainable.
[0050]
(Second embodiment)
<Structure>
In the first embodiment, the stage position is determined when performing color imaging according to the conditions specified in advance by the user or the like. In the second embodiment, the stage depth is determined using the focal depth information of the objective lens 5. The stage position at the time of color imaging is determined. In this case, since the schematic configuration of the confocal scanning microscope to which the second embodiment is applied is the same as that of FIG. 1, the same drawing is also applied to the second embodiment.
[0051]
<Action>
Hereinafter, the operation of the confocal scanning microscope according to the second embodiment will be described with reference to the flowchart shown in FIG. First, also in the second embodiment, the part of the process of obtaining height information at the time of three-dimensional display in the flowchart shown in FIG. 2, that is, steps 201 to 208, is performed in the same manner as described in the first embodiment. Do it.
[0052]
Subsequently, in step 301, the operation mode is switched to the color camera 17 side by closing the shutter 2 and opening the shutter 16. This enables the color camera 17 to take an image, and for example, even when a laser light source is used as the light source 1 of the confocal optical system, there is no offset of the laser light in the color image.
[0053]
In step 302, a stage position for performing color imaging is calculated based on a value obtained by multiplying the depth of focus data of the objective lens 5 by a coefficient β. Note that the depth of focus data of the objective lens 5 may be stored in a memory (not shown) provided in the processing device 11.
[0054]
More specifically, assuming that the depth of focus is Δ and the initial offset position is t, the stage position m for performing color imaging is given by m = (β × △) × n + t. Here, n is an integer of 0 or more (n = 0, 1, 2,...).
In the non-confocal optical system, the focus is sharp within the range of the depth of focus of the objective lens 5. Therefore, if imaging is performed based on this interval β × Δ and finally focus synthesis is performed, Color information for three-dimensional display without omission can be constructed.
[0055]
Next, at step 303, it is determined whether or not the stage position obtained at step 302 is within an operation range in a process of obtaining height information at the time of three-dimensional display. Then, the stage 7 is moved to the position calculated in step 302.
[0056]
In step 305, the color camera 17 acquires color image data b (i, j, m) of all pixels at the stage position.
In step 306, the color image data b (i, j, m) obtained in step 305 and the pixel data of all the pixels in the color image photographed at the stage position are obtained for each pixel having the same coordinates. By comparing the magnitude relationship with the color information q (i, j) of the pixel stored as the maximum color data, the newly acquired color image data b (i, j, m) has the color information q ( A judgment is made as to whether or not b (i, j)> q (i, j). Here, if b (i, j, m)> q (i, j) is true, the process proceeds to step 307, and the luminance information q (i, j) is converted to the color image data b obtained in step 305. (I, j, m).
[0057]
If b (i, j, m)> q (i, j) is false in step 306, or if step 307 has been executed, the process returns to step 302 and repeats the same operation.
If it is determined in step 303 that the stage position calculated in step 302 is out of the operation range, the process proceeds to step 308, and the tertiary position is calculated using the color information q (i, j) obtained by the operation up to now. Set the color information for the original display. More specifically, when setting color information for a certain pixel position (x, y) at the time of three-dimensional display, the color information q (x, y) at this pixel position (x, y) is extracted, and The color information q (x, y) is set as color information c (x, y, z) at the time of three-dimensional display.
[0058]
In step 309, the frame memory 12 is used for the entire area of the image based on the height information z (x, y) of each pixel in three-dimensional display and the color information c (x, y, z) in three-dimensional display. And a three-dimensional image is displayed on the display unit 13 through.
<Effect>
Therefore, in this way, height information z (x, y) for three-dimensional display is constructed based on the luminance information at each stage height with respect to the sample 6. Further, a color slice image is taken at a plurality of stage positions separated by an interval based on the focal depth data of the objective lens 5, and the color information of the pixels in the plurality of color slice images is maximized in each pixel. Then, color information in which the focused portion of the plurality of color slice images is synthesized is created, and the color information is pasted on the surface of the three-dimensional image. Thereby, a color image without blur can be pasted and displayed on the surface of the three-dimensional image.
[0059]
In addition, during color imaging, light from the light source 1 for confocal imaging is completely shut off, so that color information does not include offset light from the light source 1 and color information of the actual sample is converted into a three-dimensional image. Can be reflected.
Thereby, it is possible to provide the user with a three-dimensional image that is easy to recognize and reflects the actual surface shape of the sample.
[0060]
Furthermore, since color imaging is performed by changing the stage position at intervals based on the depth of focus data of the objective lens 5, it is possible to eliminate the need to redundantly capture images obtained with the same focus and to display the images three-dimensionally in a short time. The color information of the time can be obtained.
(Third embodiment)
<Structure>
In the first embodiment, the stage position for performing color imaging is determined in accordance with the conditions specified in advance by the user. However, in the third embodiment, the stage position is obtained in the step of obtaining height information during three-dimensional display. The stage position for color imaging is determined using the height frequency that is obtained.
[0061]
The schematic configuration of a confocal scanning microscope to which the third embodiment is applied is the same as that of FIG. 1, and therefore, this figure is also applied to the third embodiment.
<Action>
Hereinafter, the operation of the confocal scanning microscope according to the third embodiment will be described with reference to the flowchart shown in FIG. First, also in the third embodiment, the part of the step of obtaining the height information at the time of three-dimensional display in the flowchart shown in FIG. 2, that is, steps 201 to 208 has been described in the first embodiment. Perform in the same manner as described above.
[0062]
Subsequently, in step 401, a histogram of height information z (i, j) of all pixels obtained in step 208 is created. This histogram shows the relationship between the height information z and the number of pixels having the height information. Then, in step 402, a list of a plurality of stage positions at which a color image is to be captured is created based on the histogram.
[0063]
Hereinafter, a method of determining a stage position at which a color image is to be captured will be described in more detail.
FIG. 6 shows an example of the histogram. In FIG. 6, the horizontal axis indicates height information, that is, the stage position. The vertical axis indicates the number of pixels having the maximum luminance information at the stage position, that is, the frequency. For example, if there are two pixels with the maximum luminance information at the stage position A, the frequency is 2.
[0064]
The operating range of the stage 7 in the Z-axis direction is divided into a plurality of blocks. Preferably, the blocks are divided based on the depth of focus data of the objective lens 5. In FIG. 6, the dotted lines indicate the boundaries between these blocks. The processing device 11 determines to perform color imaging at the center of a block having a frequency area equal to or greater than a certain threshold (integral value of frequency in the block). In FIG. 6, assuming that the blocks whose frequency area is equal to or larger than the threshold are four blocks m0, m1, m2 and m3, the stage position at the center of each of the blocks m0, m1, m2 and m3 is the imaging position. And a color image is taken at each stage position. Thereby, a color image can be densely acquired at a height position including the observation sample plane orthogonal to the optical axis.
[0065]
In step 403, the operation mode is switched to the color camera 17 side by closing the shutter 2 and opening the shutter 16. This enables the color camera 17 to take an image, and for example, even when a laser light source is used in the confocal optical system, there is no offset of the laser light in the color image.
[0066]
In step 404, the stage 7 is moved to the stage position calculated in step 402, and in step 405, the color camera 17 acquires color image data b (i, j, m) of all pixels at the stage position.
In step 406, the color image data b (i, j, m) obtained in step 405 and the color image data so far are obtained for all the pixels in the color image captured at the stage position for each pixel having the same coordinates. By comparing the magnitude relationship with the color information q (i, j) of the pixel in which the data is stored as the maximum, the newly acquired color image data b (i, j, m) has the color information q ( It is determined whether or not b (i, j) is larger than i (j), that is, whether b (i, j, m)> q (i, j) holds.
[0067]
If b (i, j, m)> q (i, j) is true, the process proceeds to step 407, where the color information q (i, j) is converted to the color image data b obtained in step 405. (I, j, m). If b (i, j, m)> q (i, j) is false in step 406, or if step 407 has been executed, the process proceeds to step 408, where color imaging is performed at all imaging positions. Determine if it was done. If there is an imaging position where color imaging has not been performed yet, the process returns to step 404, and the same processing is repeated until color imaging is completed at all imaging positions.
[0068]
If it is determined in step 408 that color imaging has been performed at all imaging positions, the process proceeds to step 409, where color information for three-dimensional display is set using the color information q obtained by the operation up to now. .
More specifically, when color information at the time of three-dimensional display is set for a certain pixel position (x, y), the color information q at this pixel position (x, y) is not provided in the processing device 11. And sets this color information q as color information c (x, y, z) for three-dimensional display.
[0069]
In step 410, for the entire area of the image, the frame memory 12 based on the height information z (x, y) of each pixel in three-dimensional display and the color information c (x, y, z) in three-dimensional display. Through the display unit 13 to display a three-dimensional image.
<Effect>
Therefore, in this way, height information z (x, y) for three-dimensional display is constructed based on the luminance information at each stage height with respect to the sample 6. Furthermore, a plurality of stage positions where color imaging should be performed are determined based on the frequency data of the height information, and the color information of the pixels in the plurality of color slice images obtained at each stage position is maximized in each pixel. Then, color information in which the focused portion of the plurality of color slice images is synthesized is created, and the color information is pasted on the surface of the three-dimensional image. Thus, a color image with a combined focus and no blur can be displayed by pasting it on the surface of the three-dimensional image.
[0070]
Further, since light from the light source 1 for confocal imaging is completely shut off during color imaging, the color information of the actual sample can be reflected without the offset light appearing on the color image. As a result, an easily recognizable three-dimensional image reflecting the actual surface shape of the sample can be displayed to the observer.
[0071]
Furthermore, since color imaging is performed at a height position based on height information indicating a stage position at which the luminance information of the pixel in the confocal image is maximized, a color image is captured at a stage position where there is almost no height information. Color information at the time of three-dimensional display can be obtained in a short time while eliminating unnecessary waste.
[0072]
Hereinafter, the stage position at the time of capturing an image in each embodiment of the present invention will be described with reference to FIG.
FIG. 5 shows the relationship between the stage position for confocal imaging and the stage position for color imaging. In FIG. 5, the vertical direction indicates the Z coordinate. At the start of imaging, the stage 7 is at the start position of the designated operation range of the stage 7. In FIG. 5, the start position is the upper limit of the designated operation range of the stage 7, but is not intended to limit the start position. When the imaging of the confocal image is started, the confocal imaging is performed at the stage positions spaced by a fixed interval while moving the stage position. When the end position of the designated operation range of the stage 7 is reached, the confocal imaging ends.
[0073]
Subsequently, the imaging of a color image is started. When capturing a color image, the stage 7 may be moved so that the stage position returns to the start position from the end position of the designated operation range of the stage 7 while capturing the color image. As a result, the time required to drive the stage 7 can be reduced.
[0074]
According to the present invention, in any of the first to third embodiments, the number of times of performing color imaging is smaller than the number of times of performing confocal imaging. Hereinafter, a stage position at which color imaging is performed in each embodiment will be described.
According to the first embodiment, color imaging is performed at a plurality of stage positions specified in advance. As shown in FIG. 5A, the color imaging is performed at stage positions separated by a certain interval, and the interval is α times as long as the interval between the stage positions at the time of performing confocal imaging is Δh. × Δh. Here, α is a positive number of 1 or more.
[0075]
According to the second embodiment, the stage position when performing color imaging is determined by the processing device 11 based on the depth of focus data of the objective lens 5. More specifically, as shown in FIG. 5 (2), color imaging is performed at stage positions separated by a certain interval, and the interval is Δ × β, where Δ is the depth of focus. β is an arbitrary coefficient having a positive value for fine adjustment.
[0076]
According to the third embodiment, the stage position when performing color imaging is determined by the processing device 11 based on height information at the time of three-dimensional display. More specifically, the designated operation range of the stage 7 is divided into a plurality of blocks, and the number of pixels having three-dimensional display height information indicating a stage position corresponding to each block is counted. A plurality of blocks whose count value is equal to or greater than a certain constant are extracted, and color imaging is performed at a plurality of stage positions corresponding to the centers of the extracted plurality of blocks. According to the third embodiment, color imaging is not always performed at stage positions separated by a fixed interval. For example, color imaging is intensively performed at a height position that includes the sample surface orthogonal to the optical axis, and color imaging is not performed at a height position that hardly includes the sample surface that is orthogonal to the optical axis. If so, data can be obtained efficiently.
[0077]
(Modification)
In the above-described three embodiments, the relative distance between the objective lens 5 and the sample 6 is changed by moving the stage 7. However, the relative distance between the objective lens 5 and the sample 6 is changed by a mechanism for moving the objective lens 5 up and down. It may be a method of changing.
[0078]
In each of the above-described embodiments, the shutter 2 and the shutter 16 switch between the confocal optical system and the color imaging system. However, by stopping the driving of the light source 1, the light from the light source 1 is transmitted to the color imaging system. It may be a method of preventing entry.
[0079]
At the time of color imaging, by automatically blocking the light from the light source of the confocal optical system with the shutter or stopping the driving of the light source, the imaging operation at the time of color imaging can be simplified.
(Note)
An objective lens for condensing light emitted from the light source on the sample,
A detector that outputs a signal indicating a confocal image by detecting reflected light from the sample through a confocal stop,
Driving means for changing the relative distance in the optical axis direction of the light source between the objective lens and the stage on which the sample is mounted,
Based on the signal of the detector, height information obtaining means for obtaining height information indicating the relative distance when the confocal image is focused on the surface of the sample,
Color image capturing means for acquiring color image data of the sample via the objective lens,
Color information generating means for generating focus-combined color information based on a plurality of pieces of color image data captured at a plurality of different relative distances,
Coloring means for generating a colored three-dimensional image by combining a three-dimensional image of the surface of the sample generated based on the height information with the color information,
In a microscope comprising
First light blocking means disposed on an optical path of the light source;
A second light blocking unit disposed on an optical path of the color image capturing unit;
Further comprising
The first and second light blocking means are controlled exclusively from each other;
A microscope characterized in that:
[0080]
Thereby, when acquiring the information indicating the color image data, the light source used for obtaining the signal indicating the confocal image is automatically shielded by the first light shielding unit, and the second light shielding unit is Be released. Therefore, it is possible to simplify the imaging operation for acquiring color image data as compared with the related art.
[0081]
An image generation method for generating a three-dimensional display image of the surface of the sample via an objective lens,
Generate a signal indicating a confocal image by detecting the reflected light of the light applied to the sample through a confocal stop,
Obtain height information indicating the relative distance between the sample and the objective lens when the confocal image is focused on the surface of the sample based on the signal,
Acquiring a plurality of color image data at a plurality of different relative distances,
Generating focus-combined color information based on the plurality of color image data,
Generate a colored three-dimensional image by combining the three-dimensional image of the surface of the sample and the color information generated based on the height information,
Including
When acquiring the color image data, operating a light blocking unit that blocks light from the light source,
An image generation method, further comprising:
[0082]
【The invention's effect】
As described above, according to the present invention, it is possible to easily and efficiently attach a three-dimensional surface image to a three-dimensional image that is not affected by blur and can be easily recognized by a viewer. Can be displayed.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a confocal microscope according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing an operation of the microscope according to the first embodiment.
FIG. 3 is a flowchart showing an operation of the microscope according to the second embodiment.
FIG. 4 is a flowchart showing an operation of the microscope according to the third embodiment.
FIG. 5 shows a relationship between a stage position at the time of confocal imaging and a stage position at the time of color imaging.
FIG. 6 is a diagram illustrating an example of a histogram.
[Explanation of symbols]
1 light source
2 shutter
3 Two-dimensional scanning scanner
4 Beam splitter
5 Objective lens
6 samples
7 stages
8 confocal aperture
9 Photodetector
10 A / D converter
11 Processing equipment
12 frame memory
13 Display unit 13
14 White light source
15 Beam splitter
16 shutter
17 Color Camera

Claims

An objective lens for condensing light emitted from the light source on the sample,
A detector that outputs a signal indicating a confocal image by detecting reflected light from the sample through a confocal stop,
Driving means for changing the relative distance in the optical axis direction of the light source between the objective lens and the stage on which the sample is mounted,
Based on the signal of the detector, height information obtaining means for obtaining height information indicating the relative distance when the confocal image is focused on the surface of the sample,
Color image capturing means for acquiring color image data of the sample via the objective lens,
Color information generating means for generating focus-combined color information based on a plurality of pieces of color image data captured at a plurality of different relative distances,
Coloring means for generating a colored three-dimensional image by combining a three-dimensional image of the surface of the sample generated based on the height information with the color information,
A microscope comprising:

Based on depth of focus information indicating the depth of focus of the objective lens, relative distance determining means for determining the relative distance when acquiring the color image data,
The microscope according to claim 1, further comprising:

Based on the height information, relative distance determining means for determining the relative distance between the objective lens and the sample when acquiring the color image data,
The microscope according to claim 1, further comprising:

The height information obtaining means obtains the height information for each pixel in the confocal image,
The relative distance determination unit determines the relative distance between the objective lens and the sample when acquiring the color image data, based on a result of counting pixels having the same relative distance indicated by the height information. Do
The microscope according to claim 3, wherein:

An image generation method for generating a three-dimensional display image of the surface of the sample via an objective lens,
Generate a signal indicating a confocal image by detecting the reflected light of the light applied to the sample through a confocal stop,
Obtain height information indicating the relative distance between the sample and the objective lens when the confocal image is focused on the surface of the sample based on the signal,
Acquiring a plurality of color image data at a plurality of different relative distances,
Generating focus-combined color information based on the plurality of color image data,
Generate a colored three-dimensional image by combining the three-dimensional image of the surface of the sample and the color information generated based on the height information,
An image generation method comprising:

Based on the depth of focus information indicating the depth of focus of the objective lens, determine the relative distance when acquiring the color image data,
The image generating method according to claim 5, further comprising:

Based on the height information, determine the relative distance between the objective lens and the sample when capturing the color image,
The image generating method according to claim 5, further comprising:

The height information is obtained for each pixel in the confocal image,
The relative distance indicated by the height information is based on the counting result of the pixels having the same value, and the relative distance between the objective lens and the sample when acquiring the color image data is determined.
The method according to claim 7, further comprising:

An objective lens for condensing light emitted from the light source on the sample,
A detector that outputs a signal indicating a confocal image by detecting reflected light from the sample through a confocal stop and a color image that acquires color image data of the sample observed through the objective lens A computer-readable recording medium recording a program for causing a computer to perform control for generating a three-dimensional display image of the surface of the sample based on information obtained by an apparatus including an imaging unit,
Obtain height information indicating the relative distance between the sample and the objective lens when the confocal image is focused on the surface of the sample based on the signal indicating the confocal image from the detector,
Generating focus-combined color information based on a plurality of color image data obtained by the color image capturing means at a plurality of different relative distances,
A program for causing the computer to execute a control including generating a colored three-dimensional image by combining a three-dimensional image of the surface of the sample generated based on the height information and the color information is recorded. Recording medium.

A computer program for causing a computer to perform control for generating a three-dimensional display image of a surface of a sample,
Based on a signal indicating a confocal image by detecting the reflected light of the light applied to the sample through a confocal stop, the sample when the confocal image is focused on the surface of the sample. Obtain height information indicating the relative distance to the objective lens,
Generate focus-combined color information based on a plurality of color image data at a plurality of different relative distances,
Generate a colored three-dimensional image by combining the three-dimensional image of the surface of the sample and the color information generated based on the height information,
A computer program for causing the computer to execute control including: