JP2010121955A - 高さ情報取得装置、高さ情報取得方法、及びプログラム - Google Patents

Abstract

【課題】エラー領域の判定精度を向上させて、対象物の表面形状の計測をより適切に行えるようにする。
【解決手段】制御部１８は、焦点位置が異なる標本１の複数の顕微鏡画像を構成する各画素についてのコントラスト評価値を算出する。また、各画素に対し、所定の閾値を、画素の輝度に基づき画素毎に設定する。そして、各顕微鏡画像での位置が同一である画素についての最大コントラスト評価値と該閾値とを画素毎に比較し、最大コントラスト評価値が閾値よりも低い画素で構成されるエラー領域を抽出する。非エラー領域の画素については、該画素で表されている標本１の部位の高さの情報を、各顕微鏡画像の焦点位置の情報に基づき取得する。エラー領域の画素については、該高さの情報を、非エラー領域に含まれている各画素について取得した高さの情報に基づく補間演算により取得する。
【選択図】 図１

Description

本発明は計測技術に関し、特に、対象物の高さ情報を当該対象物の顕微鏡画像に基づいて計測する技術に関する。

顕微鏡装置を用いて取得される顕微鏡画像では、観察部位が対物レンズの焦点位置から離れていると、当該観察部位の像の高周波成分が失われ、コントラストが低下した像となる。このため、対象物の立体的な構造を観察する場合には、対象物の表面全体について焦点の合った画像である、全焦点画像を得る技術が求められている。

対象物の三次元的な表面形状を計測する技術として、Shape From Focus法という手法が従来から知られている。この手法は、焦点位置の異なる複数の画像を用いて対象物の三次元形状を計測するものである。この手法では、まず、観察対象の高さ方向に焦点位置の異なる複数の画像における同一位置の各画素（注目画素）について、コントラストの評価を行い、コントラストが一番高くなる画素を特定する。コントラストの評価手法としては、例えば、各画像において注目画素とその近傍の画素とでの輝度の微分値を算出する処理が行われ、この微分値が最大となるものが、コントラストが一番高くなる画素として特定される。そして、特定された画素が属している画像の取得時における焦点位置を、その注目画素の高さ情報とすることで、対象物の三次元形状データを得ることができる。

また、このときに、注目画素の輝度値として、コントラストが一番高くなったときの輝度値を、当該注目画素の高さ情報に対応する焦点位置の画像から取得して割り当てる処理を全ての注目画素について行うことで、対象物の全焦点画像を得ることができる。

このShape From Focus法において、対象物の表面部位のうち、模様が全く無い領域や模様若しくは形状の変化が緩やかな領域は、コントラストの変化が鈍くなるため、表面形状の計測を適切に行えないことがある。ここでは、このような領域をエラー領域と称することとする。

このようなエラー領域に関し、例えば、特許文献１には、コントラスト評価値が所定の閾値以下の部分をエラー領域と判定する技術が開示されている。
特許第４０９１４５５号公報

前述したエラー領域におけるコントラスト評価値は、その領域の輝度の高低により、異なる値となることがある。このコントラスト評価値の変動は、例えば、ノイズ、使用した顕微鏡の光学系では分解できない程に細かな模様変化や形状変化、あるいは、顕微鏡画像の撮像に使用したＣＣＤ（電荷結合素子）における輝度変換の非線形性などの影響によって生じる。例えば、ＣＣＤのショットノイズのレベルは出力信号の平行根に比例するため、明るい（輝度値の高い）エラー領域は、暗い（輝度値の低い）エラー領域に比較して、ノイズのバラツキが大きい傾向がある。このため、特許文献１の技術では、例えば、明るいエラー領域のコントラスト評価値の最大値を基準にして閾値を設定すると、暗い領域ではあるもののエラー領域ではない、適切な表面形状の計測が可能であった領域をエラー領域と誤判定してしまうことがあり得る。また、逆に、暗いエラー領域のコントラスト評価値の最大値を基準にして閾値を設定すると、明るい領域のうちエラー領域であるはずの領
域を、エラー領域ではないと誤判定してしまうことがあり得る。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、エラー領域の判定精度を向上させて、対象物の表面形状の計測をより適切に行えるようにすることである。

本発明の態様のひとつである高さ情報取得装置は、標本の高さ方向に焦点位置が互いに異なっている該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得装置であって、該顕微鏡画像の各々を構成する各画素についての該顕微鏡画像におけるコントラストの高さを示す数値であるコントラスト評価値を算出するコントラスト評価値算出手段と、該顕微鏡画像を構成する画素に対し、所定のコントラスト評価値を示す閾値を、該画素の輝度に基づき該画素毎に設定する閾値設定手段と、該複数の顕微鏡画像の各々での位置が同一である画素についての該コントラスト評価値のうち最高のコントラストを示すものである最大コントラスト評価値と該画素に対し該閾値設定手段が設定した閾値との比較を、該顕微鏡画像を構成する各画素について行って、該最大コントラスト評価値で示されているコントラストが該閾値で示されるコントラストよりも低い画素で構成される領域であるエラー領域を該顕微鏡画像から抽出するエラー領域抽出手段と、該顕微鏡画像における該エラー領域を除いた領域である非エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該複数の顕微鏡画像の各々についての該焦点位置の情報に基づき取得する非エラー領域高さ情報取得手段と、該エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該非エラー領域に含まれている各画素で表されている該標本の部位について該非エラー領域高さ情報取得手段が取得した高さの情報に基づく補間演算により取得するエラー領域高さ情報取得手段と、を有するというものである。

なお、上述した高さ情報取得装置において、該閾値設定手段は、該顕微鏡画像を構成する画素の輝度に対する、該顕微鏡画像を撮影した顕微鏡画像撮影手段が発生させるノイズ量の分布の実測結果に基づいて、該閾値を設定するように構成してもよい。

また、前述した高さ情報取得装置において、該閾値設定手段は、該複数の顕微鏡画像の各々での位置が同一である画素の輝度の平均値に基づき、該画素についての該閾値を設定するように構成してもよい。

また、前述した高さ情報取得装置において、該閾値設定手段は、該顕微鏡画像を構成する画素のうち輝度値が飽和しているものについては、該閾値を、コントラストが無限大であることを示す値に設定するように構成してもよい。

また、前述した高さ情報取得装置において、該閾値設定手段により設定された閾値の変更の指示を取得する閾値変更指示取得手段を更に有し、該エラー領域抽出手段は、該閾値変更指示取得手段が取得した指示に係る変更後の閾値に基づいて該エラー領域の抽出を行う、ように構成してもよい。

また、前述した高さ情報取得装置において、該閾値設定手段は、該複数の顕微鏡画像の各々についての焦点位置と該顕微鏡画像の各々で位置が同一である画素についての輝度値との対応関係を示す点をグラフ上にプロットすると共に、該グラフ上にプロットされた点を結ぶ曲線を描画する曲線描画手段と、該曲線描画手段がプロットした点において焦点位置の違いが最大である２点を結ぶ直線、又は、該２点と該２点の各々からそれぞれ近い順の、少なくとも１個以上の同数の点とを直線近似して結ぶ直線を該グラフ上に描画する直線描画手段と、を有し、該顕微鏡画像を構成する画素に対しての該閾値を、該画素につい
ての該曲線上において該画素についての該直線からの距離が最長である点が示している輝度値に基づき、取得するように構成してもよい。

また、前述した高さ情報取得装置において、該非エラー領域高さ情報取得手段は、該顕微鏡画像における該エラー領域を除いた領域である非エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該画素についての最大コントラスト評価値を得た顕微鏡画像についての該焦点位置の情報に基づき取得するように構成してもよい。

また、前述した高さ情報取得装置において、該顕微鏡画像を構成している全画素について取得された該標本の部位の高さの情報に基づき、各画素に対し、該高さに対応する該焦点位置である該顕微鏡画像における該画素の輝度値を割り当てることで、該標本の全焦点画像を生成する全焦点画像生成手段を更に有するように構成してもよい。

また、本発明の別の態様のひとつである高さ情報取得方法は、標本の高さ方向に焦点位置が互いに異なっている該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得方法であって、該顕微鏡画像の各々を構成する各画素についての顕微鏡画像におけるコントラストの高さを示す数値であるコントラスト評価値を算出し、該顕微鏡画像を構成する画素に対し、所定のコントラスト評価値を示す閾値を、該画素の輝度に基づき該画素毎に設定し、該複数の顕微鏡画像の各々での位置が同一である画素についての該コントラスト評価値のうち最高のコントラストを示すものである最大コントラスト評価値と該画素に対し設定した閾値との比較を、該顕微鏡画像を構成する各画素について行って、該最大コントラスト評価値で示されているコントラストが該閾値で示されるコントラストよりも低い画素で構成される領域であるエラー領域を該顕微鏡画像から抽出し、該顕微鏡画像における該エラー領域を除いた領域である非エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該複数の顕微鏡画像の各々についての該焦点位置の情報に基づき取得し、該エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該非エラー領域に含まれている各画素で表されている該標本の部位について取得した高さの情報に基づく補間演算により取得する、というものである。

また、本発明の更なる別の態様のひとつであるプログラムは、標本の高さ方向に焦点位置が互いに異なっている該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する処理をコンピュータに行わせるためのプログラムであって、該顕微鏡画像の各々を構成する各画素についての該顕微鏡画像におけるコントラストの高さを示す数値であるコントラスト評価値を算出するコントラスト評価値算出処理と、該顕微鏡画像を構成する画素に対し、所定のコントラスト評価値を示す閾値を、該画素の輝度に基づき該画素毎に設定する閾値設定処理と、該複数の顕微鏡画像の各々での位置が同一である画素についての該コントラスト評価値のうち最高のコントラストを示すものである最大コントラスト評価値と該画素に対し該閾値設定処理により設定した閾値との比較を、該顕微鏡画像を構成する各画素について行って、該最大コントラスト評価値で示されているコントラストが該閾値で示されるコントラストよりも低い画素で構成される領域であるエラー領域を該顕微鏡画像から抽出するエラー領域抽出処理と、該顕微鏡画像における該エラー領域を除いた領域である非エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該複数の顕微鏡画像の各々についての該焦点位置の情報に基づき取得する非エラー領域高さ情報取得処理と、該エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該非エラー領域に含まれている各画素で表されている該標本の部位について該非エラー領域高さ情報取得処理により取得した高さの情報に基づく補間演算により取得するエラー領域高さ情報取得処理と、をコンピュータに行わせる、というものである。

本発明によれば、以上のようにすることにより、エラー領域の判定精度が向上して、対象物の表面形状の計測がより適切に行えるようになるという効果を奏する。

以下、本発明の実施の形態を図面に基づいて説明する。なお、この実施の形態によりこの発明が限定されるものではない。
まず、図１について説明する。同図は、本発明の実施形態に係る顕微鏡システムの構成を示している。

図１に示した顕微鏡システム１００は、顕微鏡本体１０１と制御装置１０２とを備えている。
顕微鏡本体１０１は、ステージ２と、対物レンズ３と、レボルバ４と、焦準機構５と、架台６と、投光管７と、鏡筒８と、接眼ユニット９と、光源１１とを備えている。

ステージ２には標本１が載置される。対物レンズ３は、ステージ２に載置された標本１の上部に位置するようにレボルバ４により保持されている。架台６は、レボルバ４を保持すると共に、焦準機構５を介してステージ２を支持する。投光管７は架台６の上部に載置されており、接眼ユニット９は、投光管７の上部に鏡筒８を介して設置されている。光源１１は、不図示の光量調整ユニットが内蔵されており、出射する光の光量を調整することができ、この光量は、制御装置１０２の制御部１８により制御される。

対物レンズ３は、レボルバ４に対して着脱自在に取り付けられており、レボルバ４の回転動作に応じてステージ２上に配置される。ステージ２は、不図示の平面駆動機構によって対物レンズ３の光軸に直交した平面内で自在に移動させることができ、対物レンズ３に対する標本１の当該平面上での位置を変化させる。また、ステージ２は、焦準機構５によって昇降移動させることが可能であり、この昇降移動により対物レンズ３に対する標本１の焦点合わせが行われる。また、焦準機構５と後述の制御装置１０２とは電気的に接続されており、焦準機構５の昇降移動の動作も、制御装置１０２の制御部１８により制御される。

投光管７は、どちらも不図示である、照明光学系及び観察光学系を内部に備えている。投光管７の上部には撮像部としてのカメラ１２が備えられている。光源１１からの光は、投光管７内の照明光学系と対物レンズ３とを経て標本１に照射される。また、投光管７内の観察光学系は、対物レンズ３と協働して、照明されている標本１の観察像を結像させる。カメラ１２は、この観察像を撮像して観察画像（顕微鏡画像）を生成し、その観察画像データを制御装置１０２へ送付する。

鏡筒８は、不図示の結像レンズを内部に有しており、対物レンズ３と協働して、ステージ２の下部に配置されている不図示の照明装置により可視光が照射されている標本１の可視観察像を結像させる。この可視観察像は、接眼ユニット９を介して、ユーザにより目視観察がされる。

制御装置１０２は、画像データ等の各種情報の入力、出力、表示及び記憶をそれぞれ行う入力部１４、出力部１５、表示部１６、及び記憶部１７と、顕微鏡システム１００の各種動作を制御する制御部１８とを備えている。

入力部１４は、キーボード装置、マウス装置、及び通信装置等を用いて構成されており、ユーザからの各種設定パラメータ等の入力指示を、表示部１６に表示されるＧＵＩ（Gr
aphical User Interface）と連携して取得する。

出力部１５は、通信装置、携帯型記憶媒体等を用いて構成されており、観察画像データを含む各種データ及び処理データ等を外部に出力する。
表示部１６は、液晶ディスプレイ等を用いて構成されており、観察画像、設定情報、及び報知情報等を表示する。

記憶部１７は、ハードディスク装置、ＲＯＭ、及びＲＡＭ等を用いて構成されており、顕微鏡システム１００の各種動作を制御するための制御プログラムを予め記憶しておくと共に、観察画像データを含む各種観察データ等を必要に応じて記憶する。

制御部１８は、顕微鏡システム１００の各部の動作を制御するものであり、特に、光源、光源１１、カメラ１２、及びステージ２の制御を行う本体制御部１８ａと、三次元全焦点画像を生成する三次元全焦点画像生成部１８ｂとを備えている。三次元全焦点画像生成部１８ｂは、三次元全焦点画像を生成するための、当該各部の動作条件の設定処理や、取得した観察画像に対する各種画像処理を行う。

なお、制御部１８は、ＭＰＵ（演算処理装置）を用いて構成されており、記憶部１７に記憶されている制御プログラムをＭＰＵが読み出して実行することにより、上記の制御を行う。

なお、制御装置１０２は、例えば標準的な構成のコンピュータを用いて構成することもできる。標準的な構成のコンピュータとは、例えば、演算処理装置と、メインメモリと、記憶装置と、インタフェース部と、入力装置と、表示装置とを有して構成されているものである。ここで、演算処理装置は、制御プログラムの実行によってコンピュータ全体の動作制御を司る例えばＭＰＵであり、制御部１８として機能する。メインメモリは、演算処理装置が必要に応じてワークメモリとして使用する。記憶装置は、各種のプログラムや制御データなどを記憶して保存しておく例えばハードディスク装置である。このメインメモリ及び記憶装置は、記憶部１７として機能する。インタフェース部は、カメラ１２及び顕微鏡本体１０１との間で行われる各種のデータの授受を管理するものであり、出力部１５としても機能する。入力装置は、種々の操作に対応付けられて示されるユーザからの指示を取得するものであり、入力部１４として機能する。表示装置は、各種の情報の表示を行うものであり、表示部１６として機能する。

次に図２について説明する。図２は、図１に示した顕微鏡システム１００での標本１の全焦点画像の生成のために、制御部１８で行われる制御処理の処理内容をフローチャートで示したものである。

図２において、まず、Ｓｔｅｐ２１では、標本１の高さ方向（すなわち対物レンズ３の光軸方向）に対物レンズ３の焦点位置が互いに異なっている標本１の複数の顕微鏡画像をカメラ１２に撮影させる処理が行われる。この処理では、焦準機構５を制御して、標本１が載置されているステージ２と対物レンズ３との間の距離を、対物レンズ３の光軸方向に所定距離ずつ移動させる処理が行われる。そして、ステージ２が所定距離ずつ移動する度に、投光管７内の観察光学系と対物レンズ３との協働により得られる標本１の観察像をカメラ１２に撮影させて観察画像（顕微鏡画像）を複数生成させる処理が行われる。そして、この観察画像を表している観察画像データと、各観察画像の撮影時における焦点位置の情報とを、それぞれカメラ１２及び焦準機構５から制御装置１０２へ送付させる処理が行われる。ここで、制御部１８は、送付されてきた観察画像データと焦点位置の情報とを受け取ると、この両者を対応付けて記憶部１７に記憶させる処理が行われる。

次に、Ｓｔｅｐ２２では、前ステップの処理により撮影された顕微鏡画像の各々を構成
する各画素についての当該顕微鏡画像におけるコントラストの高さを示す数値であるコントラスト評価値を算出するコントラスト評価値算出処理が行われる。この処理では、コントラスト評価値として、注目画素と当該注目画素に隣接する画素との輝度の微分値の算出を行う。なお、この画素の輝度の微分値の算出処理では、エッジ抽出の画像処理用として周知である、ラプラシアン・フィルタ（Laplacian Filter）やソーベル・フィルタ（Sobel Filter）等の微分フィルタを用いる。

次に、Ｓｔｅｐ２３では合焦判定処理が行われる。この処理では、まず、複数の顕微鏡画像の各々での位置が同一である画素についてのコントラスト評価値のうち最高のコントラストを示すものである最大コントラスト評価値を取得する処理が行われる。そして、この画素の顕微鏡画像上の位置を示す座標情報に、取得した最大コントラスト評価値を対応付けて記憶部１７に記憶させる処理が行われる。

次に、Ｓｔｅｐ２４では閾値判定処理が行われる。この処理では、まず、顕微鏡画像を構成する画素に対し、所定のコントラスト評価値を示す閾値を、その画素の輝度に基づき画素毎に設定する閾値設定処理が行われる。そして、次に、前ステップの処理により取得されている最大コントラスト評価値と設定した閾値とを、顕微鏡画像を構成する各画素について比較する処理が行われる。そして、最大コントラスト評価値で示されているコントラストが閾値で示されるコントラストよりも低い画素で構成される領域を、エラー領域として、顕微鏡画像から抽出するエラー領域抽出処理が行われる。なお、閾値設定処理については、後で説明する。

次に、Ｓｔｅｐ２５では、非エラー領域高さ情報取得処理が行われる。この処理は、顕微鏡画像におけるエラー領域を除いた領域である、非エラー領域に含まれている各画素について、その画素で表されている標本１の部位の高さの情報を、複数の顕微鏡画像の各々についての焦点位置の情報に基づき取得する処理である。なお、本実施形態では、非エラー領域に含まれている各画素について、その画素で表されている標本１の部位の高さの情報として、その画素についての最大コントラスト評価値を得た顕微鏡画像についての焦点位置の情報を記憶部１７から取得する処理が行われる。この処理により取得された高さの情報は、その画素の顕微鏡画像上の位置を示す座標情報と対応付けられて記憶部１７に記憶される。

次に、Ｓｔｅｐ２６では、エラー領域高さ情報取得処理が行われる。この処理は、前述したエラー領域に含まれている各画素について、その画素で表されている標本１の部位の高さの情報を、エラー領域に含まれている各画素について前ステップの処理で取得した高さの情報に基づく補間演算により取得する処理である。この補間演算は、例えば以下のようにして行われる。

まず、非エラー領域に含まれている画素のうち、高さの情報の取得対象である対象画素から近い順に所定個数の画素ｉの高さ情報ｚｉを記憶部１７から読み出す処理を行う。次に、対象画素と画素ｉとの距離ｌｉを算出する処理を行う。そして、対象画素の高さ情報ｚを、下記の［数１］式による線形補間により算出する処理を行う。

次に、Ｓｔｅｐ２７では、標本１の全焦点画像の生成処理が行われる。この処理では、まず、全ての画素について、Ｓｔｅｐ２６までの処理により取得された各画素についての高さに対応する焦点位置の顕微鏡画像（Ｓｔｅｐ２１の処理により記憶部１７に記憶させた観察画像データ）を選択する。そして、選択された顕微鏡画像における同一位置の画素
の輝度値を、全ての画素に割り当てる。このようにすることで、標本１の全焦点画像が生成される。生成された全焦点画像の画像データを表示部１６に送付すると、表示部１６は、この画像データを読み出して標本１の全焦点画像を表示する。

以上までの制御処理を制御部１８に行わせることで、標本１の全焦点画像の生成が、図１に示した顕微鏡システム１００で行われる。
次に図３について説明する。図３は、図２に示した制御処理におけるＳｔｅｐ２４の処理である閾値判定処理の処理内容の一例をフローチャートで示したものである。

図３において、まず、Ｓｔｅｐ３１では、顕微鏡画像を構成する画素の輝度に対する、顕微鏡画像を撮影したカメラ１２が発生させるノイズ量の分布を実測する処理が行われる。この処理では、まず、全焦点画像の生成対象である標本１に代えて、模様が無く、反射率が互いに異なる複数の標本、例えば鏡面標本をステージ２に順次載置して、同一の光量の下でカメラ１２に撮影させる処理を行う。そして、得られた各画像を構成する各画素の平均輝度値Ｙ１，Ｙ２，…，Ｙｎと、各平均輝度値に対する標準偏差σ１，σ２，…，σｎとを算出する処理を行う。ここで、この標準偏差の大小は、カメラ１２が発生させるノイズ量の大小と見ることができる。そこで、図４に例示するグラフのように、この平均輝度値Ｙと標準偏差σとの関係を示す点をグラフ上にプロットし、各点を線で結ぶ処理を行う。このようにして得られる「Ｙ−σ」分布は、顕微鏡画像を構成する画素の輝度に対するカメラ１２が発生させるノイズ量の分布を表している。

次に、Ｓｔｅｐ３２では、顕微鏡画像を構成する画素の輝度に対する、カメラ１２が発生させるノイズ量の、コントラスト評価値の算出に使用した微分フィルタでの微分値の分布を作成する処理が行われる。

この処理は、前ステップの処理により取得したノイズ量（すなわち標準偏差σ）がコントラスト評価値に与える影響の程度が、コントラスト評価値の算出に使用する微分フィルタの種類によって異なることに配慮したものである。例えば、図５に示すように、コントラスト評価値の算出に５×５のラプラシアン・フィルタを使用した場合には、変化量が１であるノイズを微分すると、最大で２５の変化量となる。そこで、本実施形態では、この最大変化量に注目することとし、この場合には、標準偏差σと微分値Ｄｉｆｆとの関係を、Ｄｉｆｆ＝２５×σとする。そして、前ステップの処理により得られた「Ｙ−σ」分布にこの関係を取り入れて、「Ｙ−Ｄｉｆｆ」分布を求める。こうして、顕微鏡画像を構成する画素の輝度に対する、カメラ１２が発生させるノイズ量の微分値の分布が得られる。

次に、Ｓｔｅｐ３３では、前ステップの処理によって「Ｙ−σ」分布から求めた「Ｙ−Ｄｉｆｆ」分布に基づいて、顕微鏡画像を構成する画素の輝度Ｙに対する、所定のコントラスト評価値を示す閾値Ｔｈの分布である「Ｙ−Ｔｈ」分布を作成する処理が行われる。

この処理では、カメラ１２が発生させるノイズ量の微分値Ｄｉｆｆと閾値Ｔｈとは線形の関係を有しているものと仮定し、微分値Ｄｉｆｆと閾値Ｔｈとの関係をＴｈ＝ｋ×Ｄｉｆｆとする。ここで、所定値ｋは、予め設定されている固定値とする。そして、前ステップの処理により得られた「Ｙ−Ｄｉｆｆ」分布にこの関係を取り入れて、「Ｙ−Ｔｈ」分布を求める。こうして、顕微鏡画像を構成する画素に対し、所定のコントラスト評価値を示す閾値を、画素の輝度に基づき画素毎に設定するために使用する、「Ｙ−Ｔｈ」分布が得られる。

なお、上述した所定値ｋを、予め設定されている固定値とする代わりに、ユーザにが任意に設定できるようにしてもよい。
制御部１８は、「Ｙ−Ｔｈ」分布を表しているデータテーブルを以上のようにして作成
して、記憶部１７に記憶させて保存しておく処理を行う。ここで、制御部１８は、「Ｙ−Ｔｈ」分布の近似曲線を求め、その近似曲線を表すパラメータを算出して記憶部１７に記憶させて保存しておく処理を行うようにしてもよい。

次に、Ｓｔｅｐ３４では、図２のＳｔｅｐ２１の処理で記憶部１７に記憶させた観察画像データを読み出し、このデータで表されている複数の観察画像（顕微鏡画像）の各々での位置が同一である画素の輝度の加算平均値を各画素について算出する処理が行われる。

次に、Ｓｔｅｐ３５では、Ｓｔｅｐ３３の処理で作成した「Ｙ−Ｔｈ」分布において、Ｓｔｅｐ３４の処理で算出した平均輝度値に対応する閾値を、顕微鏡画像の各画素について取得する処理が行われる。

次に、Ｓｔｅｐ３６では、図２のＳｔｅｐ２３の処理で取得されている最大コントラスト評価値と設定した閾値とを、顕微鏡画像を構成する各画素について比較する処理が行われる。

次に、Ｓｔｅｐ３７では、エラー領域抽出処理が行われる。この処理では、顕微鏡画像を構成する画素のうち最大コントラスト評価値が閾値よりも小さい画素で構成される領域を、顕微鏡画像から抽出する処理が行われる。この処理により、最大コントラスト評価値で示されているコントラストが閾値で示されるコントラストよりも低い画素で構成される領域が、エラー領域として得られる。

以上のＳｔｅｐ３７までの処理を終えた後は、図２の制御処理へと処理を戻す。
以上の閾値判定処理により、顕微鏡画像を構成する画素に対する前述した閾値が、顕微鏡画像を構成する画素の輝度に対するカメラ１２が発生させるノイズ量の分布と、複数の顕微鏡画像の各々での位置が同一である画素の輝度の平均値とに基づいて決定される。このようにすることで、輝度値によりノイズ量が変化しても、閾値も輝度値に応じて変更されるので、標本１における観察対象部位が暗くても明るくても、エラー領域を適切に抽出することができる。従って、対象物の表面形状の計測がより適切に行えるようになり、標本１のより高精度な全焦点画像を得ることができるようになる。

なお、図３のＳｔｅｐ３３の処理において、前述した「Ｙ−Ｔｈ」分布は、重み値ｋの値を変更することで調整することができる。そこで、閾値の変更を示すユーザからの指示を入力部１４が受け取るようにし、この指示を受け取ったときには、重み値ｋの値を当該指示に係る値に変更する処理を制御部１８が行うようにする。そして、Ｓｔｅｐ３３の処理では、この変更後のｋの値を用いて「Ｙ−Ｔｈ」分布を作成する処理を制御部１８が行うようにする。すると、Ｓｔｅｐ３７のエラー領域抽出処理では、この変更後の「Ｙ−Ｔｈ」分布に基づくエラー領域の抽出が行われる。従って、顕微鏡画像におけるエラー領域の範囲を、ユーザが所望する精度に応じて調整することができる。

また、図３のＳｔｅｐ３５の処理において、各観察画像の画素のうち輝度が飽和しているものが存在した場合には、その画素についての閾値をコントラストが無限大であることを示す値に設定するようにしてもよい。このようにすることで、続くＳｔｅｐ３６及びＳｔｅｐ３７の処理により、この画素はエラー領域に含まれるものとして扱われ、その後の図２の処理により、この画素についての高さの情報が、エラー領域高さ情報取得処理（Ｓｔｅｐ２６）により取得される。

また、図３のＳｔｅｐ３１の処理では、画素の輝度に対するカメラ１２が発生させるノイズ量の分布の実測の際に、模様が無く、反射率が互いに異なる複数の標本を用いていた。この代わりに、模様が無く、反射率が一定である単一の標本を用いてこの分布の実測を
行うこともできる。この場合には、制御部１８は、光源１１の光量調整ユニットを制御して光源１１の光量を変化させながらこの標本をカメラ１２で順次撮影し、得られた各画像を構成する各画素の輝度値の平均値と標準偏差とを算出する処理を行うようにする。

また、前述した説明では、図２のＳｔｅｐ２１からＳｔｅｐ２３の処理は、標本１の複数の顕微鏡画像を全て取得してからコントラスト評価値の計算を行うようにしていた。この代わりに、標本１の顕微鏡画像を１枚取得する度に各画素のコントラスト評価値を算出して、算出した値が最大コントラスト評価値であるか否かを判定する処理を制御部１８に行わせることもできる。また、この処理に併せて、図３のＳｔｅｐ３４及びＳｔｅｐ３５の処理を行うようにして、顕微鏡画像を構成する各画素の輝度の加算平均値の算出と閾値の決定を、標本１の顕微鏡画像を１枚取得する度に行うようにしてもよい。このようにすると、閾値の決定までに要する時間が短縮される。

また、前述した図３のＳｔｅｐ３４の処理では、複数の顕微鏡画像の各々での位置が同一である画素の輝度の加算平均値を算出し、続くＳｔｅｐ３５の処理において、前述した閾値を、この加算平均値に基づいて取得するようにしていた。この代わりに、複数の顕微鏡画像の各々での位置が同一である画素の輝度を代表する値を、以下のようにして求めるようにしてもよい。

ここで図６について説明する。図６は、複数の顕微鏡画像の各々についての焦点位置（Ｚ）と、当該顕微鏡画像の各々で位置が同一である画素についての輝度値（Ｉ）との対応関係の一例を示したものであり、「Ｉ―Ｚカーブ」などとも称されているものである。

まず、制御部１８に、顕微鏡画像を構成する各画素について、この焦点位置と輝度値との対応関係を示す点をグラフ上にプロットすると共に、このグラフ上にプロットされた点を結ぶＩ―Ｚカーブを描画する曲線描画処理を行わせる。

次に、このプロットした点において焦点位置の違いが最大である２点と、この２点の各々からそれぞれ近い順の、少なくとも１個以上の同数の点とを直線近似して結ぶ直線をグラフ上に描画する直線描画処理を、制御部１８に行わせる。なお、図６では、プロットした点において焦点位置の違いが最大である２点Ｉ（０）及びＩ（ｎ）と、この２点の各々からそれぞれ近い順の２点である、Ｉ（１）及びＩ（２）並びにＩ（ｎ−１）及びＩ（ｎ−２）とを直線近似して結ぶ直線が描画されている。なお、この直線は、このプロットした点において焦点位置の違いが最大である２点を結ぶ直線としてもよい。

次に、曲線描画処理により描画されたＩ―Ｚカーブ上において、直線描画処理により描画された直線からの距離が最長である点が示している輝度値Ｉを各画素について取得する処理を、制御部１８に行わせる。

このようにして取得される輝度値Ｉは、この画素で表されている標本１の部位が焦点位置付近に位置してほぼ合焦状態となったときの値と考えられる。そこで、Ｓｔｅｐ３５の処理では、こうして得られる輝度値Ｉに対応する閾値を、「Ｙ−Ｔｈ」分布から取得するようにする。このようして、合焦位置に近い場合に想定される輝度値を用いて閾値を設定することで、エラー領域をより適切に抽出することができるようになる。

以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。

本発明の実施形態に係る顕微鏡システムの構成を示す図である。 制御処理の処理内容をフローチャートで示した図である。 閾値判定処理の処理内容の一例をフローチャートで示した図である。 画素の輝度の平均値と標準偏差との関係の一例を示す図である。 微分フィルタによるノイズ量の微分を説明する図である。 Ｉ―Ｚカーブを利用した閾値の設定を説明する図である。

符号の説明

１ 標本
２ ステージ
３ 対物レンズ
４ レボルバ
５ 焦準機構
６ 架台
７ 投光管
８ 鏡筒
９ 接眼ユニット
１１ 光源
１２ カメラ
１４ 入力部
１５ 出力部
１６ 表示部
１７ 記憶部
１８ 制御部
１８ａ 本体制御部
１８ｂ 三次元全焦点画像生成部
１００ 顕微鏡システム
１０１ 顕微鏡本体
１０２ 制御装置

Claims (10)

1. 標本の高さ方向に焦点位置が互いに異なっている該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得装置であって、
   該顕微鏡画像の各々を構成する各画素についての該顕微鏡画像におけるコントラストの高さを示す数値であるコントラスト評価値を算出するコントラスト評価値算出手段と、
   該顕微鏡画像を構成する画素に対し、所定のコントラスト評価値を示す閾値を、該画素の輝度に基づき該画素毎に設定する閾値設定手段と、
   該複数の顕微鏡画像の各々での位置が同一である画素についての該コントラスト評価値のうち最高のコントラストを示すものである最大コントラスト評価値と該画素に対し該閾値設定手段が設定した閾値との比較を、該顕微鏡画像を構成する各画素について行って、該最大コントラスト評価値で示されているコントラストが該閾値で示されるコントラストよりも低い画素で構成される領域であるエラー領域を該顕微鏡画像から抽出するエラー領域抽出手段と、
   該顕微鏡画像における該エラー領域を除いた領域である非エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該複数の顕微鏡画像の各々についての該焦点位置の情報に基づき取得する非エラー領域高さ情報取得手段と、
   該エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該非エラー領域に含まれている各画素で表されている該標本の部位について該非エラー領域高さ情報取得手段が取得した高さの情報に基づく補間演算により取得するエラー領域高さ情報取得手段と、
   を有することを特徴とする高さ情報取得装置。
2. 該閾値設定手段は、該顕微鏡画像を構成する画素の輝度に対する、該顕微鏡画像を撮影した顕微鏡画像撮影手段が発生させるノイズ量の分布の実測結果に基づいて、該閾値を設定することを特徴とする請求項１に記載の高さ情報取得装置。
3. 該閾値設定手段は、該複数の顕微鏡画像の各々での位置が同一である画素の輝度の平均値に基づき、該画素についての該閾値を設定することを特徴とする請求項１に記載の高さ情報取得装置。
4. 該閾値設定手段は、該顕微鏡画像を構成する画素のうち輝度値が飽和しているものについては、該閾値を、コントラストが無限大であることを示す値に設定することを特徴とする請求項１から３のうちのいずれか一項に記載の高さ情報取得装置。
5. 該閾値設定手段により設定された閾値の変更の指示を取得する閾値変更指示取得手段を更に有し、
   該エラー領域抽出手段は、該閾値変更指示取得手段が取得した指示に係る変更後の閾値に基づいて該エラー領域の抽出を行う、
   ことを特徴とする請求項１から４のうちのいずれか一項に記載の高さ情報取得装置。
6. 該閾値設定手段は、
   該複数の顕微鏡画像の各々についての焦点位置と該顕微鏡画像の各々で位置が同一である画素についての輝度値との対応関係を示す点をグラフ上にプロットすると共に、該グラフ上にプロットされた点を結ぶ曲線を描画する曲線描画手段と、
   該曲線描画手段がプロットした点において焦点位置の違いが最大である２点を結ぶ直線、又は、該２点と該２点の各々からそれぞれ近い順の、少なくとも１個以上の同数の点とを直線近似して結ぶ直線を該グラフ上に描画する直線描画手段と、
   を有し、該顕微鏡画像を構成する画素に対しての該閾値を、該画素についての該曲線上において該画素についての該直線からの距離が最長である点が示している輝度値に基づき、
   取得する、
   ことを特徴とする請求項１に記載の高さ情報取得装置。
7. 該非エラー領域高さ情報取得手段は、該顕微鏡画像における該エラー領域を除いた領域である非エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該画素についての最大コントラスト評価値を得た顕微鏡画像についての該焦点位置の情報に基づき取得することを特徴とする請求項１から６のうちのいずれか一項に記載の高さ情報取得装置。
8. 該顕微鏡画像を構成している全画素について取得された該標本の部位の高さの情報に基づき、各画素に対し、該高さに対応する該焦点位置である該顕微鏡画像における該画素の輝度値を割り当てることで、該標本の全焦点画像を生成する全焦点画像生成手段を更に有することを特徴とする請求項１から７のうちのいずれか一項に記載の高さ情報取得装置。
9. 標本の高さ方向に焦点位置が互いに異なっている該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得方法であって、
   該顕微鏡画像の各々を構成する各画素についての顕微鏡画像におけるコントラストの高さを示す数値であるコントラスト評価値を算出し、
   該顕微鏡画像を構成する画素に対し、所定のコントラスト評価値を示す閾値を、該画素の輝度に基づき該画素毎に設定し、
   該複数の顕微鏡画像の各々での位置が同一である画素についての該コントラスト評価値のうち最高のコントラストを示すものである最大コントラスト評価値と該画素に対し設定した閾値との比較を、該顕微鏡画像を構成する各画素について行って、該最大コントラスト評価値で示されているコントラストが該閾値で示されるコントラストよりも低い画素で構成される領域であるエラー領域を該顕微鏡画像から抽出し、
   該顕微鏡画像における該エラー領域を除いた領域である非エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該複数の顕微鏡画像の各々についての該焦点位置の情報に基づき取得し、
   該エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該非エラー領域に含まれている各画素で表されている該標本の部位について取得した高さの情報に基づく補間演算により取得する、
   ことを特徴とする高さ情報取得方法。
10. 標本の高さ方向に焦点位置が互いに異なっている該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する処理をコンピュータに行わせるためのプログラムであって、
    該顕微鏡画像の各々を構成する各画素についての該顕微鏡画像におけるコントラストの高さを示す数値であるコントラスト評価値を算出するコントラスト評価値算出処理と、
    該顕微鏡画像を構成する画素に対し、所定のコントラスト評価値を示す閾値を、該画素の輝度に基づき該画素毎に設定する閾値設定処理と、
    該複数の顕微鏡画像の各々での位置が同一である画素についての該コントラスト評価値のうち最高のコントラストを示すものである最大コントラスト評価値と該画素に対し該閾値設定処理により設定した閾値との比較を、該顕微鏡画像を構成する各画素について行って、該最大コントラスト評価値で示されているコントラストが該閾値で示されるコントラストよりも低い画素で構成される領域であるエラー領域を該顕微鏡画像から抽出するエラー領域抽出処理と、
    該顕微鏡画像における該エラー領域を除いた領域である非エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該複数の顕微鏡画像の各々についての該焦点位置の情報に基づき取得する非エラー領域高さ情報取得処理と、
    該エラー領域に含まれている各画素について、該画素で表されている該標本の部位の高さの情報を、該非エラー領域に含まれている各画素で表されている該標本の部位について
    該非エラー領域高さ情報取得処理により取得した高さの情報に基づく補間演算により取得するエラー領域高さ情報取得処理と、
    をコンピュータに行わせるためのプログラム。