JP2011133816A - 演算装置、演算方法、演算プログラム及び顕微鏡 - Google Patents

Abstract

【課題】本発明は、被写体像の取得効率を向上させる。
【解決手段】本発明は、基準像ＳＧの相関算出領域ＳＣＲが分割された分割領域ＳＤＲの代表点ＲＰに検索範囲Ｄを設定して相関及び視差を算出し、該代表点ＲＰの視差に基づいて分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対して代表点ＲＰに設定した検索範囲Ｄより狭い検索範囲Ｄ１〜Ｄ４のいずれかを設定して相関及び視差を算出するようにしたことにより、基準像ＳＧの各画素に対する比較像ＣＧの相関及び視差を算出する演算回数を大幅に削減することができるので、組織切片ＴＳの凹凸情報を高速に算出することができ、かくして被写体像の取得効率を向上させることができる。
【選択図】図７

Description

本発明は演算装置、演算方法、演算プログラム及び顕微鏡に関し、例えば生体サンプルを拡大して観察する分野に適用して好適なものである。

病理診では、組織切片などの生体サンプルはスライドガラスに固定され、染色過程及び封入過程を経てプレパラートとして作製される。一般に、プレパラートの保管期間が長期間となると、生体サンプルの劣化や退色等によりプレパラートに対する顕微鏡での視認性が悪くなる。また、プレパラートはそれを作製した病院等の施設以外の施設で鏡検されることもあるが、該プレパラートの受け渡しは一般に郵送であり、一定の時間を要する。

このような実情等に鑑み、生体サンプルを画像データとして保存する装置が提案されている（例えば特許文献１参照）。

特開２００９−１７５３３４公報

ところで生体サンプルを画像データとして取得する際、該生体サンプルに光学レンズの焦点を合わせるために、光学レンズの光軸方向における生体サンプルの位置を把握する必要がある。

従来では、光学レンズの光軸方向へ所定間隔ごとに光学レンズの焦点をずらし、これら焦点での撮像画像のコントラストに基づいて生体サンプルの位置を検出する。例えば、光学レンズの光軸方向への検索範囲が１００[μｍ]であり、該生体サンプルに集光する光学レンズの被写体深度が１[μｍ]である場合、おおよそ１００枚の撮像画像から生体サンプルの位置を検出することになる。

これでは、生体サンプルの位置を検出するまでに相当の時間が必要となり、生体サンプルを画像データとして取得する効率が著しく低下することになる。

一方、物体の位置を検出する方法としてステレオカメラを用いる方法もある。一般的なステレオカメラは、２つのカメラにより被写体像をそれぞれ取得し、基準となる一方の像の画素と他方の像における所定の検索範囲の画素との相関を求め、該相関が最も高い画素とのずれ量（視差）に基づいて、被写体の位置を算出する。

ここでステレオカメラは、不連続に配置された物体の位置を検出するため、基準となる一方の像の各画素に対する比較像の検索範囲が全て同一に設定されている。

従って、この方法を用いて生体サンプルの位置を検出することも考えられるが、この方法を用いても、相関を求めるのに相当の時間が必要となり、生体サンプルを画像データとして取得する効率が著しく低下することになる。

本発明は以上の点を考慮してなされたもので、被写体像の取得効率を向上させ得る厚み演算装置、演算方法、演算プログラム及び顕微鏡を提案しようとするものである。

かかる課題を解決するため本発明においては、演算装置であって、サンプルの位相差像を取得する像取得部と、位相差像における一方の像に設定された代表とすべき画素及び代表とすべき画素以外の画素に対して、位相差像における他方の像での検索対象とすべき画素の範囲を設定する検索範囲設定部と、一方の像の各画素と、該各画素に対して設定された範囲の画素との相関を算出する相関算出部と、算出された相関を基に、一方の像の各画素に対する視差を算出する視差算出部とを有し、検索範囲設定部は、代表とすべき画素に対して算出された視差に基づいて、代表とすべき画素以外の画素に対して、代表とすべき画素に対して設定された範囲より狭い範囲を設定する。

また本発明においては、演算方法であって、サンプルの位相差像を取得する像取得ステップと、位相差像における一方の像の代表とすべき画素及び代表とすべき画素以外の画素に対して、位相差像における他方の像の検索対象とすべき画素の範囲を設定する検索範囲設定ステップと、一方の像の画素と、該画素に対して設定された範囲の画素との相関を算出する相関算出ステップと、算出された相関を基に、一方の像の画素に対する視差を算出する視差算出ステップとを有し、検索範囲設定ステップでは、代表とすべき画素に対して算出された視差に基づいて、代表とすべき画素以外の画素に対して、代表とすべき画素に対して設定された範囲より狭い範囲を設定する。

さらに本発明においては、演算プログラムであって、コンピュータに対して、サンプルの位相差像を取得する像取得ステップと、位相差像における一方の像の代表とすべき画素及び代表とすべき画素以外の画素に対して、位相差像における他方の像の検索対象とすべき画素の範囲を設定する検索範囲設定ステップと、一方の像の画素と、該画素に対して設定された範囲の画素との相関を算出する相関算出ステップと、算出された相関を基に、一方の像の画素に対する視差を算出する視差算出ステップとを実行させ、検索範囲設定ステップでは、代表とすべき画素に対して算出された視差に基づいて、代表とすべき画素以外の画素に対して、代表とすべき画素に対して設定された範囲より狭い範囲を設定する。

さらに本発明においては、顕微鏡であって、対物レンズから入射する光を直進又は反射させるミラーと、対物レンズに結像され、ミラーの直進側又は反射側の一方に投影される被写体像を撮像するための第１の撮像素子と、ミラーの直進側又は反射側の他方の後方に一対を単位として設けられ、対物レンズの被写体深度よりも広い被写体深度となる大きさとされる開口と、開口の後方にそれぞれ設けられ、ハーフミラーの透過側又は反射側の他方に投影される被写体像の予定結像面に対して位相差像を形成するためのセパレータレンズと、予定結像面を撮像面として設けられる第２の撮像素子と、第２の撮像素子から、サンプルの位相差像を取得する像取得部と、位相差像における一方の像の代表とすべき画素及び代表とすべき画素以外の画素に対して、位相差像における他方の像の検索対象とすべき画素の範囲を設定する検索範囲設定部と、一方の像の画素と、該画素に対して設定された範囲の画素との相関を算出する相関算出部と、算出された相関を基に、一方の像の画素に対する視差を算出する視差算出部とを有し、検索範囲設定部は、代表とすべき画素に対して算出された視差に基づいて、代表とすべき画素以外の画素に対して、代表とすべき画素に対して設定された範囲より狭い範囲を設定する。

これにより、代表とすべき画素に対する相関を広い範囲で検索して視差を求め、その視差に基づいて代表とすべき画素以外の画素に対する相関を狭い範囲で検索して視差を求めるようにしたので、演算回数を大幅に削減することができる。

以上のように本発明によれば、代表とすべき画素に対する相関を広い範囲で検索して視差を求め、その視差に基づいて代表とすべき画素以外の画素に対する相関を狭い範囲で検索して視差を求めるようにしたので、演算回数を大幅に削減することができ、かくして被写体像の取得効率を向上させることができる。

顕微鏡の構成を示す概略図である。 組織切片の撮影対象像と位相差像を示す写真である。 統括制御部の機能的構成を示す概略図である。 代表点に対する検索範囲の設定の説明に供する概略図である。 代表点以外の画素に対する検索範囲の設定の説明に供する概略図である。 組織切片の厚みに応じた相関分布を示す概略図である。 演算処理手順を示すフローチャートである。 一般的なステレオカメラの構成を示す概略図である。 他の実施の形態における分割例の説明に供する概略図である。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
＜１．実施の形態＞
＜２．他の実施の形態＞

＜１．実施の形態＞
［１−１．顕微鏡の構成］
図１において、本一実施の形態による顕微鏡１を示す。この顕微鏡１は、プレパラートＰＲＴが配される板状のステージ１１を有する。

プレパラートＰＲＴは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片ＴＳを、所定の固定手法によりスライドガラスに固定し封入したものであり、該組織切片ＴＳには必要に応じて染色が施される。この染色には、ＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色と呼ばれる染色のみならず、ＦＩＳＨ(Fluorescence In-Situ Hybridization)や酵素抗体法等の特殊染色と呼ばれる染色が含まれる。

ステージ１１にはステージ駆動機構１２が設けられる。このステージ駆動機構１２は、ステージ面に対して平行となる方向（Ｘ軸−Ｙ軸方向）と、直交する方向（Ｚ軸方向）にステージ１１を駆動するものとされる。ちなみに、プレパラートＰＲＴが配される側のステージ面（以下、これをプレパラート配置面とも呼ぶ）には、一般に、プレパラートＰＲＴを定位置に抑止する抑止部（図示せず）が設けられる。

ステージ１１のプレパラート配置面とは逆の面側には光源１３が配される。光源１３は、一般染色が施された組織切片ＴＳを照明する光（以下、これを明視野照明光とも呼ぶ）と、特殊染色が施された組織切片ＴＳを照明する光（以下、これを暗視野照明光とも呼ぶ）とを切り換えて照射可能なものとされる。ただし、明視野照明光又は暗視野照射光のいずれか一方だけが照射可能なものであってもよい。光源１３とステージ１１との間には、プレパラート配置面における基準位置の法線を光軸とするコンデンサレンズ１４が配される。

ステージ１１のプレパラート配置面側には、ステージ面における基準位置の法線を光軸とする所定倍率の対物レンズ１５が配される。この対物レンズ１５の後方には、該対物レンズ１５の主結像面となる面を撮像面とする撮像素子１６が配される。

また顕微鏡１には、プレパラート配置面側における基準位置の法線上の対物レンズ１５と撮像素子１６との間にハーフミラー１７が設けられる。ハーフミラー１７は、対物レンズ１５から入射する光を透過光と反射光とに分割する。

フィールドレンズ１８は、ハーフミラー１７の例えば反射側に投影される対物レンズ１５の被写体像を後方（予定される結像面）にリレーする。このフィールドレンズ１８では、ハーフミラー１７で反射される被写体光が集められるため、視野周辺における明度の低下が抑制される。

絞りマスク１９は、フィールドレンズ１８の後方に配され、該フィールドレンズ１８の光軸と直交する面のうちその光軸を境界として対称となる位置に一対の開口１９Ａ、１９Ｂを有する。これら開口１９Ａ、１９Ｂの大きさは、対物レンズ１５の被写体深度よりもセパレータレンズ２０Ａ、２０Ｂの被写体深度が広くなるよう調整される。

絞りマスク１９は、これら開口１９Ａ、１９Ｂによって、フィールドレンズ１８から入射する被写体光束を分割する。分割光束は、被写体光束の結像面で交差し、該結像面の前後で位置関係が入れ換わる光束となる。

セパレータレンズ２０Ａ、２０Ｂは、一対の開口１９Ａ、１９Ｂの後方にそれぞれ個別に配される。このセパレータレンズ２０Ａ、２０Ｂは、対応する開口１９Ａ、１９Ｂによって分割される分割光束をアオリ結像（シフト）させ、フィールドレンズ１８によってリレーされる予定結像面に対して１組の被写体像（以下、これを位相差像とも呼ぶ）を形成する。

なお、セパレータレンズ２０Ａ、２０Ｂがフィールドレンズ１８の口径蝕（ケラレ）に掛かると、分割光束の一部が欠損する。このためセパレータレンズ２０Ａ、２０Ｂは、口径蝕に掛からないようフィールドレンズ１８の中央側に寄せて配置される。

撮像素子２１は、ラインセンサではなく、フィールドレンズ１８によってリレーされる被写体像の予定結像面を撮像面とするエリアセンサとされる。

ここで、対物レンズ１５の主結像面に配される撮像素子１６で撮像される明視野像（撮影対象像）と、該対物レンズ１５の予定結像面に配される撮像素子２１で撮像される位相差像との写真を図２に示す。この図２からも分かるように、撮像素子１６の撮像面（主結像面）に結像される明視野像は、セパレータレンズ２０Ａ、２０Ｂによって位相差像として撮像素子２１の撮像面（予定結像面）に結像される。

この顕微鏡１における制御系として、ステージ駆動機構１２にはステージ駆動制御部３１が、光源１３には照明制御部３２が、撮像素子１６には撮像制御部３３が、撮像素子２１には位相差像撮像制御部３４がデータ通信路を介して接続される。

これら制御系は、ＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)、ＣＰＵのワークメモリとなるＲＡＭ(Random Access Memory)及び演算回路などを含むコンピュータとされる。

ステージ駆動制御部３１は、ステージ駆動機構１２を駆動制御し、コンデンサレンズ１４によって集められる集光部分にプレパラートＰＲＴの組織切片ＴＳが割り当てられるようステージ面方向（Ｘ軸−Ｙ軸方向）にステージ１１を移動させる（走査させる）。

またステージ駆動制御部３１は、ステージ駆動機構１２を駆動制御し、集光部分に割り当てられる組織切片ＴＳの部位が対物レンズ１５の焦点に合うようステージ面の直交方向（Ｚ軸方向（つまり組織切片の奥行方向））にステージ１１を移動させる。

照明制御部３２は、明視野像を取得すべきモード（以下、これを明視野モードとも呼ぶ）又は暗視野像を取得すべきモード（以下、これを暗視野モードとも呼ぶ）に応じたパラメータを光源１３に設定し、該光源１３から照明光を照射させる。このパラメータは例えば照明光の強度や光源種類の選択などである。

なお、明視野モードにおける照射光は一般に可視光とされる。一方、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起する波長を含む光とされる。また暗視野モードでは蛍光マーカに対する背景部分はカットアウトされる。

光源１３から照明光が照射された場合、その照明光はコンデンサレンズ１４によって、ステージ１１におけるプレパラート配置面の基準位置に集められる。対物レンズ１５の結像面には、プレパラートＰＲＴにおける組織切片ＴＳのうち、コンデンサレンズ１４によって集光される集光部分の像が拡大されて結像され、その拡大像が対物レンズ１５によって撮像素子１６の撮像面に被写体像として結像される。またハーフミラー１７により反射された被写体像は、セパレータレンズ２０Ａ、２０Ｂによって位相差像として撮像素子２１の撮像面（予定結像面）に結像される。

撮像制御部３３は、明視野モード又は暗視野モードに応じたパラメータを撮像素子１６に設定し、該撮像素子１６の撮像面に結像される被写体像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。

位相差像撮像制御部３４は、明視野モード又は暗視野モードに応じたパラメータを撮像素子２１に設定し、該撮像素子２１の撮像面に結像される位相差像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。

ところでこの顕微鏡１には、該顕微鏡１の全体の制御を司る制御部（以下、これを統括制御部とも呼ぶ）３０があり、これはステージ駆動制御部３１、照明制御部３２、撮像制御部３３及び位相差像撮像制御部３４それぞれにデータ通信路を介して接続される。この統括制御部３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、演算回路及びＨＤＤ（Hard Disc Drive）などを含むコンピュータとされる。

統括制御部３０は、明視野モード又は暗視野モードの開始命令を待ち受け、該開始命令を受けた場合、その開始命令に対応するモードで制御を開始すべき指令をステージ駆動制御部３１、照明制御部３２、撮像制御部３３及び位相差像撮像制御部３４に与える。

統括制御部３０は、ステージ駆動制御部３１においてプレパラートＰＲＴの組織切片ＴＳ部位が割り当てられるたびに、該組織切片ＴＳ部位を撮像素子２１により撮像させ、その位相差像のデータを取得する。

ここで顕微鏡１では、セパレータレンズ２０Ａ、２０Ｂの被写体深度がプレパラートＰＲＴに固定される組織切片ＴＳの厚みより十分に深くなるよう、開口１９Ａ、１９Ｂが設定される。従って統括制御部３０は、組織切片ＴＳ部位における厚み方向の全体に合焦された状態の位相差像を取得する。

統括制御部３０は、取得した位相差像に対して後述する演算処理を施し、該位相差像のうち基準とすべき一方の像（以下、これを基準像とも呼ぶ）の各画素に対する該位相差像の他方の像（以下、これを比較像とも呼ぶ）との視差（ずれ量）を算出する。

統括制御部３０は、算出した視差（ずれ量）に基づいて、対物レンズ１５の焦点を合わせるべき位置（以下、これを合焦位置とも呼ぶ）を決定する。

統括制御部３０は、ステージ駆動制御部３１を介して合焦位置に対する対物レンズ１５の焦点の移動量が計算されステージ１１が移動され、撮像素子１６によって取得される組織切片ＴＳ部位における拡大像のデータを記憶媒体に記憶する。

そして統括制御部３０は、表示命令を待ち受け、該表示命令を受けた場合、その表示命令で指定される拡大像に対応するデータを記憶媒体から読み出し、これを表示命令の送出元に与える。

このようにこの顕微鏡１は、プレパラートＰＲＴの組織切片ＴＳを鏡検状態の画像として記憶することで、プレパラートＰＲＴ自体を保存する場合に比べて、固定や染色等の状態を劣化させることなく長期にわたって組織切片ＴＳに関する情報を保存できるようになされている。

［１−２．演算処理］
統括制御部３０は、位相差像における基準像ＳＧの各画素に対する比較像ＣＧとの相関及び視差を算出するプログラム（以下、これを演算プログラムとも呼ぶ）がＨＤＤに格納されている。

統括制御部３０は、演算プログラムをＨＤＤから読み出してＲＡＭに展開し、演算処理を実行する。このとき統括制御部３０は、演算プログラムに従って、図３に示すように、位相差像取得部４１、分割部４２、検索範囲設定部４３、相関算出部４４及び視差算出部４５として機能する。

位相差像取得部４１は、撮像素子２１により撮像された位相差像のデータを位相差像撮像制御部３４を介して取得する。

分割部４２は、図４（Ａ）に示すように、位相差像における基準像ＳＧ及び比較像ＣＧが例えば６４０×４８０［ｐｉｘｅｌ］であった場合、例えば５６０×４００［ｐｉｘｅｌ］の領域（以下、これを相関算出領域とも呼ぶ）ＳＣＲ及びＣＣＲをそれぞれの像の中心を基準として設定する。因みに、この相関算出領域ＳＣＲ及びＣＣＲは、基準像ＳＧの各画素と比較像ＣＧの所定範囲の画素との相関を算出し得るように、基準像ＳＧ及び比較像ＣＧに対して狭い範囲に設定される。

分割部４２は、基準像ＳＧの相関算出領域ＳＣＲ及び比較像ＣＧの相関算出領域ＣＣＲを、例えば１４０×１００［ｐｉｘｅｌ］となる１６の領域（以下、これを分割領域とも呼ぶ）ＳＤＲ及びＣＤＲに分割する。

検索範囲設定部４３は、基準像ＳＧの分割領域ＳＤＲにおける例えば９つの画素を代表点ＲＰとして抽出する。この代表点ＲＰは、例えば分割領域ＳＤＲにおける中心の画素、及び該画素を中心とした所定の大きさの長方形の頂点及び各辺の中点に相当する画素が選択される。ここで代表点ＲＰを複数点設定することは、組織切片ＴＳにおける何もない領域や検索の難しい領域（例えば、脂肪細胞など）に代表点ＲＰが設定されることによる検索エラーを防止することができる。

検索範囲設定部４３は、比較像ＣＧにおいて代表点ＲＰとの相関を算出する画素の範囲（以下、これを検索範囲とも呼ぶ）Ｄを、代表点ＲＰに対応する位置にある比較像ＣＧの画素（以下、これを比較画素とも呼ぶ）を中心として例えば±４０［ｐｉｘｅｌ］に設定する。

ここで、プレパラートＰＲＴに固定された組織切片ＴＳは厚み方向に大よそ１００［μｍ］程度のうねりがある場合がある。従って、視差が例えば５［μｍ／ｐｉｘｅｌ］で検出される場合、±４０［ｐｉｘｅｌ］の範囲、すなわち±２００［μｍ］の範囲で相関を算出することになり、代表点ＲＰと最も相関が高い画素を検索範囲Ｄ内で確実に検出できる。

相関算出部４４は、分割領域ＳＤＲの代表点ＲＰと検索範囲Ｄの画素との相関値を算出する。

ここで、それぞれの分割領域ＳＤＲで代表点ＲＰが９画素あり、検索範囲Ｄが比較画素を中心として±４０［ｐｉｘｅｌ］の範囲である８１画素であり、分割領域ＳＤＲが１６領域である。従って相関算出部４４は、代表点ＲＰと検索範囲Ｄの画素との相関を算出するために、９×８１×１６＝１１，６６４回の相関演算を行うことになる。

視差算出部４５は、それぞれの代表点ＲＰについて、検索範囲Ｄ内で代表点ＲＰと最も相関値が大きい画素、すなわち最も相関が高い画素を検出し、比較画素から検出した画素までの距離（ずれ量）を視差として算出する。

検索範囲設定部４３は、分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対する検索範囲を、該分割領域ＳＤＲの代表点ＲＰの視差に基づいて分割領域ＳＤＲごとに設定する。

具体的に検索範囲設定部４３は、図５に示すように、代表点ＲＰに対して設定された検索範囲Ｄ（±４０［ｐｉｘｅｌ］）内で、かつ該検索範囲Ｄよりも狭い範囲（この場合、３３［ｐｉｘｅｌ］）の検索範囲Ｄ１〜Ｄ４を設定する。

例えば、検索範囲Ｄ１は、比較画素（Ｘ、Ｙ）を基準として、（Ｘ−４０、Ｙ）〜（Ｘ−８、Ｙ）の範囲に設定される。検索範囲Ｄ２は（Ｘ−２４、Ｙ）〜（Ｘ＋８、Ｙ）の範囲に設定され、検索範囲Ｄ３は（Ｘ−８、Ｙ）〜（Ｘ＋２４、Ｙ）の範囲に設定され、検索範囲Ｄ４は（Ｘ＋８、Ｙ）〜（Ｘ＋４０、Ｙ）の範囲に設定される。

ここで、仮に視差が５［μｍ／ｐｉｘｅｌ］で検出される場合、代表点ＲＰ以外の画素に対する検索範囲Ｄ１〜Ｄ４を３３［ｐｉｘｅｌ］に設定することにより、検索範囲Ｄ１〜Ｄ４の中心を基準として±６０［μｍ］の範囲で相関及び視差が算出されることになる。実際の組織切片は、例えば３［ｍｍ］程度の視野角内においては概ね±２０［μｍ］以内の起伏であるため、±６０［μｍ］の範囲で相関及び視差が算出されるのであれば、十分な検索範囲として設定されていることになる。

検索範囲設定部４３は、図６に示すように、分割領域ＳＤＲにおける９つの代表点ＲＰの視差を基に、例えば９つの代表点ＲＰの視差の平均値と検索範囲Ｄ１〜Ｄ４の中心位置とを比較し、平均値に中心位置が最も近い検索範囲Ｄ１〜Ｄ４のいずれかを分割領域ＳＤＲに対する検索範囲として設定する。

相関算出部４４は、分割領域ＳＤＲの代表点ＲＰ以外の画素と、設定された検索範囲Ｄ１〜Ｄ４のいずれかの範囲の画素との相関値を算出する。

ここで、分割領域ＳＤＲにおける代表点ＲＰ以外の画素が（１４０×１００−９）画素あり、検索範囲Ｄ１〜Ｄ４が３３画素であり、分割領域ＳＤＲが１６領域である。従って相関算出部４４は、代表点ＲＰ以外の画素と検索範囲Ｄ１〜Ｄ４のいずれかの画素との相関を算出するために、（１４０×１００−９）×３３×１６＝７，３８７，２４８回の相関演算を行ったことになる。

視差算出部４５は、代表点ＲＰ以外の各画素について、検索範囲Ｄ１〜Ｄ４のいずれかの範囲内で該代表点ＲＰ以外の画素と最も相関が高い画素を検出し、比較画素から検出した画素までの距離（ずれ量）を視差として算出する。

この視差は大きいほど組織切片ＴＳが対物レンズ１５側（前方）に位置し、これに対して小さいほど後方に位置する関係にある。したがって、基準像ＳＧの各画素に対する視差は、プレパラートＰＲＴにおける組織切片ＴＳのうち、撮影範囲（対物レンズ１５の結像面に映る領域）の凹凸状態を示す情報に相当するものとなる。

このように統括制御部３０は、基準像ＳＧ及び比較像ＣＧの相関算出領域ＳＣＲ及びＣＣＲを１６分割し、それぞれの分割領域ＳＤＲの９つの代表点ＲＰに検索範囲Ｄを設定して相関及び視差を算出する。そして、該代表点ＲＰの視差に基づいて分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対して検索範囲Ｄ１〜Ｄ４のいずれかを設定して相関及び視差を算出する。

従って相関算出部４４は、代表点ＲＰの相関を算出するために１１，６６４回の相関演算を行い、代表点ＲＰ以外の画素の相関を算出するために７，３８７，２４８回の相関演算を行うので、合計で１１，６６４＋７，３８７，２４８＝７，３９８，９１２回の相関演算を行う。

［１−３．演算処理手順］
次に、上述した演算処理の手順について、図７に示すフローチャートに従って説明する。

実際上、統括制御部３０は、ルーチンＲＴ１の開始ステップから入って次のステップＳＰ１へ移る。ステップＳＰ１において統括制御部３０は、撮像素子２１により撮像された位相差像を位相差像撮像制御部３４を介して取得し、次のステップＳＰ２に移る。

ステップＳＰ２において統括制御部３０は、位相差像の基準像ＳＧ及び比較像ＣＧに対して相関を算出し得る領域として相関算出領域ＳＣＲ及びＣＣＲを設定し、次のステップＳＰ３に移る。

ステップＳＰ３において統括制御部３０は、基準像ＳＧ及び比較像ＣＧの相関算出領域ＳＣＲ及びＣＣＲを例えば１６の分割領域ＳＤＲ及びＣＤＲに分割し、次のステップＳＰ４に移る。

ステップＳＰ４において統括制御部３０は、基準像ＳＧの分割領域ＳＤＲにおける例えば９つの画素を代表点ＲＰとして抽出し、該代表点ＲＰに対して、比較画素を中心とした検索範囲Ｄを設定し、次のステップＳＰ５に移る。

ステップＳＰ５において統括制御部３０は、代表点ＲＰと検索範囲Ｄの画素との相関を算出し、次のステップＳＰ６において、比較画素から相関が最も高い画素までの距離（ずれ量）を視差として算出し、次のステップＳＰ７に移る。

ステップＳＰ７において統括制御部３０は、代表点ＲＰの視差に基づき、分割領域ＳＤＲの代表点ＲＰ以外の画素に対して、検索範囲Ｄより狭い範囲の検索領域Ｄ１〜Ｄ４のいずれかを設定し、次のステップＳＰ８に移る。

ステップＳＰ８において統括制御部３０は、代表点ＲＰ以外の画素と、設定された検索範囲Ｄ１〜Ｄ４のいずれかの画素との相関を算出し、次のステップＳＰ９で、比較画素から相関が最も高い画素までの距離を視差として算出し、処理を終了する。

［１−４．動作及び効果］
以上の構成において統括制御部３０は、撮像素子２１により撮像された位相差像を取得し、該位相差像における基準像ＳＧ及び比較像ＣＧを複数の分割領域に分割する。

そして統括制御部３０は、分割領域ＳＤＲの代表点ＲＰに対して比較像ＣＧにおいて相関を算出する所定画素数の検索範囲Ｄを設定して相関及び視差を算出する。

統括制御部３０は、代表点ＲＰの視差に基づいて、分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対して代表点ＲＰに設定された検索範囲Ｄよりも狭い検索範囲Ｄ１〜Ｄ４を分割領域ＳＤＲごとに設定して相関及び視差を算出する。

これにより統括制御部３０は、代表点ＲＰの視差を算出して分割領域ＳＤＲに対応する組織切片ＴＳの大まかな位置を検出し、それを基に、分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対する検索範囲Ｄ１〜Ｄ４を設定する。

従って統括制御部３０は、分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対する検索範囲Ｄ１〜Ｄ４を、代表点ＲＰに対する検索範囲Ｄよりも狭い範囲に設定しても、代表点ＲＰ以外の画素と相関が最も高い画素を検索範囲Ｄ１〜Ｄ４内で検出することができる。

ところで、基準像ＳＧにおける相関算出領域ＳＣＲの全画素に対して比較画素を中心とした±４０［ｐｉｘｅｌ］の検索範囲Ｄを設定した場合、画素数が５６０×４００画素で、検索範囲が８１画素となる。従って、この場合、５６０×４００×８１＝１８，１４４，０００回の相関演算を行わなければならない。

これに対して統括制御部３０は、例えば、相関算出領域ＳＣＲを１６分割し、分割領域ＳＤＲの９つの代表点ＲＰに比較画素を中心とした±４０［ｐｉｘｅｌ］の検索範囲Ｄを設定する。また統括制御部３０は、代表点ＲＰの視差に基づいて、分割領域ＳＤＲの代表点ＲＰ以外の画素に３３画素の検索範囲Ｄ１〜Ｄ４を設定する。

従って、統括制御部３０は、合計で７，３９８，９１２回の相関演算を行うだけでよく、全ての画素に対して検索範囲Ｄを設定した場合と比して約４０［％］の演算回数で済み、演算処理の大幅な高速化を実現できる。

また一般的なステレオカメラでは、図８に示すように、奥行方向に不連続に配置された物体（障害物）の位置を算出するため、検索範囲を制限（狭く）することは困難である。また物体の大まかな位置を粗い検索により特定してから検索範囲を制限して細かく検索することも可能だが、この方法では粗い検索と細かい検索とは演算精度が異なるため、細かい検索では再び全範囲に対して検索を行わなければならない。

これに対して統括制御部３０は、連続的な分布構成でなる組織切片ＴＳの像を対象とした場合、分割範囲ＳＤＲ内の組織切片ＴＳ像は奥行方向に殆ど平坦であるため、検索範囲Ｄ１〜Ｄ４を検索範囲Ｄよりも狭い範囲に設定することができ、特に有用である。また代表点ＲＰに対する相関及び視差の演算と、代表点ＲＰ以外の画素に対する相関及び視差の演算とは同一の演算精度であるため、代表点ＲＰに対して再び狭い検索範囲Ｄ１〜Ｄ４での演算を行わなくて済み、その分、演算処理を高速化することができる。

また統括制御部３０は、検索範囲Ｄ内でかつ該検索範囲Ｄよりも狭い範囲の検索範囲Ｄ１〜Ｄ４をその一部が重なるようにして設定するようにした。これにより統括制御部３０は、分割領域ＳＤＲの各画素に対して検索範囲を設定する際、分割領域ＳＤＲの各画素に対して一括に同じ検索範囲を設定しても、各画素と相関が最も高い画素を検索範囲内で検出できなくなることを防止することができる。

以上の構成によれば、基準像ＳＧの相関算出領域ＳＣＲを分割し、それぞれの分割領域ＳＤＲの代表点ＲＰに検索範囲Ｄを設定して相関及び視差を算出する。そして、該代表点ＲＰの視差に基づいて分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対して検索範囲Ｄ１〜Ｄ４のいずれかを設定して相関及び視差を算出する。

これにより、基準像ＳＧの各画素に対する比較像ＣＧの相関及び視差を算出する演算精度を下げることなく演算回数を大幅に削減することができるので、組織切片ＴＳの凹凸情報を高速に算出することができ、かくして被写体像の取得効率を向上させることができる。

＜２．他の実施の形態＞
上述の実施の形態においては、相関算出領域ＳＣＲ及びＣＣＲを１６の領域に分割し、分割領域ＳＤＲから９の代表点ＲＰを抽出し、分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対して４の検索範囲Ｄ１〜Ｄ４のいずれかを設定するようにした場合について述べた。本発明はこれに限らず、相関算出領域ＳＣＲ及びＣＣＲの分割数、分割領域ＳＤＲの代表点数、分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対して設定される検索範囲数は任意に設定できる。

但し、分割数を多くし、また検索範囲数を多くして１つの検索範囲を狭くすることで演算処理をより高速化することができる。なお、位相差算出領域ＳＣＲ及びＣＣＲの分割数を多くすることで、１つの分割領域ＳＤＲにおける組織切片ＴＳ像のうねり（奥行方向のずれ）は小さくなるので、検索範囲をより狭くしても基準像ＳＧの各画素と最も相関が高い画素を確実に検出できるものである。

一例として、位相差算出領域ＳＣＲ及びＣＣＲ（５６０×４００画素）を８×８の６４の分割領域ＳＤＲに分割し、それぞれの分割領域ＳＤＲに１６の代表点ＲＰを設定する。また代表点ＲＰの検索範囲Ｄを比較画素を中心として±４０［ｐｉｘｅｌ］に設定し、代表点ＲＰ以外の画素に対する検索範囲数を１６にして１つの検索範囲を１１［ｐｉｘｅｌ］に設定する。

この場合、相関算出部４４は、代表点ＲＰとの相関を算出するために、１６×８１×６４＝８２，９４４回の相関演算を行う。また相関算出部４４は、代表点ＲＰ以外の画素との相関を算出するために、（５６０／８×４００／８−１６）×１１×６４＝２，４５２，７３６回の相関演算を行う。

よって相関算出部４４は、合計で８２，９４４＋２，４５２，７３６＝２，４５２，７３６回の相関演算を行うことになる。これは、全ての画素に対して検索範囲Ｄを設定した場合と比して約１４［％］の演算回数で済み、演算処理のさらなる高速化を実現できる。

上述した実施の形態においては、相関算出領域ＳＣＲ及びＣＣＲを分割した後、分割領域ＳＤＲの代表点ＲＰの相関及び視差を算出し、該代表点ＲＰの視差に基づいて代表点ＲＰ以外の画素の検索範囲Ｄ１〜Ｄ４を設定して相関及び視差を算出するようにした。本発明はこれに限らない。

例えば、相関算出部４４及び視差算出部４５は、図９（Ａ）に示すように、基準像ＳＧにおける相関算出領域ＳＣＲに所定数（この場合、１６）の代表点ＲＰを設定して、該代表点ＲＰと比較像ＣＧにおける検索範囲Ｄの画素との相関及び視差を算出する。

そして分割部４２は、図９（Ｂ）に示すように、算出された代表点ＲＰの視差に基づいて、例えば隣接する代表点ＲＰ同士の視差の差が所定閾値以内であった場合、該代表点ＲＰが同じ分割領域ＳＤＲに入るように分割する。また、隣接する代表点ＲＰ同士の視差の差が所定閾値より大きい場合、該代表点ＲＰ同士が異なる分割領域ＳＤＲに入るように分割する。

検索範囲設定部４３は、分割領域ＳＤＲ内に存在する代表点ＲＰの視差に基づき、例えば４つの検索範囲Ｄ１〜Ｄ４のいずれかに分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対する検索範囲を設定する。

相関算出部４４及び視差算出部４５は、分割領域ＳＤＲにおける代表点ＲＰ以外の画素の相関及び視差を算出する。

このように、相関算出領域ＳＣＲに設定された代表点ＲＰに対する相関及び視差を算出した後、該視差に基づいて相関算出領域ＳＣＲを分割し、割領域ＳＤＲにおける代表点ＲＰ以外の画素に対する検索範囲Ｄ１〜Ｄ４を設定して相関及び視差を算出するようにしてもよい。

上述した実施の形態においては、分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対する検索範囲として、３３［ｐｉｘｅｌ］でなる固定画素数の検索範囲Ｄ１〜Ｄ４を設定するようにする場合について述べた。本発明はこれに限らず、分割領域ＳＤＲにおける代表点ＲＰ以外の画素に対する検索範囲として可変の画素数でなる検索範囲を設定するようにしてもよい。

この場合、例えば、分割領域ＳＤＲにおける複数の代表点ＲＰの視差に基づいて、該複数の代表点ＲＰの視差の差が小さい場合には検索範囲の画素数を少なく設定し、該複数の代表点ＲＰの視差の差が大きい場合には検索範囲の画素数を多く設定する。これにより固定画素数の検索範囲Ｄ１〜Ｄ４を用いて演算する場合に比して、より演算回数を削減することができる。

上述した実施の形態においては、分割領域ＳＤＲにおける複数の代表点ＲＰの視差を全て用いて代表点ＲＰ以外の画素に対する検索範囲を設定するようにした場合について述べた。本発明はこれに限らず、複数の代表点ＲＰの視差のうち、著しく値の異なる代表点ＲＰの視差を除外して、代表点ＲＰ以外の画素に対する検索範囲を設定するようにしてもよい。

上述した実施の形態においては、９つの代表点ＲＰの視差の平均値と検索範囲Ｄ１〜Ｄ４の中心位置とを比較し、平均値に中心位置が最も近い検索範囲Ｄ１〜Ｄ４のいずれかを分割領域ＳＤＲに対する検索範囲として設定するようにした場合について述べた。本発明はこれに限らず、例えば、９つの代表点ＲＰの視差が示す位置が全て入る検索範囲Ｄ１〜Ｄ４のいずれかを分割領域ＳＤＲに対する検索範囲として設定するようにしてもよい。

上述の実施の形態においては、組織切片ＴＳがサンプルとされた。しかしながらサンプルはこの実施の形態に限定されるものではない。例えば生物に関するサンプル（生体サンプル）として細胞や染色体等が適応されてもよい。

上述の実施の形態においては、２枚のセパレータレンズ２０Ａ、２０Ｂが用いられた。しかしながらセパレータレンズ２０の数はこの実施の形態に限定されるものではない。１対のセパレータレンズ２０Ａ、２０Ｂを単位（組）として、複数枚のセパレータレンズ２０を用いることができる。なおこの場合、絞りマスク１９に対して各組のセパレータレンズ２０に対応する開口を設けることを要する。

上述した実施の形態においては、所定倍率の対物レンズ１５が１つ設けられている場合について述べた。本発明はこれに限らず、倍率の異なる複数の対物レンズが設けられ、複数の対物レンズのなかからレンズ切換機構又は手動により選択するようにしてもよい。

上述した実施の形態においては、対物レンズ１５から入射する光をハーフミラー１７により透過光と反射光とに分割し、撮像素子１６及び２１にそれぞれ透過光と反射光を導くようにした場合について述べた。本発明はこれに限らず、ハーフミラー１７の代わりにミラー及びミラーアップ機構が設けるようにしてもよい。

この場合、撮像素子２１に位相差像を結像する際には、ミラーを対物レンズ１５と撮像素子１６との間の光路上に配置し、ミラーで反射した反射光を撮像素子２１に導く。一方、撮像素子１６に被写体像を結像する際には、ミラーアップ機構によりミラーを対物レンズ１５と撮像素子１６との間の光路から外して対物レンズ１５からの光を撮像素子１６に導く。

上述した実施の形態においては、撮像素子２１により撮像された位相差像のデータを取得するようにした場合について述べた。本発明はこれに限らず、位相差像のデータを、例えばインターネットを介して取得したり、所定の記憶媒体を介して取得するようにしてもよい。

さらに上述した実施の形態においては、統括制御部３０がＨＤＤに格納されている演算プログラムに従い、上述した演算処理を行うようにした場合について述べた。本発明はこれに限らず、厚み情報取得処理プログラムがＲＯＭに格納されていてもよく、また記憶媒体からインストールしたり、インターネットからダウンロードした演算プログラムに従って上述した演算処理を行うようにしても良い。またその他種々のルートによってインストールした演算プログラムに従って上述した演算処理を行うようにしても良い。

さらに上述した実施の形態においては、像取得部として位相差像取得部４１、検索範囲設定部として検索範囲設定部４３、相関算出部として相関算出部４４、視差算出部として視差算出部４５が設けられるようにした場合について述べた。本発明はこれに限らず、その他種々の構成でなる像取得部、検索範囲設定部、相関算出部、視差算出部を設けるようにしても良い。

本発明は、生物実験、医薬の創製又は患者の経過観察などのバイオ産業上において利用可能である。

１……顕微鏡、１１……ステージ、１２……ステージ駆動機構、１３……光源、１４……コンデンサレンズ、１５……対物レンズ、１６、２１……撮像素子、１７……ハーフミラー、１８……フィールドレンズ、１９……絞りマスク、１９Ａ，１９Ｂ……開口、２０Ａ、２０Ｂ……セパレータレンズ、３０……統括制御部、３１……ステージ駆動制御部、３２……照明制御部、３３……撮像制御部、３４……位相差像撮像制御部、４１……位相差像取得部、４２……分割部、４３……検索範囲設定部、４４……相関算出部、４５……視差算出部、ＣＧ……比較像、ＰＲＴ……プレパラート、ＳＧ……基準像。

Claims (11)

1. サンプルの位相差像を取得する像取得部と、
   上記位相差像における一方の像に設定された代表とすべき画素及び代表とすべき画素以外の画素に対して、上記位相差像における他方の像での検索対象とすべき画素の範囲を設定する検索範囲設定部と、
   上記一方の像の各画素と、該各画素に対して設定された上記範囲の画素との相関を算出する相関算出部と、
   算出された相関を基に、上記一方の像の各画素に対する視差を算出する視差算出部と
   を有し、
   上記検索範囲設定部は、
   上記代表とすべき画素に対して算出された視差に基づいて、上記代表とすべき画素以外の画素に対して、上記代表とすべき画素に対して設定された範囲より狭い範囲を設定する
   演算装置。
2. 上記演算装置は、
   上記一方の像を複数の領域に分割する分割部をさらに有し、
   上記検索範囲設定部は、
   上記分割された領域における上記代表とすべき画素に対して算出された視差に基づいて、該分割された領域における上記代表とすべき画素以外の画素に対して範囲を設定する
   請求項１に記載の演算装置。
3. 上記分割部は、
   上記代表とすべき画素の視差に基づいて上記一方の像を複数の領域に分割する
   請求項２に記載の演算装置。
4. 上記検索範囲設定部は、
   上記代表とすべき画素に対して設定された範囲内でかつ該範囲より狭い複数の範囲のなかから、上記分割された領域における代表とすべき画素以外の画素に対する範囲を設定する
   請求項２に記載の演算装置。
5. 上記複数の範囲は、その一部分が互いに重なるように設定される
   請求項４に記載の演算装置。
6. 上記検索範囲設定部は、
   上記分割された領域における代表とすべき画素以外の画素に対して、該分割された領域における上記代表とすべき画素に対して算出された視差に基づいた大きさの範囲を設定する
   請求項２に記載の演算装置。
7. 上記相関算出部は、代表とすべき複数の画素の相関を算出し、
   上記視差算出部は、上記代表とすべき複数の画素に対する視差を算出し、
   上記検索範囲設定部は、上記代表とすべき複数の画素に対する視差のうち、著しく値の異なる視差を除外して、上記代表とすべき画素以外の画素に対する範囲を設定する
   請求項２に記載の演算装置。
8. 上記サンプルは、組織切片である
   請求項１乃至７に記載の演算装置。
9. サンプルの位相差像を取得する像取得ステップと、
   上記位相差像における一方の像の代表とすべき画素及び代表とすべき画素以外の画素に対して、上記位相差像における他方の像の検索対象とすべき画素の範囲を設定する検索範囲設定ステップと、
   上記一方の像の画素と、該画素に対して設定された上記範囲の画素との相関を算出する相関算出ステップと、
   算出された相関を基に、上記一方の像の画素に対する視差を算出する視差算出ステップと
   を有し、
   上記検索範囲設定ステップでは、
   上記代表とすべき画素に対して算出された視差に基づいて、上記代表とすべき画素以外の画素に対して、上記代表とすべき画素に対して設定された範囲より狭い範囲を設定する
   演算方法。
10. コンピュータに対して、
    サンプルの位相差像を取得する像取得ステップと、
    上記位相差像における一方の像の代表とすべき画素及び代表とすべき画素以外の画素に対して、上記位相差像における他方の像の検索対象とすべき画素の範囲を設定する検索範囲設定ステップと、
    上記一方の像の画素と、該画素に対して設定された上記範囲の画素との相関を算出する相関算出ステップと、
    算出された相関を基に、上記一方の像の画素に対する視差を算出する視差算出ステップと
    を実行させ、
    上記検索範囲設定ステップでは、
    上記代表とすべき画素に対して算出された視差に基づいて、上記代表とすべき画素以外の画素に対して、上記代表とすべき画素に対して設定された範囲より狭い範囲を設定する
    演算プログラム。
11. 対物レンズから入射する光を透過光と直進又は反射させるミラーと、
    上記対物レンズに結像され、上記ミラーの直進側又は反射側の一方に投影される被写体像を撮像するための第１の撮像素子と、
    上記ミラーの直進側又は反射側の他方の後方に一対を単位として設けられ、上記対物レンズの被写体深度よりも広い被写体深度となる大きさとされる開口と、
    上記開口の後方にそれぞれ設けられ、上記ミラーの直進側又は反射側の他方に投影される被写体像の予定結像面に対して位相差像を形成するためのセパレータレンズと、
    上記予定結像面を撮像面として設けられる第２の撮像素子と、
    上記第２の撮像素子から、サンプルの位相差像を取得する像取得部と、
    上記位相差像における一方の像の代表とすべき画素及び代表とすべき画素以外の画素に対して、上記位相差像における他方の像の検索対象とすべき画素の範囲を設定する検索範囲設定部と、
    上記一方の像の画素と、該画素に対して設定された上記範囲の画素との相関を算出する相関算出部と、
    算出された相関を基に、上記一方の像の画素に対する視差を算出する視差算出部と
    を有し、
    上記検索範囲設定部は、
    上記代表とすべき画素に対して算出された視差に基づいて、上記代表とすべき画素以外の画素に対して、上記代表とすべき画素に対して設定された範囲より狭い範囲を設定する
    顕微鏡。