JP2016114795A - 顕微鏡システム、設定値算出方法、及び、プログラム - Google Patents

顕微鏡システム、設定値算出方法、及び、プログラム Download PDF

Info

Publication number
JP2016114795A
JP2016114795A JP2014253526A JP2014253526A JP2016114795A JP 2016114795 A JP2016114795 A JP 2016114795A JP 2014253526 A JP2014253526 A JP 2014253526A JP 2014253526 A JP2014253526 A JP 2014253526A JP 2016114795 A JP2016114795 A JP 2016114795A
Authority
JP
Japan
Prior art keywords
image data
value
calculated
microscope
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014253526A
Other languages
English (en)
Other versions
JP6434296B2 (ja
Inventor
喜裕 上
Yoshihiro Kami
喜裕 上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014253526A priority Critical patent/JP6434296B2/ja
Priority to EP15198629.6A priority patent/EP3035104B1/en
Priority to US14/964,306 priority patent/US10379329B2/en
Publication of JP2016114795A publication Critical patent/JP2016114795A/ja
Application granted granted Critical
Publication of JP6434296B2 publication Critical patent/JP6434296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】サンプルへのダメージを抑制しつつ短時間で容易に球面収差を補正するのに資する技術を提供する。【解決手段】顕微鏡システム1は、顕微鏡装置と演算装置20を備える。顕微鏡装置は、補正環111の設定値が異なる複数の状態の各々でサンプルSの観察対象面の画像データを取得する。演算装置20は、顕微鏡装置が複数の状態で取得した複数の画像データの各々に基づいて画像データの評価値を算出する。顕微鏡装置が複数の画像データを取得する処理は、複数の状態で設定される補正環111の複数の設定値の分布範囲と平均間隔が繰り返し毎に狭まり、その分布範囲内に演算装置20が算出した最大の評価値に対応する補正環111の設定値が含まれるように繰り返される。演算装置20は、算出した複数の評価値とこれら複数の評価値に対応する複数の設定値に基づいて球面収差が補正される補正環111の設定値を算出する。【選択図】図1

Description

本発明は、顕微鏡システム、顕微鏡システムが備える球面収差を補正する補正装置の設定値を算出する方法、及び、プログラムに関する。
顕微鏡によるサンプルの観察では、カバーガラスの厚さによって異なる量の球面収差が発生することが知られており、カバーガラスの厚さに起因する球面収差を補正する手段として対物レンズの補正環が知られている。
従来、補正環は、専らカバーガラスの厚さに起因する球面収差を補正する手段として用いられてきたが、サンプル(例えば、生体試料)の深部を観察する手法が開発され普及した近年では、観察対象面の深さに応じて変化する球面収差を補正する目的にも使用可能である。
しかしながら、サンプルの画像を観察しながら球面収差が補正されているか否かを判断することは容易ではない。このため、補正環を用いて球面収差を補正する作業は、敬遠されがちであり、現時点においては、補正環は球面収差を補正する手段として十分に活用されているとは言い難い。
このような課題に関連して、顕微鏡利用者による補正環の利用を支援する技術が、例えば、特許文献1に記載されている。特許文献1には、各Z位置において、補正環の設定値が異なる状態で取得した複数枚の画像データから球面収差が補正された画像データを特定し、各Z位置における球面収差が補正される補正環の設定値を決定する技術が記載されている。
特開2014−160213号公報
特許文献1に記載されるような補正環の利用を支援する機能を顕微鏡システムが備えることで、顕微鏡利用者による補正環の利用を促すことができる。
しかしながら、当該機能による補正環の設定(即ち、球面収差の補正)に多くの時間がかかってしまう場合には、その効果は限定的である。球面収差の補正が短時間で完了することは、補正環の積極的な利用を促すに当たり、極めて重要な要素である。
また、観察対象面の深さに応じて変化する球面収差を補正する用途で補正環が使用される場合、観察対象物としては生体試料が想定される。生体試料を対象とする観察では、生体試料へのダメージを抑えることが重要であり、この点は球面収差補正作業中においても同様である。
なお、以上では、カバーガラスの厚さや観察対象面の深さによって変化する球面収差を補正する手段として補正環を例示したが、球面収差を補正する任意の手段において、同様の課題が生じうる。
以上のような実情を踏まえ、本発明は、サンプルへのダメージを抑制しつつ短時間で容易に球面収差を補正するのに資する技術を提供することを目的とする。
本発明の第1の態様は、球面収差を補正する補正装置を備え、前記補正装置の設定値が異なる複数の状態の各々でサンプルの観察対象面の画像データを取得して、複数の画像データを取得する顕微鏡装置と、前記顕微鏡装置が取得した前記複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の画像データの複数の評価値を算出する演算装置と、を備え、前記顕微鏡装置は、前記複数の画像データを取得する処理を、前記複数の状態で設定される前記補正装置の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、前記分布範囲内に前記演算装置が算出した最大の評価値に対応する前記補正装置の設定値が含まれるように、繰り返し、前記演算装置は、前記演算装置が算出した複数の評価値と当該複数の評価値に対応する複数の設定値に基づいて、前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する顕微鏡システムを提供する。
本発明の第2の態様は、球面収差を補正する補正装置を備え、前記補正装置の設定値が異なる複数の状態の各々でサンプルの観察対象面の画像データを取得して、複数の画像データを取得する顕微鏡装置と、前記顕微鏡装置が取得した前記複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の画像データの複数の評価値を算出する演算装置と、を備え、前記演算装置は、前記演算装置が算出した評価値と当該評価値に対応する前記補正装置の設定値との組み合わせを第1の座標情報と定義すると、前記複数の画像データから選択された、前記複数の評価値のうちの最大値が算出された画像データを含む3つ以上の画像データの第1の座標情報に基づいて、補間又は関数近似により関数を算出し、算出した前記関数から前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する顕微鏡システムを提供する。
本発明の第3の態様は、第1の態様又は第2の態様に記載の顕微鏡システムにおいて、前記演算装置は、前記顕微鏡装置に設けられた対物レンズのZ位置であって前記補正装置の設定値の変更によって生じる前記観察対象面の移動量よりも小さな距離だけ互いに異なるZ位置毎に前記目標値を算出して、複数のZ位置における複数の目標値を算出し、前記複数のZ位置における前記複数の目標値と当該複数の目標値に対応する複数の評価値とに基づいて、画像データが取得されたときに評価値が最大となると推定される前記補正環の設定値とZ位置の組み合わせを算出する顕微鏡システムを提供する。
本発明の第4の態様は、第3の態様に記載の顕微鏡システムにおいて、前記演算装置は、前記複数の状態で設定される前記補正装置の複数の設定値を、Z位置毎に決定する顕微鏡システムを提供する。
本発明の第5の態様は、第1の態様乃至第4の態様のいずれか1つに記載の顕微鏡システムにおいて、前記演算装置は、前記顕微鏡装置が取得した画像データに基づいて、当該画像データの前記評価値を当該画像データの全体領域を分割した領域毎に算出し、且つ、前記目標値を前記領域毎に算出し、前記領域毎に算出された複数の目標値から1つの目標値を算出する顕微鏡システムを提供する。
本発明の第6の態様は、第1の態様乃至第5の態様のいずれか1つに記載の顕微鏡システムにおいて、さらに、前記演算装置で算出された前記目標値に、前記補正装置の設定値を変更する補正装置制御装置と、前記補正装置の設定値が前記目標値であるときに前記顕微鏡装置で取得される画像データに基づいて、前記サンプルに照射するレーザー光のパワーを制御するレーザー制御装置と、を備える顕微鏡システムを提供する。
本発明の第7の態様は、第1の態様乃至第6の態様のいずれか1つに記載の顕微鏡システムにおいて、前記補正装置は、前記顕微鏡装置の対物レンズ内のレンズを移動させる補正環である顕微鏡システムを提供する。
本発明の第8の態様は、球面収差を補正する補正装置を備える顕微鏡装置が、前記補正装置の設定値が異なる複数の状態の各々でサンプルの観察対象面の画像データを取得して、複数の画像データを取得し、演算装置が、前記顕微鏡装置が取得した前記複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の画像データの複数の評価値を算出し、前記顕微鏡装置が、前記複数の画像データを取得する処理を、前記複数の状態で設定される前記補正装置の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、前記分布範囲内に前記演算装置が算出した最大の評価値に対応する前記補正装置の設定値が含まれるように、繰り返し、前記演算装置が、前記演算装置が算出した複数の評価値と当該複数の評価値に対応する複数の設定値に基づいて、前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する設定値算出方法を提供する。
本発明の第9の態様は、球面収差を補正する補正装置を備える顕微鏡装置が、前記補正装置の設定値が異なる複数の状態の各々でサンプルの観察対象面の画像データを取得し、複数の画像データを取得し、演算装置が、前記顕微鏡装置が取得した前記複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の画像データの複数の評価値を算出し、前記演算装置が算出した評価値と当該評価値に対応する前記補正装置の設定値との組み合わせを第1の座標情報と定義すると、前記演算装置が、前記複数の画像データから選択された3つ以上の画像データであって、前記複数の評価値のうちの最大値が算出された画像データを含む3つ以上の画像データの第1の座標情報に基づいて、補間又は関数近似により関数を算出し、算出した前記関数から前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する設定値算出方法を提供する。
本発明の第10の態様は、球面収差を補正する補正装置を備える顕微鏡装置が前記補正装置の設定値が異なる複数の状態の各々で取得したサンプルの観察対象面の画像データに基づいて、球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の状態で取得した複数の画像データの複数の評価値を算出する処理と、前記複数の状態で設定される前記補正装置の複数の設定値の分布範囲と平均間隔が狭まり、且つ、前記複数の設定値の分布範囲内に前記複数の評価値のうちの最大の評価値に対応する前記補正装置の設定値が含まれるように、新たな複数の設定値を算出する処理と、を繰り返し、繰り返し算出した複数の評価値と当該複数の評価値に対応する複数の設定値に基づいて、前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する処理をコンピュータに実行させるプログラムを提供する。
本発明の第11の態様は、球面収差を補正する補正装置を備える顕微鏡装置が前記補正装置の設定値が異なる複数の状態の各々で取得したサンプルの観察対象面の画像データに基づいて、球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の状態で取得した複数の画像データの複数の評価値を算出し、評価値と当該評価値に対応する前記補正装置の設定値との組み合わせが第1の座標情報と定義される場合に、前記複数の画像データから選択された3つ以上の画像データであって、前記複数の評価値のうちの最大値が算出された画像データを含む3つ以上の画像データの第1の座標情報に基づいて、補間又は関数近似により関数を算出し、算出した前記関数から前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する処理をコンピュータに実行させるプログラムを提供する。
本発明によれば、サンプルへのダメージを抑制しつつ短時間で容易に球面収差を補正するのに資する技術を提供することができる。
本発明の実施例1に係る顕微鏡システムの構成を例示した図である。 図1に例示される演算装置の構成を例示した図である。 図1に例示される顕微鏡の構成を例示した図である。 本発明の実施例1に係る顕微鏡システムで行われる球面収差補正処理のフローチャートである。 本発明の実施例1に係る顕微鏡システムで行われる目標値算出処理のフローチャートである。 図5に示す目標値算出処理について説明するための図である。 画像データの全体領域を9つの領域に分割し、領域毎に領域目標値を算出する例を示した図である。 本発明の実施例1に係る顕微鏡システムで行われる別の目標値算出処理のフローチャートである。 画像データの全体領域を9つの領域に分割し、領域毎に領域組み合わせを算出する例を示した図である。 本発明の実施例1に係る顕微鏡システムで行われる更に別の目標値算出処理のフローチャートである。 図10に示す目標値算出処理について説明するための図である。 本発明の実施例1に係る顕微鏡システムで行われる更に別の目標値算出処理のフローチャートである。 図12に示す目標値算出処理のステップS69の処理のフローチャートである。 図13に示す処理について説明するための図であり、目標値と評価値の関数を算出する方法を示す図である。 図13に示す処理について説明するための図であり、目標値とZ位置の関数を算出する方法を示す図である。 Z位置毎且つ補正環の設定値毎に得られる標本の画像を並べた図である。 本発明の実施例2に係る顕微鏡の構成を例示した図である。 本発明の実施例3に係る顕微鏡の構成を例示した図である。 画像データを加工してから評価値を算出する処理のフローチャートである。
図1は、本実施例に係る顕微鏡システム1の構成を例示した図である。図2は、図1に例示される演算装置20の構成を例示した図である。図3は、図1に例示される顕微鏡100の構成を例示した図である。
図1に示す顕微鏡システム1は、顕微鏡100と、顕微鏡制御装置10と、演算装置20と、表示装置30と、演算装置20への指示を入力するための複数の入力装置(キーボード40、補正環操作装置50、Z駆動部操作装置60)を備えている。
顕微鏡制御装置10は、演算装置20からの指示に従って顕微鏡100の動作を制御する装置であり、顕微鏡100の各種電動部の動作を制御する制御信号を生成する。顕微鏡制御装置10は、光源の出力を制御する光源制御装置11と、ズーム倍率を制御するズーム制御装置12と、対物レンズ110のZ位置を制御するZ制御装置13と、補正環111の設定値を制御する補正環制御装置14と、を備えている。ここで、Z位置とは、サンプルSに対する対物レンズ110の光軸方向の相対位置のことである。また、補正環111の設定値とは、例えば、基準位置に対する補正環111の回転角度のことである。
演算装置20は、各種の演算処理を行うコンピュータであり、例えば、図2に示すように、CPU(Central Processing Unit)21、メモリ22、入力I/F装置23、出力I/F装置24、記憶装置25、及び、可搬記録媒体27が挿入される可搬記録媒体駆動装置26を備え、これらがバス28によって相互に接続されている。演算装置20は、顕微鏡100の制御を顕微鏡制御装置10に指示する役割、顕微鏡100からの出力に基づいて画像データを生成する役割、及び、球面収差が補正される補正環111の設定値を算出する役割を担っている。なお、図2は、演算装置20の構成の一例であり、演算装置20はこの構成に限定されるものではない。
CPU21は、所定のプログラムを実行して演算処理等を行う。メモリ22は、例えば、RAM(Random Access Memory)であり、プログラムの実行の際に、記憶装置25または可搬記録媒体27に記憶されているプログラムまたはデータを一時的に格納する。
入力I/F装置23は、キーボード40、補正環操作装置50、Z駆動部操作装置60、及び表示装置30からの信号を受信する手段であり、観察者による入力を受け付ける入力受付部として機能する。また、入力I/F装置23は、図3において後述する顕微鏡100のA/D変換器108からの信号も受信する。
出力I/F装置24は、表示装置30及び顕微鏡制御装置10へ信号を出力する手段である。即ち、出力I/F装置24は、表示装置30の表示を制御する表示制御部として機能し、且つ、顕微鏡制御装置10に顕微鏡100の制御を指示する顕微鏡制御指示部として機能する。
記憶装置25は、例えば、ハードディスク記憶装置であり、主に各種データやプログラムの保存に用いられる。可搬記録媒体駆動装置26は、光ディスクやコンパクトフラッシュ(登録商標)等の可搬記録媒体27を収容するもので、可搬記録媒体27は、記憶装置25を補助する役割を有する。
表示装置30は、例えば、液晶ディスプレイ装置、有機ELディスプレイ装置、CRTディスプレイ装置などである。なお、表示装置30は、タッチパネルセンサを備えてもよく、その場合、入力装置としても機能する。
補正環操作装置50は、補正環111の設定値を指示するための入力手段である。利用者が補正環操作装置50で補正環111の設定値を指示すると、補正環制御装置14は、補正環111の設定値を指示された値に変更する。
Z駆動部操作装置60は、対物レンズ110のZ位置の変更を指示するための入力手段である。利用者がZ駆動部操作装置60でZ位置の変更を指示すると、Z制御装置13は、Z駆動部109を光軸方向に移動させて対物レンズ110のZ位置を変更する。
顕微鏡100は、2光子励起顕微鏡である。サンプルSは、例えば、マウスの脳などの生体試料であり、サンプルSにはカバーガラスCGが載せられている。顕微鏡100は、図3に示すように、照明光路上に、レーザー101と、走査ユニット102と、瞳投影光学系103と、ミラー104と、ダイクロイックミラー105と、対物レンズ110とを備えている。
レーザー101は、例えば、超短パルスレーザーであり、近赤外域のレーザー光を発振する。レーザー101の出力は、光源制御装置11によって制御される。即ち、光源制御装置11は、サンプルに照射するレーザー光のパワーを制御するレーザー制御装置である。
走査ユニット102は、レーザー光でサンプルSを2次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナンドスキャナなどを含んでいる。走査ユニット102の走査範囲が変化することでズーム倍率が変化する。走査ユニット102の走査範囲は、ズーム制御装置12によって制御される。
瞳投影光学系103は、走査ユニット102を対物レンズ110の瞳位置に投影する光学系である。ダイクロイックミラー105は、励起光(レーザ光)とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。
対物レンズ110は、補正環111を備えた乾燥系又は液浸系の対物レンズであり、Z駆動部109に装着されている。Z駆動部109は、対物レンズ110を対物レンズ110の光軸方向に移動させる手段であり、Z駆動部109の移動(即ち、対物レンズ110の移動)は、Z制御装置13によって制御される。
補正環111は、その設定値を変更することにより対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である。補正環111の設定値は、補正環制御装置14(補正装置制御装置)によって変更される。なお、補正環111の設定値は、補正環111を直接操作することで、手動で変更することもできる。
顕微鏡100は、さらに、検出光路(ダイクロイックミラー105の反射光路)上に、瞳投影光学系106と、光検出器107とを備えている。光検出器107から出力された信号は、A/D変換器108に出力される。
瞳投影光学系106は、対物レンズ110の瞳を光検出器107に投影する光学系である。光検出器107は、例えば、光電子増倍管(PMT)であり、入射した蛍光の光量に応じたアナログ信号を出力する。A/D変換器108は、光検出器107からのアナログ信号をデジタル信号(輝度信号)に変換して、演算装置20に出力する。
以上のように構成された顕微鏡システム1では、顕微鏡100は、走査ユニット102を用いてレーザー光でサンプルSを走査して、サンプルSの各位置からの蛍光を光検出器107で検出する。そして、演算装置20は、光検出器107からの信号を変換したデジタル信号(輝度信号)と走査ユニット102の走査情報とに基づいて、画像データを生成する。即ち、顕微鏡システム1では、顕微鏡100と演算装置20により構成される顕微鏡装置が、サンプルSの画像データを取得する。
図4は、顕微鏡システム1で行われる球面収差補正処理のフローチャートである。以下、図4を参照しながら、顕微鏡システム1において補正環111を利用して行われる球面収差を補正する処理について説明する。
顕微鏡システム1は、まず、初期設定の入力を受け付ける(ステップS10)。ここでは、例えば、利用者が観察対象面を決定するためにZ駆動部操作装置60を操作する。これにより、Z制御装置13がZ駆動部109を制御して対物レンズ110のZ位置を変化させる。その結果、サンプルSの観察対象面が確定する。
次に、顕微鏡システム1は、ステップS10で決定した観察対象面における球面収差が補正される補正環111の設定値(以降、目標値と記す)を算出する(ステップS20)。ここでは、顕微鏡装置が取得した画像データに基づいて、演算装置20が目標値を算出する。なお、目標値を算出する処理については、後に詳述する。
顕微鏡システム1は、目標値が算出されると、補正環111の設定値を目標値に設定する(ステップS30)。ここでは、補正環制御装置14が補正環111の設定値をステップS20で算出された目標値に変更する。なお、補正環制御装置14は、自動的に、即ち、演算装置20からの指示に従って、ステップS20で算出した目標値に補正環111の設定値を変更してもよい。また、手動により、即ち、ステップS20で算出された目標値が表示装置30に表示され、表示された目標値に基づいて利用者が補正環操作装置50を操作することにより、補正環制御装置14が補正環111の設定値を目標値に変更してもよい。また、利用者が補正環111を直接操作して補正環111の設定値を目標値に変更してもよい。
最後に、顕微鏡システム1は、レーザー101の出力を設定する(ステップS40)。ここでは、光源制御装置11が、補正環111の設定値が目標値であるときに顕微鏡装置で取得された画像データに基づいて、サンプルSに照射するレーザー光のパワーを制御する。例えば、ステップS30で補正環111の設定値を変更した後に改めて画像データを取得して、その画像データから算出される画像の明るさに基づいてレーザー101の出力を設定してもよい。また、ステップS20で補正環111の設定値が目標値であるときの画像データが既に取得されている場合には、その画像データから算出される画像の明るさに基づいてレーザー101の出力を設定してもよい。
顕微鏡システム1は、図4に示す球面収差補正処理を実行することで、観察対象面の深さに応じて変化する球面収差を補正することができる。これにより、顕微鏡100が有する光学性能を十分に発揮して、高品質な画像を得ることができる。また、球面収差が補正された状態では、一般に、球面収差が補正されていない状態に比べて明るい画像が得られる。このため、球面収差が補正された状態で取得された画像データに基づいてレーザー101の出力を設定することで、レーザー101の出力を抑えて、生体試料へのダメージを抑制することができる。なお、この効果は、より大きな出力が必要とされるサンプルSの深部を観察する場合に、特に顕著である。
図5は、顕微鏡システム1で行われる目標値算出処理のフローチャートである。図6は、図5に示す目標値算出処理について説明するための図である。以下、図5及び図6を参照しながら、図4のステップS20で行われる目標値を算出する処理について説明する。
顕微鏡システム1は、まず、補正環111の複数の設定値を決定する(ステップS21)。ここでは、顕微鏡装置でサンプルの画像データを取得する際の補正環111の設定値を演算装置20が複数個決定する。例えば、図6(a)に示すように、演算装置20は、補正環111が回転可能な範囲(動作可能範囲)自体又はそれより少しだけ狭い範囲を探索範囲に決定し、探索範囲を均等に分割する予め決められた数(ここでは10)の設定値(補正環位置)を、複数の設定値として決定する。なお、図6(a)では、θ1からθ10までの10個の設定値(補正環位置)が決定される例が示されている。
次に、顕微鏡システム1は、補正環111の設定値をステップS21で決定した設定値に変更する(ステップS22)。ここでは、補正環制御装置14が演算装置20からの指示に従ってステップS21で決定した複数の設定値のいずれかに設定する。例えば、補正環制御装置14は、補正環111の設定値をステップS21で決定したθ1に変更する。
補正環111の設定値が変更されると、顕微鏡システム1は、サンプルSの画像データを取得する(ステップS23)。ここでは、顕微鏡装置が演算装置20からの指示に従って画像データを取得する。例えば、顕微鏡装置は、補正環111の設定値がθ1の状態で画像データを取得する。
その後、顕微鏡システム1は、ステップS21で決定したすべての設定値で画像データを取得したか否かを判断し(ステップS24)、すべての設定値で画像データを取得していない場合には、ステップS22からステップS24の処理を繰り返す。これにより、顕微鏡装置は、補正環111の設定値が異なる複数の状態の各々で、サンプルSの観察対象面の画像データを取得し、その結果、複数の画像データを取得する。
すべての設定値で画像データが取得されると、顕微鏡システム1は、ステップS23で取得した複数の画像データの各々の評価値を算出する(ステップS25)。ここでは、演算装置20が、複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示すその画像データの評価値を算出して、その結果、複数の画像データの複数の評価値を算出する。一般に、球面収差が補正された画像データほど高いコントラストを有していることから、評価値としては、例えば、画像データに対してコントラスト評価法を用いて算出されるコントラスト値が用いられる。図6(a)には、ステップS23で取得した複数の画像データの評価値が示されている。なお、図6(a)では、画像データは補正環位置(補正環111の設定値)によって特定され、その画像データの評価値がコントラスト値として示されている。
コントラスト評価法によるコントラスト値は、画像データを構成するピクセル間の輝度値の差分に基づいて算出される。具体的には、例えば、下式により、x方向にnピクセル分ずれた位置にある2つのピクセルの輝度値の差分の2乗を画像データ全体で積分した値が、コントラスト値として算出される。
ここで、xは画像データを構成するピクセルの列を特定する変数であり、yは画像データを構成するピクセルの行を特定する変数である。Wは画像データを構成するピクセルのx方向の数(即ち、列数)であり、Hは画像データを構成するピクセルのy方向の数(即ち、行数)である。fはピクセルの輝度値であり、nは整数(例えば、5など)である。
評価値が算出されると、顕微鏡システム1は、所定の条件を満たしているか否かを判断する(ステップS26)。所定の条件としては、例えば、ステップS22からステップS26までの処理の繰り返し回数が所定回数に達しているか否かであってもよく、複数の設定値の平均間隔が所定値以下であるか否かであってもよい。
ステップS26で所定の条件を満たしていない場合には、顕微鏡システム1は、改めて複数の設定値を決定し(ステップS27)、その後、ステップS22からステップS26の処理を繰り返す。
ステップS27では、演算装置20は、以下の2つの条件を満たすように複数の設定値を決定する。第1の条件は、ステップS27で決定する複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔が、先の複数の設定値の分布範囲及び平均間隔と比較して、狭いことである。第2の条件は、ステップS27で決定する複数の設定値の分布範囲内に、ステップS25において最大の評価値に対応する補正環111の設定値が含まれることである。なお、本明細書において、評価値に対応する設定値とは、ある画像データから算出された評価値に対するその画像データが取得されたときの補正装置の設定値のことをいうものとする。また、設定値に対応する評価値とは、ある画像データが取得されたときの補正装置の設定値に対するその画像データから算出された評価値のことをいうものとする。
これにより、顕微鏡装置は、設定値が異なる複数の状態で複数の画像データを取得する処理を、複数の状態で設定される補正環111の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、その分布範囲内に演算装置20が算出した最大の評価値に対応する補正環111の設定値が含まれるように、繰り返す。そして、演算装置は、繰り返し毎に、複数の画像データの複数の評価値を算出する。
図6(b)は、ステップS27で決定した複数の設定値に基づいて取得した複数の画像データの評価値が示されている。図6(a)と図6(b)を比較すると、図6(b)に示す複数の設定値(補正環位置)は、上記2つの条件を満たしていることが確認できる。なお、図6(a)と図6(b)では、いずれも10個の設定値(補正環位置)が決定されている例が示されているが、設定値の数は、繰り返し毎に設定値の平均間隔が狭くなる限り、同一に限られず、増加しても減少してもよい。
ステップS26で所定の条件を満たしている場合には、顕微鏡システム1は、ステップS25で算出した複数の評価値と、それら複数の評価値に対応する複数の設定値と、に基づいて目標値を算出し(ステップS28)、目標値算出処理を終了する。ここでは、演算装置20は、例えば、最後の繰り返しにおいてステップS25で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値を目標値として算出してもよい。また、最後の繰り返しに限らずステップS25で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値を目標値として算出してもよい。なお、演算装置20は、算出した目標値と現在のZ位置の組み合わせを、記憶装置25に記憶させる。
顕微鏡システム1は、図5に示す目標値算出処理を実行することで、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。従って、顕微鏡システム1によれば、サンプルSへのダメージを抑制しつつ短時間で容易に球面収差を補正することが可能となる。
なお、図5のステップS25では、画像データ毎に評価値を算出する例を示したが、画像データの全体領域を複数の領域に分割して、分割によって得られる領域毎に評価値(以降、画像データ毎に算出される評価値と区別するため、領域評価値と記す。)を算出してもよい。この場合、ステップS28では、領域毎に目標値(全体領域に対して算出される目標値と区別するため、以降、領域目標値と記す。)を算出し、複数の領域目標値に基づいて、全体領域に対する目標値を算出する。
図7は、画像データの全体領域Wを領域R1から領域R9の9つの領域に分割し、領域毎に領域目標値を算出した例を示している。全体領域に対する目標値は、例えば、領域目標値を昇順又は降順に並べた(θ3:θ3:θ4:θ4:θ5:θ5:θ5:θ6:θ6)中間値(θ5)に決定されてもよく、最頻値(θ5)に決定されてもよい。なお、分割数も9つに限られず、9つより少なくても多くてもよい。
領域毎に領域目標値を算出し、複数の領域目標値に対する統計的な処理により目標値を算出することで、画像データに他のピクセルデータと比較して極端に高輝度又は低輝度を有するピクセルデータが含まれる場合であっても、その影響を抑えて画像データのコントラストを評価することができる。このため、球面収差が補正される設定値を正しく算出することができる。
図8は、顕微鏡システム1で行われる別の目標値算出処理のフローチャートである。対物レンズ110には、補正環111の設定値を変更することにより対物レンズ110の焦点距離がわずかに変化するものが存在する。図8に示す目標値算出処理は、このような対物レンズ110が使用される場合に行われる。図8に示す目標値算出処理は、ステップS28に続いて、さらに、ステップS51からステップS53の処理が行われる点が、図5に示す目標値算出処理と異なっている。その他の点は、図5に示す目標値算出処理と同様であるので、説明を割愛する。
顕微鏡システム1は、ステップS28で目標値が算出されると、Z位置を変更する(ステップS51)。ここでは、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて対物レンズ110のZ位置を変更する。Z位置の移動量は、補正環111の設定値を動作可能範囲内で変更したときに、その変更によって生じる観察対象面の最大移動量(つまり、対物レンズ110の焦点距離の最大変化量)よりも小さな距離である。
次に、顕微鏡システム1は、変更後のZ位置が所定のZ範囲内にあるか否かを判断する(ステップS52)。ここでは、例えば、変更後のZ位置が基準となるZ位置から補正環111の設定値の変更によって生じる観察対象面の最大移動量よりも離れていない場合には、演算装置20はZ位置が所定のZ範囲内にあると判断する。なお、基準となるZ位置とは、例えば、図4のステップS10で確定した観察対象面のZ位置である。即ち、所定のZ範囲とは、例えば、ステップS10で確定した観察対象面のZ位置を中心とした、対物レンズ110の焦点距離の最大変化量の2倍の幅を有するZ範囲である。
変更後のZ位置が所定のZ範囲内にある場合には、顕微鏡システム1は、変更後のZ位置でステップS22からステップS28の処理を行う。これにより、演算装置20は、Z位置毎に目標値を算出し、その結果、複数のZ位置における複数の目標値を算出する。
変更後のZ位置が所定のZ範囲外にある場合には、顕微鏡システム1は、複数のZ位置における複数の目標値とこれら複数の目標値に対応する評価値とに基づいて、評価値が最大となると推定される補正環111の設定値とZ位置の組み合わせを算出し(ステップS53)、目標値算出処理を終了する。ここでは、演算装置20は、例えば、複数の目標値に対応する複数の評価値のうちの最大の評価値を特定し、その最大の評価値に対応する目標値を、評価値が最大となると推定される設定値として算出する。そして、演算装置20は、評価値が最大となると推定される設定値とZ位置の組み合わせを記憶装置25に記憶させる。
顕微鏡システム1は、図8に示す目標値算出処理を実行することで、対物レンズ110の焦点距離が補正環111の設定値によって変化する場合であっても、比較的少ない画像データの取得回数で、球面収差を良好に補正する補正環111の設定値と対物レンズ110のZ位置の組み合わせを高精度に算出することができる。そして、ステップS53で算出した設定値とZ位置の組み合わせに従って、Z制御装置13及び補正環制御装置14がZ駆動部109及び補正環111を制御することで、観察対象面で生じる球面収差を良好に補正することができる。
なお、図8のステップS25では、画像データの全体領域を複数の領域に分割して、領域毎に領域評価値を算出してもよく、この場合、ステップS28では、複数の領域目標値を算出する。また、ステップS53では、複数のZ位置における複数の領域目標値とこれら複数の領域目標値に対応する領域評価値とに基づいて、評価値が最大となると推定される補正環111の設定値とZ位置の組み合わせ(全体領域に対して算出される組み合わせと区別するため、以降、領域組み合わせと記す)を、領域毎に算出する。その後、複数の領域組み合わせに基づいて、全体領域に対する組み合わせを算出する。
図9は、画像データの全体領域Wを領域R1から領域R9の9つの領域に分割し、領域毎に領域組み合わせを算出した例を示している。領域組み合わせを構成する設定値は、例えば、ステップS28で算出される領域目標値を昇順又は降順に並べた(θ3.6:θ3.7:θ4.4:θ4.4:θ4.5:θ4.6:θ4.7:θ5.1:θ6.1)中間値(θ4.5)に決定されてもよく、最頻値(θ4.4)に決定されてもよい。また、領域組み合わせを構成するZ位置は、例えば、決定された設定値に基づいて決定されてもよく、中間値(θ4.5)であれば、中間値に対応するZ位置の値(Z2.5)、最頻値(θ4.4)であれば、最頻値に対応するZ位置の値(Z2.3)に決定されてもよい。なお、分割数も9つに限られず、9つより少なくても多くてもよい。
領域毎に領域組み合わせを算出し、複数の領域組み合わせに対する統計的な処理により、評価値が最大となると推定される補正環111の設定値とZ位置の組み合わせを算出する。これにより、画像データに他のピクセルデータと比較して極端に高輝度又は低輝度を有するピクセルデータが含まれる場合であっても、その影響を抑えて画像データのコントラストを評価することができる。このため、球面収差が補正される設定値を正しく算出することができる。
図10は、顕微鏡システム1で行われる更に別の目標値算出処理のフローチャートである。図11は、図10に示す目標値算出処理について説明するための図である。図10及び図11を参照しながら、図10に示す目標値算出処理について説明する。なお、図10に示すステップS61からステップS65までの処理は、図5に示すステップS21からステップS25までの処理と同様であるので、詳細な説明は割愛する。
顕微鏡システム1は、ステップS65で評価値が算出されると、複数の画像データの第1の座標情報に基づいて目標値を算出し(ステップS66)、目標値算出処理を終了する。なお、画像データの第1の座標情報とは、その画像データから算出された評価値とその評価値に対応する補正環111の設定値との組み合わせをいうものとする。
ステップS66では、演算装置20は、まず、ステップS63で取得した複数の画像データから3つ以上の画像データを選択する。この3つ以上の画像データは、ステップS65で算出した複数の評価値のうちの最大値が算出された画像データが含まれるように、選択される。
その後、演算装置20は、選択した3つ以上の画像データの第1の座標情報に基づいて、観察対象面における球面収差が補正される補正環111の設定値である目標値を算出する。具体的には、3つ以上の画像データの第1の座標情報に基づいて、補間又は関数近似により関数を算出する。なお、この関数は、評価値と設定値に関する関数である。そして、算出した関数のピーク座標(評価値が最大となる座標)から得られる設定値を目標値として算出する。演算装置20は、算出した目標値と現在のZ位置の組み合わせを、記憶装置25に記憶させる。
図11には、最大の評価値が算出される画像データとその前後(つまり、設定値が近い)の画像データからなる3つの画像データが選択され、それらの画像データから得られる3つの第1の座標情報からラグランジュ補間により二次関数を算出し、そのピーク座標から目標値を算出した例が示されている。なお、補間には、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。また、関数近似にも、最小二乗法などの任意の近似法が採用され得る。
顕微鏡システム1は、図10に示す目標値算出処理を実行することで、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。従って、顕微鏡システム1によれば、サンプルSへのダメージを抑制しつつ短時間で容易に球面収差を補正することが可能となる。
なお、図5に示す目標値算出処理と図10に示す目標値算出処理を組み合わせて目標値を算出してもよい。例えば、図10に示す目標値算出処理に図5のステップS26及びステップS27の処理を追加して、ステップS66で算出した目標値が分布範囲に含まれるように、複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔を徐々に狭めながら、目標値の算出を繰り返してもよい。これにより、目標値をより高い精度で算出することが可能となる。
図12は、顕微鏡システム1で行われる更に別の目標値算出処理のフローチャートである。図13は、図12に示す目標値算出処理のステップS69の処理のフローチャートである。図14及び図15は、図13に示す処理について説明するための図であり、図14は目標値と評価値の関数を算出する方法を、図15は目標値とZ位置の関数を算出する方法を示している。図12に示す目標値算出処理は、補正環111の設定値を変更することにより焦点距離が変化する対物レンズ110が使用される場合に行われる。図12に示す目標値算出処理は、ステップS66の代わりにステップS66aの処理が行われる点と、さらに、ステップS67からステップS69の処理が行われる点が、図10に示す目標値算出処理と異なっている。その他の点は、図10に示す目標値算出処理と同様であるので、説明を割愛する。なお、ステップS66aでは、関数のピーク座標から目標値に加えてその目標値に対応する評価値を算出する点がステップS66とは異なっている。
顕微鏡システム1は、ステップS66aで目標値と評価値が算出されると、Z位置を変更する(ステップS67)。さらに、変更後のZ位置が所定のZ範囲内にあるか否かを判断する(ステップS68)。なお、ステップS67及びステップS68の処理は、図8に示すステップS51及びステップS52の処理と同様である。
変更後のZ位置が所定のZ範囲内にある場合には、顕微鏡システム1は、変更後のZ位置でステップS62からステップS66aの処理を行う。これにより、Z位置毎に目標値と目標値に対応する評価値が算出され、その結果、複数のZ位置における複数の目標値と複数の評価値が算出される。即ち、複数の第2の座標情報が算出される。なお、第2の座標情報とは、Z位置と、Z位置における目標値と、Z位置における目標値に対応する評価値の組み合わせをいうものとする。
変更後のZ位置が所定のZ範囲外にある場合には、顕微鏡システム1は、複数の第2の座標情報に基づいて、評価値が最大となると推定される設定値とZ位置の組み合わせを算出し(ステップS69)、目標値算出処理を終了する。ここでは、演算装置20は、図13に示すように、まず、複数の第2の座標情報から3つ以上の第2の座標情報を選択する(ステップS69a)。この3つ以上の第2の座標情報は、複数の第2の座標情報のうちの最大値の評価値を有する第2の座標情報が含まれるように選択される。その後、演算装置20は、選択した3つ以上の第2の座標情報に基づいて、補間又は関数近似により目標値と評価値の関数(図14における破線)を算出する(ステップS69b)。このとき、第2の座標情報に含まれるZ位置の情報は関数の算出に利用しない。次に、ステップS69bで算出した関数のピーク座標(評価値が最大となる座標)からピーク座標での目標値を算出する(ステップS69c)。さらに、選択した3つ以上の第2の座標情報に基づいて、補間(例えば、線形補間)により目標値とZ位置の関数(図15における破線)を算出する(ステップS69d)。このとき、第2の座標情報に含まれる評価値の情報は関数の算出に利用しない。そして、ステップS69cで算出した目標値とステップS69dで算出した関数に基づいてZ位置を算出する(ステップS69e)。最後に、ステップS69cで算出した目標値とステップS69eで算出したZ位置の組み合わせを評価値が最大となると推定される設定値とZ位置の組み組み合わせとして算出し、記憶装置25に記憶させる(ステップS69f)。図8のステップS53でも同様の方法で組み合わせを算出してもよい。
顕微鏡システム1は、図12に示す目標値算出処理を実行することで、対物レンズ110の焦点距離が補正環111の設定値によって変化する場合であっても、比較的少ない画像データの取得回数で、球面収差を良好に補正する補正環111の設定値と対物レンズ110のZ位置の組み合わせを高精度に算出することができる。そして、ステップS69で算出した設定値とZ位置の組み合わせに従って、Z制御装置13及び補正環制御装置14がZ駆動部109及び補正環111を制御することで、観察対象面で生じる球面収差を良好に補正することができる。
図12では、所定のZ範囲内のZ位置毎にステップS62からステップS66aの処理を行う例を示したが、さらに、Z位置毎にステップS61が行われてもよい。即ち、Z位置毎に、補正環111の複数の設定値(画像データを取得する補正環の設定値の範囲)を決定し直してもよい。
図16は、Z位置毎且つ補正環111の設定値(角度)毎に得られる標本Sの画像を並べた図である。図16には、Z位置が深くなるほど、高いコントラストの画像が得られる補正環111の設定値も大きくなるという傾向が示されている。従って、このようなZ位置に対する傾向が既知である場合には、Z位置毎に、この傾向に基づいて探索範囲を決定して、ステップS61でその探索範囲内で複数の設定値を決定してもよい。図16に示す例であれば、Z2では、θ1からθ3の3つの設定値を決定し、Z3では、θ1からθ5の5つの設定値を決定し、Z4では、θ2からθ6の5つの設定値を決定する。これにより、Z位置毎に複数の設定値を決定し直さない場合に比べて、探索範囲を狭くすることができるため、ステップS61で決定する設定値の数も少なくすることができる。このため、より少ない画像データの取得回数で、球面収差を良好に補正する補正環111の設定値と対物レンズ110のZ位置の組み合わせを高精度に算出することができる。
なお、探索範囲の幅(L1とL2との間のθ方向の距離)は、例えば、対物レンズの設計値等に基づいて、対物レンズ毎に設定されていてもよく、また、実験等により、図16に示すようなデータを予め取得し、このデータに基づいて設定されていてもよい。また、上述した傾向(即ち、Z位置と評価値と設定値の関係を示す傾向、例えば、L1及びL2の傾き)は、最初の数回のZ位置の変更までの間に算出されたZ位置と目標値の組み合わせの情報から算出してもよい。
また、図8及び図12は、Z位置を変更することなく決定した補正環111の全ての設定値で画像データを取得した後に、Z位置を次の位置へ変更する例を示しているが、結果として、設定値が異なる複数の状態の各々で取得された画像データが所定範囲内のZ位置毎に得られればよい。このため、補正環111の設定値を変更することなく所定範囲内の各Z位置で画像データを取得した後に、補正環111の設定値を次の設定値に変更してもよい。
図17は、本実施例に係る顕微鏡200の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡100の代わりに顕微鏡200を含む点が図1に示す顕微鏡システム1と異なっている。その他の点については、顕微鏡システム1と同様であるので、同一の構成要素については同一の符号で参照する。
顕微鏡200は、共焦点顕微鏡である。サンプルSは、例えば、マウスの脳などの生体試料である。顕微鏡200は、図17に示すように、照明光路上に、レーザー201と、ビームエクスパンダ202と、ダイクロイックミラー203と、走査ユニット204と、瞳投影光学系205と、対物レンズ110とを備えている。なお、対物レンズ110、対物レンズ110を光軸方向に移動させるZ駆動部109、対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である補正環111については、実施例1に係る顕微鏡100と同様である。
レーザー201は、例えば、可視域や紫外域、赤外域のレーザー光を発振する。レーザー201から発振されるレーザーの出力は、光源制御装置11によって制御される。ビームエクスパンダ202は、レーザー201からのレーザー光(コリメート光)の光束を対物レンズ213の瞳径に応じて調整する光学系である。ダイクロイックミラー203は、励起光(レーザ光)とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。
走査ユニット204は、レーザー光でサンプルSを2次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナンドスキャナなどを含んでいる。走査ユニット204の走査範囲が変化することでズーム倍率が変化する。走査ユニット204の走査範囲は、ズーム制御装置12によって制御される。瞳投影光学系205は、走査ユニット204を対物レンズ110の瞳位置に投影する光学系である。
顕微鏡200は、さらに、検出光路(ダイクロイックミラー203の透過光路)上に、ミラー206と、共焦点レンズ207と、共焦点絞り208と、集光レンズ209と、光検出器210とを備えている。光検出器210から出力された信号は、A/D変換器211に出力される。
共焦点レンズ207は、共焦点絞り208上に、蛍光を集光するレンズである。共焦点絞り208は、対物レンズ110の焦点面と光学的に共役な位置に配置された絞りである。共焦点絞り208には、対物レンズ110の焦点位置から生じた蛍光を透過させるピンホールが形成されている。集光レンズ209は、共焦点絞り208を通過した蛍光を光検出器210に導くレンズである。
光検出器210は、例えば、光電子増倍管(PMT)であり、入射した蛍光の光量に応じたアナログ信号を出力する。A/D変換器211は、光検出器210からのアナログ信号をデジタル信号(輝度信号)に変換して、演算装置20に出力する。
以上のように構成された本実施例に係る顕微鏡システムでは、顕微鏡200は、走査ユニット204を用いてレーザー光でサンプルSを走査して、サンプルSの各位置からの蛍光を光検出器210で検出する。そして、演算装置20は、光検出器210からの信号を変換したデジタル信号(輝度信号)と走査ユニット204の走査情報とに基づいて、画像データを生成する。即ち、本実施例に係る顕微鏡システムでは、顕微鏡200と演算装置20により構成される顕微鏡装置が、サンプルSの画像データを取得する。
本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様に、図4に示す球面収差補正処理を行うことができる。このため、観察対象面の深さに応じて変化する球面収差を補正することができる。これにより、顕微鏡200が有する光学性能を十分に発揮して、高品質な画像を得ることができる。また、レーザー201の出力を抑えて、生体試料へのダメージを抑制することができる点も実施例1に係る顕微鏡システム1と同様である。また、本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様に、図5、図8、図10及び図12に示す目標値算出処理を行うこともできる。このため、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。従って、本実施例に係る顕微鏡システムによれば、サンプルへのダメージを抑制しつつ短時間で容易に球面収差を補正することができる。
図18は、本実施例に係る顕微鏡300の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡100の代わりに顕微鏡300を含む点が図1に示す顕微鏡システム1と異なっている。その他の点については、顕微鏡システム1と同様であるので、同一の構成要素については同一の符号で参照する。
顕微鏡300は、走査型ではない通常の蛍光顕微鏡である。なお、顕微鏡300は、ズーム機能を備えているため、ズーム顕微鏡とも呼ばれる。サンプルSは、例えば、マウスの脳などの生体試料である。顕微鏡300は、図18に示すように、照明光路上に、光源302を内蔵したランプハウス301と、コレクタレンズ303と、蛍光キューブ304と、ズームレンズ305と、対物レンズ110とを備えている。なお、対物レンズ110、対物レンズ110を光軸方向に移動させるZ駆動部109、対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である補正環111については、実施例1に係る顕微鏡100と同様である。
光源302は、例えば、LED光源、高出力の水銀ランプなどである。なお、光源302の出力は、光源制御装置11によって制御される。コレクタレンズ303は、光源302からの励起光をコリメートする。蛍光キューブ304は、図示しないダイクロイックミラーと励起フィルタと吸収フィルタとを備えている。蛍光キューブ304は、励起光とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長により励起光と蛍光を分離する。
ズームレンズ305は、ズームレンズ305を構成するレンズ間の距離が変化するように構成されている。ズーム制御装置12がレンズ間の距離を図示しないモータ等によって変化させることでズーム倍率が変化する。即ち、ズームレンズ305は、ズーム制御装置12によって制御される。
顕微鏡300は、さらに、検出光路(蛍光キューブ304の透過光路)上に、結像レンズ306と、撮像装置307を備えている。結像レンズ306は、対物レンズ110及びズームレンズ305を介して入射する蛍光を撮像装置307上に集光させて、サンプルSの光学像を形成する。撮像装置307は、例えば、CCDカメラであり、サンプルSの光学像を撮像してサンプルSの画像データを生成する。撮像装置307は、生成した画像データを演算装置20に出力する。本実施例に係る顕微鏡システムでは、顕微鏡300である顕微鏡装置が、サンプルSの画像データを取得する。
本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様に、図4に示す球面収差補正処理を行うことができる。このため、観察対象面の深さに応じて変化する球面収差を補正することができる。これにより、顕微鏡300が有する光学性能を十分に発揮して、高品質な画像を得ることができる。また、光源302の出力を抑えて、生体試料へのダメージを抑制することができる点も実施例1に係る顕微鏡システム1と同様である。また、本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様に、図5、図8、図10及び図12に示す目標値算出処理を行うこともできる。このため、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。従って、本実施例に係る顕微鏡システムによれば、サンプルへのダメージを抑制しつつ短時間で容易に球面収差を補正することができる。
上述した各実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。顕微鏡システム、設定値算出方法及びプログラムは、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。この明細書で説明される個別の実施例の文脈におけるいくつかの特徴を組み合わせて単一の実施例としてもよい。
Z制御装置13がZ駆動部109を制御して対物レンズ110のZ位置を変化させる構成を例示したが、Z制御装置13は、顕微鏡のステージを光軸方向に移動させることにより対物レンズ110のZ位置を変化させてもよい。
また、観察対象面の深さによって変化する球面収差を補正する補正装置として補正環111を例示したが、補正装置は、光路上で生じる球面収差の量を変化させることができるものであればよい。補正装置は、例えば、LCOS(Liquid crystal on silicon、商標)、DFM(Deformable Mirror)、液体レンズなどを用いた装置であってもよい。また、発生する球面収差量が大きく単一の補正装置では十分に球面収差を補正しきれない場合には、補正する球面収差量を複数の補正装置で分担して、観察対象面で生じる球面収差を補正してもよい。
また、画素分解能が光学分解能よりも大きい、即ち、画素分解能から算出されるピクセルサイズが光学的に識別し得る2点間の距離よりも大きい場合には、発生した球面収差が画像データに十分に反映していない可能性がある。このような場合には、発生した球面収差を画像データ、ひいては評価値に正しく反映させるため、画素分解能が光学分解能よりも小さくなるように、ズーム倍率を高くした状態で目標値算出処理を実行してもよい。これにより、観察対象面に生じた球面収差をより高い精度で補正する設定値を算出することが可能となる。
また、評価値を算出する方法として、設定値毎に1枚の画像データを取得し、取得した画像データ毎に評価値を算出する例を示したが、設定値毎に複数の画像データを取得して、カルマンフィルタ等を用いて複数の画像データから評価値を算出してもよい。このような方法によれば、画像データの各々に含まれるノイズ成分を設定値毎の複数の画像データを用いて相殺させることができるため、より精度の高い評価値を算出することができる。
また、図5及び図8に示す目標値算出処理に加えて、図10及び図12に示すに示す目標値算出処理でも、画像データの全体領域を複数の領域に分割して、領域毎に評価値及び目標値を算出してもよい。これにより、球面収差が補正される設定値をより正しく算出することができる。
また、例えば、マウスの脳などの生体試料を観察する場合、観察対象面に明るく発光する細胞体が点在している場合がある。このような細胞体の明るさは、球面収差の影響に比べて焦点ズレの影響によって大きく変化する。このため、補正環111の設定値によって焦点距離が変化する対物レンズが用いられている場合には、評価値(画像のコントラスト)によって球面収差が補正される設定値を適切に算出することが困難になる場合がある。そのような場合には、評価値を算出する方法として、画像データを加工してから評価値を算出する図19に示す方法を採用してもよい。
図19は、画像データを加工してから評価値を算出する処理のフローチャートである。以下、図19を参照しながら、評価値算出処理について説明する。
顕微鏡システムは、まず、画像データから輝度値に関するヒストグラムを作成する(ステップS71)。ここでは、演算装置20は、画像データを構成する各ピクセルの輝度値を特定し、輝度値毎のピクセル数を算出して、輝度値に関するヒストグラムを作成する。なお、ヒストグラムは、顕微鏡利用者が輝度値の度数分布を視覚的に把握するために作成される。従って、評価値算出処理に際して、ヒストグラムの作成は省略されてもよい。
次に、顕微鏡システムは、画像データから平均輝度値を算出する(ステップS72)。ここでは、演算装置20は、画像データを構成する複数のピクセルの輝度値の合計をピクセル数で除して、平均輝度値を算出する。
さらに、顕微鏡システムは、高輝度を有するピクセルデータの影響を排除する(ステップS73)。ここでは、演算装置20は、ステップS71で作成したヒストグラムとステップS72で算出した平均輝度値を用いて、平均輝度値から例えば3σ(σは画像データを構成するピクセルの輝度値の標準偏差)を超えて高い輝度を有するピクセルデータを特定し、それらのピクセルデータの輝度値を所定の輝度値に変更して画像データを更新する。なお、所定の輝度値は、例えば、平均輝度値+3σである。
最後に、顕微鏡システムは、ステップS73で更新した画像データに基づいて、その画像データの評価値を算出する(ステップS74)。なお、このステップでの評価値の算出方法は、上述した方法と同様である。
顕微鏡システムが図19に示す処理を行うことで、例えば、観察対象面内で明るく発光している細胞の影響を排除することができる。このため、球面収差が補正される設定値を正しく算出することができる。なお、画像データを加工する方法は、上述した方法に限られない。例えば、表示された画像上で、画像中の評価対象とする範囲を指定して、その範囲内のピクセルデータに基づいて評価値を算出してもよい。この場合も、明るく発光する細胞を含まないように範囲を指定することで、球面収差が補正される設定値を正しく算出することができる。
1 顕微鏡システム
10 顕微鏡制御装置
11 光源制御装置
12 ズーム制御装置
13 Z制御装置
14 補正環制御装置
20 演算装置
30 表示装置
40 キーボード
50 補正環操作装置
60 Z駆動部操作装置
100、200、300 顕微鏡
101、201 レーザー
102、204 走査ユニット
103、106、205 瞳投影光学系
104、206 ミラー
105、203 ダイクロイックミラー
107、210 光検出器
108、211 A/D変換器
109 Z駆動部
110 対物レンズ
111 補正環
202 ビームエクスパンダ
207 共焦点レンズ
208 共焦点絞り
209 集光レンズ
301 ランプハウス
302 光源
303 コレクタレンズ
304 蛍光キューブ
305 ズームレンズ
306 結像レンズ
307 撮像装置
S サンプル
CG カバーガラス

Claims (11)

  1. 球面収差を補正する補正装置を備え、前記補正装置の設定値が異なる複数の状態の各々でサンプルの観察対象面の画像データを取得して、複数の画像データを取得する顕微鏡装置と、
    前記顕微鏡装置が取得した前記複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の画像データの複数の評価値を算出する演算装置と、を備え、
    前記顕微鏡装置は、前記複数の画像データを取得する処理を、前記複数の状態で設定される前記補正装置の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、前記分布範囲内に前記演算装置が算出した最大の評価値に対応する前記補正装置の設定値が含まれるように、繰り返し、
    前記演算装置は、前記演算装置が算出した複数の評価値と当該複数の評価値に対応する複数の設定値に基づいて、前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する
    ことを特徴とする顕微鏡システム。
  2. 球面収差を補正する補正装置を備え、前記補正装置の設定値が異なる複数の状態の各々でサンプルの観察対象面の画像データを取得して、複数の画像データを取得する顕微鏡装置と、
    前記顕微鏡装置が取得した前記複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の画像データの複数の評価値を算出する演算装置と、を備え、
    前記演算装置は、前記演算装置が算出した評価値と当該評価値に対応する前記補正装置の設定値との組み合わせを第1の座標情報と定義すると、前記複数の画像データから選択された、前記複数の評価値のうちの最大値が算出された画像データを含む3つ以上の画像データの第1の座標情報に基づいて、補間又は関数近似により関数を算出し、算出した前記関数から前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する
    ことを特徴とする顕微鏡システム。
  3. 請求項1又は請求項2に記載の顕微鏡システムにおいて、
    前記演算装置は、
    前記顕微鏡装置に設けられた対物レンズのZ位置であって前記補正装置の設定値の変更によって生じる前記観察対象面の移動量よりも小さな距離だけ互いに異なるZ位置毎に前記目標値を算出して、複数のZ位置における複数の目標値を算出し、
    前記複数のZ位置における前記複数の目標値と当該複数の目標値に対応する複数の評価値とに基づいて、画像データが取得されたときに評価値が最大となると推定される前記補正環の設定値とZ位置の組み合わせを算出する
    ことを特徴とする顕微鏡システム。
  4. 請求項3に記載の顕微鏡システムにおいて、
    前記演算装置は、前記複数の状態で設定される前記補正装置の複数の設定値を、Z位置毎に決定する
    ことを特徴とする顕微鏡システム。
  5. 請求項1乃至請求項4のいずれか1項に記載の顕微鏡システムにおいて、
    前記演算装置は、
    前記顕微鏡装置が取得した画像データに基づいて、当該画像データの前記評価値を当該画像データの全体領域を分割した領域毎に算出し、且つ、前記目標値を前記領域毎に算出し、
    前記領域毎に算出された複数の目標値から1つの目標値を算出する
    ことを特徴とする顕微鏡システム。
  6. 請求項1乃至請求項5のいずれか1項に記載の顕微鏡システムにおいて、さらに、
    前記演算装置で算出された前記目標値に、前記補正装置の設定値を変更する補正装置制御装置と、
    前記補正装置の設定値が前記目標値であるときに前記顕微鏡装置で取得される画像データに基づいて、前記サンプルに照射するレーザー光のパワーを制御するレーザー制御装置と、を備える
    ことを特徴とする顕微鏡システム。
  7. 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、
    前記補正装置は、前記顕微鏡装置の対物レンズ内のレンズを移動させる補正環である
    ことを特徴とする顕微鏡システム。
  8. 球面収差を補正する補正装置を備える顕微鏡装置が、前記補正装置の設定値が異なる複数の状態の各々でサンプルの観察対象面の画像データを取得して、複数の画像データを取得し、
    演算装置が、前記顕微鏡装置が取得した前記複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の画像データの複数の評価値を算出し、
    前記顕微鏡装置が、前記複数の画像データを取得する処理を、前記複数の状態で設定される前記補正装置の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、前記分布範囲内に前記演算装置が算出した最大の評価値に対応する前記補正装置の設定値が含まれるように、繰り返し、
    前記演算装置が、前記演算装置が算出した複数の評価値と当該複数の評価値に対応する複数の設定値に基づいて、前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する
    ことを特徴とする設定値算出方法。
  9. 球面収差を補正する補正装置を備える顕微鏡装置が、前記補正装置の設定値が異なる複数の状態の各々でサンプルの観察対象面の画像データを取得し、複数の画像データを取得し、
    演算装置が、前記顕微鏡装置が取得した前記複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の画像データの複数の評価値を算出し、
    前記演算装置が算出した評価値と当該評価値に対応する前記補正装置の設定値との組み合わせを第1の座標情報と定義すると、前記演算装置が、前記複数の画像データから選択された3つ以上の画像データであって、前記複数の評価値のうちの最大値が算出された画像データを含む3つ以上の画像データの第1の座標情報に基づいて、補間又は関数近似により関数を算出し、算出した前記関数から前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する
    ことを特徴とする設定値算出方法。
  10. 球面収差を補正する補正装置を備える顕微鏡装置が前記補正装置の設定値が異なる複数の状態の各々で取得したサンプルの観察対象面の画像データに基づいて、球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の状態で取得した複数の画像データの複数の評価値を算出する処理と、
    前記複数の状態で設定される前記補正装置の複数の設定値の分布範囲と平均間隔が狭まり、且つ、前記複数の設定値の分布範囲内に前記複数の評価値のうちの最大の評価値に対応する前記補正装置の設定値が含まれるように、新たな複数の設定値を算出する処理と、を繰り返し、
    繰り返し算出した複数の評価値と当該複数の評価値に対応する複数の設定値に基づいて、前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する
    処理をコンピュータに実行させることを特徴とするプログラム。
  11. 球面収差を補正する補正装置を備える顕微鏡装置が前記補正装置の設定値が異なる複数の状態の各々で取得したサンプルの観察対象面の画像データに基づいて、球面収差が補正されているほど大きな値を示す当該画像データの評価値を算出して、前記複数の状態で取得した複数の画像データの複数の評価値を算出し、
    評価値と当該評価値に対応する前記補正装置の設定値との組み合わせが第1の座標情報と定義される場合に、前記複数の画像データから選択された3つ以上の画像データであって、前記複数の評価値のうちの最大値が算出された画像データを含む3つ以上の画像データの第1の座標情報に基づいて、補間又は関数近似により関数を算出し、算出した前記関数から前記観察対象面における球面収差が補正される前記補正装置の設定値である目標値を算出する
    処理をコンピュータに実行させることを特徴とするプログラム。
JP2014253526A 2014-12-15 2014-12-15 顕微鏡システム、設定値算出方法、及び、プログラム Active JP6434296B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014253526A JP6434296B2 (ja) 2014-12-15 2014-12-15 顕微鏡システム、設定値算出方法、及び、プログラム
EP15198629.6A EP3035104B1 (en) 2014-12-15 2015-12-09 Microscope system and setting value calculation method
US14/964,306 US10379329B2 (en) 2014-12-15 2015-12-09 Microscope system and setting value calculation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014253526A JP6434296B2 (ja) 2014-12-15 2014-12-15 顕微鏡システム、設定値算出方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2016114795A true JP2016114795A (ja) 2016-06-23
JP6434296B2 JP6434296B2 (ja) 2018-12-05

Family

ID=56141564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014253526A Active JP6434296B2 (ja) 2014-12-15 2014-12-15 顕微鏡システム、設定値算出方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6434296B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018017970A (ja) * 2016-07-29 2018-02-01 オリンパス株式会社 光シート顕微鏡、及び、光シート顕微鏡の制御方法
WO2018087820A1 (ja) * 2016-11-08 2018-05-17 株式会社ニコン 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法
JP2019148617A (ja) * 2018-02-26 2019-09-05 オリンパス株式会社 顕微鏡システム
JP2020148857A (ja) * 2019-03-12 2020-09-17 株式会社Screenホールディングス 光学系調整方法、画像取得方法、および画像取得装置
CN115047610A (zh) * 2022-08-17 2022-09-13 杭州德适生物科技有限公司 一种自动拟合显微对焦平面的染色体核型分析装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164834A (ja) * 2006-12-27 2008-07-17 Olympus Corp 顕微鏡及び顕微鏡の明るさ調整方法
JP2011191617A (ja) * 2010-03-16 2011-09-29 Panasonic Corp 撮像装置
JP2012042525A (ja) * 2010-08-13 2012-03-01 Nikon Corp 3次元形状測定装置およびプログラム
JP2013160815A (ja) * 2012-02-01 2013-08-19 Olympus Corp 顕微鏡
JP2014160213A (ja) * 2013-02-20 2014-09-04 Olympus Corp 顕微鏡システム及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164834A (ja) * 2006-12-27 2008-07-17 Olympus Corp 顕微鏡及び顕微鏡の明るさ調整方法
JP2011191617A (ja) * 2010-03-16 2011-09-29 Panasonic Corp 撮像装置
JP2012042525A (ja) * 2010-08-13 2012-03-01 Nikon Corp 3次元形状測定装置およびプログラム
JP2013160815A (ja) * 2012-02-01 2013-08-19 Olympus Corp 顕微鏡
JP2014160213A (ja) * 2013-02-20 2014-09-04 Olympus Corp 顕微鏡システム及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018017970A (ja) * 2016-07-29 2018-02-01 オリンパス株式会社 光シート顕微鏡、及び、光シート顕微鏡の制御方法
WO2018087820A1 (ja) * 2016-11-08 2018-05-17 株式会社ニコン 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法
JPWO2018087820A1 (ja) * 2016-11-08 2019-09-26 株式会社ニコン 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法
JP2019148617A (ja) * 2018-02-26 2019-09-05 オリンパス株式会社 顕微鏡システム
JP7041550B2 (ja) 2018-02-26 2022-03-24 オリンパス株式会社 顕微鏡システム
JP2020148857A (ja) * 2019-03-12 2020-09-17 株式会社Screenホールディングス 光学系調整方法、画像取得方法、および画像取得装置
JP7162843B2 (ja) 2019-03-12 2022-10-31 株式会社Screenホールディングス 光学系調整方法、画像取得方法、および画像取得装置
CN115047610A (zh) * 2022-08-17 2022-09-13 杭州德适生物科技有限公司 一种自动拟合显微对焦平面的染色体核型分析装置及方法

Also Published As

Publication number Publication date
JP6434296B2 (ja) 2018-12-05

Similar Documents

Publication Publication Date Title
US10379329B2 (en) Microscope system and setting value calculation method
US10288877B2 (en) Microscopy system, determination method, and recording medium
JP6552041B2 (ja) 顕微鏡システム、屈折率算出方法、及び、プログラム
JP6434296B2 (ja) 顕微鏡システム、設定値算出方法、及び、プログラム
US8830313B2 (en) Information processing apparatus, stage-undulation correcting method, program therefor
JP5090188B2 (ja) 顕微鏡装置
US10877257B2 (en) Phase contrast microscope
US20140233094A1 (en) Microscope system and storage medium
JP6562547B2 (ja) 顕微鏡システム、算出方法、及び、プログラム
US20160147058A1 (en) Microscope system
EP2804145A1 (en) Microscope system and stitched area decision method
JP6147006B2 (ja) 撮像装置、顕微鏡システム及び撮像方法
JP2013029806A (ja) 撮像装置
JP6887875B2 (ja) 顕微鏡システム、制御方法、及び、プログラム
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP6422761B2 (ja) 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP2019070737A (ja) 観察装置、合焦制御方法、及び、プログラム
JP2013020140A (ja) 画像処理装置および画像表示システム
JP7369801B2 (ja) 顕微鏡システム、設定探索方法、及び、プログラム
JP2018017970A (ja) 光シート顕微鏡、及び、光シート顕微鏡の制御方法
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP7081318B2 (ja) 顕微鏡、方法、及びプログラム
JP2018063291A (ja) 顕微鏡システム、及び、三次元像構築方法
JP6108972B2 (ja) 合焦装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181108

R151 Written notification of patent or utility model registration

Ref document number: 6434296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250