JP2018173507A - 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法 - Google Patents

補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法 Download PDF

Info

Publication number
JP2018173507A
JP2018173507A JP2017070751A JP2017070751A JP2018173507A JP 2018173507 A JP2018173507 A JP 2018173507A JP 2017070751 A JP2017070751 A JP 2017070751A JP 2017070751 A JP2017070751 A JP 2017070751A JP 2018173507 A JP2018173507 A JP 2018173507A
Authority
JP
Japan
Prior art keywords
correction amount
evaluation value
image
unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017070751A
Other languages
English (en)
Other versions
JP6969134B2 (ja
Inventor
一郎 佐瀬
Ichiro Sase
一郎 佐瀬
敬 中川
Takashi Nakagawa
敬 中川
啓作 浜田
Hirosaku Hamada
啓作 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2017070751A priority Critical patent/JP6969134B2/ja
Publication of JP2018173507A publication Critical patent/JP2018173507A/ja
Application granted granted Critical
Publication of JP6969134B2 publication Critical patent/JP6969134B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】撮像装置に関する補正量を算出する補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法を提供する。【解決手段】補正量算出装置は、撮像対象を撮像する撮像装置に関する補正量を算出する補正量算出装置であって、撮像条件のうちの補正量を自装置が算出可能な条件についての程度を互いに異ならせて同一の撮像対象が撮像された複数の画像を取得する第一画像取得部と、撮像対象を撮像することにより得られる第二の画像を取得する第二画像取得部と、撮像対象を撮像することにより得られる第三の画像を取得する第三画像取得部と、複数の画像と、第二の画像とに基づく評価値である第一の評価値を算出する第一評価値算出部と、複数の画像と、第三の画像とに基づく評価値である第二の評価値を算出する第二評価値算出部と、第一の評価値と、第二の評価値とに基づいて、補正量を算出する補正量算出部とを備える。【選択図】図1

Description

本発明は、補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法に関する。
従来、標本及び顕微鏡の光学系により生じる収差の影響を調節する顕微鏡装置が知られている(例えば、特許文献1)。
米国特許第6563634号明細書
本発明の一態様は、撮像対象を撮像する撮像装置に関する補正量を算出する補正量算出装置であって、撮像条件のうちの前記補正量を自装置が算出可能な条件についての程度を互いに異ならせて同一の撮像対象が撮像された複数の画像を取得する第一画像取得部と、前記撮像対象を撮像することにより得られる第二の画像を取得する第二画像取得部と、前記撮像対象を撮像することにより得られる第三の画像を取得する第三画像取得部と、前記第一画像取得部が取得する複数の前記画像と、前記第二画像取得部が取得する前記第二の画像とに基づく評価値である第一の評価値を算出する第一評価値算出部と、前記第一画像取得部が取得する複数の前記画像と、前記第三画像取得部が取得する前記第三の画像とに基づく評価値である第二の評価値を算出する第二評価値算出部と、前記第一評価値算出部が算出する前記第一の評価値と、前記第二評価値算出部が算出する前記第二の評価値とに基づいて、前記補正量を算出する補正量算出部とを備える補正量算出装置である。
また、本発明の一態様は、前記補正量とは、対物レンズの収差の補正量であって、球面収差補正光学系を有する前記対物レンズと、上記に記載の前記補正量算出部が算出する前記補正量に基づいて、前記対物レンズの球面収差補正光学系の収差の補正量を調節する駆動部とを備える顕微鏡である。
また、本発明の一態様は、撮像対象を撮像する撮像部と、前記撮像対象と前記撮像部との間の光路上の収差を補正する光収差補正部と、を備え、前記光収差補正部は、上記に記載の前記補正量算出部が算出する前記補正量に基づいて、前記光収差補正部の収差の補正量を調節する顕微鏡である。
また、本発明の一態様は、対物レンズと撮像対象を載置するステージとの相対位置を、上記に記載の前記補正量算出部が算出する前記補正量に基づいて移動させる駆動部を備える顕微鏡である。
また、本発明の一態様は、撮像対象を撮像する撮像装置に関する補正量を算出する補正量算出装置が備えるコンピュータに、撮像条件のうちの前記補正量を自装置が算出可能な条件についての程度を互いに異ならせて同一の撮像対象が撮像された複数の画像を取得する第一画像取得ステップと、前記撮像対象を撮像することにより得られる第二の画像を取得する第二画像取得ステップと、前記撮像対象を撮像することにより得られる第三の画像を取得する第三画像取得ステップと、前記第一画像取得ステップから取得される複数の前記画像と、前記第二画像取得ステップから取得される前記第二の画像とに基づく評価値である第一の評価値を算出する第一評価値算出ステップと、前記第一画像取得部から取得される複数の前記画像と、前記第三画像取得ステップから取得される前記第三の画像とに基づく評価値である第二の評価値を算出する第二評価値算出ステップと、前記第一評価値算出ステップから算出される前記第一の評価値と、前記第二評価値算出ステップから算出される前記第二の評価値とに基づいて、前記補正量を算出する補正量算出ステップとを実行させるための補正量算出プログラムである。
また、本発明の一態様は、撮像条件のうちの撮像対象を撮像する撮像装置に関する補正量を自装置が算出可能な条件についての程度を互いに異ならせて同一の撮像対象が撮像された複数の画像を取得する第一画像取得ステップと、前記撮像対象を撮像することにより得られる第二の画像を取得する第二画像取得ステップと、前記撮像対象を撮像することにより得られる第三の画像を取得する第三画像取得ステップと、前記第一画像取得ステップから取得される複数の前記画像と、前記第二画像取得ステップから取得される前記第二の画像とに基づく評価値である第一の評価値を算出する第一評価値算出ステップと、前記第一画像取得部から取得される複数の前記画像と、前記第三画像取得ステップから取得される前記第三の画像とに基づく評価値である第二の評価値を算出する第二評価値算出ステップと、前記第一評価値算出ステップから算出される前記第一の評価値と、前記第二評価値算出ステップから算出される前記第二の評価値とに基づいて、前記補正量を算出する補正量算出ステップとを有する補正量算出方法である。
顕微鏡システムの外観構成の一例を示す図である。 顕微鏡の一部である顕微鏡の外観構成の一部分を拡大した図である。 第1の実施形態の補正量算出装置の機能構成の一例を示す図である。 ルーラー情報の一例を示す図である。 補正量算出装置の動作の一例を示す流れ図である。 基準面画像と、観察画像と、ルーラー情報との一例を示す図である。 基準面相関値と、観察面相関値との一例を示す図である。 第2の実施形態の顕微鏡と、補正量算出装置との機能構成の一例を示す図である。 多軸ルーラー情報の一例を示す図である。
[第1の実施形態]
以下、図面を参照して顕微鏡システムについて説明する。
図1は、顕微鏡システム100の外観構成の一例を示す図である。
顕微鏡システム100は、補正量算出装置10と、顕微鏡20とを備える。
顕微鏡20とは、ステージ23に載置される試料の拡大した像を観察する球面収差補正光学系を備える顕微鏡である。試料とは、具体的には、観察対象となる生体試料、ビーズなどである。生体試料とは、厚みがある蛍光染色された細胞などの試料である。ビーズとは、蛍光標識されたポリスチレンの微小球体(例えば直径0.2umなど)である。顕微鏡20は、撮像部25がこの拡大された像を撮像し、撮像画像を生成する。また、顕微鏡20は、電動モータにより球面収差の補正の程度を制御可能な補正環を備えた対物レンズにより、球面収差を補正する。球面収差とは、点光源から出射される光線が、光学系を通過後に1点の焦点に集束しない収差である。球面収差は、具体的には、観察対象を通過した光の観察波長や、温度変化、カバーガラス厚、観察面の深さに応じて変化する。補正環は、この球面収差を補正する。本実施形態において、補正量算出装置10は、この補正環の位置の補正量を算出する。
[顕微鏡20について]
ここで、図2を参照して顕微鏡20について説明する。以下の説明では、顕微鏡20を倒立顕微鏡の一部構成の場合について説明するが、これに限られない。顕微鏡20は、微分干渉顕微鏡(Differential Interference Contrast microscope;DIC)、位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡、二光子励起蛍光顕微鏡等の一部構成であってもよい。
図2は、顕微鏡20の一部である顕微鏡20の外観構成の一部分を拡大した図である。図1中、顕微鏡20は、対物レンズ21と、補正環駆動部22と、ステージ23と、対物レンズ駆動部24と、撮像部25と、分岐部26とを備える。
対物レンズ駆動部24は、対物レンズ21の位置を光軸OA方向に動かすモータを有しており、対物レンズを保持する不図示のレボルバを上下動させることにより、対物レンズを光軸OA方向に動かすことができる。図2中、対物レンズ21と、撮像対象TPとの相対位置ZLが変化すると、対物レンズ21の焦点位置が変化する。以下の説明において、対物レンズ21の焦点位置を、焦点位置OFとも記載する。
本実施形態において、対物レンズ21は、補正環21aを備える。補正環21aを調節し対物レンズ21を保持する鏡筒内であって、対物レンズ21の光軸に配置される収差補正レンズの光軸方向の位置を変更することにより、対物レンズ21の球面収差は補正される。対物レンズ21の球面収差の補正量CLは、対物レンズ21の光軸OA方向の変位に対応付いている。補正量CLとは、補正環21aが補正する球面収差の程度である。つまり、補正量CLを調節すると、対物レンズ21の焦点位置OFは光軸OA方向に移動する。言い換えると、補正量CLを調節すると、対物レンズ21の焦点位置が変化する。このような環状の構成の補正環21aは、必須のものではなく、カム構造を用い収差補正レンズを光軸OA方向に移動させる構成でもよい。また、収差補正レンズの代わりに、球面収差を補正するミラーや、液晶素子などの光学素子を用いてもよい。球面収差を補正するミラーや、液晶素子などの光学素子は収差補正光学系として対物レンズと接眼レンズとの間に配置され、観察光学系に入射される観察光の透過を調整することにより、球面収差を補正する。
補正環駆動部22は、補正環21aの補正位置を駆動する。補正環21aは、補正位置が駆動されることにより、球面収差の補正量CLを調節する。補正環駆動部22とは、具体的には、電動モータなどの駆動装置であり、電動モータによりレンズを保持する保持部材をカム機構などで光軸方向に移動させるものが使用できる。
ステージ23に置かれた撮像対象TPの像は、対物レンズ21を介して不図示の結像レンズにより撮像部25の撮像面に結像される。この一例では、撮像対象TPは、厚さTPDの生体試料である。撮像部25は、対物レンズ21によって結像された像を撮像する。本実施形態においては、撮像部25は、撮像素子としてCCDセンサまたはCMOSセンサを備えるカメラである。この一例では、撮像対象TPは、カバーガラスCGの上に配置される。撮像対象TPには、照明光が照射される。対物レンズ21は、撮像対象TPを透過した光を受光する。球面収差は、撮像対象TPを透過した光の波長によっても生じる。なお、対物レンズ21が受光する光は、撮像対象TPを透過した光に限られない。対物レンズ21は、撮像対象TPによって反射された光を受光してもよい。
分岐部26は、対物レンズ21が結像する撮像対象TPからの光を、撮像部25及び不図示の接眼レンズへと分岐する。具体的には、分岐部26は、撮像対象TPからの光を光路OPを介して撮像部25に分岐する。分岐部26とは、具体的には、ダイクロイックプリズムや、ハーフミラーなどの光学素子である。
また、撮像部25は、細胞に蛍光物質を励起する励起光を照射することにより、細胞に添加された蛍光試薬から発光される蛍光を撮像画像として撮像する。
本実施形態においては、細胞を蛍光試薬で染色して、細胞画像を取得する。具体的には、本実施形態では、細胞を固定し、免疫染色する。細胞の固定とは、ホルムアルデヒド等の試薬を用いて細胞を固定する処理を行うことである。なお、撮像部25が撮像する生体試料は、例えば、固定標本、透明化標本、生きたままの標本であってもよい。
また、顕微鏡20は、生体物質内に取り込まれた発色物質そのものから生じる発光或いは蛍光や、発色団を持つ物質が生体物質に結合することによって生じる発光或いは蛍光を、上述した撮像画像として撮像してもよい。これにより、顕微鏡20は、蛍光画像、二光子励起蛍光顕微鏡画像を取得することができる。
本実施形態における細胞とは、例えば、初代培養細胞や、株化培養細胞、組織切片の細胞等である。細胞を観察するために、観察される試料は細胞の集合体や組織試料、臓器、個体(動物など)を用い観察し、細胞を含む画像を取得しても構わない。なお、細胞の状態は、特に制限されず、生きている状態であっても、或いは固定されている状態であってもよく、“in−vivo”又は“in−vitro”のどちらでもよい。勿論、生きている状態の情報と、固定されている情報とを組み合わせても構わない。
カバーガラスCGと、対物レンズ21との間には、液浸空間iが設けられる。液浸空間iは、液体によって満たされる。液浸空間iに液体が満たされることにより、対物レンズ21の開口数が改善され、分解能、焦点深度及び明るさなどの対物レンズ21の分解能を高めることができる。液浸空間iを満たす液体とは、具体的には、油、水などである。液浸空間iに油が満たされる場合には、温度変化による球面収差の変化が生じる。以下の説明では、この液浸空間iに油が満たされることを、油浸とも記載する。液浸空間iに水が満たされる場合には、カバーガラス厚による球面収差の変化が生じる。以下の説明では、この液浸空間iに水が満たされることを、水浸とも記載する。
さらに、撮像対象TP内部における観察位置の変化に伴い、カバーガラスCGと焦点位置OFとの距離が変化する。対物レンズ21が油浸対物レンズの場合には、カバーガラスCGと焦点位置OFとの距離の変化により球面収差が発生する。
図1に戻り、補正量算出装置10は、像の球面収差の補正量を算出する。
本実施形態において、補正量算出装置10は、表示部11と、制御部12とを備える。制御部12は、対物レンズ21の、球面収差の補正の程度CLを算出する。表示部11は、顕微鏡20が撮像した撮像画像を表示する。表示部11は、制御部12が算出した結果を表示する。補正量算出装置10は、これに限らずパソコンや無線により情報の送受信が可能なタブレット型の装置でもよい。
[補正量算出装置10の機能構成]
次に、図3を参照して、補正量算出装置10の機能構成について説明する。
図3は、第1の実施形態の補正量算出装置10の機能構成の一例を示す図である。
制御部12は、画像取得部13と、基準フォーカス面情報取得部16と、操作検出部17と、記憶部STと、ルーラー情報生成部18と、評価値算出部14と、程度算出部15とを備える。画像取得部13とは、第一画像取得部、第二画像取得部及び第三画像取得部の一例である。評価値算出部14とは、第一評価値算出部及び第二評価値算出部の一例である。程度算出部15とは、補正量算出部の一例である。
画像取得部13は、撮像部25によって撮像された画像信号である撮像画像を取得する。画像取得部13は、顕微鏡20からこの撮像画像の撮像条件のうちの補正量が算出可能な条件を示す条件パラメータ取得する。条件パラメータとは、撮像条件のうちの補正量を自装置が算出可能な条件である。
この撮像画像には、制御可能な条件パラメータを互いに異ならせて同一の撮像対象TPが撮像された複数の画像と、観察中の撮像対象TPが撮像された撮像画像とがある。この実施形態では、条件パラメータとは、相対位置ZLである。相対位置ZLとは、上述したように、上述した対物レンズ21と、撮像対象TPとの相対位置である。
画像取得部13は、相対位置ZLを互いに異ならせて同一の撮像対象TPが撮像された複数の画像を取得する。また、観察中の撮像対象TPが撮像された撮像画像とは、第二の画像の一例である。以下の説明では、観察中の撮像対象TPが撮像された撮像画像のことを、観察画像とも記載する。画像取得部13は、取得した撮像画像を、評価値算出部14に対して出力する。
画像取得部13は、顕微鏡20から、画像と、画像が撮像されたときの条件パラメータとをそれぞれ対応付けて取得する。画像取得部13は、顕微鏡20から取得した画像と、この画像が撮像されたときの条件パラメータとをそれぞれ対応付けて、ルーラー情報生成部18に対して出力する。なお、条件パラメータは、補正量算出装置10を操作するユーザーによって与えられてもよい。この場合には、操作検出部17は、このユーザーの条件パラメータを入力する操作を検出する。
基準フォーカス面情報取得部16は、基準面画像を取得する。基準面画像とは、この実施形態では、観察者が観察したい焦点位置OFにおける撮像対象TPが撮像された画像である。この、基準面画像は、第三の画像の一例である。観察者とは、補正量算出装置10及び顕微鏡20を操作して、撮像対象TPを観察する者である。基準フォーカス面情報取得部16は、取得した基準面画像を、評価値算出部14に対して出力する。
操作検出部17は、観察者の入力操作を検出する。操作検出部17は、具体的には、観察者からの入力操作によって入力された、基本パラメータを検出する。基本パラメータとは、対象領域ROI(Region of Interest)、補正環の調整範囲、補正環の調整に用いる情報であるルーラー情報、制御対象などの情報である。
対象領域ROIとは、撮像画像の撮像ピクセルうちの、ある一部の領域のことである。対象領域ROIとは、この一例では、撮像画像のサイズの90%以下の領域である。なお、対象領域ROIは、撮像画像のサイズの全ての領域であってもよい。
補正環の調整範囲とは、この実施形態では、補正環を動かせる範囲である。この補正環を動かせる範囲は、対物レンズ毎に設定される。補正環を動かせる範囲とは、具体的には、補正環の補正の程度の最小値と最大値とを示す情報である。
制御対象の情報とは、補正量算出装置10が算出する補正量に基づいて、制御される対象の情報である。ここで、制御対象とは、補正環駆動部22、対物レンズ駆動部24及びステージ駆動部27などである。この実施形態では、補正環21aと、補正環21aを駆動する補正環駆動部22を示す情報である。
観察者は、補正環21aの補正位置を調整することにより補正の程度を変更したい場合には、基本パラメータに、この制御対象の情報として、補正環21a及び補正環駆動部22を示す情報を入力する。補正環駆動部22、対物レンズ駆動部24及びステージ駆動部27は、補正量算出装置10が算出する補正量に基づいて駆動されることにより、顕微鏡20が観察する像を調整する。なお、基本パラメータに制御対象の情報が含まれていなくてもよい。この場合には、補正量算出装置10は、観察者によって指定されるルーラー情報RPIに基づいて、ルーラー情報RPIが示す条件と対応する制御対象の補正量を算出すればよい。
操作検出部17は、検出した操作結果を評価値算出部14に対して出力する。
記憶部STには、ルーラー情報RPIが記憶される。ここで、図4を参照して、ルーラー情報RPIについて説明する。
図4は、ルーラー情報RPIの一例を示す図である。
ルーラー情報RPIとは、複数のルーラー画像と、このルーラー画像を撮像したときの条件パラメータとがそれぞれ対応付けられた情報である。以下の説明では、複数のルーラー画像を、ルーラー画像群とも記載する。条件パラメータとは、本実施形態では、上述したように、相対位置ZLである。
ルーラー情報RPI1とは、相対位置ZLを互いに異ならせて撮像した複数の撮像画像と、この撮像画像を撮像したときの相対位置ZLとがそれぞれ対応付けられた情報である。本実施形態では、ルーラー情報RPI1には、相対位置ZLを互いに異ならせて撮像したルーラー画像RP11からルーラー画像RP15が含まれる。ルーラー画像RP11とは、相対位置ZL1の状態における撮像対象TPを撮像した撮像画像である。ルーラー画像RP12からルーラー画像RP15も同様に、相対位置ZL2から相対位置ZL5が、それぞれ対応付けられた状態である。
また、ルーラー情報RPI2は、温度TEを互いに異ならせて撮像した複数の撮像画像と、撮像画像を撮像したときの温度TEとがそれぞれ対応付けられた情報である。具体的には、ルーラー情報RPI2には、温度TEを互いに異ならせて撮像したルーラー画像RP21からルーラー画像RP25が含まれる。ルーラー画像RP21とは、温度TE1の状態で撮像対象TPを撮像した撮像画像である。ルーラー画像RP22からルーラー画像RP25も同様に、温度TE2から温度TE5が、それぞれ対応付けられている。
記憶部STには、これらのルーラー情報RPIが記憶される。
図3に戻り、ルーラー情報生成部18は、画像取得部13から撮像画像を取得する。ルーラー情報生成部18は、画像取得部13から、この撮像画像と対応付けられた条件パラメータを取得する。ルーラー情報生成部18は、画像取得部13から取得した撮像画像と条件パラメータとに基づいて、ルーラー情報RPIを生成する。具体的には、ルーラー情報生成部18は、画像取得部13から取得した撮像画像であるルーラー画像と、このルーラー画像を撮像したときの条件パラメータとを対応付けた状態で記憶部STに記憶させる。
評価値算出部14は、画像取得部13から、観察画像を取得する。評価値算出部14は、ルーラー情報生成部18から、ルーラー情報を取得する。評価値算出部14は、基準フォーカス面情報取得部16から基準面画像を取得する。評価値算出部14は、操作検出部17から、基本パラメータを取得する。
評価値算出部14は、観察画像と、ルーラー情報に含まれるルーラー画像とに基づいて評価値を算出する。ここで、評価値とは、ある2つの撮像画像同士の相関の程度を示す値である。以下の説明では、相関の評価値のことを、相関値とも記載する。評価値算出部14は、画像取得部13から取得した観察画像と、ルーラー情報生成部18から取得したルーラー情報に含まれるルーラー画像群との相関値を、それぞれ算出する。以下の説明では、観察画像とルーラー画像のそれぞれとの複数の相関値のことを、観察面相関値とも記載する。この実施形態では、評価値算出部14は、ある2つの撮像画像同士が近似した画像の場合には、ある2つの撮像画像同士が近似しない画像の場合よりも高い相関値を算出する。なお、評価値算出部14は、基本パラメータに対象領域ROIの指定が含まれる場合には、この指定された領域の相関値を算出する。
本実施形態では、評価値算出部14は、算出した観察面相関値同士を補間して、ピーク観察面相関値を算出する。ピーク観察面相関値とは、算出された観察面相関値の範囲において、相関値が他の相関値よりも高い相関値のことである。このピーク観察面相関値とは、第一の評価値の一例である。
具体的には、評価値算出部14は、相関値間の値を補間し、条件パラメータの違いが算出される相関値に与える影響を推定する。評価値算出部14は、推定したピーク観察面相関値と対応する条件パラメータを、観察画像と対応する条件パラメータであると推定する。ピーク観察面相関値とは、言い換えると、観察画像を撮像したときの撮像条件における条件パラメータである。
また、評価値算出部14は、基準面画像と、ルーラー情報に含まれるルーラー画像とに基づいて相関値を算出する。ここで、評価値算出部14は、観察面相関値及び基準面相関値の算出には同じルーラー情報を用いる。具体的には、評価値算出部14は、基準フォーカス面情報取得部16から取得した基準面画像と、ルーラー情報生成部18から取得したルーラー情報に含まれるルーラー画像のそれぞれとの相関値を複数算出する。以下の説明では、基準面画像とルーラー画像のそれぞれとの複数の相関値のことを、基準面相関値とも記載する。なお、ルーラー情報生成部18は、ルーラー情報を生成してもよい。この場合には、ルーラー情報生成部18は、撮像条件のうちの補正量を自装置が算出可能な条件についての程度を互いに異ならせて同一の撮像対象TPが撮像された撮像画像を取得する。ルーラー情報生成部18は、この同一の撮像対象TPが撮像された複数の画像と、画像を撮像したときの補正量を自装置が算出可能な条件とをそれぞれ対応付けたルーラー情報を生成する。
本実施形態では、評価値算出部14は、算出した基準面相関値同士を補間して、ピーク基準面相関値を算出する。ピーク基準面相関値とは、算出された基準面相関値の範囲において、相関値が他の相関値よりも高い相関値のことである。このピーク基準面相関値とは、第二の評価値の一例である。
評価値算出部14は、推定したピーク基準面相関値と対応する条件パラメータを、基準面画像と対応する条件パラメータであると推定する。ピーク基準面相関値とは、言い換えると、基準面画像を撮像したときの撮像条件における条件パラメータである。
評価値算出部14は、算出したピーク観察面相関値と、ピーク基準面相関値と、基本パラメータとを、程度算出部15に対して出力する。
程度算出部15は、ピーク観察面相関値と、ピーク基準面相関値と、基本パラメータとに基づいて、制御対象の補正量を算出する。具体的には、程度算出部15は、評価値算出部14からピーク観察面相関値と、ピーク基準面相関値とを取得する。程度算出部15は、評価値算出部14から取得したピーク観察面相関値と、ピーク基準面相関値と、基本パラメータとに基づいて、顕微鏡20に関する補正量を算出する。この補正量は、条件パラメータが示す条件を直接制御可能な制御対象の補正量であってもよく、ゼルニケ(Zernike)多項式の各項に、条件パラメータが示す条件を当てはめて算出される補正の程度と対応する制御対象の補正量であってもよい。ゼルニケ多項式とは、光学系の収差を算出する式である。
より具体的には、程度算出部15は、基本パラメータに制御対象が指定されている場合には、指定された制御対象の補正量を算出する。この実施形態では、程度算出部15は、対物レンズ21の相対位置ZLの補正量と、補正環21aの収差補正量を算出する。つまり、程度算出部15は、対物レンズ駆動部24が対物レンズ21を駆動させる駆動方向及び駆動量と、補正環駆動部22が補正環21aを駆動させる駆動方向及び駆動量を算出する。
程度算出部15は、算出した基準フォーカス面のフォーカス面OFと対応する補正量を、表示部11と、補正環駆動部22とに対して出力する。
本実施形態では、表示部11は、程度算出部15が算出した補正量を表示する。補正環駆動部22は、程度算出部15から供給される補正量に基づいて補正環21aを駆動させる。
[補正量算出装置10の動作の概要]
次に、図5を参照して、補正量算出装置10の動作の概要について説明する。
図5は、補正量算出装置10の動作の一例を示す流れ図である。なお、ここに示す処理手順は、一例であって、処理手順の省略や処理手順の追加が行われてもよい。
操作検出部17は、観察者の操作によって入力される基本パラメータを取得する(ステップS110)。操作検出部17は、取得した基本パラメータを、評価値算出部14に対して供給する。操作検出部17は、取得した基本パラメータを、ルーラー情報生成部18に対して供給する。
基準フォーカス面情報取得部16は、観察者の操作により基準面画像を取得する(ステップS120)。具体的には、観察者が撮像対象TPの像(目視で確認した像や撮像された画像)を見ながら、観察したい部分に対物レンズの焦点を合わせる。このとき、観察者は収差補正を行う必要は無い。基準フォーカス面情報取得部16は、取得した基準面画像を、評価値算出部14に対して供給する。
評価値算出部14は、操作検出部17から基本パラメータを取得する。評価値算出部14は、基準フォーカス面情報取得部16から基準面画像を取得する。評価値算出部14は、ルーラー情報生成部18からルーラー画像群を取得する(ステップS130)。具体的には、評価値算出部14は、ルーラー情報生成部18からルーラー情報を取得する。
撮像部25は、観察対象物の像をプレ観察画像として撮像する。プレ観察画像とは、ある補正環の補正位置CLにおいて撮像された観察画像である。撮像部25は、プレ観察画像を、画像取得部13に対して供給する。画像取得部13は、撮像部25から、プレ観察画像を取得する(ステップS140)。画像取得部13は、撮像部25から取得したプレ観察画像を、評価値算出部14に対して供給する。
評価値算出部14は、画像取得部13から取得したプレ観察画像と、ルーラー情報RPIに含まれるルーラー画像群RPとの相関最大値を計算する(ステップS142)。具体的には、評価値算出部14は、画像取得部13から、プレ観察画像を取得する。評価値算出部14は、画像取得部13から取得したプレ観察画像と、ルーラー情報RPIに含まれるルーラー画像群RPとの相関値を、それぞれ算出する。評価値算出部14は、算出したこの相関値に基づいて、上述したピーク観察面相関値を算出する。
評価値算出部14は、算出したピーク観察面相関値を、程度算出部15に対して供給する。程度算出部15は、評価値算出部14からピーク観察面相関値を取得する。程度算出部15は、ピーク観察面相関値と対応する相対位置ZLの位置を算出する。
程度算出部15は、算出したピーク観察面相関値と対応する相対位置ZLの位置に、対物レンズ21を駆動させるための、駆動方向及び駆動量を算出する。程度算出部15は、算出した対物レンズ21の駆動方向及び駆動量を、対物レンズ駆動部24に対して供給する。
対物レンズ駆動部24は、程度算出部15から、対物レンズ21の駆動方向及び駆動量を取得する。対物レンズ駆動部24は、程度算出部15から取得した対物レンズ21の駆動方向及び駆動量に基づいて、対物レンズ21を駆動させる。
画像取得部13は、撮像部25から、プレ観察画像と、ルーラー情報RPIに含まれるルーラー画像群RPとの相関最大値の相対位置ZLでの観察画像群を取得する(ステップS144)。観察画像群とは、ピーク観察面相関値と対応する相対位置ZLの観察画像及びこの相対位置ZLを変えて撮像した複数の観察面画像である。
画像取得部13は、撮像部25から取得した観察画像群を、評価値算出部14に対して供給する。
評価値算出部14は、画像取得部13から、観察画像群を取得する。評価値算出部14は、画像取得部13から取得した観察画像群と、基準画像との相関最大値を計算する(ステップS146)。具体的には、評価値算出部14は、基準面画像と、観察画像群に含まれる複数の観察画像との相関値を、それぞれ算出する。以下の説明では、基準面画像と、観察画像群に含まれる複数の観察画像との相関値のことを、基準比較相関値とも記載する。評価値算出部14は、算出したこの基準比較相関値に基づいて、相関最大値を算出する。本実施形態では、評価値算出部14は、基準比較相関値同士を補間して、ピーク基準比較相関値を算出する。
評価値算出部14は、算出したピーク基準比較相関値を、程度算出部15に対して供給する。程度算出部15は、評価値算出部14からピーク基準比較相関値を取得する。
程度算出部15は、観察画像群と、基準画像との相関最大値の相対位置ZLを選択する(ステップS148)。具体的には、程度算出部15は、ピーク基準比較相関値と対応する相対位置ZLの位置を算出する。
程度算出部15は、算出したピーク基準比較相関値と対応する相対位置ZLの位置に、対物レンズ21を駆動させるための、駆動方向及び駆動量を算出する。程度算出部15は、算出した対物レンズ21の駆動方向及び駆動量を、対物レンズ駆動部24に対して供給する。
対物レンズ駆動部24は、程度算出部15から、対物レンズ21の駆動方向及び駆動量を取得する。対物レンズ駆動部24は、程度算出部15から取得した対物レンズ21の駆動方向及び駆動量に基づいて、対物レンズ21を駆動させる。
画像取得部13は、撮像部25から、観察画像群と、基準画像との相関最大値の相対位置ZLで撮像した観察画像を取得する。観察画像群と、基準画像との相関最大値の相対位置ZLで撮像された観察画像のことを、以下の説明では、観察基準面画像とも記載する。この観察基準面画像は、ある補正環の補正位置CLでの、基準面画像に撮像された焦点位置と近似する位置を撮像した画像である。画像取得部13は、この観察基準面画像を、評価値算出部14に対して供給する。
評価値算出部14は、画像取得部13から、観察基準面画像を取得する。評価値算出部14は、観察基準面画像と基準面画像との評価値を算出する(ステップS150)。以下の説明では、観察基準面画像と基準面画像との評価値を、観察基準面相関値とも記載する。
評価値算出部14は、全ての補正環の補正位置CLの、観察基準面画像の評価値を算出したか否かを判定する(ステップS160)。
評価値算出部14は、全ての補正環の補正位置CLの、観察基準面画像の評価値を算出していないと判定する場合には、ステップS148において選択された相対位置ZLをそのままにして、補正環の補正位置CLの位置を変えて、ステップS140から処理を繰り返す(ステップS160;NO)。この補正環の補正位置CLの位置は、例えば、補正環21aが調節可能な補正量を等分し、この等分された補正量分変えた位置である。つまり、評価値算出部14は、補正環21aの補正位置を変えつつ、ステップS140から、ステップS160までの処理を繰り返し行う。
評価値算出部14は、全ての補正環の補正位置CLについて、観察基準面画像の評価値を算出したと判定する場合(ステップS160;YES)には、補正環の補正位置CL毎の観察基準面相関値に基づいて、最適補正量を算出する(ステップS170)。本実施形態では、評価値算出部14は、補正環の補正位置CL毎の観察基準面相関値同士を補間して、ピーク観察基準面相関値を算出する。このピーク観察基準面相関値は、観察基準面画像と基準面画像とが、近似する補正環の補正位置CLを示す相関値である。
評価値算出部14は、ピーク観察基準面相関値を、程度算出部15に対して供給する。程度算出部15は、評価値算出部14から、ピーク観察基準面相関値を取得する。程度算出部15は、評価値算出部14から取得したピーク観察基準面相関値が示す補正環の補正位置CLに、補正環21aを駆動させるための駆動方向及び駆動量を、最適補正量として算出する(ステップS180)。
[ピーク観察面相関値と、ピーク基準面相関値との一例]
ここで、図6及び図7を参照して、評価値算出部14が算出するピーク観察面相関値と、ピーク基準面相関値とについて説明する。
図6は、基準面画像TFI1と、観察画像NP1と、ルーラー情報RPI1との一例を示す図である。
上述したように、ルーラー情報RPI1には、ルーラー画像RP11と、条件パラメータとしての相対位置ZLとが対応付けられた状態で含まれている。ルーラー情報RPI1には、ルーラー画像RP12からルーラー画像RP15も同様に、相対位置ZL2から相対位置ZL5までがそれぞれ対応付けられた状態で含まれている。この実施形態では、相対位置ZL1から相対位置ZL5まで、順次、相対位置ZLが増加する。つまり、相対位置ZL5は、相対位置ZL1よりも補正の程度CLが大きい。
図7は、基準面相関値CRVと、観察面相関値NRVとの一例を示す図である。
図7(a)は、基準面相関値CRVと、ピーク基準面相関値CRPとの一例を示すグラフである。
図7(a)のグラフは、横軸にルーラー情報RPI1に含まれる条件パラメータである相対位置ZLと、縦軸に基準面相関値CRVとを示すグラフである。
基準面相関値CRV1とは、基準面画像TFI1と、ルーラー画像RP11との相関値である。同様に、基準面相関値CRV2から基準面相関値CRV5までは、基準面画像TFI1と、ルーラー画像RP12からルーラー画像RP15までとのそれぞれの相関値である。評価値算出部14は、この基準面相関値CRV同士を補完することにより、曲線L1を算出する。この曲線L1のうち、ピーク部分の相関値が、ピーク基準面相関値CRPである。このピーク基準面相関値CRPと対応する相対位置CZLは、基準面画像を撮像したときの対物レンズ21と、撮像対象TPとの相対位置である。
図7(b)は、観察面相関値NRVと、ピーク観察面相関値NRPとの一例を示すグラフである。
図7(b)のグラフは、横軸にルーラー情報RPI1に含まれる条件パラメータである相対位置ZLと、縦軸に観察面相関値NRVとを示すグラフである。
観察面相関値NRV1とは、観察画像NP1と、ルーラー画像RP11との相関値である。同様に、観察面相関値NRV2から観察面相関値NRV5までは、観察画像NP1と、ルーラー画像RP12からルーラー画像RP15までのそれぞれの画像との相関値である。評価値算出部14は、この観察面相関値NRV同士を補完することにより、曲線L2を算出する。この曲線L2のうち、ピーク部分の相関値が、ピーク観察面相関値NRPである。このピーク観察面相関値NRPと対応する相対位置NZLは、観察画像を撮像したときの対物レンズ21の位置と、撮像対象TPの位置との相対位置である。
程度算出部15は、評価値算出部14が算出する相対位置CZLと、相対位置NZLとの差DLに基づいて、対物レンズ21の駆動方向及び駆動量を算出する。
ここで、曲線L1及びL2の算出方法について説明する。以下の説明では、基準面相関値と、観察面相関値とを区別しない場合には、相関値RVとも記載する。
評価値算出部14は、相関値RV同士を二次曲線フィッティングする。具体的には、評価値算出部14は、最小二乗法により、相関値RV同士を二次曲線フィッティングする。なお、評価値算出部14は、一次関数フィッティングや、指数関数フィッティングによって、相関値RV同士をフィッティングしてもよい。
なお、上述したピーク基準比較相関値と、ピーク観察基準面相関値とを算出する際の補間も、この相関値RV同士のフィッティングの方法と同様に、二次曲線フィッティングすればよい。
なお、補正量算出装置10は、ステップS160において、補正後の補正環の位置が含まれるルーラー情報を取得し直してもよい。また、補正量算出装置10は、補正後の補正環の位置が含まれる新たなルーラー画像が含まれるルーラー情報を生成してもよい。
[相関値を算出する方法]
次に、評価値算出部14が、相関値を算出する方法について説明する。評価値算出部14は、撮像画像の輝度の統計値、撮像画像の輝度分布、撮像画像のコントラスト、撮像画像の周波数成分、撮像画像の点像分布関数、輝度の空間分布を比較することにより相関値を算出する方法がある。以下の説明では、基準面画像TFIと観察画像NPとを区別しない場合には、比較画像とも記載する。
具体的には、評価値算出部14は、撮像画像の輝度値に基づいて相関値を算出する場合には、撮像画像に含まれる輝度の最大値の比較をすることにより相関値を算出する。
また、評価値算出部14は、コントラストが大きくなるほど、輝度分散値が大きくなるほど、又は、隣接画素との輝度微分値が大きくなるほど、球面収差が良好に補正されていると判断して、相関値を算出する。
評価値算出部14は、撮像画像8の画像の空間周波数の周波数成分に基づいて、相関値を算出する場合には、フーリエ変換などにより得られる周波数成分の値を相関値にする。球面収差が良好に補正されるほど、高周波成分の値は大きくなるからである。
評価値算出部14は、点像分布関数に基づいて相関値を算出する場合には、点像分布関数を相関値にする。球面収差が良好に補正されるほど、点像分布関数が小さくなる。
輝度の空間分布が近い画像を算出する場合には、比較画像と参照画像との相関関係を算出する他に、比較画像と参照画像との差分を計算する方法などがある。なお、この一例では、比較画像と参照画像との組み合わせには、上述した「ルーラー画像群」と「プレ観察画像」との組み合わせ、「観察画像群」と「基準面画像」との組み合わせがある。この比較画像とは、第一画像取得部が取得する複数の画像の一例である。
具体的には、比較画像と同じ焦点位置OFを撮像したルーラー画像は、空間分布が近い画像である。空間分布が近い画像とは、撮像した観察対象の形状や配置などが類似した画像である。
評価値算出部14は、比較画像と、ルーラー画像とを、それぞれ輝度の相関関係を算出してもよい。この輝度の相関関係は、正規化相互相関などによって算出される。
評価値算出部14は、比較画像と複数のルーラー画像との相関をそれぞれ算出し、算出された相関同士を比較してもよい。この場合には、評価値算出部14は、より高い相関を示すルーラー画像が、比較画像に撮像された撮像条件に近い条件によって撮像されたと判定する。
[第1の実施形態のまとめ]
以上説明したように、補正量算出装置10は、画像取得部13と、評価値算出部14と、程度算出部15と、基準フォーカス面情報取得部16と、ルーラー情報生成部18とを備える。画像取得部13は、観察画像を取得する。評価値算出部14は、ルーラー情報生成部18からルーラー情報を取得する。評価値算出部14は、画像取得部13から観察画像を取得する。
評価値算出部14は、基準フォーカス面情報取得部16から供給される基準面画像と、ルーラー情報生成部18から供給されるルーラー情報に含まれる複数のルーラー画像とに基づいて、基準面相関値を算出する。評価値算出部14は、画像取得部13から供給される観察画像と、ルーラー情報生成部18から供給されるルーラー情報に含まれる複数のルーラー画像とに基づいて、観察面相関値を算出する。程度算出部15は、評価値算出部14から基準面相関値と観察面相関値とを取得する。程度算出部15は、基準面相関値と観察面相関値とに基づいて、制御対象の補正量を算出する。これにより、補正量算出装置10は、複数の同一の撮像対象が撮像された撮像画像に基づいて制御対象を調節することができる。つまり、補正量算出装置10は、比較画像と参照画像との相関関係に基づいて、制御対象を調節することができる。
また、補正量算出装置10は、ルーラー情報生成部18を備えることにより、ルーラー情報を生成することができる。このルーラー情報は、予め生成されたものであってもよい。これにより、補正量算出装置10は、撮像によって蛍光の輝度が低下する試料などを観察するときに、撮像回数を抑制することができる。
また、補正量算出装置10は、操作検出部17を備える。補正量算出装置10は、操作検出部17から入力される基本パラメータに含まれる対象領域ROIに基づいて、撮像画像の一部の領域を、評価する範囲として指定することができる。この指定により、補正量算出装置10は、範囲の指定が無い場合と比較して、相関値の算出にかかる時間を抑えることができる。
なお、上述した説明では、対物レンズ21が油浸対物レンズ、又は水浸対物レンズなど液浸対物レンズの場合について説明したが、どのような対物レンズであってもよい。つまり、対物レンズ21は、液浸に対応していないドライ対物レンズであってもよい。
上述した、対象領域ROIの縦及び横のピクセル数が、32ピクセルの整数倍の数のピクセルの場合には、評価値算出部14は、対象領域ROI中の空間周波数を、高速フーリエ変換によって算出することができる。この場合には、評価値算出部14は、高速に相関値RVを算出することができる。
なお、上述した説明では、評価値算出部14は、撮像画像の輝度値、撮像画像の輝度分布、撮像画像のコントラスト、撮像画像の空間周波数の周波数成分、撮像画像の点像分布関数などに基づいて相関値RVを算出する場合について説明した。
評価値算出部14は、空間周波数成分に基づいて相関値RVを算出する場合には、補正量CLが異なるルーラー画像毎に、比較画像が示す空間周波数と、ルーラー画像のうちのある画像が示す空間周波数とに基づいて、評価値RVを算出する。具体的には、評価値算出部14は、空間周波数のうち所定の帯域の空間周波数に基づいて、相関値RVを算出する。この一例では、評価値算出部14は、低周波成分と高周波成分との値の比に基づいて相関値RVを算出する。
なお、上述した説明では、第二の画像が観察中の撮像対象TPが撮像された撮像画像の場合について説明したが、これに限られない。第二の画像は、過去に観察された撮像画像であってもよい。
また、上述した説明では、第三の画像がルーラー画像とは異なる画像の場合について説明したが、これに限られない。第三の画像は、ルーラー情報に含まれるルーラー画像のうちの1つの画像であってもよい。この場合には、評価値算出部14は、第三の画像と対応付けられた条件パラメータが示す値をピーク基準面相関値とすればよい。
なお、上述した説明では、ルーラー情報に含まれるルーラー画像RP及び条件パラメータの数がそれぞれ5つの場合について説明したが、これに限られない。また、評価値算出部14は、ルーラー情報に含まれるルーラー画像の一部と、比較画像との相関値RVをそれぞれ算出してもよい。
なお、上述した説明では、評価値算出部14は、ピーク観察面相関値を、観察面相関値同士を補間することにより算出する構成について説明したが、これに限られない。例えば、評価値算出部14は、観察面相関値のうちから最も高い相関値を、ピーク観察面相関値として算出してもよい。また、ピーク基準面相関値についても、基準面相関値同士を補間することにより算出する構成について説明したが、これに限られない。
[第2の実施形態]
ここまでは、1つのルーラー情報に基づいて、補正量を算出する補正量算出装置10の構成について説明した。次に、複数のルーラー情報に基づいて補正量を算出する補正量算出装置の構成について説明する。なお、第1の実施形態と同一の構成及び動作については同一の符号を付してその説明を省略する。
次に、図8及び図9を参照して、補正量算出装置10aの機能構成について説明する。
図8は、第2の実施形態の顕微鏡20aと、補正量算出装置10aとの機能構成の一例を示す図である。
顕微鏡20aは、光変調部28aを備える。この光変調部28aは、図1に示す光路OP上に配置される。光変調部28aは、この光路OP上の光を変調させる。変調とは、光の位相や振幅などを変化させることである。この光変調部28aは、変調させることにより、収差を補正する。具体的には、光変調部28aとは、空間光変調器や液晶素子などの光学素子である。
補正量算出装置10aは、制御部12aを備える。制御部12aは、評価値算出部14aと、程度算出部15aとを備える。
評価値算出部14aは、画像取得部13から観察画像を取得する。評価値算出部14aは、ルーラー情報生成部18から複数のルーラー情報を取得する。評価値算出部14aは、基準フォーカス面情報取得部16から基準面画像を取得する。評価値算出部14aは、操作検出部17から、基本パラメータを取得する。
評価値算出部14aは、観察画像と、ルーラー情報に含まれるルーラー画像とに基づいてピーク観察面相関値を算出する。評価値算出部14aは、このピーク観察面相関値を複数のルーラー情報毎に算出する。評価値算出部14aは、算出した複数のピーク観察面相関値を程度算出部15aに対して供給する。
また、評価値算出部14aは、基準面画像と、ルーラー情報に含まれるルーラー画像とに基づいてピーク基準面相関値を算出する。評価値算出部14aは、このピーク基準面相関値をルーラー情報毎に算出する。評価値算出部14aは、算出した複数のピーク基準面相関値を程度算出部15aに対して供給する。
ここで、図9を参照して、評価値算出部14aが取得する複数のルーラー情報について説明する。
図9は、多軸ルーラー情報RPCの一例を示す図である。
図9(a)は、観察画像ONPの一例である。観察画像ONPには、撮像対象TPである生きた細胞OBと、複数のビーズBEが撮像される。図9(b)は、多軸ルーラー情報RPCと、基準面画像TFI2と、観察画像NP2とが撮像時刻順に並べられたグラフである。ここで、多軸ルーラー情報RPCとは、複数のルーラー情報RPIである。この実施形態では、多軸ルーラー情報RPCには、ルーラー情報RPI91、ルーラー情報RPI92及びルーラー情報RPI93が含まれる。この多軸ルーラー情報RPCには、時刻t=0前後に撮像された複数のルーラー画像RPが含まれる。この多軸ルーラー情報RPCに含まれるルーラー情報には、顕微鏡20aの光路OP中の物質の屈折率の変化や、収差変化に関わる条件パラメータが設定される。具体的には、この条件パラメータは、上述したゼルニケ多項式の各項に相当するパラメータである。多軸ルーラー情報RPCに含まれるルーラー情報同士は、この条件パラメータの種類同士が互いに異なるものが設定される。条件パラメータの種類とは、例えば、上述した補正環の補正位置CLや温度TEなどである。
ここで、多軸ルーラー情報RPCに含まれる複数のルーラー画像、基準面画像TFI2及び観察画像NP2には、それぞれ同一のビーズBEが撮像される。ここで、基準面画像TFI2及び観察画像NP2は、観察画像ONPに含まれるビーズBEが撮像された領域の画像である。生きた細胞OBは、時間変化に応じて形が変化する場合がある。補正量算出装置10aは、ビーズBEなどの時間変化に応じて形や位置が変化しにくい撮像対象TPが撮像された画像同士の相関値RVを算出することにより、より短い時間で補正量を算出することができる。
図8に戻り、程度算出部15aは、評価値算出部14aから複数のピーク基準面相関値を取得する。程度算出部15aは、評価値算出部14aから複数のピーク観察面相関値を取得する。程度算出部15aは、条件パラメータが同じピーク基準面相関値と、ピーク観察面相関値とに基づいて、この条件パラメータと対応する収差の補正量を算出する。程度算出部15aは、取得した複数のピーク基準面相関値及びピーク観察面相関値のうちから、少なくとも2つに基づいて、条件パラメータと対応する収差の補正量を算出する。この実施形態では、程度算出部15aは、光変調部28aの変調の程度を補正する補正量を算出する。この光変調部28aの変調の程度を補正する補正量とは、ゼルニケ多項式から算出された収差の補正量に基づく補正量である。
[第2の実施形態のまとめ]
以上説明したように、補正量算出装置10aは、評価値算出部14aと、程度算出部15aとを備える。評価値算出部14aは多軸ルーラー情報RPCをルーラー情報生成部18から取得する。多軸ルーラー情報RPCには、条件パラメータの種類同士が異なる複数のルーラー情報RPIが含まれる。評価値算出部14aは、基準フォーカス面情報取得部16から供給される基準面画像と、ルーラー情報生成部18から供給される多軸ルーラー情報RPCに含まれる複数のルーラー画像とに基づいて、条件パラメータの種類毎に基準面相関値を算出する。評価値算出部14aは、画像取得部13から供給される観察画像と、ルーラー情報生成部18から供給される多軸ルーラー情報RPCに含まれる複数のルーラー画像とに基づいて、条件パラメータの種類毎に観察面相関値を算出する。程度算出部15aは、評価値算出部14aから複数の基準面相関値及び観察面相関値を取得する。程度算出部15aは、複数の基準面相関値及び観察面相関値に基づいて、光変調部28aの補正量を算出する。つまり、程度算出部15aは、条件パラメータの種類同士が互いに異なる複数の条件に基づいて、補正量を算出する。これにより、補正量算出装置10aは、第1の実施形態の補正量算出装置10よりも短い時間で補正量を算出することができる。
なお、上述した説明では、第1の実施形態及び第2の実施形態に示す程度算出部は、補正環駆動部22の補正量を算出する場合について説明したが、制御対象はこれに限られない。程度算出部15は、ルーラー情報RPIの条件パラメータが示す条件を補正する制御対象の補正量を算出すればよい。具体的には、条件パラメータには、撮像対象TPと対物レンズ21との位置と、対物レンズ21の球面収差補正の程度と、温度条件と、時間経過と、撮像対象TPと撮像部25との間の光路OP上の収差とのうちから少なくとも1つが含まれていればよい。
補正量算出装置は、撮像対象TPと対物レンズ21との位置を補正する場合には、ルーラー情報には、条件パラメータを撮像対象TPと対物レンズ21との位置を変えて撮像されたルーラー画像が含まれていればよい。この位置が、撮像対象TPと、対物レンズとの光軸方向の位置の場合には、補正量算出装置は対物レンズ駆動部24の補正量を算出する。この位置が、撮像対象TPと、対物レンズとの光軸方向と直交する位置の場合には、補正量算出装置はステージ駆動部27の補正量を算出する。なお、ステージ23の上下動駆動機構は、一般的な顕微鏡のステージ上下動機構が使用できる。例えば、カム機構や歯車と歯車にかみ合う係合部材が使用できる。また、対物レンズ側を光軸方向に移動させる機構も一般的な顕微鏡で用いられている機構を使用できる。例えば、歯車と係合部材、リンク機構による上下動機構、カム機構などが使用できる。
補正量算出装置は、温度条件を補正する場合には、ルーラー情報には、条件パラメータとして温度を変えて撮像されたルーラー画像が含まれていればよい。この場合には、補正量算出装置は、不図示の温度調整装置の補正量を算出すればよい。例えば、温度調整装置とは、顕微鏡20が設置される環境の温度を変化させる空調機である。
補正量算出装置は、時間経過を補正する場合には、ルーラー情報には、条件パラメータとして時刻を変えて撮像されたルーラー画像が含まれていればよい。この場合には、補正量算出装置は、観察画像を撮像する時刻を調節する補正量を算出すればよい。
補正量算出装置は、撮像対象TPと撮像部25との間の光路OP上の収差を補正する場合には、ルーラー情報には、ゼルニケ多項式の各項の変数を変えて撮像されたルーラー画像が含まれていればよい。この場合には、補正量算出装置は、光変調部28aの光の変調の程度を補正する補正量を算出してもよい。また、補正量算出装置は、温度調節装置の補正量を算出してもよい。補正量算出装置は、補正環の補正位置CLの補正量を算出してもよい。
なお、上述した第1の実施形態及び第2の実施形態に示す補正量算出装置を、顕微鏡20が備えていてもよい。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、上述の補正量算出装置10及び補正量算出装置10aは内部にコンピュータを有している。そして、上述した装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
10,10a…補正量算出装置、11…表示部、12,12a…制御部、13…画像取得部、14…評価値算出部、15…程度算出部、16…基準フォーカス面情報取得部、17…操作検出部、18…ルーラー情報生成部、20,20a…顕微鏡、21…対物レンズ、21a…補正環、22…補正環駆動部、23…ステージ、24…対物レンズ駆動部、25…撮像部、26…波長分岐部、27…ステージ駆動部、28a…光変調部、100…顕微鏡システム

Claims (9)

  1. 撮像対象を撮像する撮像装置に関する補正量を算出する補正量算出装置であって、
    撮像条件のうちの前記補正量を自装置が算出可能な条件についての程度を互いに異ならせて同一の撮像対象が撮像された複数の画像を取得する第一画像取得部と、
    前記撮像対象を撮像することにより得られる第二の画像を取得する第二画像取得部と、
    前記撮像対象を撮像することにより得られる第三の画像を取得する第三画像取得部と、
    前記第一画像取得部が取得する複数の前記画像と、前記第二画像取得部が取得する前記第二の画像とに基づく評価値である第一の評価値を算出する第一評価値算出部と、
    前記第一画像取得部が取得する複数の前記画像と、前記第三画像取得部が取得する前記第三の画像とに基づく評価値である第二の評価値を算出する第二評価値算出部と、
    前記第一評価値算出部が算出する前記第一の評価値と、前記第二評価値算出部が算出する前記第二の評価値とに基づいて、前記補正量を算出する補正量算出部と
    を備える補正量算出装置。
  2. 前記補正量算出部は、
    前記条件同士が互いに異なる複数の条件に基づいて、前記補正量を算出する
    請求項1に記載の補正量算出装置。
  3. 前記第一評価値算出部は、
    複数の前記画像毎に前記第二の画像との評価値を算出し、算出した複数の評価値同士を補完することにより前記第一の評価値を算出し、
    前記第二評価値算出部は、
    複数の前記画像毎に前記第三の画像との評価値を算出し、算出した複数の評価値同士を補完することにより前記第二の評価値を算出する
    請求項1又は請求項2に記載の補正量算出装置。
  4. 前記条件には、
    前記撮像対象と前記対物レンズとの位置と、
    前記対物レンズの球面収差補正の程度と、
    温度条件と、
    時間経過と、
    前記撮像対象と前記撮像部との間の光路上の収差と
    のうちから少なくとも1つが含まれる
    請求項1から請求項3の何れか一項に記載の補正量算出装置。
  5. 前記補正量とは、対物レンズの収差の補正量であって、
    球面収差補正光学系を有する前記対物レンズと、
    請求項1から請求項4のいずれかに記載の前記補正量算出部が算出する前記補正量に基づいて、前記対物レンズの球面収差補正光学系の収差の補正量を調節する駆動部と
    を備える顕微鏡。
  6. 撮像対象を撮像する撮像部と、
    前記撮像対象と前記撮像部との間の光路上の収差を補正する光収差補正部と、
    を備え、
    前記光収差補正部は、
    請求項1から請求項4のいずれかに記載の前記補正量算出部が算出する前記補正量に基づいて、前記光収差補正部の収差の補正量を調節する
    顕微鏡。
  7. 対物レンズと撮像対象を載置するステージとの相対位置を、請求項1から請求項4のいずれかに記載の前記補正量算出部が算出する前記補正量に基づいて移動させる駆動部
    を備える顕微鏡。
  8. 撮像対象を撮像する撮像装置に関する補正量を算出する補正量算出装置が備えるコンピュータに、
    撮像条件のうちの前記補正量を自装置が算出可能な条件についての程度を互いに異ならせて同一の撮像対象が撮像された複数の画像を取得する第一画像取得ステップと、
    前記撮像対象を撮像することにより得られる第二の画像を取得する第二画像取得ステップと、
    前記撮像対象を撮像することにより得られる第三の画像を取得する第三画像取得ステップと、
    前記第一画像取得ステップから取得される複数の前記画像と、前記第二画像取得ステップから取得される前記第二の画像とに基づく評価値である第一の評価値を算出する第一評価値算出ステップと、
    前記第一画像取得部から取得される複数の前記画像と、前記第三画像取得ステップから取得される前記第三の画像とに基づく評価値である第二の評価値を算出する第二評価値算出ステップと、
    前記第一評価値算出ステップから算出される前記第一の評価値と、前記第二評価値算出ステップから算出される前記第二の評価値とに基づいて、前記補正量を算出する補正量算出ステップと
    を実行させるための補正量算出プログラム。
  9. 撮像条件のうちの撮像対象を撮像する撮像装置に関する補正量を自装置が算出可能な条件についての程度を互いに異ならせて同一の撮像対象が撮像された複数の画像を取得する第一画像取得ステップと、
    前記撮像対象を撮像することにより得られる第二の画像を取得する第二画像取得ステップと、
    前記撮像対象を撮像することにより得られる第三の画像を取得する第三画像取得ステップと、
    前記第一画像取得ステップから取得される複数の前記画像と、前記第二画像取得ステップから取得される前記第二の画像とに基づく評価値である第一の評価値を算出する第一評価値算出ステップと、
    前記第一画像取得部から取得される複数の前記画像と、前記第三画像取得ステップから取得される前記第三の画像とに基づく評価値である第二の評価値を算出する第二評価値算出ステップと、
    前記第一評価値算出ステップから算出される前記第一の評価値と、前記第二評価値算出ステップから算出される前記第二の評価値とに基づいて、前記補正量を算出する補正量算出ステップと
    を有する補正量算出方法。
JP2017070751A 2017-03-31 2017-03-31 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法 Active JP6969134B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017070751A JP6969134B2 (ja) 2017-03-31 2017-03-31 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017070751A JP6969134B2 (ja) 2017-03-31 2017-03-31 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法

Publications (2)

Publication Number Publication Date
JP2018173507A true JP2018173507A (ja) 2018-11-08
JP6969134B2 JP6969134B2 (ja) 2021-11-24

Family

ID=64107386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017070751A Active JP6969134B2 (ja) 2017-03-31 2017-03-31 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法

Country Status (1)

Country Link
JP (1) JP6969134B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020241868A1 (ja) * 2019-05-31 2020-12-03 オリンパス株式会社 光学機器の調整方法、調整支援方法、光学システム、光学機器
WO2022102584A1 (ja) * 2020-11-16 2022-05-19 株式会社ニコン 顕微鏡
US11766235B2 (en) 2017-10-11 2023-09-26 Koninklijke Philips N.V. Intelligent ultrasound-based fertility monitoring

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043624A (ja) * 2003-07-28 2005-02-17 Nikon Corp 顕微鏡制御装置、顕微鏡装置、及び顕微鏡対物レンズ
JP2006023494A (ja) * 2004-07-07 2006-01-26 Nikon Corp 顕微鏡観察画像取得方法および顕微鏡システム
WO2009096522A1 (ja) * 2008-02-01 2009-08-06 Nikon Corporation 顕微鏡および収差補正制御装置
US20110014260A1 (en) * 2007-09-11 2011-01-20 Eric Novik System and method for liver cell culture and maturation
JP2013061433A (ja) * 2011-09-12 2013-04-04 Olympus Corp タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
JP2014160213A (ja) * 2013-02-20 2014-09-04 Olympus Corp 顕微鏡システム及びプログラム
CN105629452A (zh) * 2016-01-21 2016-06-01 四川大学 自动校正像差的变焦显微物镜
JP2016114797A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
US20170003489A1 (en) * 2015-07-03 2017-01-05 Carl Zeiss Microscopy Gmbh Optics device with an optics module that comprises at least one optical element
US20170017070A1 (en) * 2015-07-16 2017-01-19 Olympus Corporation Microscopy system, determination method, and recording medium
WO2018087820A1 (ja) * 2016-11-08 2018-05-17 株式会社ニコン 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043624A (ja) * 2003-07-28 2005-02-17 Nikon Corp 顕微鏡制御装置、顕微鏡装置、及び顕微鏡対物レンズ
JP2006023494A (ja) * 2004-07-07 2006-01-26 Nikon Corp 顕微鏡観察画像取得方法および顕微鏡システム
US20110014260A1 (en) * 2007-09-11 2011-01-20 Eric Novik System and method for liver cell culture and maturation
WO2009096522A1 (ja) * 2008-02-01 2009-08-06 Nikon Corporation 顕微鏡および収差補正制御装置
JP2013061433A (ja) * 2011-09-12 2013-04-04 Olympus Corp タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
JP2014160213A (ja) * 2013-02-20 2014-09-04 Olympus Corp 顕微鏡システム及びプログラム
JP2016114797A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
US20170003489A1 (en) * 2015-07-03 2017-01-05 Carl Zeiss Microscopy Gmbh Optics device with an optics module that comprises at least one optical element
US20170017070A1 (en) * 2015-07-16 2017-01-19 Olympus Corporation Microscopy system, determination method, and recording medium
CN105629452A (zh) * 2016-01-21 2016-06-01 四川大学 自动校正像差的变焦显微物镜
WO2018087820A1 (ja) * 2016-11-08 2018-05-17 株式会社ニコン 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11766235B2 (en) 2017-10-11 2023-09-26 Koninklijke Philips N.V. Intelligent ultrasound-based fertility monitoring
WO2020241868A1 (ja) * 2019-05-31 2020-12-03 オリンパス株式会社 光学機器の調整方法、調整支援方法、光学システム、光学機器
JP2020197582A (ja) * 2019-05-31 2020-12-10 オリンパス株式会社 光学機器の調整方法、調整支援方法、光学システム、光学機器
JP7197431B2 (ja) 2019-05-31 2022-12-27 株式会社エビデント 光学機器の調整方法、光学システム
WO2022102584A1 (ja) * 2020-11-16 2022-05-19 株式会社ニコン 顕微鏡

Also Published As

Publication number Publication date
JP6969134B2 (ja) 2021-11-24

Similar Documents

Publication Publication Date Title
JP5381984B2 (ja) 顕微鏡装置および顕微鏡装置制御プログラム
US9261690B2 (en) Microscope system
JP6969134B2 (ja) 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法
US9261458B2 (en) Microscope system and method for measuring refractive index of sample
JP6822483B2 (ja) 球面収差補正算出装置、顕微鏡、球面収差補正算出プログラム及び球面収差補正算出方法
JP5757458B2 (ja) 顕微鏡システム、サーバー及びプログラム
JP2005031507A (ja) 顕微鏡システム、顕微鏡の制御方法、及びプログラム
US10725278B2 (en) Microscope, observation method, and storage medium
US20180313759A1 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
US10488640B2 (en) Image acquisition device and image acquisition method
CN103168265A (zh) 成像系统和其关联的方法
US10241316B2 (en) Sample observation method and sample observation device
JP6693030B2 (ja) 補償光学系及び光学装置
JP6968357B2 (ja) 画像取得方法および画像取得装置
WO2020033920A1 (en) Apparatus and methods for speckle reduction and structure extraction in optical coherence tomography
JPWO2019202979A1 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
JP2020085988A (ja) 顕微鏡装置
Booth et al. Adaptive optics for fluorescence microscopy
WO2020241868A1 (ja) 光学機器の調整方法、調整支援方法、光学システム、光学機器
JP6385643B2 (ja) 標本観察方法及び標本観察装置
JP2017058386A (ja) 顕微鏡装置および観察方法
WO2021064807A1 (ja) 顕微鏡装置、データ生成方法、およびプログラム
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2015022073A (ja) 顕微鏡と収差補正方法
US20240019677A1 (en) Microscope, observation method, and program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R150 Certificate of patent or registration of utility model

Ref document number: 6969134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150