JP2023163524A - 顕微鏡システム、投影ユニット、画像投影方法 - Google Patents
顕微鏡システム、投影ユニット、画像投影方法 Download PDFInfo
- Publication number
- JP2023163524A JP2023163524A JP2022074487A JP2022074487A JP2023163524A JP 2023163524 A JP2023163524 A JP 2023163524A JP 2022074487 A JP2022074487 A JP 2022074487A JP 2022074487 A JP2022074487 A JP 2022074487A JP 2023163524 A JP2023163524 A JP 2023163524A
- Authority
- JP
- Japan
- Prior art keywords
- image
- microscope system
- optical path
- optical
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000003287 optical effect Effects 0.000 claims abstract description 332
- 238000003384 imaging method Methods 0.000 claims abstract description 149
- 238000004458 analytical method Methods 0.000 claims abstract description 85
- 238000010191 image analysis Methods 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 44
- 238000005286 illumination Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000004940 nucleus Anatomy 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 235000003403 Limnocharis flava Nutrition 0.000 description 1
- 244000278243 Limnocharis flava Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
【課題】AR顕微鏡における撮像装置のフォーカスずれに対処する。【解決手段】顕微鏡システム1は、接眼レンズ113よりも物体側に標本Sの光学像を形成する観察光学系110と、光学像が形成される像面Pに補助情報を重畳する重畳装置である投影装置301と、観察光学系110の光路から分岐した光路上に設けられた撮像装置400と、投影装置301を制御する制御装置500を備える。制御装置500は、顕微鏡システム1の状態に応じて、投影装置301に像面P上に重畳させる補助情報を、撮像画像と撮像画像に対する画像解析の結果に関する解析情報との間で切り替える。【選択図】図1
Description
本明細書の開示は、顕微鏡システム、投影ユニット、画像投影方法に関する。
近年、顕微鏡下で行う作業をAI(Artificial Intelligence)でサポートすることが期待されている。このようなAIサポートを提供可能な顕微鏡として、AR(Augmented Reality)顕微鏡が知られている。
AR顕微鏡は、接眼レンズを覗いて観察する標本の光学像上に補助的な情報を重ねて表示する顕微鏡であり、例えば、特許文献1に記載されている。AR顕微鏡が表示する補助的な情報は、典型的には、その標本を撮像した撮像画像を解析することによって生成される。特に、撮像画像の解析にディープラーニングなどのAI技術を用いることで、顕微鏡利用者に、AIによる高度なサポートを提供することができる。
ところで、目視観察では、目の調整能力の分だけカメラ撮影よりも焦点深度が深くなる。このことは、例えば、BEREKの式からも明らかである。このため、AR顕微鏡の利用者が目視観察で試料にフォーカスを合わせても、カメラではフォーカスが合っておらず、撮像画像がぼけてしまうといった事態が生じ得る。
このような課題は、目視用の観察光学系の光路と観察光学系から分岐し撮像装置へ至る光路とを有する従来の顕微鏡でも生じるが、従来の顕微鏡では、撮像装置へ至る光路を使用する時にはモニタに表示される撮像画像でフォーカスが合っているかどうか確認可能である。これに対して、AR顕微鏡は、利用者の視線が接眼レンズとモニタを行き来する機会を減らすことで効率的な作業を可能とするといったメリットを享受するものである。従って、従来の顕微鏡のように、モニタで撮像画像を都度確認するといった対応は望ましくない。
以上のような実情を踏まえ、本発明の一側面に係る目的は、AR顕微鏡における撮像装置のフォーカスずれに対処する技術を提供することである。
本発明の一態様に係る顕微鏡システムは、接眼レンズよりも物体側に標本の光学像を形成する観察光学系と、前記光学像が形成される像面に補助情報を重畳する重畳装置と、前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、前記重畳装置を制御する制御装置と、を備える。前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える。
本発明の一態様に係る投影ユニットは、顕微鏡システム用の投影ユニットであって、前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記顕微鏡システムに含まれる観察光学系が標本の光学像を形成する前記像面に補助情報を重畳する重畳装置と、前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、前記重畳装置を制御する制御装置と、を備える。前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える。
本発明の一態様に係る画像投影方法は、観察光学系を含む顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記観察光学系が標本の光学像を形成する前記像面に補助情報を重畳し、前記顕微鏡システムの状態に応じて、前記補助情報を、前記観察光学系の光路から分岐した光路上に設けられた撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替えることを含む。
上記の態様によれば、AR顕微鏡における撮像装置のフォーカスずれに対処することができる。
図1は、一実施形態に係る顕微鏡システムの構成を例示した図である。顕微鏡システム1は、生物系の顕微鏡システムであってもよく、工業用の顕微鏡システムであってもよい。顕微鏡利用者は、例えば、顕微鏡システム1を用いて、スライド標本の解析等を行ってもよい。顕微鏡システム1は、少なくとも、接眼レンズ113を含む観察光学系110と、投影装置301と、撮像装置400と、制御装置500を備えている。
顕微鏡システム1は、図1に示すように、顕微鏡と、顕微鏡を制御する制御装置500を備えている。顕微鏡には、顕微鏡本体100と、ランプハウス200と、接眼鏡筒300と、撮像装置400が設けられている。なお、図1では、顕微鏡は、正立顕微鏡であるが、倒立顕微鏡であってもよい。
顕微鏡本体100は、標本Sを配置するステージ101と、対物レンズ111が取り付けられるレボルバ105を備えている。ランプハウス200と接眼鏡筒300は、顕微鏡本体100に取り付けられていて、撮像装置400は、接眼鏡筒300に取り付けられている。
ステージ101は、ラックアンドピニオン機構103によって焦準ハンドル102と接続されている。焦準ハンドル102の回転運動がラックアンドピニオン機構103によりステージ101の直線運動に変換される。これにより、ステージ101は、焦準ハンドル102を回転することで上下へ移動する。ステージ101は、標本Sに対する観察光学系110の焦点面の位置を観察光学系110の光軸方向に調整する焦準機構の一例である。
また、ステージ101は、観察光学系110の光軸方向と直交する方向に移動するXYステージを含んでいる。図示しないハンドルを操作することで、ステージ101は、観察光学系110の光軸方向と直交する方向に移動する。なお、ステージ101には、コンデンサからの照明光が通過する、標本Sが落下しない程度の大きさの開口が形成されている。
レボルバ105には、複数の対物レンズを取り付け可能であり、望ましくは倍率の異なる複数の対物レンズが取り付けられる。レボルバ105が回転することで、観察光学系110の光路上に配置される対物レンズが切り替わる。レボルバ105は、観察光学系110に含まれる対物レンズを切り替える切り替え機構の一例である。
ランプハウス200は、標本Sに照射する照明光を出射する光源201を含んでいる。図示しない電源スイッチを入れることで光源201は点灯し、電源スイッチをオフにすることで光源201は消灯する。光源201は、例えば、ハロゲンランプなどである。光源201から出射した照明光は、顕微鏡本体100に設けられたコンデンサ経由で、ステージ101に配置された標本Sに照射される。光源201から出射する照明光の光量は、ステージ101に設けられたダイヤル104で調整可能である。調光入力部として機能するダイヤル104の回転に応じて、ダイヤル104に接続された制御装置500が、光源201から発光される照明光の光量を制御する。
照明光が照射された標本Sからの光は、観察光学系110に入射する。観察光学系110は、対物レンズ111と、結像レンズ112と、接眼レンズ113を含んでいる。観察光学系110は、接眼レンズ113よりも物体側(像面P)に標本Sの光学像を形成する。より詳細には、対物レンズ111と結像レンズ112は、光源201からの光で照明された標本Sの光学像を、接眼レンズ113よりも物体側に位置する像面Pに形成する。
なお、対物レンズ111は、レボルバ105に取り付けられ、観察光学系110の光路上に配置されている。結像レンズ112は、接眼鏡筒300内に設けられている。接眼レンズ113は、接眼鏡筒300の接眼スリーブに装着されている。
接眼鏡筒300は、撮像装置400を装着可能な3眼鏡筒である。顕微鏡システム1は、接眼鏡筒300へ入射した光が、接眼鏡筒300内で接眼レンズ113へ至る光と撮像装置400へ至る光へ分割される。
さらに、接眼鏡筒300は、投影装置301を備えている。投影装置301は、光学像が形成される像面Pに補助的な情報(以降、単に、補助情報と記す)を重畳する重畳装置の一例であり、例えば、DMD(登録商標)を用いたDLP(登録商標)プロジェクタである。ただし、投影装置301、液晶パネルを用いた液晶プロジェクタであってもよい。
撮像装置400は、例えば、撮像素子を備えたデジタルカメラであり、標本Sを撮像して、標本Sの画像を取得する。以降、撮像装置400で取得した標本Sの画像を撮像画像と記すが、撮像画像は、静止画に限らず、ライブ画像や動画であっても良い。また、撮像画像は、撮像装置400で取得した画像を制御装置500で加工した画像を含んでもよい。撮像画像は、撮像装置400で取得した画像に基づく標本Sの画像であればよい。撮像装置400は、接眼鏡筒300に装着されることで、観察光学系110の光路から分岐した光路上に設けられる。撮像装置400が備える撮像素子は、CCDやCMOSを用いたイメージセンサである。
制御装置500は、顕微鏡を制御する装置であり、顕微鏡に含まれる投影装置301も制御する。制御装置500の構成の詳細については後述する。なお、図1では、制御装置500は、単一の装置として示されているが、制御装置500は、2以上の装置の集合であってもよい。制御装置500は、例えば、顕微鏡制御専用のコントロールボックスと、汎用のコンピュータとで構成されてもよい。
図2は、一実施形態に係る画像投影処理のフローチャートの一例である。以下、図2を参照しながら、顕微鏡システム1の画像投影方法について説明する。上述した顕微鏡システム1は、図2に示す画像投影処理を実行することで、顕微鏡利用者が接眼レンズ113を覗いて標本Sを観察する際に、顕微鏡利用者に、コンピュータが行う画像解析を用いた高度なサポートを提供することができる。また、顕微鏡システム1は、顕微鏡利用者に、撮像装置400に生じたフォーカスずれを接眼レンズ113から目を離すことなく認識させることができる。
まず、顕微鏡システム1は、標本Sの光学像を形成するとともに標本Sの撮像画像を取得する(ステップS1)。観察光学系110の光路では、対物レンズ111が取り込んだ標本Sからの光を結像レンズ112が像面Pに集光することで、観察光学系110が接眼レンズ113よりも物体側に標本Sの光学像を形成する。一方で、観察光学系110の光路から分岐した光路では、撮像装置400が観察光学系110の光路から入射した光で標本Sを撮像し、標本Sの撮像画像を取得する。なお、撮像装置400で取得した撮像画像は制御装置500へ出力される。
次に、顕微鏡システム1は、撮像画像に基づいて、補助情報を像面Pへ重畳する(ステップS2)。ここでは、制御装置500が所定のプログラムを実行することで、例えば、撮像画像に基づいて補助情報を生成し、投影装置301に、生成した補助情報を像面Pに重畳させる。
制御装置500は、ステップS2において、撮像画像に対して画像解析を実行することで、画像解析の結果に関する情報(以降、解析情報と記す。)を生成し、解析情報を含む補助情報を、投影装置301に像面Pに重畳させてもよい。なお、画像解析には、特に限定しないが、機械学習によって得られた学習済みモデルが用いられてもよく、機械学習で学習済みのニューラルネットワークモデルを用いた推論処理を含んでもよい。より具体的には、画像解析は、例えば、深層学習によって得られたニューラルネットワークモデルを用いて行われる画像分類、物体検出、セグメンテーション、又はこれらの組み合わせであってもよい。
また、制御装置500は、ステップS2において、撮像画像そのものを含む補助情報を、投影装置301に像面Pに重畳させてもよい。なお、補助画像として像面Pに投影する撮像画像は、撮像装置400で取得した画像に対して画像処理を施した画像処理後の画像であってもよい。画像処理は、特に限定しないが、エッジ強調処理、色調変更処理などを含んでもよい。
その後、顕微鏡システム1は、顕微鏡システム1の状態に応じて、補助情報を撮像画像と解析情報の間で切り替える(ステップS3)。ここでは、制御装置500が顕微鏡システム1の状態変化を検出し、その検出結果に応じて、投影装置301に、撮像画像又は解析情報を含む補助情報を像面Pに重畳させる。より詳細には、制御装置500は、例えば、検出結果によって顕微鏡利用者が必要とする情報が撮像画像か解析情報かを特定し、特定した情報を重畳されるように投影装置301を制御する。
なお、解析情報は、主に、顕微鏡利用者が光学像を観察しながら行う各種作業をサポートするために、顕微鏡利用者に提供される。これに対して、撮像画像は、主に、接眼レンズ113を覗きながらでは把握することが困難な撮像装置400のフォーカスずれ、つまり、カメラ撮影における焦点深度が目視観察における焦点深度よりも浅いことに起因するフォーカスずれに対処するために、顕微鏡利用者に提供される。このため、制御装置500は、フォーカスずれが生じていることが疑われる場合に補助情報を撮像画像に切り替えればよく、それ以外の場合には、解析情報を像面Pに重畳すればよい。
以上のように、顕微鏡システム1が図2に示す画像投影処理を実行することで、標本Sの光学像が形成される像面Pに、顕微鏡利用者の作業をサポートするための解析情報を重畳することができる。これにより、顕微鏡システム1は、顕微鏡利用者の作業の質及び/又は効率の改善に貢献することができる。
また、顕微鏡システム1では、顕微鏡システム1の状態から撮像装置400にフォーカスずれが生じていることが疑われる場合には、自動的に補助情報が撮像画像に切り替わり、撮像画像が像面Pに重畳される。これにより、顕微鏡利用者は、像面Pに投影された撮像画像を観察することで撮像装置400にフォーカスずれが生じているかどうかを把握することが可能である。さらに、フォーカスずれが生じている場合には、顕微鏡利用者は、焦準ハンドル102を操作してステージ101を上下させることで、撮像装置400のフォーカスを標本Sに合わせることができる。
顕微鏡システム1によれば、接眼レンズ113を覗きながら撮像装置400のフォーカス合わせを行うことが可能である。このため、接眼レンズ113から目を離すことなく種々の情報を得ることができるといったAR顕微鏡のメリットを犠牲にすることなく撮像装置400のフォーカスずれに対処することができる。
また、撮像装置400に生じるフォーカスずれを解消することで、画像解析に適した撮像画像が制御装置500へ提供される。このため、顕微鏡システム1は、ボケた撮像画像によって画像解析が適切に行われない状態や信頼性の低い解析情報が像面Pに投影されてしまう状態を解消することができる。従って、顕微鏡システム1によれば、AR顕微鏡(顕微鏡システム1)が有する本来の機能を十分発揮して、解析情報による高度なサポートを顕微鏡利用者に提供することができる。
以下、図2に示す画像投影処理の具体例について、各実施形態で説明する。なお、各実施形態は、補助情報を切り替える基準として利用される顕微鏡システムの状態が、それぞれ異なっている。
(第1の実施形態)
図3は、本実施形態に係る接眼鏡筒の内部構成を例示した図である。図4は、本実施形態に係る光路切替ユニットの構成を例示した図である。本実施形態に係る顕微鏡システムは、接眼鏡筒300の代わりに接眼鏡筒300aを備える点が顕微鏡システム1とは異なり、その他の点は、図1に示す顕微鏡システム1と同様である。以下、図3及び図4を参照しながら、接眼鏡筒300a内の構成について詳細に説明する。
(第1の実施形態)
図3は、本実施形態に係る接眼鏡筒の内部構成を例示した図である。図4は、本実施形態に係る光路切替ユニットの構成を例示した図である。本実施形態に係る顕微鏡システムは、接眼鏡筒300の代わりに接眼鏡筒300aを備える点が顕微鏡システム1とは異なり、その他の点は、図1に示す顕微鏡システム1と同様である。以下、図3及び図4を参照しながら、接眼鏡筒300a内の構成について詳細に説明する。
接眼鏡筒300aは、撮像装置400を装着可能な3眼鏡筒である。接眼鏡筒300aは、接眼鏡筒300a内に結像レンズ112と投影装置301を備えている点、接眼鏡筒300aに接眼レンズ113と撮像装置400が取り付けられている点は、接眼鏡筒300と同様である。
接眼鏡筒300aは、結像レンズ112の後段に、光路切替ユニット310を備えている。接眼鏡筒300a内では、光路切替ユニット310によって接眼レンズ113へ至る観察光学系110の光路110pから撮像装置400へ至る光路400pが分岐する。なお、撮像装置400へ至る光路400pは、鉛直方向(Z方向)に設けられ、接眼レンズ113へ至る光路100pは、光路切替ユニット310によって、奥行き方向(Y方向)に向けられる。
光路切替ユニット310は、接眼鏡筒300aに入射した光を導く光路を切り替える。具体的には、光路切替ユニット310は、図4に示すように、スライダ314に固定された3つのプリズム(プリズム311、プリズム312、プリズム313)を含んでいる。スライダ314の一部は、接眼鏡筒300aから突出している。顕微鏡利用者は、その突出部分を操作してスライダ314を動かすことで、結像レンズ112の光軸上に配置されるプリズムをこれらの間で切り替えることができる。光路切替ユニット310は、光軸上に配置されたプリズムに応じて、光路切替ユニット310へ入射した光を(1)接眼レンズ113と撮像装置400の両方へ導く、(2)接眼レンズ113に導くことなく撮像装置400に導く、(3)撮像装置400に導くことなく接眼レンズ113に導く、のいずれかを行う。
より具体的には、プリズム311は、入射光を50:50で透過光と反射光に変換する光学素子であり、プリズム311が光軸上に配置されることで、接眼鏡筒300aに入射した光は接眼レンズ113と撮像装置400の両方に導かれる。また、プリズム312は、入射光を100:0で透過光に変換する光学素子であり、プリズム312が光軸上に配置されることで、接眼鏡筒300aに入射した光は撮像装置400へのみ導かれる。また、プリズム313は、入射光を0:100で反射光に変換する光学素子であり、プリズム313が光軸上に配置されることで、接眼鏡筒300aに入射した光は接眼レンズ113へのみ導かれる。
なお、図4に示すように、スライダ314の各プリズムと対応する位置には、磁石が取り付けられている。磁石は対応するプリズムに応じてそれぞれ異なる数だけ取り付けられている。この例では、プリズム311に対応する位置には1つの磁石311mが、プリズム312に対応する位置には2つの磁石312mが、プリズム313に対応する位置には3つの磁石313mが取り付けられている。
これらの磁石は、制御装置500が光路切替ユニット310の状態を識別するために用いられる。具体的には、接眼鏡筒300aに設けられた図示しない3つのホールセンサが磁石をいくつ検出するかによって、制御装置500が、光路切替ユニット310の状態、つまり、どのプリズムが光軸上に配置されているか、を識別する。
3つのホールセンサのいずれか1つが磁石を検出したことを示す信号を制御装置500へ出力することで、制御装置500は、光路切替ユニット310の状態をプリズム311が光軸上に配置された状態として識別する。また、3つのホールセンサのうち2つが磁石を検出したことを示す信号を制御装置500へ出力することで、制御装置500は、光路切替ユニット310の状態をプリズム312が光軸上に配置された状態として識別する。さらに、3つのホールセンサのすべてが磁石を検出したことを示す信号を制御装置500へ出力することで、制御装置500は、光路切替ユニット310の状態をプリズム313が光軸上に配置された状態として識別する。
このように、光路切替ユニット310には、接眼レンズ113に至る観察光学系110の光路110pと観察光学系110の光路110pから分岐し撮像装置400へ至る光路400pとが交わる位置に選択的に配置され、接眼レンズ113と撮像装置400の少なくとも一方へ光を導く複数の光学素子(プリズム311、プリズム312、プリズム313)が設けられている。
接眼鏡筒300aは、光路切替ユニット310で分岐した光路のうち、接眼レンズ113へ至る観察光学系110の光路110p上に、さらに、結像レンズ112が形成する像をリレーするリレーレンズであるレンズ321と326を含んでいる。また、接眼鏡筒300aは、レンズ321とレンズ326の間に、光路を曲げてレンズ321から出射した光をレンズ326に導く複数のミラー(ミラー322、ミラー323、325)を含んでいる。さらに、接眼鏡筒300aは、レンズ326と接眼レンズ113の間に、光を接眼レンズ113の光軸の方向へ向けて反射するミラー327を含んでいる。なお、ミラー327は、接眼レンズ113を取り付ける接眼部をチルトするチルト機構を構成する回転自在なミラーであってもよい。
接眼鏡筒300aは、さらに、ミラー323とミラー325の間には、ハーフミラー324を含んでいる。ハーフミラー324は、投影装置301からの光を上述した接眼レンズ113へ至る観察光学系110の光路110pに合流させる光路合成素子の一例である。投影装置301から出射した光は、投影装置301とハーフミラー324の間に設けられたコリメータレンズ(レンズ302)により平行光に変換され、その後、ハーフミラー324を反射することで、観察光学系110の光路110pへ合流する。観察光学系110の光路110pへ合流した光は、レンズ326によって光学像が形成される像面Pに集光する。これにより、像面Pに補助情報が投影される。また、標本Sからの光は、レンズ321で平行光束に変換された後にハーフミラー324を透過する。このように、ハーフミラー324は、結像性能の劣化が生じにくい位置に配置されている。
図5は、本実施形態に係る画像投影処理のフローチャートの一例である。図6から図8は、本実施形態において接眼レンズ経由で観察される画像の例である。
顕微鏡システムが図5に示す画像投影処理を開始すると、まず、制御装置500は、接眼鏡筒300aのホールセンサからの出力信号に基づいて、撮像装置400に至る光路400pと接眼レンズ113に至る光路110pとが交差する位置に配置されている光学素子を特定する(ステップS11)。ここでは、制御装置500は、例えば、検出した磁石の数に基づいて、光学素子を特定する。
光学素子がプリズム313であると判定されると、つまり、接眼レンズ113へ導かれる観察光量と撮像装置400へ導かれる撮像光量の比率が100:0の場合には、顕微鏡システムでは、以下の処理が行われる。なお、上記のとおり光量比が100:0のときには、標本Sの光学像は、接眼レンズ113へ至る光路110p上の像面Pにのみ投影され、撮像装置400には投影されない。
制御装置500は、投影装置301が像(補助情報)を投影しないように、投影装置301を制御する。観察光学系110が標本Sの光学像を像面Pに形成する(ステップS13)。従って、顕微鏡利用者は、図6に示すように、接眼レンズ113を覗くことで光学像10のみを観察することができる。
光学素子がプリズム311であると判定されると、つまり、接眼レンズ113へ導かれる観察光量と撮像装置400へ導かれる撮像光量の比率が50:50の場合には、顕微鏡システムは、次の処理を行う。なお、上記のとおり光量比が50:50のときには、標本Sの光学像は、接眼レンズ113へ至る光路110p上の像面Pと撮像装置400との両方に投影される。
まず、観察光学系110が標本Sの光学像を像面Pに形成する(ステップS14)。さらに、撮像装置400が標本Sの撮像画像を取得し(ステップS15)、取得した撮像画像に基づいて画像解析を行い、解析情報を生成する(ステップS16)。その後、制御装置500は、投影装置301に、ステップS16で取得した解析情報を補助情報として像面Pに重畳させる(ステップS17)。
ステップS17では、制御装置500は、ステップS16で生成した解析情報を投影装置301に出力することで、図7に示すように、投影装置301が解析情報20を補助画像として、光学像10が形成されている像面Pへ投影する。なお、補助画像とは、投影装置301が像面Pに投影する画像のことである。
図7には、細胞の核をマーキングした解析情報20が像面Pに重畳されて、光学像10と同時に観察される様子が示されている。なお、以降では、制御装置500が、予め機械学習によって画像中の細胞の核を検出するように深層学習で学習した学習済みモデルを用いて、核にマーキングする解析情報を生成する場合を例に説明する。
光学素子がプリズム312であると判定されると、つまり、接眼レンズ113へ導かれる観察光量と撮像装置400へ導かれる撮像光量の比率が0:100の場合には、顕微鏡システムは、次の処理を行う。なお、上記のとおり光量比が0:100のときには、標本Sの光学像は、撮像装置400にのみ投影され、接眼レンズ113へ至る光路110p上の像面Pには投影されない。本実施形態に係る顕微鏡システムでは、この状態において、顕微鏡利用者に撮像装置400のフォーカス合わせに適した情報を提供することで、フォーカス合わせの実施を促す。
まず、撮像装置400が標本Sの撮像画像を取得する(ステップS18)。その後、制御装置500は、投影装置301に、ステップS18で取得した撮像画像を補助情報として像面Pに重畳させる(ステップS19)。
図8には、撮像画像30が像面Pに重畳されて、観察される様子が示されている。なお、ここでは、撮像画像30は、像面P上のOFN(Objective Field Number)に対応する領域11内に投影される例が示されているが、撮像画像30は、顕微鏡利用者が観察可能な領域に投影されればよく、接眼レンズ113の視野数に対応する領域内に投影されればよい。
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示(ステップS20YES)があるまで繰り返し行われることで、像面Pに投影される補助情報は、制御装置500によって、接眼レンズ113へ導かれる観察光量と撮像装置400へ導かれる撮像光量の比率に応じて、撮像画像と解析情報の間で切り替えられる。より具体的には、制御装置500は、複数の光学素子から選択して撮像装置400に至る光路400pと接眼レンズ113に至る光路110pとが交差する位置に配置された光学素子に応じて、補助情報を、撮像画像と解析情報の間で切り替える。
光学像が像面Pに投影されている期間中、顕微鏡利用者は、顕微鏡システムを用いた通常の作業を実施していることが予想される。本実施形態に係る顕微鏡システムは、撮像画像が取得されている場合には、この期間中、顕微鏡利用者に画像解析結果(解析情報)を提供する。さらに、顕微鏡利用者が光路切替ユニット310を操作して光学像の観察を一旦中断し、カメラ撮影のみが行われるように顕微鏡システムを設定した場合には、本実施形態に係る顕微鏡システムは、撮像画像を像面Pに投影する。これにより、顕微鏡利用者が接眼レンズ113から目を離すことなく撮像画像を観察して撮像装置400のフォーカスずれの有無を把握することが可能であり、フォーカスずれが生じている場合にフォーカス合わせを行うことができる。
従って、本実施形態に係る顕微鏡システムによれば、AR顕微鏡における撮像装置400のフォーカスずれに起因する課題に対処することができる。特に、本実施形態に係る顕微鏡システムによれば、AR顕微鏡特有の機能であり且つ本来的な機能である顕微鏡利用者が光学像を観察中に解析情報を提供する機能に悪影響を与えることなく、撮像装置400のフォーカスずれに対処することができる。
図9は、顕微鏡利用者の作業手順を示すフローチャートの一例である。図9を参照しながら、本実施形態に係る顕微鏡システムにおける顕微鏡利用者の作業手順の一例について説明する。
最初に、顕微鏡利用者は、観察準備を行う(ステップS21)。ここでは、顕微鏡利用者は、例えば、標本Sをステージ101に配置する。また、接眼レンズ113へ至る光路110pに光が導かれるように、光路切替ユニット310を操作する。さらに、ランプハウス200の電源スイッチをONにする。これにより、光源201から出射した照明光によって標本Sが照明され、顕微鏡利用者が標本Sを目視で観察できる状態が実現される。なお、ステップS21では、投影装置301の電源スイッチもONにする。
次に、顕微鏡利用者は、レボルバ105を操作して、注目すべき標本S上の領域を探すのに適した低倍対物レンズを観察光学系110の光路110pに挿入する(ステップS22)。そして、接眼レンズ113を覗いて標本Sの光学像を観察しながら焦準ハンドル102を操作してフォーカス合わせを行う(ステップS23)。なお、このとき、像面Pには、例えば、図7に示すように、光学像10とともに解析情報20が投影されていてもよい。
光学像を見ながら行うフォーカス合わせが終了すると、顕微鏡利用者は、撮像装置400のフォーカスずれに対処するために、光路を切り替える(ステップS24)。具体的には、顕微鏡利用者は、光路切替ユニット310を操作してプリズム312を光軸上に挿入し、観察光学系110の光路110pから分岐した光路400pにのみ光が導かれるように顕微鏡システム状態を変更する。
顕微鏡利用者がプリズム312を挿入すると、像面Pには、投影装置301によって撮像画像が投影される。このとき、像面Pには、図8に示すように、撮像画像30のみが投影される。顕微鏡利用者は、接眼レンズ113を覗いて標本Sの撮像画像を観察しながら焦準ハンドル102を操作して改めてフォーカス合わせを行う(ステップS25)。これにより、顕微鏡システムでは、目視観察とカメラ撮影の両方についてフォーカス合わせが適切に行われた状態になる。
フォーカス合わせが終了すると、顕微鏡利用者は、再び目視観察を行うために、光路を切り替える(ステップS26)。この時、光路110pに挿入されている対物レンズは、ステップS22で挿入した低倍対物レンズである。顕微鏡利用者は、低倍対物レンズの広い視野を利用して、注目すべき標本S上の領域を探す標本探索を実施する(ステップS27)。
そして、注目すべき領域が見つかると、顕微鏡利用者は、より詳細な観察を行うために、レボルバ105を操作して、高倍対物レンズを観察光学系110の光路110pに挿入し(ステップS28)、高倍対物レンズを用いて詳細な観察を行う(ステップS29)。なお、ステップS27及びステップS29では、像面Pには、例えば、図7に示すように、光学像10とともに解析情報20が投影される。ここで、より厳密にフォーカス合わせをするために、再度光路を切り換えて撮影画像でフォーカス合わせを行うという手順を踏んでも良い。
図9に示す作業手順で作業を行うことで、顕微鏡利用者は、接眼レンズ113から目を離すことなく、目視観察とカメラ撮影の両方についてフォーカス合わせを行うことができる。従って、カメラ撮影における焦点深度が目視観察における焦点深度よりも浅いことに起因する撮像装置400のフォーカスずれに対処することができる。
本実施形態では、光路切替ユニット310の状態を識別するために、磁石とホールセンサを用いる例を示したが、光路切替ユニット310の状態は他の構成を用いて識別されてもよい。例えば、磁石とホールセンサの代わりに、フォトインタラプタなどの光センサが利用されてもよい。また、顕微鏡利用者からの明示の入力によって光路切替ユニット310の状態が識別されてもよい。例えば、光路切替ユニット310の状態を制御装置500へ知らせるための機械的なボタンなどが設けられてもよく、利用者によるボタン操作を制御装置500が検出することで光路切替ユニット310の状態を識別してもよい。
図10は、フォーカスモードにおける像面Pに投影する画像と撮像面との関係を説明するための図である。図11は、フレームモードにおける像面Pに投影する画像と撮像面の関係を説明するための図である。図12は、本実施形態において接眼レンズ経由で観察される画像の更に別の例である。
補助情報として投影される撮像画像の表示モードは、顕微鏡利用者が複数のモードから選択可能であってもよい。表示モードは、例えば、図10に示すフォーカスモードと、図11に示すフレームモードから選択してもよい。
本実施形態では、撮像画像は、撮像装置400のフォーカス合わせに利用される。このため、撮像画像は、フォーカス合わせに適した高い解像度で表示されることが望ましい。このような場合は、顕微鏡利用者はフォーカスモードを選択してもよく、制御装置500は、例えば、図8に示すように、撮像画像の倍率が像面Pに形成される光学画像の倍率と一致するように、投影装置301に撮像画像を像面Pに重畳させてもよい。
図10に示す領域401は撮像素子の領域であり、領域601は撮像素子によって撮像される標本S上の領域に対応する像面P上の領域である。領域602は投影装置301が補助情報を投影する領域であり、領域402は領域602に対応する標本S上の領域に対応する撮像素子上の領域である。フォーカスモードでは、制御装置500は、撮像装置400で取得した画像から領域402の画像を切り出して、切り出した画像を撮像画像として投影装置301に領域602に投影させる。
顕微鏡利用者はフォーカスモードの代わりに、フレームモードを選択してもよい。この場合、制御装置500は、例えば、図11に示すように、撮像装置400の撮像範囲全体(領域401)を撮像画像として利用してもよく、図12に示すように、投影装置301に、像面Pに形成される光学画像の倍率よりも低い倍率の撮像画像31を像面Pに重畳させてもよい。フレームモードを利用することで、顕微鏡利用者は、標本Sのより広い範囲を撮像した撮像画像を見ながら、撮像装置400のフォーカス合わせと同時に標本S中の注目領域を探す標本探索を行ってもよい。
さらに、制御装置500は、撮像装置400で取得した撮像画像に対して画像処理を施した画像処理後の撮像画像を、投影装置301に像面Pに重畳させてもよい。画像処理の内容は特に限定しないが、フォーカス合わせをしやすくするため、例えば、画像の輪郭を強調する処理、色を変える処理などであってもよい。
(第2の実施形態)
図13は、本実施形態に係る接眼鏡筒の内部構成を例示した図である。図14は、シャッタ機構が光を遮断した状態を説明するための図である。図15は、シャッタ機構が光を遮断していない状態を説明するための図である。本実施形態に係る顕微鏡システムは、接眼鏡筒300の代わりに接眼鏡筒300bを備える点が顕微鏡システム1とは異なり、その他の点は、図1に示す顕微鏡システム1と同様である。以下、図13から図15を参照しながら、接眼鏡筒300b内の構成について詳細に説明する。
図13は、本実施形態に係る接眼鏡筒の内部構成を例示した図である。図14は、シャッタ機構が光を遮断した状態を説明するための図である。図15は、シャッタ機構が光を遮断していない状態を説明するための図である。本実施形態に係る顕微鏡システムは、接眼鏡筒300の代わりに接眼鏡筒300bを備える点が顕微鏡システム1とは異なり、その他の点は、図1に示す顕微鏡システム1と同様である。以下、図13から図15を参照しながら、接眼鏡筒300b内の構成について詳細に説明する。
接眼鏡筒300bは、撮像装置400を装着可能な3眼鏡筒である。接眼鏡筒300bは、光路切替ユニット310の代わりにプリズム311を備える点、プリズム311とレンズ321の間にシャッタ機構700を備える点が、第1の実施形態に係る接眼鏡筒300aとは異なっている。その他の点は、接眼鏡筒300aと同様である。
プリズム311は、観察光学系110の光路110pと観察光学系110の光路110pから分岐した光路400pが交わる位置に配置された光路分割素子であり、入射光を50:50で透過光と反射光に変換する。接眼鏡筒300bでは、接眼鏡筒300bに入射した光は観察光学系110の光路110pと観察光学系110の光路110pから分岐した光路400pの両方に導かれる。
シャッタ機構700は、プリズム311と接眼レンズ113との間に配置された、観察光学系110の光路110pに導かれた光を選択的に遮光する機構である。シャッタ機構700は、図14及び図15に示すように、2つの状態を検出するセンサ(センサ701、センサ702)と、遮光板713と、遮光板713を支持するアーム712と、アーム712の回転軸711と、図示しないモータを含んでいる。センサ701とセンサ702は、それぞれ、例えばフォトインタラプタである。
シャッタ機構700では、モータの回転により回転軸711周りにアーム712が回転することで、遮光板713がプリズム311とレンズ321の間の光路(観察光学系110の光路110p)上に配置され、接眼レンズ113へ至る光路110pに導かれた光を遮光する状態(図14に示すIN状態)と、遮光板713がプリズム313とレンズ321の間の光路(観察光学系110の光路110p)から逸れた位置に配置され、観察光学系110の光路110pに導かれた光を遮らない状態(図15に示すOUT状態)と、が切り替わる。
シャッタ機構700のIN状態は、センサ701で検出され、制御装置500へ通知される。また、シャッタ機構700のOUT状態は、センサ702で検出され、制御装置500へ通知される。
図16は、本実施形態に係る画像投影処理のフローチャートの一例である。顕微鏡システムが図16に示す画像投影処理を開始すると、まず、制御装置500は、シャッタ機構700のセンサ(センサ701、センサ702)からの出力信号に基づいて、シャッタ機構700の状態を特定する(ステップS31)。
シャッタ機構700がOUT状態、つまり、プリズム311経由で接眼レンズ113へ向かう光を遮光していないときには(ステップS32NO)、顕微鏡システムは、次の処理を行う。なお、上記のとおりシャッタ機構700が光を遮光していないときには、標本Sの光学像は、接眼レンズ113へ至る光路110p上の像面Pと撮像装置400との両方に投影される。
まず、観察光学系110が標本Sの光学像を像面Pに形成する(ステップS33)。さらに、撮像装置400が標本Sの撮像画像を取得し(ステップS34)、取得した撮像画像に基づいて画像解析を行い、解析情報を生成する(ステップS35)。その後、制御装置500は、投影装置301に、ステップS35で取得した解析情報を補助情報として像面Pに重畳させる(ステップS36)。これにより、顕微鏡利用者は、例えば、図7に示すような光学像10と解析情報20が重なった画像を観察することができる。
シャッタ機構700がIN状態、つまり、プリズム311経由で接眼レンズ113へ向かう光を遮光しているときには(ステップS32YES)、顕微鏡システムは、次の処理を行う。なお、上記のとおりシャッタ機構700が光を遮光しているときには、標本Sの光学像は、撮像装置400にのみ投影され、接眼レンズ113へ至る光路110p上の像面Pには投影されない。本実施形態に係る顕微鏡システムでは、この状態において、顕微鏡利用者に撮像装置400のフォーカス合わせに適した情報を提供することで、フォーカス合わせの実施を促す。
まず、撮像装置400が標本Sの撮像画像を取得する(ステップS37)。その後、制御装置500は、投影装置301に、ステップS37で取得した撮像画像を補助情報として像面Pに重畳させる(ステップS38)。なお、この場合、観察光学系110は標本Sの光学像を像面Pに形成しないため、顕微鏡利用者は、例えば、図8に示すような撮像画像30のみを観察することができる。
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示(ステップS39YES)があるまで繰り返し行われることで、像面Pに投影される補助情報は、制御装置500によって、接眼レンズ113へ導かれる観察光量と撮像装置400へ導かれる撮像光量の比率に応じて、撮像画像と解析情報の間で切り替えられる。より具体的には、制御装置500は、接眼レンズ113へ向かい光を遮光するシャッタ機構700の状態に応じて、補助情報を、撮像画像と解析情報の間で切り替える。
従って、本実施形態に係る顕微鏡システムによっても、第1の実施形態に係る顕微鏡システムと同様の効果を得ることができる。また、本実施形態に係る顕微鏡システムでは、第1の実施形態における光路切替ユニット310に比べて質量の小さな遮光板713の挿脱によって補助情報が切り替わる。このため、切り替え作業を高速に行うことが可能であり、その結果、投影される補助情報の切替も素早く行うことができる。
なお、本実施形態では、シャッタ機構700がモータを備えた電動シャッタである場合を例に説明したが、シャッタ機構は、顕微鏡利用者によって手動で操作されてもよい。
第1の実施形態と第2の実施形態では、接眼レンズ113へ導かれる観察光量と撮像装置400へ導かれる撮像光量の比率に応じて、撮像画像と解析情報の間で補助情報を切り替える例を示した。しかしながら、補助情報は、顕微鏡システムの状態に応じて切り替えられれば良く、例えば、制御装置500は、標本Sに対する顕微鏡本体100の視野の位置又は範囲の変化に応じて、補助情報を、撮像画像と解析情報の間で切り替えてもよい。これは、視野の位置や範囲が変化するときには、フォーカスずれが生じやすいからである。以下、第3の実施形態では、視野の位置(座標)が変化する場合について説明し、第3の実施形態では、視野の範囲(大きさ)が変化する場合について説明する。
(第3の実施形態)
図17は、本実施形態に係る画像投影処理のフローチャートの一例である。図18及び図19は、本実施形態において接眼レンズ経由で観察される画像の例である。なお、本実施形態に係る顕微鏡システムの構成は、シャッタ機構700を有しない点を覗き、第2の実施形態に係る顕微鏡システムの構成と同様である。
図17は、本実施形態に係る画像投影処理のフローチャートの一例である。図18及び図19は、本実施形態において接眼レンズ経由で観察される画像の例である。なお、本実施形態に係る顕微鏡システムの構成は、シャッタ機構700を有しない点を覗き、第2の実施形態に係る顕微鏡システムの構成と同様である。
顕微鏡システムが図17に示す画像投影処理を開始すると、まず、制御装置500は、ステージ101の状態を特定する(ステップS41)。制御装置500は、例えば、ステージ101が移動中であるかどうかを特定してもよく、ステージ101の状態は、例えば、ステージ101に設けられたエンコーダからの出力に基づいて特定されてもよい。
さらに、制御装置500は、ステージ101の移動から所定時間内か否かを判定する(ステップS42)。制御装置500がステージ101の移動から所定時間内ではないと判定すると(ステップS42NO)、顕微鏡システムは、次の処理を行う。まず、観察光学系110が標本Sの光学像を像面Pに形成する(ステップS43)。さらに、撮像装置400が標本Sの撮像画像を取得し(ステップS44)、取得した撮像画像に基づいて画像解析を行い、解析情報を生成する(ステップS45)。その後、制御装置500は、投影装置301に、ステップS45で取得した解析情報を補助情報として像面Pに重畳させる(ステップS46)。これにより、顕微鏡利用者は、例えば、図7に示すような光学像10と解析情報20が重なった画像を観察することができる。
一方で、制御装置500がステージ101の移動から所定時間内であると判定すると(ステップS42YES)、顕微鏡システムは、次の処理を行う。まず、観察光学系110が標本Sの光学像を像面Pに形成する(ステップS47)。さらに、撮像装置400が標本Sの撮像画像を取得する(ステップS48)。その後、制御装置500は、投影装置301に、ステップS47で取得した撮像画像を補助情報として像面Pに重畳させる(ステップS49)。これにより、顕微鏡利用者は、例えば、図18に示すような光学像10と撮像画像32が重なった画像を観察することができる。なお、この例では、光学像10と撮像画像32を容易に区別できるように、撮像画像32にはエッジ強調処理や色調変更処理が施されているが、これらの処理は必ずしも行われなくてもよい。撮像画像32のコントラストを光学像10と比較して十分に高くすることで、光学像10と識別可能である。
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示(ステップS50YES)があるまで繰り返し行われることで、像面に投影される補助情報は、制御装置500によって、ステージ101の移動に応じて、撮像画像と解析情報の間で切り替えられる。
これは、ステージ101が移動すると、標本S(視野内に位置する領域)と焦点面の位置関係が変化し、フォーカスがずれる可能性があるためである。そこで、本実施形態では、ステージ101の移動が検出されると、フォーカス合わせが行われる可能性が高いと判断して、制御装置500は、投影装置301に、撮像画像を補助情報として光学像が形成されている像面に投影させる。これにより、ステージ101の移動によってフォーカスがずれた場合であっても、顕微鏡利用者は、光学像を見ながら観察光学系110のフォーカス合わせを行うとともに、撮像画像を見ながら撮像装置400のフォーカス合わせも同時に行うことができる。
また、撮像画像を投影する期間を、ステージ101の移動から所定時間経過までに、つまり、補助情報を撮像画像に切り替えてから所定時間経過までに限ることで、顕微鏡利用者が補助情報の切替を手動で行う手間を解消することができる。ステージ101の移動から所定時間経過後に、補助情報を自動的に解析情報へ切り替えることで、顕微鏡利用者は、所定時間内にフォーカス合わせを終了させ、その後、特に追加の操作を行うことなく、通常の観察作業に復帰することができる。
以上の様に、本実施形態に係る顕微鏡システムによっても、上述した実施形態に係る顕微鏡システムと同様の効果を得ることができる。また、フォーカスずれが生じる可能性があるタイミングで補助情報が自動的に切り替わるため、顕微鏡利用者は最小限の操作を行うだけでフォーカス合わせを行うことができる。また、フォーカスずれが生じる可能性があるタイミングで補助情報が自動的に切り替わるため、フォーカスずれが生じるタイミングで確実に顕微鏡利用者に注意喚起してフォーカスずれが生じているかどうかを確認させることができる。
なお、本実施形態では、図18に示すように、光学像10と同じ倍率の撮像画像32を、光学像10の対応する領域に重畳する例を示したが、図19に示すように、制御装置500は、投影装置301に、撮像画像32を光学像10の対応する領域からずらした位置に投影させてもよい。これにより、顕微鏡利用者が光学像10と撮像画像32で標本Sの同じ部分を同時に観察することができるため、観察光学系110のフォーカス合わせと撮像装置400のフォーカス合わせを同時に行う作業が容易になる。
また、本実施形態では、ステージ101が手動ステージである場合を例に説明したが、顕微鏡システムのステージは、電動ステージであってもよい。電動ステージであっても、手動ステージの場合と同様に、エンコーダからの出力に基づいて電動ステージの移動を検出してもよい。また、電動ステージの場合には、制御装置500から電動ステージへの命令に基づいて電動ステージの移動を検出してもよい。
また、本実施形態では、ステージ101の移動に応じて、補助情報を撮像画像と解析情報の間で切り替える例を示したが、制御装置500は、ステージ101の移動に応じて、補助情報の切替とともに光路切替ユニット310やシャッタ機構700を制御してもよい。例えば、第1の実施形態に係る顕微鏡システムにおいて、制御装置500は、ステージ101の移動を検出すると、補助情報の切替に連動して光路切替ユニット310を制御して、撮像装置400に至る光路400pと接眼レンズ113に至る光路110pとが交差する位置にプリズム312を配置してもよい。また、第2の実施形態に係る顕微鏡システムにおいて、制御装置500は、ステージ101の移動を検出すると、補助情報の切替に連動してシャッタ機構700を制御して、遮光板713を光路110p上に挿入してもよい。これにより、像面Pに撮像画像のみを投影することで、顕微鏡利用者に撮像装置400のフォーカス合わせにより適した環境を提供してもよい。また、制御装置500は、ステージ101の移動から所定時間が経過すると、補助情報の切替に連動して光路切替ユニット310又はシャッタ機構700を制御して、これらをステージ101の移動前の元の状態に復帰させてもよい。このようにして、制御装置500は、フォーカス合わせ前後の補助情報の切替と光学素子の切替を自動化してもよい。
(第4の実施形態)
図20は、本実施形態に係る画像投影処理のフローチャートの一例である。なお、本実施形態に係る顕微鏡システムの構成は、第3の実施形態に係る顕微鏡システムの構成と同様である。
図20は、本実施形態に係る画像投影処理のフローチャートの一例である。なお、本実施形態に係る顕微鏡システムの構成は、第3の実施形態に係る顕微鏡システムの構成と同様である。
顕微鏡システムが図20に示す画像投影処理を開始すると、まず、制御装置500は、レボルバ105の状態を特定する(ステップS51)。制御装置500は、例えば、レボルバ105に設けられたセンサからの出力信号に基づいて、レボルバ105に取り付けられたどの対物レンズが光軸上に挿入されているかを特定する。
さらに、制御装置500は、対物レンズの切替から所定時間内か否かを判定する(ステップS52)。制御装置500が対物レンズの切替から所定時間内ではないと判定すると(ステップS52NO)、顕微鏡システムは、ステップS53からステップS56の処理を行う。なお、ステップS53からステップS56の処理は、図17のステップS43からステップS46の処理と同様である。これにより、顕微鏡利用者は、例えば、図7に示すような光学像10と解析情報20が重なった画像を観察することができる。
一方で、制御装置500が対物レンズの切替から所定時間内であると判定すると(ステップS52YES)、顕微鏡システムは、ステップS57からステップS59の処理を行う。なお、ステップS57からステップS59の処理は、図17のステップS47からステップS49の処理と同様である。これにより、顕微鏡利用者は、例えば、図18又は図19に示すような光学像10と撮像画像32が重なった画像を観察することができる。
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示(ステップS60YES)があるまで繰り返し行われることで、像面に投影される補助情報は、制御装置500によって、レボルバ105による対物レンズの切替に応じて、撮像画像と解析情報の間で切り替えられる。
本実施形態に係る顕微鏡システムによっても、第3の実施形態に係る顕微鏡システムと同様の効果を得ることができる。
第3の実施形態と第4の実施形態では、フォーカスずれが生じる可能性がある例として、標本Sに対する顕微鏡本体100の視野の位置又は範囲が変化する場合を示した。しかしながら、顕微鏡利用者によるフォーカス調整に応じて、補助情報を撮像画像と解析情報の間で切り替えてもよい。第5の実施形態では、フォーカス調整に応じて、補助情報を撮像画像と解析情報の間で切り替える例について説明する。
(第5の実施形態)
図21は、本実施形態に係る画像投影処理のフローチャートの一例である。顕微鏡システムが図21に示す画像投影処理を開始すると、まず、制御装置500は、焦準機構であるステージ101の状態を特定する(ステップS61)。制御装置500は、例えば、ステージ101に設けられたエンコーダからの出力信号に基づいて、ステージ101の位置を特定する。
図21は、本実施形態に係る画像投影処理のフローチャートの一例である。顕微鏡システムが図21に示す画像投影処理を開始すると、まず、制御装置500は、焦準機構であるステージ101の状態を特定する(ステップS61)。制御装置500は、例えば、ステージ101に設けられたエンコーダからの出力信号に基づいて、ステージ101の位置を特定する。
さらに、制御装置500は、ステージ101のZ方向への移動から所定時間内か否かを判定する(ステップS62)。制御装置500がステージ101のZ方向への移動から所定時間内ではないと判定すると(ステップS62NO)、顕微鏡システムは、ステップS63からステップS66の処理を行う。なお、ステップS63からステップS66の処理は、図17のステップS43からステップS46の処理と同様である。これにより、顕微鏡利用者は、例えば、図7に示すような光学像10と解析情報20が重なった画像を観察することができる。
一方で、制御装置500がステージ101のZ方向への移動から所定時間内であると判定すると(ステップS62YES)、顕微鏡システムは、ステップS67からステップS69の処理を行う。なお、ステップS67からステップS69の処理は、図17のステップS47からステップS49の処理と同様である。これにより、顕微鏡利用者は、例えば、図18又は図19に示すような光学像10と撮像画像32が重なった画像を観察することができる。
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示(ステップS70YES)があるまで繰り返し行われることで、像面に投影される補助情報は、制御装置500によって、焦準機構の移動に応じて、撮像画像と解析情報の間で切り替えられる。
本実施形態に係る顕微鏡システムによっても、第3の実施形態に係る顕微鏡システムと同様の効果を得ることができる。
なお、本実施形態では、ステージ101が焦準機構として機能する例を示したが、焦準機構はステージ101に限らない。焦準機構は、標本Sに対する観察光学系110の焦点面の位置を観察光学系110の光軸方向に調整するものであればよく、例えば、対物レンズが取り付けられたレボルバ105を光軸方向に動かす機構であってもよい。
図22は、上述した制御装置500を実現するためのコンピュータ1000のハードウェア構成を例示した図である。図22に示すハードウェア構成は、例えば、プロセッサ1001、メモリ1002、記憶装置1003、読取装置1004、通信インタフェース1006、及び入出力インタフェース1007を備える。なお、プロセッサ1001、メモリ1002、記憶装置1003、読取装置1004、通信インタフェース1006、及び入出力インタフェース1007は、例えば、バス1008を介して互いに接続されている。
プロセッサ1001は、任意の電気回路であり、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアプロセッサであってもよい。プロセッサ1001は、記憶装置1003に格納されているプログラムを読み出して実行することで、上述した画像投影処理を行ってもよい。
メモリ1002は、例えば、半導体メモリであり、RAM領域およびROM領域を含んでいてよい。記憶装置1003は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。
読取装置1004は、例えば、プロセッサ1001の指示に従って記憶媒体1005にアクセスする。記憶媒体1005は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、USB(Universal Serial Bus)メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、CD(Compact Disc)-ROM、DVD(Digital Versatile Disk)、Blu-ray Disc等(Blu-rayは登録商標)である。
通信インタフェース1006は、例えば、プロセッサ1001の指示に従って、他の装置と通信する。入出力インタフェース1007は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、例えば、ユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスであってもよい。出力装置は、例えばディスプレイなどの表示装置、およびスピーカなどの音声装置である。
プロセッサ1001が実行するプログラムは、例えば、下記の形態でコンピュータ1000に提供される。
(1)記憶装置1003に予めインストールされている。
(2)記憶媒体1005により提供される。
(3)プログラムサーバなどのサーバから提供される。
(1)記憶装置1003に予めインストールされている。
(2)記憶媒体1005により提供される。
(3)プログラムサーバなどのサーバから提供される。
なお、図22を参照して述べた制御装置500を実現するためのコンピュータ1000のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の電気回路の一部または全部の機能がFPGA(Field Programmable Gate Array)、SoC(System-on-a-Chip)、ASIC(Application Specific Integrated Circuit)、およびPLD(Programmable Logic Device)などによるハードウェアとして実装されてもよい。
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、1つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システム、投影ユニット、画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
上述した実施形態では、重畳装置の一例として投影装置301を例示したが、顕微鏡システムは、重畳装置として対物レンズ111と接眼レンズ113の間の光路上に配置された透過型液晶素子を有してもよい。光学像が形成される像面に透過型液晶素子が配置されることで、透過型液晶素子で表示した画像を光学像に直接重畳してもよい。
上述した実施形態では、撮像装置400のフォーカス合わせを行う顕微鏡利用者による意思表示の例として光路切替を例示したが、フォーカス合わせ時に特有のルーティン作業を検出することで、顕微鏡利用者が撮像装置400のフォーカス合わせを行おうとしていることを検出してもよい。例えば、光源201から出射される照明光の光量を最大光量にしてからフォーカス合わせを行うことが通常の場合であれば、制御装置500は、照明光の光量に応じて、補助情報を、撮像画像と解析情報の間で切り替えてもよい。
上述した実施形態では、光路切替ユニット310に含まれる複数の光学素子のうちの撮像装置400へのみ光を導く光学素子(プリズム312)が、撮像装置400に至る光路400pと接眼レンズ113に至る光路110pとが交差する位置に配置されているときに、投影装置301に、撮像画像を像面に重畳させる例を示した。しかしながら、撮像装置400へのみ光を導く場合に限らず、制御装置500は、例えば、複数の光学素子のうちの撮像光量が最も多くなる光学素子が撮像装置400に至る光路400pと接眼レンズ113に至る光路110pとが交差する位置に配置されているときに、投影装置301に、撮像画像を像面に重畳させてもよい。また、制御装置500は、複数の光学素子のうちの撮像光量の比率が閾値以上になる光学素子が撮像装置400に至る光路400pと接眼レンズ113に至る光路110pとが交差する位置に配置されているときに、投影装置301に、撮像画像を像面に重畳させてもよい。
上述した実施形態では、撮像装置400のフォーカスずれが生じる可能性があるケースとしてステージ101の移動を例示したが、標本Sを交換することによってもフォーカスずれは生じ得る。このため、顕微鏡システムは、標本Sの交換を検出し、制御装置500は、標本Sの交換に応じて、補助情報を、撮像画像と解析情報の間で切り替えてもよい。具体的には、例えば、標本Sを交換する度に、観察を開始する前に、標本Sの容器に付されたQRコード(登録商標)をQRコード(登録商標)リーダで読み込んで、標本Sの情報を確認する場合であれば、QRコード(登録商標)リーダによるQRコード(登録商標)の読み取りが発生したことをもって、顕微鏡システムは、標本Sの交換を検出してもよい。
上述した実施形態では、解析情報の一例として、細胞の核をマーキングする情報を例示したが、解析情報には、撮像装置400のフォーカス状態に関するフォーカス情報が含まれてもよい。フォーカス情報は、撮像画像に基づいて生成されてもよく、例えば、撮像画像のコントラスト値そのものであってもよく、また、コントラスト値に基づいて判定した合焦/非合焦を示す2値のいずれかであってもよい。
図23は、接眼レンズ経由で観察される画像の変形例である。図23には、光学像10とともに解析情報22(解析情報20、解析情報21)が像面に重畳されている例が示されている。解析情報20は、細胞の核をマーキングする情報であり、解析情報21は、撮像装置400のフォーカス状態を示すフォーカスインジケータである。図23に示すように、顕微鏡利用者が光学像10の観察中に撮像装置400のフォーカス状態を把握できるように、解析情報にフォーカス情報を含めてもよい。これにより、顕微鏡利用者は、光学像10を見ながら撮像装置400のフォーカス合わせを行うことが可能となる。
上述した実施形態では、フォーカス情報を解析情報として像面Pに重畳する例を示したが、フォーカス情報は、補助情報の切替に用いられてもよい。制御装置500は、フォーカス情報が示すフォーカス状態に応じて、補助情報を撮像画像と解析情報の間で切り替えてもよい。例えば、フォーカス状態が合焦状態の場合には補助情報が解析情報となり、フォーカス状態が非合焦状態の場合には補助情報が撮像画像になるように、補助情報を切り替えてもよい。これにより、顕微鏡利用者は、撮像装置400のフォーカスが合っていないときに像面Pに投影された撮像画像を見ながら撮像装置400のフォーカス合わせを行うことができる。
さらに、フォーカス情報に基づく補助情報の切替に連動して接眼レンズ113へ導かれる観察光量と撮像装置400へ導かれる撮像光量の比率が自動的に変更されてもよい。制御装置500は、フォーカス情報に基づく補助情報の切替に連動して、上述した光路切替ユニット310やシャッタ機構700を制御してもよい。なお、光路切替ユニット310やシャッタ機構700は、接眼レンズ113へ導かれる観察光量と撮像装置400へ導かれる撮像光量の比率を異なる2以上の設定の間で切り替える切り替え機構の例である。つまり、制御装置500は、補助情報の切り替えに連動して、切り替え機構に上述した比率の設定を切り替えさせてもよい。
具体的には、制御装置500は、まず、撮像画像に基づいて、撮像装置400のフォーカス状態に関するフォーカス情報を生成する。フォーカス情報は、上述したように、例えば、撮像画像のコントラスト値である。その後、制御装置500は、フォーカス情報が所定の閾値未満のときに、切り替え機構に、比率の設定を撮像光量が比較的大きい第1設定に設定させ、投影装置301に、撮像画像を像面Pに重畳させてもよい。また、制御装置500は、フォーカス情報が所定の閾値以上のときに、切り替え機構に、比率の設定を第1設定よりも撮像光量の小さい第2設定に設定させ、投影装置301に、解析情報を像面Pに重畳させてもよい。これにより、フォーカスレベルが低いときには、フォーカス合わせを促すために撮像画像がコントラスト良く像面Pに投影され、且つ、フォーカスレベルが高いときには解析情報が像面Pに投影される。
上述した実施形態では、解析情報を撮像画像に基づいて生成する例を示したが、解析情報は、例えば、病理標本のリファレンス画像などであってもよく、リファレンス画像は、撮像画像に基づいて適切な画像が選択されてもよい。また、解析情報に加えて、その他の情報が像面に投影されてもよい。例えば、照明光量、焦準機構やステージ101の位置、顕微鏡本体100内部に配置されたフィルタの情報など、顕微鏡システムの状態を示す情報が像面に投影されてもよい。
図24は、図1に示す顕微鏡システムの構成の変形例を示した図である。上述した実施形態では、顕微鏡システムに含まれる制御装置500が画像解析を行って解析情報を生成する例を示した。しかしながら、制御装置500は、顕微鏡システムの状態に応じて、補助情報を撮像画像と解析情報の間で切り替えればよく、解析情報は、制御装置500が生成する代わりに他の装置から取得してもよい。
図24に示すように、顕微鏡システム2に含まれる制御装置500は、外部システム800と通信してもよい。制御装置500は、撮像画像を外部システム800へ送信することで、外部システム800に画像解析を依頼して、処理結果(解析情報)を外部システム800から取得してもよい。
顕微鏡システム2によっても、上述した顕微鏡システムと同様に、AR顕微鏡における撮像装置400のフォーカスずれに対処することができる。
図25は、図1に示す顕微鏡システムの構成の別の変形例を示した図である。上述した実施形態では、顕微鏡とは異なる制御装置500が補助画像を投影する処理を制御する例を示したが、補助画像を投影する処理は、顕微鏡に取り付けられた、顕微鏡システム用の投影ユニットにより行われてもよい。
図25に示すように、顕微鏡システム3は、投影装置901と撮像装置902の両方を含む投影ユニットである接眼鏡筒900を備えてもよい。接眼鏡筒900は、顕微鏡システム1における制御装置500と同様の機能する制御部903を備えている。即ち、制御部903は、制御装置の一例であり、撮像装置902で取得した撮像画像に基づいて投影装置901に補助情報を像面Pに投影させる。また、制御部903は、顕微鏡システム3の状態に応じて補助情報を撮像画像と解析情報の間で切り替える。
接眼鏡筒900によっても、上述した顕微鏡システム1と同様に、AR顕微鏡における撮像装置400のフォーカスずれに対処することができる。なお、図25では、接眼鏡筒900が投影ユニットとして機能する例を示したが、上述した投影ユニットは、接眼鏡筒から独立した中間鏡筒として構成されてもよい。
なお、画像解析は照明光の揺らぎ(短時間の輝度の変化)や外部振動により動作が不安定となる可能性がある。このため、撮像装置400での画像取得及び制御装置500への転送は制御装置500での画像処理タイミングに合わせて行われることが望ましい。これにより、より確実な解析結果を検鏡者に提供可能となる。
本明細書において、“Aに基づいて”という表現は、“Aのみに基づいて”を意味するものではなく、“少なくともAに基づいて”を意味し、さらに、“少なくともAに部分的に基づいて”をも意味している。即ち、“Aに基づいて”はAに加えてBに基づいてもよく、Aの一部に基づいてよい。
1、2、3 :顕微鏡システム
10 :光学像
20、21、22 :解析情報
30、31、32 :撮像画像
100 :顕微鏡本体
101 :ステージ
102 :焦準ハンドル
105 :レボルバ
110 :観察光学系
111 :対物レンズ
112 :結像レンズ
113 :接眼レンズ
131、901 :投影装置
201 :光源
300、300a、300b、900:接眼鏡筒
301 :投影装置
310 :光路切替ユニット
311、312、313 :プリズム
311m、312m、313m :磁石
324 :ハーフミラー
400、902 :撮像装置
500 :制御装置
700 :シャッタ機構
701、702 :センサ
713 :遮光板
800 :外部システム
903 :制御部
1000 :コンピュータ
1001 :プロセッサ
1002 :メモリ
1003 :記憶装置
P :像面
S :標本
10 :光学像
20、21、22 :解析情報
30、31、32 :撮像画像
100 :顕微鏡本体
101 :ステージ
102 :焦準ハンドル
105 :レボルバ
110 :観察光学系
111 :対物レンズ
112 :結像レンズ
113 :接眼レンズ
131、901 :投影装置
201 :光源
300、300a、300b、900:接眼鏡筒
301 :投影装置
310 :光路切替ユニット
311、312、313 :プリズム
311m、312m、313m :磁石
324 :ハーフミラー
400、902 :撮像装置
500 :制御装置
700 :シャッタ機構
701、702 :センサ
713 :遮光板
800 :外部システム
903 :制御部
1000 :コンピュータ
1001 :プロセッサ
1002 :メモリ
1003 :記憶装置
P :像面
S :標本
Claims (22)
- 顕微鏡システムであって、
接眼レンズよりも物体側に標本の光学像を形成する観察光学系と、
前記光学像が形成される像面に補助情報を重畳する重畳装置と、
前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、
前記重畳装置を制御する制御装置と、を備え、
前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記制御装置は、前記接眼レンズへ導かれる観察光量と前記撮像装置へ導かれる撮像光量の比率に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。 - 請求項2に記載の顕微鏡システムにおいて、さらに、
前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる位置に選択的に配置され、前記接眼レンズと前記撮像装置の少なくとも一方へ光を導く複数の光学素子を備え、
前記制御装置は、前記複数の光学素子から選択して、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置された光学素子に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。 - 請求項3に記載の顕微鏡システムにおいて、
前記制御装置は、前記複数の光学素子のうちの前記撮像光量が最も多くなる光学素子が、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置されているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させる
ことを特徴とする顕微鏡システム。 - 請求項3に記載の顕微鏡システムにおいて、
前記制御装置は、前記複数の光学素子のうちの前記撮像光量の比率が閾値以上になる光学素子が、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置されているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させる
ことを特徴とする顕微鏡システム。 - 請求項3に記載の顕微鏡システムにおいて、
前記制御装置は、前記複数の光学素子のうちの前記撮像装置へのみ光を導く光学素子が、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置されているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させる
ことを特徴とする顕微鏡システム。 - 請求項2に記載の顕微鏡システムにおいて、さらに、
前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる位置に配置された光路分割素子と、
前記光路分割素子と前記接眼レンズとの間に配置されたシャッタ機構と、を備え、
前記制御装置は、
前記シャッタ機構が前記光路分割素子経由で前記接眼レンズへ向かう光を遮光しているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させ、
前記シャッタ機構が前記光路分割素子経由で前記接眼レンズへ向かう光を遮光していないときに、前記重畳装置に、前記解析情報を前記像面に重畳させる
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記制御装置は、前記標本に対する前記観察光学系の視野の位置又は範囲の変化に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。 - 請求項8に記載の顕微鏡システムにおいて、さらに、
前記標本を配置するステージを備え、
前記制御装置は、前記ステージの移動に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。 - 請求項8に記載の顕微鏡システムにおいて、さらに、
前記観察光学系に含まれる対物レンズを切り替える切り替え機構を備え、
前記制御装置は、前記切り替え機構による前記対物レンズの切り替えに応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、さらに、
前記標本に対する前記観察光学系の焦点面の位置を前記観察光学系の光軸方向に調整する焦準機構を備え、
前記制御装置は、前記焦準機構の移動に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、さらに、
前記標本に照射する照明光を出射する光源を備え、
前記制御装置は、前記照明光の光量に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記制御装置は、前記撮像画像に基づいて特定される前記撮像装置のフォーカス状態に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。 - 請求項13に記載の顕微鏡システムにおいて、さらに、
前記接眼レンズへ導かれる観察光量と前記撮像装置へ導かれる撮像光量の比率を、前記比率の異なる2以上の設定の間で、切り替える切り替え機構を備え、
前記制御装置は、前記補助情報の切り替えに連動して、前記切り替え機構に前記比率の設定を切り替えさせる
ことを特徴とする顕微鏡システム。 - 請求項14に記載の顕微鏡システムにおいて、
前記制御装置は、
前記撮像画像に基づいて前記撮像装置のフォーカス状態に関するフォーカス情報を生成し、
前記フォーカス情報が所定の閾値未満のときに、
前記切り替え機構に、前記比率の設定を前記2以上の設定のうちの第1設定に設定させ、
前記重畳装置に、前記撮像画像を前記像面に重畳させ、
前記フォーカス情報が所定の閾値以上のときに、
前記切り替え機構に、前記比率の設定を前記2以上の設定のうちの前記第1設定よりも前記撮像光量の比率が小さい第2設定に設定させ、
前記重畳装置に、前記解析情報を前記像面に重畳させる
ことを特徴とする顕微鏡システム。 - 請求項1乃至15のいずれか1項に記載の顕微鏡システムにおいて、
前記制御装置は、前記補助情報を前記撮像画像へ切り替えてから所定時間経過後に、前記補助情報を前記解析情報へ切り替える
ことを特徴とする顕微鏡システム。 - 請求項1乃至15のいずれか1項に記載の顕微鏡システムにおいて、
前記重畳装置は、投影装置であり、
前記重畳装置からの光を前記観察光学系の光路に合流させる光路合成素子を、さらに含む
ことを特徴とする顕微鏡システム。 - 請求項1乃至15のいずれか1項に記載の顕微鏡システムにおいて、
前記撮像画像は、前記撮像装置で取得した画像に対して画像処理を施した画像処理後の画像を含む
ことを特徴とする顕微鏡システム。 - 請求項1乃至15のいずれか1項に記載の顕微鏡システムにおいて、
前記解析情報は、前記撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報を含む
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項15のいずれか1項に記載の顕微鏡システムにおいて、
前記制御装置は、前記撮像画像に対して前記画像解析を行うことで、前記解析情報を生成し、
前記画像解析は、機械学習で学習済みのニューラルネットワークモデルを用いた推論処理を含む
ことを特徴とする顕微鏡システム。 - 顕微鏡システム用の投影ユニットであって、
前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記顕微鏡システムに含まれる観察光学系が標本の光学像を形成する前記像面に補助情報を重畳する重畳装置と、
前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、
前記重畳装置を制御する制御装置と、を備え、
前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える
ことを特徴とする投影ユニット。 - 観察光学系を含む顕微鏡システムが行う画像投影方法であって、
前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記観察光学系が標本の光学像を形成する前記像面に補助情報を重畳し、
前記顕微鏡システムの状態に応じて、前記補助情報を、前記観察光学系の光路から分岐した光路上に設けられた撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える
ことを特徴とする画像投影方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022074487A JP2023163524A (ja) | 2022-04-28 | 2022-04-28 | 顕微鏡システム、投影ユニット、画像投影方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022074487A JP2023163524A (ja) | 2022-04-28 | 2022-04-28 | 顕微鏡システム、投影ユニット、画像投影方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023163524A true JP2023163524A (ja) | 2023-11-10 |
Family
ID=88651798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022074487A Pending JP2023163524A (ja) | 2022-04-28 | 2022-04-28 | 顕微鏡システム、投影ユニット、画像投影方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023163524A (ja) |
-
2022
- 2022-04-28 JP JP2022074487A patent/JP2023163524A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4970869B2 (ja) | 観察装置および観察方法 | |
JP5875812B2 (ja) | 顕微鏡システムおよび照明強度調整方法 | |
JP5863357B2 (ja) | 拡大観察装置、並びに、拡大観察装置の画像表示方法及び検鏡法切換方法 | |
JP2007316259A (ja) | 顕微鏡システム、顕微鏡画像の記録方法、及びプログラム | |
WO2020066042A1 (ja) | 顕微鏡システム、投影ユニット、及び、画像投影方法 | |
JP2009162974A (ja) | 顕微鏡システム及びその制御方法 | |
JP6253509B2 (ja) | 画像表示方法、制御装置、顕微鏡システム | |
JP4910382B2 (ja) | 顕微鏡 | |
JP5893313B2 (ja) | 顕微鏡システム | |
JP6563517B2 (ja) | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム | |
JP2023163524A (ja) | 顕微鏡システム、投影ユニット、画像投影方法 | |
JP7082482B2 (ja) | ディスク走査型顕微鏡システム、プログラム | |
JP2007148161A (ja) | オートフォーカス装置とこれを有する顕微鏡 | |
JP2016161600A (ja) | 顕微鏡、顕微鏡システム、オートフォーカス方法、及び、プログラム | |
JP2005148584A (ja) | 共焦点レーザ顕微鏡 | |
JP7251957B2 (ja) | 拡大観察装置 | |
JP5532318B2 (ja) | 顕微鏡装置および記録媒体 | |
JP2007102102A (ja) | 共焦点顕微鏡及び合焦カラー画像の生成方法 | |
JP5278489B2 (ja) | 顕微鏡、顕微鏡の焦点調節制御方法 | |
JP5904737B2 (ja) | 顕微鏡システム | |
US10782515B2 (en) | Microscope system, observation method, and computer-readable recording medium | |
JP2009128446A (ja) | 画像処理装置および顕微鏡システム | |
JP6797659B2 (ja) | 顕微鏡装置、プログラム、観察方法 | |
JP6062028B2 (ja) | 拡大観察装置、及び、拡大観察方法 | |
JP2009015301A (ja) | 顕微鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231110 |