JP2009128648A - 顕微鏡観察システム - Google Patents

顕微鏡観察システム Download PDF

Info

Publication number
JP2009128648A
JP2009128648A JP2007303890A JP2007303890A JP2009128648A JP 2009128648 A JP2009128648 A JP 2009128648A JP 2007303890 A JP2007303890 A JP 2007303890A JP 2007303890 A JP2007303890 A JP 2007303890A JP 2009128648 A JP2009128648 A JP 2009128648A
Authority
JP
Japan
Prior art keywords
adjustment
observation
image
microscope
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007303890A
Other languages
English (en)
Other versions
JP5289756B2 (ja
Inventor
Sanenari Kojima
実成 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2007303890A priority Critical patent/JP5289756B2/ja
Priority to US12/275,419 priority patent/US8102418B2/en
Priority to EP08020475.3A priority patent/EP2065745A3/en
Publication of JP2009128648A publication Critical patent/JP2009128648A/ja
Application granted granted Critical
Publication of JP5289756B2 publication Critical patent/JP5289756B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮影装置に入射される観察像を最優先にしてシステム全体(顕微鏡+観察装置)を最適制御する顕微鏡観察システムを提供する。
【解決手段】顕微鏡と、前記顕微鏡により得られた標本像を撮像信号に変換する撮像手段と、前記撮像手段に結像される前記標本像の入射光量を抑制するために、前記顕微鏡に含まれる調整部位群を制御する光量調整手段と、前記撮影信号を所望の状態に調整するために、前記撮像手段に関する調整部位群を制御する撮像調整手段と、前記撮像信号に基づいて前記標本像の明るさを測定する測光手段と、前記撮像信号に基づいて生成された撮像画像が表示される表示手段と、前記光量調整手段と前記撮像調整手段とを制御して、前記表示手段に連続的に表示させる画像の連続表示間隔を示す連続表示速度を制御する制御手段と、を備えることにより、上記課題の解決を図る。
【選択図】 図1

Description

本発明は、顕微鏡観察システムの制御に関する。
現在、顕微鏡観察システムは、生物分野の研究をはじめ工業分野の検査工程等に至るまで幅広く利用されている。このような分野で用いられる顕微鏡観察システムでは、微細な試料を拡大観察した観察像をデジタルデータとしてパーソナルコンピューター(以下、PCと称する)に記録して画像観察や画像を解析したり、ビデオ画像として標本状態の変化を記録することができる。
従来の顕微鏡観察システムでは、その構成として顕微鏡に画像を撮影するための撮像装置が付加されただけの形式のものが一般的であった。この場合、標本の拡大像を観察する場合には従来の顕微鏡の観察方式にて接眼レンズを覗いて病変部分や試料の欠陥部分を発見し、その部位を記録したい時点で撮像装置を用いた記録を行っていた。
画像データの記録装置としては、画像記録専用の撮像装置にて不揮発性メモリに画像データを取得し、不揮発メモリを介してPCに読み込み、PCに接続されたモニタ上で画像データの解析を実施していた。あるいは、撮像装置からPCに直接接続された画像装置にて画像の取得を行っていたが、その目的としては画像データの記録にあり、従来の顕微鏡写真撮影装置と同等の位置づけにあった。
ところが近年、PCの性能向上や撮像装置のデジタル化、その画像解像度の向上及び画質レベルの改善など複数の波及効果により、PCのモニタ上でも接眼レンズ観察と遜色のない観察が可能になりつつある。
このような技術背景に基づき、顕微鏡の情報を利用して撮影装置を最適な状態にし、操作性や性能を改善する以下のような種々発明が提案されている。
特許文献1の発明によれば、顕微鏡の動作状態に基づきモニタ表示部の表示方法を最適な状態に自動設定する顕微鏡観察システムが提案されている。特許文献1の発明では、観察者が撮影装置の操作に不慣れな場合でも顕微鏡の観察像を常に最適な状態で撮影できるようにしている。
また特許文献2では、標本が暗い場合でも標本のピント合わせやフレーミング(撮影構図)の操作性を向上させ、操作性が良く、かつ高品質な撮影画像が取得できる装置が提案されている。
さらに、特許文献3においては、観察者の操作ミスにより撮影装置の破損を防止する対策として、観察光学系にNDフィルターを挿入することで受光素子への入射光量を抑制するなど装置の信頼性向上に関する発明がなされている。
一方、観察している画像やある一定間隔をおいて標本の状態変化を記録する方法としては、撮影装置の設定を規定、把握して画像取得の取り込むソフトウェア(特許文献4)に示す発明で提案されている。
特開2001−292369号公報 特開2004−128582号公報 特開2004−177307号公報 特表2003−507766号公報
ところが、従来技術に記載する顕微鏡観察システムでは、顕微鏡の状態を把握し撮影装置を最適にするもの(特許文献1)や、逆に撮影装置(撮像素子)の動作状態に応じて顕微鏡側の設定を抑制するもの(特許文献3)など顕微鏡と撮影装置を別々に取り扱った発明である。いわば主従関係が存在している発明と言える。これは、顕微鏡が観察のためだけに独立して存在し、撮影装置が画像撮影、記録を目的としてのみに存在しており、その両者を組み合わせた実情から来ていると考えられる。
また、顕微鏡の観察像(ライブ像)の高速化を実現して、モニタ表示での観察時の操作性や視認性を向上させている特許文献2においても、撮影装置単体としての発明であり、撮影装置に入射された画像の後処理に関した発明でしかない。
特許文献3では、画像記録の際の取り込みの最適化を顕微鏡を含めて実施しているが、顕微鏡の制約条件をソフトウェア上で回避しながら撮影画像を取り込み、最終的に保存される記録画像の品質を向上させた提案である。また、顕微鏡と撮影装置が非同期に制御されていることからもシステム全体の最適化が充分であるとは言えない。
上記発明の顕微鏡観察システムでは、顕微鏡あるいは撮影装置どちらか一方あるいは両方に精通している観察者でなければ、その発明内容を充分に発揮できずに効果が得られないことに繋がっていた。
本発明は、上記のような実情に鑑みてなされたもので、撮影装置に入射される観察像を最優先にしてシステム全体(顕微鏡+観察装置)を最適制御する顕微鏡観察システムを提供する。
本発明にかかる顕微鏡観察システムは、標本を拡大観察するための光学系を有する顕微鏡と、前記顕微鏡により得られた標本像を撮像信号に光電変換する撮像手段と、前記撮像手段に結像される前記標本像の入射光量を抑制するために、前記顕微鏡に含まれる調整部位群を制御する光量調整手段と、前記撮像手段により光電変換された前記撮影信号を所望の状態に調整するために、前記撮像手段に関する調整部位群を制御する撮像調整手段と、前記撮像信号に基づいて前記標本像の明るさを測定する測光手段と、前記撮像信号に基づいて生成された撮像画像が表示される表示手段と、前記光量調整手段と前記撮像調整手段とを制御して、前記表示手段に連続的に表示させる画像の連続表示間隔を示す連続表示速度を制御する制御手段と、前記標本の観察位置を変更あるいは観察倍率を変更する観察位置変更手段と、観察位置の検出あるいは観察倍率を検出する観察状態検出手段とのうち少なくとも一方、を備える。
前記顕微鏡観察システムにおいて、前記制御手段は、前記連続表示速度の下限が前記表示手段の観察及び操作可能な最低限の表示速度となるように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記連続表示の最小間隔の上限が前記表示手段の最大フレームレートによる表示間隔になるように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記撮像手段によって光電変換され前記表示手段に表示可能なデータに変換されるまでの最短時間が最大フレームレートによる表示間隔になるように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記撮像手段によって光電変換され画像信号として読み出される読み出し速度を基準に、前記連続表示間隔の上限を規定して、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムは、さらに、前記撮像手段によって光電変換された後に所定の画像処理がされた撮像信号を前記制御手段へ伝達する外部通信手段を備え、前記制御手段は、前記外部通信手段の最大データ伝達速度に基づいて、前記連続表示速度の上限を規定して前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記表示手段の観察及び操作可能な最低限の表示速度を前記連続表示速度の下限とし、前記表示手段の最大フレームレートを前記連続表示速度の上限とし、前記連続表示速度が前記下限と前記上限の範囲内に入るように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記表示手段の観察及び操作可能な最低限の表示速度を前記連続表示速度の下限とし、前記撮像手段によって光電変換され前記表示手段に表示可能なデータに変換されるまでの速度の上限として示される最大フレームレートを前記連続表示速度の上限とし、前記連続表示速度が前記下限と前記上限の範囲内に入るように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記観察位置変更手段が非動作中の場合、あるいは前記観察状態検出手段による移動状態が非動作状態の場合には、前記標本自体の移動の変化を識別し、前記標本が移動していると認識した場合には、前記連続表示速度の制御を行わないことを特徴とする。
前記顕微鏡観察システムは、前記光量調整手段により制御される調整部位と前記撮像調整手段により制御される調整部位を合計して2つ以上有し、前記制御手段は、前記調整部位を調整する順番に優先順位を設け、調整される撮影画像の解像が変化する前記調整部位と、光電変換された電気信号のノイズレベルに影響を及ぼす前記調整部位とのうち少なくともいずれかの制御の優先順位を下げて前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムは、前記光量調整手段により制御される調整部位と前記撮像調整手段により制御される調整部位を合計して2つ以上有し、前記制御手段は、前記調整部位を調整する順番に優先順位を設け、前記標本に照射される光量が増大する傾向にある前記調整部位を制御する優先順位を下げて前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムは、前記光量調整手段により制御される調整部位と前記撮像調整手段により制御される調整部位を合計して2つ以上有し、前記制御手段は、前記調整部位を調整する順番に優先順位を設け、前記連続表示速度の間隔を長くすることに起因する前記調整部位を制御する優先順位を下げて前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムは、さらに、前記連続的に表示される画像の記録をする画像記録手段を備え、前記制御手段は、前記連続表示速度の下限が前記画像記録手段に記録するビデオレートになるように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムにおいて、前記顕微鏡により光学系の状態が異なった標本観察を行うことができる2以上の観察法を用いて観察することができ、前記顕微鏡観察システムは、前記光量調整手段により制御される調整部位と前記撮像調整手段により制御される調整部位を合計して2つ以上有し、前記顕微鏡観察システムは、さらに、前記観察法に応じて前記調整部位を調整する優先順位が設定されており、該観察法を切り換えるための観察法切り替え手段を備えることを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記観察法切り換え手段に基づいて、前記連続表示速度の制御を行うことを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記光電変換された撮像信号の信号ノイズレベルを計測し、前記信号ノイズにより劣化する観察画像で観察に耐えうる信号ノイズレベルの基準値を設け、前記計測手段より計測されたノイズレベルが前記基準値を超えたか否かを判定し、該判定結果に基づいて、前記連続表示速度の制御を行うことを特徴とする。
前記顕微鏡観察システムにおいて、前記観察法の種別が明視野観察である場合、前記制御手段は前記連続表示速度の制御を行わないことを特徴とする。
前記顕微鏡観察システムにおいて、前記顕微鏡にて光学系の状態で透過照明光学系が選択されている場合、前記制御手段は前記連続表示速度の制御を行わないことを特徴とする。
前記観察法の種別が蛍光観察または暗視野観察の場合、前記制御手段は前記連続表示速度の制御を行うことを特徴とする。
顕微鏡観察システムは、さらに、前記光量調整手段または前記撮像調整手段で制御される前記調整部位の調整に関する情報を入力できる調整入力手段を備え、前記制御手段は、前記調整入力手段により調整された前記調整部位以外の調整部位に関して、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記光量調整手段または前記撮像調整手段により前記連続表示速度を制御しても最低限の前記表示間隔時間に達しない場合に、前記表示部に連続的に表示される所定画像データに対して該所定画像データからn(n:任意の整数)フレーム前までに表示されるn個のフレーム画像データを累積加算し、該加算された画像データを現在の表示画像として表示すると共に、前記連続表示速度を制御することを特徴とする。
前記顕微鏡観察システムにおいて、前記観察位置変更手段が動作中の場合、あるいは前記観察状態検出手段により移動中と判断した場合には、前記制御手段は、前記調整部位を調整する順番の優先順位を一時的に変更することを特徴とする。
前記顕微鏡観察システムは、さらに、前記観察位置変更手段の変更速度を制御する観察位置変更速度可変手段を備え、前記観察位置変更速度可変手段は、前記光量調整手段または前記撮像調整手段にて連続表示速度を制御しても最低限の表示間隔時間に達しない場合に、前記観察位置変更手段の変更速度を制限することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記撮像調整手段により制御された結果、前記表示手段に表示されるべき表示画像のサイズが変わっても該表示部に表示される画像を一定のサイズに保持することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記調整部位のうち光量の変化、画像の変化が断続的に発生する調整を適用する場合、該調整が完了するまでは該調整直前の画像を表示させ続ける調整補完処理を行うことを特徴とする。
前記顕微鏡観察システムは、さらに、前記調整直前の画像を保持する保持手段を備え、前記制御手段は、前記表示手段に表示されている連続的な表示を停止し、断続的に光量が変化する前記調整部位を制御し、断続的に光量が変化する前記調整部位の制御が完了するまでの間、前記保持手段により保持された画像データを前記表示手段に表示させ、断続的に光量が変化する前記調整部位の制御が完了したら連続的な表示を再開させることを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記観察位置移動手段により前記標本が移動している場合、前記調整補完処理を適用することを特徴とする。
前記顕微鏡観察システムにおいて、前記制御手段は、前記観察位置移動手段により前記標本が移動しており、断続的に光量が変化する前記調整部位を駆動する制御の必要性が発生した場合でも、連続的に変化する調整部位で一旦補正を掛けて表示画像の輝度が一定になるように保つ前記調整補完処理を実行し、前記標本の移動が停止した場合に前記連続表示速度を制御することを特徴とする。
本発明にかかる顕微鏡観察システムよれば、撮影装置に入射される観察像を最優先にしてシステム全体(顕微鏡+観察装置)を最適制御することができる。
本発明に係る顕微鏡観察システムは、顕微鏡と、撮像手段と、光量調整手段と、撮像調整手段と、測光手段と、表示手段と、制御手段とを備え、さらに、観察位置変更手段及び観察状態検出手段とのうち少なくとも一方を備える。
顕微鏡は、標本を拡大観察するための光学系を有するものである。顕微鏡は、例えば本実施の形態でいえば、符号[1]〜[34]で示される構成要素に相当する。
撮像手段は、前記顕微鏡により得られた標本像を撮像信号に光電変換する。撮像手段は、例えば本実施の形態で言えば、撮像素子[36]に相当する。
光量調整手段は、前記撮像手段に結像される前記標本像の入射光量を抑制するために、前記顕微鏡に含まれる調整部位群(透過用フィルター群[3]、透過用AS[6]、落射用フィルター群[19]、落射用AS[23]等)を制御する。光量調整手段は、例えば本実施の形態で言えば、透過用フィルター駆動回路[25]、透過用AS駆動回路[26]、落射用フィルター駆動回路[32]、落射用AS駆動回路[33]等を制御する顕微鏡制御部[34]に相当する。
撮像調整手段は、前記撮像手段により光電変換された前記撮影信号を所望の状態に調整するために、前記撮像手段に関する調整部位群(ゲイン制御、ビニング制御等)を制御する。撮像調整手段は、例えば本実施の形態でいえば、撮像制御部[43]に相当する。
測光手段は、前記撮像信号に基づいて前記標本像の明るさを測定する。測光手段は、例えば本実施の形態でいえば、撮像制御部[43]に相当する。
表示手段は、前記撮像信号に基づいて生成された撮像画像が表示される。表示手段は、例えば本実施の形態で言えば、表示部[46]に相当する。
制御手段は、前記光量調整手段と前記撮像調整手段とを制御して、前記表示手段に連続的に表示させる画像の連続表示間隔を示す連続表示速度を制御する。制御手段は、例えば本実施の形態で言えば、システム制御部[44]に相当する。
観察位置変更手段は、前記標本の観察位置を変更あるいは観察倍率を変更する。観察位置変更手段は、例えば本実施の形態で言えば、ステージ[8]、XYステージ駆動回路[28]、フォーカス駆動回路[27]等に相当する。
観察状態検出手段は、観察位置の検出あるいは観察倍率を検出する。観察状態検出手段は、例えば本実施の形態で言えば、レボルバー位置検出部[66]、ステージ操作検出部[67]、手動操作部[68]に相当する。
また、顕微鏡観察システムは、さらに、外部通信手段を備えることもできる。外部通信手段は、前記撮像手段によって光電変換された後に所定の画像処理がされた撮像信号を前記制御手段へ伝達するものである。外部通信手段は、例えば本実施の形態で言えば、汎用I/F変換部[681]に相当する。この場合、前記制御手段は、前記外部通信手段の最大データ伝達速度に基づいて、前記連続表示速度の上限を規定して前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御することができる。
前記顕微鏡観察システムは、さらに、前記連続的に表示される画像の記録をする画像記録手段を備えてもよい。画像記録手段は、例えば本実施の形態で言えば、HDD[49]に相当する。この場合、前記制御手段は、前記連続表示速度の下限が前記画像記録手段に記録するビデオレートになるように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御する。
前記顕微鏡観察システムは、さらに、観察法に応じて前記調整部位を調整する優先順位が設定されており、該観察法を切り換えるための観察法切り替え手段を備えても良い。観察法切り替え手段は、例えば本実施の形態で言えば、BFボタン[81]、FLボタン[82]、Normalボタン[92]、Highボタン[93]、録画用ボタン[95]等に相当する。
前記顕微鏡観察システムは、さらに、前記光量調整手段または前記撮像調整手段で制御される前記調整部位の調整に関する情報を入力できる調整入力手段を備えてもよい。調整入力手段は、例えば本実施の形態で言えば、操作部[47]に相当する。この場合、前記制御手段は、前記調整入力手段により調整された前記調整部位以外の調整部位に関して、前記連続表示速度を制御する。
前記顕微鏡観察システムは、さらに、前記調整直前の画像を保持する保持手段を備えてもよい。保持手段は、例えば本実施の形態で言えば、表示用メモリ[45]に相当する。この場合、前記制御手段は、前記表示手段に表示されている連続的な表示を停止し、断続的に光量が変化する前記調整部位を制御し、断続的に光量が変化する前記調整部位の制御が完了するまでの間、前記保持手段により保持された画像データを前記表示手段に表示させ、断続的に光量が変化する前記調整部位の制御が完了したら連続的な表示を再開させる。
以下、本発明の実施の形態を図面に従い説明する。
<第1の実施の形態>
本実施形態では、明視野観察法、蛍光観察法のそれぞれの観察法において、観察画像の明るさが適正な露光なのかを判別し、不適切な場合には、顕微鏡側についてはNDフィルターと開口絞り(AS)とを、撮像装置側については撮像素子の電荷の蓄積時間とゲインとビニングを制御することにより、最適な観察状態とすることについて説明する。
図1は、本発明の実施の形態に係る顕微鏡観察システムの全体構成図である。本実施の形態の顕微鏡観察システムにおける光学系は、例えばハロゲンランプからなる透過照明用光源[1]からの光を透過用コレクタレンズ[2]で集光して透過用フィルター群[3]へ入射するように構成されている。
透過用フィルター群[3]は透過照明用光源[1]の色温度を変えずに明るさの調整を行う複数枚のNDフィルター(透過用ND1[4]/透過用ND2[5])からなり、任意のフィルターを透過照明光路[LP1]の光路中に選択的に挿脱可能になっている。
上記透過用フィルター群[3]を透過した照明光を、図示しない透過用視野絞り、開口絞りである透過用AS[6]、及びコンデンサレンズ[7]を介してステージ[8]の紙面下方からステージ[8]上の観察試料[9]を照明するように、透過照明光路[LP1]が構成されている。
ステージ[8]は、観察試料[9]を光軸と直交する平面内で2次元移動可能になっている(観察試料の走査)と共に、ピント合わせのため光軸方向へ移動可能な構成になっている。
ステージ[8]上方には複数の対物レンズ[11]/[12]がレボルバー[10]に保持されている。レボルバー[10]の回転により観察光路[LP3]の光軸上に挿入すべき対物レンズを交換することができる。レボルバー[10]は、例えば顕微鏡本体のアーム先端部に回転自在に取付けられており、その上部にはキューブターレット[13]が配設されている。
キューブターレット[13]は、各種観察法により選択的に挿脱される蛍光キューブ[14]が配置されている。蛍光キューブ[14]には、励起フィルター[15]と吸収フィルター[16]が併設され、蛍光キューブ[14]と一緒に挿脱することができる。
一方、水銀ランプ等からなる落射照明用光源[17]からの光を、落射用フィルター群[19]、開口絞りである落射用AS[23]、図示しない落射用視野絞りを介して、キューブターレット[13]の光路中に挿入されている蛍光キューブ[14]に入射し、観察試料[9]の方向へ反射させて照明するのが落射照明光路[LP2]である。
落射用フィルター群[19]は、落射照明用光源[17]の色温度を変えずに明るさの調光を行う複数枚のNDフィルター(落射用ND1[20]/落射用ND2[21])と、落射照明光路[LP2]に挿入して落射照明用光源[17]を遮光するための落射用シャッター[22]で構成される。
以上が本発明の顕微鏡観察システムの照明系に関わる光学配置の構成であり、次に撮像系(観察系)に係る構成を説明する。
観察試料[9]は、レボルバー[10]に取り付けられた対物レンズ[11]あるいは対物レンズ[12]により拡大され、キューブターレット[13]を介して結像レンズ[35]に入射される。入射された拡大像は、撮像素子(CCD)[36]で焦点を結ぶように結像レンズ[35]にて結像される。
続いて、本顕微鏡観察システムの電気制御系の構成を説明する。電気制御系は、透過照明用光源調光回路[24]と、透過用フィルター駆動回路[25]と、透過用AS駆動回路[26]と、フォーカス駆動回路[27]と、XYステージ駆動回路[28]と、レボルバー駆動回路[29]と、キューブ駆動回路[30]と、落射照明用光源点灯回路[31]と、落射用フィルター駆動回路[32]と、落射用AS駆動回路[33]と、顕微鏡制御部[34]とからなる。
透過照明用光源調光回路[24]は、透過照明用光源[1]を点灯させ、照明強度を調整する。透過用フィルター駆動回路[25]は、透過用フィルター群[3]内の透過用ND1[4]と透過用ND2[5]を周知の挿脱機構を用いて透過照明光路[LP1]上にIN/OUTさせる。
透過用AS駆動回路[26]は、透過用AS[6]の絞りを開閉制御する。フォーカス駆動回路[27]は、ステージ[8]を観察光路[LP3]の上下方向に駆動し、観察資料[9]のピント合わせを行う。XYステージ駆動回路[28]は、観察資料[9]を透過照明光路[LP1]に対して垂直方向に移動させるためにステージ[8]を駆動する。
レボルバー駆動回路[29]は、レボルバー[10]を回転させ対物レンズ[10]/対物レンズ[11]を観察光路[LP3]上に挿入せしめる。キューブ駆動回路[30]は、キューブターレット[13]内のキューブ[14]を観察光路[LP3]上に挿脱する。
落射照明用光源点灯回路[31]は、落射用照明光源[17]を点灯制御する。落射用フィルター駆動回路[32]は、落射用フィルター群[19]内の落射用ND1[20]と落射用ND2[21]、および落射用シャッター[22]を落射照明光路[LP2]上にIN/OUTせしめる。落射用AS駆動回路[33]は、落射用AS[23]の絞りを開閉制御する。
顕微鏡制御部[34]は、透過照明用光源調光回路[24]、透過フィルター駆動回路[25]、透過用AS駆動回路[26]、フォーカス駆動回路[27]、XYステージ駆動回路[28]、レボルバー駆動回路[29]、キューブ駆動回路[30]、落射照明用光源点灯回路[31]、落射用フィルター駆動回路[32]、落射用AS駆動回路[33]に必要な指示を与え、透過照明光路[LP1]と落射照明光路[LP2]と観察光路[LP3]の光学状態を設定、変更する。
一方、撮像素子(CCD)[36]に結像された観察像は、撮像素子(CCD)[36]にて光電変換され、CDS[38]とAMP[39]からなる画像信号処理調整部[37]を経て、A/D変換器[40]に入力される。撮像素子(CCD)[36]、CDS[38]、A/D変換器[40]はタイミングジェネレータ[41]にて所望の状態にて駆動される。
A/D変換器[40]からのデジタル信号(画像データ)はフレームメモリ[42]を介して画像処理回路[70]に入力され、所望の調整状態に調整された後、システム制御部[44]に送られる。
撮像系の制御を司る撮像制御部[43]は、タイミングジェネレータ[41]へのタイミング制御の指示、AMP[39]の増幅率の変更、フレームメモリ[42]や画像処理回路[70]の制御を行う。
システム制御部[44]は、例えばパーソナルコンピュータ等と等価なもので、顕微鏡制御部[34]や撮像制御部[43]に指示を与えてシステムを所望の状態で制御し、画像処理回路[70]からの撮像データを表示用メモリ[45]を介して表示部[46]に表示させる。また、操作部[47]からの指示により顕微鏡観察システムに必要な指示を与える。
上記顕微鏡制御部[34]と撮像制御部[43]は、図2に示す回路構成を夫々備えている。
図2は、顕微鏡制御部[34]と撮像制御部[43]の内部構成図である。同図では、顕微鏡制御部[34]と撮像制御部[43]の基本構成は周知のCPU回路構成の一例を示す。CPU[60]と、プログラムを格納するROM[61]、及びプログラム実行時に諸処のデータを格納するRAM[62]は、CPUバス[63]にて接続される。また、図示しない不揮発性のメモリなどを設けることで、電源遮断後もデータの保持が可能な構成になっている。
CPUバス[63]には専用I/F回路[65]が接続され、この専用I/F[65]を介して必要な駆動回路に接続される。また、システム制御部[44]との接続のためのPC I/F回路[64]が接続されいる。
システム制御部[44]も周知のPC内部構成と等価なもので、その一例を図3に示す。
図3は、システム制御部[44]の内部構成図である。システム制御部[44]は、プログラムの実行を行うCPU[48]と、プログラムを格納するHDD[49]等の不揮発性メモリと、プログラム実行に必要なデータやプログラム自体を読み込んで高速で処理を実行するメインメモリ[50]からなり、これらはシステムバス[51]にて接続される。HDD[49]に関しては、周知の接続方法が種々有り、それぞれに必要なブリッジ(接続するための手段)は省略する。
制御に必要な部位(操作部[47]/表示部[46]/顕微鏡制御部[34]/撮像制御部[43]等)への接続は各々のI/F部を介して行われる。
例えば、操作部[47]は周知のUSB(ユニバーサルシリアルバス)を介して接続され、USB I/F部[78]から情報を得る。操作部[47]としては、周知のキーボード[58]やポインティングデバイス(マウス[59])を使用する。
顕微鏡制御部[34]と撮像制御部[43]も周知のIEEE1394規格のI/Fを介して接続され、IEEE1394 I/F部[57]経由にて接続される。または、カメラI/F部[56]を介して接続しても良い。
グラフィックコントローラ[55]は、表示部[46]の入力信号形態に合わせて画像データを出力するためのものであり、表示用メモリ[45]の表示データを表示部[46]の解像度、スキャンスピード(表示更新速度)に合わせて信号出力する。表示部[46]は周知のLCDモニタやCRTモニタである。
グラフィックコントローラ[55]、カメラI/F部[56]、IEEE1394 I/F部[57]、USB I/F部[78]はそれぞれシステムバス[51]に接続させるためのI/F部(表示用I/F[52]や汎用バスI/F[53])を備えている。このI/F部によりCPU[48]からそれぞれの部位を制御可能にしている。このような異種のバス同士を接続するための構成をバスブリッジ[54]と総称する。
次に、以上のように構成された本実施の形態の動作について説明する。まずは、撮像素子(CCD)[36]の内部構成の一例を図4に示し、簡単に説明する。
図4は、撮像素子(CCD)[36]の素子構造を示す平面図である。この場合、受光素子としてフォトダイオード[201]がマトリクス状に配置され、これらフォトダイオードの間に縦列方向に複数本の垂直転送路[202]が配置され、この垂直転送路[202]端部の横方向に1本の水平転送路[203]が配置されている。
そして、フォトダイオード[201]に蓄積された信号電荷は、電荷移送パルス[TG]により垂直転送路[202]に読み出され、垂直転送路[202]内を紙面下方向に転送される。
垂直転送路[202]を転送された信号電荷は、水平転送路[203]に移送され、この水平転送路[203]を紙面左方向に転送され、信号検出部[204]に転送される。信号検出部[204]の信号を所望のレベルに増幅し、最終的にAMP(読み出しアンプ)[205]を介して外部に出力されるようになっている。
このような撮像素子(CCD)[36]を駆動するための信号を生成する部位がタイミングジェネレータ[41]であり、種々の駆動信号を撮像素子(CCD)[36]に供給している。駆動信号の一例を図5に示す。
図5は、CCD駆動のタイミングチャート(通常動作)を示す。この場合、同図[a]に示す垂直同期信号VDは、1フレーム周期で出力され、同図[b]に示す水平同期信号HDは、1ライン毎に出力される。
また、同図[c]の電荷移送パルスTGは、1フレーム毎に出力され、図4で述べたフォトダイオード[201]から垂直転送路[202]に信号電荷を読み出すようにしている。
同図[d]に示すV転送パルスは、水平同期信号HDと同期して垂直転送路[202]内で電荷を転送するための電荷転送パルスとして出力される。
さらに、同図[e]の電荷排出パルスVSUBは、電荷移送パルスTGと同期して2パルス(V転送のパルスの周期)ずつ出力される。この電荷排出パルスVSUBは、最初の1パルスでフォトダイオード[201]の蓄積電荷を基板側に排出させ、次の1パルスから露光を開始させるようにしている。
これにより、撮像素子(CCD)[36]では、電荷排出パルスVSUBの最初の1パルスによりフォトダイオード[201]内の電荷を基板側に排出し、次の1パルスから電荷移送パルスTGまでを露光時間とするとともに、この電荷移送パルスTGのタイミングで画像信号(同図[g])を出力するようにしている。
例えば、フォトダイオード[201]に一定光量の光が入射されている場合の蓄積光量は、同図[f]に示すような露光量であり、同図[g]に示す如く1フレーム分遅れて画像信号が出力される。すなわち、露光Bの期間中にDataAが出力されることになる。
撮像素子(CCD)[36]には、図1には図示していない撮像素子駆動用の電源が撮像素子駆動電源[206]も供給されていることも補足する。
このようにして撮像素子(CCD)[36]から出力された信号はCDS[38]に入力される。CDS[38]では、撮像素子(CCD)[36]からの信号を後段回路で画像データとして扱える信号出力のみに抽出する作業を行う。
同図[g]の1ライン分データの拡大図を同図[g(2)]に示す。撮像素子(CCD)[36]から出力される信号は、同図[g(2)]のように1ラインずつのデータに区切られ、最終的には1画素(フォトダイオード[201]1個分)のデータとして扱う。フォトダイオード[201]の1画素分のデータ信号の一例を図6に示す。
図6は、1画素分のCCDデータ出力波形である。同図[Ta]期間が1画素分のデータ出力期間である。この期間を3つ出力期間に大別でき、出力電荷のリセットを行うリセット期間[Tr]と出力の基準信号を出力するフィードスルー期間[Tf]と、データを出力するデータ期間[To]とに分けられる。
CDS[38]では、フィードスルー期間[Tf]中のフィードスルーレベル(同図[Vf])と、出力レベル(同図[Vo])をそれぞれサンプリングし、その差分を抽出して画像データとして出力し、AMP(増幅器)[39]に入力される。
AMP(増幅器)[39]により出力信号レベルが所定のゲイン値に調整された後、A/D変換器[40]においてデジタル信号に変換される。CDS[38]からの出力信号が小さい場合は、ゲインを上げて所望のレベルまで増幅されることになる。
デジタル信号に変換された画像信号は、フレームメモリ[42]に一時的に配置される。ここで、CDS[38]からの出力信号が小さい場合の処理についてゲイン増幅以外の方法での処理についても説明する。
撮像素子(CCD)[36]のフォトダイオード[201]にチャージされる電荷が非常に小さい場合、後段の増幅器(AMP)[39]のゲインを増幅してもノイズ成分が大きくなってしまい、正しい画像データの取得が困難になる。
このような場合、フォトダイオード[201]に電荷がチャージされる時間(以下、蓄積時間)を延ばして充分な電荷を蓄積させる必要が生じてくる。図7に蓄積時間を延長させた場合のタイミングチャートを示す。
図7は、CCD駆動のタイミングチャート(蓄積時間を延ばした場合の動作)を示す。垂直同期信号VD、水平同期信号HD、V転送パルスは図5と同様なので省略する。
同図[c’]の電荷移送パルスTGを間引くことにより、2フレーム分の露光時間(露光A’)での露光(同図[f’])を可能にした一例である。また、露光中は電荷の排出も抑制する必要があるので、電荷移送パルスVSUB(同図[e’])も出力されない。
蓄積された電荷が移送され、フレームメモリ[42]に書き込まれるまでのタイミングとしては、上記同様に電荷移送パルスTG(同図[c’])に合わせて行われ、以後のタイミングは図5と同様となる。
このようにして蓄積時間を延長して露光時間を制御することにより、撮像素子(CCD)[36]に入射される光量が小さい場合も充分な電荷を蓄積できノイズの影響が少ない画像データを得ることが可能になる。
図7においては、2フレームの蓄積の一例を示したが、「1フレームの時間 x n」(n:1以上の整数)での制御が可能になる。
次に上記とは逆に撮像素子(CCD)[36]への入射光量が強すぎ、フォトダイオード[201]の電荷が飽和してしまった場合は、蓄積時間を短くする必要が生じる。
しかしながら、1フレームでの露光で飽和してしまう強い光量の場合は、これ以上蓄積時間を短くできない。このような場合には、電子シャッターモードを利用して露光量の調整を行う。
図8は、CCD駆動のタイミングチャート(電子シャッターモードの動作)を示す。垂直同期信号VD、水平同期信号HD、電荷移送パルスTG、V転送パルスは図5と同様のタイミングで制御される。このままでは、1フレーム分の露光時間となり、図5と同じ蓄積時間にしか制御できない。
そこで電子シャッターモードでは、電荷排出パルスVSUB(同図[e”])を利用し、1フレーム内で露光を開始させたい時間までの間、電荷排出パルスVSUB(同図[e”])を出力し続け、フォトダイオード[201]の電荷のチャージをリセットさせる。
これにより実際の露光時間は、「1フレームの時間-VSUB出力時間」となり、1フレームより短い時間での露光制御(露光A"/露光B”/露光C”)が可能になる。
画像信号(同図[g”])からフレームメモリ[42]への書き込みタイミングは、図5と同様である。
以上のようにして、入射光量が変化しても蓄積時間を制御することで、最適な画像信号を得ることが可能となる。
ところが、上記蓄積時間を延ばし、ある時間以上の蓄積を越える場合は撮像素子(CCD)[36]からのデータ出力間隔が長くなる。フレームメモリ[42]への書き込み間隔も長くなり、結果、表示部[46]に表示される画像の更新間隔も長くなり、データ変化がある画像を表示させたい場合には表示速度がデータ変化に追従しなくなってしまう。例えば、ステージ[8]を駆動して観察位置を変更しても、その速度に表示部[46]の表示自体が追いつかないケースが出てくる。
このような場合、上記増幅器[39]のゲイン増幅や撮像素子(CCD)[36]の蓄積時間制御の他に、ビニングという手法を用いで感度を稼ぐ方法がある。
撮像素子(CCD)[36]は、通常図4に示すフォトダイオード[201]1画素に対して、1つのデータとして扱われる。これを複数個の単位に纏めた形で出力させることで、蓄積時間を変えずに感度を上げることが可能になる。
例えば、[2X2ビニング]のモードでは、フォトダイオード[201]の同図[a1][a2][b1][b2]の4つの画素を1つのデータとして撮像素子(CCD)[36]の内部にて加算し、出力することで、蓄積時間変えずに信号量を増大させることが出来る。しかも、読み出しノイズを増大させることなく感度を上げることが可能となる。但し、複数の画素を加算している為、加算数に応じて撮像素子(CCD)[36]から出力されるデータ量は減少し、画像としての画素数が減り、解像度が劣化することに注意しなければならない。図9に[2X2ビニング]のモード時のタイミングチャートを示す。
図4のフォトダイオード[201]に蓄積された信号電荷は、電荷移送パルス[TG](同図[d])により垂直転送路[202]に読み出され、垂直転送路[202]内を紙面下方向に転送される。
現段階では水平転送路[203]の中には、同図[a1〜n1]のデータが蓄積されていることになる。通常であれば水平転送路[203]に移送された電荷は、この水平転送路[203]を紙面左方向に転送され、信号検出部[204]に転送される。しかし、ビニングモードの時はこの段階で水平転送は行わずにそのまま待機となる。
水平転送路[203]に前回垂直転送された電荷が蓄積されたままの状態で更に次の垂直転送を行う。ここで前回転送された同図[a1〜n1]までの電荷と同図[a2〜n2]までの電荷が加算される。[2X2ビニング]のモードでは、この段階で水平転送に移る。更にビニング数が多い場合は垂直転送を繰り返し、水平転送路[203]に電荷を蓄積していくことになる。これは図9[b”’]の水平同期信号HDを間引くことにより制御する。
規定の垂直転送数が完了すると、水平転送路[203]を紙面左方向に電荷を移送し、信号検出部[204]に転送される。
ここで、信号検出部[204]に転送された電荷を読み出す段階でも更に電荷の加算を実施する。通常1画素ごとに電荷のリセットを掛けるためにリセットパルスが入力されている。このリセットパルスの発生間隔を間引くことにより、水平転送路[203]に蓄積されている隣同士の電荷を加算することができる(図9[i”’])。実際の読み出し時の波形を図10に示す。
図10は、ビニング適用時のCCD出力波形である。図10(a)は通常読み出しの場合の画像信号[g(2)]であり、1画素に対して各々1つずつのリセットパルス[i]が入力されている。これに対して図10(b)は、リセットパルス[i”’]のようにリセットパルスの発生間隔を間引いた状態で動作させ、出力1の電荷が信号検出部[204]に残っている状態で出力2の電荷を加算している。これにより、2画素分(実際には垂直転送の段階で2画素加算されているので4画素分である…同図[Vo1+Vo2])或いは指定された画素数分の電荷をまとめて読み出すことが可能になり、読み出しノイズを増加させることなく感度のアップができる。
実際に1画素ずつ読み込んだ後に、後段で加算処理を行えば出力としては同等の信号が得られる訳だが、読み出し時のノイズも読み出し回数に応じてその分増加してしまい、非常に微弱な電荷を扱う場合にはその影響が大きい。入射光量が小さい場合にビニング処理は非常に有効な効果を示す。
尚、リセットパルス[i”’]の発生間隔を間引くことにより、出力されるデータのタイミングも異なっている。フィードスルーレベル[Vf]のタイミングは通常の動作でのサンプリング(同図[sampling 1])と同じであるが、出力データのタイミングが同図(a)[sampling 2]から同図(b)[sampling 2’]にシフトする。1画素目(同図[出力1])のデータは読み込まず、2画素目(同図[出力2])のデータ出力タイミングでサンプリングする必要がある。このためビニングモードの場合は、CDS[38]のサンプリングタイミングも変更する。
以上のように、撮像素子(CCD)[36]に入射される光量に応じて感度を切り換える方法が種々選択可能であり、それぞれに長所、短所が存在する。それを簡単に表1にまとめる。
尚、タイミングチャート(図5/図7/図8/図9)では、撮像素子(CCD)[36]の有効画素のみのタイミングを示したが、実際のデータとしてはオプティカルブラックやダミービットなどが出力データの前後に付加される。本発明の趣旨とは直接関係ないので図示、説明を省略した。
一方、撮像素子(CCD)[36]に入射される光量、すなわち試料[9]の観察像の光量調整に関わる説明を以下に示す。
透過照明用光源[1]は、透過照明用光源調光回路[24]により点灯のON/OFF、及び光量の調整が可能となっている。従来の顕微鏡と呼ばれる光源の場合、特に染色標本を使用する明視野観察の場合などは、接眼レンズで観察するために色温度を一定に保ち、例えばハロゲンランプなどでは約9[V]で使用するのが一般的であった。しかし本発明に関しては観察する部位は表示部[46]で示すところのLCDモニタ等であり、最終的な色の補正は、ホワイトバランス等で補正しており、OFF〜最大輝度までリニアに制御することもできる。
補足として、撮像素子(CCD)[36]で撮像した後のホワイトバランス等の画像データに関わる補正は、画素処理回路[70]にて行われる。ホワイトバランスの他にγ補正や各種フィルター処理などもこの画素処理回路[70]で実施される。
次に、透過照明用光源[1]の照明光は、透過用フィルター群[3]内の透過用ND1[4]と透過用ND2[5]により減光される。透過用ND1[4]と透過用ND2[5]は、透過照明用光源[1]の波長特性を変えずに減光が可能なフィルターである。例えば表2のような透過率のNDフィルターが使用され、本実施の形態では表2の値に従って説明を行う。
(1)透過用ND1[4]、透過用ND2[5]いずれも透過照明光路[LP1]に挿入されていない場合は、光量は減光されずに透過用フィルター群[3]を通過する。
(2)透過用ND1[4]、透過用ND2[5]いずれかのフィルターが透過照明光路[LP1]に挿入されると、表2に示す透過率により光量が減光される。
(3)透過用ND1[4]、透過用ND2[5]両方とも透過照明光路[LP1]に挿入されると「50% x 25%」の透過率となる。
上記それぞれの組み合わせを減光率に換算したものを表3に示す。
本実施の形態では表3の#0〜#3の組み合わせにより、断続的ではあるものの、観察資料[9]へ照射する光量の調整が可能となる。
更に、透過用AS[6]も光量変化のパラメータの一つとして定義できる。
本来、透過用AS[6]の役割としては、使用される対物レンズ([11][12]等)の開口数に合わせて、透過用照明光路[LP1]の開口数を調整するためのもので、一般的な対物レンズでは瞳経の70%〜80%程度がバランスのとれた観察像とされている。
作用としては、透過用AS[6]の開口絞りを絞り込むと分解能と明るさは低下するがコントラストと焦点深度が増大する。逆に、開口絞りを開放していくとコントラストなどは低下するが、分解能が良くなり明るくなる。一般的な構成としては、コンデンサレンズ[7]に含まれていることが多い。
この透過用AS[6]も調整状態により、撮像素子(CCD)[36]への入射光量の調整パラメータの一つとなりうる。
本来、絶対照度にて制御を行うような場合には、対物レンズ[11]/対物レンズ[12]の組み合わせで考える必要があるが、本実施の形態では相対比較として制御(後述)するものなので、明るさの比率のみで考えられる。
開放100%を1とした時の明るさ比として、例えば80%であれば、0.8*0.8=0.64で定義できる。但し、実際の制御を行う場合には、ASの物理系を算出する必要が生じるのでその説明については後述する。
更に、観察光路[LP2]での対物レンズ[11]/対物レンズ[12]の種類によっても光量は変化するが、対物レンズの変換動作自体を光量調整の能動的パラメータとしては使用しないので、固定値と捕まえて説明する。
蛍光キューブ[14]も対物レンズ同様、固定値として考えて良い。ちなみに、透過照明光路[LP1]を使用している場合は、蛍光キューブ[14]は観察光路[LP3]の光路外に外れている。
同様に落射照明光路[PL2]上で光量調整に関わる部位は以下の通りである。落射照明用光源[17]は、水銀ランプ、Xeランプ等であり、放電点灯しているので光量調整としては点灯か消灯かの二者択一のみと言える。しかし、放電管が点灯してからアーク放電が安定するまでの時間(数分)や、消灯してからの再点灯までにはある程度の時間(10〜15分程度)待たないと再点灯できないなど迅速な制御が困難である。
従って、実際にはON/OFF制御は行わずに、本実施の形態(一般的にもあてはまる)では、落射フィルター群[19]に落射用シャッター[22]を配置し、これを落射照明光路[LP2]上に挿入することで、落射照明用光源[17]の光を遮光して消灯状態と等価な状態を作る。
また、落射用フィルター群[19]には、落射用ND1[20]と落射用ND2[21]が配置されている。動作については透過用ND1[4]と透過用ND2[5]同様なので説明は省略する。
さらに、落射用AS[23]も透過用AS[6]と同じ働きをするので、撮像素子(CCD)[36]への入射光量の調整パラメータの一つなる。
以上のように、撮像素子(CCD)[36]に入射される光量変化をもたらす調整部位として上記のようなものが挙げられる。これも、撮像素子(CCD)[36]の感度切り換え、蓄積制御同様に長所、短所が存在し、表4にまとめる。
続いて、顕微鏡の観察法に関しても簡単に説明する。顕微鏡には観察目的、用途により様々な観察法が存在する。例えば、観察資料[9]の特定部位を有色染色し、観察資料[9]を透過した画像を観察する明視野観察法がある。また、無染色の観察試料[9]で微細組織の位相ズレを濃淡差にして表現する位相差観察法や立体的に表現する微分干渉観察法、照明光路[LP1/LP2]の外周(対物レンズ[11][12]の光束外)から照明を行い、観察資料[19]の乱反射を観察する暗視野観察法、偏光性のある線維状の細胞やアミロイドなどを観察する偏光観察法、また、蛍光試薬で染色した観察試料[9]に強力な特定波長光を照射し、染色部(特定部位)の反応を捕らえる蛍光観察法など用途により選択して観察できるようになっている。
上記観察法により観察する場合、適用する観察法によって、観察光路(透過照明光路[LP1]/落射照明光路[LP2]等)や対物レンズ([11]/[12]等)やコンデンサレンズ[7]、蛍光キューブ[13]、各種フィルター([4][5]/[20][21]等)、光源([1]/[17]等)、開口絞りの状態([6]/[23]等)などを最適に設定する必要がある。
本実施の形態では、代表的な明視野観察と蛍光観察を用いて説明を行う。各観察法に対応する各部位の規定状態を表5に示す。
ここで、[IN]とは、透過照明光路[LP1]または落射照明光路[LP2]に対象の部位が挿入されている状態を表し、[OUT]は光路外の状態を表す。また、観察方法により取得される画像データの輝度分布が異なる。そのため最適な状態で表示するように観察法毎に測光方式を切り換える必要が生じる。
[BFモード]はバック(標本がない部分)が明るく、観察部位との輝度差があまりない画像全体が均一に照明される状態に適した演算モードである。画像全体、あるいはその一部分を抽出し、その平均値を測光ターゲットとして使用し、画像の輝度調整を行う。主に明視野、微分干渉、位相差観察などに適する。
[FLモード]は、観察部位に対してバックが非常に暗く、観察部位とバックの輝度差が大きい場合に適した測光方式である。蛍光観察にもっとも適した測光方式であり、蛍光発色の分布と強度を判断して演算するモードである。
これらの状態(表5の内容)は、システム制御部[44]内の不揮発性メモリ(HDD[49]等)に記憶されているものとする。
次にこれら観察法を切り換える動作を説明する。上記観察法の切り換える場合は、表示部[46]と操作部[47]の操作によって行われる。
図11は、第1の実施の形態の表示部[46]の表示画面の一例を示す。同図では、表示部[46]に観察画面[79]と操作MENU[80]が表示されている。観察画面[79]には撮像素子(CCD)[36]に入射した画像が上記のような撮像処理を経て表示されている。一方操作MENU[80]には、上記観察法に対応した指定ボタン(BFボタン[81]とFLボタン[82])が表示されている。
観察者は、操作部[47]のマウス[59]を周知のマウス操作により、ポインタ[89]を例えばポインタ軌跡[90]のように辿り、BFボタン[81]上に移動させる。そして、マウス[59]の図示しないボタンを押下することで明視野観察法への切り換えを指定する。
システム制御部[44]はBFボタン[81]の表示座標とマウス[89]の現在の表示座標からBFボタン[81]が指定されたことを認識して制御を開始する。同様の操作により、ポインタ[89]をFLボタン[82]上に移動させることで蛍光観察への切り換えも指定できる。
また、操作MENU[80]には、ステージ[8]をXY方向(観察光路[LP3]に垂直な方向)に移動するためのボタン(X+ボタン[83]/X−ボタン[84]/Y+ボタン[85]/Y−ボタン[86])と、観察試料[9]にピントを合わせるためにステージを上下方向に移動するためのボタン(UPボタン[87]/DOWNボタン[88])も合わせて配置されている(個々動作については後述参照)。
(動作説明本題)
続けて、観察法の切り換え(BFボタン[89]/FLボタン[80])が指定された場合の基本動作について図12のフローチャートに従って説明する。
図12は、第1の実施の形態の処理のフローチャート(顕微鏡制御)を示す。同図に記載する処理内容は、プログラムとしてHDD[49]に格納されており、CPU[48]によりその命令が実行される。
図示しないシステムの電源が投入されると、システム制御部[44]は、システムの初期化を行う[S1]。システム初期化では、一般的に前回電源を遮断した時の状態に復帰する。システム初期化[S1]が完了すると待機状態になり、操作部[47]からの駆動指示を受付開始する。
上記マウス[59]の操作により観察法の切り換え指示が要求されると、顕微鏡の駆動処理を開始する[S2]。
まず、前処理として、顕微鏡駆動状態であることを他のプログラム(タスク)に知らしめるためのフラグをセットする[S3]。本実施の形態では、周知のマルチタスク処理が実行されており、並列して別の処理(後述する撮像処理シーケンス)も実行されている。他のタスクに現在の状態を通知する必要がある。
観察法駆動状態データ[Data1]の内部構成としては、現在の観察法と顕微鏡が駆動中か否かの状態が判別できるデータが保持されている。
前処理[S3]が完了したら、実際の顕微鏡駆動処理を実行する[S4]。
システム制御部[44]は、指定された観察法に対応した設定状態をHDD[49](図3に記憶されているデータ(表5))により確認し、顕微鏡制御部[34]に駆動指示を与える。顕微鏡制御部[34]は、駆動指示に従い各部位を最適な状態に設定する。
(明視野観察への切り換えの詳細)
表5に従い制御を実行すると、制御シーケンスは以下のようになる。
(1)落射照明用を消灯(遮光)
まず駆動中に不要な光量入射を防止するために使用する照明光自体の制御を行う。落射照明用光源[17]は前述の通り頻繁な消灯/点灯が難しいので落射シャッター[22]を落射照明光路[LP2]に挿入さて照明光を遮光させるべく、落射用フィルター駆動回路[32]を駆動して落射シャッター[22]を制御する。
(2)フィルターの挿入制御
フィルターの挿脱操作も観察光路[LP3]の状態が暗くなるような制御を優先して実行する。従ってまず、光路中に挿入すべきフィルターを先に全て挿入するシーケンスをとる。透過用ND1[5]が透過照明光路[LP1]上に挿入されていなければ、透過フィルター駆動回路[25]に指示を与えて透過照明光路中に挿入させる。
(3)開口絞りの設定
透過用AS駆動回路[26]に指示を与えて開口絞りの値を80[%]に設定する。ところで、ここでの80[%]とは瞳経に対する割合を示しているものである。しかし、実際に透過用AS駆動回路[25]に与える指示としては、機械的な絞り経でなければならない。そこで、顕微鏡制御部[34]は絶対絞り経への換算を実行する。
絞り経を算出するために必要なデータとしては、現在観察光路[LP3]に挿入されている対物レンズ[11]の開口数、焦点距離(落射用ASの場合)、AS投影倍率(落射用ASの場合)と、コンデンサレンズ[7]の焦点距離(透過用ASの場合)である。
透過用AS[6]と落射用AS[23]の場合では換算式が異なり、以下の(1)式、(2)式で決定される。
透過開口絞り = 2×OBna×CDf×Kas …………………(1)
落射開口絞り = 2×OBna×OBfb×ASmag×Kas ……(2)
[OBna]は対物レンズの開口数であり、対物レンズ毎に固有値を持つ。
[CDf]は使用しているコンデンサレンズの焦点距離であり、これも使用レンズ毎に固有値を持つ。
本実施の形態では、対物レンズ[11]と対物レンズ[12]に表6に示す固有値を持った対物レンズが使用されていると想定して説明を続ける。[CDf]は、本実施の形態では11[mm]の固定値として扱う。コンデンサレンズ[7]が複数ある場合はそれぞれの固有が必要となる。
表6のデータ及びコンデンサレンズの焦点距離[CDf]は、顕微鏡制御部[34]の図示しない不揮発性メモリあるいはプログラムと一緒にROM[61]に格納されている。
[OBfb]は、対物レンズの後ろ側焦点距離で、本実施の形態では、8.00[mm]の固定値として演算する。[ASmag]はAS投影倍率であり、[OBfb]と共に顕微鏡制御部[34]のROM[61]に格納してある。
表6より現在選択されている対物レンズの開口数[OBna]と、コンデンサレンズ[7]の焦点距離[CDf]を読み出す。
[Kas]が実際の絞り率を示し、100%を1とした時の明るさ比で示される補正係数である。この値を可変、記憶することにより、各観察法、毎に固有の絞り値を設定する事が可能となる。
今、透過明視野観察で対物レンズ[11]を使用している場合の例を取れば、顕微鏡制御部[34]は、表6等の記憶データより、コンデンサトップレンズ焦点距離[CDf]、対物レンズの開口数[OBna]、AS補正係数[Kas]を参照する。この参照値を用いて(1)式より絞り径を求められる。
透過開口絞り = 2×OBna×CDf×Kas = 2×0.4×11×0.64 = 5.63[mm] ………(3)
(3)式より実際のAS径が求められる。顕微鏡制御部[34]は、このようにして求められたAS径に透過AS[6]を制御するため透過用AS駆動回路[26]を駆動して絞り経の設定を行う。落射用AS[23]も(2)式と落射用AS駆動回路[33]を使用することにより制御可能である。
(4)キューブターレットの変更
次に、蛍光キューブ[13]あるいは図示しない別のキューブが観察光路[LP3]中に挿入されている場合は、キューブ駆動回路[30]を駆動して、蛍光キューブ[14]等を光路外に移動させる。
(5)フィルターの離脱
上記(2)とは逆に不要なフィルターを透過照明光路[LP1]外に移動させる。透過用ND2[5]が透過照明光路[LP1]中に入っている状態であれば、透過フィルター駆動回路[25]を駆動して、透過照明光路[LP1]外に移動させる。
(6)照明光点灯
最後に透過照明用光源調光回路[24]を制御して、透過照明用光源[1]を規定の状態に点灯させる。また、システム制御部[44]は、測光方式の切り換えを撮像制御部[43]に通知する。
以上のような手順を踏むことで、観察法(明視野観察)への切り換えを制御する。
顕微鏡駆動処理[S4]が完了したら、最後に後処理として、ステップ[S3]にてセットしたフラグをリセットする[S4-2]。
上記のような制御シーケンス(制御順番)は、撮像素子として微弱な光の検出を目的とした光電子増倍管や高感度用の特殊CCDなどを使用した場合に非常に有効となり、素子の破損、劣化を防止できる。
(蛍光観察への切り換えの詳細)
表示部[46]の操作MENU[80]にてFLボタン[82]が選択された場合も同様に、表6のデータを基準にして制御することで、蛍光観察に切り換えることが可能となる。
(撮像処理シーケンス)
上記の通り設定された観察法により、表示部[46]により標本拡大像の観察を行う。指定された観察法による観察試料[9]の投影像が結像レンズ[35]を介して撮像素子(CCD)[36]に結像される。
撮像制御部[43]は、システム制御部[44]から指示されたAMP[39]のゲイン、撮像素子(CCD)[36]の蓄積時間及びビニング設定において入射された観察像を上記の撮影シーケンス(光電変換、増幅処理等)で取得し、フレームメモリ[42]に撮像データとして記憶する。
フレームメモリ[42]に記憶された画像データは、画像処理回路[70]にて所定の調整(周知のホワイトバランス、各種フィルター処理等)がなされた後、システム制御部[44]に転送される。
また、撮像素子(CCD)[36]がカラー撮像素子の場合には、この画像処理回路[70]にてR/G/BやY/Cb/Cr等、カラー補完され、システム制御部[44]に転送される。
画像処理回路[70]から送られてきた画像データは、CPU[48]により順次表示用I/F[52]を介して、表示用メモリ[45]の観察画面表示エリアに転送される。表示用メモリ[45]には、画像データの他に図11に示す如く操作MENU[80]等も表示されており、同図観察画面[79]の表示位置に対応したメモリアドレス上に撮像データを転送する。
転送されたデータはグラフィックコントローラ[55]によって、表示部[46]の仕様範囲内の所定周波数にて繰り返し表示処理される。
次に、この表示部[46]に現在表示されている観察画像の明るさが適正な露光なのかを判別し、不適切な場合は露光調整の制御を実施する必要が生ずる。以下、その露光調整に関して図13のフローチャートを参照し説明する。
図13は、第1の実施の形態の処理のフローチャート(測光、表示モード制御)を示す。図13の処理内容も図12同様に、プログラムとしてHDD[49]に記憶されている。図12と同様に、図示しないシステムの電源が投入されると、システムの初期化を実行する[S5]。
撮像制御部[43]に対して所定の設定(前回電源遮断された時の状態などに復帰)を通知し、撮像素子(CCD)[36]での撮像が可能な状態へ初期化動作を行う。尚、前にも少し触れたが、本処理(図13)と、顕微鏡駆動処理(図12)は、CPU[48]にて並列処理されており、同時に実行されている。お互いの状態を確認するために共有データ(HDD[49]やメインメモリ[50])を設け、例えば[Data1]などにより確認している。
次に、観察法が変更されたかの確認を行う[S6]。観察法駆動状態データ[Data1]を確認し、観察法が変更された場合には、表示モード変更処理([S7]=図14)を実行する。この表示モード変更処理[S7]に関しては後述する。今は、明視野(BF)観察が設定されており、変更がないものとして先に続ける。
続いて現在設定されている観察法の確認[S8]を行い、各々の観察法に対応した処理を実行する。本実施の形態では、明視野観察(BF)と蛍光観察(FL)の2種の処理について説明する。
明視野観察の場合は明視野用処理([S9]=図15)を実行し、蛍光観察の場合は蛍光用処理([S10]=図16)を実行する。
(明視野用処理の設定)
現在、明視野(BF)観察が設定されているので、まずは明視野用処理(図15)を説明する。
図15は、第1の実施の形態の処理のフローチャート(明視野観察時の処理)を示す。最初に最新の画像データに対して、測光処理[S11]を実行する。CPU[48]の処理により、現在表示されている画像と等価なデータがメインメモリ[50]に保存されており、そのデータを測光演算することで露光調整状態を確認する。
測光演算に関しては、現在明視野であることが観察法駆動状態データ[Data1]にて既に確認されているので、BFモードにて行う。BFモードでは周知の平均測光が用いられ演算される。平均測光は、画像全体あるいは図示しない指定エリアの画像の全ての平均値を算出し、その演算結果が測光基準値より大きいか/小さいかで露光Overか/露光Underかを判定する。
測光演算結果と測光基準値を比較し、「測光演算結果=測光基準値」の場合には、現状の露光制御が最適なので、何もしないで明視野用処理(図15)を終了し、上位関数(本処理(図15)を呼び出したプログラム)に復帰する。
尚、測光基準値にある範囲を設けてある場合にも、その範囲内かどうかを判定する処理として上記等号式が成立するものとする。
もし、「測光演算値≠測光基準値」の場合、その測光演算結果が露出Overの状態なのか/露出Underの状態なのかを判別する[S13]。
(明視野、露光Underの場合)
測光基準値よりも小さい場合は、露光不足であり露光Under処理(1)[S14=図17]を実行する。以下、図17に添って説明する。
図17は、第1の実施の形態の処理のフローチャート(明視野観察で露光Underの場合の処理)を示す。同図で用いている用語の定義を以下に示す。
sMin:モニタ表示限界
sMax:快適操作限界5〜10[fps]
sMax2:操作限界2〜4[fps]
(+):蓄積時間を延ばす
(-):蓄積時間を縮める
ND In:NDフィルターが光路上に挿入状態
ND Max:NDが全て光路に挿入されている
Speed:ライブ表示スピード
Gain:AMP増幅率
gLimit:S/N我慢できるレベル
gMax:最大ゲイン
bLimit:解像劣化が許容範囲のレベル
bMax:最大ビニング
(1)蓄積時間制御[Zone-1]
現在、表示部[46]に表示する画像データを取り込む間隔(以下、[Speed])が、表示部[46]が表示更新できる表示限界(以下[sMin])より短いかを判断する[S16]。
[Speed]は、フレームメモリ[42]のデータ入力間隔、すなわち撮像素子(CCD)[36]のデータ出力間隔と等価である。[sMin]は、現在設定されている表示部[46]にデータを出力しているグラフィックコントローラ[55]を管理している表示用ドライバ[74](図23参照)の情報から確認することができる。本実施の形態の示すシステム制御部[44]は前にも述べた通り、周知のPC相当のもので、そのプログラム構成は図23のような構成となっている。
装置全体を管理している周知のOS(Operation System)[71]が最上位に位置し、その下層にアプリケーション層[72]が存在する。その下にドライバ層[73]があり、このドライバ層[73]は、ハードウェア[77]をアプリケーション層[72]から制御可能にするためのI/F部分である。
ハードウェア[77]は、例えば本実施の形態のグラフィックコントローラ[55]、カメラI/F部[56]、IEEE入力1394I/F部[57]、キーボード[58]等が相当し、各々に対して表示用ドライバ[74]、通信用ドライバ[75]、入力装置用ドライバ[76]等が存在する。この表示用ドライバ[74]より、例えば表7のような情報を得ることができ、この情報を基に[S16]の判定を行う。表7によれば、本実施の形態の[sMin]は60[Hz]となる。
[Speed]が[sMin]よりも短い場合は、撮像素子(CCD)[36]の規定値だけ蓄積時間を延ばし露光調整を実施する[S17]。(→図17処理終了)
図17(以降のフローチャートも同様)の[蓄積時間(+)]とは蓄積時間を延ばすことを意味し、逆に[蓄積時間(−)]は蓄積時間を短くすることを意味する。もし[Speed]が[sMin]を越えて(長く)なっている場合は、次ステップ[S18]の処理を実行する。
(2)開口絞りの制御[Zone-2]
顕微鏡制御部[34]が制御している透過用AS[6]の現在の状態を確認する[S18]。
開口絞りが80[%]より絞られている場合は開口絞り経を規定数だけ大きくなるように顕微鏡制御部[34]に指示を与える[S19](→図17処理終了)。これは、開口絞りが必要以上に絞られていると撮像素子(CCD)[36]に入射される観察画像の解像度が劣化し、なおかつ光量をロスしているので最適な状態に戻す制御を兼ねて露光調整を実施するために実行される。
開口絞りが既に最適(80%)な状態の場合には、次ステップ[S20]を実行する。表5の状態によれば、次ステップ[S20]に移行することになる。
(3)NDフィルター制御[Zone-3]
透過用フィルター群[3]内の透過用NDが透過照明光路[LP1]に挿入されているかを確認する[S20]。同図[ND In] [S20]とは、光路中にNDフィルターが一枚でも挿入されている状態を意味する。もし、透過用ND1[4]か透過用ND2[5]のどちらか/或いは両方が透過照明光路[LP1]に挿入されている場合はNDフィルターの離脱処理を行う。
今、表5の組み合わせによれば、表3[#1](透過用ND1[4]=IN/透過用ND2[5]=OUT)の状態にある。その仮定で処理を続ける。
システム制御部[22]は、顕微鏡制御部[34]に指示を与えNDフィルターを一段階(表3[#1]→[#0])明るくする。すなわち、透過フィルター駆動回路[25]を駆動し、透過用ND1[4]を透過照明光路[LP1]外に跳ね除ける[S21]。
NDフィルターでの明るさ調整は光量変化が断続的なため、このままの状態では明るさの変化が急激になってしまい、撮像素子(CCD)[36]へ入射される電荷が飽和してしまう恐れがある。そのための補正処理[S22]を行う。
システム制御部[44]はNDフィルター離脱により照明光がどのくらい変化したのかを確認する。表3によれば、同図[#1]から[#0]に変更されているので、透過照明光路[LP1]の減光率が50%から0%になったので、光量としては2倍になったものと認識できる。よって、撮像素子(CCD)[36]に入射される光量も2倍になったと言える。
これを元(制御前)の状態と等価にするために、今度は蓄積時間を短くして補正する処理を実行する[S22]。上記例では、蓄積時間を現状の1/2にすれば良いことになる。
蓄積補正(-)が完了した時点では、結局撮像素子(CCD)[36]から得られる画像データは処理前と同等の状態で、露光Underのままである。そこで、続けて[S17]と同等の処理である蓄積制御(+)[S23]を実行して露光調整を行う(→図17処理終了)。
本ステップ[Zone-3]の処理が終わった時点では、蓄積時間がかなり短くなっており、その後暫くはステップ[S16][S17]の処理を繰り返すことになる。
ステップ[S20]において、透過照明光路[LP1]中のNDが全てOUTになっていた場合は、次ステップの処理[S24]に移行する。
尚、上記処理と実行するにあたり、複数のNDフィルターを同時に駆動する場合は、観察法の説明でも示した通り、光路中に挿入されるべきフィルターを先に挿入てから、光路外に外すフィルターを制御することで、不用意な過大光量の入射を防止できる。
(4)蓄積時間制御2[Zone-4]
システム制御部[44]は、[Speed]が[sMin]以上で、なおかつ、快適な標本観察を行えるだけの表示スピード[sMax]範囲内にあるかを確認する。
ここで、[sMax]に関して簡単に説明する。ステージ[8]を操作(XYZ操作)した時に表示部[46]に表示される表示の更新間隔(=撮像素子(CCD)[36]の画像の取り込み間隔)が長くなればなる程、実際のステージ[8]の移動距離、スピードに対して表示部[46]に表示される画像表示の遅延が目立つようになる。本発明の技術分野では、ストレスなく操作出来る表示スピードの限界は1秒間に5〜10[fps]程度の表示スピードとされている。
本実施の形態では、[sMax]=10[fps]として説明を続ける。[sMin]<[Speed]<[sMax]が成立している間は、蓄積制御(+)[S25]を実行し、蓄積時間を長くして露光調整を行う[S25](→図17処理終了)。
[sMin]<[Speed]<[sMax]が不成立になった時点で、次ステップ処理[S26]へ移行する。
(5)Gain制御[Zone-5]
上記までの制御においては、なるべく画質を損なうようなパラメータ調整を避け、観察画像の画質を優先したパラメータを制御した。この段階でも露光Underとなる場合は、以下の処理を続ける。
蓄積時間を延ばすことで、S/Nの良い画像は得られるが、それでは画像表示のレスポンスが著しく低下し、快適な操作が困難となる。そこでここからは、快適な操作ができる画像表示スピード[sMax]を基準にしてそれを越えないように露光調整を実行する。
具体的には、まずAMP[39]のゲインを増幅して露光調整を実行する。[Gain]の倍率が[gLimit]より大きいかを判断する[S26]。[Gain]はAMP[39]の信号増幅率である。[gLimit]とは、画像データに対する信号ノイズの影響(S/N)が我慢できる限界の増幅率であり、本発明における技術分野では、8〜16倍程度に増幅した状態で画像が識別できる明るさであれば観察に耐えられる増幅率とされている。
本実施の形態では、[gLimit]=8[×]として説明を続ける。[Gain]が[gLimit]よりも小さい場合は、AMP[39]のゲインを規定値だけ増幅する[S27](→図17処理終了)。もし、[Gain]が[gLimit]と同等か大きくなった場合は、次ステップ[S28]を実行する。
(6)ビニング制御1[Zone-6]
現在設定されているビニング数[binning]をチェックし、[bLimit]より小さいか確認する。ビニングは回数を増やせば感度が向上するが、その分画像の解像度が落ちる。解像度劣化許容のビニング限界回数を[bLimit]とする。
[bLimit]の決定の方法としては、例えば使用する光学系と撮像素子(CCD)[36]のフォトダイオード[201]の画素ピッチから算出することが出来る。
まず、現在観察光路[LP3]中に挿入されている対物レンズを確認する。現在挿入されているレンズが対物レンズ[11]の場合には、顕微鏡制御部[34]の不揮発性メモリに記憶してある表6から、その対物レンズのNA(OBna)が認識できる。このNA[Obna]を利用し、撮像素子(CCD)[36]に入射する光線のNA(結像レンズ[35]の射出NA)を求める。
射出NA = OBna / 光学系の結像倍率 ………(4)
さらに上記NAから撮像素子(CCD)[46]上の分解能Rを算出する。
分解能R = 0.5λ/ 射出NA または、0.61λ/ 射出NA ………(5)
ここで、λは光線を構成する波長のうちの一つ、例えば550[nm]とする。
次にビニングによる撮影のサンプリングピッチが分解能Rの1/2以下になる最大のビニング数を求める。
Bはビニング数、Rは上記算出した分解能、pは撮像素子(CCD)[36]のフォトダイオード[201]の素子ピッチとして(6)式を満たす1以上の最大整数Bを求める。
B < R / 2 p ………(6)
例えば、撮像素子(CCD)[36]の素子ピッチを3.4[μm]、結像レンズ[35]と投影倍率を2[×]とした場合のビニング数Bは、
まず(4)式より
射出NA = Obna / 光学系の結像倍率 = 0.4 / 10x2 = 0.02 ……… (7)
次に(5)式より
R = 0.5λ/ 射出NA = 0.5 x 550[nm] / 0.02 = 13.8[μm] ……… (8)
最後に(6)式より
B = R / 2p = 13.8[μm] / 2 x 3.4[μm] = 2.01 ……… (9)
となる。よって[bLimit] = 2となる。
同様に対物レンズ[12]に対して演算すると、[bLimit] = 3 となる。
このように、使用する対物レンズ([11]/[12])や、撮像素子(CCD)[36]の特性、中間変倍の倍率より結果が変わり、この[bLimit]をもとに制御が実行される。
また、表示部[46]に表示させるための観察画面[79]に表示させる表示エリアの解像度をもとにビニング限界値[bLimit]を決定しても良い。
例えば、観察画面[79]のエリア解像度が600x800[Dot]の場合、それ以上の解像度でデータを取得しても表示の分解能制限によりデータを有効に活用できないこともある。解像度が600x800[Dot]で表示させるためにモニタ出力の際(表示用メモリ[45]に書き込みの時)に圧縮処理される。このような場合には、最初にビニング処理により取得してしまった方が感度も向上し、なおかつモニタ出力の際の圧縮制御も必要なくなり、処理時間の短縮に繋がる。
今、表示エリア解像度が800x600[Dot]で、撮像素子(CCD)[36]の画素数が500万画素(2560x1920)と仮定すると、ビニング3(3x3)で処理した場合でも853x640で取り込み可能であり、観察画面[79]に表示するにあたり情報の欠落なしに表示できる。しかし、ビニング4(4x4)の設定だと、取り込み画像の解像度が640x480となり、表示エリア解像度を下回ってしまう。よって、[bLimit]=3と規定できる。
尚、モニタの解像度は、前述のリフレッシュレート取得と同様に表7のように、表示用ドライバ[74](図23)より取得でき、この解像度と実際に表示する画面構成(観察画面[79]、操作MENU[80]のレイアウト及び座標データ等)から算定することができる。
以上のように規定された[bLimit]を元に現在設定されているビニング数との比較処理[S28]を実行し、現在のビニング数が[bLimit]より小さい場合は、ビニング制御を実行する[S29]。
ビニング制御を実行すると感度が向上し明るさが大きくなるが、この場合もND制御[S21]と同様に段階的に明るさが変化してしまうため、その補正処理が必要となる。
そこで、明るさが増大した分の補正については、ゲインを下げて対応する[S30]。例えば、ビニングなしの状態からビニング2(2x2)に設定すると、感度は4倍に増大するので、ゲインを現状の1/4に下げる処理を実行する。
そして、続けて[S27]同様にAMP[39]のゲインを規定値だけ増幅し、露光調整を行う[S31](→図17処理終了)。
本ステップ[Zone-6]の処理が終わった時点では、AMP[39]のゲインは[GLimit]以下となるので、その後暫くはステップ[S26][S27]の処理を繰り返すことになる。
もし、[Binning]が[gLimit]と同等か大きい場合は、次ステップ[S32]を実行する。
(7)開口絞りの制御2[Zone-7]
ビニング数が[bLimit]を越えてしまう状態であれば、再び開口絞りの制御を実行する。前述の[Zone-2]の処理では、開口絞りを最適な状態にする制御を実行したが、今度は明るさを最大限に確保できる絞り経(100%)までの制御を行う。
開口絞りが100[%]未満であれば、開口絞り経を規定数だけ大きくなるように顕微鏡制御部[34]に指示を与える[S33](→図17処理終了)。もし、開口絞りが100%を越えている場合は、次ステップ[S34]を実行する。
(8)ビニング制御2[Zone-8]
前述の[Zone-6]の処理では、光学系、あるいは表示系の性能を考慮した[bLimit]を基準にビニング制御を実行したが、今度は感度のみに着目して撮像制御部[43]で制御可能な限界ビニング数[bMax]までビニングをアップさせる処理を実行させる。
現在のビニング数が[bMax]以下であればビニング処理を実行する[S35]。続けて、[S36][S37]を処理するが、これは[S30][S31]と同等の処理である(→図17処理終了)。
現在のビニング数が既に[bMax]であれば、次ステップ[S38]を実行する。
(9)Gain制御2[Zone-9]
前述の[S26][S27]では、ある規定のゲイン内での制御であったが、今回はノイズを無視して撮像制御部[43]で制御できる最大のゲイン[gMax]までの制御を行う。
現在のゲインが[gMax]より小さい場合は、ゲインアップの処理を行う[S39](→図17処理終了)。現在のゲインが既に[gMax]であれば、次ステップ[S40]を実行する。
(10)蓄積時間制御3[Zone-10]
上記パラメータを制御しておき、全ての調整部位での調整でも露光調整しきれない場合は、操作性は損なうものの観察できる状態を提供するために、再び蓄積時間を調整する。快適操作の限界[sMax]を越えるが必要な蓄積時間だけ蓄積制御を実行する[S40](→図17処理終了)。
上記説明した図17にて、測光基準値よりも小さい場合、すなわち露光不足の露光Under時の処理を実現する。
(明視野、露光Overの場合)
図15に戻り逆に、測光基準値よりも測光基準値が大きい場合は、露光過多であり露光Over処理(1)[S15=図18]を実行する。
図18は、第1の実施の形態の処理のフローチャート(明視野観察で露光Overの場合の処理)を示す。露光Over処理(1)の場合は、露光Under処理(1)(図16)で処理する優先順位とは逆の順番で調整部位を制御することになる。基本的は動作としては、露光Under処理(1)と同等なので、相違点のみ説明する。
(1)蓄積時間制御[Zone-10’]
[S41][S42]は、図17の[Zone-10]に相当する逆の処理である。[sMax]以下のスピードであれば蓄積制御(-)を行う。
(2)Gain制御[Zone-9’]
[S43][S44]は、図17の[Zone-9]に相当する逆の処理である。[gLimit]以上にゲインが掛かっていれば、[gLimit]までゲインを下げる。
(3)ビニング制御[Zone-8’]
[S45]〜[S49]は、図17の[Zone-8]に相当する逆の処理である。必要以上にビニング制御が掛かっている場合は、[bLimit]までビニング数を減らす処理を実行する。ただ、この処理の場合、制御基準となる判定値が前述図17と異なる。ビニングを落とす場合、当然落とした後にリニアに露光調整しようとすると、他の調整手段による補正作業[S47]が必要とされる。従って、補正後の動作も考慮した判定が必要となる。
ビニングを落とす場合、その後調整されるGain補正[S47]を実施しても、[gLimit]を越えてしまう時にはビニングはそのままにしてGain調整での露光調整を実行する。Gain補正[S47]を実施しても、[gLimit]を越えない場合にのみビニングダウンの処理[S47/S48]を実行する。
(4)開口絞りの制御[Zone-7’]
[S50][S51]は、図17の[Zone-7]に相当する逆の処理である。開口絞りが最適値(80%)以上に開いている場合は、80%まで絞る処理を実行する。
(5)ビニング制御2[Zone-6’]
[S52]〜[S56]は、図17の[Zone-6]に相当する逆の処理である。ビニングが掛かっていれば、ビニングなしの状態までビニングを落とす。この場合の判定処理も、[Zone-8’]同様に、ゲイン補正後の状態を考慮して判定を実施する[S53]。
(6)Gain制御2[Zone-5’]
[S57]〜[S58]は、図17の[Zone-5]に相当する逆の処理である。ゲインが掛かっていれば、ゲインなしの状態までゲインを下げる。
(7)蓄積時間制御2[Zone-4’]
[S59]〜[S60]は、図17の[Zone-4]に相当する逆の処理である。[Speed]が、[sMin]から[sMax]の間では、蓄積制御(-)の処理にて露光調整を行う。
(8)NDフィルター制御[Zone-3’]
[S61]〜[S65]は、図17の[Zone-3]に相当する逆の処理である。この場合の処理も[Zone-8’][Zone-6’]同様に、NDを挿入した後に蓄積補正した時の蓄積時間が[sMin]を越えないかを基準にしてND制御可否の判定を実施する[S62]。
(9)開口絞りの制御[Zone-2’]
[S66]〜[S67]は、図17の[Zone-2]に相当する逆の処理である。ここで、[asLimit]は透過用AS[6]の物理経のMin値、もしくは絞り込みによる分解能低下が許容できる範囲(例えば50%)を任意の設定値に定め、その数値[asLimit]をターゲットに制御を行う。
(10)蓄積時間制御[Zone-1’]
以上の調整部位を調整しきっても、まだ露光Over状態が継続した場合は、蓄積制御(-)の処理[S68]を行い、露光調整を実施する。
上記で説明した図17及び図18の処理を繰り返し実行することで、露光調整を適正な範囲に収束させることが可能になる。
[Zone-1(1’)]〜[Zone-10(10’)]の制御経緯をプログラム線図として表記すると、例えば図19のようなグラフで示せる。
図19は、第1の実施の形態の明視野観察時における露光調整制御のプログラム線図を示す。横軸が何も制御しない場合の露光時間を示す。
Speed[L1]が撮像素子(CCD)[36]の蓄積時間の変位を示したラインであり、その縦軸は[J1]である。
Gain[L2]がAMP[39]の増幅率(ゲイン)の変位を示したラインであり、その縦軸は[J2]である。
Binning[L3]が、撮像素子(CCD)[36]のビニング制御の状態を示したラインであり、その縦軸は[J3]である。
ND[L4]が、透過NDフィルター群[3]のND挿入状態を示したラインであり、その縦軸は[J4]である。
AS[L5]が、透過用AS[6]の開口絞りの状態変位を示したラインであり、その縦軸は[J5]である。
横軸の紙面上の[Zone-1(1’)]〜[Zone-10(10’)]に対応して、それぞれ図17、図18で説明したステップの処理を実行し、露光調整を行う。
(蛍光観察の場合)
一方、現在の顕微鏡の観察法が蛍光観察の状態である場合の処理について説明する。図13のステップ[S8]に戻り、観察法がFLモードの場合は、蛍光用処理(S10=図16)を実行する。
図16は、第1の実施の形態の処理のフローチャート(蛍光観察時の処理)を示す。同一処理は図15と同一のステップ番号を付記して説明は省略する。
まず図15と同様に、最新の画像データに対して、測光処理[S69]を実行する。測光演算に関しては、今回はFLモードにて行う。
[FLモード]は、観察部位に対してバックが非常に暗く、観察部位とバックの輝度差が大きい場合に適した測光方式である。蛍光観察に最も適した測光方式であり、蛍光発色の分布と強度を判断して演算するモードである。
測光演算結果と測光基準値を比較し、「測光演算結果=測光基準値」の場合には、現状の露光制御が最適なので何もしないで蛍光用処理(図16)を終了し、上位関数(本処理(図16)を呼び出したプログラム)に復帰する。
尚、図15と同様に、測光基準値にある範囲を設けてある場合にも、その範囲内かどうかを判定する処理として上記等号式が成立するものとする。
もし、「測光演算値≠測光基準値」の場合、その測光演算結果が露出Overの状態なのか/露出Underの状態なのかを判別する[S13]。
(蛍光、露光Underの場合)
測光基準値よりも小さい場合は、露光不足であり露光Under処理(2)[S70=図20]を実行する。
図20は、第1の実施の形態の処理のフローチャート(蛍光観察で露光Underの場合の処理)を示す。以下、図20に添って説明する。
蛍光観察の場合、励起光(落射照明用光源[17])をなるべく観察標本[9]に照射しないように制御することが重要になる。蛍光では一般的に励起光による蛍光の発光が照明光の照射時間(強度)により変化し、発光量が低下(以下、褪色と呼ぶ)してくる。そのため、なるべく励起光を抑えて観察することが褪色防止の鍵となる。
そこで、明視野観察とは露出調整の調整部位を制御する優先順を変えて処理を行う。具体的には照明光に関わるND制御と開口絞りの制御の処理の優先順を下げ、図22に示す如きプログラム線図にて制御を行う。尚、図17と同等の制御を実施する処理に関しては同番号を付記し、詳細な説明は省略する。
(1)蓄積時間制御[Zone-21]
[sMax]になるまでは、蓄積時間の制御のみで露光調整を実施する[S72][S73]。
(2)Gain制御[Zone-22]
[gLimit]になるまで、ゲイン増幅にて露光調整を実施する[S26][S27]。
(3)ビニング制御[Zone-23]
[blimit]になるまで、ビニング制御にて露光調整を実施する[S28]〜[S31]。
(4)ND制御[Zone-24]
ND制御を実行した場合の補正処理として、図17では蓄積時間の制御で補正したが、今回はGain制御にて補正[S74][S75]を行う。蛍光モードの場合、この処理が実行される段階では、既にGainが[gLimit]まで達しており、補正に同期してノイズの低減も可能になるのでGain制御にての補正を優先する。
尚、[S20][S21]と処理内容は同等であるが、顕微鏡制御部[34]が制御対象とする部位は落射用フィルター群[19]に変更となる。
(5)開口絞りの制御[Zone-25]
開口絞りが絞られている場合は、100%まで開放する[S32][S33]。これもND制御同様に、処理自体は図17の[S32][S33]と同等であるが、顕微鏡制御部[34]が制御対象とする部位が、落射用AS[23]に変更となる。
(6)ビニング制御2[Zone-26]
[bMax]になるまでビニング制御を実施する[S34]〜[37]。
(7)Gain制御2[Zone-27]
[gMax]になるまで、ゲインアップを実施する。
(8)蓄積時間制御[Zone-28]
以上のパラメータを制御し、全ての調整部位での調整でも露光調整しきれない場合は、操作性は損なうものの観察できる状態を提供するために、再び蓄積時間を調整する。
(蛍光、露光Overの場合)
同様に、現在の測光演算値が測光基準値よりも大きい場合は、露光過多であり、露光Over処理(2)[S71=図21]を実行する。
図22のプログラム線図の横軸上部に記載される各Zone番号に添って(図20とは逆の優先順位にて)、図21に示す処理を実行して、露光調整を行う。図21では、NDフィルターを一段挿入した場合に[gLimit]を超えるかをチェックする。
続いて、図13に戻り、観察法が変更された場合の表示モードの切り換え処理について説明する。
今、図11のBFボタン[81]またはFLボタン[82]が選択され、図12の処理により観察法が切り替わると、観察法駆動状態データ[Data1]の状態より、観察法が切り替わったことを認識する[S6]。
観察法が切り替わると、現在表示している観察画像の表示モードも切り換える必要が生じるので、表示モード変更処理([S7]=図14)の処理を実行する。以下、図14に添って説明を行う。
図14は、第1の実施の形態の処理のフローチャート(蛍光観察で露光Underの場合の処理)を示す。システム制御部[44]は、現在設定されている露光調整部位の状態(表8)を一時的にメインメモリ[50]またはHDD[49]に記憶する(設定状態待避データ[Data2])。
次に、仮想状態データ[Data3]をリセット状態にする。例えば、表9のような上記待避データ[Data2](表8)と同等の項目を持つ。
この仮想状態データ[Data3]は、後で説明する仮想演算処理[S83]を処理するときに使用するデータである。
そして、現在の測光データを設定状態(=設定状態待避データ[Data2])から、測光演算に使用する測光ターゲット値を算出[S81]し、記憶する[Data4]。
例えば、現在の設定(表8)を表9のパラメータ設定した場合に算出される蓄積時間を求める。Gainを2xから1xにすると、蓄積時間は倍必要となるので蓄積時間はT=2x[sMax]となる。同じように、ビニング処理では4倍、NDを離脱して2倍となり、結果16x[sMax]が測光ターゲット値となる。
この測光ターゲット値を変更された観察法による調整パラメータの優先順で最適な状態にするための仮想演算処理を実施する[S82]〜[S84]。
仮想演算処理[S83]の処理は、図17と図18、および図20と図21の処理と等価のもので、変更された観察法の露光調整を演算するための処理である。実際の装置を制御せずに仮想状態データ[Data3]を装置と仮定して処理を行う。仮想状態データ[Data3]のデータを更新しながら仮想演算を実施する。
仮想演算処理[S83]の結果が収束し、設定すべき装置の状態が決定したら、上記で保存した設定状態待避データ[Data2]と仮想状態データ[Data3]の差分を抽出する。設定値を変更しなければならない調整部位を抽出する。
最後に顕微鏡制御部[34]と撮像制御部[43]を制御して、[S85]にて抽出された調整部位の変更を反映する。
以上により、観察法が切り替わった際の制御部位の優先順位の変更処理[S86]が完了する。
このように観察法によって、露光調整する部位の制御順番に優先順位をつけて制御することで、観察の目的によって最適な観察画像の表示が可能になり、操作性、視認性の良い顕微鏡観察システムを提供することができる。
本実施形態によれば、明視野観察法、蛍光観察法のそれぞれの観察法において、観察画像の明るさが適正な露光なのかを判別し、不適切な場合には、顕微鏡側についてはNDフィルターと開口絞り(AS)とを、撮像装置側については撮像素子の電荷の蓄積時間とゲインとビニングを制御することにより、最適な観察状態とすることができる。
<第2の実施の形態>
続いて、本発明の第2の実施の形態について説明する。本実施形形態では、観察画像を高画質モードで表示させる場合の顕微鏡及び撮像装置の最適化について説明する。すなわち、本実施形態では、画質劣化に影響のある露光調整部位を制御対象に含めないようにする。さらに、本実施形態では、多少操作性を落としても高画質で観察したいことを目的としているので、快適操作の限界点[sMax]よりも一段階遅い[sMax2]を設け制御を行うようにする。
本実施形態の基本構成は、第1の実施の形態の図1〜図3と同じであり、システム制御部[44]の処理内容が異なる。
図24は、本実施の形態に関する表示部[46]の画面構成の一例を示す。図11の構成に付け加えて、観察画面[79]に表示する画像の画質選択メニュー[91]を表示する。
画質選択メニュー[91]には、第1の実施の形態で説明した方法で表示するためのNormalボタン[92]と、表示画像を高画質で表示するための高画質ボタン[93]を表示する。その他の構成は図11と同じなので同番号を付記し説明は省略する。
次に動作について説明する。Normalボタン[92]が選択された場合は、第1の実施の形態に記載の方法で観察画面[79]への画像表示処理を実行する。今、Highボタン[93]が選択され、高画質表示モードに切り替わった場合、その動作について以下に説明する。
高画質モード切り換えの手順に関しては、観察法切り換え時と同様な方法で露光調整を制御する優先順を切り換えて行われる。その際に適用される処理が図25、図26に示すフローチャートによって処理される。
図25、図26は、それぞれ図17と図18あるいは図20と図21の処理に置き換わる形になる。
第1の実施の形態では、図17←→図20、図18←→図21という形で処理が切り替わる体系であったが、それに付け加え本実施の形態においては、以下の表10のような体系で処理内容が変更される。
以下、高画質モードの処理(図25、図26)について説明する。
図25は、第2の実施の形態の処理のフローチャート(高画質モードで露光Underの場合の処理)を示す。
高画質モードでは、画質劣化に影響のある露光調整部位の優先順位を下げる、あるいは制御範囲に制限を設けて処理が実行される。特に、開口絞り(透過用AS[6]および落射用AS[23])は観察者の好みにより調整されていることが多く、画質変化に対して影響が大きい部位であるのでその制御対象から外し、制御を行わないところに特徴がある。
また、多少操作性を落としても高画質で観察したいことを目的としているので、快適操作の限界点[sMax]よりも一段階遅い[sMax2]を設け制御を行う。[sMax2]は、当該技術分野では、4[fps]前後の設定であればギリギリ操作できるスピードとされ、本実施の形態では[sMax2]=4[fps]として設定する。
以下、制御優先順位順の説明を記す。尚、個別部位の動作に関しては図17と同じであり、同番を付記し詳細な説明は省略する。
(高画質モード 露光Underの場合)
(1)蓄積時間制御[Zone-31]
[sMax2]になるまでは、画質に影響される調整部位を制御せず、蓄積時間制御のみで露光調整を実施する[S87][S88]。
(2)ND制御[Zone-32]
NDが挿入されていれば、透過照明光路[LP1]もしくは落射照明光路[LP2]から離脱して露光調整を実施する[S20]〜[S23]。
(3)Gain制御[Zone-33]
[gLimit]になるまで、ゲイン増幅にて露光調整を実施する[S26][S27]。
(4)ビニング制御[Zone-34]
[blimit]になるまで、ビニング制御にて露光調整を実施する[S28]〜[S31]。
(5)蓄積時間制御[Zone-35]
本来、この後まだ調整できる項目([bLimit]〜[bMax]/[gLimit]〜[gMax]/開口絞り等の制御)が残されているが、開口絞りに関しては制御対象とし、その他の項目について画質劣化に対して影響が大きい調整パラメータ設定の範囲なので制御を実施せずに後は蓄積時間を調整して制御が行われる[S40]。
(高画質モード 露光Overの場合)
露光Overの処理に関しても、第1の実施の形態と同様に、露光Underの処理と逆の制御順序で露光調整を実施する。
図26は、第2の実施の形態の処理のフローチャート(高画質モードで露光Overの場合の処理)を示す。図26に示すフローチャートに従い処理([Zone-35’]〜[Zone-31’])が実行される。各Zoneに対して、図27に示すプログラム線図にて制御が実行される。
以上の動作により、第1の実施の形態の観察法により設定される表示モードの他に、観察者操作目的、観察資料[9]の種類により観察者が自ら表示モードを選択できる手段を提供することで、より操作性の高い顕微鏡観察システムが提供でき、幅広い種類の観察資料[9]に対応することが可能になり、観察者の研究成果へのスループット向上に繋がる。
<第3の実施の形態>
本実施形態では、ステージ操作を手動で行う際の観察画像の光量調整において、NDフィルターなどの段階的に明るさが変化する機構部や切り換え変更動作に時間を有する機械的な駆動部を動作させる順番の優先順位を下げて制御を行うことについて説明する。
図28は、第3の実施の形態の基本構成図である。同図に示すように、本実施の形態の基本構成は図1と同様であるが、図1に示すようなレボルバー駆動回路[29]およびXYステージ駆動回路[28]の代わりにそれぞれ、レボルバー位置検出部[66]とステージ操作検出部[67]を設け、システム制御部[44]の操作部[27]ではなく、観察者が直接駆動部に触り操作する手動操作部[68]にて操作する構成である。
観察者が手動操作部[68]にて顕微鏡の操作、例えばステージ[8]がXY方向に操作されると、ステージ操作検出部[67]によりステージが操作されたことを検出し、顕微鏡制御部[34]はシステム制御部[44]にその状況を通知する。
第3の実施の形態においては、この顕微鏡観察システムの駆動状態によって、システム制御部[44]が表示するモードを切り換えるところに特徴がある。例えば図15のフローチャートに図29のような処理[S92]〜[S97]を加えることにより実現する。
顕微鏡観察システムが静止状態(何も操作されていない場合)では、[S11]→[S12]→[S13]→[S14]or[S15]と処理され、図15と同等の処理が実行される。
ここで、手動操作部[68]あるいは、図11、図24の操作MENU[80]上のX+ボタン[83]/X-ボタン[84]/Y+ボタン[85]/Y-ボタン[86]または、UPボタン[87]/DOWNボタン[88]が指定され、顕微鏡のステージ[8]が操作された場合について説明する。
システム制御部[44]は、観察法駆動状態データ[Data1]にて現在顕微鏡ステージが駆動中であることを認識する。もし駆動中であれば、駆動中専用の移動中露光処理[S93]〜[S95]を実行する。
システム制御部[44]は、待避データが既にあるかを確認する[S93]。待避データとは、顕微鏡が操作される直前の露光制御のパラメータであり、内容としては、表8、表9と同等の内容である。本処理が繰り返して実行される場合は初回のみ現状の設定状態を待避する処理を実行する[S94]。
待避したデータは、移動前の設定状態データ[Data6]として、メインメモリ[50]またはHDD[49]に一時記憶しておく。
次に移動中露光処理[S95]=図30を実行する。まず、露光状態がOverなのかUnderなのかにより処理を振り分ける。
顕微鏡操作中は、観察画面[79]に表示されている観察画像を見ながら操作していると判断でき、その場合NDフィルター等、段階的な光量調整を実施する部位が動作すると、画面の急激な輝度変化が起こり、視認性の低下を招く。
そこで、第3の実施の形態では、NDフィルターなどの段階的に明るさが変化する機構部や切り換え変更動作に時間を有する機械的な駆動部を動作させる順番の優先順位を下げた制御を行う。制御する動作処理としては、第1の実施の形態と同様なので同ステップ番号を付記し、説明は省略する。
(移動中露光Underの場合の制御優先順位)…[S100]
(1)Gain制御→(2)蓄積制御[<sMax]→(3)ビニング制御→(4)AS制御→(5)ND制御→(6)Gain制御[<gMax]→(7)蓄積制御[>sMax]
(移動中露光Overの場合の制御優先順位)…[S101]
第1の実施の形態、第2の実施の形態では、露光Overの制御優先順位は露光Underの逆順であったが、本実施の形態においては、露光Overの場合でも、下記の通り優先順位を大きく変えずに、光量変化が段階的な調整部位や機械的な駆動部位の優先順を下げたままで下記の通りの制御を行う。
(1)蓄積制御[>sMin]→(2)Gain制御→(3)蓄積制御[<sMin]→(4)ビニング制御→(5)AS制御→(6)ND制御
ここで、ステップ[S99]のMinとは、最小の蓄積時間であり、撮像素子(CCD)[36]の電子シャッターモードの最小の蓄積時間を示す。
このように、第1の実施の形態、第2の実施の形態によるところの図17、図20、図25の処理が顕微鏡操作中に限り、図30の[S100]に置き換わり、図18、図21、図26の処理が図30の[S101]に置き換わる。
次に、顕微鏡の操作が完了したところで、通常のモードに復帰、すなわち現在観察している観察法による最適な表示モード、あるいは観察者が指定した表示モードに戻す必要がある。
図29に戻り、ステップ[S92]で移動中ではなく、なおかつステップ[S96]にて待避データが保存された状態であれば、優先順復帰処理[S97]=図31または図32を実行し、表示モードの最適化を図る。
図31は、第3の実施の形態の処理のフローチャート(優先順位変更処理 その1)を示す。図31の処理が最も簡単処理であり、顕微鏡(ステージ)が移動する前の状態(その時点で最適化されている露光状態の設定データ)である移動前の設定状態データ[Data6]を読み込み[S102]、移動前の設定状態に設定を一旦復元する[S103]。そして現状の標本状態、観察状態にて通常のシーケンスで露光制御を再度やり直すことでも目論見の優先順位で制御が完了し、表示状態の最適化が図れる。
一方、他の手段として、図32のような処理にて復帰処理を実施することも可能である。
図32は、第3の実施の形態の処理のフローチャート(優先順位変更処理 その2)を示す。基本的な動作は観察法が変更された時とほぼ同じ処理(図14)を実行する。同処理内容に関しては同番を付記し、相違点のみ説明する。
図14の[S80]では、仮想状態データの初期値として仮想状態をリセットしたが、本実施の形態ではリセットではなく、[Data6]に保存しておいた移動前の設定状態データをコピー[S104]し、この状態から仮想演算処理[S83]を開始して変更すべき調整部位を抽出し、変更が必要とされる調整部位のみを動作させて表示モードの最適化を実施する。
以上の動作により、顕微鏡操作などを行っている間に露光調整制御を実行する場合、制御対象となる調整部位の制御優先順位を変更することで、観察画面[79]に表示される観察画像の急激な明るさ変化を抑制することができ、視認性の良い表示状態を保つことができ、スムーズな観察状態を提供できる。
<第4の実施の形態>
本実施の形態では、上記の実施の形態に加え、さらに、撮像した画像をシステム制御部へ転送する場合の転送速度も考慮した観察画像の光量調整について説明する。
図33は、第4の実施の形態の構成図を示す。顕微鏡部分、撮像部分に関しては図1と同様であるが、顕微鏡制御部[34]、画像制御部[43]、および画像処理回路[70]からの画像データの転送に、汎用I/Fを用いている。
汎用I/Fとは周知のUSB通信やIEEE1394など、PCとの接続に用いられる一般的な通信手段を示す。この汎用I/Fでデータを送受信するための汎用I/F変換部[681]が設けられ、汎用I/F変換部[681]を介して、汎用I/Fケーブル[69]にてシステム制御部[44]と接続されている。
撮像素子(CCD)[36]のデータをシステム制御部[44]に送信する場合、画像データ量は膨大なデータ量となる。汎用I/Fは通信速度により伝送できるデータ量には限界があり、その種類によって速度は異なるが、例えばUSB2を例に説明を続ける。
USB2の通信速度は480Mbpsであり、これを[ComMax]と仮定する。実際にはプロトコルの制御、付随データや汎用I/Fのその他の接続機器の通信状態により、最高速度での転送は事実上不可能であるが、本実施の形態では便宜上最高速と仮定する。
そして仮に、撮像素子(CCD)[36]に画素数5Mピクセルの素子を使用(Pix = 5M[bit])している場合、各ピクセルの階調数を8(Dp=8[bit])とすると、1秒間に転送できる観察画像のデータは次式により、
フレーム数 = ComMax / (Pix x Dp) = 480M / (5M*8) = 12 ………(10)
となり、単純計算ではあるが、12[fps]の最高速度しか確保できない。これは白黒CCDの場合のデータ量であり、カラーCCDや1ピクセルの階調数が増えれば更に遅くなる。
通常PCに表示できる解像の画像で考えても、1280(H)*1024(V)*8(Bit)*3(RBG)=21Mbitのデータとなり、(10)式により最大でも24枚分のデータしか転送できない。更に遅いI/Fを使用した場合には更に少なくなる。
この通信レートの制限を改善するために、データを周知の圧縮方法にて圧縮処理し、転送することが一般的だが本技術分野である理化学機器を対象とした場合には復元時のデータの信頼性の面であまり適した方法とは言えない場合もある。
そこで、本実施の形態ではこの通信速度を考慮した上で、撮像素子(CCD)[36]から取り込むデータのスピードを決定する。必要以上に早く取り込むことを避け、データの信頼性、ノイズを低減させたデータを取得しつつ、操作性の確保を実現させるところに特徴がある。
動作制御方法として、第1〜第3の実施の形態と同様であり、処理する場合の[sMin]の値として、表示部[46]のモニタ表示の限界速度ではなく、上記(10)式より算出された最高転送速度を[sMin]として制御を実施する。
これにより、必要以上に高速でのデータ取り込みが不要になり、撮像素子(CCD)[36]の発熱を低減し、寿命を延ばすことができるとともに、操作性の確保が可能になる。
<第5の実施の形態>
本実施の形態では、ステージ移動を伴う観察において、撮像素子のデータ取り込み間隔(蓄積時間)に応じて、ステージの最大移動速度に制限を設ける場合について説明する。
本実施の基本構成は、第1の実施の形態の図1と同じであり、その処理内容が異なる。本実施形態では、顕微鏡制御部[34]がステージ[8]を制御する場合の処理(図12の[S4])について特徴を持たせる。
今、ステージ[8]の移動速度と撮像素子(CCD)[36]の取り込み速度(表示部[46]に連続表示される表示間隔)が最適に処理されている場合は、図34のような形で表示される。
図34は、第5の実施の形態のステージ[8]を移動した場合の観察画面[79]の表示内容変化の説明図(その1)を示す。
ステージ[8]上に観察試料[9]が載せられた状態であり、表示部[46]の観察画面[79]上に観察画面[79]-Frame(1)の領域が表示されている。
今、ステージ[8]を移動方向[94]に移動させると、観察画面[79]上には観察画面[79]-Frame(2)〜(n)の順番で表示される。
ところが、ステージ[8]の移動速度が速い、もしくは撮像素子(CCD)[36]の取り込み速度が遅いと、図35のように次フレームを表示した際に前回表示した画像が観察画面[79]から完全に外れてしまい、何処を観察していたのかが不明になってしまう恐れがある。最低でも図36のように、1/4程度は観察画面[79]上に前回の表示画像が残っているのが好ましい。
本発明は、ステージ[8]を駆動する場合に、撮像素子(CCD)[36]のデータ取り込み間隔(蓄積時間)に応じて最大移動速度に制限を設ける。
図37は、顕微鏡駆動処理[S4]の中の一例として、ステージ駆動処理のフローチャートを示す。操作NENU[80]のステージ移動ボタン(X+[83]/X-[84])により、X方向のステージ移動操作を指定する。
システム制御部[44]は、現在の画像取り込み速度を[Data7]より取得する[S106]。画像取り込み速度[Data7]は、撮像素子(CCD)[36]の蓄積時間を制御する際に合わせて書き込まれているものとする。例えば、図17の[S17][S25][S40]を実行した際に同時に更新される。
次に、ステージを駆動させた時の最高移動速度を算出する[S107]。まず、現在の顕微鏡の光学条件、撮像素子(CCD)[36]の有効画素エリアの寸法から、現在表示部[46]の観察画面[79]に表示されている観察試料[9]のX方向の長さを算出する。
今、結像レンズ[35]の結像倍率が1[x]で、対物レンズ[11]の倍率が10[x]であると仮定し、撮像素子(CCD)[36]の有効画素範囲を8[mm]x6[mm]とすると、X方向の観察画面に表示されている範囲は800[μm]となる。前述のように前フレームの表示を図36のように残す場合、その間に移動できる最大の距離は800[μm]の半分の長さとなる(=400μm)。この値を[Data7]から取得した取り込み速度で割ることで、ステージ駆動の際の最高速度が算出できる。
今、4[fps]で画像と取り込んでいると仮定すると、ステージ移動の最高速度は、1.6[mm/sec]となる。この値を実際に駆動するステージ[8]のモーター等の駆動素子のパラメータに換算して速度パラメータとして顕微鏡制御部[34]に設定データとして与える[S108]。
パラメータセットが完了したらステージの移動を開始する[S109]。もし、ステージ移動中に画像取り込み速度が変わり、パラメータの変更が必要になった場合は速度パラメータ変更[S111]を実行してパラメータの変更を行う。
設定された規定距離の移動が完了、もしくは操作部[47]の操作等により駆動停止と判断したらステージ[8]の移動停止[S113]し処理を終了する。
以上説明した本実施の形態によれば、表示部[46]に表示される観察画像の表示スピード(更新間隔)により、ステージ移動速度を制限することが可能になり、観察時に観察場所を見失うことを防止できる。
<第6の実施の形態>
本実施の形態では、前回撮像した画像と今回撮像した画像とを比較することにより標本の移動を検出した場合にはその動きが停止するまで光量調整の最適化を行わないようにする。
第3の実施の形態では、顕微鏡の操作状態により標本の動きを検出していたが、第6の実施の形態においては標本そのものの動きを検出して露光調整に工夫を講じたものである。本実施の形態において、基本的な構成は、前述までの実施の形態(図1、図28、図33)と同様である。
また、基本的なプログラムの処理も図13とほぼ同様であり、明視野用処理[S9](図15)と蛍光用処理[S10](図16)の制御だけが異なる。例えば、蛍光用処理[S10]を図38のように変更し、その動作について説明する。
図38は、第6の実施の形態の処理のフローチャート(標本移動中の処理)を示す。まず、第3の実施の形態の図29の[S92]と同等の処理にて、顕微鏡が操作中か否かを判断し、顕微鏡操作中の場合は通常の処理(第1の実施の形態と同じ処理)を実行して、処理を終了する。
次に、もし顕微鏡が操作されていない場合は標本自体が移動していないかの確認を行う[S114]。
検出は、前回演算検出処理した画像データ[Data8]と今回測光対象となる最新の画像データ(メインメモリ[50]内)を比較して周知の相関ズレ検出方法にて演算される。例えば、図39のように前回の画像データ[L101]と今回の画像データ[L102]の輝度データのラインプロファイルを作成し、その相関Δdを算出し、両者にズレがある/もしくは一定以上のズレが有る場合に移動したものと認識される。
標本の移動が検出されなかった場合は、通常の処理に戻り、測光処理[S69]を実行する。もし、標本に動きがある場合は次回比較するために今回の画像データを[Data8]に記憶して処理を終了する。すなわち、測光処理[69]は実行されず現状の露光制御状態を保持する形で処理が終了する。
これは移動している標本(細胞)が現状測光しているエリアから外れてしまった場合、観察したい部分以外の部分で測光処理が実行されてしまい、実際観察したい部分が露光不足、露光過多になるのを防ぐために行われる処理である。
例えば、図39に示すような輝度分布の標本を測光エリア[A]の範囲にて最適になるように露光調整されているものとする。同図[ΔA]の領域は前回の測光処理を実行した時には含まれたが、今回その測光エリアから外れ、演算の対象外になってしまう。このまま演算を実行すると、測光の基準値がズレて標本の明るさが前回と異なり、標本輝度のちらつきが発生する。これを防止するために前回の露光調整値を保持して輝度の安定を図る。
以上の処理により、動きのある細胞を観察する場合に観察対象部位の明るさを安定的に保つことができ、標本観察の視認性が向上する。
<第7の実施の形態>
第7の実施の形態は、第6の実施の形態に以下の点を加えたところに特徴がある。第6の実施の形態では標本の動きが有る場合に測光処理を実行しなかったが、本実施の形態では標本の動きが有る場合にも露光調整を行うようにする。
図40は、第7の実施の形態の処理フローチャートを示す。[S116]までは第6の実施の形態と同様のため説明を省略する。
標本が移動中であり、それが移動開始した検出の初回を判断[S117]し、初回であれば現状の露光調整の設定状態を[Data6]に退避させる[S94]。そして、標本移動に適した優先順位で露光制御を処理するために、優先順位変更処理[S118]が実行される。
優先順位変更処理[S118]は、図14とのほぼ同じ処理で行われる。仮想演算処理[S83]の段階で使用する露光Over/Underの処理が異なるのみである。その仮想演算で使用される処理を図41に示す。
図41は、標本移動中の露光処理を示すフローチャートであり、露光制御する調整部位の優先順位は図30に示す制御順位とほぼ同じである。相違点としては、表示スピードの制限値[sMin]以上に限定してしまうところである。すなわち、ステージ移動同様に機械的に調整部位の制御優先順位を下げている。また[sMin]の値も第1〜第6の実施の形態とは異なり、標本の移動速度によって現在の設定と変える。
標本の微妙な変化を検出するために、極力露光時間を短くして取り込むことが望まれ、本実施の形態では[Min]〜[sMin]までの範囲で制御を可能にしている。
露光Underの場合は処理[S120]を実行し、露光Overの場合は処理[S121]を実行し、蓄積時間の制御に関して、[sMin]を越えない範囲で制御([S122]等)を行う。
優先順位変更処理[S118]が完了(2回目移行はこの処理からスタート)したら、実際の測光処理を行い、露出調整が必要な場合は、露光調整動作を実行する。
露光調整を実施する場合は、先の[S115]での検出結果により、標本が移動中の場合には標本移動中露光処理[S119]が実行される。[S119]は前述した図41の処理であり、優先順位変更処理[S118]の段階では仮想演算として実行されたが、今度は実際の調整部位を対象に制御が行われる。
以後、標本移動中は上記処理(図40)が繰り返し実行されることで標本移動に最適な露光制御が行える。
そして、標本移動が終了した場合([S115]にて移動していないと判断された場合)は、[S97]にて優先順を復帰する処理[S97]を実行し、通常の処理内容に戻る。
以上、第7の実施の形態によれば、動きのある細胞を観察する場合に露光調整する調整部位の制御優先順位を変え、画面表示スピードを一定[sMin]以上に保つことで画像の表示ブレがなくきれいな観察画像での観察が可能になる。
<第8の実施の形態>
本実施の形態は、第1〜第7の実施の形態にて観察している画像を動画データとして記録する場合に適応される。すなわち、本実施の形態では録画中は露光制御を実行しないようにする。もし録画中に露光制御をする場合には、露光調整する調整部位の優先順位を変更し、調整部位を制限する。
今、図42の如く表示部[46]の操作MENU[80]に録画操作NEMU[95]が表示され、例えば録画を開始するREC(録画)ボタン[96]と録画を停止するSTOP(停止)ボタン[97]が表示されている。
REC(録画)ボタン[96]が指定されると、システム制御部[44]は露光調整の調整部位の優先順位を変更する。
変更手段に関しては、第1〜7実施の形態によるところの切り換えを同様の方法で行われる。例えば、録画の目的が観察画像の輝度変化の状態を記録する用途の場合などは、露光調整自体を実施してしまうと変化の具合を捕まえることができなくなる。このような場合は図43に示す処理によって、録画中は露光制御自体を実行しないようにスキップする。
図43は、第8の実施の形態の処理のフローチャート(蛍光観察時の処理)を示す。システム制御部[44]は、操作部[47]によりREC(録画)ボタン[96]が押されたことを認識すると、観察法駆動状態データ[Data1]に録画中であることINPUTする。露光処理の制御(図43)では、[Data1]の状態により現在録画中であることを知り、もし録画中であれば露光調整制御をしない処理を実行する[S123]。録画中でなければ通常の処理[S69]を実行する。
録画中に取得されたデータはシステム制御部[44]により、周知の動画フォーマット(AVI/MPEG等)に変換され、HDD[49]もしくは図示しない記録用メディアに記録される。その間露光調整制御はスキップされる。
以後、操作NEMU[42]のSTOP(停止)ボタン[97]が指定されるまで録画を続ける。
一方、録画中の細胞形状変化などを記録したい場合などは、ある程度の露光調整を実施した方が良い場合もある。このような場合には、露光調整する調整部位の優先順位を切り換え、及び調整部位の制限を掛けることを行う。録画中には輝度変化が断続的な調整部位、または調整したことによる画質の変化が大きい調整部位の制御は避けようにする。
優先順位の切り換え処理として、今までの実施の形態と同様の手順を踏んで実行されるものとして説明は割愛する。録画中の露光処理のみを図44のフローチャートに示す。
図44は、第8の実施の形態の処理のフローチャート(録画中の露光処理)を示す。同図[S124]が露光Under時の制御で、同図[S125]が露光Over時の制御となる。両者ともゲイン調整での補正を優先し、次に蓄積時間を可変して露光調整を行う。その他の部位に関しては制御対象から外し、観察している画像を安定させた状態での記録を実施する。
この場合、[sMin]の設定値を実際に記録するためのビデオレート(例えば1/30sec以上)に限定することで、コマ落ちのない状態変化を観察、記録することが可能になる。
以上のように、録画中にその録画目的に添った制御方法に切り換えることで目的に合った画像の動画記録が実現できる。
<第9の実施の形態>
第9の実施の形態では、[gLimit]を規定値ではなく、S/N(ノイズ)の検出手段による検出結果に基づいて[gLimit]を規定するところに特徴を持たせる。
上記の実施の形態では、[gLimit]はある規定値と仮定していたが、例えば顕微鏡制御部[34]及び撮像制御部[43]にて実行されるシステム初期化[S1][S5]の段階でノイズレベルの検出処理を実行する。検出処理フローの一例を図45に示し説明する。
図45は、第9の実施の形態の処理のフローチャート(ノイズデータ検出処理)を示す。まず、撮像素子(CCD)[36]に何も結像されていない状態を作る。顕微鏡制御部[34]により透過照明用光源[1]を消灯状態、落射用シャッター[22]を落射照明光路[LP2]に挿入する[S126]。尚、本システム全体は遮へい物で覆われており、外部の漏れ光は入射されてないものと仮定する。
この状態にて、撮像素子(CCD)[36]の蓄積時間を[sMax]、ビニングなしに固定し、その時にAMP[39]のゲインを1x[S127]から増幅[S130]した時の画像データを取得[S128]し、ノイズレベルを判断[S129]し、ゲイン[gLimit]を決定する。
今、遮光状態での撮像処理を実行しているため、撮像データとしては、CCDの読み出しノイズ+画像信号処理調整部[37]の回路ノイズを取得していることと等価になる。この信号レベル(ノイズ)により[gLimit]を決定することになる。
演算処理[S129]は例えば、図46に示す出力データ[Gain(1)]〜[Gain(n)]の平均値が基準値[Data(th)]を越えるか否かを判定し、越える直前のゲインを[gLimit]として規定する。図46の場合は[Gain(8)]にて基準値[Data(th)]を越えているので、[gLimit]=7[x]と設定できる。
もし仮に、ゲインを[gMax]まで増幅してもData(th)を越えないような低ノイズ回路の場合には、[gLimit]=[gMax]として以降の露出制御処理が実行されることになる。
決定された[gLimit]をもとに、第1〜第8の実施の形態の如く制御を行うことで、ゲインを増幅した場合の画質劣化(ノイズレベル)を一定範囲内に納めることができ、安定した観察画像での観察が可能になる。
また、回路のノイズやCCDのノイズは温度変化に依存して変化するものなので、ある一定時間毎に本検出処理を実行したり、温度検出手段を設けることにより温度変化があった場合に本検出処理を実行することで、より精度を上げた検出が可能になり、観察画像を安定化させることが出来る。
更に、ビニングを実行している場合などは読み出しノイズが低減されるため、ビニングの各段数に対して、それぞれ[gLimit]の値を個別に設け、各処理の個別判定値として適応することでより一層の効果が得られる。
例えば、図17において説明すると、[Zone-6]/[Zone-8]でのビニングの設定状態によって、[S26]で判定する[gLimit]の値を変更する。これにより調整範囲の幅が広がり、安定した画像の取得が可能になる。
このように、信号ノイズレベルの検出手段を追加することで、画質劣化(ノイズレベル)を一定範囲内に納めることができ、安定した観察画像での観察が可能になる。
<第10の実施の形態>
本実施の形態では、観察者が設定した調整制御部位以外の調整制御部位について、システム制御部による露光調整の対象とする顕微鏡観察システムについて説明する。
第9の実施の形態までは顕微鏡、撮像装置に不慣れな観察者でも良好な観察画像を取得できることを前提に構成された実施の形態であった。本実施の形態では、熟練者でも満足できるシステムを提供する。すなわち、熟練者は、顕微鏡や撮像装置の扱いに慣れた観察者は観察画像を好みの所望の状態に設定したいと考える。例えば本実施の形態では、開口絞りやビニング設定などを固定して観察したい時などがある。第10の実施の形態では、このような状況に対応するシステムを提供する。
まず、観察者が図示しない露光調整部位に対応する操作部(例えば開口絞りやNDフィルター)を操作し、自ら好みの状態に設定した場合、システム制御部[44]は表11のような調整制御部位一覧のデータを更新し、制御対象から外すことを指定する。表11によれば、現在ASが観察者により手動調整されており、制御対象から外れている。
この表11の内容は、システム制御部[44]のHDD[49]あるいはメインメモリ[50]などに調整可否データ[Data9]として記憶しておく。
そして、今まで説明してきた露光調整処理(図17、図18、図20、図21、図25、図26、図30、図41等)の各調整部位の判断及び制御を処理する前に以下の処理を追加する。
例えば、図17の[S18]の前処理として図47の判定処理[S135]を挿入し、もし制御対象外の調整部位であれば次処理(この場合は[S18])の処理をスキップする。
これにより、観察者が一旦自ら操作した調整部位に関しては制御の対象から外され、観察者の好みが保たれた状態のままの露光調整処理を実行できるようになる。
ただし、複数の調整部位を操作されると、露光調整できる調整部位が少なくなるので調整範囲も狭くなり操作性を落とす結果に成り兼ねないので、このような場合は観察者が操作する毎にその操作された調整部位の優先順位を一番下げた制御を実行してもよい。
例えば、図17のフローチャート順に調整部位の優先順位を列挙すると、表12の[A]のような優先順位になる。
今、開口絞りが観察者により調整された場合は、AS制御を現状の絞り経のままで制御する優先順位を一番下げ、[B]のような制御順で露光調整処理を行う。次にビニング操作を実行すると[C]のような優先順位に変更する。
このように観察者が操作した調整部位の調整値を優先させた制御を達成する。尚、例えば図47において、[S20][S21]が制御された後に[S22]の段階で、蓄積制御の優先順が一番低い場合には、ゲイン調整を代用して補正、制御させる。
第10の実施の形態によれば、顕微鏡や撮像装置に不慣れな観察者に加え、顕微鏡や撮像装置にある程度精通しており観察画像を好みに合わせたい熟練者にも対応できる操作性、視認性の良い顕微鏡観察システムの提供が可能になる。
<第11の実施の形態>
第10の実施の形態までは露光調整によって制御される調整部位は顕微鏡または撮像装置に関しての調整のみであった。本実施の形態ではシステム制御部[44]での後処理も調整部位に含めて制御を実施するものである。
後処理として、画像加算モードを追加して露光制御を実施するものであり、露光Underの場合についてのフローチャートを図48に示す。
図48は、第11の実施の形態の処理のフローチャート(蛍光観察で露光Underの場合の処理)である。基本処理としては図20のフローチャートとほぼ同じなので、同番を付記して説明は省略する。
[S38]までは図20と全く同じ処理を行い、露光調整の調整項目が蓄積時間のみになってしまい、かつフレームレートが快適な操作スピード(本実施の形態では10[fps])を越えてしまう場合、[S136]の処理を実行する。
ここで、[adMax]とは画像データを加算できる最大枚数を示し、[Add]は現在の加算枚数を示す。例えば、図51aに示すように通常であれば、撮像素子(CCD)[36]から取得した画像データ1画面分を読み込み、それと同時に表示用メモリ[45]へ書き込み、表示部[46]に表示している。[Add] = 1の場合がそれである。
通常、露光調整をしても表示画像の輝度が最適に満たない場合は、最適化するために蓄積時間を延ばし、操作性を落とした制御を行う必要が生じる。このような場合、本実施の形態では画像データの加算処理を実施する(図48の[S137])。
まず、図51bに示すように1画面前に表示すべきだった画像データ(例えば、[Frame(A’)]のデータ)をメインメモリ[50]に一時記憶しておく。そして、現在表示すべき画像データ[Farme(B’)]と加算する。この加算した結果を表示用メモリ[45]に書き込むことで、画像データの表示輝度は(A’+B’)の2倍になる。これを[Add]の指定回数分実行(加算)することで、指定回数に応じて表示輝度の調整が可能になる。[Add]=3の場合には、C’の時点で出力されるデータは、[Frame(A’)+Frame(B’)+Frame(C’)]と言うことになる。
図48に戻り、[adMax]が最大値でない場合、システム制御部[44]は画像加算枚数を増加させる。画像加算を実行すると画面データ及び画像の明るさもその分大きくなり(最低でも倍以上)、しかも段階的に大きくなる。そこで、本実施の形態でもND制御やビニング制御でも実施したGain補正[S138]を行う。また、後処理でデータを増大させているため、測光を行う場合にはそれを考慮して最適な状態かを判断する必要が生じる。そこで、現状の加算のデータを測光基準値データ[Data10]に記憶し、測光演算評価の際に参照できるようにする。図50に示すごとき、測光処理[S69]を実行する際に参照され、この結果に基づき次処理が行われる。例えば、加算枚数が2枚の場合には、測光基準データは1/2となる。
最後に[S140]のゲイン調整にて露光調整を実施して、露光Underの処理を行う。
露光Overの場合の処理(図49)としては、画像加算処理の解除を最優先の調整項目として最初に解除してから、図21に記載と同じ処理([S141]〜[S145])を実施する。
このように、表示側の後処理にて表示輝度の制御実施することで、数フレーム分の表示遅延は発生するが見かけ上フレームレートを損なわずに表示輝度を上げることができ、快適に操作できる範囲を広げることができる。
<第12の実施の形態>
本実施の形態では、モニタの解像度に基づいて、画像データの表示サイズを調整する顕微鏡観察システムについて説明する。
第12の実施の形態は、第1〜第11の実施の形態での画像データを表示部[46]へ表示するための方法に関する。構成は第1の実施の形態(図1)と同じであり、説明は省略する。
第11の実施の形態までは、ビニングの際のデータ欠落、[bLimit]の決定方法、それによる制御方法を記載したが、そのデータをどう表示するかは規定していなかった。
取り込まれた画像データをそのままの画像サイズで表示部[46]へ表示すると、図52aに示すように表示部[46]の観察画面[79]の表示サイズと画像データのサイズが同じの場合は問題ないが、画像サイズが小さい場合は図52bのように観察画面に余白ができ、また画像サイズの方が大きい場合は図52cのように画像データの一部分しか表示できない。
そこで、表示用メモリ[45]に画像データを転送する際に観察画面[79]のサイズに合わせて画像データの大きさを調整する必要がある。図53のようにビニングした時にモニタ解像度(観察画面[79]の表示サイズ)に合わせて拡大、縮小処理が必要となる。Binning[なし](フル解像)、Binning[2x2]の場合はサイズを縮小し、Binning[3x3]とBinning[4x4]では拡大処理を施す。その表示処理フローを図54に示す。
図54は、第12の実施の形態の処理のフローチャート(画像サイズ変更処理)を示す。現在使用しているモニタ(表示部[46])の解像度を表示用ドライバ[74]より取得し、現状の観察画面[79]の表示領域の大きさを算出する[S146]。
次にメインメモリ[50]内に保存されている画像データのサイズを確認[S147]、比較[S148]し、画像データのサイズがモニタ表示サイズより大きい場合は周知の画像縮小処理[S149]を行い、小さい場合も周知の画像拡大処理[S150]を行う。サイズが調整された画像データを表示用メモリ[45]に転送して表示処理[S151]を行う。
この処理をフレーム毎に行い、連続画像表示処理を行う。
これにより、ビニング処理を行い画像サイズが変更されても表示される画像サイズの大きさが変わらずに観察できるようになる。
また、現在の画像データのサイズを判定する手段として、[bLimit]を基準にして判断するようにすると、処理時間の短縮が図れる。
<第13の実施の形態>
本実施の形態では、露光状態に変化が生じた場合に露光調整を行うが、露光調整が完了するまでは露光調整直前画像を表示し続ける顕微鏡観察システムについて説明する。
構成要件としては、前述までの実施の形態と同様であり、図1を授用する。本実施の形態では、露光調整で各調整部位を調整する際に工夫を講じたものである。
まず、図55aにはゲイン制御、蓄積時間制御など連続的(ある程度細かいステップにて露光調整が可能)な調整を実施できる部位を調整した場合の例を示す。図55a(2)までは最適に露光調整されている状態(図55a[Frame(A)])であり、図55a(3)にて標本の明るさが変化して露光Underの状態(図55a[Frame(B)])になったと仮定すると、図55a(3)の画像にて露光調整を行い、図55a(4)で元の最適に露光調整された状態(同図[Frame(A)])に戻り、観察画像[79]の輝度変化が少ない。
ところが断続的に光量変化が発生する調整部位、例えばNDフィルターやビニング制御などで露光制御する場合には、図55b(4)の如く、制御直後の画像は図55a[Frame(c)]のように極端に明るい(露光Overの場合は暗い画像)になってしまい非常に見づらい観察画像となってしまう。ビニング制御の場合は数フレームで切り換えが完了するが、NDフィルターなど機械的な制御が加わる調整には制御に時間が掛かり、さらに複数フィルターをIN/OUTする場合などは、その制御過渡状態も観察画面[79]に表示されてしまう。そして、図55a(5)では蓄積補正(-)後の画像(同図[Farme(B)]と同等の明るさの同図[Farme(B’)])もそのまま表示されることになる。
そこで、本実施の形態ではその断続的に調整する露光調整部位を制御する場合に補完処理を付加したもので、そのフローチャートを図56に示す。
図56は、第13の実施の形態の処理のフローチャート(補完処理制御)を示す。図56には、第1の実施の形態(図17)との相違点(補完制御部分)のみを示しており、全体的な制御フローに関しては図17に酷似する。
断続的な調整部位(本実施の形態ではNDフィルター制御の[Zone-3])を制御する前に、補完処理開始[S152]を実行する。
通常何もしない場合は、メインメモリ[50]の画像データは逐次表示メモリ[45]に転送され、表示部[46]に表示されている。この転送動作を一時中断する。これにより、表示部[46]には最後に転送された画像(露光Underと判断された最後の画像(図55(c)[Frame(B)]))が表示された状態になる。
そして、この状態で断続的に光量が変化する調整部位(NDフィルターやビニング制御)を実施([S21]〜[S23])し、制御が完了した時点で、補完処理終了[S153]を行い、転送中断の状態から表示メモリ[45]への転送を再開する。
これにより、露光制御を実行(図55(c)(4)〜(6))している間、表示部[46]の観察画面[79]には同図[Frame(B)]の画像が表示され続け、次に表示される画像は制御完了後(図55C(7))の最適露光状態の画像(同図[Frame(A)])になる。
上記のような補完処理を断続的に変化する露光調整制御を実施する場合(例えば、図17の[Zone-3][Zone-6][Zone-8]や図18の[Zone-3’][Zone-6’][Zone-8’]など)にも同様に適応する。
以上のような本実施の形態の作用により、断続的に光量(露光調整量)が変化する調整を実行しても、観察画面[79]の著しい輝度変化がなく、常に視認性の良い画像を表示することが出来る。
<第14の実施の形態>
本実施の形態の構成、作用については第13の実施の形態とほぼ同じであるが、第13の実施の形態では断続的な調整部位を制御する直前の画像データを表示部[46]に表示していたが、本実施の形態ではその表示画像が異なる。
特にフレームレートが早い場合には、測光処理をした時の画像データと実際に保持(制御中に表示しておく画像データ)しておくデータが異なってしまう場合がある。そこで、本実施の形態では測光処理で使用した画像データの画像を表示部[46]に保持しておくようにする。
例えば、図57(図16に本実施の形態の構成を付加したもの)に示すように、[S154]にて測光に使用する画像データを保持画像データ[Data11]としてメインメモリ[50]あるいはHDD[49]などに一時記憶しておく。この保持画像データ[Data11]を使用して測光処理[S69]を実施する。
そして、第13の実施の形態のように補完処理を実行する。補完処理のフローを図58(図56の変形)に示す。
図58は、第14の実施の形態の処理のフローチャート(補完制御処理)を示す。補完処理開始[S152]の段階で、表示用メモリ[45]に転送するデータを測光時に待避した保持画像データ[Data11]に切り換える。そして、補完処理終了[S153]にてメインメモリ[50]の正規の最新画像データに復帰する。
以上の処理により、観察画像の輝度変化を第13の実施の形態よりも抑えることができ、さらに視認性の良い観察が可能になる。
その他、本発明は上記実施の形態に限定されるものではなく、実施段階ではその要旨を変更しない範囲で種々変形することが可能である。
また、上記実施の形態の形態には種々の段階の発明が含まれており、開示されている複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施の形態に示されている全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べられた効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
さらに。構成要件で述べている各手段に関しても要旨を逸脱しない範囲で変形可能であり、例えば、以下のように変形可能である。
(1)撮像素子(CCD)[36]の撮像素子は、CCDとしてはインターライン型CCDでの回路構成、動作説明を実施したが、フレームインターライン型、フレームトランスファー型など、種々の形式のCCDでも適用可能である。また、CCDに限らずCMOSなど撮像素子デバイスでも適応可能である。
(2)NDフィルターとしては透過率の異なるフィルターの組み合わせで光量の減光を実施しているが、透過率が同じ複数のNDフィルターでも可能なことは言うまでもないが、連続的に透過率が変更できるNDフィルターでも適用可能である。例えば透過率が異なるNDを円盤状に蒸着させ、円盤を回転するこにより光量の透過率を変更できるフィルターを使用する。これにより、上記実施の形態では断続的に光量調整される調整部位としてNDフィルターを区分してきたが、連続的に光量調整できる調整部位として使用することが出来る。
(3)また、開口絞りに関しては逆に絞り構造での連続調整部位として説明してきたが、例えば、円盤状(ターレット状)に開口絞り経の異なる複数の開口部があるものを回転させ段階的な調整とすることも可能である。
(4)さらに、第5の実施の形態におけるステージ動作は、XYステージとして説明しているが、これをピント合わせ用のためのフォーカス駆動に於いても適用可能であり、その場合の移動速度の基準(第5の実施の形態では表示画面サイズ)は、対物レンズの焦点深度となる。
(5)システム制御部[44]は、PCを基準に説明してきたが、周知のCPU回路等で構成することも可能であり、その場合は、撮像制御部[43]や顕微鏡制御部[34]なども1つに纏めた形の構成でも良い。
(6)実施の形態説明では、対物レンズはレボルバー[10]に取り付けられているが倍率変更手段としては、連続的に倍率が可変できるズームレンズなどでも構成可能である。
(7)観察法に関しては、明視野観察と蛍光観察の切り換えについて述べているが、その他観察法を複数用意して切り換えることも可能である。その際には上記実施の形態の如く、選択された観察法毎に露光調整の調整部位に優先順位を設けて観察法毎に切り換えて制御を実施する。
(8)観察法を切り換えた際に優先順位の変更を行わない、または露光調整を実施しないなどの条件選択も、上記構成要件を削除した場合の変形例に含まれる。例えば、明視野の場合には周知の撮像装置のみの露光調整(Gain調整と蓄積制御)を行い、蛍光観察の場合に顕微鏡側の調整部位を含めて優先順位を決めて露光調整などを実施するような変形である。逆に、蛍光観察や暗視野観察のときのみに優先順位による制御処理を実施し、その他の場合に周知の調整手段にて露光調整を実施するなども想定範囲内である。
(9)観察法の一つとして、照明系の選択での動作切り換えも変形例に含まれる。透過照明光路[LP1]と落射照明光路[LP2]のどちらかを選択しているかを判断して、光路毎に設定した露光調整時の調整部位の優先順位にて制御を行う。
(10)操作、表示画面の内容に関しても本発明の要旨を逸脱しない範囲で変更可能であり、例えば、マウス[59]のドラック操作やホイール回転によりステージを制御することが可能である。
以上説明した本発明によって、観察法毎に露光調整する部位の制御順番に優先順位をつけて制御することで、観察の目的によって最適な観察画像の表示が可能になり、操作性、視認性の良い顕微鏡観察システムを提供することができる。
また、観察法により設定される表示モードの他に、観察者操作目的、観察するの種別により観察者が自ら表示モードを選択する手段を設けることで、より操作性の高い顕微鏡観察システムが提供でき、幅広い種類の観察資料に対応することが可能になり、観察者の研究成果へのスループット向上に繋がる。
さらに、顕微鏡操作中などは露光調整制御処理にの制御対象となる調整部位の制御優先順位を変更することで、観察画面に表示される観察画像の急激な明るさ変化を抑制することができ、視認性の良い表示状態を保つことができ、スムーズな観察状態を実現できる。
更に、必要以上に高速でのデータ取り込みが不要になり、撮像素子(CCD)[36]の発熱を低減し、寿命を延ばすことや表示部に表示される観察画像の表示スピード(更新間隔)により、ステージ移動速度を制限することで観察場所を見失うことができるなどの副次効果も生まれる。
これにより、顕微鏡や撮像装置といった個別の装置を意識することがなく、両方に不慣れな観察者も使いやすい顕微鏡観察システムの提供が可能になる。
本発明にかかる顕微鏡観察システムによれば、撮影装置に入射される観察像を最優先にしてシステム全体(顕微鏡+観察装置)を最適制御することができる。すなわち、本発明にかかる顕微鏡観察システムは、接眼レンズでの観察概念を排除し、観察するためのモニタ画像に表示される観察画像に対して、観察者の観察用途に沿って撮影装置と顕微鏡の性能を最大限に引き出すことができる。また、本発明にかかる顕微鏡観察システムは、顕微鏡、撮影装置双方の扱いに不慣れな観察者でもモニタ表示に所望の観察画像が簡単に表示でき、かつ操作性も良い。
本発明の基本構造図である。 顕微鏡制御部[34]と撮像制御部[43]の内部構成図である。 システム制御部[44]の内部構成図である。 撮像素子(CCD)[36]の素子構造を示す平面図である。 CCD駆動のタイミングチャート(通常動作)である。 1画素分のCCDデータ出力波形である。 CCD駆動のタイミングチャート(蓄積時間を延ばした場合の動作)である。 CCD駆動のタイミングチャート(電子シャッターモードの動作)である。 CCD駆動のタイミングチャート(ビニングモードの動作)である。 ビニング適用時のCCD出力波形である。 第1の実施の形態の表示部[46]の表示画面の一例である。 第1の実施の形態の処理のフローチャート(顕微鏡制御)である。 第1の実施の形態の処理のフローチャート(測光、表示モード制御)である。 第1の実施の形態の処理のフローチャート(表示モード変更処理)である。 第1の実施の形態の処理のフローチャート(明視野観察時の処理)である。 第1の実施の形態の処理のフローチャート(蛍光観察時の処理)である。 第1の実施の形態の処理のフローチャート(明視野観察で露光Underの場合の処理)である。 第1の実施の形態の処理のフローチャート(明視野観察で露光Overの場合の処理)である。 第1の実施の形態の明視野観察時における露光調整制御のプログラム線図である。 第1の実施の形態の処理のフローチャート(蛍光観察で露光Underの場合の処理)である。 第1の実施の形態の処理のフローチャート(蛍光観察で露光Overの場合の処理)である。 第1の実施の形態の蛍光観察時における露光調整制御のプログラム線図である。 システム制御部[44]のプログラム階層の説明図である。 第2の実施の形態の表示部[46]の画面構成の一例である。 第2の実施の形態の処理のフローチャート(高画質モードで露光Underの場合の処理)である。 第2の実施の形態の処理のフローチャート(高画質モードで露光Overの場合の処理)である。 第2の実施の形態の高画質モードにおける露光調整制御のプログラム線図である。 第3の実施の形態の基本構成図である。 第3の実施の形態の処理のフローチャート(明視野観察時の処理)である。 第3の実施の形態の処理のフローチャート(移動中の処理)である。 第3の実施の形態の処理のフローチャート(優先順位変更処理 その1)である。 第3の実施の形態の処理のフローチャート(優先順位変更処理 その2)である。 第4の実施の形態の基本構成図である。 第5の実施の形態のステージ[8]を移動した場合の観察画面[79]の表示内容変化の説明図(その1)である。 第5の実施の形態のステージ[8]を移動した場合の観察画面[79]の表示内容変化の説明図(その2)である。 第5の実施の形態のステージ[8]を移動した場合の観察画面[79]の表示内容変化の説明図(その3)である。 第5の実施の形態の処理のフローチャート(ステージ移動中の処理)である。 第6の実施の形態の処理のフローチャート(標本移動中の処理)である。 第6の実施の形態の標本移動検出の概念図である。 第7の実施の形態の処理のフローチャート(蛍光観察時の処理)である。 第7の実施の形態の処理のフローチャート(標本移動中の露光処理)である。 第8の実施の形態の表示部[46]の表示画面の一例である。 第8の実施の形態の処理のフローチャート(蛍光観察時の処理)である。 第8の実施の形態の処理のフローチャート(録画中の露光処理)である。 第9の実施の形態の処理のフローチャート(ノイズデータ検出処理)である。 第9の実施の形態のノイズ検出の概念図である。 第10の実施の形態の処理のフローチャート(制御内容のスキップ)である。 第11の実施の形態の処理のフローチャート(蛍光観察で露光Underの場合の処理)である。 第11の実施の形態の処理のフローチャート(蛍光観察で露光Overの場合の処理)である。 第11の実施の形態の処理のフローチャート(蛍光観察時の露光制御処理)である。 第11の実施の形態の画像加算処理の概念図である。 第12の実施の形態の画像データサイズの違いによる表示内容変化の説明図である。 第12の実施の形態の画像サイズ拡大/縮小の概念図である。 第12の実施の形態の処理のフローチャート(画像サイズ変更処理)である。 第13の実施の形態の露光制御の違いによる画面表示の輝度変化を説明する概念図である。 第13の実施の形態の処理のフローチャート(補完処理制御)である。 第14の実施の形態の処理のフローチャート(全体フロー)である。 第14の実施の形態の処理のフローチャート(補完制御処理)である。
符号の説明
1…透過照明用光源
2…透過用コレクタレンズ
3…透過用フィルター群
4…透過用ND1
5…透過用ND2
6…透過用AS
7…コンデンサレンズ
8…ステージ
9…観察試料
10…レボルバー
11…対物レンズ1
12…対物レンズ2
13…キューブターレット
14…蛍光キューブ
15…励起フィルター
16…吸収フィルター
17…落射照明用光源
18…落射用コレクタレンズ
19…落射用フィルター群
20…落射用ND1
21…落射用ND2
22…落射用シャッター
23…落射用AS
24…透過照明用光源調光回路
25…透過フィルター駆動回路
26…透過用AS駆動回路
27…フォーカス駆動回路
28…XYステージ駆動回路
29…レボルバー駆動回路
30…キューブ駆動回路
31…落射照明用光源点灯回路
32…落射用フィルター駆動回路
33…落射用AS駆動回路
34…顕微鏡制御部
35…結像レンズ
36…撮像素子(CCD)
37…画像信号処理調整部
38…CDS
39…AMP
40…A/D変換器
41…タイミングジェネレータ
42…フレームメモリ
43…撮像制御部
44…システム制御部
45…表示用メモリ
46…表示部
47…操作部
48…CPU
49…HDD
50…メインメモリ
51…システムバス
52…表示用I/F
53…汎用バスI/F(PCI/ISA等)
54…バスブリッジ
55…グラフィックコントローラ
56…カメラI/F部
57…IEEE1394I/F部
58…キーボード
59…マウス
60…CPU
61…ROM
62…RAM
63…CPUバス
64…PC I/F回路
65…専用I/F回路
66…レボルバー位置検出部
67…ステージ操作検出部
68…手動操作部
681…汎用I/F変換部
69…汎用I/Fケーブル
70…画像処理回路
71…OS
72…アプリケーション層
73…ドライバ層
74…表示用ドライバ
75…通信用ドライバ
76…入力装置用ドライバ
77…ハードウェア
78…USB I/F部
79…観察画面
80…操作MENU
81…BFボタン
82…FLボタン
83…X+ボタン
84…X−ボタン
85…Y+ボタン
86…Y−ボタン
87…UPボタン
88…DOWNボタン
89…ポインタ
90…ポインタ軌跡
91…画質選択メニュー
92…Normalボタン
93…Highボタン
94…移動方向
95…録画用ボタン
96…REC(録画)ボタン
97…STOP(停止)ボタン
201…フォトダイオード
202…垂直転送路
203…水平転送路
204…信号検出部
205…AMP
206…撮像素子駆動電源
LP1…透過照明光路
LP2…落射照明光路
LP3…観察光路

Claims (28)

  1. 標本を拡大観察するための光学系を有する顕微鏡と、
    前記顕微鏡により得られた標本像を撮像信号に光電変換する撮像手段と、
    前記撮像手段に結像される前記標本像の入射光量を抑制するために、前記顕微鏡に含まれる調整部位群を制御する光量調整手段と、
    前記撮像手段により光電変換された前記撮影信号を所望の状態に調整するために、前記撮像手段に関する調整部位群を制御する撮像調整手段と、
    前記撮像信号に基づいて前記標本像の明るさを測定する測光手段と、
    前記撮像信号に基づいて生成された撮像画像が表示される表示手段と、
    前記光量調整手段と前記撮像調整手段とを制御して、前記表示手段に連続的に表示させる画像の連続表示間隔を示す連続表示速度を制御する制御手段と、
    前記標本の観察位置を変更あるいは観察倍率を変更する観察位置変更手段と、観察位置の検出あるいは観察倍率を検出する観察状態検出手段とのうち少なくとも一方、
    を備えることを特徴とする顕微鏡観察システム。
  2. 前記制御手段は、前記連続表示速度の下限が前記表示手段の観察及び操作可能な最低限の表示速度となるように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御する
    ことを特徴とする請求項1に記載の顕微鏡観察システム。
  3. 前記制御手段は、前記連続表示の最小間隔の上限が前記表示手段の最大フレームレートによる表示間隔になるように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御する
    ことを特徴とする請求項1に記載の顕微鏡観察システム。
  4. 前記制御手段は、前記撮像手段によって光電変換され前記表示手段に表示可能なデータに変換されるまでの最短時間が最大フレームレートによる表示間隔になるように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御する
    ことを特徴とする請求項1に記載の顕微鏡観察システム。
  5. 前記制御手段は、前記撮像手段によって光電変換され画像信号として読み出される読み出し速度を基準に、前記連続表示間隔の上限を規定して、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御する
    ことを特徴とする請求項4に記載の顕微鏡観察システム。
  6. 前記顕微鏡観察システムは、さらに、
    前記撮像手段によって光電変換された後に所定の画像処理がされた撮像信号を前記制御手段へ伝達する外部通信手段を備え、
    前記制御手段は、前記外部通信手段の最大データ伝達速度に基づいて、前記連続表示速度の上限を規定して前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御する
    ことを特徴とする請求項4に記載の顕微鏡観察システム。
  7. 前記制御手段は、前記表示手段の観察及び操作可能な最低限の表示速度を前記連続表示速度の下限とし、前記表示手段の最大フレームレートを前記連続表示速度の上限とし、前記連続表示速度が前記下限と前記上限の範囲内に入るように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御する
    ことを特徴とする請求項1に記載の顕微鏡観察システム。
  8. 前記制御手段は、前記表示手段の観察及び操作可能な最低限の表示速度を前記連続表示速度の下限とし、前記撮像手段によって光電変換され前記表示手段に表示可能なデータに変換されるまでの速度の上限として示される最大フレームレートを前記連続表示速度の上限とし、前記連続表示速度が前記下限と前記上限の範囲内に入るように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御する
    ことを特徴とする請求項1に記載の顕微鏡観察システム。
  9. 前記制御手段は、前記観察位置変更手段が非動作中の場合、あるいは前記観察状態検出手段による移動状態が非動作状態の場合には、前記標本自体の移動の変化を識別し、前記標本が移動していると認識した場合には、前記連続表示速度の制御を行わない
    ことを特徴とする請求項1〜8のうちいずれか1項に記載の顕微鏡観察システム。
  10. 前記顕微鏡観察システムは、前記光量調整手段により制御される調整部位と前記撮像調整手段により制御される調整部位を合計して2つ以上有し、
    前記制御手段は、前記調整部位を調整する順番に優先順位を設け、調整される撮影画像の解像が変化する前記調整部位と、光電変換された電気信号のノイズレベルに影響を及ぼす前記調整部位とのうち少なくともいずれかの制御の優先順位を下げて前記連続表示速度を制御する
    ことを特徴とする請求項1、7、または8に記載の顕微鏡観察システム。
  11. 前記顕微鏡観察システムは、前記光量調整手段により制御される調整部位と前記撮像調整手段により制御される調整部位を合計して2つ以上有し、
    前記制御手段は、前記調整部位を調整する順番に優先順位を設け、前記標本に照射される光量が増大する傾向にある前記調整部位を制御する優先順位を下げて前記連続表示速度を制御する
    ことを特徴とする請求項1、7、または8に記載の顕微鏡観察システム。
  12. 前記顕微鏡観察システムは、前記光量調整手段により制御される調整部位と前記撮像調整手段により制御される調整部位を合計して2つ以上有し、
    前記制御手段は、前記調整部位を調整する順番に優先順位を設け、前記連続表示速度の間隔を長くすることに起因する前記調整部位を制御する優先順位を下げて前記連続表示速度を制御する
    ことを特徴とする請求項1、7、または8に記載の顕微鏡観察システム。
  13. 前記顕微鏡観察システムは、さらに、
    前記連続的に表示される画像の記録をする画像記録手段
    を備え、
    前記制御手段は、前記連続表示速度の下限が前記画像記録手段に記録するビデオレートになるように、前記光量調整手段と前記撮像調整手段を制御することにより、前記連続表示速度を制御する
    ことを特徴とする請求項1または4に記載の顕微鏡観察システム。
  14. 前記顕微鏡により光学系の状態が異なった標本観察を行うことができる2以上の観察法を用いて観察することができ、
    前記顕微鏡観察システムは、前記光量調整手段により制御される調整部位と前記撮像調整手段により制御される調整部位を合計して2つ以上有し、
    前記顕微鏡観察システムは、さらに、前記観察法に応じて前記調整部位を調整する優先順位が設定されており、該観察法を切り換えるための観察法切り替え手段
    を備えることを特徴とする請求項10〜13のうちいずれか1項に記載の顕微鏡観察システム。
  15. 前記制御手段は、前記観察法切り換え手段に基づいて、前記連続表示速度の制御を行う
    ことを特徴とする請求項14に記載の顕微鏡観察システム。
  16. 前記制御手段は、前記光電変換された撮像信号の信号ノイズレベルを計測し、前記信号ノイズにより劣化する観察画像で観察に耐えうる信号ノイズレベルの基準値を設け、前記計測手段より計測されたノイズレベルが前記基準値を超えたか否かを判定し、該判定結果に基づいて、前記連続表示速度の制御を行う
    ことを特徴とする請求項14または15に記載の顕微鏡観察システム。
  17. 前記観察法の種別が明視野観察である場合、前記制御手段は前記連続表示速度の制御を行わない
    ことを特徴とする請求項15または16に記載の顕微鏡観察システム。
  18. 前記顕微鏡にて光学系の状態で透過照明光学系が選択されている場合、前記制御手段は前記連続表示速度の制御を行わない
    ことを特徴とする請求項15、16、または17記載の顕微鏡観察システム。
  19. 前記観察法の種別が蛍光観察または暗視野観察の場合、前記制御手段は前記連続表示速度の制御を行う
    ことを特徴とする請求項15〜18のうちいずれか1項に記載の顕微鏡観察システム。
  20. 前記顕微鏡観察システムは、さらに、
    前記光量調整手段または前記撮像調整手段で制御される前記調整部位の調整に関する情報を入力できる調整入力手段を備え、
    前記制御手段は、前記調整入力手段により調整された前記調整部位以外の調整部位に関して、前記連続表示速度を制御する
    ことを特徴とする請求項1〜19のうちいずれか1項に記載の顕微鏡観察システム。
  21. 前記制御手段は、前記光量調整手段または前記撮像調整手段により前記連続表示速度を制御しても最低限の前記表示間隔時間に達しない場合に、前記表示部に連続的に表示される所定画像データに対して該所定画像データからn(n:任意の整数)フレーム前までに表示されるn個のフレーム画像データを累積加算し、該加算された画像データを現在の表示画像として表示すると共に、前記連続表示速度を制御する
    ことを特徴とする請求項1、2、7、または8に記載の顕微鏡観察システム。
  22. 前記観察位置変更手段が動作中の場合、あるいは前記観察状態検出手段により移動中と判断した場合には、前記制御手段は、前記調整部位を調整する順番の優先順位を一時的に変更する
    ことを特徴とする請求項1〜8及び10〜21のうちいずれか1項に記載の顕微鏡観察システム。
  23. 前記制御手段は、前記光量調整手段または前記撮像調整手段にて連続表示速度を制御しても最低限の表示間隔時間に達しない場合に、前記観察位置変更手段の変更速度を制限する
    ことを特徴とする請求項1、2、7、または8に記載の顕微鏡観察システム。
  24. 前記制御手段は、前記撮像調整手段により制御された結果、前記表示手段に表示されるべき表示画像のサイズが変わっても該表示部に表示される画像を一定のサイズに保持する
    ことを特徴とする請求項1〜23のうちいずれか1項に記載の顕微鏡観察システム。
  25. 前記制御手段は、前記調整部位のうち光量の変化、画像の変化が断続的に発生する調整を適用する場合、該調整が完了するまでは該調整直前の画像を表示させ続ける調整補完処理を行う
    ことを特徴とする請求項1に記載の顕微鏡観察システム。
  26. 前記顕微鏡観察システムは、さらに、
    前記調整直前の画像を保持する保持手段
    を備え、
    前記制御手段は、前記表示手段に表示されている連続的な表示を停止し、断続的に光量が変化する前記調整部位を制御し、断続的に光量が変化する前記調整部位の制御が完了するまでの間、前記保持手段により保持された画像データを前記表示手段に表示させ、断続的に光量が変化する前記調整部位の制御が完了したら連続的な表示を再開させる
    ことを特徴とする請求項25に記載の顕微鏡観察システム。
  27. 前記制御手段は、前記観察位置移動手段により前記標本が移動している場合、前記調整補完処理を適用する
    ことを特徴とする請求項25または26に記載の顕微鏡観察システム。
  28. 前記制御手段は、前記観察位置移動手段により前記標本が移動しており、断続的に光量が変化する前記調整部位を駆動する制御の必要性が発生した場合でも、連続的に変化する調整部位で一旦補正を掛けて表示画像の輝度が一定になるように保つ前記調整補完処理を実行し、前記標本の移動が停止した場合に前記連続表示速度を制御する
    ことを特徴とする請求項27に記載の顕微鏡観察システム。
JP2007303890A 2007-11-26 2007-11-26 顕微鏡観察システム Expired - Fee Related JP5289756B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007303890A JP5289756B2 (ja) 2007-11-26 2007-11-26 顕微鏡観察システム
US12/275,419 US8102418B2 (en) 2007-11-26 2008-11-21 Microscope observation system
EP08020475.3A EP2065745A3 (en) 2007-11-26 2008-11-25 Microscope observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007303890A JP5289756B2 (ja) 2007-11-26 2007-11-26 顕微鏡観察システム

Publications (2)

Publication Number Publication Date
JP2009128648A true JP2009128648A (ja) 2009-06-11
JP5289756B2 JP5289756B2 (ja) 2013-09-11

Family

ID=40386182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007303890A Expired - Fee Related JP5289756B2 (ja) 2007-11-26 2007-11-26 顕微鏡観察システム

Country Status (3)

Country Link
US (1) US8102418B2 (ja)
EP (1) EP2065745A3 (ja)
JP (1) JP5289756B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030778A (ja) * 2009-07-31 2011-02-17 Canon Inc 医用画像撮影装置およびその撮影方法
JP2012065257A (ja) * 2010-09-17 2012-03-29 Olympus Corp 顕微鏡用撮像装置
JP2013148776A (ja) * 2012-01-20 2013-08-01 Olympus Corp 顕微鏡システム
JP2014232266A (ja) * 2013-05-30 2014-12-11 オリンパス株式会社 測定顕微鏡装置及びコントローラ
JP2015087719A (ja) * 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
US9029754B2 (en) 2011-12-09 2015-05-12 Sony Corporation Light detection apparatus to include an exposure time period determination unit configured to determine a noise level base on first dark current and second dark current
JP2016048400A (ja) * 2015-12-22 2016-04-07 オリンパス株式会社 拡大観察装置、及び、拡大観察方法
JP2017151471A (ja) * 2017-05-09 2017-08-31 浜松ホトニクス株式会社 画像取得装置及び画像取得方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5336936B2 (ja) * 2009-06-08 2013-11-06 オリンパス株式会社 撮像装置及び顕微鏡システム
JP2011124948A (ja) * 2009-12-14 2011-06-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
DE102010027905B4 (de) * 2010-04-19 2018-09-13 Olympus Winter & Ibe Gmbh Videoendoskopsystem und Verfahren zum Betreiben eines Videoendoskopsystems
US20120154627A1 (en) * 2010-12-20 2012-06-21 William Rivard Systems and methods for controlling color balance for a photographic illuminator
CN103607940B (zh) * 2011-06-21 2015-11-25 奥林巴斯株式会社 荧光观察装置、荧光观察系统和荧光图像处理方法
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
JP5863357B2 (ja) * 2011-09-21 2016-02-16 オリンパス株式会社 拡大観察装置、並びに、拡大観察装置の画像表示方法及び検鏡法切換方法
US9571751B2 (en) 2015-07-13 2017-02-14 International Business Machines Corporation Selective brightness control in photography
JP6698451B2 (ja) * 2016-07-11 2020-05-27 オリンパス株式会社 観察装置
LU100777B1 (de) * 2018-04-23 2019-10-23 Cytena Gmbh Verfahren zum Untersuchen einer Flüssigkeit, die wenigstens eine Zelle und/oder wenigstens ein Partikel enthält
DE102018222300A1 (de) * 2018-12-19 2020-06-25 Leica Microsystems Cms Gmbh Skalierende Detektion

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07253548A (ja) * 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH07281096A (ja) * 1994-04-11 1995-10-27 Olympus Optical Co Ltd 顕微鏡システム
JPH08240774A (ja) * 1995-03-02 1996-09-17 Olympus Optical Co Ltd 顕微鏡装置
JPH10253896A (ja) * 1997-01-08 1998-09-25 Olympus Optical Co Ltd 画像入力装置
JP2000115632A (ja) * 1998-09-30 2000-04-21 Sharp Corp 映像信号処理装置
JP2001292369A (ja) * 2000-02-04 2001-10-19 Olympus Optical Co Ltd 顕微鏡システム
JP2001358984A (ja) * 2000-06-15 2001-12-26 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
JP2002023063A (ja) * 2000-07-07 2002-01-23 Nikon Corp 紫外線顕微鏡及びその制御方法
JP2002165141A (ja) * 2000-11-27 2002-06-07 Sony Corp 固体撮像素子の駆動方法、及びカメラ
JP2003008982A (ja) * 2001-06-18 2003-01-10 Olympus Optical Co Ltd 顕微鏡用撮像装置
JP2003185936A (ja) * 2001-12-17 2003-07-03 Nikon Corp 顕微鏡システム
JP2004128582A (ja) * 2002-09-30 2004-04-22 Olympus Corp 顕微鏡撮影装置
JP2004138818A (ja) * 2002-10-17 2004-05-13 Olympus Corp 顕微鏡システム
JP2004222074A (ja) * 2003-01-16 2004-08-05 Canon Inc 撮像装置
JP2005269376A (ja) * 2004-03-19 2005-09-29 Mitsubishi Electric Corp 画像処理装置及び通信装置
JP2006145793A (ja) * 2004-11-19 2006-06-08 Olympus Corp 顕微鏡画像撮像システム
JP2006352227A (ja) * 2005-06-13 2006-12-28 Olympus Corp 撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0124241B1 (en) * 1983-03-29 1988-11-02 Olympus Optical Co., Ltd. Microscope provided with automatic focusing device
JP3537205B2 (ja) * 1995-02-02 2004-06-14 オリンパス株式会社 顕微鏡装置
US6795238B2 (en) * 1997-12-02 2004-09-21 Olympus Optical Co., Ltd. Electronic camera for microscope
US6400502B1 (en) * 1998-08-18 2002-06-04 Nikon Corporation Microscope
JP4624513B2 (ja) * 1999-01-19 2011-02-02 オリンパス株式会社 顕微鏡用撮像装置
US6724419B1 (en) 1999-08-13 2004-04-20 Universal Imaging Corporation System and method for acquiring images at maximum acquisition rate while asynchronously sequencing microscope devices
WO2001013640A1 (en) 1999-08-13 2001-02-22 Universal Imaging Corporation System and method for acquiring images at maximum acquisition rate while asynchronously sequencing microscope devices
US6917377B2 (en) 2000-02-04 2005-07-12 Olympus Optical Co., Ltd. Microscope system
US6970198B1 (en) * 2000-09-14 2005-11-29 Hewlett-Packard Development Company, L.P. Digital camera and method of improving image quality in live view mode
CN1166972C (zh) * 2000-09-20 2004-09-15 奥林巴斯光学工业株式会社 倒立型显微镜
US7199823B2 (en) * 2001-06-18 2007-04-03 Olympus Optical Co., Ltd. Method and apparatus for improving live view performance of an image pickup apparatus for a microscope
JP4021750B2 (ja) 2002-11-28 2007-12-12 株式会社キーエンス 受光素子に光電子増倍管を用いた共焦点顕微鏡システム、コンピュータプログラム、及び画面表示の明るさ調整方法
DE102004053730B4 (de) * 2004-11-06 2014-04-03 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Unterdrückung von Falschlicht
US7670027B2 (en) * 2006-01-31 2010-03-02 National Institute Of Advanced Industrial Science And Technology Laser illuminator
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07253548A (ja) * 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH07281096A (ja) * 1994-04-11 1995-10-27 Olympus Optical Co Ltd 顕微鏡システム
JPH08240774A (ja) * 1995-03-02 1996-09-17 Olympus Optical Co Ltd 顕微鏡装置
JPH10253896A (ja) * 1997-01-08 1998-09-25 Olympus Optical Co Ltd 画像入力装置
JP2000115632A (ja) * 1998-09-30 2000-04-21 Sharp Corp 映像信号処理装置
JP2001292369A (ja) * 2000-02-04 2001-10-19 Olympus Optical Co Ltd 顕微鏡システム
JP2001358984A (ja) * 2000-06-15 2001-12-26 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
JP2002023063A (ja) * 2000-07-07 2002-01-23 Nikon Corp 紫外線顕微鏡及びその制御方法
JP2002165141A (ja) * 2000-11-27 2002-06-07 Sony Corp 固体撮像素子の駆動方法、及びカメラ
JP2003008982A (ja) * 2001-06-18 2003-01-10 Olympus Optical Co Ltd 顕微鏡用撮像装置
JP2003185936A (ja) * 2001-12-17 2003-07-03 Nikon Corp 顕微鏡システム
JP2004128582A (ja) * 2002-09-30 2004-04-22 Olympus Corp 顕微鏡撮影装置
JP2004138818A (ja) * 2002-10-17 2004-05-13 Olympus Corp 顕微鏡システム
JP2004222074A (ja) * 2003-01-16 2004-08-05 Canon Inc 撮像装置
JP2005269376A (ja) * 2004-03-19 2005-09-29 Mitsubishi Electric Corp 画像処理装置及び通信装置
JP2006145793A (ja) * 2004-11-19 2006-06-08 Olympus Corp 顕微鏡画像撮像システム
JP2006352227A (ja) * 2005-06-13 2006-12-28 Olympus Corp 撮像装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030778A (ja) * 2009-07-31 2011-02-17 Canon Inc 医用画像撮影装置およびその撮影方法
US8537971B2 (en) 2009-07-31 2013-09-17 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
JP2012065257A (ja) * 2010-09-17 2012-03-29 Olympus Corp 顕微鏡用撮像装置
US9029754B2 (en) 2011-12-09 2015-05-12 Sony Corporation Light detection apparatus to include an exposure time period determination unit configured to determine a noise level base on first dark current and second dark current
JP2013148776A (ja) * 2012-01-20 2013-08-01 Olympus Corp 顕微鏡システム
JP2014232266A (ja) * 2013-05-30 2014-12-11 オリンパス株式会社 測定顕微鏡装置及びコントローラ
JP2015087719A (ja) * 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
WO2015064116A1 (ja) * 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
US9911028B2 (en) 2013-11-01 2018-03-06 Hamamatsu Photonics K.K. Image acquisition device and image acquisition method for image acquisition device
JP2016048400A (ja) * 2015-12-22 2016-04-07 オリンパス株式会社 拡大観察装置、及び、拡大観察方法
JP2017151471A (ja) * 2017-05-09 2017-08-31 浜松ホトニクス株式会社 画像取得装置及び画像取得方法

Also Published As

Publication number Publication date
US20090296203A1 (en) 2009-12-03
EP2065745A2 (en) 2009-06-03
JP5289756B2 (ja) 2013-09-11
US8102418B2 (en) 2012-01-24
EP2065745A3 (en) 2014-06-11

Similar Documents

Publication Publication Date Title
JP5289756B2 (ja) 顕微鏡観察システム
CN101185322B (zh) 一种用于数字成像的方法、设备和控制器
US20090185034A1 (en) Imaging device for microscope
JP6136085B2 (ja) 画像取得装置、画像取得方法、およびコンピュータプログラム
JP2009163155A (ja) 顕微鏡装置
JP2008058396A (ja) 顕微鏡撮像システム、顕微鏡撮像方法、及び、記録媒体
JP4624513B2 (ja) 顕微鏡用撮像装置
JP2012150179A (ja) 顕微鏡用撮像装置および顕微鏡観察方法
WO2017163427A1 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
US20150116477A1 (en) Microscopic Imaging Device, Microscopic Imaging Method, and Microscopic Imaging Program
US8576306B2 (en) Image sensing apparatus, image processing apparatus, control method, and computer-readable medium
JP2023052796A (ja) 顕微鏡システムの制御方法、顕微鏡システム
JP4504644B2 (ja) 顕微鏡像撮像装置及び顕微鏡像撮像方法
JP2013229706A (ja) 画像取得装置、画像取得方法、および画像取得プログラム
JP6253509B2 (ja) 画像表示方法、制御装置、顕微鏡システム
JP4979469B2 (ja) 顕微鏡撮像装置
JP4563693B2 (ja) 顕微鏡撮影装置、明るさ調整方法および明るさ調整プログラム
JP6246551B2 (ja) 制御装置、顕微鏡システム、制御方法およびプログラム
JP2009063679A (ja) 顕微鏡システム
JP2005037683A (ja) 顕微鏡用撮像装置とその制御方法、及び制御方法に係るプログラム
JP3804527B2 (ja) 顕微鏡システム
JP2014178403A (ja) デジタル顕微鏡装置、情報処理方法、および情報処理プログラム
JP5904737B2 (ja) 顕微鏡システム
JP5532318B2 (ja) 顕微鏡装置および記録媒体
JP6378869B2 (ja) 顕微鏡、顕微鏡システム、制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130605

R151 Written notification of patent or utility model registration

Ref document number: 5289756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees