JP2016206671A - 顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法 - Google Patents

顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法 Download PDF

Info

Publication number
JP2016206671A
JP2016206671A JP2016082295A JP2016082295A JP2016206671A JP 2016206671 A JP2016206671 A JP 2016206671A JP 2016082295 A JP2016082295 A JP 2016082295A JP 2016082295 A JP2016082295 A JP 2016082295A JP 2016206671 A JP2016206671 A JP 2016206671A
Authority
JP
Japan
Prior art keywords
microscope
image
image processing
processing mode
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016082295A
Other languages
English (en)
Other versions
JP6266033B2 (ja
Inventor
シュニッツラー ハラルト
Schnitzler Harald
シュニッツラー ハラルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of JP2016206671A publication Critical patent/JP2016206671A/ja
Application granted granted Critical
Publication of JP6266033B2 publication Critical patent/JP6266033B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

【課題】本発明は、顕微鏡(2)のための顕微鏡イメージコントローラ装置(1)、顕微鏡(2)および顕微鏡検査方法(100)に関する。【解決手段】いかなる変化も検出されない場合、またはごく僅かな変化しか検出されない場合、第1のイメージ処理モード(110)から第2のイメージ処理モード(120)へ、特にマルチイメージ処理によるモードへ、自動的に切り替え可能にしたことで、顕微鏡(2)の動作が単純化される。【選択図】図1

Description

本発明は、顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法に関する。
顕微鏡特に先進的なイメージ処理方式を用いたディジタル顕微鏡については、既に知られている。これらの方式の多くが必要とするのは、2つ以上のイメージを取得することであり、少なくとも2つのイメージが一緒に処理されて、強化もしくは高品質化された単一の出力イメージが生成される。この種のマルチイメージ処理の1つは、例えばいわゆるzスタックであり、これによれば、出力イメージにおける被写界深度を大きくするために、それぞれ異なる焦点面の複数の画像が合成される。さらに別のこの種の処理として知られているのは、虹彩融像、HDR(ハイダイナミックレンジ)、または防眩である。
実際には、マルチイメージ処理を用いた顕微鏡による作業は、ユーザに呈示されるイメージの相前後する更新の間の時間を表すコンテンツフレームレートが遅いことに起因して、扱いにくくなる場合がある。しかもこれらのイメージ処理方法は、機械的および電気的な部分が程度の差こそあれ連続的に作動されるにつれて、顕微鏡の磨耗を増大させていき、さらにこれによって顕微鏡が発生する環境騒音も大きくなる。
本発明の課題は、顕微鏡の使用を容易にし、さらに顕微鏡の磨耗を低減し、それにもかかわらず、マルチイメージ処理方式によって生成された強化もしくは高品質化されたイメージをユーザに提供することにある。
本発明によればこの課題は、以下の構成を有する顕微鏡のための顕微鏡イメージコントローラ装置によって解決される。即ち、当該顕微鏡イメージコントローラ装置は、入力部と出力部とを有しており、入力部は、各々1つの顕微鏡イメージを表す複数の連続する入力イメージデータセット、および顕微鏡の少なくとも1つの可変のコンフィギュレーションパラメータを表す複数の連続するセッティングデータ、のうち少なくとも一方を受信し、出力部は、各々1つの顕微鏡イメージを表す出力イメージデータセットを出力し、当該顕微鏡イメージコントローラ装置は、少なくとも2つの連続する入力イメージデータセット、および/または、少なくとも2つの連続するセッティングデータのうち、少なくとも一方の間における変化量に応じて、第1のイメージ処理モードから第2のイメージ処理モードへ切り替わるように構成されており、第2のイメージ処理モードにおいて、出力イメージデータセットは、第1のイメージ処理モードにおける個数よりも多い個数の、連続する入力イメージデータセットに基づいている。
さらに上記の課題は、以下の構成を有する顕微鏡によって解決される。即ち、各々1つの顕微鏡イメージを表す、複数の連続するディスプレイデータセットを表示するディスプレイと、カメラおよび/または少なくとも1つのセンサ装置のうち、少なくとも1つとが設けられており、カメラは、各々1つの顕微鏡イメージを表す複数の連続する入力イメージデータセットを供給し、少なくとも1つのセンサ装置は、当該顕微鏡の少なくとも1つの可変のコンフィギュレーションパラメータを表す、複数の連続するセッティングデータを取得し、当該顕微鏡は、入力イメージデータセットおよび/またはセッティングデータにおける変化量に応じて、第1のイメージ処理モードと第2のイメージ処理モードとにおいて動作するように構成されており、第2のイメージ処理モードにおいて、ディスプレイデータセットの各々は、第1のイメージ処理モードにおける個数よりも多くの個数の入力イメージデータセットに基づく。
さらに上記の課題は、各々1つの顕微鏡イメージを表す複数の連続する入力イメージデータセットから、各々1つの顕微鏡イメージを表す複数の連続する出力イメージデータセットを自動的に発生させるための、以下の構成を備えた顕微鏡検査方法によって解決される。即ち、複数の出力イメージデータセットのうち後続の1つのセットを発生させるために用いられる、複数の連続する入力イメージデータの個数を、少なくとも2つの連続する入力イメージデータセット、および/または、顕微鏡の少なくとも1つの可変のコンフィギュレーションパラメータを表す複数の連続するセッティングデータのうち、少なくとも一方が所定量だけ変化したときに、自動的に変化させる。
本発明による解決手段によれば、1つの出力イメージ生成のためにより僅かなイメージが用いられる第1のイメージ処理モードから、1つの出力イメージ生成のためにより多くのイメージが用いられる第2のイメージ処理モードへ、顕微鏡が自動的に切り替わることから、顕微鏡の簡単な動作が可能になる。2つのモード間の切り替えを、複数の入力イメージにおける変化量に依存させることによって、キャプチャされたイメージが緩慢に変化しているかまたはまったく変化していない状況において、高品質化された画像を自動的に用いることができるようになる。したがって本発明による装置および方法によれば、目下のイメージ変化速度に最も適したイメージ処理モードが自動的に選択される。照明、焦点の変更、テーブルの移動、または焦点距離の変更など、顕微鏡の可変のコンフィギュレーションパラメータを表す複数の連続するセッティングデータに依存して2つのモード間の切り替えを行うことによって、顕微鏡が静止しており静止画像が予期される場合に、高品質化されたイメージ処理を自動的に用いることができるようになる。
さらに本発明による解決手段を、互いに独立した複数の実施形態によって発展および改善させることができ、要求通りに任意に組み合わせることができる。
顕微鏡イメージコントローラ装置を、少なくとも2つの連続する入力イメージデータセットおよび/または少なくとも2つの連続するセッティングデータのうち、少なくとも一方の間における変化量に応じて、第2のイメージ処理モードから第1のイメージ処理モードへ切り替わるように構成することができる。この実施形態によれば、第1のイメージ処理モードに戻る切り替えも、入力イメージデータおよび/またはセッティングデータにおける変化量に依存する。例えば、これらのデータが高速に変化している場合には、本発明による装置および方法は、あまり時間がかからないイメージ処理方法を自動的に用い、これによって出力イメージデータにおいて変化を迅速に把握できるようになる。
第1のイメージ処理モードから第2のイメージ処理モードへ切り替えるための計算判定基準を、第2のイメージ処理モードから第1のイメージ処理モードへ切り替えるための計算判定基準とは異ならせることができる。例えば、第1のイメージ処理モードから第2のイメージ処理モードへの切り替えを、複数の連続する入力イメージデータに基づくものすることができる一方、第2のイメージ処理モードから第1のイメージ処理モードへの切り替えを、複数の連続するセッティングデータに基づくものとすることができる。さらに、後続のイメージおよび/またはセッティングデータにおける変化に対し、異なる閾値を用いてもよい。例えば、第1のイメージ処理モードから第2のイメージ処理モードへの切り替えに対する閾値を、第2のイメージ処理モードから第1のイメージ処理モードへの切り替えに対する閾値よりも小さくすることができる。このことに加え、または別の選択肢として、イメージデータおよび/またはセッティングデータの基準セットを使って、絶対的な閾値を用いてもよい。例えば、予め定められた個数の連続するイメージデータおよび/またはセッティングデータごとに、或いは、規定された期間の経過後に、1つの基準セットを定義することによって、基準セットを経時的に変化するものとしてもよい。2つの連続するデータセットに適用される閾値の代わりに、またはこの閾値に加えて、絶対的な閾値を用いることによって、閾値以下の一連の変化が見過ごされてしまうのが回避される。
特に、第1のイメージ処理モードから第2のイメージ処理モードへの切り替えのために、所定に期間にわたりいかなる変化も検出されないこと、またはごく僅かな変化しか検出されないこと、が必要とされる可能性がある。第2のイメージ処理モードから第1のイメージ処理モードに戻る切り替えの場合には、このような期間を設けないようにすることができ、変化が検出されるとただちに、切り替えが行われるようにすることができる。
変化量を、2つのデータセット間の相関法、イメージデータの統計比較例えばヒストグラム、平均輝度、ホワイトバランスからのデータ等を用いて、特定することができる。変化量の特定としてさらに、セッティングデータおよび/またはイメージデータにおける変化速度を含めることができ、変化速度がなければ、または閾値以下であれば、第2のイメージ処理モードへの切り替えが行われるようにすることができる。
第1のイメージ処理モードを、イメージの処理または変更をほとんどまたはまったく伴わないシングルイメージ処理モードとすることができる。このモードを特にライブビデオモードとすることができ、例えばこのモードによれば、高いフレームレートで、例えば毎秒少なくとも25個のフレームまたは画像を伴って、サンプルを調節することができる。この種のコンフィギュレーションの場合、第1のイメージ処理モードにおいて、サンプルを調節し、または適切な場所に移動させることができる。その後、調節が完了したことから、いかなる変化も動きも検出されなければ、顕微鏡は自動的に第2のイメージ処理モードに切り替わる。
第2のイメージ処理モードにおいて、少なくとも1つのマルチイメージ処理方式を用いることができる。このようなマルチイメージ処理方式を例えば、虹彩融像、zスタック、HDR(ハイダイナミックレンジ)、または防眩とすることができる。虹彩融像によれば、それぞれ異なるアパーチャで取得された複数のイメージが結合されて、被写界深度の改善が達成される。zスタックによれば、それぞれ異なる焦点距離による複数の画像が結合されて、被写界深度が改善される。また、HDRによれば、それぞれ異なる光強度によって取得された複数のイメージが結合される。さらに防眩によれば、それぞれ異なる照明方向によって取得された複数の画像が結合される。既述の方式は、イメージに関連する少なくとも1つのパラメータの変化を必要とする。したがってこれらの方式を用いる場合、第2のイメージ処理モードから第1のイメージ処理モードに戻る切り替えを、関連するパラメータの変化またはイメージの変化に基づくようにすべきではない。そうではなくこのケースでは、第2のイメージ処理モードから第1のイメージ処理モードへの切り替えを例えば、サンプルに付けられた運動検出器からの信号に基づくようにすべきである。別の選択肢として、所定時間の経過後に、またはマルチイメージ処理に関連するイメージすべてを取得した後に、切り替えが自動的に実行されるようにしてもよい。ただし、たとえ何らかのパラメータが変化しても、入力イメージデータに基づいてサンプルが動いたか否かを検出できる先進的なアルゴリズムを用いてもよい。
いずれのマルチイメージ処理を用いるのかを、例えばユーザが選択できる。ユーザは例えば、用いるべき所定の処理をターンオンすることができ、または用いるつもりではないプロセスをターンオフすることができる。上述の処理のいずれを用いるべきかを、ユーザが選択するようにしてもよい。さらに、いずれの処理を用いるべきであるのかが、アルゴリズムによって選択されるようにしてもよい。この種のアルゴリズムは、例えばイメージを分析して、いずれの処理が目下の状況に最も適切なものであるのかを判定することができる。
複数の連続する入力イメージデータセット間の変化量を、イメージ処理アルゴリズムによって計算することができる。この種のイメージ処理アルゴリズムは例えば、複数の連続する入力イメージデータセットを、例えば単純な減算などによって比較することができ、変化の大きさを表す値を供給することができる。さらにイメージ処理アルゴリズムを、複数の連続する入力イメージデータセットの変化を検出するために、相関を使って、またはより洗練された方式またはより複雑な方式を使って、動作させることができる。特に第1のイメージ処理モードから第2のイメージ処理モードへの切り替えのために、イメージ処理アルゴリズムによる変化量の計算を実施することができる。逆方向では、より単純な手法を用いることができ、例えばセンサによる動きの検出などを用いることができる。
有利であるのは、切り替えのためには、変化量がプログラミングされた閾値を超えなければならないようにすることである。これによって、切り替えのためには所定量の変化が必要とされるようにすることができる。したがって、切り替えを閾値に依存させることができる。例えば、2つの連続する値を比較し、これらの値の差に応じて切り替えが行われるようにすることができる。当然ながら、2つの非連続の値を用いてもよい。さらに、規定された期間にわたり値が所定の最大値および/または最小値を超えたか否かを、チェックすることができる。異なるセッティングに対し異なる値を切り替えに用いることができるように、閾値を定義できるようにしてもよい。特に、ノイズだけしか検出されなければ、やはり切り替えが実行されるように、ノイズレベルのオーダにある小さい変化を許容することができる。この種のノイズは例えば、振動の電子的な読み取りに起因する可能性がある。
入力部および/または出力部を、ポートまたはプラグなどのようなハードウェアコンポーネントとすることができる。これによって例えば、顕微鏡イメージコントローラ装置を既存の顕微鏡に取り付けることができるし、或いは、それらをプロセッサまたはプロセッサユニットの一部またはソフトウェア製品の一部のように、バーチャルなものとすることができ、そのようにして既存の顕微鏡を容易にレトロフィットさせることができるようになる。入力部および/または出力部を、ディジタル顕微鏡で用いられるバスシステムに接続されるように構成することができる。
有利には、第2のイメージ処理モードにおいて、この顕微鏡は、複数の連続するイメージデータセットを自動的に供給するように構成されており、この場合、複数の連続する入力イメージデータセットのうち少なくとも1つのセットは、複数の連続する入力イメージデータセットのうち少なくとも1つの別のセットに対し変更された、少なくとも1つのコンフィギュレーションパラメータを用いて生成されたものである。この種のコンフィギュレーションパラメータを、例えばアパーチャ、照明強度または照明方向、或いは焦点面などとすることができる。このようにすることによって特に、自動化された手法でマルチイメージ処理を用いることができるようになる。
顕微鏡は、2つ以上のディスプレイを有することができる。例えばこの場合、顕微鏡は、第1のイメージ処理モードからのイメージのために1つのディスプレイを備え、第2のイメージ処理モードからのイメージのために1つのディスプレイを備えている。
本発明は、直接相前後して続くイメージデータまたはセッティングデータのセットに限定されるものではない。イメージデータまたはセッティングデータの所定のセットをスキップしてもよく、さらに間隔をおいたイメージデータまたはセッティングデータのセットにおける変化量に応じて、切り替えを行ってもよい。例えば2番目のセットを、1番目のセットよりも複数のセットだけ後のセットとすることができる。
新たに計算された出力イメージデータは所定のコンテンツ表示レートで表示され、このコンテンツ表示レートはフレームレートよりも低く、ディスプレイに供給されるイメージとは無関係に、このコンテンツ表示レートでディスプレイが更新される。第2のイメージ処理モードではこのコンテンツ表示レートを、第1のイメージ処理モードにおけるレートよりも低くすることができる。このようにすることでユーザは、第1のイメージ処理モードでは、高速なフィードバックを伴ってサンプルを調節できるようになり、第2のイメージ処理モードでは、サンプルをより詳細に検査できるようになる。
入力イメージデータをキャプチャリングするためのコンテンツフレームレートを、第2のイメージ処理モードでは第1のイメージ処理モードよりも低くすることができる。したがって第1のイメージ処理モードにおいては、サンプルをより良好に観察することができる。
本発明による顕微鏡検査方法によれば、顕微鏡のアクチュエータおよび/または顕微鏡の周辺機器の監視を行うことができる。それらのアクチュエータまたは周辺機器を、アパーチャ、照明、フォーカシング、或いはサンプルの動き検出などに使用されるものとすることができる。
さらに顕微鏡は、2つ以上のカメラを含むことができる。例えば、第1のイメージ処理モードのために1台目のカメラを使用し、第2のイメージ処理モードのために2台目のカメラを使用することができる。このような実施例であれば本発明による装置および方法によって、例えば1番目のカメラの入力イメージデータにおける変化量に応じて、これら2台のカメラが切り替えられる。
本発明はさらに、上述の方法を実施するためのソフトウェアを含むコンピュータ媒体にも関する。
次に、具体例として有利な実施形態を参照しながら、本発明について説明する。さらなる発展形態および特徴は、各々それ自体が有利なものであり、それらを所望の通り任意に組み合わせることができる。
顕微鏡の顕微鏡イメージコントローラ装置の1つの実施例を略示した図 本発明による顕微鏡検査法の1つの実施形態を略示したフローチャート 図2の方法をいくつかのサブセクションを加えて示した図
図1には、顕微鏡イメージコントローラ装置1が、顕微鏡2の他の部分と共に示されている。この種の顕微鏡イメージコントローラ装置1を、既存の顕微鏡に追加可能な部分としてもよいし、または、顕微鏡2の一部分としてもよい。特にこの顕微鏡イメージコントローラ装置1を、顕微鏡2の分離不可能な部分とすることができる。
図1に示されている顕微鏡2は、それぞれ1つの顕微鏡イメージを表す、複数の連続する入力イメージデータセット50を供給するためのカメラ5を備えている。カメラ5は特に、顕微鏡イメージを表す入力イメージデータセット50をキャプチャリングするために、フレームグラバを備えており、これは例えばCCDチップまたは同等のものである。さらに顕微鏡2は、セッティングデータ60の複数の連続するセットを取得するための少なくとも1つのセンサ装置6を備えており、これらのセッティングデータ60は、顕微鏡2の少なくとも1つの可変のコンフィギュレーションパラメータ61を表す。この種のセンサ装置6は例えば、アパーチャ、照明ユニット、またはフォーカシング素子の状態を検出することができる。さらに顕微鏡2は、それぞれ1つの顕微鏡イメージを表す複数の連続するディスプレイデータセット71を表示するためのディスプレイ7を備えている。当然ながら顕微鏡2は、2つ以上のディスプレイ7を有することができる。
顕微鏡イメージコントローラ装置1は、それぞれ1つの顕微鏡イメージを表す、カメラ5からの複数の連続する入力イメージデータセット50と、顕微鏡2の少なくとも1つの可変のコンフィギュレーションパラメータを表す、センサ装置6からの複数の連続するセッティングデータ60とを受け取るために、入力部3を備えている。
さらに顕微鏡イメージコントローラ装置1は、それぞれ1つの顕微鏡イメージを表す出力イメージデータ70のセットを出力するために、出力部4を備えている。この場合、出力イメージデータ70は、ディスプレイ7において表示可能なディスプレイデータ70であり、これによってユーザはイメージを見ることができる。他の適用事例において、出力部4を別の部分と接続することもでき、例えばユーザにイメージを見せることなく、出力イメージデータ70を保存するために、ハードディスクドライブと接続することもできる。
顕微鏡イメージコントローラ装置1は、少なくとも2つの連続する入力イメージデータセット50および/または少なくとも2つの連続するセッティングデータ60のうち、少なくとも一方における変化量に応じて、第1のイメージ処理モード110から第2のイメージ処理モード120へ切り替わるように構成されている。第2のイメージ処理モード120において、出力イメージデータ70のセットは、第1のイメージ処理モード110における個数よりも多い個数の、連続する入力イメージデータセット50に基づく。したがって、例えばサンプルが動いていないことを表す変化量であれば、顕微鏡イメージコントローラ装置1は、第1のイメージ処理モード110から第2のイメージ処理モード120へ、自動的に切り替え可能である。サンプルがまだ移動しており、変化がまだ検出される限り、第1のイメージ処理モード110が用いられることになる。ある変化が十分に小さければ、または、変化が存在しなければ、第2のイメージ処理モード120を用いることができる。第2のイメージ処理モード120は、より詳細な出力イメージを供給することができ、および/または、より大きい被写界深度など、より良好な特性を有する出力イメージを供給することができる。第2のイメージ処理モード120を特に、マルチイメージ処理モードとすることができ、このモードにおいて、所定のパラメータを変化させたイメージを表す、少なくとも2つの連続する入力イメージデータセット50が結合されて、出力イメージデータ70の単一のセットが形成される。顕微鏡イメージコントローラ装置1は例えば、フォーカススタッキング、虹彩融像、HDR、または防眩アルゴリズムを使用することができ、これらにおいて、複数の連続する入力イメージデータセット50に対し、焦点距離、アパーチャ、照明強度、または照明方向がそれぞれ異なる。
第1のイメージ処理モードを、例えばライブイメージモードまたはライブビデオイメージモードとすることができ、このモードの場合、入力イメージデータセット50が出力される前は、それらのセットに対しほとんど変更が加えられず、または変更が加えられない。したがって出力イメージデータ70のセットは、入力イメージデータセット50に実質的に一致するものとすることができる。第1のイメージ処理モード110を特に、高いフレームレートに適合されたものとすることができ、それにより画像が高いフレームレートで取得されて表示され、したがってユーザは例えば、十分に高速な視覚的フィードバックを伴って、サンプルを移動させることができる。第1のイメージ処理モードにおけるフレームレートを、例えば毎秒25フレームまたはそれ以上とすることができ、つまり少なくとも25個の画像が取得されて表示される。顕微鏡イメージコントローラ装置1は、2つの連続する入力イメージデータセット50および少なくとも2つの連続するセッティングデータ60のうち、少なくとも一方における変化量に応じて、第2のイメージ処理モード120から第1のイメージ処理モード110へ切り替わるようにも構成されている。顕微鏡イメージコントローラ装置1は、少なくとも2つの連続する入力イメージデータセット50および少なくとも2つの連続するセッティングデータ60のうち、少なくとも一方における変化量に応じて、第2のイメージ処理モード120から第1のイメージ処理モード110へ切り替わるようにも構成されている。したがって、変化が検出されると、顕微鏡イメージコントローラ装置1は、第1のイメージ処理モード110に戻るように切り替わる。特に、第2のイメージ処理モード120において、1つのイメージシーケンスを取得中であり、そのシーケンスがまだ完了していないときに、このような変化が検出された場合には、その出力イメージが低品質となりアーチファクトを含むことになるならば、第2のイメージ処理モード120の結果を破棄し、それがユーザに表示されないように、またはディスクに保存されないように、顕微鏡イメージコントローラ装置1を構成することができる。
第1のイメージ処理モード110から第2のイメージ処理モード120へ切り替わる場合、逆の状況とは異なる計算基準、例えば異なる手法または閾値を用いることができる。例えば第1の切り替えを、入力イメージデータセット50に基づくものとすることができ、第2の切り替えを、センサ装置6からのデータに基づくものとすることができる。このことは、第2のイメージ処理モード120のときに、1つのイメージシーケンスを取得するために、所定のパラメータを変化させる場合に、特に重要であり、その理由は、入力イメージデータセット50が、このケースでは必然的に互いに異なるからである。特に、第1のイメージ処理モード110から第2のイメージ処理モード120への切り替えのために、所定の期間にわたりいかなる変化も検出されないこと、またはごく僅かな変化しか検出されないこと、が必要とされる可能性がある。第2のイメージ処理モード120から第1のイメージ処理モード110に戻る切り替えの場合には、このような期間を設けないようにすることができ、変化が検出されるとただちに、切り替えが行われるようにすることができる。
少なくとも装置が第1のイメージ処理モード120にある場合、複数の連続する入力イメージデータセット50間の変化量を、イメージ処理アルゴリズムによって計算することができる。この種のイメージ処理アルゴリズムを、著しく単純なものとすることができ、少なくとも2つの入力イメージデータセット50を簡単な減算によって比較するだけでよい。当然ながら、より洗練された手法も可能である。例えば、2つの連続する入力イメージデータセット50間の相関を計算して、変化の振幅を表す値を出力させてもよい。この種の変化が、イメージにとって重要であるほど十分に大きいか否かを、閾値の設定によって規定することができる。
切り替えのために、所定量の変化が必要とされるようにすることができる。切り替えを閾値に依存させることができる。所定の閾値を、ユーザによって定義することができ、または定義可能にすることができる。変化量を表す変数が閾値よりも小さければ、第2のイメージ処理モード120がアクティブにされる(または既にアクティブであればそのまま維持される)。この値が閾値よりも大きければ、第2のイメージ処理モード120が非アクティブにされ、および/または、顕微鏡イメージコントローラ装置1は第1のイメージ処理モード110に切り替わる(または第1のイメージ処理モード110が維持される)。この種の変数を例えば、現在の値と先行の値との比較によって取得することができる。別の選択肢として、またはこのことに加え、間隔を定義することができ、または定義可能であり、それによって変化量を表す値がこの間隔内にあるかぎり、顕微鏡イメージコントローラ装置1は第1のイメージ処理モード110に切り替わらないようになる。
図1の顕微鏡は、いかなる変化も検出されず、またはごく僅かな変化だけしか検出されなければ、第1のイメージ処理モード110から第2のイメージ処理モード120へ自動的に切り替わる。特に、上述のような僅かな変化は、ノイズレベルのオーダにある可能性があり、したがってノイズだけしか検出されなければ、やはり切り替えが実行される。この種のノイズは例えば、振動の電子的な読み取りに起因する可能性がある。その後、イメージに関連する少なくとも1つのパラメータを変化させながら、例えばアパーチャを段階的に開くことによって、または焦点を変化させることによって、または光の強度または方向を変化させることによって、1つのイメージシーケンスが自動的にキャプチャされる。
図2および図3には、本発明による顕微鏡検査方法100が示されている。図3では枠を加えることによって、顕微鏡検査方法100の特定の部分が表されている。
図3において、枠内にある左側のステップは、第1のイメージ処理モード110に関連する。2つの枠121および122を有する右側のステップは、第2のイメージ処理モード120に関連する。
第1のイメージ処理モード110は、第1のステップ111を有しており、このステップにおいて、例えばカメラ5によってイメージがキャプチャされる。第2のステップ112において、このイメージがディスプレイ7に送信される。第3のステップ113において、キャプチャされたばかりのイメージが次のイメージと比較される。この比較は、イメージを表す入力イメージデータセット50に、所定のアルゴリズムを適用することによって、ディジタル形式で行われる。このイメージが、後続のイメージと同一ではない場合、または変化が十分に大きい場合、第1のステップ111が再び実行され、さらに次のイメージが取得されることになる。イメージが後続のイメージと同一である場合、または重要ではない程度に十分に小さい場合、顕微鏡イメージコントローラ装置1は、第2のイメージ処理モード120に自動的に切り替わり、ステップ123A、123B、123Cまたは123Dのいずれか1つのステップにおいてパラメータを変化させながら、1つのイメージシーケンスが取得される。
ここで考えられるマルチイメージ処理を、虹彩融像123A、zスタック123B、HDR(ハイダイナミックレンジ)123C、または防眩123Dとすることができる。これらの処理のいずれを用いるのかは、ユーザによって設定することができる。ユーザは例えば、用いるべき所定の処理をターンオンすることができ、または用いるつもりではない処理をターンオフすることができる。上述の処理のいずれを用いるべきかを、ユーザが選択するようにしてもよい。さらに、いずれの処理を用いるべきであるのかが、アルゴリズムによって選択されるようにしてもよい。この種のアルゴリズムは、例えばイメージを分析して、いずれの処理が目下の状況に最も適切なものであるのかを判定することができる。当然ながら、1つの処理123A、123B、123Cまたは123Dよりも多くの処理を実行させることができる。
続くステップ124において、マルチイメージ処理123A、123B、123Cまたは123Dが成功したか否かがチェックされる。例えばイメージシーケンスを取得しているときにサンプルが動くなどして、マルチイメージ処理123A、123B、123Cまたは123Dが成功しなかった場合、顕微鏡イメージコントローラ装置1は、第1のイメージ処理モード110に戻るように自動的にセットされ、ステップ111においてイメージが取得されることになる。マルチイメージ処理123A、123B、123Cまたは123Dが成功した場合、次のステップ125においてイメージがディスプレイ7に送信される。
次いでステップ126において画像を取得することによって、サンプルの動きがチェックされ、この画像は次のステップ127において先行のイメージと比較される。2つのイメージが同一であれば、ステップ126が再び実施され、別のイメージが保持されて、ステップ127において先行のイメージと比較される。2つのイメージが同一ではなければ、または、変化量が閾値を超えていることが値によって示されたならば、顕微鏡イメージコントローラ装置1は、第1のイメージ処理モード110に戻るように自動的にセットされ、ステップ111においてさらに別のイメージが取得される。
図2および図3によれば、第1のイメージ処理モード110と第2のイメージ処理モード120との切り替えは、イメージ自体の変化量に依存する。ただしこの切り替えを、別の選択肢として、またはこれに加えて、イメージに関連するパラメータの変化量に依存させてもよい。具体的にはこの種のパラメータを、アパーチャ、焦点面、照明方向、照明強度、または単に付加的なセンサにより検出された動き、とすることができる。
1 顕微鏡コントローラ装置
2 顕微鏡
3 入力部
4 出力部
5 カメラ
6 センサ装置
7 ディスプレイ
50 入力イメージデータセット
60 セッティングデータ
61 コンフィギュレーションパラメータ
70 出力イメージデータ
71 ディスプレイデータ
100 顕微鏡検査方法
110 第1のイメージ処理モード
111 第1のステップ
112 第2のステップ
113 第3のステップ
120 第2のイメージ処理モード
121 第2のイメージ処理モードの一部分
122 第2のイメージ処理モードの一部分
123A 虹彩融合
123B zスタック
123C HDR
123D 防眩
124 ステップ
125 ステップ
126 ステップ
127 ステップ

Claims (15)

  1. 顕微鏡(2)のための顕微鏡イメージコントローラ装置(1)であって、
    前記顕微鏡イメージコントローラ装置(1)は、入力部(3)と出力部(4)とを有しており、
    ●前記入力部(3)は、
    ・各々1つの顕微鏡イメージを表す、複数の連続する入力イメージデータセット(50)、および、
    ・前記顕微鏡(2)の少なくとも1つの可変のコンフィギュレーションパラメータ(61)を表す、複数の連続するセッティングデータ(60)、
    のうち少なくとも一方を受信し、
    ●前記出力部(4)は、各々1つの顕微鏡イメージを表す出力イメージデータセット(70)を出力し、
    ●前記顕微鏡イメージコントローラ装置(1)は、
    ・少なくとも2つの連続する入力イメージデータセット(50)、および、
    ・少なくとも2つの連続するセッティングデータ(60)、
    のうち、少なくとも一方の間における変化量に応じて、第1のイメージ処理モード(110)から第2のイメージ処理モード(120)へ切り替わるように構成されており、
    ●前記第2のイメージ処理モード(120)において、前記出力イメージデータセット(70)は、前記第1のイメージ処理モード(110)における個数よりも多い個数の、連続する入力イメージデータセット(50)に基づいている、
    顕微鏡イメージコントローラ装置(1)。
  2. 前記顕微鏡イメージコントローラ装置(1)は、
    ・少なくとも2つの連続する入力イメージデータセット(50)、および、
    ・少なくとも2つの連続するセッティングデータ(60)、
    のうち、少なくとも一方の間における変化量に応じて、第2のイメージ処理モード(120)から第1のイメージ処理モード(110)へ切り替わるように構成されている、
    請求項1記載の顕微鏡イメージコントローラ装置(1)。
  3. 前記第1のイメージ処理モード(110)から前記第2のイメージ処理モード(120)へ切り替えるための計算判定基準は、前記第2のイメージ処理モード(120)から前記第1のイメージ処理モード(110)へ切り替えるための計算判定基準とは異なる、
    請求項2記載の顕微鏡イメージコントローラ装置(1)。
  4. 前記複数の連続する入力イメージデータセット(50)間の変化量は、イメージ処理アルゴリズムによって算出される、
    請求項1から3のいずれか1項記載の顕微鏡イメージコントローラ装置(1)。
  5. 切り替えのためには、前記変化量がプログラミングされた閾値を超えなければならない、
    請求項1から4のいずれか1項記載の顕微鏡イメージコントローラ装置(1)。
  6. 前記第1のイメージ処理モード(110)は、シングルイメージモードであり、例えばライブビデオモードであり、特に毎秒少なくとも25フレームのライブビデオモードである、
    請求項1から5のいずれか1項記載の顕微鏡イメージコントローラ装置(1)。
  7. 前記第2のイメージ処理モード(120)において、マルチイメージ処理方式が用いられる、
    請求項1から6のいずれか1項記載の顕微鏡イメージコントローラ装置(1)。
  8. 前記入力部(3)および/または前記出力部(4)は、ハードウェアコンポーネントであり、特にポートまたはプラグである、
    請求項1から7のいずれか1項記載の顕微鏡イメージコントローラ装置(1)。
  9. 顕微鏡(2)において、
    ●各々1つの顕微鏡イメージを表す、複数の連続するディスプレイデータセット(71)を表示するディスプレイ(7)と、
    ●カメラ(5)および少なくとも1つのセンサ装置(6)のうちの少なくとも一方と、
    が設けられており、
    ・前記カメラ(5)は、各々1つの顕微鏡イメージを表す、複数の連続する入力イメージデータセット(50)を供給し、
    ・前記少なくとも1つのセンサ装置(6)は、前記顕微鏡(2)の少なくとも1つの可変のコンフィギュレーションパラメータ(61)を表す、複数の連続するセッティングデータ(60)を取得し、
    ●前記顕微鏡(2)は、前記入力イメージデータセット(50)および/または前記セッティングデータ(60)における変化量に応じて、第1のイメージ処理モード(110)と第2のイメージ処理モード(120)とにおいて動作するように構成されており、
    ●前記第2のイメージ処理モード(120)において、前記ディスプレイデータセット(71)各々は、前記第1のイメージ処理モード(110)における個数よりも多くの個数の入力イメージデータセット(50)に基づく、
    顕微鏡(2)。
  10. 前記第2のイメージ処理モード(120)において前記顕微鏡(2)は、前記複数の連続するイメージデータセット(50)を自動的に供給するように構成されており、
    前記複数の連続する入力イメージデータセット(50)のうち少なくとも1つのセットは、前記複数の連続する入力イメージデータセット(50)のうち少なくとも1つの別のセットに対し変更された、少なくとも1つのコンフィギュレーションパラメータ(61)によって生成される、
    請求項9記載の顕微鏡(2)。
  11. 出力イメージデータ(70)を前記ディスプレイ(7)に表示するコンテンツ表示レートは、前記第2のイメージ処理モード(120)においては、前記第1のイメージ処理モード(110)におけるレートよりも低い、
    請求項9または10記載の顕微鏡(2)。
  12. 第1および第2のカメラ(5)が設けられており、
    前記第1のカメラ(5)は、前記第1のイメージ処理モード(110)のために用いられ、前記第2のカメラ(5)は、前記第2のイメージ処理モード(120)のために用いられる、
    請求項9から11のいずれか1項記載の顕微鏡(2)。
  13. 各々1つの顕微鏡イメージを表す複数の連続する入力イメージデータセット(50)から、各々1つの顕微鏡イメージを表す複数の連続する出力イメージデータセット(70)を自動的に発生させるための、顕微鏡検査方法(100)であって、
    ●前記複数の出力イメージデータセット(70)のうち後続の1つのセットを発生させるために用いられる、前記複数の連続する入力イメージデータ(50)の個数を、
    ・少なくとも2つの連続する入力イメージデータセット(50)、および、
    ・顕微鏡(2)の少なくとも1つの可変のコンフィギュレーションパラメータ(61)を表す複数の連続するセッティングデータ(60)、
    のうち、少なくとも一方が所定量だけ変化したときに、自動的に変化させる、
    顕微鏡検査方法(100)。
  14. 前記顕微鏡検査方法(100)は、前記顕微鏡(2)のアクチュエータおよび/または前記顕微鏡(2)の周辺機器の監視を含む、
    請求項13記載の顕微鏡検査方法(100)。
  15. 請求項13または14のいずれか1項記載の方法を実施するためのソフトウェアを含む、コンピュータ媒体。
JP2016082295A 2015-04-16 2016-04-15 顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法 Active JP6266033B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15163792.3A EP3081977A1 (en) 2015-04-16 2015-04-16 Microscopic image controller device for a microscope, microscope, and microscoping method
EP15163792.3 2015-04-16

Publications (2)

Publication Number Publication Date
JP2016206671A true JP2016206671A (ja) 2016-12-08
JP6266033B2 JP6266033B2 (ja) 2018-01-24

Family

ID=52946382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016082295A Active JP6266033B2 (ja) 2015-04-16 2016-04-15 顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法

Country Status (4)

Country Link
US (1) US20160306159A1 (ja)
EP (1) EP3081977A1 (ja)
JP (1) JP6266033B2 (ja)
CN (1) CN106056572B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9459668B2 (en) 2013-05-16 2016-10-04 Amazon Technologies, Inc. Cooling system with desiccant dehumidification
WO2019077610A1 (en) * 2017-10-19 2019-04-25 Scopio Labs Ltd. DEPTH DETECTION BASED ON DEPTH
US11985435B2 (en) * 2022-06-08 2024-05-14 Omnivision Technologies, Inc. Compact camera incorporating microlens arrays for ultra-short distance imaging
CN115766969A (zh) * 2022-11-29 2023-03-07 辉羲智能科技(上海)有限公司 一种车载图像处理方法、装置、介质及计算设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338001A (ja) * 2005-05-31 2006-12-14 Leica Microsystems Cms Gmbh 顕微鏡システムおよび画像生成方法
JP2010282135A (ja) * 2009-06-08 2010-12-16 Nikon Corp 電子カメラシステム
JP2012065257A (ja) * 2010-09-17 2012-03-29 Olympus Corp 顕微鏡用撮像装置
JP2015038610A (ja) * 2013-08-19 2015-02-26 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡
JP2015096912A (ja) * 2013-11-15 2015-05-21 オリンパス株式会社 観察装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298790A (ja) * 1998-04-09 1999-10-29 Nikon Corp 撮像装置
JP4636786B2 (ja) * 2003-08-28 2011-02-23 カシオ計算機株式会社 撮影画像投影装置、撮影画像投影装置の画像処理方法及びプログラム
JP4928081B2 (ja) * 2005-02-03 2012-05-09 オリンパス株式会社 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム
CN103345756B (zh) * 2013-07-19 2016-08-10 浙江农林大学 一种尿沉渣分析仪中显微镜的自动对焦方法、装置和电子设备
JP6325816B2 (ja) * 2013-12-27 2018-05-16 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338001A (ja) * 2005-05-31 2006-12-14 Leica Microsystems Cms Gmbh 顕微鏡システムおよび画像生成方法
JP2010282135A (ja) * 2009-06-08 2010-12-16 Nikon Corp 電子カメラシステム
JP2012065257A (ja) * 2010-09-17 2012-03-29 Olympus Corp 顕微鏡用撮像装置
JP2015038610A (ja) * 2013-08-19 2015-02-26 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡
JP2015096912A (ja) * 2013-11-15 2015-05-21 オリンパス株式会社 観察装置

Also Published As

Publication number Publication date
JP6266033B2 (ja) 2018-01-24
CN106056572A (zh) 2016-10-26
US20160306159A1 (en) 2016-10-20
EP3081977A1 (en) 2016-10-19
CN106056572B (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
JP6266033B2 (ja) 顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法
US10371933B2 (en) Medical image processing apparatus, medical image processing method, and medical observation system
JP5812835B2 (ja) ビデオ画像ストリーム中の画像の画質を改善するための方法およびデジタルビデオカメラ
JP6794747B2 (ja) 医療用画像処理システム、および医療用画像処理システムの作動方法
KR101767662B1 (ko) 다시점 카메라 동기화 시스템 및 방법
JP2012065257A (ja) 顕微鏡用撮像装置
JP2016515260A (ja) コンピュータビジョンアプリケーションのための適応型データパス
US8390682B2 (en) Microscope system and its control method
JP5669616B2 (ja) 撮像装置、画像生成方法、及び、画像生成プログラム
US9456127B2 (en) Blur detection method of images, monitoring device, and monitoring system
JP2014014069A5 (ja)
JP6567810B2 (ja) 顕微鏡
JPWO2016166871A1 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP2006338001A (ja) 顕微鏡システムおよび画像生成方法
US9509896B2 (en) Apparatus, imaging method, and focus control apparatus to control autofocus based on contrast signal
KR20070119961A (ko) 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한이미지 디스플레이 장치 및 방법
JP2016177152A (ja) 顕微鏡システム
US20220155556A1 (en) Context-based focus control of a microscope
JP2022533117A (ja) 撮像装置の操作設定を提供するためのコントローラおよび方法
US20190191072A1 (en) Image capturing apparatus
JP2016206228A (ja) 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム
JP2013156279A (ja) 画像処理装置および顕微鏡システム
TW202227243A (zh) 圖像生成裝置、機器人控制裝置及電腦程式
JP5883141B2 (ja) 電子撮像システムを合焦させるシステム及び方法
JP2008197612A (ja) 画像表示装置および画像表示プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171120

R150 Certificate of patent or registration of utility model

Ref document number: 6266033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250