JP2022514980A - デジタル顕微鏡システム、デジタル顕微鏡システムを操作するための方法およびコンピュータプログラム - Google Patents

デジタル顕微鏡システム、デジタル顕微鏡システムを操作するための方法およびコンピュータプログラム Download PDF

Info

Publication number
JP2022514980A
JP2022514980A JP2021537901A JP2021537901A JP2022514980A JP 2022514980 A JP2022514980 A JP 2022514980A JP 2021537901 A JP2021537901 A JP 2021537901A JP 2021537901 A JP2021537901 A JP 2021537901A JP 2022514980 A JP2022514980 A JP 2022514980A
Authority
JP
Japan
Prior art keywords
camera
digital
digital microscope
target area
systems
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021537901A
Other languages
English (en)
Other versions
JP7271676B2 (ja
Inventor
ホーネッガー マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of JP2022514980A publication Critical patent/JP2022514980A/ja
Application granted granted Critical
Publication of JP7271676B2 publication Critical patent/JP7271676B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

デジタル顕微鏡システムは、物体の目標領域を画像化するための複数のカメラシステムであって、各カメラシステムが、前記カメラシステムの光軸に沿って位置合わせされるデジタルカメラおよび結像光学系を含み、これらのカメラシステムの光軸は互いに平行である、複数のカメラシステムと、物体が配置される顕微鏡ステージと、位置決めデバイスと、コントローラと、を含み、コントローラは、位置決めデバイスを制御するように構成されており、これによって、複数のカメラシステムおよび顕微鏡ステージは、カメラシステムのうちのいずれか1つを物体の目標領域と選択的に位置合わせするために、カメラシステムの光軸に対して相互に直交して移動する。

Description

本発明は、デジタル顕微鏡システム、デジタル顕微鏡システムを操作するための方法およびその方法を実行するためのプログラムコードを備えたコンピュータプログラムに関する。
複数のカメラシステムを含むデジタル顕微鏡システムが公知である。例えば、複数のカメラシステムは、物体の異なる目標領域を画像化するか、または単一の目標領域を異なる倍率に基づいて画像化するために使用することができる。通常、カメラシステムは、並んで配置されており、その結果、物体がそれらに沿って画像化されるカメラシステムの光軸も同様に並んで延在する。そのような光軸の横方向のオフセットにより、異なるカメラシステムによって生成された物体画像には遠近差が発生する。これらの遠近差を画像処理によって補正することも考えられるが、そのような補正は、限られた範囲で、多大な計算労力をかけてしか達成することはできない。
上記のような遠近差により、従来のデジタル顕微鏡システムは、例えば、個々のカメラ画像を単一の全体画像に重ね合わせる場合などの使用に制限される。
したがって、本発明の課題は、高い画像品質で物体の画像化を可能にするデジタル顕微鏡システムを提供することである。
前述の課題を解決するために、デジタル顕微鏡システムが提供され、該デジタル顕微鏡システムは、物体の目標領域を画像化するための複数のカメラシステムであって、各カメラシステムが、前記カメラシステムの光軸に沿って位置合わせされるデジタルカメラおよび結像光学系を含み、これらのカメラシステムの光軸は互いに平行である、複数のカメラシステムと、物体が配置される顕微鏡ステージと、位置決めデバイスと、コントローラと、を含み、コントローラは、位置決めデバイスを制御するように構成されており、これによって、複数のカメラシステムおよび顕微鏡ステージは、カメラシステムのうちのいずれか1つを物体の目標領域と選択的に位置合わせするために、カメラシステムの光軸に対して相互に直交して移動する。
上記の実施形態によれば、物体の目標領域を画像化するために現在使用されるシステムとして,複数のカメラシステムのうちの1つを選択的に活動化させるために、カメラシステムと顕微鏡ステージとの間で相対的なシフト移動が実行される。カメラシステムが移動する場合、この移動は、個々のカメラシステムを相互に移動させることなく、複数のカメラシステムが1つのユニットとして横方向に移動するように実行される。したがって、デジタル顕微鏡システムは、個々のカメラシステム間で連続的に切り替えるときに、個々のカメラシステムによって生成された画像間のいかなる遠近差も回避できるように容易に制御することができる。したがって、カメラシステムによって生成された個々の画像を、遠近歪みのない画像全体に重ね合わせることが可能である。その結果、デジタル顕微鏡システムは、高画質で物体の画像化を可能にする。
好適には、デジタル顕微鏡システムは、複数のカメラシステムを含む顕微鏡ヘッドを含み、ここで、位置決めデバイスは、顕微鏡ヘッドを、カメラシステムの光軸に直交して移動させるように構成されている。カメラシステムが統合された顕微鏡ヘッドを提供することにより、個々のカメラシステムを活動化させるための横方向のシフト移動に関してデジタル顕微鏡システムの容易な制御が可能になる。
好適な実施形態では、カメラシステムの光軸は、共通の平面上に配置され、位置決めデバイスは、カメラシステムを前記平面に沿って移動させるように構成されている。この実施形態では、カメラシステムは、カメラシステムと顕微鏡ステージとの間の相対的な移動が発生する横方向に並べて配置されている。したがって、コンパクトで省スペースの構成が達成される。
好適には、デジタル顕微鏡システムは、複数の倍率変更システムによって提供される複数の倍率サブレンジから構成される全倍率範囲を有する。したがって、カメラシステムの総数に依存して、広い倍率範囲を達成することができる。これに関して、前述のサブレンジは、広く拡張された倍率範囲に限定されることを意味するものではない。むしろ、サブレンジは、離散的な、すなわち固定された倍率値をカバーするものとして理解されてもよい。
好適には、カメラシステムの少なくとも1つは、倍率変更システムを含む。そのようなカメラシステムは、例えば、単一の倍率を提供する固定倍率光学系を含む別のカメラシステムと組み合わせてもよい。
好適な実施形態では、倍率変更システムはズームシステムを含む。
そのようなズームシステムは、各カメラシステムの結像光学系によって形成される光学ズームシステムを含むことができる。この光学ズームシステムは、物体の目標領域を高画質で画像化させ得る。
付加的または代替的に、ズームシステムは、各デジタルカメラによって形成されるデジタルズームシステムを含むことができる。そのようなデジタルズームシステムは、倍率を変更するためのさらなる光学要素を必要としないため、目標領域のサイズの高速でかつ低コストの調整を可能にする。
さらに、倍率変更システムは、結像光学系によって形成される固定倍率光学系を含むことができる。
特定の実施形態では、複数のカメラシステムのうちの1つのカメラシステムの倍率変更システムは、光学ズームシステムを含むことができ、複数のカメラシステムのうちの別のカメラシステムの倍率変更システムは、デジタルズームシステムを含むことができる。光学ズームシステムとデジタルズームシステムとを組み合わせることで、デジタル顕微鏡システムの特に柔軟な使用が可能になる。例えば、一方では、デジタルズームシステムは、自身が光学要素のいずれかの機械的な移動を必要としないので、各倍率範囲内で迅速なズームインおよびズームアウトに使用されてよい。他方では、光学ズームシステムは、画質に関して高い基準を満たすズーム操作に使用されてよい。
好適には、コントローラは、目標領域が画像化されることに基づく画像化パラメータを指定するユーザー入力を受信し、画像化パラメータに基づいて目標領域と位置合わせされる複数のカメラシステムのうちの1つを選択し、選択されたカメラシステムを目標領域に位置合わせするための位置決めデバイスを制御するようにさらに構成されている。画像化パラメータは、目標領域が画像化されることに基づく画像解像度および倍率のうちの1つを含むことができる。この実施形態によれば、ユーザーは、所望の画像化パラメータを設定するだけでよく、その後、コントローラは、画像化パラメータに従って目標領域の画像を生成するのに適したカメラシステムのうちの1つを自動的に選択する。例えば、コントローラは、現在活動化されているカメラシステムが画像化パラメータに基づいて画像化を実行することができないか、または実行するための少なくとも最良のオプションではないことを決定した場合、コントローラは、位置決めデバイスに画像化パラメータに基づいて画像を生成するのに適した別のカメラシステムを位置合わせさせる。特に、ユーザーは、自身で適切なカメラシステムを選択する必要がないため、デジタル顕微鏡システムの操作が容易になる。
好適な実施形態では、コントローラは、複数のカメラシステムの光軸のうちのいずれか1つを物体の予め定められた目標位置と選択的に位置合わせするための位置決めデバイスを制御するようにさらに構成され、目標位置は、選択されたカメラシステムに関係なく同じである。この目標位置は、目標領域の中心であってもよい。したがって、デジタル顕微鏡システムのユーザーは、単一で不変の目標位置を参照して、異なるカメラシステムによって生成された画像を観察することができる。
好適な実施形態では、カメラシステムは、設定に従って目標領域を表すデジタル画像データを生成するように構成され、前記設定は、複数のカメラシステムのうちのどのカメラシステムが物体と位置合わせされるかを決定する。コントローラは、設定に従って生成されたデジタル画像データに対応するモニター画像データを生成するようにさらに構成することができ、モニター画像データは、モニター画像として表示されるように構成される。コントローラは、ユーザー入力に応じて設定を変更するように構成されてよい。コントローラは、ユーザー入力に応じて、変更されていない設定に従って生成されたデジタル画像データを格納し、変更された設定を考慮に入れた、格納されたデジタル画像データに対するデジタル画像処理の実行によるシミュレーションモニター画像データの生成により、変更された設定に従ってモニター画像データを更新する際の遅延を補償するように構成されてもよい。シミュレーションモニター画像データは、遅延中にシミュレーションモニター画像として表示されるように構成される。
前述の設定は、それに限定されることなく、上記の画像化パラメータによって定義されてよい。いずれの場合でも、設定は、複数のカメラシステムのどれが目標領域を画像化するために活動化されるかを直接的または間接的に定義することができる。上記実施形態によれば、シミュレーションモニター画像は、設定変更のためのユーザー入力を受信した時点と、設定の変更が実際に完了した時点と、の間の遅延中に表示することができる。このため、デジタル画像処理は、変更されていない設定に基づいて生成されたデジタル画像データに対して実行され、ここで、デジタル画像処理は、ユーザー入力によって変更された新しい設定を考慮に入れる。したがって、設定の変更がまだ完了していない時点で、変更された設定を反映するモニター画像を表示することができる。その結果、ユーザーは、応答性が高く直感的に認識されるやり方でデジタル顕微鏡システムを操作することができる。特に、ユーザーは、デジタル顕微鏡システムの対応する反応をモニターで直接観察しながら、異なるカメラシステム間で直感的に切り替えることができる。換言すれば、ユーザーのアクションに応じるシステムの反応は、例えばハードウェアと画像転送の待ち時間に起因する特定の遅延を示すので、モニター画像は、遅延中にデジタル的にシミュレートされる。例えば、使用が第1のカメラシステムから第2のカメラシステムに切り替わるとき、第1のカメラシステムによって生成された現在のデジタル画像は凍結され、すなわち、第1のステップで保管され、カメラシステムの切り替えがまだ完了していない限り、画像のデジタル的な拡大バージョンもしくは縮小バージョンがモニター上に表示される。したがって、カメラシステムを変更するためのデジタル顕微鏡システムの操作はこの時点ではまだ完了していないが、ユーザーは、設定の変更に起因するモニター画像の近似をすでに観察することができる。一定の時間が経過した後、顕微鏡ハードウェアが、変更された設定に対応するカメラシステムの変更を実際に完了すると、モニター上に表示されるシミュレーションモニター画像は、変更された設定に対応するライブ画像に置き換えられる。
この実施形態のさらなる利点は、カメラシステムの変更に関して待ち時間を短縮するためのどのような付加的労力も回避することに見ることができる。そのような労力は、しばしば費用のかかる開発やハードウェアコストにかかわるからである。
好適には、コントローラは、デジタル画像データを生成することを目的としたカメラシステムを変更するためにモニター上でリアルタイムナビゲーションを可能にするように構成されたリアルタイム画像データとして、シミュレーションモニター画像データを、ユーザー入力に応じて生成するように構成されている。したがって、ユーザーは、応答性が高くて直感的なやり方でデジタル顕微鏡システムを操作することが可能である。
別の態様によれば、デジタル顕微鏡システムを操作するための方法が提供され、該方法は、物体を、第1のカメラシステムの光軸上で位置決めするステップと、物体を、第1のカメラシステムを用いて画像化するステップと、位置決め信号を受信するステップと、物体を、位置決め信号に従って第2のカメラシステムの光軸上で位置決めするステップと、物体を、第2のカメラシステムを用いて画像化するステップと、を含む。
本発明の別の態様によれば、コンピュータプログラムがプロセッサ上で実行されるときに、上記の方法を実行するためのプログラムコードを備えたコンピュータプログラムが提供される。
以下では、好適な実施形態が、図面を参照して説明される。
本発明の実施形態によるデジタル顕微鏡システムを示す図であり、複数のカメラシステムのうちの第1のカメラシステムが、物体の目標領域を画像化するために活動化されている。 図1に示されるデジタル顕微鏡システムを示す図であり、複数のカメラシステムのうちの第2のカメラシステムが、目標領域を画像化するために活動化されている。 さらなる任意のコンポーネントを備えた、図1および図2に示されるデジタル顕微鏡システムを示す図である。 図1~図3に示されるデジタル顕微鏡システムを操作するための例示的な方法を示すフローチャートである。
図1は、本発明の一実施形態によるデジタル顕微鏡システム100を示す図である。
デジタル顕微鏡システム100は、顕微鏡ステージ112上に配置された物体110の目標領域108を画像化するように構成された複数のカメラシステム102,104,106を含む。カメラシステム102,104,106の各々は、デジタルカメラ114,116,118ならびに各カメラシステム102,104,106の光軸O1,O2,O3に沿って位置合わせされた結像光学系120,122,124を含む。カメラシステム102,104,106は、光軸O1,O2,O3が互いに平行になるように配置されている。カメラシステム102,104,106は、顕微鏡ヘッド126に含まれてよい。
デジタル顕微鏡システム100は、デジタル顕微鏡システム100の全体的な操作を制御するように構成されたコントローラ128をさらに含む。特に、コントローラ128は、選択されたカメラシステムが物体110の目標領域108を画像化するように複数のカメラシステム102,104,106のうちの1つを選択的に活動化する機能を果たす。このために、コントローラ128は、位置決めデバイス130を制御し、それによって、複数のカメラシステム102,104,106および顕微鏡ステージ112が、カメラシステム102,104,106のいずれかを物体110の目標領域108と選択的に位置合わせするために、カメラシステム102,104,106の光軸O1,O2,O3に対して相互に直交して一体的に動くように構成されている。特に、コントローラ128は、位置決めデバイス130を制御し、それによって、選択されたカメラシステムの光軸が物体110の予め定められた目標位置と位置合わせされるように構成されている。ここで、この目標位置は、複数のカメラシステムのどれが現在選択されているか、すなわち活動化されているかに関係なく同じ位置である。
図1に示される実施形態によれば、位置決めデバイス130は、カメラシステム102,104,106の光軸O1,O2,O3に直交する方向に顕微鏡ヘッド126を移動させるように構成されている。しかしながら、カメラシステム102,104,106と顕微鏡ステージ112との間の相対移動は、顕微鏡ヘッド126ではなく、顕微鏡ステージ112を横方向に動かすことによって達成されてもよい。
カメラシステム102,104,106の光軸O1,O2,O3は、共通の平面上に配置されてもよい。本実施形態によれば、この共通の平面は、図1の描画平面に平行である。したがって、位置決めデバイス130は、顕微鏡ステージ112に対して前記共通の平面に沿ってカメラシステム102,104,106を一体的に移動させるように構成されている。
図1の例では、物体110の目標領域108のデジタル画像を生成するために第1のカメラシステム102が活動化されている(図1の左方から右方に見た場合)。対照的に、図2は、第2のカメラシステム104が目標領域108を画像化するために選択された状態を示す。図1の状態から図2の状態に切り替えるために、コントローラ128は、カメラシステム104の光軸O2が第1のカメラシステム102の光軸O1ではなく目標領域108と位置合わせされるように、位置決めデバイス130に、顕微鏡ヘッド126を顕微鏡ステージ112に対して横方向にシフトさせる。特に、第2のカメラシステム104の光軸O2は、カメラシステムが切り替わる前に第1のカメラシステムの光軸O1が位置合わせされたのと同じ目標位置に位置合わせされる。各カメラシステムの光軸がそれと位置合わせされる目標位置は、目標領域108の中心であってもよい。
デジタル顕微鏡システム100は、好適には、複数の倍率サブレンジからなる全倍率範囲を提供するために使用されてよく、ここで、これらのサブレンジは、複数のカメラシステム102,104,106に関連付けられる。この目的のために、図1および図2に示されるカメラシステム102,104,106の少なくとも1つは、倍率変更システムを、すなわち、ユーザー設定に従って、可変である倍率に基づき物体110の目標領域108を画像化するように構成されたシステムを含むことができる。特に、各倍率変更システムは、ズームシステムを含むことができる。例えば、図1および図2に示される実施形態では、カメラシステム102,104,106に含まれる結像光学系120,122,124は、別個のズームサブレンジを提供する別個の光学ズームシステムを形成することができ、ここで、これらのズームサブレンジは、複合ズーム範囲にマージされる。
上記の例示的な構成は、ユーザー入力を介してコントローラ128によって受信された画像化パラメータに基づいて、カメラシステム102,104,106のうちの1つを自動的に選択するために使用されてよい。例えば、ユーザーは、それに基づいて目標領域108が画像化されるべき画像解像度および倍率のうちの1つを指定することができ、コントローラ128は、受信された画像化パラメータに基づいて、複数のカメラシステムのうちのどのカメラシステムが目標領域108と位置合わせされるべきかを決定する。次いで、コントローラは、選択されたカメラシステムの光軸を物体110の目標領域108と一致させるために、位置決めデバイス130にカメラヘッド126を横方向にシフトさせる。
代替的な実施形態では、倍率変更システムは、各デジタルカメラ114,116,118によって形成されるデジタルズームシステムを含むことができる。これに関して、デジタルカメラ114,116,118は、効果的なズーム機能を達成するために高解像度カメラとして形成されてよい。そのようなデジタルズーム構成は、上記の光学ズーム構成と同じように使用されてよい。
さらに、そのズーム機能に関して、図1および図2に示されるデジタル顕微鏡システム100は、各結像光学系120,122,124によって形成される光学ズームシステムと、各デジタルカメラ114,116,118によって形成されるデジタルズームシステム114,116,118と、の両方を含むハイブリッド構成を形成することもできる。したがって、図1および図2に示される実施形態によれば、カメラシステム102,104,106のうちの1つは、光学ズーム機能を提供することができるが、別のカメラシステムは、デジタルズーム機能を提供することができる。
さらなる例示的な構成では、カメラシステム102,104,106のうちの少なくとも1つは、各結像光学系120,122,124によって形成される固定倍率光学系を含むことができる。そのような構成では、カメラシステムは、単一の固定倍率かまたはズーム倍率を提供するために使用されてよい。後者の構成では、各カメラシステム102,104,106に含まれるデジタルカメラ114,116,118は、上記のように、デジタルズームシステムを形成することができる。
図3は、さらなるオプションのコンポーネントを含むことができるデジタル顕微鏡システム100の全体的な構成を示している。
図1および図2ですでに示されているように、デジタル顕微鏡システム100は、顕微鏡ヘッド126、顕微鏡ステージ112、位置決めデバイス130およびコントローラ128を含む。コントローラ128は、メモリ334をさらに含むプロセッサ332に含まれてよい。プロセッサ332は、コンピュータシステム336に属しており、このコンピュータシステム336は、モニター338と、例えばキーボード340およびコンピュータマウスなどのポインティングデバイス342を含んだ入力デバイスと、をさらに含む。入力デバイスは、モニター338の画面に統合されたタッチスクリーン344をさらに含むことができる。
すでに上述したように、コントローラ128は、デジタル顕微鏡システム100の全体的な操作を制御するように構成されている。この目的のために、コントローラ128は、デジタル顕微鏡システム100の個々のコンポーネント、特に顕微鏡ヘッド126、モニター338、キーボード340およびコンピュータマウス342に接続されている。さらに、コントローラ128は、個々のカメラシステム102,104,106間の切り替えのために、顕微鏡ステージ112と顕微鏡ヘッド126との間の相対的な移動を可能にする位置決めデバイス130に接続されている。顕微鏡ヘッド126と顕微鏡ステージ112との間の横方向の移動は、図1の双方向矢印によって示されている。
顕微鏡ヘッド126によって画像化される物体110の目標領域108は、変更可能な設定によって決定される。そのような変更可能な設定は、顕微鏡ステージ112に対する顕微鏡ヘッド126の横方向の位置を含むことができる。代替的または付加的に、この設定は、上記のような画像化パラメータ、例えば画像解像度および倍率のうちの1つを含むことができる。原則として、前述の設定は、複数のカメラシステム102,104,106のうちのどのカメラシステムが物体110の目標領域108と選択的に位置合わせされるかを決定する。
顕微鏡ヘッド126の設定は、入力デバイス、すなわち、本発明ではキーボード340、コンピュータマウス342およびタッチスクリーン344のうちの少なくとも1つを操作するユーザーによって実行されるユーザー入力に応じて、コントローラ128によって変更される。本明細書では、コントローラ128によって実行される設定の変更には一定の時間がかかることを想定している。換言すれば、ユーザー入力がコントローラ128によって受信される時間と、設定の変更が完了する時間と、の間には遅延が存在しており、そのため、物体110を新たな設定に従って画像化することができることが想定されている。
本実施形態によれば、ユーザーは、前述の遅延にもかかわらず、カメラシステム102,104,106のうちの1つを選択することに関して、モニター338上でリアルタイムナビゲーションを実行することができる。したがって、現在、目標領域108と位置合わせされているカメラシステム102,104,106は、目標領域108を表すデジタル画像データを生成する。次いで、コントローラ128は、現在の設定に従ってカメラシステム102,104,106によって生成されたデジタル画像データに対応するモニター画像データを生成する。このモニター画像データは、モニター画像の形態でモニター338上に表示されるように構成されたデータを表す。
カメラシステム102,104,106が、別のカメラシステムによって変更されなければならないことを直接的または間接的に示すユーザー入力をコントローラ128が受信した場合、コントローラ128は、変更されていない設定に従って生成されたデジタル画像データをプロセッサ332のメモリ334に格納する。換言すれば、コントローラ128は、変更されていない設定に基づいたデジタル画像を凍結する。
ユーザー入力を受信した後、コントローラ128は、設定の変更を開始し、すなわち、コントローラ128は、新しいカメラシステム102,104,106を設定に従って目標領域108と位置合わせするために、顕微鏡ステージ112に対して顕微鏡ヘッド126を横方向にシフトするように位置決めデバイス130の制御を開始する。本実施形態では、設定の変更には、ユーザー入力の受信から始まって設定の更新の完了まで、すなわちカメラシステムの切り替え完了までの間に遅延が伴うことを想定している。次いで、コントローラ128は、ユーザー入力に従って生成されるモニター画像の近似を表すシミュレーションモニター画像データを生成するために、変更された設定を考慮に入れて、メモリ334に格納された画像データに対してデジタル処理を実行する。次いで、シミュレーションモニター画像がモニター338上に表示され、このシミュレーションモニター画像は、以前に生成されたシミュレーションモニター画像データによって表される。したがって、モニター画像データが、変更された設定に従って更新されるときに生じる遅延の間に、シミュレーションモニター画像データがモニター338上に表示される。換言すれば、シミュレーションモニター画像を表示することは、前述した遅延を補償するのに役立つ。
その後、設定の変更が完了したかどうかを決定する。設定の変更がまだ完了していない場合、すなわち遅延がまだ続いている場合は、シミュレーションモニター画像が引き続きモニター338上に表示される。他方、設定の変更が完了したことが決定された場合は、顕微鏡ヘッド126が、ユーザー入力に基づいて変更された設定に従って、新しいデジタル画像データを生成する。次いで、コントローラ128は、新たに生成されたデジタル画像データに対応する更新されたモニター画像データを生成する。最終的に、更新されたモニター画像がモニター338上に表示される。
上記のプロセスの結果として、デジタル顕微鏡システム100のコントローラ128は、デジタル画像データを生成すべきカメラシステム102,104,106へ切り替えるためにモニター338上でリアルタイムナビゲーションを可能にするように構成されたリアルタイム画像データとしてユーザー入力に応じてシミュレーションモニター画像データを生成する。
上記で説明したように、デジタル顕微鏡システム100は、カメラシステム102,104,106のうちの1つを、物体110の目標領域108と選択的に位置合わせするように構成されている。デジタル顕微鏡システム100を対応的に動作させる方法の原理は、図4に示される以下のフローチャートによって例示されている。
本方法は、ステップS2によって開始され、このステップS2では、物体110の目標領域108、特に物体110の前述した不変の目標位置が、カメラシステムのうちの1つのカメラシステムの光軸上、例えば第1のカメラシステム102の第1の光軸O1上に配置される。このため、第1のカメラシステム102がまだ目標領域108と位置合わせされていない場合には、コントローラ128は、位置決めデバイス130に顕微鏡ヘッド126を、顕微鏡ステージ112に関して対応する横方向位置に移動させる。
続いて、ステップS4では、第1のカメラシステム102が、対応するデジタル画像データを生成することによって、物体110の目標領域108を画像化する。
次いで、ステップS6では、コントローラ128が、ユーザー入力に基づく位置決め信号を受信することが想定される。
次いで、ステップS8では、コントローラ128は、位置決めデバイス130に目標領域108を、ステップS6で受信された位置決め信号に従って、別のカメラシステムの光軸、例えば第2のカメラシステム104の光軸に対して位置決めさせる。この目的のために、位置決めデバイス130は、顕微鏡ヘッド126を横方向にシフトし、それによって、第1のカメラシステム102は、目標領域108から外され、第2のカメラシステム104は、目標領域108と一致するように、すなわち第2の光軸O2が物体110の目標位置と位置合わせされるようにもたらされる。
最終的にステップS10では、第2のカメラシステム104が、対応するデジタル画像データを生成することによって、目標領域108を画像化する。
上記の実施形態によれば、デジタル顕微鏡システム100は、3つのカメラシステム102,104,106を含む。言うまでもないが、カメラシステムの総数は、3つとは異なる場合もある。
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置(またはハードウェア装置を使用すること)によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのうちのいずれか1つまたは複数が、そのような装置によって実行されてもよい。
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する(または協働することが可能である)、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはFLASHメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを備えたコンピュータプログラムである。
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体(またはデータ担体またはコンピュータ読取可能な媒体)である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ/または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを(例えば、電子的にまたは光学的に)受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス(例えばフィールド・プログラマブル・ゲート・アレイ)が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
100 デジタル顕微鏡システム
102 カメラシステム
104 カメラシステム
106 カメラシステム
108 目標領域
110 物体
112 顕微鏡ステージ
114 デジタルカメラ
116 デジタルカメラ
118 デジタルカメラ
120 結像光学系
122 結像光学系
124 結像光学系
126 顕微鏡ヘッド
128 コントローラ
130 位置決めデバイス
332 プロセッサ
334 メモリ
336 コンピュータシステム
338 モニター
340 キーボード
342 コンピュータマウス
344 タッチスクリーン
O1 光軸
O2 光軸
O3 光軸

Claims (17)

  1. デジタル顕微鏡システム(100)であって、前記デジタル顕微鏡システム(100)は、
    物体(110)の目標領域(108)を画像化するための複数のカメラシステム(102,104,106)と、
    前記物体(110)が配置される顕微鏡ステージ(112)と、
    位置決めデバイス(130)と、
    コントローラ(128)と、
    を含み、
    各カメラシステム(102,104,106)は、前記カメラシステム(102,104,106)の光軸(O1,O2,O3)に沿って位置合わせされるデジタルカメラ(114,116,118)および結像光学系(120,122,124)を含み、前記カメラシステム(102,104,106)の前記光軸(O1,O2,O3)は、互いに平行であり、
    前記コントローラ(128)は、前記位置決めデバイス(130)を制御するように構成されており、これによって、前記複数のカメラシステム(102,104,106)および前記顕微鏡ステージ(112)は、前記カメラシステム(102,104,106)のうちのいずれか1つを前記物体(110)の前記目標領域(108)と選択的に位置合わせするために、前記カメラシステム(102,104,106)の前記光軸(O1,O2,O3)に対して相互に直交して移動する、
    デジタル顕微鏡システム(100)。
  2. 前記デジタル顕微鏡システムは、前記複数のカメラシステム(102,104,106)を含む顕微鏡ヘッド(126)を含み、前記位置決めデバイス(130)は、前記顕微鏡ヘッド(126)を、前記カメラシステム(102,104,106)の前記光軸(O1,O2,O3)に直交して移動させるように構成されている、
    請求項1記載のデジタル顕微鏡システム(100)。
  3. 前記カメラシステム(102,104,106)の前記光軸(O1,O2,O3)は、共通の平面上に配置され、前記位置決めデバイス(130)は、前記カメラシステム(102,104,106)を前記平面に沿って移動させるように構成されている、
    請求項1または2記載のデジタル顕微鏡システム(100)。
  4. 前記デジタル顕微鏡システムは、複数の倍率変更システムによって提供される複数の倍率サブレンジから構成される全倍率範囲を有する、
    請求項1から3までのいずれか1項記載のデジタル顕微鏡システム(100)。
  5. 前記カメラシステム(102,104,106)のうちの少なくとも1つは、倍率変更システム(114,116,118,120,122,124)を含む、
    請求項1から4までのいずれか1項記載のデジタル顕微鏡システム(100)。
  6. 前記倍率変更システムは、ズームシステム(114,116,118,120,122,124)を含む、
    請求項5記載のデジタル顕微鏡システム(100)。
  7. 前記ズームシステムは、前記結像光学系(120,122,124)によって形成されるズーム光学系を含む、
    請求項6記載のデジタル顕微鏡システム(100)。
  8. 前記ズームシステムは、前記デジタルカメラ(114,116,118)によって形成されるデジタルズームシステムを含む、
    請求項6または7記載のデジタル顕微鏡システム(100)。
  9. 前記倍率変更システムは、前記結像光学系(120,122,124)によって形成される固定倍率光学系を含む、
    請求項8記載のデジタル顕微鏡システム(100)。
  10. 前記複数のカメラシステム(102,104,106)のうちの1つのカメラシステムの倍率変更システムは、光学ズームシステムを含み、前記複数のカメラシステム(102,104,106)のうちの別のカメラシステムの倍率変更システムは、デジタルズームシステムを含む、
    請求項5から9までのいずれか1項記載のデジタル顕微鏡システム(100)。
  11. 前記コントローラ(128)は、
    前記目標領域(108)が画像化されることに基づく画像化パラメータを指定するユーザー入力を受信し、
    前記画像化パラメータに基づいて前記目標領域(108)と位置合わせされる前記複数のカメラシステム(102,104,106)のうちの1つを選択し、
    前記選択されたカメラシステム(102,104,106)を前記目標領域(108)に位置合わせするための前記位置決めデバイス(130)を制御する、
    ようにさらに構成されている、
    請求項1から10までのいずれか1項記載のデジタル顕微鏡システム(100)。
  12. 前記画像化パラメータは、画像解像度および倍率のうちの1つを含む、
    請求項11記載のデジタル顕微鏡システム(100)。
  13. 前記コントローラ(128)は、前記複数のカメラシステム(102,104,106)の前記光軸(O1,O2,O3)のうちのいずれか1つを前記物体(110)の予め定められた目標位置と選択的に位置合わせするための前記位置決めデバイス(130)を制御するようにさらに構成され、前記目標位置は、前記選択されたカメラシステム(102,104,106)に関係なく同じである、
    請求項1から12までのいずれか1項記載のデジタル顕微鏡システム(100)。
  14. 前記目標位置は、前記目標領域(108)の中心である、
    請求項13記載のデジタル顕微鏡システム(100)。
  15. 前記カメラシステム(102,104,106)は、設定に従って前記目標領域(108)を表すデジタル画像データを生成するように構成され、前記設定は、前記複数のカメラシステム(102,104,106)のうちのどのカメラシステムが前記物体(110)と位置合わせされるかを決定し、
    前記コントローラ(128)は、前記設定に従って生成されたデジタル画像データに対応するモニター画像データを生成するように構成され、前記モニター画像データは、モニター画像として表示されるように構成され、
    前記コントローラ(128)は、ユーザー入力に応じて前記設定を変更するように構成され、
    前記コントローラ(128)は、
    ユーザー入力に応じて、変更されていない設定に従って生成されたデジタル画像データを格納し、変更された設定を考慮に入れた、格納されたデジタル画像データに対するデジタル画像処理の実行によるシミュレーションモニター画像データの生成により、変更された設定に従ってモニター画像データを更新する際の遅延を補償するように構成され、前記シミュレーションモニター画像データは、遅延中にシミュレーションモニター画像として表示されるように構成される、
    請求項1から14までのいずれか1項記載のデジタル顕微鏡システム(100)。
  16. デジタル顕微鏡システム(100)を操作するための方法であって、前記方法は、
    物体(110)の目標領域(108)を、第1のカメラシステム(102)の光軸(O1)上で位置決めするステップと、
    前記目標領域(108)を、前記第1のカメラシステム(102)を用いて画像化するステップと、
    位置決め信号を受信するステップと、
    前記目標領域を、前記位置決め信号に従って第2のカメラシステム(104)の光軸(O2)上で位置決めするステップと、
    前記目標領域(108)を、前記第2のカメラシステム(104)を用いて画像化するステップと、
    を含む方法。
  17. コンピュータプログラムがプロセッサ上で実行されるときに、請求項16記載の方法を実行するためのプログラムコードを備えたコンピュータプログラム。
JP2021537901A 2018-12-27 2019-12-19 デジタル顕微鏡システム、デジタル顕微鏡システムを操作するための方法およびコンピュータプログラム Active JP7271676B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18248053.3A EP3674773B1 (en) 2018-12-27 2018-12-27 Digital microscope system, method for operating the same and computer program
EP18248053.3 2018-12-27
PCT/EP2019/086177 WO2020136069A1 (en) 2018-12-27 2019-12-19 Digital microscope system, method for operating the same and computer program

Publications (2)

Publication Number Publication Date
JP2022514980A true JP2022514980A (ja) 2022-02-16
JP7271676B2 JP7271676B2 (ja) 2023-05-11

Family

ID=65011773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021537901A Active JP7271676B2 (ja) 2018-12-27 2019-12-19 デジタル顕微鏡システム、デジタル顕微鏡システムを操作するための方法およびコンピュータプログラム

Country Status (5)

Country Link
US (1) US20220057619A1 (ja)
EP (1) EP3674773B1 (ja)
JP (1) JP7271676B2 (ja)
CN (1) CN113227869B (ja)
WO (1) WO2020136069A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736116U (ja) * 1993-12-21 1995-07-04 オリンパス光学工業株式会社 顕微鏡装置
JP2004021006A (ja) * 2002-06-18 2004-01-22 Nikon Corp 顕微鏡
JP2004170481A (ja) * 2002-11-18 2004-06-17 Fuji Photo Film Co Ltd デジタル顕微鏡
US20150317507A1 (en) * 2012-11-19 2015-11-05 Acquifer Ag Device and method for microscopy on a plurality of samples
JP2015213139A (ja) * 2014-05-07 2015-11-26 国立大学法人 東京大学 位置決め装置
JP2016024213A (ja) * 2014-07-16 2016-02-08 株式会社ミツトヨ 画像測定装置、画像測定装置用のguiプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7901887B2 (en) * 1998-05-09 2011-03-08 Ikonisys, Inc. Automated cancer diagnostic methods using fish
WO2002075370A2 (en) * 2001-03-19 2002-09-26 Weinstein Ronald S Miniaturized microscope array digital slide scanner
JP4673000B2 (ja) * 2004-05-21 2011-04-20 株式会社キーエンス 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
CN102762713B (zh) * 2010-01-20 2016-04-27 Emd密理博公司 细胞图像捕捉和远程监控系统
EP2690482B1 (en) * 2011-03-23 2021-09-08 Nanophoton Corporation Microscope
WO2013122169A1 (ja) * 2012-02-15 2013-08-22 オリンパス株式会社 レーザ走査型観察装置
US10101571B2 (en) * 2012-07-10 2018-10-16 Novadaq Technologies ULC Perfusion assessment multi-modality optical medical device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736116U (ja) * 1993-12-21 1995-07-04 オリンパス光学工業株式会社 顕微鏡装置
JP2004021006A (ja) * 2002-06-18 2004-01-22 Nikon Corp 顕微鏡
JP2004170481A (ja) * 2002-11-18 2004-06-17 Fuji Photo Film Co Ltd デジタル顕微鏡
US20150317507A1 (en) * 2012-11-19 2015-11-05 Acquifer Ag Device and method for microscopy on a plurality of samples
JP2015213139A (ja) * 2014-05-07 2015-11-26 国立大学法人 東京大学 位置決め装置
JP2016024213A (ja) * 2014-07-16 2016-02-08 株式会社ミツトヨ 画像測定装置、画像測定装置用のguiプログラム

Also Published As

Publication number Publication date
US20220057619A1 (en) 2022-02-24
EP3674773B1 (en) 2023-08-02
CN113227869B (zh) 2023-06-09
EP3674773A1 (en) 2020-07-01
WO2020136069A1 (en) 2020-07-02
CN113227869A (zh) 2021-08-06
JP7271676B2 (ja) 2023-05-11

Similar Documents

Publication Publication Date Title
US20160353012A1 (en) Zooming control method for camera and electronic apparatus with camera
JP6074754B2 (ja) 画像処理装置および画像処理方法
US20100188498A1 (en) Microscope system and its control method
JP2011065371A (ja) 画像生成方法及び画像生成装置
US20130162576A1 (en) User interface apparatus
JP2014007662A (ja) カメラ制御装置及びカメラ制御方法
WO2009110204A1 (ja) 機器選択制御装置
JP7346577B2 (ja) デジタル顕微鏡システム、デジタル顕微鏡システムを動作させるための方法およびコンピュータプログラム
JP2016100883A (ja) フォーカスアシスト装置およびそのプログラム
JP2022514980A (ja) デジタル顕微鏡システム、デジタル顕微鏡システムを操作するための方法およびコンピュータプログラム
US20230396873A1 (en) Information processing device, information processing method, and program
JP6408622B2 (ja) ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US10359616B2 (en) Microscope system. method and computer-readable storage device storing instructions for generating joined images
JP2014116790A (ja) 撮像装置
JP2018113659A (ja) 撮像制御装置およびその制御方法
JP2015119400A (ja) 撮像装置、その制御方法、および制御プログラム
JP6173032B2 (ja) 顕微鏡システム
JP2013162154A (ja) 撮影装置および撮影システム
US11962888B2 (en) Imaging apparatus with focus operation display information
JP6100731B2 (ja) ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US11516404B2 (en) Control apparatus and control method
JP2017216599A (ja) 撮像装置及びその制御方法
JP2015118275A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP2019191509A (ja) 映像表示装置、映像表示方法、コンピュータプログラム、記憶媒体
JP2023117955A (ja) 情報処理装置、撮像装置、撮像システム、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220914

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230426

R150 Certificate of patent or registration of utility model

Ref document number: 7271676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150