JP2015536482A - 顕微鏡デバイスを非同期的にシーケンス処理しながらローリングシャッタカメラを用いて画像を取得するシステムおよび方法 - Google Patents

Abstract

顕微鏡に関連付けられたデバイスの移動および顕微鏡に関連付けられたカメラからの画像の取得を同期させるためのコンピュータ実装方法および画像取得システム。露光信号が、顕微鏡に関連付けられたカメラから受信される。露光信号は、顕微鏡に関連付けられたデバイスが移動させられ得る期間を識別するために分析される。加えて、露光信号に関連付けられた画像データが、受信される。さらに、コマンドが、識別された期間中に顕微鏡に関連付けられたデバイスを新しい位置に移動させるように、顕微鏡に関連付けられたデバイスに発行される。

Description

（関連出願）
本願は、米国特許仮出願第６１／７２７，３７４号（２０１２年１１月１２日出願）の利益を主張し、該出願の内容は、その全体が参照により本明細書に引用される。

（技術分野）
本発明は、概して、光学顕微鏡システムから画像を取得することに関し、より具体的には、そのような顕微鏡デバイスの構成要素を非同期的にシーケンス処理しながら、ローリングシャッタカメラを用いて画像を取得することに関する。

自動化された顕微鏡システムは、そのような顕微鏡のＸ−Ｙステージ上に配置される１つ以上のサンプルの画像を捕捉するために、画像取得システムによって制御され得る。ステージに加え、顕微鏡は、カメラマウント、そのようなマウント内に配置されるカメラ、フラッシュユニット、レンズシステム等の他のデバイスを含み得る。そのようなデバイスは、カメラが、サンプルの異なる部分、異なるサンプル、異なる焦点面において、および／または異なる照射条件を使用して、画像を捕捉し得るように、画像取得システムの制御下、移動させられ得る。顕微鏡デバイスはまた、フィルタ、位相リング、二色ミラー、および帯域通過フィルタを含む、光学要素を含み得る。そのような顕微鏡デバイスの位置は、実験の行程の間、自動化された顕微鏡によって、サンプル捕捉のフレーム間で修正され得る。

典型的には、デジタルカメラ内で使用されるセンサは、２次元パターンに配列された画素要素の列を備えている。自動化された顕微鏡との使用のために好適ないくつかのカメラは、グローバルシャッタを使用する。そのようなカメラでは、カメラセンサの画素は全て、同時に、所定の露光時間の間、サンプルから反射される光、サンプルによって放出される光、および／またはサンプルを透過した光に露光される。露光時間の終了時、センサの画素の全てからのデータは、画像フレームとして、読み取られ、画像取得システムに伝送される。

他のカメラ、特に、ＣＭＯＳセンサを使用するカメラは、ローリングシャッタを使用する。典型的には、そのようなシャッタは、異なる時間に、カメラセンサの画素の各行（または、列）の露光を始める。これらのカメラでは、その間、画素の列の全てまたはある群が同時に露光される、期間が存在する。さらに、ローリングシャッタを使用する、いくつかのカメラは、そのような画素が露光されている間、画素の列からデータを読み取り、伝送することができる。

自動化された顕微鏡システム内で使用される場合、顕微鏡デバイスの移動は、取得された画像内のアーチファクトを回避するように、カメラからの画像の取得と協調されなければならない。例えば、カメラに対するサンプルの位置が、露光時間の間、変化する場合、全体的像ぶれが、グローバルシャッタを使用して捕捉された画像中に現れ得る。そのような移動の間、ローリングシャッタを用いて捕捉された画像は、画像の一部における水平シフトおよび／または垂直シフトあるいは捕捉された画像の異なる部分における照明差を示し得る。

顕微鏡に関連付けられたデバイスの移動と顕微鏡に関連付けられたカメラからの画像の取得とを同期させるコンピュータ実装方法。コンピュータ実装方法は、露光信号を顕微鏡に関連付けられたカメラから受信する。露光信号は、顕微鏡に関連付けられたデバイスが移動させられ得る期間を識別するために分析される。加えて、露光信号に関連付けられた画像データが、受信される。さらに、コマンドが、識別された期間中に顕微鏡に関連付けられたデバイスを新しい位置に移動させるために、顕微鏡に関連付けられたデバイスに発行される。

顕微鏡に関連付けられたデバイスの移動とカメラからの画像の取得とを同期させるための画像取得システムは、顕微鏡に関連付けられている。画像取得システムは、カメラコントローラと、システムコントローラと、画像取得モジュールと、移動コントローラとを含む。カメラコントローラは、露光信号を顕微鏡に関連付けられたカメラから受信する。システムコントローラは、露光信号を分析し、顕微鏡に関連付けられたデバイスが移動させられ得る期間を識別する。画像取得モジュールは、露光信号に関連付けられた画像データを受信する。移動コントローラは、識別された期間中に顕微鏡に関連付けられたデバイスを新しい位置に移動させるためのコマンドを顕微鏡に関連付けられたデバイスに発行する。

本発明の他の側面および利点は、以下の発明を実施するための形態の検討によって明白であろう。

図１は、自動化された顕微鏡のカメラによる画像の取得を制御するためのシステムのシステム略図である。 図２は、図１のシステムによって制御され得る、カメラ内のセンサの露光の例示的タイミング図である。 図３−５は、カメラの動作および自動化された顕微鏡のデバイスの移動を同期させるために、図１のシステムによって行われる処理のフロー図である。 図３−５は、カメラの動作および自動化された顕微鏡のデバイスの移動を同期させるために、図１のシステムによって行われる処理のフロー図である。 図３−５は、カメラの動作および自動化された顕微鏡のデバイスの移動を同期させるために、図１のシステムによって行われる処理のフロー図である。 図６Ａ−６Ｆは、そのオペレータからの情報を得るために、図１のシステムのユーザインターフェースによって生成される、ダイアログボックスである。 図６Ａ−６Ｆは、そのオペレータからの情報を得るために、図１のシステムのユーザインターフェースによって生成される、ダイアログボックスである。 図６Ａ−６Ｆは、そのオペレータからの情報を得るために、図１のシステムのユーザインターフェースによって生成される、ダイアログボックスである。

図１を参照すると、画像取得システム１００は、カメラ１０４および照明源１０６を含む、顕微鏡デバイス１０２を制御する。画像取得システム１００は、システムコントローラ１０８と、移動コントローラ１１０と、カメラコントローラ１１２と、照明コントローラ１１４と、システムメモリ１１５とを含む。オペレータは、画像取得システム１００のユーザインターフェース１１６を使用し、画像取得システム１００に、顕微鏡のステージ上に配置されたサンプルの１つ以上の画像の捕捉を制御するように指示する、コマンドを打ち込む。そのようなコマンドは、システムメモリ１１５の一部である、移動命令メモリ１１８内に記憶される。

前述のように、移動命令メモリ内に記憶された各命令に対して、システムコントローラ１０８は、移動コントローラ１１０に、命令によって規定されるように、顕微鏡デバイス１０２を位置付けるように指示する。その後、システムコントローラ１０８は、カメラコントローラ１１２に、カメラ１０４に露光サイクルを開始するように指示するように、かつ照明コントローラ１１４に、照明源１０６をオンにするように指示する。いくつかの実施形態では、システムコントローラ１０８は、カメラ１０４からの信号の受信を待ち、それに応答して、照明コントローラ１１４に、照明源１０６をオンにするように指示する。画像取得システム１００の画像取得モジュール１２０は、カメラ１０４によって伝送される画像フレームを受信し、受信された画像フレームをシステムメモリ１１５の画像メモリ１２２部分に記憶する。そのような画像フレームは、次いで、ユーザインターフェース１１６によってオペレータに利用可能にされるか、または分析のために、別のシステム（図示せず）に伝送され得る。

前述のように、カメラ１０４がローリングシャッタを採用する場合、そのようなカメラ１０４のセンサの異なる列の露光は、異なる時間に始まる。図２を参照すると、カメラ１０４の画素行Ａは、第１の期間２００Ａを有し、その間、そのような行の画素は、そのような画素に到達する光を統合する。その後、画素行Ａの画素がいかなる追加の光も統合しない、第２の期間２０２Ａが存在する。典型的には、そのような第２の期間２０２Ａの間、データが、画素行Ａを構成する各画素から読み取られ、画像取得システム１００に転送され、そのような画素は、リセットされる。そのようなデータは、画像フレームの画素の１行を表す。行Ａの画素は、その後、同様に期間２０２Ａの間、リセットされる。

期間２０２Ａが経過した後、画素行Ａの画素は、カメラ１０４によって捕捉された次の画像フレームのために、期間２０４Ａの間、光の統合を始める。

行ＢからＪの画素も同様に、それぞれ、期間２００Ｂから２００Ｊの間、露光される。行ＢからＩの画素は、その後、それぞれ、期間２０４Ｂから２０４Ｊの間の別の露光に備えて、それぞれ、期間２０２Ｂから２０２Ｊの間、読み取られ、リセットされる。図２に示されるように、各露光期間２００Ａから２００Ｊが始まるときの時間は、それぞれ、各行ＡからＪに対して異なる。カメラ１０４のローリングシャッタは、各行の露光が始まる時間をシフトさせる。また、各行は、その間、そのような行が露光される、時間のウィンドウを有する。

カメラ１０４の一実施形態では、期間２０６（「共有露光期間」）が存在し、その間、期間２００Ａから２００Ｊが重複する。図２に示されるように、そのような期間２０６は、期間２００Ａから２００Ｊの最後のものが始まるときに開始し、期間２００Ａから２００Ｊの最初のものが終わるときに終了する。

例示的実施形態では、カメラ１０４は、行ＡからＪのうちの最初のものの露光が始まるとき、カメラコントローラ１１２への信号を生成し得る。図２の例示的タイミング図では、そのような信号は、時間Ａ１において生じるように図示される。そのようなカメラ１０４はまた、行ＡからＪのうちの最後ものの露光が始まるとき（時間Ｂ１で生じるように図２に示される）、信号を生成し得る。カメラ１０４は、時間Ａ１で始まった露光期間が終了するとき（時間Ａ２において生じるように指定される）、さらなる信号を生成し得る。最後に、カメラ１０４は、時間Ｂ１で始まった露光期間が終了するとき（時間Ｂ２において生じるように指定される）、信号を生成し得る。図２に図示されるように、Ｂ１およびＡ２として指定された時間に生成された信号間の共有露光期間２０６は、カメラのローリングシャッタがカメラ１０４の行ＡからＪの全てを同時に露光させたときである。

システムコントローラ１０８は、カメラコントローラ１１２によって受信される信号を監視する。一実施形態では、システムコントローラ１０８が、共有露光期間２０６の開始に関連付けられた信号を検出すると、システムコントローラ１０８は、照明コントローラ１１４に、照明源１０６をオンにするように指示する。システムコントローラ１０８が、共有露光期間２０６の終了を検出すると、システムコントローラ１０８は、照明コントローラ１１４に、照明源１０６をオフにするように指示する。システムコントローラ１０８は、移動命令メモリ１１８をチェックし、別のフレームが捕捉されるべきかどうかを決定し、該当する場合、移動コントローラ１１０に、任意の顕微鏡デバイス１０２および／またはカメラ１０４を適宜別の場所に移すように指示する。移動コントローラ１１０は、共有露光期間２０６の終了後、そのようなデバイス１０２、１０４にコマンドを発行する。一実施形態では、デバイス１０２、１０４は、期間２０８の間、そのようなコマンドに応答して、非同期的に場所を移され、期間２０８は、共有露光期間の終了と、その間、画素行ＡからＪのうちの最後のものが露光される期間２００Ｊの終了との間にある。他の実施形態では、デバイス１０２、１０４は、共有露光期間の終了の後、かつ、次の共有露光期間の始まり（例えば、図２の期間２０４Ｊの始まり）の前、コマンドに応答して、非同期的に場所を移される。さらに他の実施形態では、顕微鏡デバイス１０２、１０４のうちの１つ以上は、そのようなデバイスが、新しい位置への移動を開始していること、および／またはそのようなデバイスが新しい位置への移動を完了したことを示す信号を移動コントローラ１１０に送信し得る。

共有露光期間２０６の終了後、カメラ１０４は、行ＡからＪの画素の統合された照明レベルを読み取り、そのようなレベルを表すデータを画像取得モジュール１２０に伝送する。カメラ１０４が、未加工バイトのストリームとしての画素データ、圧縮または非圧縮形態における画素データ、および当技術分野において公知の画像フォーマット（例えば、ＴＩＦＦ、ＪＰＥＧ等）にエンコードされた画素データを伝送し得ることは、当業者には明白であるはずである。また、画像取得モジュール１２０が、カメラによって伝送されたデータを他のフォーマットに変換し得ることも明白であるはずである。データを受信後、画像取得モジュール１２０は、必要に応じて、そのようなデータを画像フレームにフォーマットし、そのようなフレームを画像メモリ１２２内に記憶する。

カメラ１０４のいくつかの実施形態は、共有露光期間を識別する信号を生成しないこともある。そのようなカメラは、前述の信号のうちのいくつかを提供し得る。そのようなカメラとともに使用されるときでも、システムコントローラ１０８は、カメラ１０４のセンサが露光されている期間中、顕微鏡デバイス１０２、１０４が場所を移されないように、移動コントローラ１１０、カメラ１０４、および照明源１０６を同期させる。

図３は、共有露光期間２０６を識別する信号を提供するカメラ１０４とともに使用されるときの画像取得システム１００によって行われる処理を図示する、フロー図である。図３を参照すると、ユーザインターフェース１１６が、ステップ３００において、ユーザから、取得されるべき１つ以上のサンプルの画像を示す移動コマンドを受信し、そのような移動コマンドを移動命令メモリ１１８内に記憶する。ステップ３０２において、移動コントローラ１１０は、例えば、電力をそのようなデバイス１０２に提供し、そのようなデバイス１０２との通信を確立し、デバイス１０２が動作可能であること等を確認することによって、顕微鏡デバイス１０２を初期化する。また、ステップ３０２において、カメラコントローラ１１２は、例えば、電力をカメラ１０２に提供し、カメラ１０４との通信を確立し、カメラ１０４に、そのセンサを構成する行の画素をリセットするように指示し、撮像パラメータを設定すること等によって、カメラ１０４を初期化する。典型的画像パラメータは、露光時間、ビニング（センサ画素が画像画素を生成するために組み合わせられる方法）、着目領域、取得する画像の数、利得、カメラ１０４を画像取得システム１００によって制御されない他のハードウェアと同期させるためのトリガ信号等を含み得る。加えて、照明コントローラ１１４はまた、ステップ３０２において、例えば、照明源１０６に提供される電力をオフにすること、またはそのような照明源１０６に関連付けられた別のコントローラに信号を送信することによって、照明源１０６をオフにする。

ステップ３０４において、システムコントローラ１０８は、移動命令を移動命令メモリ１１８から読み取る。ステップ３０６において、移動コントローラ１１０は、コマンドを１つ以上の顕微鏡デバイス１０２に送信し、そのようなデバイス１０２を移動命令に従う位置に移動させる。典型的には、そのようなコマンドに応答して、顕微鏡デバイス１０２は、画像取得システム１００に対して非同期的に移動する。

ステップ３０８において、カメラコントローラ１１２は、共有露光期間２０６の開始を示す信号を待つ。ステップ３１０において、カメラ１０４によってサポートされる場合、カメラコントローラ１１２は、カメラ１０４に、そのセンサに到達する任意の光を統合することを始めるように信号伝達する。照明源１０６は、ステップ３０２において、オフにされたため、信号は、センサに到達しないこともあることに留意されたい。

照明コントローラ１１４は、ステップ３１２において、照明源１０６をオンにする。その後、ステップ３１４において、カメラコントローラ１１２は、共有露光期間２０６の終了を示す信号を待つ。

共有露光期間２０６の終了を示す信号が受信された後、照明コントローラ１１４は、照明源１０６をオフにする。ステップ３１８において、カメラ１０４によってサポートされる場合、カメラコントローラ１１２は、カメラ１０４に、センサ上の光の統合を終了するための信号を発行する。ステップ３２０において、画像取得モジュール１２０は、カメラ３０４から、共有露光期間２０６の間に捕捉された画像フレームに関連付けられデータを受信し、そのようなデータを画像メモリ１２２内に記憶する。いくつかの実施形態では、必要に応じて、画像取得モジュール１２０は、カメラ１０４に、データの転送を始動するように信号伝達し得る。他の実施形態では、カメラ１０４は、統合終了信号に応答して、自動的に、データの転送を始め得る。異なる機構が、カメラ１０４からデータを得るために、画像取得モジュール１２０によって使用され得ることは、当業者には明白であるはずである。

ステップ３２２において、システムコントローラ１０８は、処理されていない移動命令メモリ１１８内の別の移動コマンドが存在するかどうかをチェックする。該当する場合、処理は、ステップ３０４に戻る。そうでなければ、ユーザインターフェース１１６は、ステップ３２４において、ユーザに、画像捕捉が完了したことを通知し、終了する。

図４は、共有露光期間２０６の始まりおよび終わりを識別する信号を提供しないカメラ１０４とともに使用されるときの画像取得システム１００の実施形態によって行われる処理を図示する、フロー図である。図４を参照すると、ステップ４００において、ユーザインターフェース１１６は、ユーザから、取得されるべき１つ以上のサンプルの画像を示す、移動コマンドを受信し、そのような移動コマンドを移動命令メモリ１１８内に記憶する。ステップ４０２において、移動コントローラ１１０は、顕微鏡デバイス１０２を初期化し、カメラコントローラ１１２は、カメラ１０４を初期化し、照明コントローラ１１４が、照明源１０６を初期化する。必要に応じて、照明コントローラ１１４は、照明源１０６をオフにする。

ステップ４０４において、システムコントローラ１０８は、移動命令を移動命令メモリ１１８から読み取る。ステップ４０６において、移動コントローラ１１０は、コマンドを１つ以上の顕微鏡デバイス１０２に送信し、そのようなデバイス１０２を移動命令に従う位置に移動させる。ステップ４０８において、カメラコントローラ１１２は、カメラ１０４のセンサの１つ以上の行の露光が開始したことを示す信号をカメラ１０４から受信するのを待つ。ステップ４１０において、照明コントローラ１１４は、照明源１０６をオンにする。ステップ４１２において、カメラコントローラ１１２は、カメラ１０４のセンサの行の露光が終了したことを示す信号を待つ。ステップ４１４において、照明コントローラ１１４は、照明源をオフにする。ステップ４１６において、画像取得モジュール１２０は、カメラ１０４から、画像フレームを受信し、そのような画像フレームを画像メモリ１２２内に記憶する。

ステップ４１８において、システムコントローラ１０８は、該当する場合、別の移動コマンドを移動コマンドメモリ１１８から読み取る。ステップ４２０において、移動コントローラ１１０は、ステップ４１８において読み取られた移動コマンドに従って、顕微鏡デバイス１０２および／またはカメラ１０４を別の場所に移す。その後、ステップ４２２において、カメラコントローラ１１２は、さらなる露光の開始を示す信号が受信されるまで待ち、ステップ４２４において、さらなる露光の終了を示す信号が受信されるまで待つ。ステップ４２６において、画像取得モジュール１２０は、画像フレームをカメラ１０４から受信し、ステップ４２８において、受信されたフレームを破棄する。ステップ４２４と４２６との間のセンサの露光から生じる画像は、この期間中、顕微鏡デバイス１０２および／またはカメラ１０４が、ステップ４２０において始動された移動に応答して、依然として移動している場合があるため、破棄される。

ステップ４３０において、システムコントローラ１０８は、移動コマンドがステップ４１８において読み取られたかどうかチェックし、該当する場合、処理は、ステップ４０８に戻る。そうでなければ、ユーザインターフェース１１６は、ユーザに、画像取得が完了したことを通知し、画像取得システム１００は、終了する。

図５は、異なるカメラ１０４とともに使用され得る、画像取得システムの例示的実施形態によって行われる処理を図示する、フロー図である。ステップ５００において、システムコントローラ１０８は、使用されているカメラ１０４に関する情報を得る。そのような情報は、カメラの製造業者および／またはモデルを含み得る。いくつかの実施形態では、カメラコントローラ１１２は、そのような情報に対して、カメラ１０４にクエリを行い得る。他の実施形態では、ユーザインターフェース１１６は、そのような情報をオペレータから取得し得る。さらに他の実施形態では、そのような情報は、画像取得システム１００内に事前に構成され得る。

ステップ５０２において、システムコントローラ１０８は、カメラ１０４に関する情報をチェックし、そのようなカメラ１０４が共有露光期間を識別する信号を提供する能力を有するかどうか決定する。いくつかの実施形態では、画像取得システム１００は、そのメモリ内に、カメラ１０４の種々のモデルの能力を示すテーブルを記憶している。他の実施形態では、ユーザインターフェース１１６は、そのような能力に対してユーザに尋ね得る。さらに他の実施形態では、カメラコントローラ１１６は、カメラ１０４にクエリを行うことによって、そのような能力に関する情報を取得し得る。カメラ１０８が、共有露光期間を識別する信号を提供する場合、処理は、ステップ５０４に進み、そうでなければ、処理は、ステップ５０６に進む。

ステップ５０４において、画像取得システム１００は、図３に対して本明細書に説明される処理を受ける。ステップ５０６において、画像取得システム１００は、図４に対して本明細書に説明される処理を受ける。ステップ５０４または５０６の後、画像取得システム１００は、終了する。

図６Ａから６Ｄを参照すると、ユーザインターフェース１１６は、画像取得システム１００に関連付けられたディスプレイ上に種々のダイアログボックスを提供し、オペレータが、移動コマンドを規定することを可能にし得る。１つのダイアログボックス６００は、オペレータが、顕微鏡デバイス１０２が受けるべき移動のタイプおよび取得されるべき画像のタイプを規定する、１つ以上のチェックボックス６０２を選択することを可能にする。一実施形態では、オペレータは、例えば、さまざまなステージ位置において、照明デバイス１０６によって生成される複数の光波長を使用して、さまざまな焦点面（サンプルからのＺ距離）において、画像のストリーム（すなわち、その間に時間間隔または遅延を伴わない画像フレーム）として等の取得されるコマ撮りシリーズ画像を規定し得る。

図６Ｂの別のダイアログボックス６０４は、オペレータが取得されている画像に関連付けられた説明を打ち込む、フィールド６０６を含む。オペレータは、ダイアログボックス６０４において、フィールド６０８に、画像に関連付けられたファイル名の一部を打ち込み得る。例えば、オペレータが、文字列「実験５」をフィールド６０８に打ち込む場合、取得された画像のファイルは、「実験５＿ａ」、「実験５＿ｂ」等と名前が付けられ得る。図６Ｃのダイアログボックス６１０は、オペレータが、特定の間隔において画像の取得を規定することを可能にする。オペレータは、画像セットの量をフィールド６１２内に規定し得る。

図６Ｄのダイアログボックス６１６は、オペレータが、照明源を移動させること、またはフィルタおよび他の光学要素を移動させることを伴い得るさまざまな照明を規定することを可能にする。例えば、オペレータは、ポップアップメニュー６１８を使用して、事前に構成された照明設定を規定し、エリア６２０内に提供されるダイアログ要素を使用して、さらなる選択肢を規定し得る。例えば、オペレータは、チェックボックス６２４を選択し、焦点面が画像間で変更されるべきことを規定し得る。

図６Ｅを参照すると、ユーザインターフェース１１６は、例えば、領域６２８を含む、ダイアログボックス６２６を表示する。領域６２８は、チェックボックスと、ポップアップメニューと、ユーザがカメラ１０４からのストリーミング画像に関連付けられたパラメータを規定するために修正することができるフィールドとを含む。

図６Ｆを参照すると、ヒューマンインターフェース１１６は、例えば、オペレータに、取得されようとしている撮像シーケンスを報告するためのダイアログボックス６３２を表示する。

前述の取得システム１００は、自動化された顕微鏡のカメラからの画像の迅速取得およびストリーミングを可能にする。そのような取得およびストリーミングは、顕微鏡デバイスの移動によるアーチファクトをそのような画像内に導入する可能性を最小限にしながら、達成される。本明細書に説明されるシステムのいくつかの用途は、サンプルの３Ｄ画像の高速取得、経時的複数の蛍光体標識サンプルの高速取得、ならびに経時的３Ｄおよび複数の蛍光体標識サンプルの取得を含む。他の用途も、当業者には明白であろう。

図１−６に関連して説明される、プロセス、サブプロセス、およびプロセスステップのうちの１つ以上は、１つ以上の電子またはデジタル制御デバイス上のハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって行なわれ得ることを理解および認識されたい。ソフトウェアは、例えば、図１−６に図式的に描写される、機能的システム、コントーラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つ以上等、好適な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）に常駐し得る。ソフトウェアメモリは、論理機能（すなわち、デジタル回路またはソースコード等のデジタル形態、あるいはアナログ電気、音、またはビデオ信号等のアナログ源等のアナログ形態で実装され得る、「論理」）を実装するための実行可能命令の順序付けられたリストを含み得る。命令は、例えば、１つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む、処理モジュールまたはコントーラ（例えば、図１のシステムコントーラ１０８、移動コントーラ１１０、カメラコントーラ１１２、照明コントーラ１１４、ユーザインターフェース１１６、および画像取得モジュール１２０）内で実行され得る。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない、物理的（ハードウェアおよび／またはソフトウェア）実装を有する、機能の論理分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一ハードウェア／ソフトウェアユニット、または別個のハードウェア／ソフトウェアユニット内において、ハードウェア／ソフトウェア構成要素として動作し得る。

実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに、命令を実施するように指示する、その中に記憶された命令を有する、コンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、選択的に、命令実行システム、装置、またはデバイスから命令をフェッチし、命令を実行し得る、電子コンピュータベースのシステム、プロセッサを含むシステム、あるいは他のシステム等、命令実行システム、装置、もしくはデバイスによってまたはそれと連動して使用するために、任意の非一過性コンピュータ読み取り可能な記憶媒体内で選択的に具現化され得る。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって、あるいはそれと連動して使用するためのプログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ読み取り可能な記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、またはデバイスであり得る。非一過性コンピュータ読み取り可能な媒体のより具体的実施例の非包括的リストとして、１つ以上のワイヤを有する電気接続（電子）、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性、メモリ（電子）、読み取り専用メモリ（電子）、消去可能プログラマブル読み取り専用メモリ、例えば、フラッシュメモリ（電子）、コンパクトディスクメモリ、例えば、ＤＣ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ（光学）、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）が挙げられる。非一過性コンピュータ読み取り可能な記憶媒体は、プログラムが、例えば、紙または他の媒体の光学走査を介して、電子的に捕捉され、次いで、必要に応じて、好適な様式において、コンパイル、解釈、または別様に処理され、次いで、コンピュータメモリまたは機械メモリ内に記憶され得るため、プログラムが印刷される、紙または別の好適な媒体でさえあり得ることに留意されたい。

また、信号の受信および伝送は、本書で使用されるように、２つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールが、いくつかのタイプの信号経路を経由して進行する信号を介して、相互と通信可能であることを意味することを理解されるであろう。信号は、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の信号経路に沿って、第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに情報、電力、またはエネルギーを通信し得る、通信、電力、データ、またはエネルギー信号であり得る。信号経路は、物理的、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含み得る。信号経路はまた、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間に追加のシステム、デバイス、構成要素、モジュール、またはサブモジュールを含み得る。

（産業上の可用性）
本発明の多数の修正が、前述の説明に照らして、当業者には明白であろう。故に、本説明は、例証のみとして解釈されるべきであって、当業者が本発明を作製および使用することを可能にする目的のために、かつそれを実施する最良の形態を教示するために提示される。添付の請求項の範囲内にある、あらゆる修正に対する排他的権利が、留保される。

Claims (20)

1. 顕微鏡に関連付けられたデバイスの移動と前記顕微鏡に関連付けられたカメラからの画像の取得とを同期させるコンピュータ実装方法であって、
   露光信号を前記顕微鏡に関連付けられた前記カメラから受信することと、
   前記露光信号を分析し、前記顕微鏡に関連付けられた前記デバイスが移動させられ得る期間を識別することと、
   前記露光信号に関連付けられた画像データを受信することと、
   前記識別された期間中に前記デバイスを新しい位置に移動させるためのコマンドを前記顕微鏡に関連付けられた前記デバイスに発行することと
   を含む、コンピュータ実装方法。
2. 前記顕微鏡に関連付けられた前記カメラは、ローリングシャッタを使用する、請求項１に記載のコンピュータ実装方法。
3. 前記コマンドを発行することは、そのような顕微鏡のＸ−Ｙステージ、カメラマウント、カメラ、フラッシュユニット、焦点調整デバイス、フィルタ、位相リング、および二色ミラーのうちの少なくとも１つを新しい位置に移動させるコマンドを発行することをさらに含む、請求項１に記載のコンピュータ実装方法。
4. 前記露光信号を分析し、前記受信されたデータが記憶されるべきかどうかを決定することと、
   そのような決定に従って、前記受信されたデータ従う画像フレームを記憶することと
   をさらに含む、請求項１に記載のコンピュータ実装方法。
5. 前記露光信号を受信することは、共有露光期間の終了を示す露光信号を受信することをさらに含み、前記コマンドを発行することは、そのような信号に応答して行われる、請求項１に記載のコンピュータ実装方法。
6. 前記受信されたデータは、前記顕微鏡に関連付けられた前記カメラのセンサによって前記共有露光期間中に統合された光に関連付けられている、請求項５に記載のコンピュータ実装方法。
7. さらなる共有露光期間の開始を示すさらなる露光信号を受信することと、
   そのような信号に応答して、照明源をオンにするための信号を発行することと
   をさらに含む、請求項５に記載のコンピュータ実装方法。
8. 前記さらなる共有露光期間の終了を示すなおもさらなる露光信号を受信することと、
   前記なおもさらなる露光信号に応答して、前記照明源をオフにするための信号を発行することと、
   前記顕微鏡に関連付けられた前記カメラのセンサによって前記さらなる共有露光期間中に統合された光に関連付けられたさらなる画像データを受信することと、
   前記さらなるデータを記憶することと
   をさらに含む、請求項７に記載のコンピュータ実装方法。
9. 前記露光信号を受信することは、露光期間が終了したことを示す信号を受信することを含み、前記画像データを受信することは、前記顕微鏡に関連付けられた前記カメラのセンサによって前記露光期間中に統合された光に関連付けられた画像データを受信することを含む、請求項１に記載のコンピュータ実装方法。
10. 前記カメラから、さらなる露光期間が終了したことのさらなる露光信号を受信することと、
    前記顕微鏡に関連付けられた前記カメラのセンサによって前記さらなる露光期間中に統合された光に関連付けられたさらなる画像データを受信することと、
    前記露光期間中に前記統合された光に関連付けられた画像データに従って、画像フレームを記憶することと、
    前記さらなる共有露光期間中に統合された光に関連付けられた前記さらなる画像データを破棄することと
    をさらに含む、請求項９に記載のコンピュータ実装方法。
11. 前記発行されるコマンドに従って、前記顕微鏡デバイスを非同期的に移動させることをさらに含み、画像データを受信することと前記顕微鏡デバイスを非同期的に移動させることとは、同時に行われる、請求項１に記載のコンピュータ実装方法。
12. 前記発行されるコマンドは、ユーザインターフェースに提供されている複数の移動命令から選択される移動命令に従っている、請求項１に記載のコンピュータ実装方法。
13. 顕微鏡に関連付けられたデバイスの移動と前記顕微鏡に関連付けられたカメラからの画像の取得とを同期させるための画像取得システムであって、
    露光信号を前記顕微鏡に関連付けられた前記カメラから受信するカメラコントローラと、
    前記露光信号を分析し、前記顕微鏡に関連付けられた前記デバイスが移動させられ得る期間を識別するシステムコントローラと、
    前記露光信号に関連付けられた画像データを受信する画像取得モジュールと、
    前記識別された期間中に前記顕微鏡に関連付けられた前記デバイスを新しい位置に移動させるためのコマンドを前記顕微鏡に関連付けられた前記デバイスに発行する移動コントローラと
    を備えている、画像取得システム。
14. 前記顕微鏡に関連付けられた前記カメラは、ローリングシャッタを使用する、請求項１３に記載の画像取得システム。
15. 前記移動コントローラによって発行されるコマンドは、そのような顕微鏡のＸ−Ｙステージ、カメラマウント、カメラ、フラッシュユニット、焦点調整デバイス、フィルタ、位相リング、および二色ミラーのうちの少なくとも１つに新しい位置に移動するように指示する、請求項１４に記載の画像取得システム。
16. 前記システムコントローラは、前記受信されたデータが記憶されるべきことを決定するために前記露光信号を分析し、前記画像取得モジュールは、そのような決定に従って、前記受信されたデータ従う画像フレームを記憶する、請求項１３に記載の画像取得システム。
17. 前記カメラコントローラによって受信される前記露光信号は、共有露光期間の終了を示す露光信号を含み、前記移動コントローラは、そのような信号に応答して、前記コマンドを発行し、
    前記画像取得モジュールによって受信される前記画像データは、前記顕微鏡に関連付けられた前記カメラのセンサによって前記共有露光期間中に統合された光に関連付けられており、
    前記画像取得システムは、照明コントローラをさらに備え、前記カメラコントローラは、さらなる共有露光期間の開始を示すさらなる露光信号を受信し、前記照明コントローラは、そのような信号に応答して、照明源をオンにするための信号を発行する、請求項１３に記載の画像取得システム。
18. 前記カメラコントローラは、前記さらなる共有露光期間の終了を示すなおもさらなる露光信号を受信し、
    前記照明コントローラは、前記なおもさらなる露光信号に応答して、前記照明源をオフにするための信号を発行し、
    前記画像取得モジュールは、前記顕微鏡に関連付けられた前記カメラのセンサによって前記さらなる共有露光期間中に統合された光に関連付けられたさらなる画像データを受信し、記憶する、
    請求項１７に記載の画像取得システム。
19. 前記顕微鏡デバイスは、前記発行されるコマンドに従って、非同期的に移動し、前記画像捕捉デバイスは、前記顕微鏡デバイスが非同期的に移動している場合、同時に、画像データを受信する、請求項１３に記載の画像取得システム。
20. 複数の移動命令を受信するためのユーザインターフェースをさらに備え、前記発行されるコマンドは、前記複数の移動命令から選択される移動命令に従っている、請求項１３に記載の画像取得システム。

Images