JP2009244561A - 顕微鏡撮影システム - Google Patents

Abstract

【課題】ユーザが実験機の傍に常駐しなくても観察状況を容易に知ることができるようにする。
【解決手段】カメラ３０は、顕微鏡１０により取得される標本の観察像を撮影する。ディスク４２は、カメラ３０により撮影された当該観察像を表している画像データを記録しておく。ＣＰＵ４４は、予め登録されている電子メールアドレスを宛先とし、当該画像データと、当該画像データで表されている観察像の撮影時における顕微鏡１０若しくはカメラ３０の設定状態を示す情報とが含まれている電子メールを作成する。通信制御装置４８は、この電子メールを通信ネットワークへ送信する。
【選択図】 図１

Description

本発明は、顕微鏡の技術に関し、特に、顕微鏡の遠隔操作の技術に関する。

端末から実験機（顕微鏡及びカメラ）の制御装置への通信ネットワーク越しのアクセスを受けて、当該顕微鏡及び当該カメラの当該端末からの遠隔操作を可能にした顕微鏡撮影システムが提案されている。例えば特許文献１には、観察対象となる病理標本が配置される遠隔操作顕微鏡を、通信ネットワークを介して接続される遠隔操作装置で操作する遠隔操作顕微鏡システムについての技術が開示されている。

この他、本願発明に関し、例えば特許文献２には、培養容器の試料を培養する培養装置が、当該培養容器を取り巻く環境状態の変化や培養装置の故障等に起因する異常が検出されたときに、その異常の発生を外部のコンピュータへ通知するためのメールを送信するという技術が開示されている。
特開平１０−１８６２３８号公報 特開２００７−１２９９７１号公報

上述したような従来の顕微鏡撮影システムでは、端末からアクセスがされている間、端末との通信が確立された状態となり、そのための通信処理が制御装置で継続して実行される。この状態において、制御装置が実験機の制御処理のための処理負担が大きくなると、通信処理のための余裕が少なくなる。ここで、この余裕がなくなると、端末からの指示に適切に応答しなくなって、端末による実験機の遠隔操作が行えなくなる場合や、システム全体が動作停止に陥る場合が発生することがある。更には、システムの制御を第三者が行えるようになってしまうなどの、セキュリティ上の問題が発生することも考えられる。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、ユーザが実験機の傍に常駐しなくても観察状況を容易に知ることができるようにすることである。

本発明の態様のひとつである顕微鏡撮影システムは、顕微鏡により取得される標本の観察像を撮影するカメラと、該カメラにより撮影された該観察像を表している画像データを記録しておく記録手段と、予め登録されている電子メールアドレスを宛先とし、該画像データと、該画像データで表されている観察像の撮影時における該顕微鏡若しくは該カメラの設定状態を示す情報とが含まれている電子メールを作成する電子メール作成手段と、該電子メールを通信ネットワークへ送信する通信手段と、を有するというものである。

なお、上述した顕微鏡撮影システムにおいて、該カメラは、該観察像を所定の撮影間隔で撮影し、該電子メール作成手段は、該電子メールの作成を所定の時間間隔で行うと共に、該作成時の直近に該カメラで撮影された該観察像を表している画像データを該電子メールに含め、該通信手段は、該電子メール作成手段が該電子メールを作成する度に該電子メールを送信する、ように構成することができる。

また、前述した顕微鏡撮影システムにおいて、該カメラを制御して該観察像を所定の撮影間隔で撮影させる制御手段を更に有し、該通信手段は、該顕微鏡撮影システムが宛先とされている電子メールを該通信ネットワーク上の電子メールサーバから受信し、該制御手段は、該通信手段が受信した電子メールが、該電子メール作成手段により作成された電子メールについての返信である場合には、該カメラを制御して該観察像の撮影を停止させる、ように構成することもできる。

なお、このとき、該電子メール作成手段は、作成する電子メールに、該顕微鏡撮影システムを特定する識別情報を、該電子メールのヘッダ情報に含ませておくようにし、該制御手段は、該通信手段が受信した電子メールに該識別情報が含まれていた場合に、該受信メールが該返信であるとの判定を下す、ように構成することができる。

また、前述した顕微鏡撮影システムにおいて、該顕微鏡、該カメラ、若しくは該記録手段における異常の発生を検知する異常検知手段を更に有し、該電子メール作成手段は、該異常検知手段が該異常の発生を検知した場合には、その異常の発生を示す情報が含まれている電子メールである異常発生通知メールを作成する、ように構成することもできる。

なお、このとき、該電子メール作成手段は、該異常発生通知メールの宛先を、該画像データを含む電子メールの宛先と異なるものとするように構成することができる。
また、前述した顕微鏡撮影システムにおいて、該カメラは、該観察像を所定の撮影間隔で撮影し、該カメラにより直近に撮影された２枚の観察像間の変化量を所定の閾値と比較する比較手段を更に有し、該電子メール作成手段は、該比較の結果として、該変化量が該所定の閾値を超えて大きい場合に、該カメラにより直近に撮影された観察像を表している画像データが含まれている該電子メールを作成し、該通信手段は、該電子メール作成手段が該電子メールを作成する度に該電子メールを送信する、ように構成することもできる。

本発明によれば、以上のようにすることにより、ユーザが実験機の傍に常駐しなくても観察状況を容易に知ることができるようになるという効果を奏する。

以下、本発明の実施の形態を図面に基づいて説明する。
まず図１について説明する。図１は本発明を実施する顕微鏡撮影システムの構成を示している。

図１に示すように、この顕微鏡撮影システムは、顕微鏡１０、顕微鏡制御装置２０、カメラ３０、コンピュータ４０、入力装置５０、及び表示装置６０を備えて構成されている。

顕微鏡１０は、電動レボルバ、電動フィルタ、電動ミラーユニットカセット、電動ステージ、電動シャッタ、電動プリズム、電動キューブターレット、電動底面ポート、電動コンデンサ、照明などの電動光学部材を備えている。

顕微鏡制御装置２０は、顕微鏡１０に備えられている上述した各電動光学部材の設定状態を、コンピュータ４０からの指示に従って制御すると共に、各電動光学部材の設定状態を示す情報を顕微鏡１０から取得してコンピュータ４０へ通知する。

カメラ３０は顕微鏡１０に接続されており、顕微鏡１０により取得される標本の観察像の撮影を行って、当該観察像の画像を表現している画像データをコンピュータ４０へ伝送する。

コンピュータ４０は、カメラ制御装置４１、ディスク４２、ディスク制御装置４３、ＣＰＵ４４、メモリ４５、入力制御装置４６、グラフィック制御装置４７、通信制御装置４８、及びバス４９を備えている。

カメラ制御装置４１は、カメラ３０の撮影動作における各種の撮影動作条件の設定を、ＣＰＵ４４の指示に従って制御すると共に、カメラ３０から伝送されてきた画像データの取得や、カメラ３０に設定されているこれらの撮影動作条件を示す情報の取得を、ＣＰＵ４４の指示に従って行う。なお、撮影動作条件としては、例えば、画像のサイズ、露出時間、ＩＳＯ感度、ゲイン、ビニング（画素混合）の実施状態、コントラスト、ホワイトバランス、ブラックバランス、撮影時間の間隔、撮影枚数、撮影時間等である。

ディスク４２は、ハードディスク装置などの情報記録媒体であり、カメラ３０で撮影された標本像の画像データ、当該標本像の撮影時におけるプロパティ情報（顕微鏡１０の電動光学部材の設定状態を示す情報及びカメラ３０の撮影動作条件を示す情報）、ＣＰＵ４４で実行される制御プログラムなどの各種の情報を記録する。ディスク制御装置４３は、このディスク４２に対するデータの記録及び読み出しの制御を、ＣＰＵ４４の指示に従って行う。

ＣＰＵ（中央演算装置）４４は、ディスク４２に記録されている制御プログラムを読み出して実行することにより、図１の顕微鏡撮影システム全体の動作を制御する。
メモリ４５は半導体メモリであり、ＲＯＭとＲＡＭとを備えている。ＲＯＭには、コンピュータ４０の各構成要素の基本的な制御を行うための基本プログラムが格納されており、ＣＰＵ４３は、コンピュータ４０に対する電力供給が開始されたときには、まず、この制御プログラムを読み出して実行することで、コンピュータ４０の各構成要素の制御が可能になる。一方、ＲＡＭは、例えば、ＣＰＵ４４が制御プログラムを実行する際の作業用メモリとして、また、カメラ３０で撮影された標本像の画像データの一時的な格納場所として、それぞれ使用される。

入力制御装置４６は、入力装置５０を制御して、入力装置５０により取得された入力情報を取得する。なお、入力装置５０は、例えばマウス装置、キーボード装置、ハンドスイッチなどといった、図１の顕微鏡撮影システムのユーザによって操作される操作子であり、当該操作に対応付けられている当該ユーザからの入力情報を取得する。

グラフィック制御装置４７は、表示装置６０を制御して、画像データで表現されている観察像の表示や各種の情報の表示を、ＣＰＵ４４からの指示に従って表示装置６０に行わせる。なお、表示装置６２は、例えば液晶ディスプレイである。

通信制御装置４８は、この顕微鏡撮影システムを不図示の通信ネットワークに接続するインタフェース装置であり、ＣＰＵ４４からの指示に従い、不図示の端末との間で当該通信ネットワークを介して各種のデータの授受を行う。

なお、カメラ制御装置４１、ディスク制御装置４３、ＣＰＵ４４、メモリ４５、入力制御装置４６、グラフィック制御装置４７、及び通信制御装置４８はバス４９を介して相互に接続されており、ＣＰＵ４４の管理の下で、各種のデータを相互に授受することができる。

次に、この顕微鏡撮影システムの動作の概要について説明する。
このシステムは、顕微鏡１０により取得される標本の観察像の撮影を、所定の時間間隔をおいてカメラ３０が間欠的に行い、得られた撮影画像を、ディスク４２に構築される画像データベースに記録する、いわゆるタイムラプス撮影を行う。そして、図２に示すように、画像データベースに蓄積したタイムラプス撮影画像についての画像データファイルを添付した所定の端末宛の電子メールを作成して、通信ネットワークへ送信する。従って、当該端末の使用者は、この電子メールを受け取って添付されている画像データファイルを開くことで、この顕微鏡撮影システムとは物理的に離れた位置に在っても、タイムラプス撮影画像を閲覧することができる。

また、このシステムは、自身の動作に異常を検知した場合には、その旨を示す所定の端末宛の電子メールを作成して、通信ネットワークへ送信する。従って、当該端末の使用者は、この電子メールを受け取ることで、この顕微鏡撮影システムとは物理的に離れた位置に在っても、システムの異常を認知することができる。

更に、このシステムは、自身が送信した電子メールに対する返信の電子メールを受信した場合には、タイムラプス撮影を停止させることができる。つまり、図３に示すように、このシステムからの電子メール１００を受信した端末の使用者は、この電子メールに対する返信の電子メール２００の送信操作を行うだけで、タイムラプス撮影の停止の指示を行うことができる。また、端末から送信された顕微鏡撮影システム宛の電子メールは、通信ネットワーク上に存在する不図示のメールサーバに一旦蓄えられ、顕微鏡撮影システムは、ＣＰＵ４４の処理に余裕のあるときに自身宛の電子メールをメールサーバから受け取る。従って、ＣＰＵ４４の処理負担が、端末との通信に起因して過大なものとなることが防止される。

ＣＰＵ４４は、顕微鏡撮影システムを以上のように動作させるために、次に説明する制御処理を行う。
ここで図４について説明する。図４は、ＣＰＵ４４により行われる制御処理の処理内容をフローチャートで示したものである。ＣＰＵ４４は、入力装置５０に対しユーザにより行われた所定の実行指示に従い、ディスク４２に予め記録されている所定の制御プログラムを読み出して実行することにより、この制御処理を実現する。

図４において、まず、Ｓ１０１では、この顕微鏡撮影システムの遠隔操作を行う端末を、通信ネットワーク上で特定するアドレスを登録する処理が行われる。
なお、本実施形態では、顕微鏡撮影システムと端末とのデータ授受を、電子メールにより行うものとしているので、この処理では、通信ネットワーク上で端末を特定するアドレスとして、電子メールアドレスの登録を行うものとする。このために、ＣＰＵ４４は、まず、グラフィック制御装置４７を制御して、図５に例示するような、この設定に利用するアドレス登録画面を表示装置６０を表示させる。そして、この画面の表示内容に従ってユーザが入力装置５０を操作して入力した、端末の使用者の名称（Ｕｓｅｒ Ｎａｍｅ）と、当該使用者に与えられている電子メールアドレスの情報（Ａｄｄｒｅｓ）を取得して、ディスク４２に記録する処理を行う。なお、この図５の画面に表されている表における同一行での対応関係に基づき、各使用者に対し識別用のユーザＩＤが割り当てられる。

なお、ＣＰＵ４４は、このときに、電子メールに添付する画像データファイルのデータ型式、当該ファイルで表されている画像の解像度、及び当該画像から当該画像データへの変換を行うときのデータ圧縮率の各情報も、併せて入力装置５０から取得してディスク４２に記録する処理を行う。

次に、Ｓ１０２では、顕微鏡１０の各電動光学部材を設定する処理が行われる。
この処理では、観察対象である標本やその観察法（検鏡法）に応じ、顕微鏡１０の各電動光学部材に対する初期設定が行われる。この処理のために、ＣＰＵ４４は、まず、グラフィック制御装置４７を制御して、この設定に利用するＧＵＩ画面（顕微鏡設定ＧＵＩ）を表示装置６０に表示させる処理を行う。そして、この画面の表示内容に従ってユーザが入力装置５０を操作して入力した情報を入力制御装置４６から取得する処理を行い、この取得した情報に基づいて顕微鏡制御装置２０に指示を与えて、ユーザの指示に従った設定となるように顕微鏡１０の各電動光学部材を制御させる処理を行う。

次に、Ｓ１０３では、カメラ３０の撮影動作条件を設定する処理が行われる。
このＳ１０３の処理では、ＣＰＵ４４は、まず、カメラ３０で現在撮像されている画像についての画像データをカメラ制御装置に取得させ、取得された画像データをグラフィック制御装置４７に転送して当該画像データで表現されている画像を表示装置６０に表示させる処理を所定の間隔（例えば１秒当たりで３０回）で行う。このようにして表示装置６０に表示される標本の観察像は、ライブプレビュー像などと称されている。

また、このとき、ＣＰＵ４４は、グラフィック制御装置４７を制御して、カメラ３０の撮影動作条件の設定に利用するＧＵＩ画面（カメラ設定ＧＵＩ）を表示装置６０に表示させる処理を行う。そして、ライブプレビュー像を観察しているユーザが、この画面の表示内容に従って入力装置５０を操作して入力した情報を、入力制御装置４６から取得する処理を行い、この取得した情報に基づいてカメラ制御装置４１に指示を与えて、ユーザの指示に従った設定となるようにカメラ３０を制御させる処理を行う。

次に、Ｓ１０４では、タイムラプス撮影における、時間軸に応じた顕微鏡１０及びカメラ３０の設定登録処理が行われる。
この処理では、例えば、タイムラプス撮影における撮影時間や、撮影間隔と撮影枚数との設定登録が行われる。また所定の撮影枚数毎に、画像サイズ、露光時間、ゲイン、ビニングの有無、コントラスト、シャープネスといった、カメラ３０の撮影動作条件を切り替える設定登録が、必要に応じて行われる。更に、各撮影動作の間に、顕微鏡１０の各電動光学部材を切り替える設定登録も必要に応じて行われる。この顕微鏡１０についての設定登録では、例えば、カメラ３０の撮影動作のタイミングに同期して、電動シャッタの開閉制御を行って標本に対する照明に起因するダメージを減少させる設定や、電動キューブターレットを駆動して、光学部材を備えている光学キューブを切り替える設定などの登録も、必要に応じて行われる。

なお、このＳ１０４の処理では、ＣＰＵ４４は、グラフィック制御装置４７を制御して、これらの設定登録に利用するＧＵＩ画面（設定ＧＵＩ）を表示装置６０に表示させる処理を行う。そして、この画面の表示内容に従ってユーザが入力装置５０を操作して入力した情報を、入力制御装置４６から取得してディスク４２に記録する処理を行う。

ここで、図６Ａ及び図６Ｂについて説明する。図６Ａ及び図６Ｂは、このＳ１０４の処理により表示装置６０に表示される設定ＧＵＩの画面例である。ここで、図６Ａは顕微鏡１０及びカメラ３０の設定登録用のものであり、図６Ｂはタイムラプス撮影動作の設定登録用のものである。

図６Ａでは、カメラ３０に対する設定項目として、露光時間、ゲイン、及び画像サイズの各項目が設けられている。また、顕微鏡１０に対する設定項目としては、使用する対物レンズの種別（電動レボルバの駆動制御用）、使用する光学キューブの種別（電動キューブターレットの駆動制御用）、位置（電動ステージの駆動制御用）、使用するコンデンサ（電動コンデンサの駆動制御用）、使用するランプ（照明装置の駆動制御用）、及び使用するフィルタ（電動フィルタの駆動制御用）の各項目が設けられている。

また、図６Ｂでは、タイムラプス撮影に対する設定項目として、撮影間隔と総撮影枚数との項目が設けられている。
なお、図６Ａや図６Ｂに示した設定ＧＵＩを複数表示装置６０に複数表示させるようにして、これらの設定登録を複数組行えるようにし、タイムラプス撮影において、各設定登録内容を所定の順序で顕微鏡撮影システムに再現して撮影を行うようにしてもよい。

次に、Ｓ１０５では、Ｓ１０１の処理により登録したアドレスにデータを転送するタイミングを登録する処理が行われる。すなわち、本実施形態においては、端末へデータを転送するための当該端末宛の電子メールをこの顕微鏡撮影システムが送信する時間間隔（送信間隔）を登録する処理が行われる。

このＳ１０５の処理では、ＣＰＵ４４は、前述した設定ＧＵＩの表示内容に従ってユーザが入力装置５０を操作して入力した時間間隔の情報を、入力制御装置４６から取得してディスク４２に記録する処理を行う。

ここで図７について説明する。図７は、このＳ１０５の処理により表示装置６０に表示される設定ＧＵＩの画面例である。この画面例では、設定登録項目として、送信間隔と、電子メールの送信先を特定するユーザＩＤとの項目が設けられている。

次に、Ｓ１０６では、上述したＳ１０４及びＳ１０５の処理により登録された設定内容に基づいたタイムラプス撮影の実行を開始させる処理が行われる。
この処理では、ＣＰＵ４４は、まず、グラフィック制御装置４７を制御してタイムラプス撮影開始ボタンアイコンを表示装置６０に表示させる処理を行う。そして、ユーザが入力装置５０を操作して当該タイムラプス撮影開始ボタンアイコンを押下する指示情報を入力制御装置４６が取得するまで、処理の信号を一時的に停止する処理を行う。ここで、当該指示情報を入力制御装置４６が取得したことを検出した場合には、ＣＰＵ４４は、Ｓ１０４及びＳ１０５の処理によりディスク４２に記録した情報を読み出し、この情報と、ＣＰＵ４４自身が内蔵している不図示のタイマにより計時される時間情報とに従って顕微鏡制御装置２０及びカメラ制御装置４１に指示を与えることで、顕微鏡１０の電動光学部材の切り替え制御、カメラ３０の撮影動作条件の切り替え設定制御、及びカメラ３０に対する標本の観察像の撮影動作制御を、顕微鏡制御装置２０及びカメラ制御装置４１にそれぞれ行わせる処理を行う。

次に、Ｓ１０７では、登録されたアドレスにより特定される端末へデータを転送するタイミングが到来したか否かを判定する処理が行われる。すなわち、本実施形態においては、前述したタイマにより、Ｓ１０５の処理により登録していた時間間隔に相当する時間の経過が検出されて、端末宛の電子メールを送信するタイミングが到来したか否かを判定する処理がＣＰＵ４４で行われる。ここで、当該タイミングが到来したと判定したとき（判定結果がＹｅｓのとき）にはＳ１０８に処理を進め、当該タイミングは到来していないと判定したとき（判定結果がＮｏのとき）にはＳ１０９に処理を進める。

Ｓ１０８では、アドレスを登録していた端末へのデータ転送処理が行われる。すなわち、本実施形態では、ＣＰＵ４４は、Ｓ１０１の処理によりディスク４２に記録しておいた電子メールアドレスのうち、Ｓ１０５の処理によって送信先に指定されているものを読み出し、このアドレスを宛先とする電子メールを作成し、通信制御装置４８を制御して、作成した電子メールを通信ネットワークへ送信させる処理を行う。

なお、ＣＰＵ４４は、このときに作成される電子メールに、例えば、この作成時刻の直近にカメラ３０で撮影されてディスク４２に記録されていた観察像の画像データを、Ｓ１０１の処理によりディスク４２に記録しておいた画像サイズ、データ型式、データ圧縮率のものに変換して含めるようにする。なお、画像データの圧縮処理は、既存の手法（例えばＪＰＥＧ方式やＪＰＥＧ２０００方式など）を使用するものとする。ここで、画像データは、当該電子メールに添付するようにしてもよく、また、当該電子メールの本文中に画像を埋め込む形式にしてもよい。

また、ＣＰＵ４４は、このときに作成される電子メールに、この顕微鏡撮影システムについて固有の識別情報をヘッダ情報として含めるようにする。
なお、ＣＰＵ４４は、作成する電子メールの本文として、当該画像を撮影したときにおける顕微鏡１０の電動光学部材の設定情報、及びカメラ３０の撮影動作条件を示す情報を、テキスト情報にして含めるようにする。

次に、Ｓ１０９では、顕微鏡１０、カメラ３０、若しくはデータを保存しているディスク４２に異常が発生しているかどうかを判定する処理が行われる。
この処理では、顕微鏡１０において、例えば、顕微鏡制御装置２０が電動レボルバを駆動制御しているのに対物レンズの切り替えが顕微鏡制御装置２０で検知されない場合、顕微鏡制御装置２０が照明の点灯制御を行っているのに照明の点灯が顕微鏡制御装置２０で検知されない場合、顕微鏡制御装置２０が電動ステージを駆動制御しているのに電動ステージの位置の変化が顕微鏡制御装置２０で検知されない場合、顕微鏡制御装置２０がシャッタの開閉を制御しているのにシャッタの開閉が顕微鏡制御装置２０で検知されない場合などに、顕微鏡制御装置００２はその状態に対応したエラーコードをコンピュータ４０に出力する。また、例えばカメラ３０において、カメラ３０に備えられている不図示の温度センサから、許容範囲を超えたカメラ３０の内部温度を示す情報をカメラ制御装置４１が取得した場合、カメラ３０に対する露出時間の設定変更制御をカメラ制御装置４１が行ったのにカメラ３０での当該露出時間の設定変更がカメラ制御装置４１で検知されない場合などに、カメラ制御装置４１はその状態に対応したエラーコードをＣＰＵ４４に出力する。ＣＰＵ４４は、このようなエラーコードを顕微鏡制御装置２０若しくはカメラ制御装置４１から受け取ることで、顕微鏡１０若しくはカメラ３０の異常を検知することができる。また、ディスク４２については、ディスク制御装置４３が出力するエラーコードを受け取ることで、その異常をＣＰＵ４４は検知することができる。

このＳ１０９の判定処理において、異常が発生していると判定されたとき（判定結果がＹｅｓのとき）にはＳ１１０に処理を進め、異常が発生していないと判定されたとき（判定結果がＮｏのとき）にはＳ１１３に処理を進める。

Ｓ１１０では、異常が発生している箇所の情報を集計する処理が行われる。すなわち、本実施形態では、ＣＰＵ４４は、顕微鏡制御装置２０、カメラ制御装置４１、若しくはディスク制御装置４３から受け取ったエラーコードを纏めてメモリ４５に一時的に保存する処理を行う。

Ｓ１１１では、Ｓ１１０の処理の集計結果を示すデータを、アドレスを登録していた端末へ転送する処理が行われる。すなわち、本実施形態では、ＣＰＵ４４は、メモリ４５に保存しておいたエラーコードを読み出し、当該エラーコードを示す情報を本文に含めた電子メールを作成し、Ｓ１０１の処理によりディスク４２に記録しておいた電子メールアドレスのうち、Ｓ１０５の処理によって送信先に指定されているものを読み出してこのアドレスを当該電子メールの宛先とし、通信制御装置４８を制御して、作成した電子メールを通信ネットワークへ送信させる処理を行う。

なお、この異常の発生を通知する電子メールの送信先を、タイムラプス画像を添付した電子メールの送信先と異なるものとすることも可能である。すなわち、図８に例示するように、緊急時（異常発生時）の電子メールの送信先を示すユーザＩＤを、別途ディスク４２に登録しておくようにしておき、このＳ１１１の処理では、Ｓ１０１の処理によりディスク４２に記録しておいた電子メールアドレスのうち、この登録内容によって緊急時送信先に指定されているものを読み出してこのアドレスを当該電子メールの宛先とし、通信制御装置４８を制御して、作成した電子メールを通信ネットワークへ送信させる処理を行うようにしてもよい。

また、ＣＰＵ４４は、このときに作成される電子メールに、この顕微鏡撮影システムについて固有の識別情報をヘッダ情報として含めるようにする。
なお、以上のＳ１０９からＳ１１１にかけての処理については、後で更に具体的に説明する。

Ｓ１１２では、この顕微鏡撮影システムが送信した電子メールに対する返信の電子メールを受信したか否かを判定する処理が行われる。
この処理では、ＣＰＵ４４は、通信制御装置４８を制御して、通信ネットワーク上の不図示の電子メールサーバに対し、この顕微鏡撮影システム宛の電子メールの配信要求を送信させる。そして、この配信要求に応じて電子メールサーバから受け取った電子メールが、顕微鏡撮影システムが送信した電子メールに対する返信であるか否かを、当該電子メールのヘッダ情報における当該顕微鏡撮影システムに固有の識別情報の存在有無と、当該電子メールの発信元とに基づいて判定する処理を行う。返信である電子メールを受け取ったと判定した場合には、Ｓ１１２の判定結果をＹｅｓとしてＳ１１４に処理を進める。一方、返信である電子メールを受け取っていないと判定した場合には、Ｓ１１２の判定結果をＮｏとしてＳ１１３に処理を進める。

次に、Ｓ１１３では、タイムラプス撮影の終了時間に達したか否かを判定する処理が行われる。すなわち、本実施形態では、ＣＰＵ４４は、前述したタイマによる計時動作により、タイムラプス撮影を開始してからの経過時間が、Ｓ１０４の設定登録処理により登録された撮影時間に達したか否かを判定する処理を行う。ここで、タイムラプス撮影の終了時間に達したと判定されたとき（判定結果がＹｅｓのとき）にはＳ１１４に処理を進める。一方、タイムラプス撮影の終了時間に達していないと判定されたとき（判定結果がＮｏのとき）にはＳ１０７に処理を戻して上述した処理が繰り返される。

Ｓ１１４では、Ｓ１０６の処理により開始させたタイムラプス撮影の実行を終了させる処理が行われ、その後はこの図４の制御処理を終了する。
以上の処理がＣＰＵ４４で行われることにより、図１の顕微鏡撮影システムが前述したように動作する。

次に図９について説明する。図９は、ＣＰＵ４４で行われる異常通知処理の処理内容をフローチャートで示したものである。なお、この処理は、図４におけるＳ１０９からＳ１１１にかけての処理をより具体的に示したものである。

Ｓ２０１の処理は、図４の制御処理におけるＳ１０７の処理に続き、若しくは、当該制御処理におけるＳ１０７の処理の判定結果がＮｏであったときに行われる。このＳ２０１では、当該制御処理におけるＳ１０４及びＳ１０５の処理により設定登録された内容をディスク４２から読み出して取得する処理が行われる。

次に、Ｓ２０２では、Ｓ２０１の処理により取得した内容の設定を顕微鏡１０及びカメラ３０で実現するための制御コマンドを、顕微鏡制御装置２０及びカメラ制御装置４１へ送信する処理が行われる。なお、顕微鏡制御装置２０及びカメラ制御装置４１は、この制御コマンドに対応する制御動作に成功した場合には、制御成功を示す値（例えば「１」）を戻り値としてＣＰＵ４４に返送するものとし、この制御コマンドに対応する制御動作が成功しなかった場合には、制御失敗を示す値（例えば「０」）を戻り値としてＣＰＵ４４に返送するものとする。

このＳ２０２に続くＳ２０３からＳ２０５にかけての各判定処理は、図４のＳ１０９の判定処理に対応するものである。
まず、Ｓ２０３では、Ｓ２０２の処理により送信した制御コマンドに対する戻り値を取得したか否かを判定する処理が行われる。ここで、戻り値を取得したと判定したとき（判定結果がＹｅｓのとき）にはＳ２０４に処理を進め、戻り値を取得していないと判定したとき（判定結果がＮｏのとき）にはＳ２０５に処理を進める。

Ｓ２０４では、取得した戻り値が制御失敗を示す値であるか否かを判定する処理が行われる。ここで、戻り値が制御失敗を示す値であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ２０６に処理を進める。一方、戻り値が制御成功を示す値であると判定されたとき（判定結果がＮｏのとき）には、この異常通知処理を終了して、図４のＳ１１３に処理を進める。

Ｓ２０５では、ＣＰＵ４４内蔵のタイマによる計時結果に基づき、Ｓ２０２の処理により制御コマンドを送信してからの経過時間が、予め設定されているタイムアウト時間を過ぎたか否かを判定する処理が行われる。ここで、当該タイムアウト時間を過ぎたと判定されたとき（判定結果がＹｅｓのとき）にはＳ２０６に処理を進める。一方、当該タイムアウト時間を未だ過ぎていないと判定されたとき（判定結果がＮｏのとき）にはＳ２０３へ処理を戻して上述した判定処理が繰り返される。

次のＳ２０６の処理は、図４のＳ１１０の処理に対応するものである。すなわち、Ｓ２０６では、顕微鏡制御装置２０及びカメラ制御装置４１から自律的に送られてくる、若しくはＣＰＵ４４からの要求に従って送られてくる、異常の詳細を示すエラーコードを取得する処理が行われる。

次のＳ２０７からＳ２０９にかけての処理は、図４のＳ１１１の処理に対応するものである。
まず、Ｓ２０７では、エラーコードを、対応する説明文に変換する処理が行われる。なお、ディスク４２には、エラーコードと説明文である文書データとを対応付けた文書データファイルを予め格納しておくようにし、ＣＰＵ４４は、この文書データファイルを参照、この内容に基づいてエラーコードを説明文に変換する処理を行う。

次に、Ｓ２０８では、この顕微鏡撮影システムについて固有の識別情報（ＩＤ）を生成し、このＩＤをヘッダ情報に含めると共に、Ｓ２０７の処理により得られた説明文を本文に含めた電子メールを作成する処理が行われる。

次に、Ｓ２０９では、Ｓ１０１の処理によりディスク４２に記録しておいた電子メールアドレスのうち、Ｓ１０５の処理によって送信先に指定されているもの（若しくは図８に例示した画面に対する登録内容によって緊急時送信先に指定されているもの）を読み出してこのアドレスを当該電子メールの宛先とし、通信制御装置４８を制御して、作成した電子メールを通信ネットワークへ送信させる処理を行う。その後は、この異常通知処理を終了して、図４のＳ１１２に処理を進める。

以上の異常通知処理がＣＰＵ４４で行われることにより、図１の顕微鏡撮影システムがタイムラプス撮影動作を実行している途中でシステム内に異常が発生した場合に、その旨を通知する電子メールが、通知先として設定されている者へ宛てて送信される。

なお、図４に示した制御処理では、予め設定しておいた時間間隔で、端末宛のタイムラプス画像を含む電子メールを通信ネットワークへ送信するようにしていた。ここで、更に、カメラ３０により撮影された標本の観察像に所定の閾値を超える変化が生じた場合に、当該電子メールを送信するように構成することもできる。

図１０について説明する。図１０は、図１の顕微鏡撮影システムにおいて、このような動作を行わせるために、ＣＰＵ４４により行われるメール送信処理の処理内容をフローチャートで示したものである。なお、この処理は、例えば、図４の制御処理におけるＳ１０７及びＳ１０８の処理と、Ｓ１０９の処理との間に行うようにする。

図１０において、まず、Ｓ３０１では、直近にカメラ３０で撮影されて画像データがディスク４２に記録されていた観察像を、その撮影の直前にカメラ３０で撮影されて画像データがディスク４２に記録されていた観察像との差分（例えば画像を構成する画素毎の輝度の差分）を求めてその変化量を算出する処理が行われる。

次に、Ｓ３０２では、この変化量が、所定の閾値を超えているか否かを判定する処理が行われ、超えていると判定されたとき（判定結果がＹｅｓのとき）にはＳ３０３に処理を進め、超えていないと判定されたとき（判定結果がＮｏのとき）には、このメール送信処理を終了して図４のＳ１０９に処理を進める。

なお、この閾値は、例えば、図４の制御処理を開始する前に、図１１に例示するような変化量閾値設定画面を表示装置６０に表示させる処理と、この画面の表示内容に従ってユーザが入力装置５０を操作して入力した閾値情報を入力制御装置４６から取得してディスク４２に記録する処理をＣＰＵ４４が行って得られた閾値情報を用いるようにする。

次に、Ｓ３０３では、電子メールを作成して、この作成時刻の直近にカメラ３０で撮影されてディスク４２に記録されていた観察像（Ｓ３０１の処理の対象としたもの）の画像データを、Ｓ１０１の処理によりディスク４２に記録しておいた画像サイズ、データ型式、データ圧縮率のものに変換して含める処理が行われる。そして、続くＳ３０４において、このときに作成される電子メールに、この顕微鏡撮影システムについて固有の識別情報をヘッダ情報として含めると共に、図４のＳ１０１の処理によりディスク４２に記録しておいた電子メールアドレスのうち、Ｓ１０５の処理によって送信先に指定されているものを読み出し、このアドレスを当該電子メールの宛先として設定した上で、通信制御装置４８を制御して、作成した電子メールを通信ネットワークへ送信させる処理が行われる。そして、その後は、このメール送信処理を終了して図４のＳ１０９に処理を進める。

以上のメール送信処理かせＣＰＵ４４で行われることにより、カメラ３０により撮影された標本の観察像に所定の閾値を超える変化が生じた場合に、当該観察像の画像データを含む端末宛の電子メールが送信される。従って、当該端末の使用者は、この電子メールを受け取ることで、この顕微鏡撮影システムとは物理的に離れた位置に在っても、タイムラプス撮影のために設定された撮影時間間隔に囚われることなく、観察像に発生した大きな変化を認識することができる。

以上のように、図１に示した顕微鏡撮影システムでは、視察者が実験機の傍にいなくても、タイムラプス撮影による標本観察の動向を知ることができる。また、端末との通信に電子メールを使用することにより、負荷の低い状態のときに、タイムラプス撮影のスケジュールを停止することができるので、安全なシステムを提供できる。

本発明を実施する顕微鏡撮影システムの構成を示す図である。 図１の顕微鏡撮影システムの動作の概要を説明する図（その１）である。 図１の顕微鏡撮影システムの動作の概要を説明する図（その２）である。 制御処理の処理内容をフローチャートで示した図である。 アドレス登録画面の画面例を示す図である。 顕微鏡及びカメラの設定登録用のＧＵＩ画面例を示す図である。 タイムラプス撮影動作の設定登録用のＧＵＩ画面例を示す図である。 電子メール送信間隔設定用のＧＵＩ画面例を示す図である。 緊急時の電子メールの送信先の例を示す図である。 異常通知処理の処理内容をフローチャートで示した図である。 メール送信処理の処理内容をフローチャートで示した図である。 変化量閾値設定画面の画面例を示す図である。

符号の説明

１０ 顕微鏡
２０ 顕微鏡制御装置
３０ カメラ
４０ コンピュータ
４１ カメラ制御装置
４２ ディスク
４３ ディスク制御装置
４４ ＣＰＵ
４５ メモリ
４６ 入力制御装置
４７ グラフィック制御装置
４８ 通信制御装置
４９ バス
５０ 入力装置
６０ 表示装置
１００ 電子メール（往信）
２００ 電子メール（返信）

Claims (7)

1. 顕微鏡により取得される標本の観察像を撮影するカメラと、
   前記カメラにより撮影された前記観察像を表している画像データを記録しておく記録手段と、
   予め登録されている電子メールアドレスを宛先とし、前記画像データと、該画像データで表されている観察像の撮影時における前記顕微鏡若しくは前記カメラの設定状態を示す情報とが含まれている電子メールを作成する電子メール作成手段と、
   前記電子メールを通信ネットワークへ送信する通信手段と、
   を有することを特徴とする顕微鏡撮影システム。
2. 前記カメラは、前記観察像を所定の撮影間隔で撮影し、
   前記電子メール作成手段は、前記電子メールの作成を所定の時間間隔で行うと共に、該作成時の直近に前記カメラで撮影された前記観察像を表している画像データを該電子メールに含め、
   前記通信手段は、前記電子メール作成手段が前記電子メールを作成する度に該電子メールを送信する、
   ことを特徴とする請求項１に記載の顕微鏡撮影システム。
3. 前記カメラを制御して前記観察像を所定の撮影間隔で撮影させる制御手段を更に有し、
   前記通信手段は、前記顕微鏡撮影システムが宛先とされている電子メールを前記通信ネットワーク上の電子メールサーバから受信し、
   前記制御手段は、前記通信手段が受信した電子メールが、前記電子メール作成手段により作成された電子メールについての返信である場合には、前記カメラを制御して前記観察像の撮影を停止させる、
   ことを特徴とする請求項１に記載の顕微鏡撮影システム。
4. 前記電子メール作成手段は、作成する電子メールに、前記顕微鏡撮影システムを特定する識別情報を、該電子メールのヘッダ情報に含ませておくようにし、
   前記制御手段は、前記通信手段が受信した電子メールに前記識別情報が含まれていた場合に、該受信メールが前記返信であるとの判定を下す、
   ことを特徴とする請求項３に記載の顕微鏡撮影システム。
5. 前記顕微鏡、前記カメラ、若しくは前記記録手段における異常の発生を検知する異常検知手段を更に有し、
   前記電子メール作成手段は、前記異常検知手段が前記異常の発生を検知した場合には、その異常の発生を示す情報が含まれている電子メールである異常発生通知メールを作成する、
   ことを特徴とする請求項１に記載の顕微鏡撮影システム。
6. 前記電子メール作成手段は、前記異常発生通知メールの宛先を、前記画像データを含む電子メールの宛先と異なるものとすることを特徴とする請求項５に記載の顕微鏡撮影システム。
7. 前記カメラは、前記観察像を所定の撮影間隔で撮影し、
   前記カメラにより直近に撮影された２枚の観察像間の変化量を所定の閾値と比較する比較手段を更に有し、
   前記電子メール作成手段は、前記比較の結果として、前記変化量が前記所定の閾値を超えて大きい場合に、前記カメラにより直近に撮影された観察像を表している画像データが含まれている前記電子メールを作成し、
   前記通信手段は、前記電子メール作成手段が前記電子メールを作成する度に該電子メールを送信する、
   ことを特徴とする請求項１に記載の顕微鏡撮影システム。