JP2015094855A - 顕微鏡システム - Google Patents

Abstract

【課題】タブレット端末のように通信速度が遅い端末によっても、簡易に顕微鏡画像を閲覧する。
【解決手段】標本の複数の顕微鏡画像を取得する顕微鏡２と、該顕微鏡２により取得された顕微鏡画像を順次記憶する記憶部を備えるシステム本体３と、該システム本体３にネットワーク４を介して接続された端末５とを備え、システム本体４が、端末５からの要求に応じて、記憶部に記憶している顕微鏡画像をネットワーク４を介して配信し、端末５が、システム本体３から配信された顕微鏡画像を順次表示する顕微鏡システム１を提供する。
【選択図】図１

Description

本発明は、顕微鏡システムに関するものである。

従来、顕微鏡によって長時間にわたり標本の画像を取得するとともに、取得された時刻に対応づけて画像を取得することにより、事後的に時間の経過を辿りながら標本の状態を観察することを可能とするタイムラプス観察が行われている。この場合に、顕微鏡によって取得された画像を、顕微鏡に接続されたパーソナルコンピュータに保存していき、必要に応じて当該パーソナルコンピュータによってタイムラプス観察中の既に取得された画像や、タイムラプス観察終了後の画像を閲覧することが行われている（例えば、特許文献１参照。）。

特許第４９９６３１２号公報

しかしながら、特許文献１の顕微鏡システムでは、顕微鏡に接続されたパーソナルコンピュータによって画像を記憶し表示するので、タイムラプス観察のように取得された画像データが膨大であっても閲覧することができるが、タブレット端末のように通信速度が遅く膨大な画像データを記憶するために長時間を要する端末によって閲覧することは困難であるという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、タブレット端末のように通信速度が遅い端末によっても、簡易に顕微鏡画像を閲覧することができる顕微鏡システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、標本の複数の顕微鏡画像を取得する顕微鏡と、該顕微鏡により取得された顕微鏡画像を順次記憶する記憶部を備えるシステム本体と、該システム本体にネットワークを介して接続された端末とを備え、前記システム本体が、前記端末からの要求に応じて、前記記憶部に記憶している顕微鏡画像を前記ネットワークを介して配信し、前記端末が、前記システム本体から配信された顕微鏡画像を順次表示する顕微鏡システムを提供する。

本態様によれば、顕微鏡により取得された顕微鏡画像は、システム本体の記憶部に順次記憶される。端末からネットワークを介して配信要求があった場合に、記憶部に記憶されている顕微鏡画像がネットワークを介して端末に配信され、配信された顕微鏡画像が端末において順次表示される。端末においては、膨大なデータ量の顕微鏡画像を記憶しなくても顕微鏡画像を閲覧することができ、ネットワークの通信速度が高くない場合であっても、端末において要求後迅速に顕微鏡画像の閲覧を開始することができる。

上記態様においては、前記システム本体が、前記端末から要求された顕微鏡画像を該端末において閲覧する形式に変換する画像形式変換部を備えていてもよい。
このようにすることで、顕微鏡画像が画像形式変換部によって端末における閲覧形式に変換された後に配信されるので、端末において閲覧形式を変換する処理を行う必要がなく、配信直後に閲覧することができる。

また、上記態様においては、前記顕微鏡が、４次元以上の情報を有する複数の顕微鏡画像を取得してもよい。
また、上記態様においては、前記顕微鏡画像の４次元以上の情報が、顕微鏡の光軸に交差するＸ，Ｙ方向の位置情報、顕微鏡の光軸に沿うＺ方向の位置情報、時間情報、波長情報、輝度情報、顕微鏡の光軸に交差するラインの位置情報、検出部が複数存在する場合のチャネル情報および顕微鏡の光軸に交差する領域の位置情報から選択されてもよい。

このようにすることで、４次元の情報のうち、いずれか２次元の情報を有する顕微鏡画像を、残りの２次元の情報を切り替えて閲覧することができる。
例えば、Ｘ，Ｙ方向の２次元の位置情報を有する顕微鏡画像を時間軸に沿って閲覧することで、標本の経時変化を観察することができ、同じ顕微鏡画像をＺ方向の位置情報に沿って閲覧することで、標本の深さ方向に沿う変化を観察することができる。

また、上記態様においては、前記システム本体は、同一の次元に複数の顕微鏡画像が存在する場合に、これらを合成する画像合成部を備えていてもよい。
このようにすることで、同一の次元を有する複数の顕微鏡画像が画像合成部によって合成された後に配信されるので、端末において合成処理を行う必要がなく、配信直後に閲覧することができる。

また、上記態様においては、前記端末が閲覧速度を前記システム本体に送信し、該システム本体が、前記端末から送信された閲覧速度に応じて、配信する顕微鏡画像を間引いてもよい。
このようにすることで、端末における閲覧速度が速い場合に、全ての顕微鏡画像を配信することなく、間引かれた少数の顕微鏡画像を配信することにより、スムーズな閲覧を行うことができる。

また、上記態様においては、前記端末が表示倍率を前記システム本体に送信し、前記システム本体は、段階的に倍率が異なる顕微鏡画像を生成して記憶部に記憶するとともに、前記端末から送信された表示倍率に応じた倍率の顕微鏡画像を配信してもよい。
このようにすることで、端末において必要な表示倍率に応じた倍率の顕微鏡画像がシステム本体から端末に配信されるので、端末において倍率を変換する処理を最小限に抑えて、配信直後に閲覧を開始することができる。

本発明によれば、タブレット端末のように通信速度が遅い端末によっても、簡易に顕微鏡画像を閲覧することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。 図１の顕微鏡システムに備えられるサーバを示すブロック図である。 図２のサーバ内の記憶部に記憶される画像データの一例を示す図である。 図１の顕微鏡システムに備えられる端末を示すブロック図である。 図１の画像処理部において生成される画像ピラミッドの一例を示す図である。

本発明の一実施形態に係る顕微鏡システム１について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１は、図１に示されるように、標本の顕微鏡画像を取得する顕微鏡２と、該顕微鏡２に接続されたサーバ（システム本体）３と、該サーバ３に無線または有線のネットワーク４を介して接続された端末５とを備えている。

顕微鏡２は、例えば、走査型共焦点顕微鏡や、多光子励起型顕微鏡のように、標本内部の所定の深さ位置に対物光学系の焦点位置を配置して、光軸に直交する２次元方向にレーザ光を走査することにより蛍光画像を取得する蛍光顕微鏡である。
また、顕微鏡２は、標本において設定された注目領域に対し、対物光学系の焦点位置を光軸方向（Ｚ方向）に異なる複数の位置に配置して、各Ｚ方向位置において蛍光画像を取得するようになっている。また、顕微鏡２は、各Ｚ方向位置において、時間間隔をあけて、時系列方向に複数枚の蛍光画像を取得するようになっている。

そして、顕微鏡２は、取得された顕微鏡画像を逐次、サーバ３に送るようになっている。
サーバ３は、図２に示されるように、顕微鏡２から送られてきた顕微鏡画像を記憶する記憶部６と、端末５からの要求に応じて顕微鏡画像を処理する画像処理部（画像形式変換部）７と、端末５からの信号を受信するとともに、画像処理部７において画像処理された顕微鏡画像を端末５に対して送信する通信部８と、これらを制御する制御部９とを備えている。

記憶部６は、制御部９によって制御され、図３に示されるように、顕微鏡２から逐次送られてきた顕微鏡画像ＧをＺ方向位置および取得時刻と対応づけて記憶するようになっている。
画像処理部７は、制御部９によって制御され、端末５からの要求に応じた顕微鏡画像Ｇを記憶部６から読み出して、例えば、タイムラプス画像、Ｚスタック画像等を構成する処理、および、顕微鏡画像Ｇを配信用形式に変換する処理、例えば、顕微鏡画像Ｇを分割する等の処理を施すようになっている。

顕微鏡画像Ｇの分割は、あるサイズを超えた顕微鏡画像Ｇを配信用のサイズに分割保存する処理である。例えば、１画像が５１２×５１２ピクセル以上の顕微鏡画像Ｇを２５６×２５６ピクセル単位に分割することが行われる。顕微鏡画像Ｇの分割に代えて、圧縮率を顕微鏡画像Ｇのサイズから自動的に定められたサイズに圧縮することが行われてもよい。

通信部８は、制御部９によって制御され、端末５から送信されてくる信号を制御部９に入力する一方、端末５から要求され、画像処理部７により画像処理された顕微鏡画像Ｇを、ネットワーク４を介して端末５に送信するようになっている。
制御部９は、顕微鏡２から顕微鏡画像Ｇが送られてくるとその都度、送られてきた顕微鏡画像Ｇを記憶部６に記憶するようになっている。

また、制御部９は、端末５において、特定の顕微鏡画像Ｇの観察が指定され、かつ、取得時刻およびＺ方向位置が指定された場合には、サーバ３の記憶部６内を探索し、対応する取得時刻およびＺ方向位置に対応づけられている顕微鏡画像Ｇを読み出して、通信部８に配信させるようになっている。

また、制御部９は、端末５において、タイムラプス観察が指定され、かつ、観察を開始する取得時刻およびＺ方向位置が指定された場合には、サーバ３の記憶部６内を探索し、対応する取得時刻およびＺ方向位置に対応づけられている顕微鏡画像Ｇから時系列方向に並ぶ複数枚の顕微鏡画像Ｇを順次読み出して、通信部８に配信させるようになっている。

また、制御部９は、端末５において、Ｚスタック画像の観察が指定され、かつ、取得時刻および観察を開始するＺ方向位置が指定された場合には、サーバ３の記憶部６内を探索し、対応する取得時刻およびＺ方向位置に対応づけられている顕微鏡画像ＧからＺ方向に並ぶ複数枚の顕微鏡画像Ｇを順次読み出して、画像処理部７に画像処理させた後に、通信部８によって端末５へ送信させるようになっている。

端末５は、図４に示されるように、ネットワーク４を介してサーバ３と通信する通信部１０と、サーバ３から送信されてきた顕微鏡画像Ｇを記憶する記憶部１１と、顕微鏡画像Ｇを表示するとともにＧＵＩによりサーバ３への要求を入力する表示部１２と、記憶部１１に記憶された顕微鏡画像Ｇを順次表示部１２に表示するよう制御する制御部１３とを備えている。

このように構成された本実施形態に係る顕微鏡システム１の作用について以下に説明する。
本実施形態に係る顕微鏡システム１を用いて顕微鏡２から離れた遠隔地において端末５により顕微鏡画像Ｇを観察する場合について説明する。

顕微鏡２の作動により、標本に対して焦点位置をＺ方向に異ならせた複数の顕微鏡画像ＧからなるＺスタック画像が、取得時間を異ならせて複数組取得されていく。取得された顕微鏡画像Ｇは、サーバに送られ、制御部９により、Ｚ方向位置および取得時間と対応づけられて記憶部６に記憶されていく。

この場合において、遠隔地において端末５が操作され、タイムラプス観察が選択されるとともに、観察を開始したい取得時刻および観察したいＺ方向位置が入力されると、これらの情報がネットワーク４を介してサーバ３に送られ、制御部９が記憶部６を探索して最初の顕微鏡画像Ｇを読み出し、画像処理部７によって画像処理させた後に、通信部８によりネットワーク４を介して端末５に送信させる。制御部９は、最初に読み出した顕微鏡画像Ｇに対して時系列方向の前方または後方に隣接する次の顕微鏡画像Ｇを記憶部６から読み出して、通信部８によりネットワーク４を介して端末５に送信させる。以降、同様の処理を繰り返す。

端末５に顕微鏡画像Ｇが送られてきた場合には、記憶部１１に一旦記憶された後、表示部１２によって表示される。端末５においては、要求した全ての顕微鏡画像Ｇが送信されてくるのを待つことなく、１枚の顕微鏡画像Ｇが送信されてくる都度、順次表示部１２に表示される。

ここで、制御部９は、遠隔において端末５が操作され、顕微鏡画像Ｇが要求されたときに、この要求された時点の顕微鏡画像Ｇ（以下、要求顕微鏡画像Ｇと称する）から先の顕微鏡画像Ｇを先読みするいわゆる先読み機能を有していてもよい。
この場合には、要求顕微鏡画像Ｇとともに先の顕微鏡画像Ｇを記憶部６から読み出して、通信部８によりネットワークを介して端末５に送信させる。そして、要求顕微鏡画像Ｇとともに先の顕微鏡画像Ｇが記憶部１１に記憶され、要求顕微鏡画像Ｇが表示部１２に表示された後、先の顕微鏡画像Ｇが表示可能なタイミングで表示部１２に表示される。

これにより、ネットワーク４を介してしか顕微鏡２に接続できず、大量の画像データを送信するには膨大な時間を要する遠隔地の端末５においても、顕微鏡２におけるタイムラプス画像の取得中に、既に取得された顕微鏡画像Ｇによるタイムラプス観察を簡易に行うことができるという利点がある。

また、遠隔地において端末５が操作され、Ｚスタック画像の観察が選択されるとともに、観察を開始したいＺ方向位置が入力されると、これらの情報がネットワーク４を介してサーバ３に送られ、制御部９が記憶部６を探索して最初の顕微鏡画像Ｇを読み出し、画像処理部７によって画像処理させた後に、通信部８によりネットワーク４を介して端末５に送信させる。制御部９は、最初に読み出した顕微鏡画像Ｇに対してＺ方向に隣接する次の顕微鏡画像Ｇを記憶部６から読み出して、通信部８によりネットワーク４を介して端末５に送信させる。以降、同様の処理を繰り返す。

端末５に顕微鏡画像Ｇが送られてきた場合には、記憶部１１に一旦記憶された後、表示部１２によって表示される。端末５においては、要求した全ての顕微鏡画像Ｇが送信されてくるのを待つことなく、１枚の顕微鏡画像Ｇが送信されてくる都度、順次表示部１２に表示される。

ここで、制御部９は、遠隔において端末５が操作され、顕微鏡画像Ｇが要求されたときに、この要求顕微鏡画像Ｇから先の顕微鏡画像Ｇを先読みするいわゆる先読み機能を有していてもよい。
この場合には、要求顕微鏡画像Ｇとともに先の顕微鏡画像Ｇを記憶部６から読み出して、通信部８によりネットワークを介して端末５に送信させる。そして、要求顕微鏡画像Ｇとともに先の顕微鏡画像Ｇが記憶部１１に記憶され、要求顕微鏡画像Ｇが表示部１２に表示された後、先の顕微鏡画像Ｇが表示可能なタイミングで表示部１２に表示される。

これにより、ネットワーク４を介してしか顕微鏡２に接続できず、大量の画像データを送信するには膨大な時間を要する遠隔地の端末５においても、顕微鏡２におけるＺスタック画像の取得中に、既に取得された顕微鏡画像Ｇによる観察を簡易に行うことができるという利点がある。

すなわち、本実施形態によれば、タブレット端末のように通信速度が遅い端末によっても、撮像中または撮像が完了した顕微鏡画像を簡単に閲覧することができる。
また、本実施形態に係る顕微鏡システム１によれば、各顕微鏡画像Ｇは光軸に直交する２次元方向（Ｘ，Ｙ）と、光軸に沿う１次元方向（Ｚ）と、時間軸方向（Ｔ）とを含む４次元の情報を有しており、Ｚ方向およびＴ方向に間隔をあけて複数取得されているために、膨大な画像データとなっている。しかし、顕微鏡２から直接配信するのではなく、サーバ３に設けられた記憶部６に記憶されたものが配信されるので、配信の為の処理によって顕微鏡２の動作が影響を受けることなく、精度よく顕微鏡画像Ｇを取得していくことができる。

また、サーバ３の記憶部６に記憶されている多数の顕微鏡画像Ｇからなるタイムラプス画像やＺスタック画像が端末５から要求された場合においても、いずれかの顕微鏡画像Ｇが端末５に送信され次第、順次表示部１２に表示されていくので、通信速度が遅いネットワーク４を介して顕微鏡画像Ｇが送信される遠隔地の端末５においても、長時間にわたって待つことなく、タイムラプス画像やＺスタック画像を順次閲覧することができるという利点がある。

なお、本実施形態においては、タイムラプス画像およびＺスタック画像について、遠隔地の端末５において単純に閲覧する場合について説明したが、これに代えて、例えば、閲覧中にタイムラプス画像を拡大して閲覧したい場合について説明する。このような要求が予測できる場合には、サーバ３の画像処理部７が、図５に示されるように、予め画像ピラミッド１４を作成しておけばよい。

すなわち、画像処理部７は、全ての顕微鏡画像Ｇについて解像度を異ならせた複数の顕微鏡画像Ｇ１，Ｇ２，Ｇ３，Ｇ４・・の集合である画像ピラミッド１４を構築しておき、制御部９は、端末５において要求された拡大率に応じたいずれかの解像度の顕微鏡画像Ｇ１，Ｇ２，Ｇ３，Ｇ４・・を画像ピラミッド１４から選択して通信部８により送信させる。これにより、端末５での処理を増加させることなく、拡大率が変わっても同様の解像度で観察を行うことができる。

また、例えば、顕微鏡画像Ｇが波長の異なる複数チャネルによって取得され、それらの貼り合わせ画像の閲覧が端末５から要求された場合には、画像処理部７において貼り合わせ処理をした後に、通信部８により端末５に送信することにすればよい。これにより、端末５での処理を増加させることなく、貼り合わせ画像を閲覧することができる。この場合、端末５側で貼り合わせ前の顕微鏡画像Ｇの閲覧に切り替えることができるようにしてもよい。

また、本実施形態においては、端末５側から要求された場合に顕微鏡画像Ｇを送信することとしたが、これに代えて、顕微鏡画像Ｇが取得される都度、自動的にサーバ３の記憶部６に記憶し、通信部８が、記憶部６に記憶された顕微鏡画像Ｇを、ネットワーク４を介して端末５に順次送信することにしてもよい。

また、端末５側においてタイムラプス画像の再生速度が指定された場合に、サーバ３が時間軸方向に隣接する全ての顕微鏡画像Ｇを送信するのではなく、再生速度に応じて間引きながら顕微鏡画像Ｇを送信させることにしてもよい。これにより、送信に要する時間が節約されるので、指定された再生速度で、タイムラプス画像をスムーズに閲覧することができる。

また、本実施形態においては、各顕微鏡画像Ｇは光軸に直交する２次元方向（Ｘ，Ｙ）と、光軸に沿う１次元方向（Ｚ）と、時間軸方向（Ｔ）とを含む４次元の情報を有していることとしたが、これに限定されるものではなく、顕微鏡画像の４次元以上の情報が、Ｘ，Ｙ，Ｚ方向の位置情報、時間情報（Ｔ）、波長情報（λ）、輝度情報、顕微鏡の光軸に交差するラインの位置情報、検出部が複数存在する場合のチャネル情報および顕微鏡の光軸に交差する領域の位置情報から選択されることにしてもよい。
また、画像処理部は、同一の次元に複数の顕微鏡画像が存在する場合に、これらを合成する機能を有していてもよい。

１ 顕微鏡システム
２ 顕微鏡
３ サーバ（システム本体）
４ ネットワーク
５ 端末
６ 記憶部
７ 画像処理部（画像形式変換部、画像合成部）
Ｇ 顕微鏡画像

Claims (7)

1. 標本の複数の顕微鏡画像を取得する顕微鏡と、
   該顕微鏡により取得された顕微鏡画像を順次記憶する記憶部を備えるシステム本体と、
   該システム本体にネットワークを介して接続された端末とを備え、
   前記システム本体が、前記端末からの要求に応じて、前記記憶部に記憶している顕微鏡画像を前記ネットワークを介して配信し、
   前記端末が、前記システム本体から配信された顕微鏡画像を順次表示する顕微鏡システム。
2. 前記システム本体が、前記端末から要求された顕微鏡画像を該端末において閲覧する形式に変換する画像形式変換部を備える請求項１に記載の顕微鏡システム。
3. 前記顕微鏡が、４次元以上の情報を有する複数の顕微鏡画像を取得する請求項１または請求項２に記載の顕微鏡システム。
4. 前記顕微鏡画像の４次元以上の情報が、顕微鏡の光軸に交差するＸ，Ｙ方向の位置情報、顕微鏡の光軸に沿うＺ方向の位置情報、時間情報、波長情報、輝度情報、顕微鏡の光軸に交差するラインの位置情報、検出部が複数存在する場合のチャネル情報および顕微鏡の光軸に交差する領域の位置情報から選択される請求項３に記載の顕微鏡システム。
5. 前記システム本体は、同一の次元に複数の顕微鏡画像が存在する場合に、これらを合成する画像合成部を備える請求項３または請求項４に記載の顕微鏡システム。
6. 前記端末が閲覧速度を前記システム本体に送信し、
   該システム本体が、前記端末から送信された閲覧速度に応じて、配信する顕微鏡画像を間引く請求項１から請求項５のいずれかに記載の顕微鏡システム。
7. 前記端末が表示倍率を前記システム本体に送信し、
   前記システム本体は、段階的に倍率が異なる顕微鏡画像を生成して記憶部に記憶するとともに、前記端末から送信された表示倍率に応じた倍率の顕微鏡画像を配信する請求項１から請求項６のいずれかに記載の顕微鏡システム。

Images