JP2011118107A - 顕微鏡システム - Google Patents

Abstract

【課題】バーチャルスライド画像の生成を短時間で行う。
【解決手段】標本Ａの部分的な小領域を順次撮影する顕微鏡２と、該顕微鏡２を制御するとともに該顕微鏡２により撮影された画像データに基づいて各小領域の拡大画像を生成する第１の処理装置３と、該第１の処理装置３により生成された複数枚の拡大画像を継ぎ合わせてバーチャルスライド画像を生成する第２の処理装置４とを備える顕微鏡システム１を提供する。
【選択図】図１

Description

本発明は、顕微鏡システムに関するものである。

従来、高倍率の対物レンズを使用した場合に、一度に観察できる観察範囲が標本のごく一部に限られるため、標本の画像を予め小区分に分割し、各小区分に対応する標本の部分の高解像度の画像を高倍率の対物レンズを使用して撮影し、取得された小区分に対応する標本部分の画像を貼り合わせることにより、標本の全体画像を構築する、いわゆるバーチャルスライド顕微鏡システムが知られている（例えば、特許文献１参照。）。

特開２００８−１９１４２７号公報

しかしながら、このようなバーチャルスライド顕微鏡システムにおいては、バーチャルスライド画像の生成時における画像の継ぎ合わせ処理に多大な処理能力が要求されるため、生成処理がボトルネックとなって、短時間でバーチャルスライド画像を生成することができないという問題がある。すなわち、バーチャルスライド画像を構成する最初の拡大画像の取得時刻と最後の拡大画像の取得時刻とに大きな時間差が発生し、単一の標本内において標本の状態が変化してしまうという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、バーチャルスライド画像の生成を短時間で行うことを可能とする顕微鏡システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、標本の部分的な小領域を順次撮影する顕微鏡と、該顕微鏡を制御するとともに該顕微鏡により撮影された画像データに基づいて各小領域の拡大画像を生成する第１の処理装置と、該第１の処理装置により生成された複数枚の拡大画像を継ぎ合わせてバーチャルスライド画像を生成する第２の処理装置とを備える顕微鏡システムを提供する。

本発明によれば、第１の処理装置によって制御された顕微鏡により、標本の小領域の拡大画像が順次取得され、取得された複数枚の拡大画像が第２の処理装置によって継ぎ合わせられてバーチャルスライド画像が生成される。
顕微鏡を制御して行われる拡大画像の取得作業と、取得された拡大画像を継ぎ合わせるバーチャルスライド画像の生成作業とを別個の処理装置によって行わせることにより、バーチャルスライドの生成作業に処理能力を奪われることなく、多数枚の拡大画像を迅速に取得することができる。その結果、最初の拡大画像と最後の拡大画像との取得時間差を軽減し、標本の状態が変化しない内に拡大画像を取得し終えることができる。

上記発明においては、前記第１の処理装置が、前記拡大画像をシェーディング補正、ベイヤー変換およびカラーマトリックス変換の少なくとも一つの処理を行うこととしてもよい。
また、上記発明においては、前記第２の処理装置により生成されたバーチャルスライド画像を記憶する画像記憶サーバを備え、前記第１の処理装置および前記第２の処理装置の少なくとも一方と前記画像記憶サーバとがネットワークを介して接続されていてもよい。
このようにすることで、第２の処理装置により生成されたバーチャルスライド画像が、ネットワークを介して画像記憶サーバに転送されて記憶されるので、第２の処理装置に膨大な容量の記憶装置を備えずに済む。

また、上記発明においては、前記第２の処理装置が、生成されたバーチャルスライド画像を圧縮して前記画像記憶サーバに転送することとしてもよい。
このようにすることで、膨大な容量のバーチャルスライド画像が第２の処理装置によって生成された後に圧縮され、画像容量を低減した状態で転送されるので、転送時間を短縮できる。
また、上記発明においては、前記第２の処理装置が、生成されたバーチャルスライド画像を分割して、その分割画像を圧縮して前記画像記憶サーバに転送することとしてもよい。

また、上記発明においては、前記第２の処理装置が、バーチャルスライド画像の生成時に各小領域の拡大画像の画像品質を判定する品質判定部を備え、該品質判定部により、拡大画像の画像品質が所定の閾値より低いと判定された場合に、前記顕微鏡により当該拡大画像を撮り直すように前記第１の処理装置に指令するフィードバック部を備えていてもよい。

このようにすることで、バーチャルスライド画像が生成される際に、品質判定部によって各小領域の拡大画像の画像品質が判定される。例えば、複数枚の拡大画像を継ぎ合わせて行く際に、その継ぎ目が目立ってしまう場合に、継ぎ目が目立たないような拡大画像を取得し直した方がいい場合がある。このような場合には、フィードバック部が、第１の処理装置に対して、該当する拡大画像の取り直しを指令し、第１の処理装置が、顕微鏡を制御して該当する拡大画像を取得することにより、高い品質のバーチャルスライド画像を生成することが可能となる。

また、上記発明においては、前記第１の処理装置および前記第２の処理装置が、各処理装置において生成された拡大画像またはバーチャルスライド画像を表示する画像表示部を備えていてもよい。
このようにすることで、生成された各小領域の拡大画像や生成されたバーチャルスライド画像を画像表示部によって表示して作業者に確認させることができる。

また、上記発明においては、前記第１の処理装置および前記第２の処理装置の少なくとも一方が、前記画像表示部に表示する画像の画像表示用の補正の要求を操作者に入力させる入力部を備え、前記画像記憶サーバが、前記第１の処理装置および第２の処理装置の少なくとも一方からの要求に応じて記憶しているバーチャルスライド画像に画像表示用の補正を施して要求のあった処理装置に転送することにしてもよい。

このようにすることで、画像表示部を有する第１の処理装置や第２の処理装置に画像処理の負担を負わせることなく、画像記憶サーバによって画像表示用の補正が施されたバーチャルスライド画像を表示することができる。画像表示用の補正としては、例えば、ガンマ補正を挙げることができる。

本発明によれば、バーチャルスライド画像の生成を短時間で行うこととができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。 図１の顕微鏡システムの第２の処理部を示すブロック図である。 図２の第２の処理部による処理を説明するフローチャートである。 本発明の他の実施形態に係る顕微鏡システムの一部を示す部分構成図である。

本発明の一実施形態に係る顕微鏡システム１について図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１は、図１に示されるように、標本Ａの小領域を拡大して順次撮影する顕微鏡２と、該顕微鏡２に接続された第１の処理装置（フロントエンドＰＣ）３と、該第１の処理装置３に接続された第２の処理装置（バックエンドＰＣ）４と、これら処理装置３，４にネットワーク５を介して接続されたサーバ（画像記憶サーバ）６とを備えている。

顕微鏡２は、標本Ａを搭載するステージ７を備えていて、ステージ７の水平方向移動によって撮影する小領域の位置を切り替えることができるようになっている。また、顕微鏡２は、標本Ａからの光を集光する対物レンズ８を備え、該対物レンズ８とステージ７との距離を調節する合焦機構（図示略、例えば、ステージ７の昇降機構）によって、対物レンズ８の焦点深度の範囲内に標本Ａを配置することができるようになっている。また、顕微鏡２は、光源９から出射された照明光を標本Ａに照射し、対物レンズ８によって集光された標本Ａからの光を撮影して画像信号を出力するＣＣＤのような撮像素子１０を備えている。具体的には、画像の取得は、エリアスキャンＣＣＤあるいはラインスキャンＣＣＤで行うようになっている。

第１の処理装置３は、顕微鏡２におけるステージ７の移動、合焦機構による合焦動作、および撮像素子１０により撮影等を制御するとともに、撮像素子１０から出力された画像信号を処理して小領域の拡大画像（以下、タイル画像という。）を生成し、第２の処理装置４に出力するようになっている。
第１の処理装置３による小領域の撮影は、予め定められた順序に従って順次行われ、当該小領域の位置を示す情報と、生成されたタイル画像とが対応づけられた情報Ｂが、第２の処理装置４に順次出力されるようになっている。

第２の処理装置４は、第１の処理装置３から出力された複数枚のタイル画像を含む情報Ｂを受け取って、該タイル画像に対応づけられている小領域の位置を示す情報に基づいて、これらのタイル画像を継ぎ合わせることにより、バーチャルスライド画像を生成するようになっている。

バーチャルスライド画像の生成においては、各タイル画像のシェーディング補正、複数のタイル画像のスティッチングによるバーチャルスライド画像の生成および生成されたバーチャルスライド画像の圧縮等の画像処理を施すようになっている。そして、圧縮されたバーチャルスライド画像Ｃはネットワーク５を介してサーバ６へ転送されるようになっている。
第１の処理装置３および第２の処理装置４には、生成されたタイル画像やバーチャルスライド画像を表示するモニタ（画像表示部）１１，１２がそれぞれ接続されている。また、図中、符号１３は入力部である。

サーバ６は、第２の処理装置４から転送されてきたバーチャルスライド画像Ｃを保存するとともに、第１の処理装置３または第２の処理装置４からの要求に応じて、保存しているバーチャルスライド画像Ｃを、ネットワーク５を介して要求のあった処理装置３，４に対して送信するようになっている。

このように構成された本実施形態に係る顕微鏡システム１の作用について以下に説明する。
本実施形態に係る顕微鏡システム１を用いてバーチャルスライド画像を生成するには、第１の処理装置３の作動によって顕微鏡２が制御され、予め定められた順序に従って、ステージ７が移動して標本Ａの所定の小領域が対物レンズ８の光軸上に順次配置される。そして、対物レンズ８を介して光源９からの照明光が標本Ａに照射されるとともに、標本からの光が対物レンズ８によって集光され、撮像素子１０によって撮影される。

撮像素子１０は、小領域を撮影して得られた画像信号を出力し、第１の処理装置３に送る。第１の処理装置３においては、送られてきた画像信号を処理してタイル画像を生成する。そして第１の処理装置３は、生成されたタイル画像を、該タイル画像に対応する小領域の位置を示す情報と共に、これらを含む情報Ｂを第２の処理装置４に転送する。また、生成されたタイル画像は、第１の処理装置３に接続されたモニタ１１に表示される。

第２の処理装置４においては、第１の処理装置３から順次転送されてくるタイル画像にシェーディング補正を施すと共に、タイル画像に対応づけて送られてくる位置を示す情報に基づいて複数のタイル画像をスティッチング処理して繋ぎ合わせ、バーチャルスライド画像を生成する。また、生成されたバーチャルスライド画像は第２の処理装置４に接続されたモニタ１２に表示される。
そして、第２の処理装置４において、生成されたバーチャルスライド画像が圧縮された後に、ネットワーク５を介してサーバ６に転送され、サーバ６に保存される。

このように本実施形態に係る顕微鏡システム１によれば、顕微鏡２の制御とタイル画像の生成が第１の処理装置３で行われ、バーチャルスライド画像の生成および画像処理が第２の処理装置４で行われるので、第１の処理装置３では、バーチャルスライド画像生成のための画像処理を待つことなく、定められた順序に従ってタイル画像を生成し続けることができる。また、第２の処理装置４では、第１の処理装置３からタイル画像が送られてくる都度に、シェーディング補正およびスティッチング処理を行うので、一の標本Ａの所望範囲にわたるタイル画像の生成終了から大きく遅れることなくバーチャルスライド画像を生成し終えることができる。

すなわち、本実施形態に係る顕微鏡システム１においては、タイル画像の生成とバーチャルスライド画像の生成を別個の処理装置３，４に分けて行うことにより、バーチャルスライド画像を生成するための膨大な画像処理に時間をとられることなく、短期間の内にタイル画像を取り終えることができる。したがって、標本Ａの状態が急激に変化する場合においても、最初のタイル画像と最後のタイル画像の取得における時間差を低減することができる。

また、本実施形態によれば、第１の処理装置３におけるタイル画像の生成と、第２の処理装置４におけるバーチャルスライド画像の生成を並列して行うことができ、タイル画像の生成終了から大きく遅れること無くバーチャルスライド画像を得ることができる。
また、生成されたバーチャルスライド画像は圧縮された後にサーバ６に転送されるので、転送時間が短縮されるとともに、少ない記憶容量でサーバ６に保存することができる。

また、第１の処理装置３および第２の処理装置４はネットワーク５を介してサーバ６に接続されているので、第１の処理装置３あるいは第２の処理装置４において、作業者が入力部１３からサーバ６に対して転送要求を行うことにより、圧縮されたバーチャルスライド画像を呼び出してモニタ１１，１２に表示することができる。

なお、本実施形態においては、第１の処理装置３においてタイル画像を生成し、生成されたタイル画像を１枚ずつ第２の処理装置４に送ることとしたが、これに代えて、第１の処理装置３の処理能力に余裕が有る場合には、複数枚のタイル画像に対するシェーディング補正およびスティッチング処理を施した部分的なバーチャルスライド画像を生成して第２の処理装置４に送ることにしてもよい。第１の処理装置３と第２の処理装置４の処理能力に応じて処理量をバランスさせることができ、より無駄のないバーチャルスライド画像の生成を行うことができるという利点がある。

また、第１の処理装置３および第２の処理装置４の少なくとも一方に設けられた入力部１３から、作業者がサーバ６に対して転送要求を入力した場合には、サーバ６が、保存されているバーチャルスライド画像に対してガンマ補正を施したものを要求されたいずれかの処理装置３，４に転送することとし、処理装置３，４が、転送されてきたバーチャルスライド画像をモニタ１１，１２に表示することにしてもよい。このようにすることで、作業者がより自然に近い状態で標本Ａを観察することができるという利点がある。また、処理が膨大となるガンマ補正をサーバ６に任せることで、第１または第２の処理装置３，４の負荷を軽減することができる。

さらに、図２および図３に示されるように、第２の処理装置４が、複数枚のタイル画像を受信（ステップＳ１）した後に、各タイル画像の画像品質を判定（ステップＳ２）する品質判定部１４と、該品質判定部１４において、所定の品質を満たしていないと判断されたタイル画像について、これを再度取得し直すように第１の処理装置３に指示（ステップＳ３）するフィードバック部１５とを備えていてもよい。

品質判定部１４は、例えば、スティッチング処理した際に、タイル画像どうしの継ぎ目に明確な明度差が発生したり、継ぎ合わせようとするタイル画像間で合焦状態が大きく変動したりして継ぎ目が目立ってしまうか否かを判定するようになっている。判定は境界部分における輝度値の差が所定の閾値を超えているか否かを検出することにより行えばよい。

品質判定部１４において、画像品質が所定の閾値以上と判定された場合には、シェーディング補正部１６によるシェーディング補正（ステップＳ４）およびスティッチング処理部１７によるスティッチング処理（ステップＳ５）が施される。そして、受信されたタイル画像が終了するまでステップＳ１〜Ｓ５が繰り返される（ステップＳ６）。

第１の処理装置３は、第２の処理装置４のフィードバック部１５から指令を受けると、対応する位置の小領域が対物レンズ８の光軸に一致するようにステージ７を移動させるとともに、対物レンズ８の合焦状態や照明光の光量を調節することとすればよい。
このようにすることで、継ぎ目の目立たない品質の高いバーチャルスライド画像を取得することができるという利点がある。

次に、本発明の他の実施形態に係る顕微鏡システムについて図面を参照して以下に説明する。
この実施形態に係る顕微鏡システムは、図４に示されるように、顕微鏡に接続された第１の処理装置３と、該第１の処理装置３に接続された第２の処理装置４とによって処理する内容が上記実施形態とは異なっている。その他の構成は、上記実施形態と同一であるので説明を省略する。

第１の処理装置３は、タイル画像を生成するタイル画像生成部２１と、タイル画像生成部２１で生成されたタイル画像をシェーディング補正するシェーディング補正部２２と、タイル画像生成部２１で生成されたタイル画像をベイヤー変換するベイヤー変換部２３と、タイル画像生成部２１で生成されたタイル画像をカラーマトリックス変換するカラーマトリックス変換部２４と、を備えている。
なお、この実施形態では、第１の処理装置３は、シェーディング補正部２２、ベイヤー変換部２３およびカラーマトリックス変換部２４の全てを備えているが、シェーディング補正部２２、ベイヤー変換部２３およびカラーマトリックス変換部２４の少なくとも一つの画像処理部を備えていれば良い。

一方、第２の処理装置４は、画像処理を行った複数枚のタイル画像を含む情報Ｂを受け取って、複数枚のタイル画像を継ぎ合わせて１枚のバーチャルスライド画像を生成するスティッチング処理部２５と、スティッチング処理部２５で生成された１枚のバーチャルスライド画像をデータとして扱いやすい大きさに分割する分割処理部２６と、分割処理部２６で分割された複数枚の分割画像をそれぞれ圧縮する圧縮処理部２７と、を備えている。この圧縮処理部２７で圧縮された複数枚の圧縮画像は、第２処理装置４から画像記憶サーバに転送される。

この実施形態に係る顕微鏡システムによれば、第１の処理装置３と第２の処理装置４の処理量のバランスが良くなり、より無駄のないバーチャルスライド画像の生成および保存を行うことができるという利点がある。
なお、この実施形態では、２つのパソコンにそれぞれ第１の処理装置３と第２の処理装置４とを備える構成としたが、これに限らず、１つのパソコンに複数の処理装置（例えばＣＰＵ（中央演算処理装置））を備える構成としても良い。

Ａ 標本
１ 顕微鏡システム
２ 顕微鏡
３ 第１の処理装置
４ 第２の処理装置
５ ネットワーク
６ サーバ（画像記憶サーバ）
１１，１２ モニタ（画像表示部）
１３ 入力部
１４ 品質判定部
１５ フィードバック部

Claims (8)

1. 標本の部分的な小領域を順次撮影する顕微鏡と、
   該顕微鏡を制御するとともに該顕微鏡により撮影された画像データに基づいて各小領域の拡大画像を生成する第１の処理装置と、
   該第１の処理装置により生成された複数枚の拡大画像を継ぎ合わせてバーチャルスライド画像を生成する第２の処理装置とを備える顕微鏡システム。
2. 前記第１の処理装置が、前記拡大画像をシェーディング補正、ベイヤー変換およびカラーマトリックス変換の少なくとも一つの処理を行う請求項１に記載の顕微鏡システム。
3. 前記第２の処理装置により生成されたバーチャルスライド画像を記憶する画像記憶サーバを備え、
   前記第１の処理装置および前記第２の処理装置の少なくとも一方と該画像記憶サーバとがネットワークを介して接続されている請求項１または請求項２に記載の顕微鏡システム。
4. 前記第２の処理装置が、生成されたバーチャルスライド画像を圧縮して前記画像記憶サーバに転送する請求項３に記載の顕微鏡システム。
5. 前記第２の処理装置が、生成されたバーチャルスライド画像を分割し、その分割画像を圧縮して前記画像記憶サーバに転送する請求項３に記載の顕微鏡システム。
6. 前記第２の処理装置が、バーチャルスライド画像の生成時に各小領域の拡大画像の画像品質を判定する品質判定部を備え、
   該品質判定部により、拡大画像の画像品質が所定の閾値より低いと判定された場合に、前記顕微鏡により当該拡大画像を撮り直すように前記第１の処理装置に指令するフィードバック部を備える請求項１に記載の顕微鏡システム。
7. 前記第１の処理装置および前記第２の処理装置が、各処理装置において生成された拡大画像またはバーチャルスライド画像を表示する画像表示部を備える請求項１に記載の顕微鏡システム。
8. 前記第１の処理装置および前記第２の処理装置の少なくとも一方が、前記画像表示部に表示する画像の画像表示用の補正の要求を操作者に入力させる入力部を備え、
   前記画像記憶サーバが、前記第１の処理装置および第２の処理装置の少なくとも一方からの要求に応じて記憶しているバーチャルスライド画像に画像表示用の補正を施して要求のあった処理装置に転送する請求項７に記載の顕微鏡システム。

Images