JP2015125177A - 顕微鏡システムおよびその画像データ転送方法 - Google Patents

顕微鏡システムおよびその画像データ転送方法 Download PDF

Info

Publication number
JP2015125177A
JP2015125177A JP2013267534A JP2013267534A JP2015125177A JP 2015125177 A JP2015125177 A JP 2015125177A JP 2013267534 A JP2013267534 A JP 2013267534A JP 2013267534 A JP2013267534 A JP 2013267534A JP 2015125177 A JP2015125177 A JP 2015125177A
Authority
JP
Japan
Prior art keywords
controller
image data
microscope
laser light
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013267534A
Other languages
English (en)
Inventor
木島 公一朗
Koichiro Kishima
公一朗 木島
原 雅明
Masaaki Hara
雅明 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013267534A priority Critical patent/JP2015125177A/ja
Priority to US14/574,840 priority patent/US10310244B2/en
Publication of JP2015125177A publication Critical patent/JP2015125177A/ja
Priority to US16/399,774 priority patent/US10802257B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Studio Devices (AREA)

Abstract

【課題】顕微鏡システムの高速化を実現する。【解決手段】標本が載置されるステージと、ステージ上の標本にレーザー光を集光させる対物レンズとを有する顕微鏡装置と、レーザー光を発生する光源を有する光源ユニットと、光源ユニットよりレーザー光を導入し、ステージ上の標本を走査するように導入されたレーザー光の向きを変更させる走査機構と、顕微鏡装置の対物レンズからの戻り光を導入し、該導入された光を電気信号に変換する光検出器と、少なくとも走査機構を制御し、かつ光検出器より出力された電気信号から画像データを生成するコントローラと、コントローラとバスインタフェースを通じて接続され、バスインタフェースを通じてコントローラより転送された画像データを処理するコンピュータとを具備する。【選択図】図1

Description

本技術は、レーザー光で標本を走査して標本の画像を取得するレーザー顕微鏡などを用いた顕微鏡システムおよびその画像データ転送方法に関する。
レーザー顕微鏡として、次のようなものが知られている。
蛍光標識された標本に、光源からレーザー光が励起光として対物レンズを通して集光される。その際、光源から出射された励起光の向きがガルバノミラーによって変更されることによって、励起光の照射位置が標本上で移動され、標本が走査される。励起光によって標本の蛍光体が蛍光発光する。蛍光は、共焦点絞りに形成されたピンホール、バリアフィルタなどを通過して、光検出器に導入される。光検出器は、検出した蛍光を電気信号に変換して、制御装置へ送信する。制御装置は、光検出器からの電気信号から標本の画像を生成し、表示装置に表示する。
特開2013−003338号公報
制御装置で生成される画像データを、別の処理装置に転送して保存し、保存された画像データに対して処理装置でノイズやボケの除去など、様々な画像処理を高速に行うことができるようなシステムの構成が検討されている。
また、レーザー顕微鏡での高速な連続撮影に対応するためには、制御装置にて次々に生成される画像データを、制御装置内のキャッシュにおいて吸収するだけでは限界がある。すなわち、制御装置から処理装置に画像データを高速に転送するための技術が求められている。
顕微鏡システムにおいては、取得される画像データのサイズが大きくなるにつれ、様々な側面からの高速化が求められているが、その成果は未だ十分とは言えない。
以上のような事情に鑑み、本技術の目的は、高速化への貢献が可能な顕微鏡システムおよびその画像データ転送方法を提供することにある。
上記の課題を解決するために、本技術に係る顕微鏡システムは、
標本が載置されるステージと、前記ステージ上の前記標本にレーザー光を集光させる対物レンズとを有する顕微鏡装置と、
前記レーザー光を発生する光源を有する光源ユニットと、
前記光源ユニットより前記レーザー光を導入し、前記ステージ上の標本を走査するように前記導入されたレーザー光の向きを変更させる走査機構と、
前記顕微鏡装置の前記対物レンズからの戻り光を導入し、該導入された光を電気信号に変換する光検出器と、
少なくとも前記走査機構を制御し、かつ前記光検出器より出力された電気信号から画像データを生成するコントローラと、
前記コントローラとバスインタフェースを通じて接続され、前記バスインタフェースを通じて前記コントローラより転送された画像データを処理するコンピュータとを具備する。
前記コントローラは、さらに前記光源ユニットを制御するものであってよい。
前記コンピュータは、前記画像データの処理のためのGPGPU(General-Purpose computing on Graphics Processing Units)およびGPU(Graphics Processing Units)の少なくともいずれか一方を有するものであってよい。
前記走査機構と、前記光検出器と、前記コントローラがスキャナーユニットとして一体化されたものであってよい。
本技術に係る画像データ転送方法は、
ステージ上の標本にレーザー光を集光させる対物レンズとを有する顕微鏡装置と、
光源ユニットより発生されたレーザー光を導入し、前記ステージ上の標本を走査するように前記導入されたレーザー光の向きを変更させる走査機構と、
前記顕微鏡装置の前記対物レンズからの戻り光を導入し、該導入された光を電気信号に変換する光検出器と、
少なくとも前記走査機構を制御し、かつ前記光検出器より出力された電気信号から画像データを生成するコントローラと、
前記コントローラにて生成された前記画像データを処理するコンピュータと
を具備する顕微鏡システムの画像データ転送方法であって、
前記コントローラから前記コンピュータにバスインタフェースを通じて画像データを転送する。
以上のように、本技術によれば、高速化への貢献が可能な顕微鏡システムを提供することができる。
本技術に係る第1の実施形態の顕微鏡システムの構成を示す図である。 本技術に係る第2の実施形態の顕微鏡システムの構成を示す図である。 ボケの発生原理を説明するための図である。 3Dデコンボリューションについて説明するための図である。 本技術に係る第3の実施形態の顕微鏡システムの構成を示す図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[顕微鏡システムの構成]
上述したように、本実施形態では、本技術をレーザ走査型顕微鏡システムに用いた構成を説明する。
図1は、本技術に係る第1の実施形態の顕微鏡システムの構成を示す図である。
同図に示すように、この顕微鏡システム1は、レーザー光源ユニット10、スキャナーユニット20、顕微鏡装置30、顕微鏡コントローラ40、およびシステムコントロールPC(Personal Computer)50を具備する。
[レーザー光源ユニット10]
レーザー光源ユニット10は、蛍光標本SPLの蛍光色素を励起するためのレーザー光(以下「励起光」と呼ぶ。)を出射する。
レーザー光源ユニット10は、パルスレーザーを用いた光源を有する。パルスレーザーを用いた光源は、より具体的には、外部共振器を備えたレーザー(Mode Locked Laser Diode)と半導体光増幅アンプ(SOA)を有して構成されるMOPA(Master Oscillator Power Amplifier)型の光源である。近年では、半導体レーザーを用いたMOPA型の光源により100W以上の高出力を有するものが開発されている。この光源は、低価格且つ小型であるという特徴から、ミドルレンジの多光子顕微鏡への搭載が可能となれば、幅広い研究機関に用いられる可能性が広がり、医療や製薬の分野で大きな貢献が期待できる。
レーザー光源ユニット10は、レーザーコントローラ11を具備する。レーザーコントローラ11は、スキャナーユニット20のスキャナーコントローラ21からの制御信号に基づいてレーザー光の強度や発光間隔などのタイミングの制御を行う。
レーザー光源ユニット10より出射された励起光はスキャナーユニット20に導入される。
[スキャナーユニット20]
スキャナーユニット20は、スキャナーコントローラ21、ガルバノミラー22、ダイクロイックミラー23および光検出器24を具備する。
ガルバノミラー22は、レーザー光源ユニット10から導入されたレーザー光が顕微鏡装置30のステージ35上に置かれた蛍光標本SPLを走査するようにレーザー光の向きを変更するための、各々独立して駆動される1以上のミラーで構成される。
ダイクロイックミラー23は、ガルバノミラー22で反射されたレーザー光を透過し、顕微鏡装置30から戻ってきた蛍光を90度反射させて光検出器24に導入する。
光検出器24は、ダイクロイックミラー23より導入された光を光の強度に対応する電気信号に変換してスキャナーコントローラ21に導入する。
光検出器24は、例えばPMT(Photo Multiplier Tube、光電子増倍管)などで構成される。なお、多光子共焦点顕微鏡の場合には設置されないが、1光子共焦点顕微鏡の場合、光路上、光検出器24の手前にピンホール(図示せず)が設置される。このピンホールが設置される位置は、対物レンズ32の焦点位置と共役位置にある。
スキャナーコントローラ21は、具体的には、メモリ211と、FPGA(Field Programmable Gate Array)212と、バスインタフェース回路213を備える。
スキャナーコントローラ21は、ガルバノミラー22の制御、光検出器24の制御、レーザー光源ユニット10の制御などを行う。
スキャナーコントローラ21は、光検出器24からの出力された信号のA/D変換、A/D変換されたデジタル信号から蛍光標本SPL毎の画像データを生成する処理などを行う。
スキャナーコントローラ21は、バスインタフェース回路213によってバスインタフェース・ケーブル61を通じてシステムコントロールPC50のシステムバス56と接続されている。ここで、スキャナーコントローラ21のバスインタフェース回路213、バスインタフェース・ケーブル61、および後述するシステムコントロールPC50のバスインタフェース回路54を「バスインタフェース60」と総称する。
スキャナーコントローラ21で生成された画像データはバスインタフェース60を通じてシステムコントロールPC50に転送される。
ここで「バスインタフェース」は、コンピュータを構成するCPU、メモリ、その他の演算ブロックなどのハードウェア要素の間でデータ信号、アドレス信号、制御信号などをやりとりすることが可能なインタフェースである。現在の代表的なバスインタフェースとしては、PCI(Peripheral Components Interconnect bus)バスなどがある。特に近年では、パラレルバスであるPCIバスをシリアル化し、複数のレーンを使って接続することにより高速化を実現したPCI Expressがある。
さらに、スキャナーコントローラ21は、フォトディテクタ25からの信号をもとに、レーザー光源ユニット10の光源からの励起光の強度および発光間隔のフィードバック制御を行う。
スキャナーコントローラ21とレーザー光源ユニット10との接続には、同軸ケーブル62と、例えばUSB(Universal Serial Bus)などのシリアルインタフェース・ケーブル63などが用いられる。
スキャナーコントローラ21は、例えば、同軸ケーブル62を通じて、レーザー光源ユニット10の光源の発光タイミングや発光強度など、フィードバック制御のための信号を供給する。また、スキャナーコントローラ21は、シリアルインタフェース・ケーブル63を通じてレーザー光源ユニット10に、その他の制御信号を供給する。
[顕微鏡装置30]
顕微鏡装置30は、フィルタ31、対物レンズ32、ステージ35、ステージ駆動部34、結像レンズ36および撮像部37を有する。
ステージ35上には、観察対象である蛍光標本SPLが載置される。
ステージ35は、顕微鏡コントローラ40によって対物レンズ32の光軸に対して直交するXY方向と、光軸に沿ったZ方向に、移動可能なように構成される。
フィルタ31は、スキャナーユニット20から導入された励起光を90度反射させて対物レンズ32に導く。また、フィルタ31は、対物レンズ32から戻ってきた蛍光を90度反射させてスキャナーユニット20に導入する。
顕微鏡装置30は、スキャナーユニット20を用いたレーザー顕微鏡として用いない場合において、蛍光標本SPLの明視野観察あるいは蛍光広視野(FOV)観察を図示しない照明装置により行う場合の結像レンズ36および撮像部37を有する。
撮像部37は、結像レンズ36により撮像素子に結像された明視野像を撮像する。撮像された信号は、図示しないインタフェース・ケーブルを通じてシステムコントロールPC50に伝送される。
[顕微鏡コントローラ40]
顕微鏡コントローラ40は、顕微鏡装置30のステージ駆動部34を制御する。
顕微鏡コントローラ40は、システムコントロールPC50とインタフェース・ケーブル64を通じて相互に接続される。顕微鏡コントローラ40は、インタフェース・ケーブル64を通じてシステムコントロールPC50から供給される制御信号をもとに顕微鏡装置30のステージ駆動部34を制御するように構成される。
顕微鏡コントローラ40とシステムコントロールPC50との接続には、例えば、RS−232C、USBなどのシリアルインタフェースが用いられる。
[システムコントロールPC50]
システムコントロールPC50は、典型的なコンピュータのハードウェア構成を有する。すなわち、システムコントロールPC50は、メモリ51、CPU(Central Processing Unit)52、データ記憶装置53、バスインタフェース回路54、シリアルインタフェース回路55およびシステムバス56などを有する。
データ記憶装置53には、OS(Operating System)、顕微鏡システム1を制御するためのアプリケーションプログラム、および画像処理のためのアプリケーションプログラムなどが格納される。また、データ記憶装置53には、スキャナーコントローラ21よりバスインタフェース60を通じて転送された画像データや、このシステムコントロールPC50のCPU52によって実行された画像処理の結果などが保存される。
データ記憶装置53としては、主にHDD(Hard Disk Drive)が用いられるが、光ディスクドライブ、SSD(Solid State Drive)、その他の種類のストレージであってもよい。
CPU52は、メモリ51に記憶されたOSおよびアプリケーションプログラムに従って顕微鏡システム1を制御する。例えば、CPU52は、インタフェース・ケーブル64を通じて接続された顕微鏡コントローラ40に対して顕微鏡装置30のステージ35の移動に関する情報を供給する。
また、CPU52は、スキャナーコントローラ21にバスインタフェース60を通じて各種の制御信号を供給する。
CPU52は、メモリ51に記憶されたOSおよびアプリケーションプログラムに従って、スキャナーコントローラ21からバスインタフェース60を通じて転送された画像データに対する様々な処理を行う。
より具体的には、CPU52は、例えば、スキャナーコントローラ21からバスインタフェース60を通じて転送された画像データをデータ記憶装置53に保存する。また、CPU52は、例えば、スキャナーコントローラ21からバスインタフェース60を通じて転送された画像データ、あるいはデータ記憶装置53に保存された画像データについて、ノイズやボケを除去するための画像処理、同一標本に対して複数の波長のレーザー光で各々撮影された複数の画像の合成処理、画像の特徴領域(ROI領域)を抽出する処理、抽出された特徴領域の蛍光輝度の演算、その他の処理を行う。
次に、本実施形態の顕微鏡システム1が上記のような構成を有することによって得られる作用について説明する。
[顕微鏡システム1の制御および画像データ転送の高速化]
この顕微鏡システム1では、システムコントロールPC50が、顕微鏡コントローラ40にインタフェース・ケーブル64を通じて制御信号を送ることによって、顕微鏡コントローラ40は顕微鏡装置30におけるステージ35の制御などを実行する。
また、システムコントロールPC50が、スキャナーコントローラ21にバスインタフェース60を通じて制御信号を送ることによって、スキャナーコントローラ21における各種の処理および制御とレーザー光源ユニット10の制御が行われる。
すなわち、この顕微鏡システム1では、システムコントロールPC50からの制御の系統が、顕微鏡コントローラ40とスキャナーコントローラ21に分離されているので、システム全体として、システムコントロールPC50からの制御の指令に対する応答性が良くなる。
また、この顕微鏡システム1では、システムコントロールPC50に標準的なインタフェース(PCI、シリアルインタフェースなど)を通じてスキャナーコントローラ21と顕微鏡コントローラ40が個別に接続される形態が採用されている。このため、顕微鏡コントローラ40およびスキャナーユニット20を個別に交換することなどが容易になる。
さらに、スキャナーコントローラ21とシステムコントロールPC50とはバスインタフェース60を通じて接続されている。このため、次のような効果が得られる。
スキャナーコントローラ21は、光検出器24より出力された電気信号をA/D変換し、A/D変換された信号から標本単位の画像データを作成する。スキャナーコントローラ21は、作成した画像データをバスインタフェース60を通じてシステムコントロールPC50に転送する。より具体的には、システムコントロールPC50のCPU52は、バスインタフェース60を通じてスキャナーコントローラ21内のメモリ211から画像データを読み込み、システムコントロールPC50のメモリ51に書き込む。
バスインタフェース60として、例えば、PCI Expressなどの高速なものを採用すれば、スキャナーコントローラ21からシステムコントロールPC50への画像データの転送の速度が、顕微鏡システム1における一連の標本画像の取得の流れや、連続して複数の画像を取得する流れのなかでボトルネックになることを回避できる。これにより、顕微鏡システム1の高速化を図ることができる。
システムコントロールPC50においては、スキャナーコントローラ21から転送されてきた画像データに対して、ノイズやボケの除去、合成、特徴領域の抽出、解析など、様々な目的で画像処理が行われる。
ここで、システムコントロールPC50での画像処理は、顕微鏡システム1での蛍光画像の取得の流れに対して非同期で行われてもよい。しかしながら、ユーザの速度的な要求によっては、システムコントロールPC50のCPU52およびメモリ51などの基本的なハードウェアのスペックを上げるだけでは不十分な場合が予想される。
そこで、システムコントロールPC50におけるハードウェアの拡張が考えられる。
以下に説明する第2の実施形態は、システムコントロールPC50におけるハードウェアの拡張により、画像処理の速度を向上させたものである。
<第2の実施形態>
図2は、本技術に係る第2の実施形態の顕微鏡システムの構成を示す図である。
同図に示すように、本実施形態では、システムコントロールPC50Aに、GPGPU(General-Purpose computing on Graphics Processing Units)57Aが追加された顕微鏡システム1Aの構成を示す図である。
GPGPU57Aは、システムコントロールPC50Aのシステムバス56に接続される。
GPGPU57Aは、画像処理用に設計されたGPU(Graphics Processing Units)を、画像処理のみならず、他の数値演算にも利用できるように設計された演算処理装置である。なお、本技術では、GPGPUに限らずGPUを利用してもよい。
本実施形態では、システムコントロールPC50AにおいてGPGPU57Aを用いて画像処理を行う、あるいはGPGPU57AとCPU52とで分散してあるいは分担して画像処理を行うように構成されている。これにより、画像処理の高速化を図ることができる。
GPGPUおよびGPUによる並列演算処理は、複数の演算ユニットに対して同じ命令を発行することで、各演算ユニットがそれぞれ独立して同じ命令を実行するというメカニズムによって実現される。このような特性上、GPGPUまたはGPUによって行うことが好適である画像処理の種類としては、以下が挙げられる。
1.3Dデコンボリューション
2.画像認識によるトリガー処理
(3Dデコンボリューション)
3Dデコンボリューションとは、撮影した画像のボケをとる技術である。
図3および図4は、3Dデコンボリューションについて説明するための図である。
同図に示すように、2光子励起顕微鏡システムにより、一方の焦点面Aの画像を得る場合を想定する。一方の焦点面Aには蛍光体A1が存在し、他方の焦点面Bには別の蛍光体B1が存在するものとする。一方の焦点面Aの画像を得るとき、蛍光体B1は焦点面Aにないが、焦点面Bの部分においてもレーザー光がある程度のエネルギで照射されているため、蛍光体B1の発する蛍光が画像に漏れ込む。これが画像にボケ(図4参照)を生じさせる原因となる。
画像に生じるボケは、レーザー光の焦点における光強度分布を示す、顕微鏡システム個別の点像分布関数(PSF: point spread function)に起因する。そこで、このPSFを光学定数からの計算、あるいは実験的に求め、これをもとに画像からボケをとる処理が3Dデコンボリューションである。
この3Dデコンボリューションの処理では、画像全体に対して輝点の位置を推定し、その輝点の位置を基準にPSFによるボケの削除が行われる。したがって、画像のサイズが大きい場合には処理に長い時間がかかる。
第2の実施形態の顕微鏡システム1Aでは、このような3Dデコンボリューションの処理をGPGPU57Aが担う。GPGPU57A(またはGPU)は、並列演算処理によって、3Dデコンボリューションのように画像全体に対する処理を高速化できる。
(画像認識によるトリガー処理)
細胞分裂のタイミングに合わせて、画像取得レートなどを変更するように制御することが顕微鏡システムにおいて行われる。例えば、細胞分裂が起きているときには、時間的に高い分解能(短い時間間隔)で画像を取得するように顕微鏡システムが制御される。
細胞分裂のタイミングを検出するには画像認識処理が必要となる。その画像処理は、異なる時刻の複数の画像のマッチング処理などによって行われる。第1の実施形態の顕微鏡システム1では、システムコントロールPC50のメモリ51にマッチング対象の複数の画像データを格納し、CPU52がこれら複数の画像データのマッチング処理を行うことができる。しかし、画像データのサイズが大きくなるとマッチング処理に時間がかかる。
第2の実施形態の顕微鏡システム1Aでは、このような画像データのマッチング処理をGPGPU57Aが担う。GPGPU57A(またはGPU)は、並列演算処理によって、画像データのマッチング処理を複数の領域に対して並列に行うことによって、高速化を図ることができる。
以上、GPGPU57A(またはGPU)によって行うことが好適である画像処理の種類として、3Dデコンボリューションと画像認識によるトリガー処理を例示したが、画像データの全体的な範囲に対する処理であれば、GPGPU57A(またはGPU)がその処理を担うことによって処理の高速化を図れる。
<第3の実施形態>
図5は、本技術に係る第3の実施形態の顕微鏡システムの構成を示す図である。
同図に示すように、この実施形態の顕微鏡システム1Bにおいて、システムコントロールPC50Bは、ネットワーク・インタフェース58Bを介してローカルネットワーク71およびインターネット73と接続可能とされている。
システムコントロールPC50Bは、ローカルネットワーク71に存在する画像解析サーバ72と接続することができ、さらには、インターネット73に存在する画像解析クラウドサーバ74と接続することができる。
この顕微鏡システム1Bでは、システムコントロールPC50Bが、必要な画像処理のすべて、あるいはその一部を画像解析サーバ72および画像解析クラウドサーバ74の少なくともいずれか一方において実行させ、その結果を受け取るように構成されている。
この実施形態の顕微鏡システム1Bによれば、システムコントロールPC50Bによる画像処理の負荷が軽減されることによって、システムコントロールPC50Bが担う他の処理および制御の高速化を図ることができる。
なお、第3の実施形態において、システムコントロールPC50Bは、画像処理のためのGPGPUを備えるものであってもよい。
また、第3の実施形態において、システムコントロールPC50Bと接続されるサーバは、画像解析サーバ72と画像解析クラウドサーバ74のいずれか一方であってもよい。画像解析サーバ72と画像解析クラウドサーバ74の両方が同時に接続可能である場合には、異なる種類の画像処理を双方に分担して同時に実行させることができる。あるいは、1つの画像データに対する処理を画像解析サーバ72と画像解析クラウドサーバ74に分散して実行させるようにしてもよい。
画像解析サーバ72および画像解析クラウドサーバ74は各々1機であることに限定されない。複数の画像解析サーバ72にシステムコントロールPC50Bから同時に要求を送信したり、複数の画像解析クラウドサーバ74にシステムコントロールPC50Bから同時に要求を送信するようにしてもよい。
なお、本技術は以下のような構成もとることができる。
(1) 標本が載置されるステージと、前記ステージ上の前記標本にレーザー光を集光させる対物レンズとを有する顕微鏡装置と、
前記レーザー光を発生する光源を有する光源ユニットと、
前記光源ユニットより前記レーザー光を導入し、前記ステージ上の標本を走査するように前記導入されたレーザー光の向きを変更させる走査機構と、
前記顕微鏡装置の前記対物レンズからの戻り光を導入し、該導入された光を電気信号に変換する光検出器と、
少なくとも前記走査機構を制御し、かつ前記光検出器より出力された電気信号から画像データを生成するコントローラと、
前記コントローラとバスインタフェースを通じて接続され、前記バスインタフェースを通じて前記コントローラより転送された画像データを処理するコンピュータと
を具備する顕微鏡システム。
(2)前記(1)に記載の顕微鏡システムであって、
前記コントローラは、さらに前記光源ユニットを制御する
顕微鏡システム。
(3)前記(1)または(2)に記載の顕微鏡システムであって、
前記コンピュータは、前記画像データの処理のためのGPGPUおよびGPUの少なくともいずれか一方を有する
顕微鏡システム。
(4)前記(1)から(3)のいずれか1つに記載の顕微鏡システムであって、
前記走査機構と、前記光検出器と、前記コントローラがスキャナーユニットとして一体化されたものである
顕微鏡システム。
以上、本技術は上記実施の形態によって限定されることなく、本願に含まれる技術的思想の範囲内において各種の変更が可能である。
1…顕微鏡システム
10…レーザー光源ユニット
11…レーザーコントローラ
20…スキャナーユニット
21…スキャナーコントローラ
22…ガルバノミラー
24…光検出器
25…フォトディテクタ
30…顕微鏡装置
32…対物レンズ
34…ステージ駆動部
35…ステージ
40…顕微鏡コントローラ
50…システムコントロールPC
51…メモリ
52…CPU
53…データ記憶装置
54…バスインタフェース回路
56…システムバス
57A…GPGPU
60…バスインタフェース
61…バスインタフェース・ケーブル
211…メモリ
212…FPGA
213…バスインタフェース回路

Claims (5)

  1. 標本が載置されるステージと、前記ステージ上の前記標本にレーザー光を集光させる対物レンズとを有する顕微鏡装置と、
    前記レーザー光を発生する光源を有する光源ユニットと、
    前記光源ユニットより前記レーザー光を導入し、前記ステージ上の標本を走査するように前記導入されたレーザー光の向きを変更させる走査機構と、
    前記顕微鏡装置の前記対物レンズからの戻り光を導入し、該導入された光を電気信号に変換する光検出器と、
    少なくとも前記走査機構を制御し、かつ前記光検出器より出力された電気信号から画像データを生成するコントローラと、
    前記コントローラとバスインタフェースを通じて接続され、前記バスインタフェースを通じて前記コントローラより転送された画像データを処理するコンピュータと
    を具備する顕微鏡システム。
  2. 請求項1に記載の顕微鏡システムであって、
    前記コントローラは、さらに前記光源ユニットを制御する
    顕微鏡システム。
  3. 請求項2に記載の顕微鏡システムであって、
    前記コンピュータは、前記画像データの処理のためのGPGPU(General-Purpose computing on Graphics Processing Units)およびGPU(Graphics Processing Units)の少なくともいずれか一方を有する
    顕微鏡システム。
  4. 請求項3に記載の顕微鏡システムであって、
    前記走査機構と、前記光検出器と、前記コントローラがスキャナーユニットとして一体化されたものである
    顕微鏡システム。
  5. ステージ上の標本にレーザー光を集光させる対物レンズとを有する顕微鏡装置と、
    光源ユニットより発生されたレーザー光を導入し、前記ステージ上の標本を走査するように前記導入されたレーザー光の向きを変更させる走査機構と、
    前記顕微鏡装置の前記対物レンズからの戻り光を導入し、該導入された光を電気信号に変換する光検出器と、
    少なくとも前記走査機構を制御し、かつ前記光検出器より出力された電気信号から画像データを生成するコントローラと、
    前記コントローラにて生成された前記画像データを処理するコンピュータと
    を具備する顕微鏡システムの画像データ転送方法であって、
    前記コントローラから前記コンピュータにバスインタフェースを通じて画像データを転送する
    画像データ転送方法。
JP2013267534A 2013-12-25 2013-12-25 顕微鏡システムおよびその画像データ転送方法 Pending JP2015125177A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013267534A JP2015125177A (ja) 2013-12-25 2013-12-25 顕微鏡システムおよびその画像データ転送方法
US14/574,840 US10310244B2 (en) 2013-12-25 2014-12-18 Microscope system and image data transfer method therefor
US16/399,774 US10802257B2 (en) 2013-12-25 2019-04-30 Microscope system and image data transfer method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013267534A JP2015125177A (ja) 2013-12-25 2013-12-25 顕微鏡システムおよびその画像データ転送方法

Publications (1)

Publication Number Publication Date
JP2015125177A true JP2015125177A (ja) 2015-07-06

Family

ID=53399825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013267534A Pending JP2015125177A (ja) 2013-12-25 2013-12-25 顕微鏡システムおよびその画像データ転送方法

Country Status (2)

Country Link
US (2) US10310244B2 (ja)
JP (1) JP2015125177A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131173A1 (ja) * 2017-01-16 2018-07-19 株式会社ニコン 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082088A (ja) 2013-10-24 2015-04-27 ソニー株式会社 レーザ走査型顕微鏡システムおよびレーザ光強度設定方法
JP2015125177A (ja) 2013-12-25 2015-07-06 ソニー株式会社 顕微鏡システムおよびその画像データ転送方法
JP6171970B2 (ja) 2014-02-10 2017-08-02 ソニー株式会社 レーザ走査型顕微鏡装置および制御方法
US20160370296A1 (en) * 2015-06-19 2016-12-22 Michael Mermelstein 3D tessellation imaging
CN105116816B (zh) * 2015-08-19 2019-08-30 武汉拓尔奇光电技术有限公司 一种基于工业总线的多种激光器控制系统及方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05134186A (ja) 1991-11-13 1993-05-28 Olympus Optical Co Ltd 共焦点光学系
JPH07325262A (ja) 1994-05-31 1995-12-12 Sony Corp レーザ顕微鏡装置
US5981956A (en) * 1996-05-16 1999-11-09 Affymetrix, Inc. Systems and methods for detection of labeled materials
US5880465A (en) 1996-05-31 1999-03-09 Kovex Corporation Scanning confocal microscope with oscillating objective lens
US6313452B1 (en) * 1998-06-10 2001-11-06 Sarnoff Corporation Microscopy system utilizing a plurality of images for enhanced image processing capabilities
US6953927B2 (en) * 2002-08-09 2005-10-11 California Institute Of Technology Method and system for scanning apertureless fluorescence microscope
DE112004000348T8 (de) * 2003-03-03 2006-08-10 Nikon Corporation Digitales Mikroskopbild-Erfassungssystem
JP4209709B2 (ja) 2003-03-20 2009-01-14 株式会社キーエンス 変位計
US20040223053A1 (en) * 2003-05-07 2004-11-11 Mitutoyo Corporation Machine vision inspection system and method having improved operations for increased precision inspection throughput
JP2005117340A (ja) 2003-10-07 2005-04-28 Fuji Photo Film Co Ltd 移動制御装置及び画像読取装置
US20070031056A1 (en) * 2005-08-02 2007-02-08 Perz Cynthia B System for and method of focusing in automated microscope systems
DE602007011940D1 (ja) * 2006-07-18 2011-02-24 Nippon Kogaku Kk
JP5188101B2 (ja) * 2007-06-01 2013-04-24 株式会社キーエンス 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体
WO2009091902A1 (en) 2008-01-17 2009-07-23 The Salk Institute For Biological Studies 3d scanning acousto-optic microscope
US7733586B2 (en) 2008-05-16 2010-06-08 Ffei Limited Lens positioning assembly
EP3764085A3 (en) 2008-10-24 2021-03-24 Leica Biosystems Imaging Inc. Whole slide fluorescence scanner
US9012872B1 (en) * 2010-01-15 2015-04-21 Iowa State University Research Foundation, Inc. Auto-calibrated scanning-angle prism-type total internal reflection microscopy for nanometer-precision axial position determination and optional variable-illumination-depth pseudo total internal reflection microscopy
JP5655557B2 (ja) * 2010-07-12 2015-01-21 ソニー株式会社 顕微鏡制御装置、画像表示装置、画像管理サーバ、合焦位置情報生成方法、画像表示方法、画像管理方法及び顕微鏡画像管理システム
JP5221614B2 (ja) * 2010-09-17 2013-06-26 独立行政法人科学技術振興機構 3次元共焦点観察用装置及び観察焦点面変位・補正ユニット
US9426429B2 (en) * 2010-10-26 2016-08-23 California Institute Of Technology Scanning projective lensless microscope system
JP2012127985A (ja) 2010-12-13 2012-07-05 Canon Inc 画像投射装置
JP5734758B2 (ja) 2011-06-16 2015-06-17 オリンパス株式会社 レーザー顕微鏡
JP2013058956A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP5784435B2 (ja) * 2011-09-20 2015-09-24 オリンパス株式会社 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
JP6069825B2 (ja) 2011-11-18 2017-02-01 ソニー株式会社 画像取得装置、画像取得方法及び画像取得プログラム
JP2013114042A (ja) 2011-11-29 2013-06-10 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム
DE102012009257B4 (de) * 2012-05-02 2023-10-05 Leica Microsystems Cms Gmbh Verfahren zur Ausführung beim Betreiben eines Mikroskops und Mikroskop
CN104303090B (zh) 2012-05-17 2017-08-15 西铁城时计株式会社 像差校正器件及激光显微镜
JP6273089B2 (ja) 2012-12-27 2018-01-31 ソニー株式会社 レーザ射出装置及びレーザ射出装置の製造方法
US20160299170A1 (en) 2013-03-29 2016-10-13 Sony Corporation Laser scanning observation device and laser scanning method
JP2015082088A (ja) 2013-10-24 2015-04-27 ソニー株式会社 レーザ走査型顕微鏡システムおよびレーザ光強度設定方法
JP2015125177A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 顕微鏡システムおよびその画像データ転送方法
JP2015127738A (ja) 2013-12-27 2015-07-09 ソニー株式会社 顕微鏡システムおよびその制御方法
JP6171970B2 (ja) 2014-02-10 2017-08-02 ソニー株式会社 レーザ走査型顕微鏡装置および制御方法
JP2015161719A (ja) 2014-02-26 2015-09-07 ソニー株式会社 レーザー走査型顕微鏡システム及びサンプリング装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131173A1 (ja) * 2017-01-16 2018-07-19 株式会社ニコン 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム
JPWO2018131173A1 (ja) * 2017-01-16 2019-12-12 株式会社ニコン 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US10802257B2 (en) 2020-10-13
US10310244B2 (en) 2019-06-04
US20190258039A1 (en) 2019-08-22
US20150177501A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
US10802257B2 (en) Microscope system and image data transfer method therefor
US10352860B2 (en) Super resolution microscopy
US9939381B1 (en) Automated scanning path planner with path calibration for high frame rate multi photon laser scanning microscope with wide field of view
US10191263B2 (en) Scanning microscopy system
JP2021507299A (ja) 誘導放出抑制を伴う蛍光顕微鏡を使用してサンプルを結像するための方法
CN110836877A (zh) 一种基于液晶变焦透镜的光切片显微成像方法和装置
US11215804B2 (en) Microscope and method for imaging a sample
CN102314680A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
CN108061964A (zh) 一种可用于大样品的高速三维显微成像装置和方法
Qu et al. Recent progress in multifocal multiphoton microscopy
EP3023825A1 (en) Microscope system
JP6161399B2 (ja) 顕微鏡システム
US20130250088A1 (en) Multi-color confocal microscope and imaging methods
JP2003195174A (ja) 走査型レーザ顕微鏡システム
CN101634747B (zh) 高分辨率共聚焦显微镜
JP6928757B2 (ja) 光学顕微鏡における画像処理のためのシステムおよび方法
EP3223054A1 (en) Microscope system and specimen observation method
JP7119085B2 (ja) 衝撃再走査システム
EP3625611B1 (en) Dual processor image processing
JP2010164635A (ja) 共焦点顕微鏡
Shi et al. Image super-resolution for ultrafast optical time-stretch imaging
JP5765569B2 (ja) 顕微鏡装置
JP2010160022A (ja) 生体観察装置
Schultz et al. Low-SWaP coincidence processing for Geiger-mode LIDAR video
JP2018081130A (ja) 顕微鏡システムおよび標本観察方法