JP2014219623A - 観測システム、観測プログラム及び観測方法 - Google Patents

観測システム、観測プログラム及び観測方法 Download PDF

Info

Publication number
JP2014219623A
JP2014219623A JP2013100142A JP2013100142A JP2014219623A JP 2014219623 A JP2014219623 A JP 2014219623A JP 2013100142 A JP2013100142 A JP 2013100142A JP 2013100142 A JP2013100142 A JP 2013100142A JP 2014219623 A JP2014219623 A JP 2014219623A
Authority
JP
Japan
Prior art keywords
observation
unit
control unit
optical system
microscope optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013100142A
Other languages
English (en)
Inventor
堂脇 優
Masaru Dowaki
優 堂脇
志織 大島
Shiori Oshima
志織 大島
松居 恵理子
Eriko Matsui
恵理子 松居
中畑 龍俊
Tatsutoshi Nakahata
龍俊 中畑
潤 齋藤
Jun Saito
潤 齋藤
明 丹羽
Akira Niwa
明 丹羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Kyoto University NUC
Original Assignee
Sony Corp
Kyoto University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Kyoto University NUC filed Critical Sony Corp
Priority to JP2013100142A priority Critical patent/JP2014219623A/ja
Priority to US14/266,383 priority patent/US9753267B2/en
Priority to CN201410182917.8A priority patent/CN104142287B/zh
Publication of JP2014219623A publication Critical patent/JP2014219623A/ja
Priority to US15/684,270 priority patent/US10890750B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】観測対象物を自動的に探索することが可能な観測システム、観測プログラム及び観測方法を提供すること
【解決手段】、本技術に係る観測システムは、顕微鏡光学系と、撮像部と、撮像制御部と、検出部と、観測制御部とを具備する。撮像部は、顕微鏡光学系の視野範囲を撮像する。撮像制御部は、撮像部に、視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させる。検出部は、検出用画像から、観測試料における観測対象物の三次元位置を検出する。観測制御部は、顕微鏡光学系の視野範囲を三次元位置に合わせる。
【選択図】図1

Description

本技術は、顕微鏡を利用して観測対象物を観測する観測システム、観測プログラム及び観測方法に関する。
細胞等を観測対象物として観測する際、顕微鏡の視野において観測対象物を捉えることが困難である場合がある。特に培養液中に浮遊する浮遊系細胞を観測する場合等には、細胞自身が培養液中で移動し、あるいはステージの移動に伴う振動等によって細胞が移動する。このような場合、ユーザは顕微鏡の視野を参照しながらステージや焦点位置を調整し、所望の観測対象物を探索する必要がある。特に、観測期間が長期にわたる場合には所定時間毎に観測対象物を探索する必要があり、ユーザの負担が大きい。
一方で、画像処理によって観測対象物の移動を追跡(トラッキング)する技術が開発されている。例えば特許文献1には、所定の時間間隔をあけて撮像された、複数の細胞を含む観察画像に対して画像処理を施し、特徴量解析によって得られる細胞の形態的特徴に基づいて、観察画像間の細胞を対応付ける細胞の追跡処理方法が開示されている。
特開2012−200156号公報
しかしながら、特許文献1に記載のようなトラッキングにおいては、数分から数十分程度の間隔で観測対象物を観測する必要があり、観測対象物への光毒性によるダメージが懸念される。また、近年では、複数のウェルを備えるウェルプレートにおいて、各ウェルに一つの細胞を収容させるシングルセルソーティングの技術が確立している。各ウェルに複数の細胞が収容されている場合には、各細胞をトラッキングして見分ける必要があるものの、シングルセルソーティングの場合には細胞を見分ける必要はなく、細胞の存在位置さえ把握すれば観測が可能となる。
以上のような事情に鑑み、本技術の目的は、観測対象物を自動的に探索することが可能な観測システム、観測プログラム及び観測方法を提供することにある。
上記目的を達成するため、本技術の一形態に係る観測システムは、顕微鏡光学系と、撮像部と、撮像制御部と、検出部と、観測制御部とを具備する。
上記撮像部は、上記顕微鏡光学系の視野範囲を撮像する。
上記撮像制御部は、上記撮像部に、上記視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させる。
上記検出部は、上記検出用画像から、上記観測試料における観測対象物の三次元位置を検出する。
上記観測制御部は、上記顕微鏡光学系の視野範囲を上記三次元位置に合わせる。
この構成によれば、撮像制御部が撮像部に撮像させた検出用画像から、検出部が観測対象物の三次元位置を検出する。観測制御部が、検出された三次元位置に顕微鏡光学系の視野範囲を合わせることにより、当該視野範囲が観測対象物に一致する。即ち、観測システムによって、観測対象物が自動的に探索される。観測対象物に一致した視野範囲を利用して、後述のように観測制御部が詳細な観測を実施してもよく、ユーザが詳細な観測を実施してもよい。
上記撮像制御部は、上記顕微鏡光学系の拡大倍率を第1の拡大倍率に設定し、上記撮像部に上記顕微鏡光学系の視野範囲を撮像させ、
上記観測制御部は、上記顕微鏡光学系の拡大倍率を上記第1の拡大倍率より高い第2の拡大倍率に設定し、上記顕微鏡光学系の視野範囲を上記三次元位置に合わせてもよい。
この構成によれば、観測システムは低い拡大倍率(第1の拡大倍率)に設定された顕微鏡光学系を利用して観測試料の広い範囲から検出対象物を検出することができ、高い拡大倍率(第2の拡大倍率)に設定された顕微鏡光学系を利用して、ユーザあるいは観測制御部が観測対象物の詳細な観測を実施することが可能となる。
上記観測制御部は、上記撮像部に、上記三次元位置に合わせられた上記顕微鏡光学系の視野範囲を撮像させてもよい。
この構成によれば、撮像部によって観測対象物に一致した視野範囲が撮像される。顕微鏡光学系の拡大倍率は、撮像制御部が撮像部に検出用画像を撮像させた際の拡大倍率(第1の拡大倍率)より高い第2の拡大倍率に設定されているため、この撮像によって観測対象物の詳細な画像を生成させることが可能となる。
上記観測システムは、上記顕微鏡光学系から入射する紫外光、可視光又は赤外光を分光する紫外・可視・赤外分光部をさらに具備し、
上記観測制御部は、上記紫外・可視・赤外分光部に、上記三次元位置に合わせられた上記顕微鏡光学系の視野範囲をスキャンさせてもよい。
この構成によれば、紫外・可視・赤外分光部によって観測対象物に一致した視野範囲の紫外光分光、可視光分光又は赤外光分光が実行される。これらの分光にはスキャン(ラインスキャン等)が必要であるが、顕微鏡光学系の視野範囲が観測対象物に一致しているため、観測制御部は当該視野範囲をスキャンさせることによって、分光を実現させることが可能となる。
上記観測システムは、上記顕微鏡光学系から入射するラマン散乱光を分光するラマン散乱分光部をさらに具備し、
上記観測制御部は、ラマン散乱光部に、上記三次元位置に合わせられた上記顕微鏡光学系の視野範囲をスキャンさせてもよい。
この構成によれば、ラマン散乱分光部によって観測対象物に一致した視野範囲のラマン散乱分光が実行される。この分光にはスキャン(ラインスキャン等)が必要であるが、顕微鏡光学系の視野範囲が観測対象物に一致しているため、観測制御部は当該視野範囲をスキャンさせることによって、分光を実現させることが可能となる。
上記観測試料は、複数のウェルが設けられたウェルプレートの各ウェルに収容され、
上記観測対象物は、上記ウェルプレートの各ウェルに一つずつ播種された細胞であってもよい。
フローサイトメーターを利用するシングルセルソーティングによって、ウェルプレートの各ウェルに一つずつ細胞を播種することが可能である。各ウェルに細胞が一つずつ播種されている場合、トラッキングによって各細胞を追跡し続ける必要はなく、ウェル内において物質が検出されると、それを細胞とみなすことが可能である。したがって、本技術に係る観測システムは特に、ウェルに細胞が一つずつ播種されているウェルプレートを観測対象とする場合に適している。
上記撮像制御部は、上記検出部によって観測対象物が検出されたウェルを観測対象ウェルとして、観測対象物の三次元位置と共に登録し、上記検出部によって観測対象物が検出されなかったウェルを観測対象ウェルから除外してもよい。
この構成によれば、観測対象物が検出されたウェルが観測対象ウェルとして、三次元位置と共に登録されるため、以降の観測において登録されている三次元位置を検出用画像の撮像に利用することができる。また、観測対象物が検出されなかったウェルは観測対象ウェルから除外されるため、以降の観測を中止し、無駄な観測を防止することが可能となる。
上記撮像制御部は、上記観測対象ウェルについてタイムラプス撮像を行ってもよい。
所定の時間間隔で継続して撮像を行うタイムラプス撮像が行われる場合、前回の観測から得られた観測対象ウェル及び観測対象物の三次元位置を利用することにより、観測対象物の効率的な観測が可能となる。
上記観測システムは、
ウェルプレートに設けられた識別標識からウェルプレートの識別子を読み取る識別子読取部と、
上記識別子読取部から供給された識別子と、過去に観測されたウェルプレートの識別子とを照合し、供給された識別子に対応するウェルプレートの観測データを上記撮像制御部に供給する識別子管理部とをさらに具備してもよい。
この構成によれば、撮像制御部は検出用画像を撮像する際、ウェルプレート毎に過去の観測データを参照することが可能となる。具体的には撮像制御部は、過去の観測において観測対象ウェルから除外されたウェルについては検出用画像の撮像を省略し、あるいは過去の観測において検出された観測対象物の三次元位置の近傍のみを撮像させることが可能となる。
上記目的を達成するため、本技術の一形態に係る観測プログラムは、撮像制御部と、検出部と、観測制御部としてコンピュータを機能させる。
上記撮像制御部は、顕微鏡光学系の視野範囲を撮像する撮像部に、上記視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させる。
上記検出部は、上記検出用画像から、上記観測試料における観測対象物の三次元位置を検出する。
上記観測制御部は、上記顕微鏡光学系の視野範囲を上記三次元位置に合わせる。
上記目的を達成するため、本技術の一形態に係る観測方法は、撮像制御部が、顕微鏡光学系の視野範囲を撮像する撮像部に、上記視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させる。
検出部が、上記検出用画像から、上記観測試料における観測対象物の三次元位置を検出する。
観測制御部が、上記顕微鏡光学系の視野範囲を上記三次元位置に合わせる。
以上のように、本技術によれば、観測対象物を自動的に探索することが可能な観測システム、観測プログラム及び観測方法を提供することが可能である。
本技術の実施形態に係る観測システムの構成を示す模式図である。 同観測システムの観測対象となるウェルプレートの模式図である。 同観測システムの動作を示すフローチャートである。 同観測システムの顕微鏡光学系の視野範囲のウェルに対する大きさを示す模式図である。 同観測システムの検出対象画像撮像時の顕微鏡光学系の視野範囲を示す模式図である。 同観測システムの観測時の顕微鏡光学系の視野範囲を示す模式図である。 本技術の実施形態に係る、ウェルプレート識別機能を有する観測システムの構成を示す模式図である。 同観測システムの動作を示すフローチャートである。
[観測システムの構成]
図1は、本実施形態に係る観測システムを示す模式図である。同図に示すように、観測システム100は、顕微鏡ユニット110と制御ユニット120から構成されている。制御ユニット120は顕微鏡ユニット110と一体的に構成されていてもよく、顕微鏡ユニット110から独立した情報処理装置であってもよい。
顕微鏡ユニット110は、ステージ111、顕微鏡光学系112、自動焦準機構113、光路切替部114、撮像部115、紫外・可視・赤外分光部116、ラマン散乱分光部117、透過照明118を有する。また、ステージ111には、インキュベータNが載置されている。
ステージ111は、インキュベータNを支持し、インキュベータNと顕微鏡光学系112の相対位置を規定する。ステージ111は、モータ等の駆動源によって、水平方向(X−Y方向)に移動可能なX−Yステージであるものとすることができる。またステージ111は水平方向に加え、鉛直方向(Z方向)に移動可能に構成されていてもよい。ステージ111は、制御ユニット120による制御を受けて、顕微鏡光学系112に対する相対位置を移動させるものとすることができる。
インキュベータNは、観測対象物(細胞等)が収容されるウェルプレートが収納され、培養環境を維持したまま、各種観測が可能に構成されている。図2は、ウェルプレートをP示す模式図である。同図に示すように、ウェルプレートPは複数のウェルWを有する。各ウェルWには、観測対象物Cを含む観測試料Lが収容されている。観測対象物Cは、シングルセルソーティングによって各ウェルWに一つずつ播種された細胞であるものとすることができ、観測試料Lは細胞の培養液であるものとすることができる。
顕微鏡光学系112は、対物レンズ等の各種レンズや絞り等を備え、観測試料を透過した、あるいは観測試料において生じた光(紫外線及び赤外線を含む)を拡大し、光路切替部114に入射させる。顕微鏡光学系112は、後述する第1の拡大倍率や第2の拡大倍率等、複数の拡大倍率に変更できるものが好適である。
自動焦準機構113は、顕微鏡光学系112の焦点位置を調整する。具体的には自動焦準機構113は、制御ユニット120による制御を受けて対物レンズとステージ111の距離や各種レンズの間隔を調整し、顕微鏡光学系112の焦点をZ方向に移動させる。自動焦準機構113は、Z−Stack画像(焦点をZ方向に移動させながら撮像された画像)の撮像が可能となるように顕微鏡光学系112の焦点を移動可能なものが好適である。
光路切替部114は、顕微鏡光学系112からの出射光を撮像部115、紫外・可視・赤外分光部116及びラマン散乱分光部117のそれぞれの方向に、所定の割合で振り分ける。また、光路切替部114は、撮像部115、紫外・可視・赤外分光部116及びラマン散乱分光部117のうち観測対象物の観測に用いられるいずれか一つあるいは二つ以上の方向に所定の割合で入射光を振り分けるものとすることもできる。また、光路切替部114は、ラマン散乱分光部117から出射されたラマン散乱観測用の励起光を顕微鏡光学系112に入射させる。
撮像部115は、顕微鏡光学系112による観測試料の顕微鏡像を撮像する。撮像部115は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備え、観測試料の画像を撮像可能に構成されている。撮像部115は、顕微鏡光学系112や透過照明118等の構成に応じて、観測試料の明視野像、暗視野像、位相差像、蛍光像、偏光顕微鏡像等の全部または少なくともいずれかを撮像するものとすることができる。
紫外・可視・赤外分光部116は、観測試料を透過した紫外光、可視光、又は赤外光を分光する。透過照明118から出射された紫外、可視または赤外光は、観測試料を透過し、顕微鏡光学系112によって所定倍率に拡大され、光路切替部114によって紫外・可視・赤外分光部116に導かれる。紫外・可視・赤外分光部116は入射した紫外光、可視光または赤外光から、観測試料の紫外、可視または赤外領域における2次元分光画像を生成し、その2次元分光画像から紫外光、可視光又は赤外光の吸収スペクトル(紫外・可視・赤外分光スペクトル)を生成するものとすることができる。紫外・可視・赤外分光スペクトルは、観測試料を透過した紫外光、可視光または赤外光の波長に対する吸光度のプロットであり、観測試料の特性(分子構造や化学的状態)の情報を含んでいる。
なお、紫外・可視・赤外分光部116は、紫外、可視または赤外領域の少なくともいずれかにおいて吸収スペクトルが取得できるものであればよく、紫外、可視または赤外領域の全領域にておいて吸収スペクトルが取得できるものであってもよい。また、紫外・可視・赤外分光部116は、観測試料に予め蛍光標識を施しておくことにより、蛍光の紫外・可視・赤外分光スペクトルを取得するものとすることも可能である。
ラマン散乱分光部117は、観測試料において生じたラマン散乱を分光する。具体的にはラマン散乱分光部117は、特定の波長を有する励起光(レーザ光)を顕微鏡光学系112を介して観測試料に照射する。それによって観測試料から放出されたラマン散乱光は顕微鏡光学系112を介してラマン散乱分光部117に導かれる。
ラマン散乱分光部117は、入射したラマン散乱光から、観測試料によるラマン散乱の2次元分光画像を生成し、その2次元分光画像からラマン散乱のスペクトル(ラマンスペクトル)を生成するものとすることができる。ラマン散乱光の波長遷移(ラマンシフト)は、観測試料の特性(分子構造や結晶構造)によって異なり、即ち、ラマンスペクトルは観測試料の特性の情報を含んでいる。
透過照明118は、観測試料に対して照明光を照射する。上述のように、撮像部115は、明視野像、暗視野像、位相差像、蛍光像、偏光顕微鏡像等の全部または少なくともいずれかを撮像可能に構成されており、透過照明118はそれに応じた照明を観測試料に照射できるように構成されている。また、透過照明118は上述のように紫外光、可視光、赤外光等を観測試料に照射できるように構成されている。
[制御ユニットの構成及び動作]
制御ユニット120は、顕微鏡ユニット110の各部を制御する。図3は制御ユニット120の動作を示すフローチャートである。図1に示すように制御ユニット120は、撮像制御部121、検出部122及び観測制御部123を有する。
撮像制御部121は、撮像部115に観測試料を複数の焦点位置で撮像させ、検出用画像を生成させる(St101)。具体的には、撮像制御部121は、撮像部115、自動焦準機構113及びステージ111等を制御し、顕微鏡光学系112の視野範囲を特定のウェル内に合わせ、顕微鏡光学系112の拡大倍率を所定の倍率(第1の拡大倍率とする)に設定する。
ここで、顕微鏡光学系112の視野範囲は、撮像部115のイメージャのサイズと顕微鏡光学系112の拡大倍率(第1の拡大倍率)によって決定される。図4は、ウェルWと顕微鏡光学系112の視野範囲Sの大きさの一例を示す模式図である。例えば、撮像部115に2/3インチ(8.8mm×6.6mm)のCCDイメージジセンサが搭載され、顕微鏡光学系112の拡大倍率が4倍だった場合、視野範囲Sは2.2mm×1.65mmとなる。ここで、ウェルプレートPが96ウェルマイクロプレートの場合には、底面の内径がφ6.4mm程度であるため、視野範囲SはウェルWの広さに対して小さいものとなる。図5は、このときの視野範囲Sにおける観測対象物R(細胞等)を示す模式図である。
撮像制御部121は、自動焦準機構113によって顕微鏡光学系112の焦点位置をZ方向に移動させながら、撮像部115に観測試料を撮像させ、視野範囲の観測試料のZ−Stack画像を生成させる。なお、撮像制御部121は、ステージ111を移動させることによって観測試料を複数の焦点位置で撮撮像させてもよい。以下、Z−Stack画像等の観測試料が複数の焦点位置で撮像された画像を検出用画像とする。
撮像制御部121は、顕微鏡光学系112の視野範囲がウェルの広さより小さい場合、一つの視野範囲について検出用画像を撮像した後、ウェルWにおいて未だ撮像されていない領域に視野範囲Sを移動させ、検出用画像を撮像させるものとすることができる。このようにして、撮像制御部121は、ウェルの全領域について検出用画像を撮像させるものとすることができる。
なお、フローサイトメーターのソーティングの精度が高い場合等、観測対象物の位置がばらつかない場合、必ずしもウェルの全領域が撮像される必要はなく、ウェルの中心の1視野のみの撮像で十分であることもある。このような場合、撮像制御部121は、ウェルの中心の1視野のみを撮像させ、検出用画像を生成させる。
このように、撮像制御部121は、ウェルの広さに対して検出用画像を取得した視野範囲が十分ではない場合(St102:No)、視野範囲を未だ撮像がなされていない領域に移動させ、撮像部115に再度、検出用画像を撮像させる(St101)。一方、撮像制御部121は、ウェルの広さに対して検出用画像を取得した視野範囲が十分である場合(St102:Yes)、撮像部115から取得した検出用画像を、検出部122に供給する。
検出部122は、検出用画像を解析する(St103)。具体的には、検出部122は、エッジフィルタによる輪郭抽出やパターンマッチングを利用して検出対象画像を解析し、観測対象物を検出する。なお、検出部122は、ひとつのウェルにおいて複数の視野範囲に対して検出用画像が撮像されている場合、各検出用画像を解析する。
上述のようにシングルセルソーティング等によって、各ウェルに一つの観測対象物のみが収容されている場合、検出部122は、各ウェルについて一つの観測対象物を検出するか、又は観測対象物を検出しないかのいずれかである。検出部122は、検出用画像から観測対象物を検出する(St104:Yes)と、検出した観測対象物の三次元位置(以下、観測対象位置)を観測制御部123に供給する。
また、検出部122は、観測対象位置を撮像制御部121に通知し、撮像制御部121は、観測対象位置を、検出されたウェル(以下、観測対象ウェル)と共に登録する(St105)。一方で検出部122は、検出用画像から観測対象物を検出しなかった場合(St104:No)、当該検出用画像が撮像されたウェルを撮像制御部121に通知する。撮像制御部121は、これにより当該ウェルを観測対象ウェルから除外する。(St106)
観測制御部123は、撮像部115、紫外・可視・赤外分光部116又はラマン散乱分光部117に、検出部122から供給された観測対象位置に基づいて観測試料を観測させる(St107)。具体的には観測制御部123は、顕微鏡光学系112の拡大倍率を、検出用画像を撮像した際の第1の拡大倍率よりも高い第2の拡大倍率に設定し、観測対象位置が顕微鏡光学系112の視野範囲の中心となるように顕微鏡光学系112を調整する。これにより、高倍率で拡大された顕微鏡光学系112の視野範囲が観測対象物に合わせられる。図6は、このときの視野範囲Sにおける観測対象物Rを示す模式図である。
撮像部115を利用して観測対象物を観測する場合には、観測制御部123は、光路切替部114を制御して光路を撮像部115に向けて切り替える。観測制御部123は顕微鏡光学系112の拡大倍率を上げて被写界深度を浅くし、高倍率で顕微鏡画像を撮像させることができる。また、観測制御部123は、コントラスト検出方式によるオートフォーカスを行う等して、より精度の高いZ位置を解析した後、高倍率で詳しく観測対象物の形態観測を実行してもよい。
また、観測制御部123は、光路切替部114を制御して光路を紫外・可視・赤外分光部116に向けて切り替え、紫外・可視・赤外分光部116を制御して視野範囲をスキャンさせ、赤外吸収スペクトルを生成させることができる。さらに観測制御部123は、光路切替部114を制御して光路をラマン散乱分光部117に向けて切り替え、ラマン散乱分光部117を制御して視野範囲をスキャンさせ、ラマン散乱スペクトルを生成させることができる。
なお、観測制御部123は、第2の拡大倍率に設定した顕微鏡光学系112の視野範囲を観測対象物に合わせるのみであってもよい。これによりユーザは、観測対象物に合わせられた視野範囲を利用して、撮像部115、紫外・可視・赤外分光部116又はラマン散乱分光部117による観測対象物の観測が可能となる。
撮像制御部121は、ウェルプレートPにおいて探索(検出用画像の撮像以降のステップ)を実施していないウェルが存在する場合(St108:Yes)、顕微鏡光学系112の視野範囲を当該ウェルに移動させ(St109)、上記各ステップを実行する。一方、撮像制御部121は、観測を実施してないウェルが存在しない場合(St108:No)、動作を終了する。
所定時間間隔で観測対象物を観測(タイムラプス観測)を行う場合、撮像制御部121が再び各ウェルについて検出用画像を撮像させ、検出部122による観測対象物の検出と観測制御部123による観測が実行される。ここで、上述のように観測対象物が検出されなかったウェルは観測対象ウェルから除外されているため、撮像制御部121が観測対象物が存在しないウェルを無駄に撮像することが防止される。
さらに撮像制御部121は、ウェルの広さに対して顕微鏡光学系112の視野が狭い場合や、自動焦準機構113のストロークが短い場合には、2回目以降の撮像において、以前登録された観測対象位置(St105参照)を中心に検出用画像を撮像させることにより、1ウェルに対して行う撮像回数を削減することが可能である。
以上のように、観測システムにおいては、撮像制御部121が検出用画像を撮像し、検出部122が検出用画像から観測対象物を検出することによって、観測制御部123による観測対象物の観測が可能となる。これにより、ユーザが観測試料における観測対象物を探索する必要がなく、効率的な観測が可能となる。加えて観測システムにおいては、従来のトラッキング技術のような長時間の光照射が必要ではなく、観測対象物に対する光毒性を防止することが可能である。
[ウェルプレートの自動識別について]
上述のように、インキュベータN(図1参照)にはウェルプレートが収容されており、観測対象物(細胞等)を培養しながら観測することができる。しかしながら、タイムラプス観察の場合等、観測時間が長時間に及ぶ場合にはひとつのウェルプレートが観測システムを占有していまい、観測システムを他の観測に利用することができない。このため、タイムラプス観測の1回の観測が終了した段階で、ウェルプレートを他のインキュベータに移してもよい。
このようなウェルプレートが複数存在する場合、ウェルプレートを識別する必要があるが、次のようにして観測システムが自動的にウェルプレートを識別できると好適である。なお、各ウェルプレートには予めバーコードやユーザの手書きによるマーカー等のウェルプレートの識別子を含む識別標識が設けられているものとする。
図7は、ウェルプレートの識別機能を有する観測システムの模式図である。この観測システム100においては、顕微鏡ユニット110はさらに識別子読取部119を備え、制御ユニット120はさらに識別子管理部124を有する。
識別子読取部119は、ウェルプレートに設けられた識別標識から識別子を読み取る。識別子読取部119はカメラやバーコードリーダであり、識別子を読み取ることが可能なものであれば特に限定されない。識別子読取部119は、読み取った識別子を識別子管理部124に供給する。
図9は、ウェルプレートの識別機能を有する観測システムの動作を示すフローチャートである。インキュベータにウェルプレートがセットされる(St201)と、ステージ111が駆動され、ウェルプレートがインキュベータと共に識別子読み取りエリアに移動される。識別子読取部119は、ウェルプレートの識別子を読み取り(St202)、識別子管理部124に供給する。
識別子管理部124は、識別子読取部119から供給された識別子を過去に観測したウェルプレートの識別子と照合する(St203)。識別子管理部124は、供給された識別子が、過去に観測したウェルプレートの識別子と一致する場合(St204:Yes)には、過去に観測したウェルプレートの観測データを読み出す(St205)。過去に観測したウェルプレートの観測データは、過去の観測において、検出部122によって観測対象物が検出された観測対象ウェルや観測対象位置(St105参照)である。識別子管理部124は、読み出した観測データを撮像制御部121に供給する。
これにより、撮像制御部121は、撮像部115に検出用画像を撮像させる(St101)際、観測対象物が存在しないウェルを撮像対象から除外することができ、さらに、以前の観測で検出された観測対象位置を中心に検出用画像を撮像させることができる。
識別子管理部124は、識別子読取部119から供給された識別子が過去に観測したウェルプレートの識別子と一致しない場合(St204:No)には、抽出した識別子を新たなウェルプレートとして登録する(St206)。これにより、以降の観測において当該ウェルプレートを観測する際、撮像制御部121は今回の観測データを利用することが可能となる。
このように、観測システムがウェルプレートの識別機能を有する場合、観測システムはウェルプレート毎に過去の観測データを観測に利用することが可能となる。これにより観測システムは、観測が必要ではないウェルを観測対象から除外したり、以前の観測において検出された観測対象物の三次元位置に基づいて撮像範囲を設定することができ、効率的な観測が可能となる。
なお、識別子の読み取りは、必ずしも識別子読取部119によってなされるものでなくてもよい。撮像部115が顕微鏡光学系112を介して撮像した顕微鏡撮像画像から識別子を読み取ることも可能である。例えば、顕微鏡光学系112の拡大倍率が4倍だった場合、視野範囲Sは2.2mm×1.65mmの大きさとなるので、この大きさ以下の識別標識であれば、顕微鏡撮像画像から読み取ることが可能である。また、顕微鏡光学系112の拡大倍率が2倍であれば、4.4mm×3.3mm以下の識別標識を読み取ることが可能である。即ち、識別標識の大きさによっては、識別子管理部119が設けられない構成(図1に示す構成)であっても、識別子の読み取りが可能である。
なお、本技術は以下のような構成も採ることができる。
(1)
顕微鏡光学系と、
上記顕微鏡光学系の視野範囲を撮像する撮像部と、
上記撮像部に、上記視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させる撮像制御部と、
上記検出用画像から、上記観測試料における観測対象物の三次元位置を検出する検出部と、
上記顕微鏡光学系の視野範囲を上記三次元位置に合わせる観測制御部と
を具備する観測システム。
(2)
上記(1)に記載の観測システムであって、
上記撮像制御部は、上記顕微鏡光学系の拡大倍率を第1の拡大倍率に設定し、上記撮像部に上記顕微鏡光学系の視野範囲を撮像させ、
上記観測制御部は、上記顕微鏡光学系の拡大倍率を上記第1の拡大倍率より高い第2の拡大倍率に設定し、上記顕微鏡光学系の視野範囲を上記三次元位置に合わせる
観測システム。
(3)
上記(1)又は(2)に記載の観測システムであって、
上記観測制御部は、上記撮像部に、上記三次元位置に合わせられた上記顕微鏡光学系の視野範囲を撮像させる
観測システム。
(4)
上記(1)から(3)のいずれか一つに記載の観測システムであって、
上記顕微鏡光学系から入射する紫外光、可視光又は赤外光を分光する紫外・可視・赤外分光部をさらに具備し、
上記観測制御部は、上記紫外・可視・赤外分光部に、上記三次元位置に合わせられた上記顕微鏡光学系の視野範囲をスキャンさせる
観測システム。
(5)
上記(1)から(4)のいずれか一つに記載の観測システムであって、
上記顕微鏡光学系から入射するラマン散乱光を分光するラマン散乱分光部をさらに具備し、
上記観測制御部は、ラマン散乱光部に、上記三次元位置に合わせられた上記顕微鏡光学系の視野範囲をスキャンさせる
観測システム。
(6)
上記(1)から(5)のいずれか一つに記載の観測システムであって、
上記観測試料は、複数のウェルが設けられたウェルプレートの各ウェルに収容され、
上記観測対象物は、上記ウェルプレートの各ウェルに一つずつ播種された細胞である
観測システム。
(7)
上記(1)から(6)のいずれか一つに記載の観測システムであって、
上記撮像制御部は、上記検出部によって観測対象物が検出されたウェルを観測対象ウェルとして、観測対象物の三次元位置と共に登録し、上記検出部によって観測対象物が検出されなかったウェルを観測対象ウェルから除外する
観測システム。
(8)
上記(1)から(7)のいずれか一つに記載の観測システムであって、
上記撮像制御部は、上記観測対象ウェルについてタイムラプス撮像を行う
観測システム。
(9)
上記(1)から(8)のいずれか一つに記載の観測システムであって、
ウェルプレートに設けられた識別標識からウェルプレートの識別子を読み取る識別子読取部と、
上記識別子読取部から供給された識別子と、過去に観測されたウェルプレートの識別子とを照合し、供給された識別子に対応するウェルプレートの観測データを上記撮像制御部に供給する識別子管理部と
をさらに具備する観測システム。
(10)
顕微鏡光学系の視野範囲を撮像する撮像部に、上記視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させる撮像制御部と、
上記検出用画像から、上記観測試料における観測対象物の三次元位置を検出する検出部と、
上記顕微鏡光学系の視野範囲を上記三次元位置に合わせる観測制御部と
としてコンピュータを機能させる観測プログラム。
(11)
撮像制御部が、顕微鏡光学系の視野範囲を撮像する撮像部に、上記視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させ、
検出部が、上記検出用画像から、上記観測試料における観測対象物の三次元位置を検出し、
観測制御部が、上記顕微鏡光学系の視野範囲を上記三次元位置に合わせる
観測方法。
112…顕微鏡光学系
115…撮像部
116…紫外・可視・赤外分光部
117…ラマン散乱分光部
119…識別子読取部
121…撮像制御部
122…検出部
123…観測制御部
124…識別子管理部

Claims (11)

  1. 顕微鏡光学系と、
    前記顕微鏡光学系の視野範囲を撮像する撮像部と、
    前記撮像部に、前記視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させる撮像制御部と、
    前記検出用画像から、前記観測試料における観測対象物の三次元位置を検出する検出部と、
    前記顕微鏡光学系の視野範囲を前記三次元位置に合わせる観測制御部と
    を具備する観測システム。
  2. 請求項1に記載の観測システムであって、
    前記撮像制御部は、前記顕微鏡光学系の拡大倍率を第1の拡大倍率に設定し、前記撮像部に前記顕微鏡光学系の視野範囲を撮像させ、
    前記観測制御部は、前記顕微鏡光学系の拡大倍率を前記第1の拡大倍率より高い第2の拡大倍率に設定し、前記顕微鏡光学系の視野範囲を前記三次元位置に合わせる
    観測システム。
  3. 請求項2に記載の観測システムであって、
    前記観測制御部は、前記撮像部に、前記三次元位置に合わせられた前記顕微鏡光学系の視野範囲を撮像させる
    観測システム。
  4. 請求項2に記載の観測システムであって、
    前記顕微鏡光学系から入射する紫外光、可視光又は赤外光を分光する紫外・可視・赤外分光部をさらに具備し、
    前記観測制御部は、前記紫外・可視・赤外分光部に、前記三次元位置に合わせられた前記顕微鏡光学系の視野範囲をスキャンさせる
    観測システム。
  5. 請求項2に記載の観測システムであって、
    前記顕微鏡光学系から入射するラマン散乱光を分光するラマン散乱分光部をさらに具備し、
    前記観測制御部は、ラマン散乱光部に、前記三次元位置に合わせられた前記顕微鏡光学系の視野範囲をスキャンさせる
    観測システム。
  6. 請求項1に記載の観測システムであって、
    前記観測試料は、複数のウェルが設けられたウェルプレートの各ウェルに収容され、
    前記観測対象物は、前記ウェルプレートの各ウェルに一つずつ播種された細胞である
    観測システム。
  7. 請求項6に記載の観測システムであって、
    前記撮像制御部は、前記検出部によって観測対象物が検出されたウェルを観測対象ウェルとして、観測対象物の三次元位置と共に登録し、前記検出部によって観測対象物が検出されなかったウェルを観測対象ウェルから除外する
    観測システム。
  8. 請求項7に記載の観測システムであって、
    前記撮像制御部は、前記観測対象ウェルについてタイムラプス撮像を行う
    観測システム。
  9. 請求項8に記載の観測システムであって、
    ウェルプレートに設けられた識別標識からウェルプレートの識別子を読み取る識別子読取部と、
    前記識別子読取部から供給された識別子と、過去に観測されたウェルプレートの識別子とを照合し、供給された識別子に対応するウェルプレートの観測データを前記撮像制御部に供給する識別子管理部と
    をさらに具備する観測システム。
  10. 顕微鏡光学系の視野範囲を撮像する撮像部に、前記視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させる撮像制御部と、
    前記検出用画像から、前記観測試料における観測対象物の三次元位置を検出する検出部と、
    前記顕微鏡光学系の視野範囲を前記三次元位置に合わせる観測制御部と
    としてコンピュータを機能させる観測プログラム。
  11. 撮像制御部が、顕微鏡光学系の視野範囲を撮像する撮像部に、前記視野範囲における観測試料を複数の焦点位置で撮像させ、検出用画像を生成させ、
    検出部が、前記検出用画像から、前記観測試料における観測対象物の三次元位置を検出し、
    観測制御部が、前記顕微鏡光学系の視野範囲を前記三次元位置に合わせる
    観測方法。
JP2013100142A 2013-05-10 2013-05-10 観測システム、観測プログラム及び観測方法 Pending JP2014219623A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013100142A JP2014219623A (ja) 2013-05-10 2013-05-10 観測システム、観測プログラム及び観測方法
US14/266,383 US9753267B2 (en) 2013-05-10 2014-04-30 Observation system, observation program, and observation method
CN201410182917.8A CN104142287B (zh) 2013-05-10 2014-04-30 观测系统、观测程序和观测方法
US15/684,270 US10890750B2 (en) 2013-05-10 2017-08-23 Observation system, observation program, and observation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013100142A JP2014219623A (ja) 2013-05-10 2013-05-10 観測システム、観測プログラム及び観測方法

Publications (1)

Publication Number Publication Date
JP2014219623A true JP2014219623A (ja) 2014-11-20

Family

ID=51851523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013100142A Pending JP2014219623A (ja) 2013-05-10 2013-05-10 観測システム、観測プログラム及び観測方法

Country Status (3)

Country Link
US (2) US9753267B2 (ja)
JP (1) JP2014219623A (ja)
CN (1) CN104142287B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015170711A1 (ja) * 2014-05-08 2015-11-12 有限会社マイテック プラズモニックチップおよびそれを用いるがん疾病の蛍光画像ならびにラマン分光による診断方法
US10484614B2 (en) 2016-06-14 2019-11-19 Korea Research Institute Of Chemical Technology Apparatus for observing fine object
WO2023032352A1 (ja) * 2021-08-31 2023-03-09 株式会社島津製作所 ラマン-赤外分光分析複合機、およびラマン分光と赤外分光による測定方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016066992A1 (en) * 2014-10-29 2016-05-06 Malvern Instruments Limited Suspended particle characterization system
JP6613736B2 (ja) * 2015-09-07 2019-12-04 セイコーエプソン株式会社 物質検出方法および物質検出装置
GB201704128D0 (en) * 2017-03-15 2017-04-26 Univ Swansea Method and apparatus for use in diagnosis and monitoring of colorectal cancer
US11169092B2 (en) * 2017-07-11 2021-11-09 Hamamatsu Photonics K.K. Sample observation device and sample observation method
US11067787B2 (en) * 2018-10-23 2021-07-20 Microsanj, LLC Microscope mounted infrared digital thermal image system
DE102018131427B4 (de) * 2018-12-07 2021-04-29 Leica Microsystems Cms Gmbh Verfahren zur automatischen Positionsermittlung auf einer Probenanordnung und entsprechendes Mikroskop, Computerprogramm und Computerprogrammprodukt
FR3107604B1 (fr) * 2020-02-24 2024-01-12 Inscoper Procédé de gestion de blocs de commandes destinés à un système d’imagerie en microscopie, programme d’ordinateur, moyen de stockage et dispositif correspondants
DE102020124416A1 (de) 2020-09-18 2022-03-24 Carl Zeiss Microscopy Gmbh Mikroskopiesystem, verfahren und computerprogramm zum ausrichten eines probenträgers
DE102020126737A1 (de) 2020-10-12 2022-04-14 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Erzeugen eines Übersichtsbildes einer Probe
WO2022081214A1 (en) * 2020-10-18 2022-04-21 Aixmed, Inc. Method and system to obtain cytology image in cytopathology

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746112B2 (ja) * 1986-04-09 1995-05-17 株式会社日立製作所 細胞分析方法
US7755757B2 (en) * 2007-02-14 2010-07-13 Chemimage Corporation Distinguishing between renal oncocytoma and chromophobe renal cell carcinoma using raman molecular imaging
US7057721B2 (en) * 2002-01-10 2006-06-06 Chemimage Corporation Wide field method for detecting pathogenic microorganisms
WO2004003444A1 (en) * 2002-06-27 2004-01-08 I.M.T. Interface Multigrad Technology Ltd. Changing the temperature of a liquid sample and a receptacle useful therefor
US7283241B2 (en) * 2005-01-31 2007-10-16 Chemimage Corp. Method and apparatus for a microscope image selector
EP1937400A4 (en) * 2005-09-14 2011-02-23 Illumina Inc DEVICE FOR THE CONTINUOUS SYNTHESIS OF POLYMERS
US8345946B2 (en) * 2006-04-14 2013-01-01 The Regents Of The University Of California Determining orientation of cilia in connective tissue
JP5307539B2 (ja) * 2006-05-31 2013-10-02 オリンパス株式会社 生体試料撮像方法および生体試料撮像装置
JP4288323B1 (ja) * 2008-09-13 2009-07-01 独立行政法人科学技術振興機構 顕微鏡装置及びそれを用いた蛍光観察方法
US20100251438A1 (en) * 2009-03-25 2010-09-30 The Royal College Of Surgeons In Ireland Microscopy control system and method
JP5737178B2 (ja) * 2009-07-08 2015-06-17 株式会社ニコン 表示装置、細胞ピッキング方法、及び培養方法
JP5780791B2 (ja) 2011-03-23 2015-09-16 オリンパス株式会社 細胞の追跡処理方法
US20140192178A1 (en) * 2011-08-12 2014-07-10 Agency For Science, Technology And Research Method and system for tracking motion of microscopic objects within a three-dimensional volume
CN102289066A (zh) * 2011-08-12 2011-12-21 北京航空航天大学 一种多细胞培养过程自动显微成像系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015170711A1 (ja) * 2014-05-08 2015-11-12 有限会社マイテック プラズモニックチップおよびそれを用いるがん疾病の蛍光画像ならびにラマン分光による診断方法
US10215700B2 (en) 2015-02-26 2019-02-26 Mytech Co., Ltd. Plasmonic chip for observing cancer related substances by localized surface plasmon resonace
US10484614B2 (en) 2016-06-14 2019-11-19 Korea Research Institute Of Chemical Technology Apparatus for observing fine object
WO2023032352A1 (ja) * 2021-08-31 2023-03-09 株式会社島津製作所 ラマン-赤外分光分析複合機、およびラマン分光と赤外分光による測定方法

Also Published As

Publication number Publication date
US20140333723A1 (en) 2014-11-13
US10890750B2 (en) 2021-01-12
US9753267B2 (en) 2017-09-05
CN104142287A (zh) 2014-11-12
US20170351081A1 (en) 2017-12-07
CN104142287B (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
JP2014219623A (ja) 観測システム、観測プログラム及び観測方法
US10477097B2 (en) Single-frame autofocusing using multi-LED illumination
US10983305B2 (en) Methods for correctly orienting a substrate in a microscope
CN101031837B (zh) 用于荧光共焦显微镜检查的方法和设备
EP2941663B1 (en) A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope
JP5712342B2 (ja) 光学顕微鏡、及びスペクトル測定方法
US9804144B2 (en) Method for defining a laser microdissection region, and associated laser microdissection system
US10809514B2 (en) Low resolution slide imaging and slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor
US20180275389A1 (en) Remote Focusing All-Optical Digital Scanning Light Sheet Microscopy for Optically Cleared Tissue Sections
US9632303B2 (en) Optical microscope, and autofocus device for optical microscope
US20130087718A1 (en) Confocal fluorescence lifetime imaging system
US20220179187A1 (en) System and method for rapid focusing and analysis using a micro-camera array microscope
US20140140595A1 (en) Microscopy system and method for biological imaging
JP6548965B2 (ja) 顕微鏡システムおよび顕微鏡観察方法
JP6161399B2 (ja) 顕微鏡システム
US20170023784A1 (en) An optical arrangement and method for imaging a sample
US20230258918A1 (en) Digital microscope with artificial intelligence based imaging
US10475198B2 (en) Microscope system and specimen observation method
Macháň Introduction to Fluorescence Microscopy
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy
US10404965B2 (en) Microscope system
JP2016126129A (ja) 光学観察装置
CN105301794B (zh) 用于快速运动物体的超高分辨成像装置