JP2018054968A - 観察装置および方法並びに観察装置制御プログラム - Google Patents

観察装置および方法並びに観察装置制御プログラム Download PDF

Info

Publication number
JP2018054968A
JP2018054968A JP2016192770A JP2016192770A JP2018054968A JP 2018054968 A JP2018054968 A JP 2018054968A JP 2016192770 A JP2016192770 A JP 2016192770A JP 2016192770 A JP2016192770 A JP 2016192770A JP 2018054968 A JP2018054968 A JP 2018054968A
Authority
JP
Japan
Prior art keywords
observation
autofocus control
observation position
boundary portion
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016192770A
Other languages
English (en)
Other versions
JP6667411B2 (ja
Inventor
兼太 松原
Kenta Matsubara
兼太 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016192770A priority Critical patent/JP6667411B2/ja
Priority to PCT/JP2017/031760 priority patent/WO2018061635A1/ja
Priority to EP17855593.4A priority patent/EP3521889B1/en
Priority to KR1020197007703A priority patent/KR102157450B1/ko
Publication of JP2018054968A publication Critical patent/JP2018054968A/ja
Priority to US16/291,683 priority patent/US10627598B2/en
Application granted granted Critical
Publication of JP6667411B2 publication Critical patent/JP6667411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】培養容器を結像光学系によって走査し、各観察位置においてオートフォーカス制御を行う場合において、オートフォーカス制御をより効率的に行い、撮影時間の短縮を図ることができる観察装置および方法並びに観察装置制御プログラムを提供する。
【解決手段】複数のウェル52を有する培養容器50が設置されるステージおよびウェル52内の観察対象の像を結像させる対物レンズを有する結像光学系の少なくとも一方を移動させることによって、ステージ内の観察位置を走査して観察対象を観察する。対物レンズを光軸方向に移動させて、観察位置毎のオートフォーカス制御を行う際、観察位置の走査方向に隣接するウェル52の境界部分Dに基づいて、観察位置毎のオートフォーカス制御の開始タイミングを切り換える。
【選択図】図4

Description

本発明は、観察対象が収容された容器が設置されたステージを、観察対象の像を結像させる結像光学系に対して移動させることによって、観察対象全体の像を観察する観察装置および方法並びにプログラムに関するものである。
従来、ES(Embryonic Stem)細胞およびiPS(Induced Pluripotent Stem)細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを判定する方法が提案されている。
ES細胞およびiPS細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。
一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、たとえばウェルプレートなどの培養容器の範囲内を結像光学系によって走査し、観察位置毎の画像を撮像した後、その観察位置毎の画像を結合する。
そして、このようなタイリング撮影を行う場合には、培養容器内の各観察位置においてオートフォーカス制御を行うことによって、ボケの少ない高画質な画像を取得することが提案されている(特許文献1〜特許文献3を参照)。
特開2010−72017号公報 特開2008−292216号公報 特開2009−25349号公報
ここで、上述したようにタイリング撮影においてオートフォーカス制御を行う場合、撮影時間の短縮の観点から、オートフォーカス制御を高速かつ高精度に行うことが重要である。
しかしながら、たとえば培養容器として複数のウェルを有するウェルプレートを使用し、そのウェルプレート全体を結像光学系によって走査し、各観察位置についてオートフォーカス制御を行いながらタイリング撮影をする場合、各ウェルの底部の厚さは、製造上の誤差などに起因してウェル毎に異なる。
したがって、たとえばウェルの底面(観察対象設置面)の位置を検出してオートフォーカス制御を行う場合、隣接するウェル間で底部の厚さが大きく異なる場合には、ウェルの底面の位置が大きく異なるため、オートフォーカス制御の時間が長くなり、撮影時間が長くなる問題がある。
本発明は、上記の問題に鑑み、オートフォーカス制御をより効率的に行い、撮影時間の短縮を図ることができる観察装置および方法並びに観察装置制御プログラムを提供することを目的とする。
本発明の観察装置は、観察対象が収容される複数の容器が設置されるステージと、容器内の観察対象の像を結像させる対物レンズを有する結像光学系と、ステージおよび結像光学系の少なくとも一方を水平面内において移動させる水平方向駆動部と、水平方向駆動部を制御して、ステージおよび結像光学系の少なくとも一方を移動させることによって、ステージ内の観察位置を走査する走査制御部と、対物レンズを光軸方向に移動させる結像光学系駆動部と、結像光学系駆動部を制御して、観察位置毎のオートフォーカス制御を行うオートフォーカス制御部とを備え、オートフォーカス制御部が、観察位置の走査方向に隣接する容器の境界部分に基づいて、観察位置毎のオートフォーカス制御の開始タイミングを切り換える。
また、上記本発明の観察装置において、オートフォーカス制御部は、境界部分の直後の観察位置のオートフォーカス制御を、境界部分の直前の観察位置のオートフォーカス制御の終了時点から境界部分の直後の観察位置に結像光学系が到達する前までの間に開始することができる。
また、上記本発明の観察装置において、オートフォーカス制御部は、境界部分の直後以外の観察位置については、その観察位置に結像光学系が到達した時点からオートフォーカス制御を開始することができる。
また、上記本発明の観察装置において、境界部分の直後の観察位置のオートフォーカス制御のための時間は、境界部分の直後以外の観察位置のオートフォーカス制御のための時間よりも長いことが好ましい。
また、上記本発明の観察装置においては、結像光学系が観察位置に到達する前に、先行して観察位置におけるステージ上に設置された容器の鉛直方向の位置を検出する検出部を備え、オートフォーカス制御部は、検出部の検出信号に基づいて、各観察位置のオートフォーカス制御を行うことができる。
また、上記本発明の観察装置において、検出部は、対物レンズを挟んで走査方向について並べて設けられた少なくとも2つの変位センサを有し、走査方向の向きの変更に応じて、使用する変位センサを切り換えることができる。
また、上記本発明の観察装置において、検出部は、容器の境界部分を検出することができる。
また、上記本発明の観察装置において、オートフォーカス制御部は、検出部によって検出された検出信号が異常である場合には、異常な検出信号が検出された観察位置については、その観察位置の走査方向について前後の観察位置の検出部の検出信号に基づくオートフォーカス制御を行うことができる。
また、上記本発明の観察装置においては、容器の境界部分の位置情報を記憶する記憶部を備え、オートフォーカス制御部は、記憶部に記憶された境界部分の位置情報に基づいて、オートフォーカス制御の開始タイミングを切り換えることができる。
また、上記本発明の観察装置において、容器は、ウェルプレートの各ウェルであることが好ましい。
本発明の観察方法は、観察対象が収容される複数の容器が設置されるステージおよび容器内の観察対象の像を結像させる対物レンズを有する結像光学系の少なくとも一方を移動させることによって、ステージ内の観察位置を走査して観察対象を観察する観察方法において、対物レンズを光軸方向に移動させて、観察位置毎のオートフォーカス制御を行う際、観察位置の走査方向に隣接する容器の境界部分に基づいて、観察位置毎のオートフォーカス制御の開始タイミングを切り換える。
本発明の観察装置制御プログラムは、観察対象が収容される複数の容器が設置されるステージおよび容器内の観察対象の像を結像させる対物レンズを有する結像光学系の少なくとも一方を移動させることによって、ステージ内の観察位置を走査する手順をコンピュータに実行させる観察装置制御プログラムであって、対物レンズを光軸方向に移動させて、観察位置毎のオートフォーカス制御を行う手順をさらにコンピュータに実行させる観察装置制御プログラムにおいて、観察位置の走査方向に隣接する容器の境界部分に基づいて、観察位置毎のオートフォーカス制御の開始タイミングを切り換える手順をコンピュータに実行させる。
本発明の観察装置および方法並びに観察装置制御プログラムによれば、観察対象が収容される複数の容器が設置されるステージおよび容器内の観察対象の像を結像させる対物レンズを有する結像光学系の少なくとも一方を移動させることによって、ステージ内の観察位置を走査して観察対象を観察する。そして、対物レンズを光軸方向に移動させることによって、観察位置毎のオートフォーカス制御を行う際、観察位置の走査方向に隣接する容器の境界部分に基づいて、観察位置毎のオートフォーカス制御の開始タイミングを切り換えるようにしたので、オートフォーカス制御をより効率的に行い、撮影時間の短縮を図ることができる。
本発明の観察装置の一実施形態を用いた顕微鏡観察システムにおける顕微鏡装置の概略構成を示す図 ステージの構成を示す斜視図 結像光学系の構成を示す模式図 ウェルプレートの各ウェルの境界部分を説明するための図 本発明の観察装置の一実施形態を用いた顕微鏡観察システムにおけるオートフォーカス制御を説明するための図 本発明のオートフォーカス制御の開始タイミングの一例を説明するための図 本発明の観察装置の一実施形態を用いた顕微鏡観察システムの概略構成を示すブロック図 培養容器内における観察位置の走査位置を示す図 本発明の観察装置の一実施形態を用いた顕微鏡観察システムの作用を説明するためのフローチャート ステージが往路移動している場合における顕微鏡観察システムの作用を説明するための模式図 ステージが往路移動している場合における顕微鏡観察システムの作用を説明するための模式図 本発明の観察装置のその他の実施形態を用いた顕微鏡観察システムの概略構成を示すブロック図 ウェルの底面にキズなどがある場合において、検出部によって検出された検出信号に基づくZ方向の位置を示す図
以下、本発明の観察装置および方法の一実施形態を用いた顕微鏡観察システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の顕微鏡観察システムにおける顕微鏡装置10の概略構成を示す図である。
顕微鏡装置10は、観察対象である培養された細胞の位相差画像を撮像するものである。具体的には、顕微鏡装置10は、図1に示すように、白色光を出射する白色光源11と、コンデンサレンズ12と、スリット板13と、結像光学系14と、結像光学系駆動部15と、撮像素子16と、検出部18とを備えている。
そして、スリット板13と結像光学系14および検出部18との間に、ステージ51が設けられている。ステージ51上には、観察対象である細胞が収容された培養容器50が設置される。図2は、ステージ51の一例を示す図である。ステージ51の中央には、矩形の開口51aが形成されている。この開口51aを形成する部材の上に培養容器50が設置され、培養容器50内の細胞の位相差画像が開口51aを通過するように構成されている。
本実施形態においては、培養容器50として、細胞が収容される複数のウェル(1つのウェルが、本発明の容器に相当する)を備えたウェルプレートを用いる。また、培養容器50に収容される細胞としては、iPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。
ステージ51は、水平方向駆動部17(図7参照)によって互いに直交するX方向およびY方向に移動するものである。X方向およびY方向は、Z方向に直交する方向であり、水平面内において互いに直交する方向である。
スリット板13は、白色光源11から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状の照明光Lが形成される。
図3は、結像光学系14の詳細な構成を示す図である。結像光学系14は、図3に示すように、位相差レンズ14aおよび結像レンズ14dを備えている。そして、位相差レンズ14aは、対物レンズ14bおよび位相板14cを備えている。位相板14cは、照明光Lの波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板13のスリットの大きさは、位相板14cの位相リングと共役な関係にある。
位相リングは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相リングに入射された直接光は、位相リングを通過することによって位相が1/4波長ずれるとともに、その明るさが弱められる。一方、観察対象によって回折された回折光は大部分が位相板14cの透明板を通過し、その位相および明るさは変化しない。
対物レンズ14bを有する位相差レンズ14aは、図1に示す結像光学系駆動部15によって対物レンズ14bの光軸方向に移動するものである。なお、本実施形態においては、対物レンズ14bと光軸方向とZ方向(鉛直方向)とは同じ方向である。位相差レンズ14aのZ方向への移動によってオートフォーカス制御が行われ、撮像素子16によって撮像される位相差画像のコントラストが調整される。
また、位相差レンズ14aの倍率を変更可能な構成としてもよい。具体的には、異なる倍率を有する位相差レンズ14aまたは結像光学系14を交換可能に構成するようにしてもよい。位相差レンズ14aまたは結像光学系14の交換は、自動的に行うようにしてもよいし、ユーザが手動で行うようにしてもよい。
結像光学系駆動部15は、たとえば圧電素子のようなアクチュエータを備えたものであり、後述するオートフォーカス制御部21から出力された制御信号に基づいて駆動するものである。なお、結像光学系駆動部15は、位相差レンズ14aを通過した位相差画像をそのまま通過させる構成となっている。また、結像光学系駆動部15の構成は圧電素子に限らず、位相差レンズ14aをZ方向に移動可能なものであればよく、その他の公知な構成を用いることができる。
結像レンズ14dは、位相差レンズ14aおよび結像光学系駆動部15を通過した位相差画像が入射され、これを撮像素子16に結像するものである。
撮像素子16は、結像レンズ14dによって結像された位相差画像を撮像するものである。撮像素子16としては、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどが用いられる。撮像素子としては、RGB(Red Green Blue)のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。
検出部18は、ステージ51に設置された培養容器50のZ方向(鉛直方向)の位置を検出するものである。検出部18は、具体的には、第1のオートフォーカス用変位センサ18aおよび第2のオートフォーカス用変位センサ18bを備えたものである。なお、第1および第2のオートフォーカス用変位センサ18a、18bは、本発明の変位センサに相当するものである。
第1のオートフォーカス用変位センサ18aおよび第2のオートフォーカス用変位センサ18bは、結像光学系14(対物レンズ14b)を挟んで、図1に示すX方向に並べて設けられている。本実施形態における第1のオートフォーカス用変位センサ18aおよび第2のオートフォーカス用変位センサ18bはレーザ変位計であり、培養容器50にレーザ光を照射し、その反射光を検出することによって、培養容器50の底面のZ方向の位置を検出するものである。なお、培養容器50の底面とは、培養容器50の底部と観察対象である細胞との境界面であり、すなわち観察対象設置面である。
検出部18によって検出された培養容器50のZ方向の位置情報は、オートフォーカス制御部21に出力され、オートフォーカス制御部21は、入力された位置情報に基づいて、結像光学系駆動部15を制御し、オートフォーカス制御を行う。
より具体的には、本実施形態の顕微鏡装置10においては、結像光学系14がステージ51上の培養容器50の所定の観察位置に到達する前に、先行してその観察位置における培養容器50のZ方向の位置情報を第1または第2のオートフォーカス用変位センサ18a,18bによって検出し、結像光学系14が、上記観察位置に到達した際に、第1または第2のオートフォーカス用変位センサ18a,18bによって検出された位置情報に基づいて、結像光学系駆動部15を制御し、オートフォーカス制御を行う。
ここで、本実施形態のように、培養容器50として複数のウェルを備えたウェルプレートを用いた場合、ウェルプレートにおける全ての観察位置について、従来のように、結像光学系14が各観察位置に到達した時点からオートフォーカス制御を行ったのでは、観察位置の走査方向に隣接するウェルの境界部分の直後の観察位置、すなわち隣接するウェルのうち走査方向前側のウェルの最初の観察位置のオートフォーカス制御を行う際、ウェル毎の底部の厚さの違いから、オートフォーカス制御に長い時間がかかってしまう。なお、上述した観察位置の走査方向とは、ステージ51の移動方向とは逆の方向である。
図4は、複数のウェル52を備えた培養容器50(ウェルプレート)の一例の断面模式図である。図4に示す「D」が隣接するウェルの境界部分であり、「52a」がウェル52の底部である。なお、図4に示すように、各ウェル52の底部52aの厚さは、製造上のばらつきによって異なっている。
そして、ステージ51をX方向に往復移動させ、かつY方向に移動させながら2次元状に走査を行う場合には、何度もウェル52の境界を通過するため、上述したようなウェル52の境界部分Dを跨ぐ際のオートフォーカス制御の時間のロスが大きいものとなる。
そこで、本実施形態においては、図5に示すように、隣接するウェル52の境界部分Dの直後の観察位置R2と境界部分Dの直後の観察位置R2以外の観察位置とで、オートフフォーカス制御を開始するタイミングを切り換える。具体的には、本実施形態においては、境界部分Dの直後の観察位置R2のオートフォーカス制御を、境界部分Dの直前の観察位置R1のオートフォーカス制御の終了時点から開始する。なお、図5における点線で示す矩形の範囲が各観察位置Rを示している。
すなわち、本実施形態においては、隣接するウェル52の境界部分Dに含まれる観察位置については、オートフォーカス制御による撮像を行う必要がないので、この境界部分Dに含まれる観察位置についてはオートフォーカス制御を行わず、境界部分Dに含まれる観察位置の走査時間を利用して、境界部分Dの直後の観察位置R2のオートフォーカス制御を行う。図6は、ウェル52の境界部分Dの近傍の観察位置R0〜R3のオートフォーカス制御の開始タイミングと終了タイミングの一例を示す図である。図6に示すf0〜f3が、各観察位置R0〜R3のフォートフォーカス制御を行っている時間であり、Txは、隣接する観察位置の間の走査時間(結像光学系14がステージ51に対して相対的に移動する時間)であり、Tdは、観察位置R2から観察位置R3までの走査時間である。
図6に示すように、観察位置R0については、時刻t0からオートフォーカス制御が開始され、時刻t1の時点でオートフォーカス制御を終了する。そして、観察位置R0から観察位置R1まで走査された後、時刻t2から観察位置R1のオートフォーカス制御が開始され、時刻t3の時点でオートフォーカス制御を終了する。そして、観察位置R1のオートフォーカス制御を終了した時刻t3から観察位置R2のオートフォーカス制御を開始し、結像光学系14が観察位置R2に到達する時刻t5までの間の時刻t4において、観察位置R2のオートフォーカス制御を終了する。すなわち、観察位置R1から観察位置R2までの走査時間Tdの間に、観察位置R2のオートフォーカス制御を終了する。
そして、結像光学系14が観察位置R2に到達した時刻t5では、既に観察位置R2のオートフォーカス制御が終了しているので、即座に観察位置R2の位相差画像の撮像が行われ、次の観察位置R3に向かって走査される。そして、観察位置R2から観察位置R3まで走査された後、時刻t6から観察位置R3のオートフォーカス制御が開始され、時刻t7の時点でオートフォーカス制御を終了する。
従来のオートフォーカス制御の場合、結像光学系14が、観察位置R2に到達した時点(図6の時刻t5)から観察位置R2のオートフォーカス制御が開始されるので、その分撮影時間が長くなり、特に、ウェル52の底部の厚さが異なる場合には、その時間のロスが大きくなる。
本実施形態では、上述したように境界部分Dの直後の観察位置R2のオートフォーカス制御の開始タイミングを早くすることによって、撮影時間の短縮を図ることができる。
なお、境界部分Dの直後の観察位置R2以外の観察位置については、上述したように、その各観察位置に到達した時点からオートフォーカス制御を開始する。また、本実施形態においては、境界部分Dの直後の観察位置R2のオートフォーカス制御を、境界部分Dの直前の観察位置R1のオートフォーカス制御の終了時点t3から開始するようにしたが、これに限らず、観察位置Rのオートフォーカス制御の終了時点t3から結像光学系14が観察位置R2に到達する時刻t5の前であれば、その他の時点でもよい。すなわち、図6に示すTdの間であればその他の時点でもよい。
また、本実施形態においては、境界部分Dの直後の観察位置R2以外の観察位置のオートフォーカス制御のための時間(たとえば図6に示す時刻t0〜時刻t2までの時間であり、結像光学系14が観察位置R0に到達した時点から観察位置R1に到達するまでの時間)よりも、境界部分Dの直後の観察位置R2のオートフォーカス制御のための時間(たとえば図6に示すTdの時間であり、結像光学系14が観察位置R1から観察位置R2に到達するまでの時間)の方が長くなるように設定されている。
また、上述したような境界部分Dの直後の観察位置R2のオートフォーカス制御を行う場合、境界部分Dの直前の観察位置R1と境界部分Dの直後の観察位置R2のX−Y平面内における座標位置を特定する必要がある。すなわち、境界部分Dを特定する必要がある。そこで、本実施形態においては、上述した第1または第2のオートフォーカス用変位センサ18a,18bによって隣接するウェル52の境界部分Dを検出する。具体的には、境界部分Dには、ウェル52の底面が存在しないので、明らかに第1または第2のオートフォーカス用変位センサ18a,18bによって検出される検出信号が異なるものとなる。したがって、たとえば第1または第2のオートフォーカス用変位センサ18a,18bによって検出された検出信号が、予め設定された閾値の範囲内であるかを判定することによって、境界部分Dを検出することができる。
次に、顕微鏡装置10を制御する顕微鏡制御装置20の構成について説明する。図7は、本実施形態の顕微鏡観察システムの構成を示すブロック図である。なお、顕微鏡装置10については、顕微鏡制御装置20の各部により制御される一部の構成のブロック図を示している。
顕微鏡制御装置20は、顕微鏡装置10全体を制御するものであり、特に、オートフォーカス制御部21、走査制御部22および表示制御部23を備えたものである。
顕微鏡制御装置20は、中央処理装置、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものであり、ハードディスクに本発明の観察装置制御プログラムの一実施形態がインストールされている。そして、この観察装置制御プログラムが中央処理装置によって実行されることによって、図7に示すオートフォーカス制御部21、走査制御部22および表示制御部23が機能する。
オートフォーカス制御部21は、上述したように検出部18によって検出された培養容器50のZ方向の位置情報に基づいて、結像光学系駆動部15を制御するものである。そして、結像光学系駆動部15の駆動によって結像光学系14の対物レンズ14bが光軸方向に移動し、オートフォーカス制御が行われる。そして、本実施形態のオートフォーカス制御部21は、上述したように、隣接するウェルの境界部分の直後の観察位置と境界部分の直後の観察位置以外の観察位置とで、オートフフォーカス制御を開始するタイミングを切り換える。
走査制御部22は、水平方向駆動部17を駆動制御し、これによりステージ51をX方向およびY方向に移動させるものである。水平方向駆動部17は、圧電素子などを有するアクチュエータから構成されるものである。
本実施形態においては、上述したように走査制御部22による制御によってステージ51をX方向およびY方向に移動させ、培養容器50内における観察位置を2次元状に走査し、各観察位置の位相差画像を撮像する。図8は、培養容器50内における観察位置の走査位置を実線Mで示した図である。なお、本実施形態においては、培養容器50として6つのウェル52を有するウェルプレートを用いる。
図8に示すように、培養容器50において、観察位置は、ステージ51のX方向およびY方向の移動によって走査開始点Sから走査終了点Eまで実線Mに沿って走査される。すなわち、観察位置は、X方向の正方向(図8の右方向)に走査された後、Y方向(図8の下方向)に走査され、逆の負方向(図8の左方向)に走査される。次いで、観察位置は、再びY方向に走査され、再びX方向の正方向に走査される。このように、ステージ51のX方向についての往復移動とY方向への移動を繰り返し行うことによって、観察位置は、培養容器50内を2次元状に走査される。
次に、図7に戻り、表示制御部23は、顕微鏡装置10によって撮像された各観察位置の位相差画像を結合することによって、1枚の合成位相差画像を生成し、その合成位相差画像を表示装置30に表示させるものである。
表示装置30は、上述したように表示制御部23によって生成された合成位相差画像を表示するものであり、たとえば液晶ディスプレイなどを備えたものである。また、表示装置30をタッチパネルによって構成し、入力装置40と兼用するようにしてもよい。
入力装置40は、マウスやキーボードなどを備えたものであり、ユーザによる種々の設定入力を受け付けるものである。本実施形態の入力装置40は、たとえば位相差レンズ14aの倍率の変更指示およびステージの移動速度の変更指示などの設定入力を受け付けるものである。
次に、本実施形態の顕微鏡観察システムの作用について、図9に示すフローチャートを参照しながら説明する。
まず、観察対象である細胞が収容された培養容器50が、ステージ51上に設置される(S10)。
次に、ステージ51が移動して結像光学系14の観察位置が、図8に示す走査開始点Sの位置に設定され、ステージ51の移動が開始される(S12)。
ここで、本実施形態においては、上述したように各観察位置について、先行して培養容器50のZ方向の位置検出が行われ、その観察位置まで結像光学系14が移動した時点において、位相差画像の撮像が行われる。そして、この培養容器50のZ方向の位置検出と位相差画像の撮像は、観察位置を走査しながら行われ、ある観察位置の位相差画像の撮像と、その観察位置よりも走査方向について前側の位置における培養容器50のZ方向の位置検出とが並行して行わる。
具体的には、図10の矢印方向にステージ51が往路移動している場合には、第1のオートフォーカス用変位センサ18aによって培養容器50のZ方向の位置が検出され(S14)、その検出された位置情報が、オートフォーカス制御部21によって取得される。オートフォーカス制御部21は、取得した培養容器50のZ方向の位置情報を、培養容器50の観察位置のX−Y座標とともに記憶する。
さらに、第1のオートフォーカス用変位センサ18aは、各観察位置の培養容器50のZ方向の位置検出と並行して、ウェルの境界部分の検出処理を行う(S16)。そして、ウェルの境界部分が検出された場合には、そのX−Y座標を記憶する。
次いで、S14において第1のオートフォーカス用変位センサ18aによって培養容器50の位置検出が行われた観察位置に向かって結像光学系14が移動し、その観察位置のオートフォーカス制御が行われるが、上述したように観察位置によってオートフォーカス制御の開始タイミングを切り換える。
具体的には、観察位置が、隣接するウェルの境界部分に到達していない場合には(S18、NO)、各観察位置に到達した時点からオートフォーカス制御を開始する(S20)。具体的には、各観察位置における培養容器50のZ方向の位置情報に基づいて、結像光学系14の対物レンズ14bのZ方向への移動量を算出し、その移動量に基づいてオートフォーカス制御を行う。
一方、隣接するウェルの境界部分の直前の観察位置に到達した場合には、その観察位置のオートフォーカス制御が終了した時点から、次のウェルの境界部分の直後の観察位置(次のウェルの最初の観察位置)のオートフォーカス制御を開始する(S22)。すなわち、境界部分の直後の観察位置における培養容器50のZ方向の位置情報に基づいて、結像光学系14の対物レンズ14bのZ方向への移動量を算出し、その移動量に基づいてオートフォーカス制御を行う。
そして、各観察位置についてオートフォーカス制御が終了した後(S24)、位相差画像の撮像を行う(S26)。各観察位置の位相差画像は、撮像素子16から表示制御部23に出力されて記憶される。
そして、往路移動が終了し、図11に示すように復路移動に切り換えられた場合には、使用する変位センサが第1のオートフォーカス用変位センサ18aから第2のオートフォーカス用変位センサ18bに切り換えられる。
そして、この時点において、全ての走査が終了していない場合には(S28,NO)、ステージ51が復路移動し、S14〜S28の処理が行われる。
ステージ51の移動方向が切り換えられる度に使用する変位センサが切り換えられ、全ての走査が終了するまでS14〜S26までの処理が繰り返して行われる。そして、観察位置が、図8に示す走査終了点Eの位置に到達した時点において全ての走査が終了する(S28,YES)。
全ての走査が終了した後、表示制御部23は、各観察位置Rの位相差画像を結合して合成位相差画像を生成し(S30)、その生成した合成位相差画像を表示装置30に表示させる(S32)。
上記実施形態の顕微鏡観察システムによれば、培養容器50内の観察位置毎のオートフォーカス制御を行う際、観察位置の走査方向に隣接するウェル52の境界部分Dに基づいて、観察位置毎のオートフォーカス制御の開始タイミングを切り換えるようにしたので、オートフォーカス制御をより効率的に行い、撮影時間の短縮を図ることができる。
なお、上記実施形態においては、ウェルの境界部分を第1または第2のオートフォーカス用変位センサ18a,18bによって検出するようにしたが、これに限らず、ウェルの境界部分を予め取得して記憶しておいてもよい。具体的には、図12に示すように、ウェルの境界部分の位置情報を記憶する記憶部24を設け、オートフォーカス制御部21が、記憶部24に記憶された境界部分の位置情報に基づいて、オートフォーカス制御の開始タイミングを切り換えるようにしてもよい。
また、このようにウェルの境界部分の位置情報を記憶する場合には、培養容器50毎に識別情報を付与し、その識別情報とウェルの境界部分の位置情報を対応付けたテーブルを予め設定しておいてもよい。このようなテーブルを設けることによって、たとえばウェルの数が異なる培養容器50が設置された場合でも、上述したようなオートフォーカス制御の開始タイミングの切り換えを適切に行うことができる。なお、培養容器50の識別情報については、ユーザが入力装置40を用いて設定入力するようにしてもよいし、培養容器50に対し、識別情報が記憶されたバーコードまたはRFID(Radio frequency identification)タグを設け、こられから識別情報を読み出すようにしてもよい。
また、上記実施形態の顕微鏡観察システムにおいては、第1および第2のオートフォーカス用変位センサ18a,18bを用いてウェルの境界部分を検出するようにしたが、これに限らず、第1および第2のオートフォーカス用変位センサ18a,18bの他にウェル境界検出用のセンサを設けるようにしてもよい。
また、上記実施形態の顕微鏡観察システムにおいては、培養容器50として複数のウェル52を有するウェルプレートを用いるようにしたが、本発明の容器としてシャーレを用い、複数のシャーレをステージ51上に設置するようにしてもよい。上記実施形態においては、観察位置の走査方向に隣接するウェル52の境界部分に基づいて、観察位置毎のオートフォーカス制御の開始タイミングを切り換えるようにしたが、複数のシャーレをステージ51上に設置する場合には、観察位置の走査方向に隣接するシャーレの境界部分に基づいて、観察位置毎のオートフォーカス制御の開始タイミングを切り換えるようにすればよい。
具体的には、上述したウェル52をシャーレに置き換えればよく、シャーレの境界部分の直後の観察位置のオートフォーカス制御を、たとえば境界部分の直前の観察位置のオートフォーカス制御の終了時点から開始するようにすればよい。そして、境界部分の直後以外の観察位置については、その観察位置に結像光学系14が到達した時点からオートフォーカス制御を開始するようにすればよい。
また、上記実施形態においては、培養容器50の底面のZ方向の位置を検出するようにしたが、たとえば、培養容器50の底面にキズまたは汚れの付着などがあり、検出部18によって検出される検出信号が異常である場合には、適切なオートフォーカス制御を行うことができない。図13は、培養容器50の底面にキズまたは汚れの付着などがある場合において、検出部18によって検出された検出信号に基づくZ方向の位置を示す図である。図13に示すS1の範囲は、各ウェル52の底面の範囲であり、S3の範囲は、ウェル52の境界部分Dの範囲である。そして、図13に示すS2の範囲が、培養容器50の底面におけるキズまたは汚れの付着の範囲である。
そこで、オートフォーカス制御部21が、検出部18によって検出された検出信号が異常である場合には、その異常な検出信号が検出された観察位置については、その観察位置の走査方向について前後の観察位置の検出部18の検出信号に基づくオートフォーカス制御を行うようにしてもよい。図13に示すような検出信号の場合には、S2の範囲については検出部18によって検出された検出信号を用いず、S2の範囲の直前および/または直後の観察位置の検出信号を用いてオートフォーカス制御を行う。
具体的には、たとえばS2の範囲の直前の観察位置の検出信号と直後の観察位置の検出信号の平均値を用いて、S2の範囲の観察位置のオートフォーカス制御を行うようにすればよい。また、平均値に限らず、S2の範囲の直前の観察位置の検出信号または直後の観察位置の検出信号を用いるようにしてもよいし、S2の範囲の直前の観察位置の検出信号と直後の観察位置の検出信号とを用いて線形補間を行って、S2の範囲の観察位置の検出信号を取得するようにしてもよい。また、S2の範囲の直前および直後の観察位置だけでなく、S2の範囲の前の2以上の観察位置の検出信号と、S2の範囲の後の2以上の観察位置の検出信号とを用いて線形補間を行うことによって、S2の範囲の検出信号を取得するようにしてもよい。
なお、上記実施形態においては、ステージ51を移動させることによって、培養容器50内の観察位置を走査するようにしたが、これに限らず、結像光学系14、検出部18および撮像素子16からなる撮影系を移動させるようにしてもよい。また、ステージ51と撮影系との両方を移動させるようにしてもよい。
また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。
また、上記実施形態においては、結像光学系14によって結像された位相差画像を撮像素子16によって撮像するようにしたが、撮像素子を設けることなく、結像光学系14によって結像された観察対象の位相差像をユーザが直接観察できるように観察光学系などを設けるようにしてもよい。
10 顕微鏡装置
11 白色光源
12 コンデンサレンズ
13 スリット板
14 結像光学系
14a 位相差レンズ
14b 対物レンズ
14c 位相板
14d 結像レンズ
15 結像光学系駆動部
16 撮像素子
17 水平方向駆動部
18 検出部
18a 第1のオートフォーカス用変位センサ
18b 第2のオートフォーカス用変位センサ
20 顕微鏡制御装置
21 オートフォーカス制御部
22 走査制御部
23 表示制御部
24 記憶部
30 表示装置
40 入力装置
50 培養容器
51 ステージ
51a 開口
52 ウェル
52a 底部
D 境界部分
E 走査終了点
L 照明光
M 走査位置を示す実線
R 観察位置
R1 観察位置
R2 観察位置
S 走査開始点

Claims (12)

  1. 観察対象が収容される複数の容器が設置されるステージと、
    前記容器内の前記観察対象の像を結像させる対物レンズを有する結像光学系と、
    前記ステージおよび前記結像光学系の少なくとも一方を水平面内において移動させる水平方向駆動部と、
    該水平方向駆動部を制御して、前記ステージおよび前記結像光学系の少なくとも一方を移動させることによって、前記ステージ内の観察位置を走査する走査制御部と、
    前記対物レンズを光軸方向に移動させる結像光学系駆動部と、
    前記結像光学系駆動部を制御して、前記観察位置毎のオートフォーカス制御を行うオートフォーカス制御部とを備え、
    前記オートフォーカス制御部が、前記観察位置の走査方向に隣接する前記容器の境界部分に基づいて、前記観察位置毎のオートフォーカス制御の開始タイミングを切り換える観察装置。
  2. 前記オートフォーカス制御部が、前記境界部分の直後の観察位置のオートフォーカス制御を、前記境界部分の直前の観察位置のオートフォーカス制御の終了時点から前記境界部分の直後の観察位置に前記結像光学系が到達する前までの間に開始する請求項1記載の観察装置。
  3. 前記オートフォーカス制御部が、前記境界部分の直後以外の観察位置については、該観察位置に前記結像光学系が到達した時点からオートフォーカス制御を開始する請求項2記載の観察装置。
  4. 前記境界部分の直後の観察位置のオートフォーカス制御のための時間が、前記境界部分の直後以外の観察位置のオートフォーカス制御のための時間よりも長い請求項2または3記載の観察装置。
  5. 前記結像光学系が観察位置に到達する前に、先行して前記観察位置における前記ステージ上に設置された前記容器の鉛直方向の位置を検出する検出部を備え、
    前記オートフォーカス制御部が、前記検出部の検出信号に基づいて、前記各観察位置のオートフォーカス制御を行う請求項1から4いずれか1項記載の観察装置。
  6. 前記検出部が、前記対物レンズを挟んで前記走査方向について並べて設けられた少なくとも2つの変位センサを有し、前記走査方向の向きの変更に応じて、使用する前記変位センサを切り換える請求項5記載の観察装置。
  7. 前記検出部が、前記容器の境界部分を検出する請求項5または6項記載の観察装置。
  8. 前記オートフォーカス制御部が、前記検出部によって検出された検出信号が異常である場合には、前記異常な検出信号が検出された観察位置については、該観察位置の前記走査方向について前後の観察位置の前記検出部の検出信号に基づくオートフォーカス制御を行う請求項5から7いずれか1項記載の観察装置。
  9. 前記容器の境界部分の位置情報を記憶する記憶部を備え、
    前記オートフォーカス制御部が、前記記憶部に記憶された境界部分の位置情報に基づいて、前記オートフォーカス制御の開始タイミングを切り換える請求項1から6いずれか1項記載の観察装置。
  10. 前記容器が、ウェルプレートの各ウェルである請求項1から9いずれか1項記載の観察装置。
  11. 観察対象が収容される複数の容器が設置されるステージおよび前記容器内の前記観察対象の像を結像させる対物レンズを有する結像光学系の少なくとも一方を移動させることによって、前記ステージ内の観察位置を走査して前記観察対象を観察する観察方法において、
    前記対物レンズを光軸方向に移動させて、前記観察位置毎のオートフォーカス制御を行う際、
    前記観察位置の走査方向に隣接する前記容器の境界部分に基づいて、前記観察位置毎のオートフォーカス制御の開始タイミングを切り換える観察方法。
  12. 観察対象が収容される複数の容器が設置されるステージおよび前記容器内の前記観察対象の像を結像させる対物レンズを有する結像光学系の少なくとも一方を移動させることによって、前記ステージ内の観察位置を走査する手順をコンピュータに実行させる観察装置制御プログラムであって、
    前記対物レンズを光軸方向に移動させて、前記観察位置毎のオートフォーカス制御を行う手順をさらに前記コンピュータに実行させる観察装置制御プログラムにおいて、
    前記観察位置の走査方向に隣接する前記容器の境界部分に基づいて、前記観察位置毎のオートフォーカス制御の開始タイミングを切り換える手順を前記コンピュータに実行させる観察装置制御プログラム。
JP2016192770A 2016-09-30 2016-09-30 観察装置および方法並びに観察装置制御プログラム Active JP6667411B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016192770A JP6667411B2 (ja) 2016-09-30 2016-09-30 観察装置および方法並びに観察装置制御プログラム
PCT/JP2017/031760 WO2018061635A1 (ja) 2016-09-30 2017-09-04 観察装置および方法並びに観察装置制御プログラム
EP17855593.4A EP3521889B1 (en) 2016-09-30 2017-09-04 Observation device and method, and observation device control program
KR1020197007703A KR102157450B1 (ko) 2016-09-30 2017-09-04 관찰 장치 및 방법과, 관찰 장치 제어 프로그램
US16/291,683 US10627598B2 (en) 2016-09-30 2019-03-04 Observation device, observation method, and observation device control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016192770A JP6667411B2 (ja) 2016-09-30 2016-09-30 観察装置および方法並びに観察装置制御プログラム

Publications (2)

Publication Number Publication Date
JP2018054968A true JP2018054968A (ja) 2018-04-05
JP6667411B2 JP6667411B2 (ja) 2020-03-18

Family

ID=61762750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016192770A Active JP6667411B2 (ja) 2016-09-30 2016-09-30 観察装置および方法並びに観察装置制御プログラム

Country Status (5)

Country Link
US (1) US10627598B2 (ja)
EP (1) EP3521889B1 (ja)
JP (1) JP6667411B2 (ja)
KR (1) KR102157450B1 (ja)
WO (1) WO2018061635A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181482A1 (ja) * 2020-03-09 2021-09-16 株式会社日立ハイテク 顕微鏡画像撮像方法および顕微鏡画像撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019098018A1 (ja) * 2017-11-17 2019-05-23 富士フイルム株式会社 観察装置および方法並びに観察装置制御プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284118A (ja) * 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd 自動焦点制御装置及び自動焦点制御方法
JP2006003653A (ja) * 2004-06-17 2006-01-05 Olympus Corp 生体試料観察システム
JP2008292216A (ja) * 2007-05-23 2008-12-04 Yokogawa Electric Corp 創薬スクリーニング装置
JP2009025349A (ja) * 2007-07-17 2009-02-05 Nikon Corp 顕微鏡装置、顕微鏡制御方法、および、プログラム
JP2009198525A (ja) * 2008-02-19 2009-09-03 Yokogawa Electric Corp 創薬スクリーニング装置
JP2009222588A (ja) * 2008-03-17 2009-10-01 Panasonic Corp マイクロプレート読取装置およびマイクロプレート読取方法
JP2010072017A (ja) * 2008-09-16 2010-04-02 Yokogawa Electric Corp オートフォーカス装置
JP2010191298A (ja) * 2009-02-19 2010-09-02 Nikon Corp 顕微鏡
WO2010128670A1 (ja) * 2009-05-08 2010-11-11 株式会社ニコン フォーカス制御装置および培養観察装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798571B2 (en) * 2001-01-11 2004-09-28 Interscope Technologies, Inc. System for microscopic digital montage imaging using a pulse light illumination system
JP3990177B2 (ja) * 2002-03-29 2007-10-10 独立行政法人放射線医学総合研究所 顕微鏡装置
JP4973162B2 (ja) * 2006-12-01 2012-07-11 株式会社ニコン 画像処理装置、画像処理プログラム及び観察システム
BR112013009408A2 (pt) * 2010-10-29 2017-10-31 Canon Kk microscópio, aparelho de aquisição de imagem, e sistema de aquisição de imagem
JP4919307B1 (ja) * 2011-05-13 2012-04-18 レーザーテック株式会社 基板検査装置及びマスク検査装置
JP6032767B2 (ja) * 2011-08-10 2016-11-30 モレキュラー デバイシーズ, エルエルシー マイクロタイタープレート特性の画像の提示および評価の方法
CN103852878B (zh) * 2014-01-08 2016-05-25 麦克奥迪实业集团有限公司 一种具有实时聚焦的显微切片快速数字扫描装置及其方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284118A (ja) * 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd 自動焦点制御装置及び自動焦点制御方法
JP2006003653A (ja) * 2004-06-17 2006-01-05 Olympus Corp 生体試料観察システム
JP2008292216A (ja) * 2007-05-23 2008-12-04 Yokogawa Electric Corp 創薬スクリーニング装置
JP2009025349A (ja) * 2007-07-17 2009-02-05 Nikon Corp 顕微鏡装置、顕微鏡制御方法、および、プログラム
JP2009198525A (ja) * 2008-02-19 2009-09-03 Yokogawa Electric Corp 創薬スクリーニング装置
JP2009222588A (ja) * 2008-03-17 2009-10-01 Panasonic Corp マイクロプレート読取装置およびマイクロプレート読取方法
JP2010072017A (ja) * 2008-09-16 2010-04-02 Yokogawa Electric Corp オートフォーカス装置
JP2010191298A (ja) * 2009-02-19 2010-09-02 Nikon Corp 顕微鏡
WO2010128670A1 (ja) * 2009-05-08 2010-11-11 株式会社ニコン フォーカス制御装置および培養観察装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181482A1 (ja) * 2020-03-09 2021-09-16 株式会社日立ハイテク 顕微鏡画像撮像方法および顕微鏡画像撮像装置
JPWO2021181482A1 (ja) * 2020-03-09 2021-09-16
JP7288141B2 (ja) 2020-03-09 2023-06-06 株式会社日立ハイテク 顕微鏡画像撮像方法および顕微鏡画像撮像装置

Also Published As

Publication number Publication date
KR102157450B1 (ko) 2020-09-17
EP3521889A4 (en) 2019-10-23
WO2018061635A1 (ja) 2018-04-05
KR20190037334A (ko) 2019-04-05
JP6667411B2 (ja) 2020-03-18
EP3521889B1 (en) 2023-10-04
EP3521889A1 (en) 2019-08-07
US10627598B2 (en) 2020-04-21
US20190204536A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
US10761295B2 (en) Image focusing device, image focusing method and computer readable medium with image focusing control program
JP6815477B2 (ja) 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム
US20190391376A1 (en) Observation device, observation control method, and observation control program
WO2018061635A1 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
EP3457192B1 (en) Imaging device and method, and imaging device control program
JP6848086B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6698421B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6704530B2 (ja) 撮影制御装置、方法およびプログラム
KR102066807B1 (ko) 세포 관찰 장치 및 방법

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6667411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250