JP2008139488A - 顕微鏡装置 - Google Patents

顕微鏡装置 Download PDF

Info

Publication number
JP2008139488A
JP2008139488A JP2006324602A JP2006324602A JP2008139488A JP 2008139488 A JP2008139488 A JP 2008139488A JP 2006324602 A JP2006324602 A JP 2006324602A JP 2006324602 A JP2006324602 A JP 2006324602A JP 2008139488 A JP2008139488 A JP 2008139488A
Authority
JP
Japan
Prior art keywords
images
time
image
observation
observed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006324602A
Other languages
English (en)
Other versions
JP4893275B2 (ja
Inventor
Nobuhiko Yonetani
信彦 米谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2006324602A priority Critical patent/JP4893275B2/ja
Priority to PCT/JP2007/001314 priority patent/WO2008065751A1/ja
Priority to CN2007800441765A priority patent/CN101548218B/zh
Priority to EP07828091A priority patent/EP2085806A4/en
Publication of JP2008139488A publication Critical patent/JP2008139488A/ja
Priority to US12/453,924 priority patent/US8139106B2/en
Application granted granted Critical
Publication of JP4893275B2 publication Critical patent/JP4893275B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/915Television signal processing therefor for field- or frame-skip recording or reproducing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • H04N1/2133Recording or reproducing at a specific moment, e.g. time interval or time-lapse
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations

Landscapes

  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 被観察物を繰り返し所定時間間隔で撮像して複数の画像を生成するタイムラプス撮像部を備えた顕微鏡装置において、タイムラプス撮影時に生成されるデータを好適に管理すること。
【解決手段】 被観察物を繰り返し所定時間間隔で撮像して複数の画像を生成するタイムラプス撮像部と、複数の画像のうち、タイムラプス撮像部により繰り返し撮像を行ったタイムラプス期間内の所定の期間において生成した複数の画像からなる画像群を記録するか、または、複数の画像のうち、所定の時間間隔で間引いた複数の画像からなる画像群を記録する記録部とを備える。または、上述した記録部に代えて、タイムラプス撮像部により生成した複数の画像のそれぞれについて、所定の領域の画像を切り出し、切り出した複数の画像からなる画像群を記録する記録部を備える。
【選択図】 図1

Description

本発明は、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置に関する。
培養容器の培地等の環境を制御しながら、培地で成育中の培養細胞を拡大撮影する顕微鏡システムが実用化されている(特許文献1などを参照)。この顕微鏡システムでは、培養細胞に生じる緩やかな時間変化を視覚的に捉えるため、タイムラプス撮影が有効である(特許文献2などを参照)。
特開2005−326495号公報 特開2006−220904号公報
上述した顕微鏡システムにおいて、タイムラプス撮影を長期間に亘って実施すると、生成されるデータ(主に画像データ)は膨大な量になる。そのため、例えば、目的の画像データを膨大な量のデータから抜き出すのは非常に困難である。
本発明の顕微鏡システムは、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時に生成されるデータを好適に管理することを目的とする。
本発明の顕微鏡装置は、被観察物を繰り返し所定時間間隔で撮像して複数の画像を生成するタイムラプス撮像部と、前記複数の画像のうち、前記タイムラプス撮像部により繰り返し撮像を行ったタイムラプス期間内の所定の期間において生成した複数の画像からなる画像群を記録するか、または、前記複数の画像のうち、所定の時間間隔で間引いた複数の画像からなる画像群を記録する記録部とを備える。
なお、好ましくは、前記複数の画像のうち、前記画像群として記録する画像を、前記被観察物の状態変化に応じて選択する選択部を備えても良い。
また、好ましくは、前記被観察物を蛍光観察するための観察用部材を備え、前記選択部は、少なくとも2種類の異なる波長における前記蛍光観察時に、前記タイムラプス撮像部によりそれぞれ生成した画像に基づいて、蛍光強度比を求めることにより前記被観察物の状態変化を検出しても良い。
本発明の別の顕微鏡装置は、被観察物を繰り返し所定時間間隔で撮像して複数の画像を生成するタイムラプス撮像部と、前記タイムラプス撮像部により生成した複数の画像のそれぞれについて、所定の領域の画像を切り出し、切り出した複数の画像からなる画像群を記録する記録部とを備える。
なお、好ましくは、前記複数の画像のうち、少なくとも2つの画像において、前記切り出しを行う領域を指定するユーザ指示を受け付ける受付部を備え、前記記録部は、前記ユーザ指示に基づいて、前記複数の画像のそれぞれにおいて前記切り出しを行う領域を決定しても良い。
また、好ましくは、前記複数の画像のそれぞれにおいて前記切り出しを行う領域を、前記被観察物の状態変化に応じて選択する選択部を備えても良い。
また、好ましくは、前記被観察物を蛍光観察するための観察用部材を備え、前記選択部は、少なくとも2種類の異なる波長における前記蛍光観察時に、前記タイムラプス撮像部によりそれぞれ生成した画像に基づいて、蛍光強度比を求めることにより前記被観察物の状態変化を検出しても良い。
本発明の別の顕微鏡装置は、被観察物を繰り返し所定時間間隔で撮像して複数の画像を生成するタイムラプス撮像部と、前記複数の画像のうち、前記タイムラプス撮像部により繰り返し撮像を行ったタイムラプス期間内の所定の期間において生成した複数の画像からなる第1の画像群と、前記複数の画像のうち、所定の時間間隔で間引いた複数の画像からなる第2の画像群との何れかを生成し、さらに、生成した前記画像群を構成する複数の画像のそれぞれについて、所定の領域の画像を切り出し、切り出した複数の画像からなる第3の画像群を記録する記録部とを備える。
本発明の顕微鏡システムによれば、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時に生成されるデータを好適に管理することができる。
以下、図面を用いて本発明の実施形態を説明する。
図1は、本実施形態の顕微鏡装置1の構成図である。図1に示すように、顕微鏡装置1は、装置本体10と、コンピュータ170と、モニタ160と、入力器180とを備える。装置本体10には、顕微鏡部150と、透過照明部40と、冷却カメラ300と、励起用光源70と、光ファイバ7とが備えられる。
顕微鏡部150には、ステージ23と、対物レンズ部27と、蛍光フィルタ部34と、結像レンズ部38と、偏向ミラー452と、フィールドレンズ411と、コレクタレンズ41とが備えられ、透過照明部40には、透過照明用光源47と、フィールドレンズ44と、偏向ミラー45とが備えられる。
ステージ23には、透明な培養容器20を収めたチャンバ100が載置される。培養容器20は培地で満たされており、蛍光物質で標識された培養細胞がその培地内で生育している。その培養細胞をチャンバ100の外側から観察するため、チャンバ100の底面の一部aと、チャンバ100の上面の一部bとはそれぞれ透明部になっている。ここでは簡単のため、培養容器20の上面が開放されている場合を説明するが、必要があれば培養容器20の上面は培養容器20と同質の蓋で覆われる。
対物レンズ部27には、図1のX方向に亘り複数種類の対物レンズが装着されており、対物レンズ部27が不図示の機構によりX方向へ駆動されると、装置本体10の光路に配置される対物レンズの種類が切り替わる。この切り替えはコンピュータ170の制御下で行われる。
蛍光フィルタ部34には、図1のX方向に亘り複数種類のフィルタブロックが装着されており、蛍光フィルタ部34が不図示の機構によりX方向へ駆動されると、装置本体10の光路に配置されるフィルタブロックの種類が切り替わる。この切り替えもコンピュータ170の制御下で行われる。
コンピュータ170は、光路に配置される対物レンズの種類と、光路に配置されるフィルタブロックの種類との組み合わせを、装置本体10に設定されるべき観察方法に応じて切り替える。以下では、この切り替えによって装置本体10の観察方法が位相差観察と2種類の蛍光観察との間で切り替わるのものとする。
このうち位相差観察と蛍光観察との間では、光路に配置されるフィルタブロックの種類と、光路に配置されうる対物レンズの種類との双方が異なり、2種対の蛍光観察の間では、光路に配置されるフィルタブロックの種類のみが異なる。また、位相差観察と蛍光観察との間では、照明方法も異なる。
コンピュータ170は、位相差観察時には、透過照明部40の光路を有効とするべく透過照明用光源47をオンし、蛍光観察時には、落射照明部の光路(励起用光源70、光ファイバ7、コレクタレンズ41、フィールドレンズ411、偏向ミラー452、蛍光フィルタ部34、対物レンズ部27を順に経由する光路)を有効とするべく、励起用光源70をオンする。なお、透過照明用光源47がオンされるときに励起用光源70はオフされ、励起用光源70がオンされるときに透過照明用光源47はオフされる。
位相差観察時、透過照明用光源47から射出した光は、フィールドレンズ44、偏向ミラー45、チャンバ100の透明部bを介して培養容器20の中の観察ポイントcを照明する。その観察ポイントcを透過した光は、培養容器20の底面、チャンバ100の透明部a、対物レンズ部27、蛍光フィルタ部34、結像レンズ38を介して冷却カメラ300の受光面に達し、観察ポイントcの位相差像を形成する。この状態で冷却カメラ300が駆動されると、位相差像が撮像され、画像データが生成される。この画像データ(位相差画像の画像データ)は、コンピュータ170へ取り込まれる。
蛍光観察時、励起用光源70から射出した光は、光ファイバ7、コレクタレンズ41、フィールドレンズ411、偏向ミラー452,蛍光フィルタ部34、対物レンズ部27、チャンバ100の透明部a、培養容器20の底面を介して培養容器20の中の観察ポイントcを照明する。これによって、観察ポイントcに存在する蛍光物質が励起され、蛍光を発する。この蛍光は、培養容器20の底面、チャンバ100の透明部a、対物レンズ部27、蛍光フィルタ部34、結像レンズ38を介して冷却カメラ130の受光面に達し、観察ポイントcの蛍光像を形成する。この状態で冷却カメラ300が駆動されると、蛍光像が撮像され、画像データが生成される。この画像データ(蛍光画像の画像データ)は、コンピュータ170へ取り込まれる。
なお、コンピュータ170は、ステージ23のXY座標及び対物レンズ部27のZ座標を制御することにより、培養容器20における観察ポイントcのXYZ座標を制御する。
また、チャンバ100には、不図示のシリコーンチューブを介して不図示の加湿器が接続されており、チャンバ100の内部の湿度及びCO2濃度は、予め決められた値の近傍にそれぞれ制御される。また、チャンバ100の周辺の雰囲気は、不図示の熱交換器によって適度に循環され、それによってチャンバ100の内部温度も予め決められた値の近傍に制御される。このようなチャンバ100の内部の湿度、CO2濃度、温度は、不図示のセンサにより測定される。そして、測定結果は、コンピュータ170へ取り込まれる。その一方で、冷却カメラ300は装置本体10との他の部分とは別の筐体に収められており、チャンバ100の内部温度に拘わらず装置本体10の外気温度と同程度に保たれる。
次に、タイムラプス撮影に関するコンピュータ170の動作を説明する。
コンピュータ170には、観察用のプログラムがインストールされており、コンピュータ170はそのプログラムに従って動作するものとする。ユーザからコンピュータ170への情報入力は、何れも入力器180を介して行われるものとする。
図2は、コンピュータ170の動作フローチャートである。図2に示すとおり、最初にコンピュータ170は、装置本体10の観察方法を位相差観察(正確には低倍率の位相差観察)に設定し、その状態でバードビュー画像の画像データを取得し、それをモニタ160へ表示する(ステップS11)。バードビュー画像とは、培養容器20の比較的広い領域の画像である。
バードビュー画像の画像データを取得するに当たって、コンピュータ170は、培養容器20における観察ポイントcをXY方向へ移動させながら位相差画像の画像データを繰り返し取得し、取得された複数の画像データを1枚の画像の画像データに合成する。個々の画像データは、所謂タイル画像の画像データであり、合成後の画像データがバードビュー画像の画像データである。
ユーザは、モニタ160に表示されたバードビュー画像を観察しながら、タイムラプス撮影の条件(インターバル、ラウンド数、観察ポイント、観察方法など)を決定する。
コンピュータ170は、ユーザから条件が入力されると(ステップS11YES)、その条件が書き込まれたレシピを作成する(ステップS13)。レシピの格納先は、例えばコンピュータ170のハードディスクである。以下、レシピに書き込まれたインターバル、ラウンド数、観察ポイント、観察方法をそれぞれ「指定インターバル」、「指定ラウンド数」、「指定ポイント」、「指定観察方法」と称す。
その後、コンピュータ170は、ユーザからタイムラプス撮影の開始指示が入力されると(ステップS14)、タイムラプス撮影を開始する(ステップS15)。
タイムラプス撮影では、コンピュータ170は、培養容器20の観察ポイントcを指定ポイントに一致させると共に、装置本体10の観察方法を指定観察方法に設定し、その状態で画像データを取得する。指定観察方法が3種類であった場合は、装置本体10の観察方法を3種類の指定観察方法の間で切り替えながら3種類の画像データを連続的に取得する。これによって、第1ラウンドの撮影が終了する。
その後、コンピュータ170は、第1ラウンドの撮影開始時刻から指定インターバルだけ待機時間をおき、第2ラウンドの撮影を開始する。第2ラウンドの撮影方法は、第1ラウンドのそれと同じである。
さらに、以下の撮影は、実行済みのラウンド数が指定ラウンド数に達するまで(ステップS16YESとなるまで)繰り返される。
さて、タイムラプス撮影の期間中(ステップS16NOとなる期間中)、コンピュータ170は、装置本体10から取り込んだ画像データを実施経過ファイルへ逐次蓄積する。この実施経過ファイルの格納先は、例えばコンピュータ170のハードディスクである。
さらに、コンピュータ170は、タイムラプス撮影の期間中又はタイムラプス撮影の終了後にユーザから確認指示が入力されると、その時点における実施経過ファイルの内容を参照し、それに基づき以下に説明する実施経過確認用画面をモニタ160へ表示する。
図3A及び図3Bは、実施経過確認用画面を示す図である。図3Aに示すとおり、実施経過確認用画面には、表示領域101,102,103,104と、再生コントロール部105とが配置される。
表示領域101は、位相差画像の動画像が表示されるべき領域であり、表示領域102は、2種類の蛍光画像の一方(第1の蛍光画像)の動画像が表示されるべき領域であり、表示領域103は、2種類の蛍光画像の他方(第2の蛍光画像)の動画像が表示されるべき領域である。また、表示領域104は、位相差画像と蛍光画像との合成画像の動画像が表示されるべき領域である。
動画像の表示に先立ち、コンピュータ170は、各ラウンドで取得された3種類の画像データを実施経過ファイルから読み出し、このうち位相差画像の画像データの各フレームを時系列順に連結して位相差画像の動画像ファイルを作成し、第1の蛍光画像の画像データの各フレームを時系列順に連結して第1の蛍光画像の動画像ファイルを作成し、第2の蛍光画像の画像データの各フレームを時系列順に連結して第2の蛍光画像の動画像ファイルを作成する。また、コンピュータ170は、位相差画像の画像データと蛍光画像の画像データとをフレーム毎に合成し、合成後の各フレームを時系列順に連結して合成画像の動画像ファイルを作成する。これら4種類の動画像ファイルの格納先は、例えばコンピュータ170のハードディスクである。
動画像の表示にあたり、コンピュータ170は、作成された4種類の動画像ファイルを同時並列的に読み出し、4種類の動画像を4つの表示領域101,102,103,104へ個別に表示するための動画像信号を生成し、それを生成順にモニタ160へ送出する。以下、この動画像ファイルの読み出し、動画像信号の生成、及び動画像信号の送出からなるコンピュータ170の一連の処理を「動画像ファイルの再生」という。
図3Aに示す再生コントロール部105は、動画像ファイルの再生に関する指示をユーザがコンピュータへ入力するためのGUI画像である。
図3Bは、再生コントロール部105の拡大図である。図3Bに示すとおり再生コントロール部105には、停止ボタン52、スキップボタン53、再生ボタン54、早送りボタン55、クリッピングボタン56(詳細は後述する)、タイムライン50などが配置される。
ユーザが再生ボタン54を選択すると、動画像ファイルの再生画開始され、表示領域101,102,103,104に対する動画像の表示が開始される。また、ユーザが停止ボタン52を選択すると、表示領域101,102,103,104に表示されている動画像が静止する。
動画像ファイルにおける再生箇所は、タイムライン50に反映される。ライムライン50の左端(1)は動画像ファイルの先頭(タイムラプス撮影の開始時点)を示し、タイムライン50の右端(2)は動画像ファイルの後尾(タイムラプス撮影の終了時点)を示す。なお、タイムラプス撮影が終了していないときには、タイムライン50の右端(2)は現時点を示す。このタイムライン50上にスラーダーバー60が配置され、動画像ファイルにおける再生箇所は、スラーダーバー60の左右方向の位置によってリアルタイムで表される。
このスラーダーバー60の左右方向の位置は、ユーザによって自由に変更することが可能である。スラーダーバー60の左右方向の位置が変化すると、動画像ファイルにおける再生箇所もそれに応じて変化する。
ところで、上述したタイムラプス撮影を長期間に亘って実施すると、生成される動画像ファイルは膨大な量になる。そこで、本実施形態では目的の画像データを含む別の動画像ファイルを、時間クリッピングと空間クリッピングとの2つの手法を用いて作成する。
(1)時間クリッピングについて
時間クリッピングには2種類の方法がある。第1の方法は、タイムラプス撮影の期間中の所定の期間において生成した複数の画像からなる動画像ファイルを作成する方法である。また、第2の方法は、タイムラプス撮影の期間中に生成した複数の画像のうち、所定の時間間隔で間引いた複数の画像からなる動画像ファイルを作成する方法である。
図4を用いて詳細に説明する。図4Aは第1の方法を説明する図であり、図4Bは第2の方法を説明する図である。第1の方法においては、図4Aに示すように、タイムラプス撮影の期間中に生成した複数の画像のうち、後述する方法で指定される所定の期間において生成した複数の画像を抜き出し、抜き出した複数の画像からなる動画像ファイルを作成する。また、第2の方法においては、図4Bに示すように、タイムラプス撮影の期間中に生成した複数の画像から、後述する方法で指定される所定の時間間隔で間引いた複数の画像からなる動画像ファイルを作成する。
時間クリッピングを行う期間及び間引き間隔の指定には以下の2つの方法がある。
(1)−[1]手動の場合
ユーザがクリッピングボタン56を選択すると、コンピュータ170は図5Aに示すクリッピング指定用画面をモニタ160へ表示する。ユーザは、入力器180を介して、時間クリッピングを行う期間及び間引き間隔を入力することによりこれらを指定することができる。なお、間引き間隔は、必ずしも均一でなくても良い。例えば、最初の1時間は10分ごと、次の1時間は20分ごと、その次の1時間は10分ごとなどというように、間引き間隔を指定しても良い。
また、ユーザがクリッピングボタン56を選択した場合に、図5Bに示すように、タイムライン50上にクリッピング枠56−1を表示し、ユーザが、入力器180を介して、タイムライン50上の任意の期間を時間クリッピングを行う期間として指定する構成としても良い。
さらに、図5Cに示すように、再生コントロール部105に、クリッピングボタン56に代えてマーキングボタン57を設けても良い。そして、タイムラプス撮影の期間中及びタイムラプス撮影終了後に、ユーザが、入力器180を介して、マーキングボタン57を選択することにより所望の時点を指定する構成としても良い。この場合、図5Cに示すようにタイムライン50上にもマーク(57−1,57−2)を表示すると良い。
そして、マークに従って時間クリッピングを行う。例えば、マークが付けられた画像のみを抜き出して別の動画像ファイルを作成しても良いし、マークが付けられた画像を中心とした前後数枚〜数十枚の画像を抜き出して別の動画像ファイルを作成しても良い。
何れの場合も、ユーザが入力器180を介して目的の画像にマークを付けることにより、この画像を中心とした時間クリッピングを行うことができる。
(1)−[2]自動の場合
コンピュータ170により、被観察物の状態を監視し、状態変化に応じて自動的に時間クリッピングを行う構成としても良い。具体的には、タイムラプス撮影の期間中に生成した画像に基づいて被観察物の状態を監視し、監視結果に基づいて(1)−[1]で説明したマーキングボタン57と同様の処理を行っても良い。例えば、上述した第1の蛍光画像及び第2の蛍光画像の蛍光強度比を求め、この蛍光強度比に基づいて被観察物の状態変化を監視することができる。
(2)空間クリッピングについて
空間クリッピングは、タイムラプス撮影の期間中の所定の期間において生成した複数の画像のそれぞれについて、所定の領域の画像を切り出し、切り出した複数の画像からなる動画像ファイルを作成する方法である。
空間クリッピングにおける切り出し領域の指定には以下の2つの方法がある。
(2)−[1]手動の場合
ユーザがクリッピングボタン56(図3B参照)を選択すると、コンピュータ170は図6Aに示すように、表示領域上にクリッピング枠58−1を表示する。そして、タイムラプス撮影の期間中に生成した複数の画像のうち、1枚の画像(図6Aの例では、最初の画像)において、ユーザが入力器180を介して表示領域上の切り出し領域を指定する。そして、全ての画像について、同じ切り出し領域で空間クリッピングを行う。
また、図6Bに示すように、複数の画像(図6Bの例では、最初の画像、真ん中の画像、最後の画像)においてユーザが入力器180を介して表示領域上の切り出し領域(58−2,58−3,58−4)を指定しても良い。この場合、内挿法などにより1枚ずつの画像における切り出し領域を算出して空間クリッピングを行う。
何れの場合も、ユーザが入力器180を介して目的の領域を切り出し領域として指定することにより、この領域を中心とした空間クリッピングを行うことができる。
(2)−[2]自動の場合
コンピュータ170により、被観察物の状態を監視し、状態変化に応じて自動的に空間クリッピングを行う構成としても良い。具体的には、タイムラプス撮影の開始時点においてユーザが入力器180を介して切り出し領域を指定する。そして、その後タイムラプス撮影期間中に生成した第1の蛍光画像及び第2の蛍光画像の蛍光強度分布を求め、この蛍光強度分布に基づいて、ユーザにより指定された切り出し領域をトレースすることができる。なお、タイムラプス撮影の途中において、ユーザが入力器180を介して切り出し領域を指定し、その後タイムラプス撮影期間中に生成した画像に基づいて切り出し領域をトレースしても良い。
(3)応用例について
(1)で説明した時間クリッピング及び(2)で説明した空間クリッピングを組み合わせて実行しても良い。なお、時間クリッピングを行った後に空間クリッピングを行っても良いし、空間クリッピングを行った後に時間クリッピングを行っても良い。また、時間クリッピングと空間クリッピングとを同時に実行しても良い。特に、時間クリッピングを行った後に空間クリッピングを行うと、コンピュータ170による処理を軽減することができる。
以上説明したように、本実施形態によれば、被観察物を繰り返し所定時間間隔で撮像して複数の画像を生成するタイムラプス撮像部を備えた顕微鏡装置において、生成されたデータに時間クリッピングと空間クリッピングとの少なくとも一方を施すことにより、目的のデータの抜き出しを容易にすることができるので、タイムラプス撮影時に生成されるデータを好適に管理することができる。
なお、本実施形態において、時間クリッピングと空間クリッピングとの少なくとも一方を施して生成した動画像ファイルは、タイムラプス撮影の期間中に生成した全ての画像からなる動画像ファイルと関連付けて記録しておくと良い。また、ユーザの要望を確認した上で、タイムラプス撮影の期間中に生成した全ての画像からなる動画像ファイルに代えて時間クリッピングと空間クリッピングとの少なくとも一方を施して生成した動画像ファイルを記録する構成としても良い。
顕微鏡装置1の構成図である。 コンピュータ170の動作フローチャートである。 実施経過確認用画面を示すである。 時間クリッピングについて説明する図である。 時間クリッピングについて説明する別の図である。 空間クリッピングについて説明する図である。
符号の説明
1…顕微鏡装置,10…装置本体,170…コンピュータ,160…モニタ,180…入力器,150…顕微鏡部,300…冷却カメラ,

Claims (8)

  1. 被観察物を繰り返し所定時間間隔で撮像して複数の画像を生成するタイムラプス撮像部と、
    前記複数の画像のうち、前記タイムラプス撮像部により繰り返し撮像を行ったタイムラプス期間内の所定の期間において生成した複数の画像からなる画像群を記録するか、または、前記複数の画像のうち、所定の時間間隔で間引いた複数の画像からなる画像群を記録する記録部と
    を備えたことを特徴とする顕微鏡装置。
  2. 請求項1に記載の顕微鏡装置において、
    前記複数の画像のうち、前記画像群として記録する画像を、前記被観察物の状態変化に応じて選択する選択部を備える
    ことを特徴とする顕微鏡装置。
  3. 請求項2に記載の顕微鏡装置において、
    前記被観察物を蛍光観察するための観察用部材を備え、
    前記選択部は、少なくとも2種類の異なる波長における前記蛍光観察時に、前記タイムラプス撮像部によりそれぞれ生成した画像に基づいて、蛍光強度比を求めることにより前記被観察物の状態変化を検出する
    ことを特徴とする顕微鏡装置。
  4. 被観察物を繰り返し所定時間間隔で撮像して複数の画像を生成するタイムラプス撮像部と、
    前記タイムラプス撮像部により生成した複数の画像のそれぞれについて、所定の領域の画像を切り出し、切り出した複数の画像からなる画像群を記録する記録部と
    を備えたことを特徴とする顕微鏡装置。
  5. 請求項4に記載の顕微鏡装置において、
    前記複数の画像のうち、少なくとも2つの画像において、前記切り出しを行う領域を指定するユーザ指示を受け付ける受付部を備え、
    前記記録部は、前記ユーザ指示に基づいて、前記複数の画像のそれぞれにおいて前記切り出しを行う領域を決定する
    ことを特徴とする顕微鏡装置。
  6. 請求項4に記載の顕微鏡装置において、
    前記複数の画像のそれぞれにおいて前記切り出しを行う領域を、前記被観察物の状態変化に応じて選択する選択部を備える
    ことを特徴とする顕微鏡装置。
  7. 請求項6に記載の顕微鏡装置において、
    前記被観察物を蛍光観察するための観察用部材を備え、
    前記選択部は、少なくとも2種類の異なる波長における前記蛍光観察時に、前記タイムラプス撮像部によりそれぞれ生成した画像に基づいて、蛍光強度比を求めることにより前記被観察物の状態変化を検出する
    ことを特徴とする顕微鏡装置。
  8. 被観察物を繰り返し所定時間間隔で撮像して複数の画像を生成するタイムラプス撮像部と、
    前記複数の画像のうち、前記タイムラプス撮像部により繰り返し撮像を行ったタイムラプス期間内の所定の期間において生成した複数の画像からなる第1の画像群と、前記複数の画像のうち、所定の時間間隔で間引いた複数の画像からなる第2の画像群との何れかを生成し、さらに、生成した前記画像群を構成する複数の画像のそれぞれについて、所定の領域の画像を切り出し、切り出した複数の画像からなる第3の画像群を記録する記録部とを備えた
    ことを特徴とする顕微鏡装置。
JP2006324602A 2006-11-30 2006-11-30 顕微鏡装置 Active JP4893275B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006324602A JP4893275B2 (ja) 2006-11-30 2006-11-30 顕微鏡装置
PCT/JP2007/001314 WO2008065751A1 (fr) 2006-11-30 2007-11-29 Dispositif de microscope
CN2007800441765A CN101548218B (zh) 2006-11-30 2007-11-29 显微镜设备
EP07828091A EP2085806A4 (en) 2006-11-30 2007-11-29 MICROSCOPE ARRANGEMENT
US12/453,924 US8139106B2 (en) 2006-11-30 2009-05-27 Microscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006324602A JP4893275B2 (ja) 2006-11-30 2006-11-30 顕微鏡装置

Publications (2)

Publication Number Publication Date
JP2008139488A true JP2008139488A (ja) 2008-06-19
JP4893275B2 JP4893275B2 (ja) 2012-03-07

Family

ID=39467551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006324602A Active JP4893275B2 (ja) 2006-11-30 2006-11-30 顕微鏡装置

Country Status (5)

Country Link
US (1) US8139106B2 (ja)
EP (1) EP2085806A4 (ja)
JP (1) JP4893275B2 (ja)
CN (1) CN101548218B (ja)
WO (1) WO2008065751A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117052A1 (ja) * 2009-04-10 2010-10-14 株式会社ニコン 生体試料観察装置
JP2012118453A (ja) * 2010-12-03 2012-06-21 Olympus Corp 観察装置および観察方法
JP2015037292A (ja) * 2013-08-16 2015-02-23 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
US8994806B2 (en) 2009-07-06 2015-03-31 Olympus Corporation Microscope apparatus chronologically storing different types of image information
JP2015142327A (ja) * 2014-01-30 2015-08-03 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP2016012891A (ja) * 2014-06-30 2016-01-21 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
JP2017158021A (ja) * 2016-03-01 2017-09-07 オリンパス株式会社 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法
WO2018105298A1 (ja) * 2016-12-09 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
WO2018207264A1 (ja) * 2017-05-09 2018-11-15 オリンパス株式会社 画像再生装置及び観察システム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUP0900431A2 (en) * 2009-07-10 2011-01-28 Cryo Innovation Kft Sample imaging system and pocedure for transmitting imager of cells or tissues located in breeder space towards a data processing device
US8564623B2 (en) * 2009-12-11 2013-10-22 Molecular Devices, Llc Integrated data visualization for multi-dimensional microscopy
WO2011071505A1 (en) * 2009-12-11 2011-06-16 Mds Analytical Technologies (Us) Inc. Integrated data visualization for multi-dimensional microscopy
EP2533092B1 (en) * 2010-02-03 2019-05-08 Nikon Corporation Observation device and observation method
WO2011119678A2 (en) 2010-03-23 2011-09-29 California Institute Of Technology Super resolution optofluidic microscopes for 2d and 3d imaging
US9643184B2 (en) 2010-10-26 2017-05-09 California Institute Of Technology e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
EP2633267A4 (en) 2010-10-26 2014-07-23 California Inst Of Techn MICROSCOPE SYSTEM WITHOUT PROJECTION LENS AND SCAN
US9569664B2 (en) * 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
KR20140027113A (ko) 2011-03-03 2014-03-06 캘리포니아 인스티튜트 오브 테크놀로지 도광 픽셀
JP5732353B2 (ja) * 2011-08-31 2015-06-10 株式会社キーエンス 拡大観察装置、拡大観察方法および拡大観察プログラム
US9247098B2 (en) * 2013-04-09 2016-01-26 Here Global B.V. Automatic time lapse capture
US9503631B2 (en) * 2014-02-12 2016-11-22 Lg Electronics Inc. Mobile terminal and control method thereof for displaying image cluster differently in an image gallery mode
US9992443B2 (en) 2014-05-30 2018-06-05 Apple Inc. System and methods for time lapse video acquisition and compression
US9277123B2 (en) * 2014-05-30 2016-03-01 Apple Inc. Systems and methods for exposure metering for timelapse video
US9426409B2 (en) 2014-09-30 2016-08-23 Apple Inc. Time-lapse video capture with optimal image stabilization
WO2017057077A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 標的細胞の識別方法、及び標的細胞識別装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002033997A (ja) * 2000-07-18 2002-01-31 Nec Corp タイムラプス記録再生装置
JP2004309719A (ja) * 2003-04-04 2004-11-04 Olympus Corp 顕微鏡システム、顕微鏡システムの制御方法、及び制御プログラム
JP2006215260A (ja) * 2005-02-03 2006-08-17 Olympus Corp 顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4354114A (en) * 1979-10-09 1982-10-12 Karnaukhov Valery N Apparatus for investigation of fluorescence characteristics of microscopic objects
US6313452B1 (en) * 1998-06-10 2001-11-06 Sarnoff Corporation Microscopy system utilizing a plurality of images for enhanced image processing capabilities
GB2343807A (en) * 1998-11-11 2000-05-17 Isis Innovation Retrieving video data specified by parameters from a remote source
US20030149983A1 (en) * 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
JP4740554B2 (ja) 2004-05-12 2011-08-03 オリンパス株式会社 培養顕微鏡装置
JP4664599B2 (ja) * 2004-01-15 2011-04-06 オリンパス株式会社 顕微鏡装置
US20050282268A1 (en) * 2004-05-26 2005-12-22 Olympus Corporation Culture microscope and computer program controlling culture microscope
JP5058444B2 (ja) 2005-02-10 2012-10-24 オリンパス株式会社 顕微鏡写真装置および顕微鏡写真装置制御方法
JP2006259701A (ja) * 2005-02-16 2006-09-28 Nikon Corp 間欠撮影装置とこれを有する顕微鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002033997A (ja) * 2000-07-18 2002-01-31 Nec Corp タイムラプス記録再生装置
JP2004309719A (ja) * 2003-04-04 2004-11-04 Olympus Corp 顕微鏡システム、顕微鏡システムの制御方法、及び制御プログラム
JP2006215260A (ja) * 2005-02-03 2006-08-17 Olympus Corp 顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117052A1 (ja) * 2009-04-10 2010-10-14 株式会社ニコン 生体試料観察装置
JPWO2010117052A1 (ja) * 2009-04-10 2012-10-18 株式会社ニコン 生体試料観察装置
JP5365691B2 (ja) * 2009-04-10 2013-12-11 株式会社ニコン 生体試料観察装置
US10466465B2 (en) 2009-04-10 2019-11-05 Nikon Corporation Organism sample observation device
US10133054B2 (en) 2009-04-10 2018-11-20 Nikon Corporation Organism sample observation device
US9442282B2 (en) 2009-04-10 2016-09-13 Nikon Corporation Organism sample observation device
US8994806B2 (en) 2009-07-06 2015-03-31 Olympus Corporation Microscope apparatus chronologically storing different types of image information
JP2012118453A (ja) * 2010-12-03 2012-06-21 Olympus Corp 観察装置および観察方法
US8913819B2 (en) 2010-12-03 2014-12-16 Olympus Corporation Observation apparatus and observation method
JP2015037292A (ja) * 2013-08-16 2015-02-23 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
US9456138B2 (en) 2014-01-30 2016-09-27 Casio Computer Co., Ltd. Image processing apparatus, image processing method and computer readable recording medium having program for generating time-lapse moving image
JP2015142327A (ja) * 2014-01-30 2015-08-03 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP2016012891A (ja) * 2014-06-30 2016-01-21 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
JP2017158021A (ja) * 2016-03-01 2017-09-07 オリンパス株式会社 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法
WO2018105298A1 (ja) * 2016-12-09 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JPWO2018105298A1 (ja) * 2016-12-09 2019-10-24 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US11302437B2 (en) 2016-12-09 2022-04-12 Sony Corporation Information processing device, information processing method and information processing system
WO2018207264A1 (ja) * 2017-05-09 2018-11-15 オリンパス株式会社 画像再生装置及び観察システム
JPWO2018207264A1 (ja) * 2017-05-09 2019-12-12 オリンパス株式会社 画像再生装置及び観察システム
US11194145B2 (en) 2017-05-09 2021-12-07 Olympus Corporation Image reproducing device and observation system for selecting images using tag information attached in accordance with information that operation is performed on sample and input when at least one of images is acquired

Also Published As

Publication number Publication date
JP4893275B2 (ja) 2012-03-07
US20090237502A1 (en) 2009-09-24
WO2008065751A1 (fr) 2008-06-05
CN101548218A (zh) 2009-09-30
EP2085806A4 (en) 2011-12-14
CN101548218B (zh) 2012-07-04
EP2085806A1 (en) 2009-08-05
US8139106B2 (en) 2012-03-20

Similar Documents

Publication Publication Date Title
JP4893275B2 (ja) 顕微鏡装置
JP2008139487A (ja) 顕微鏡装置
US7822257B2 (en) Observation apparatus and observation method
JP4973162B2 (ja) 画像処理装置、画像処理プログラム及び観察システム
EP1691230B2 (en) Photo-micrographing device and its control method
JP5157901B2 (ja) 観察装置
EP1967885A1 (en) Apparatus for measuring luminescence dose and method of measuring luminescence
US8014579B2 (en) Microscope system and method for synthesizing microscopic images
WO2009081832A1 (ja) タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
JP5039355B2 (ja) 自動培養装置
JP2007114742A (ja) 観察装置
JP2007020422A (ja) 生体試料培養観察装置、生体試料培養観察方法、および生体試料培養観察用プログラム
JP5466976B2 (ja) 顕微鏡システム、観察画像の表示方法、プログラム
WO2010117052A1 (ja) 生体試料観察装置
JP2008139489A (ja) 顕微鏡装置
JP2009229276A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2012039930A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法
JP2007328135A (ja) 観察装置、および観察プログラム
JP4820458B2 (ja) 顕微鏡システム、顕微鏡システムの動作制御方法および動作制御プログラムを記録した記録媒体
JP2009027948A (ja) 培養装置
JP2009169235A (ja) 顕微鏡システム
WO2017109983A1 (ja) 微弱発光試料の解析方法及び解析システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111205

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4893275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250