JP2013050666A - 顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラム - Google Patents

顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラム Download PDF

Info

Publication number
JP2013050666A
JP2013050666A JP2011189802A JP2011189802A JP2013050666A JP 2013050666 A JP2013050666 A JP 2013050666A JP 2011189802 A JP2011189802 A JP 2011189802A JP 2011189802 A JP2011189802 A JP 2011189802A JP 2013050666 A JP2013050666 A JP 2013050666A
Authority
JP
Japan
Prior art keywords
image
display
microscope
imaging
objective lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011189802A
Other languages
English (en)
Other versions
JP5803442B2 (ja
Inventor
Hideo Takahashi
秀夫 高橋
Svoboda Miroslav
スボボダ ミロソラフ
Adamec Jan
アダメック ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011189802A priority Critical patent/JP5803442B2/ja
Publication of JP2013050666A publication Critical patent/JP2013050666A/ja
Application granted granted Critical
Publication of JP5803442B2 publication Critical patent/JP5803442B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】被検物間の位置関係を把握しやすい画像表示を実現する。
【解決手段】顕微鏡制御装置の撮像部37は、顕微鏡の対物レンズ31によって結像された被検物の画像を撮像する。位置調整部51は、対物レンズと被検物との相対位置を、対物レンズの光軸AXと交差する方向に調整する。情報取得部52は、被検物を撮像したときの対物レンズの光軸と交差する方向の撮像座標の情報を、画像に対応付けて取得する。表示制御部54は、表示装置14の表示領域に画像のみを表示させるとともに、表示領域内で撮像座標が写像される位置に画像のみを表示させる。
【選択図】図1

Description

本発明は、顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラムに関する。
従来から、細胞の多点タイムラプス観察を行うときに、顕微鏡で撮像された複数の画像を1画面内に格子状に配列して一括表示することが行われている。
特開2006−220904号公報
従来の技術では、各々の画像が培養容器のどの部分の細胞を撮像したものかユーザが直感的に把握しづらい点で改善の余地があった。
本発明の一態様である顕微鏡制御装置は、撮像部と、位置調整部と、情報取得部と、表示制御部とを備える。撮像部は、顕微鏡の対物レンズによって結像された被検物の画像を撮像する。位置調整部は、対物レンズと被検物との相対位置を、対物レンズの光軸と交差する方向に調整する。情報取得部は、被検物を撮像したときの対物レンズの光軸と交差する方向の撮像座標の情報を、画像に対応付けて取得する。表示制御部は、表示装置の表示領域に画像のみを表示させるとともに、表示領域内で撮像座標が写像される位置に画像のみを表示させる。
本発明の他の態様である顕微鏡装置は、対物レンズと、移動ステージと、移動ステージを移動させるステージ駆動手段と、ステージ位置検出手段と、表示制御装置とを備える。移動ステージは、被検物を載置し、対物レンズの光軸に対して垂直方向に移動可能である。ステージ位置検出手段は、被検物を撮像する撮像位置である、対物レンズの光軸に対する垂直方向の移動ステージの位置を検出する。表示制御装置は、撮像装置で撮像された画像を表示装置に表示する際、ステージ位置検出手段で検出された撮像位置情報に基づき、撮像した画像のみを表示装置の表示領域に表示する。
本発明の他の態様である画像処理装置は、取得部と、表示制御部とを備える。取得部は、顕微鏡の対物レンズによって結像された被検物の画像と、被検物を撮像したときの対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する。表示制御部は、表示装置の表示領域に画像のみを表示させるとともに、表示領域内で撮像座標の写像される位置に画像のみを表示させる。
なお、コンピュータを上記の顕微鏡制御装置または上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の顕微鏡制御装置または上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。
表示装置の表示領域内において撮像座標が写像される位置に画像を表示させることで、被検物間の位置関係を把握しやすい画像表示を実現する。
第1実施形態の顕微鏡システムの構成例を示す図 第1実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図 (a),(b):図2の#106での処理の概要図 画像の再生表示例を示す図 画像の再生表示例を示す図 画像の再生表示例を示す図 画像の再生表示例を示す図 第1実施形態の顕微鏡システムでの画像再生動作の例を示す流れ図 第2実施形態の画像処理装置の構成例を示す図 培養装置を有する顕微鏡の構成例を示す図
<第1実施形態の説明>
図1は、顕微鏡装置および顕微鏡制御装置の一例である第1実施形態の顕微鏡システムの構成例を示す図である。
顕微鏡システムは、標本1が載置される移動ステージ11と、顕微鏡装置12と、コンピュータ13と、画像を表示する表示装置14と、画像等を記憶する記憶装置15と、ユーザの入力を受け付ける入力装置16とを有する。移動ステージ11、顕微鏡装置12、表示装置14、記憶装置15、入力装置16は、それぞれコンピュータ13に接続されている。また、一例として、第1実施形態での標本1は、観察対象の被検物(複数の細胞)が培地とともに収納された培養容器である。
移動ステージ11は、顕微鏡の対物レンズ31の光学系の光軸AXに対して垂直な方向(図1に示すX方向およびY方向)へそれぞれ移動可能である。この移動により、標本1に対する顕微鏡の視野(観察領域)の位置調節や焦点調節が行われる。移動ステージ11のXY方向への駆動は、コンピュータ13に接続されたモータユニット21(位置調整手段、ステージ駆動手段)によって行われる。また、移動ステージ11には、ステージのXY方向位置を検出するエンコーダ22(ステージ位置検出手段)が設けられており、このステージのXY方向の位置情報はコンピュータ13に入力される。
顕微鏡装置12は、対物レンズ31、焦点調節機構32、励起光照明装置33、蛍光フィルタブロック34、第2対物レンズ35、光路切替器36、撮像部の一例としての撮像装置37、透過照明装置40、コンデンサレンズ43を有している。このうち、透過照明装置40およびコンデンサレンズ43は、図1において培養容器の上方に配置され、それ以外の要素は図1において培養容器の下方に配置される。また、蛍光フィルタブロック34には、ダイクロイックミラー、励起フィルタ、蛍光フィルタなどが装着されている。また、光路切替器36は光路に対して挿脱可能なミラー36aを備えている。
対物レンズ31は、焦点調節機構32により光軸AXの方向(図1に示すZ方向)に移動可能である。このZ方向への移動により、培養容器の細胞に対する対物レンズ31の焦点調節が行われる。
透過照明装置40は、光源41およびコリメータレンズ42を備え、明視野観察用の照明光束を出射する。なお、透過照明装置40は、明視野観察時にオンされ、蛍光観察時にオフされる。また、励起光照明装置33は、蛍光観察用の励起光束を出射する。励起光照明装置33は、蛍光観察時にオンされ、明視野観察時にオフされる。
ここで、明視野観察時には、透過照明装置40から射出した照明光束は、コンデンサレンズ43を通り、標本1の観察領域を照明する。標本1を透過した光束は、対物レンズ31に入射する。対物レンズ31に入射した光束は、蛍光フィルタブロック34、第2対物レンズ35を通り、光路切替器36へ入射する。光路切替器36のミラー36aが光路に挿入されている場合、上記の光束はミラー36aで反射して不図示の接眼レンズへ導かれる。一方、光路切替器36のミラー36aが光路から離脱されている場合、上記の光束は光路切替器36を通過して撮像装置37へ入射する。撮像装置37へ入射した光束は、撮像装置37内の撮像素子37aに観察領域の明視野像を形成する。撮像素子37aは、上記の明視野像を撮像して、画像のデータ(以下、「明視野画像」と称する)を取得する。
蛍光観察時には、励起光照明装置33から射出した励起光束は、調光フィルタ33a、蛍光フィルタブロック34を通り、像側から対物レンズ31へ入射すると、対物レンズ31を介して標本1の観察領域を照射する。上記の励起光束に応じて標本1で発生した蛍光は、物体側から対物レンズ31へ入射し、蛍光フィルタブロック34、第2対物レンズ35を通り、光路切替器36へ入射する。光路切替器36のミラー36aが光路に挿入されている場合、上記の光束はミラー36aで反射して不図示の接眼レンズへ導かれる。一方、光路切替器36のミラー36aが光路から離脱されている場合、上記の光束は光路切替器36を通過して撮像装置37へ入射する。撮像装置37へ入射した光束は、撮像装置37内の撮像素子37aに観察領域の蛍光像を形成する。撮像素子37aは、上記の蛍光像を撮像して、画像のデータ(以下、「蛍光画像」と称する)を取得する。
本実施形態で説明する顕微鏡は倒立顕微鏡であるが、正立顕微鏡でもよい。
また、対物レンズ31から撮像装置37を結ぶ光路、及び対物レンズ31から接眼レンズ(不図示)を結ぶ光路は観察光路と称する。この観察光路は、励起光照明装置33と蛍光フィルタブロック34と対物レンズ31を結ぶ励起光照明光路と称する光路と一部共通する部分を有する。
蛍光フィルタブロック34、第2対物レンズ35及び光路切替器36は、観察光路上に配置される。
また、透過照明装置と標本1までの光路は透過照明光路と称し、透過照明光路にはコリメータレンズが配置される。
コンピュータ13は、顕微鏡システムの動作を統括的に制御するCPU13aと、不揮発性のメモリ13bとを備えたモジュールである。ここで、第1実施形態でのコンピュータ13は、顕微鏡装置12を制御して、指定された撮像座標における細胞の明視野画像や蛍光画像を撮像する。このとき、コンピュータ13は、一定時間おきに同じ細胞を継続的に撮像するタイムラプス観察を行うこともできる。コンピュータ13は、複数の細胞について上記のタイムラプス観察を並行して行うことも可能である(多点タイムラプス観察)。
CPU13aは、プログラムの実行により、位置調整部51と、情報取得部52と、追尾処理部53と、表示制御部54としてそれぞれ機能する。なお、上記のプログラムは、例えばメモリ13bに記憶される。
位置調整部51は、モータユニット21を制御するドライバであって、顕微鏡の対物レンズの光学系と被検物(細胞)との相対位置を、光軸AXと交差するXY方向に調整する。このXY方向の調整によりXY方向の観察位置の移動が行われる。本実施形態では、移動ステージ11のXY方向の位置を調整するが、対物レンズ31のXY方向の位置調整を行うものでもよく、また、移動ステージ11と対物レンズ31の両者を移動させる構成とし、両者の位置調整を行うようにしてもよい。
情報取得部52は、被検物(細胞)を撮像したときの撮像座標(移動ステージ11のXY座標)の情報と、撮像時刻の情報とを取得する。撮像座標および撮像時刻の各情報は、情報取得部52により、各々の画像に対応付けされた状態で記録される。
追尾処理部53は、細胞のタイムラプス観察を行うときに、撮像装置37の撮像範囲を細胞のXY方向の移動方向に追尾させる処理を行う。
表示制御部54は、表示装置14への画像の表示を制御する。なお、表示制御部54の動作については後述する。
以下、第1実施形態の顕微鏡システムでの動作例を、タイムラプス観察での動作と、タイムラプス観察で取得した画像の再生動作とに分けてそれぞれ説明する。
(タイムラプス観察での動作)
図2は、第1実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図である。
ステップ#101:コンピュータ13のCPU13aは、細胞の観察スケジュールを初期設定する。観察スケジュールは、タイムラプス観察の観察回数および観察のインターバルと、各観察時刻での撮像ポイント等とを示す情報である。
例えば、CPU13aは、培養容器の観察スケジュールの項目として、以下の(1)〜(4)の入力を入力装置16から受け付ける。
(1)培養容器上での撮像座標(X方向、Y方向)
(2)観察方法(明視野/蛍光)
(3)対物レンズの倍率(2倍,4倍,10倍,20倍等)
(4)タイムラプス観察の時間間隔および観察回数
なお、上記(1)の撮像座標は、培養容器上で複数指定することができる。そして、CPU13aは、上記の入力に基づいて観察スケジュールを設定する。観察スケジュールのデータは、CPU13aの制御によってメモリ13bに記憶される。
ステップ#102:CPU13aは、観察スケジュールと現在時刻とを比較して、培養容器の観察時刻が到来したか否かを判定する。上記要件を満たす場合(YES側)には#103に処理が移行する。一方、上記要件を満たさない場合(NO側)、CPU13aは次の観察時期まで待機する。
ステップ#103:CPU13aは、顕微鏡装置12に対して細胞の撮像を指示する。このとき、位置調整部51は、顕微鏡の対物レンズの光軸AXの位置が撮像座標と合致するように、移動ステージ11をXY方向に移動させる。そして、撮像装置37は、観察スケジュールの設定に基づいて、撮像座標の細胞の画像(明視野画像や蛍光画像)を撮像する。なお、撮像装置37は、同じ撮像座標で明視野画像と蛍光画像とを撮像してもよい。また、撮像座標が複数設定されている場合、撮像装置37は、各撮像座標に対応する細胞の画像をそれぞれ撮像する。
ステップ#104:情報取得部52は、#103で撮像された細胞の画像のデータに、撮像条件を示す付帯情報を対応付けて記憶装置15に記録する。上記の付帯情報は、観察時刻の情報、撮像座標の情報、画像の種別情報(明視野画像/蛍光画像)、観察対象の識別情報を含む。なお、観察対象の識別情報は細胞の同一性を示す識別符号であって、タイムラプス観察で同じ細胞を時系列に撮像したときには各画像間で同じ符号が付与される。
ステップ#105:CPU13aは、前回のタイムラプス観察で取得した画像が存在するか否かを判定する。上記要件を満たす場合(YES側)には#106に処理が移行する。一方、上記要件を満たさない場合(初回観察の場合:NO側)には#107に処理が移行する。
ステップ#106:追尾処理部53は、識別情報が共通で観察時刻が前後する2つの画像(今回および前回の観察で取得された画像)を比較して、細胞のXY方向の移動量を求める。そして、追尾処理部53は、細胞の移動量に応じて、次回観察での撮像装置37の撮像範囲(観察視野)を変更する。なお、追尾処理部53は、観察対象の識別情報ごとに、#106の処理を実行するものとする。
一例として、#106での追尾処理部53は、上記の2つの画像でそれぞれ細胞の重心位置を求め、両者の重心位置のズレを算出する。そして、追尾処理部53は、上記の重心位置のズレ(細胞の移動量)が相殺されるように、次回観察で適用される撮像座標を移動させる(図3(a)参照)。なお、2つの画像間で撮像座標が相違する場合(後述する細胞の追尾が行われている場合)、追尾処理部53は、撮像座標を用いて2つの画像の相対位置を補正した状態で、上記の重心位置のズレ(細胞の移動量)を算出すればよい(図3(b)参照)。
その後、追尾処理部53は、細胞の識別情報に対応する観察スケジュールを参照し、次回観察で適用される撮像座標の情報を更新する。なお、次回観察時には更新後の撮像座標を基準として画像が撮像されるので、#106での追尾処理部53の処理により、撮像装置37の撮像範囲は細胞を追尾するように移動することとなる。
ステップ#107:CPU13aは、観察スケジュールを参照して、タイムラプス観察が終了したか否かを判定する。上記要件を満たす場合(YES側)には図2の流れ図の処理が終了する。一方、上記要件を満たさない場合(NO側)には#102に戻って上記の処理が繰り返される。
上記の#102から#107のループにより、撮像座標に対応する細胞について、細胞の動きを追尾しながらタイムラプス観察を行うことができる(#106)。
(画像再生動作)
図4〜図7は、第1実施形態の顕微鏡システムにおける画像の再生表示例を示している。
第1実施形態の顕微鏡システムにおいて、上記のタイムラプス観察で取得した画像を再生するとき、表示制御部54は、表示装置14の表示領域(例えば表示画面上の1ウインドウ)に同時期に撮像された細胞の画像のみを表示させる。なお、表示領域に表示される画像は、明視野画像または蛍光画像のいずれでもよい。また、明視野画像と蛍光画像とを重畳させて表示領域に表示してもよい。表示画像を除く領域(表示画像のバックグラウンド)には、標本画像は表示しない。例えば、標本とは無関係な単色画像を表示したり、標本とは無関係な模様を表示する。つまり、表示領域には撮影した画像が撮像位置を加味し表示される。
このとき、表示制御部54は、表示領域内で撮像座標が写像される位置に各々の画像を表示させる。つまり、表示領域内での細胞の画像の表示位置は、タイムラプス観察時における培養容器内での細胞の相対的な位置関係がそのまま反映される。通常、表示領域での画像の配置は、表示領域内で画像がランダムに分散したレイアウトになる。
例えば、ある観察時期の培養容器を平面視したときに、細胞Aに対して斜め左下の近傍に細胞Bが位置し、細胞Aに対して斜め右下の遠方に細胞Cが位置する状態で、各細胞が撮像された場合を考える。上記の観察時期に対応する画像が表示領域に表示されるとき、細胞Bの画像は細胞Aの画像の斜め左下に一部が重なるように表示され、細胞Cの画像は細胞Aの画像の斜め右下に離れて表示される(図4参照)。
かかる表示により、ユーザは、表示領域の画像から個々の細胞の状態を把握でき、同時に表示領域内での表示位置から細胞の相対位置を把握できる。
また、タイムラプス観察時に細胞を追尾させているため、表示制御部54は、上記の表示領域での画像表示を観察時期に応じて時系列に切り替えることで、培養容器内での細胞の動きを動画表示することもできる。図5は、細胞の画像の動画表示の例を示している。
図5の例では、表示制御部54の制御によって、時間T1〜T3の順に、撮像座標に応じて各細胞の画像(A〜C)を表示領域に動画表示している。なお、細胞が移動している場合、表示領域での画像の表示位置は経時的に変化する。かかる表示により、ユーザはタイムラプス観察中での細胞の移動状態を把握できる。
ここで、表示制御部54は、個々の細胞の識別を容易にするため、上記の動画表示を行うときに時間軸方向での細胞の共通性を示す識別表示を表示領域に表示させてもよい。一例として、表示制御部54は、識別情報が共通する画像の外周を同色で強調表示してもよく、あるいは画像の周囲に識別情報に応じた文字やマークを表示してもよい。図4、図5の例では、上記の識別情報として文字(「CELL_A」等)を表示した状態を示している。
また、表示制御部54は、細胞の移動状態をより把握しやすくするために、上記の動画表示を行うときに、同じ細胞の経時的な位置変化を示す移動表示を表示領域に表示させてもよい。一例として、表示制御部54は、時間T2での画像を表示するときに時間T1での画像の外縁を表示領域に重畳表示させる。そして、表示制御部54は、時間T3での画像を表示するときに時間T1、T2での画像の外縁を表示領域に重畳表示させる(図5参照)。他の例として、表示制御部54は、細胞の移動軌跡を示す線を表示領域に表示させてもよい(この場合の図示は省略する)。
また、表示制御部54は、表示領域内で画像の表示倍率を変更するときの動作モードとして、第1ズームモードと第2ズームモードとを有している。ズームの動作は、ユーザの指示に応じて表示制御部54が画像の再生時にリアルタイムに実行する。また、第1ズームモードと第2ズームモードとの切り替えは、ユーザの指示に応じて行われる。
図6は、上記の第1ズームモードでの表示例を示している。第1ズームモードでの表示制御部54は、画像の表示倍率を変更するときに、表示領域での画像間の相対距離を表示倍率に応じて変更する。つまり、第1ズームモードでは各画像の大きさと画像間の相対距離がズームの前後で表示倍率に応じて変化する。なお、表示領域内に培養容器のすべての範囲を表示できない場合、表示制御部54は表示領域で表示される範囲を切り替えるユーザインタフェース(例えばスクロールバー)を表示装置14に表示してもよい。そして、ユーザは、上記のユーザインタフェースを用いて表示範囲を変更すればよい。
また、図7は、上記の第2ズームモードでの表示例を示している。第2ズームモードでの表示制御部54は、画像の表示倍率を変更するときに、表示領域での画像間の相対距離を維持しつつ、表示倍率に応じて画像のみをズームさせる。つまり、第2ズームモードでの画像間の相対距離はズームの前後で変化しないが、第2ズームモードでの各画像の大きさはズームの前後で表示倍率に応じて変化する。
ここで、図8は、第1実施形態の顕微鏡システムでの画像再生動作の例を示す流れ図である。なお、図8の例では、上記のタイムラプス観察(図2)で取得された画像のデータが予め記憶装置15に記録されていることを前提として説明を行う。
ステップ#201:CPU13aは、付帯情報の観察時刻を参照し、指定された観察時期に対応する細胞の画像を記憶装置15から読み出して取得する。例えば、タイムラプス観察の画像を動画表示する場合、#201の処理では1回目から最終回の観察時期がCPU13aによって順次指定される。
ステップ#202:表示制御部54は、付帯情報の撮像座標を参照し、#201で取得した画像を表示装置14の表示領域に表示させる。このとき、表示制御部54は、表示領域内で撮像座標が写像される位置に各画像を表示させる。これにより、表示装置14の表示領域には、細胞の画像が図4に示すように表示される。
ステップ#203:表示制御部54は、ユーザからズームの指示を受け付けたか否かを判定する。上記要件を満たす場合(YES側)には#204に処理が移行する。一方、上記要件を満たさない場合(NO側)には#205に処理が移行する。
ステップ#204:表示制御部54は、表示領域内での画像の表示倍率を変更するズーム動作を実行し、表示装置14の表示を更新する。#204でのズーム動作は、第1ズームモード(図6参照)であってもよく、第2ズームモード(図7参照)であってもよい。
ステップ#205:表示制御部54は、画像の再生表示を終了するか否かを判定する。例えば、タイムラプス観察の最終回の画像を現在再生している場合には次回に再生する画像がないので、表示制御部54は画像の再生表示を終了すると判定する。また、再生終了の指示を受け付けた場合も、表示制御部54は画像の再生表示を終了すると判定する。
上記要件を満たす場合(YES側)には、表示制御部54は図8の画像再生動作を終了させる。
一方、上記要件を満たさない場合(NO側)には、#201に戻って上記の動作が繰り返される。ループ後の#201の処理では、次回の観察時期の画像がCPU13aによって読み込まれる。そして、ループ後の#202の処理では、次回の観察時期の画像が表示領域に再生表示される。これにより、図5のような動画表示が行われることとなる。以上で、図8の画像再生動作の説明を終了する。
<第2実施形態の説明>
第2実施形態では、第1実施形態の顕微鏡システムで撮像された細胞の画像を外部から読み込んで、図4〜図7に示すような画像再生表示を行う例を説明する。
図9は、第2実施形態の画像処理装置の構成例を示す図である。図9に示す画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。
図9の画像処理装置(コンピュータ)61は、データ読込部62、記憶装置63、CPU64、メモリ65および入出力I/F66、バス67を有している。データ読込部62、記憶装置63、CPU64、メモリ65および入出力I/F66は、バス67を介して相互に接続されている。さらに、コンピュータ61には、入出力I/F66を介して、入力デバイス68(キーボード、ポインティングデバイスなど)と、表示装置の一例であるモニタ69とがそれぞれ接続されている。なお、入出力I/F66は、入力デバイス68からの各種入力を受け付けるとともに、モニタ69に対して表示用のデータを出力する。
データ読込部62は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部62は、着脱可能な記憶媒体からデータを取得する読込デバイス(光ディスク、磁気ディスク、光磁気ディスクの読込装置など)や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス(USBインターフェース、LANモジュール、無線LANモジュールなど)である。なお、第2実施形態でのデータ読込部62は、第1実施形態の顕微鏡システムから、画像のデータを付帯情報とともに取得する取得部として機能する。
記憶装置63は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置63には、画像処理プログラムが記録される。なお、記憶装置63には、データ読込部62から読み込んだ画像のデータを記憶しておくこともできる。
CPU64は、コンピュータの各部を統括的に制御するプロセッサである。このCPU64は、画像処理プログラムの実行によって、第1実施形態の表示制御部54として動作する。
メモリ65は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ65は、例えば揮発性のSDRAMである。
なお、第2実施形態の画像処理装置での画像再生動作は、画像処理装置が細胞の画像のデータおよび付帯情報をデータ読込部62から取得する点を除いて、図8の流れ図と共通するので説明を省略する。かかる第2実施形態の画像再生動作においても、上記の第1実施形態の画像の再生動作とほぼ同様の効果を得ることができる。
<実施形態の補足事項>
(補足1)上記実施形態での明視野画像は、位相差観察法、微分干渉観察法、偏光観察法などで撮像された画像であってもよい。また、上記実施形態において、観察対象となる被検物は細胞に限定されない。
(補足2)本発明の顕微鏡は、少なくとも観察標本を設置する領域の環境(温度、湿度、酸素濃度、二酸化炭素濃度等)が一定の環境となるチャンバーを備え、培養中の生きた標本を観察可能な培養装置を備えた顕微鏡でもよい。
図10に、培養装置を有する顕微鏡の構成例を示す。なお、図10において、図1と共通の要素には同一符号を付して重複説明は省略する。図10では、顕微鏡装置12がチャンバー70に収容される。チャンバー70の内部雰囲気は、コンピュータ13に制御された環境制御装置71によって、細胞の培養に適した環境条件(例えば、温度37℃、湿度90%、CO2濃度5%)に維持される。
(補足3)上記実施形態では、位置調整部51、情報取得部52、追尾処理部53、表示制御部54の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明において、位置調整部51、情報取得部52、追尾処理部53、表示制御部54の機能をASICでハードウエア的に実現しても勿論かまわない。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
1…標本、11…移動ステージ、12…顕微鏡装置、13…コンピュータ、13a…CPU、13b…メモリ、14…表示装置、15…記憶装置、16…入力装置、21…モータユニット、22…エンコーダ、31…対物レンズ、32…焦点調節機構、33…励起光照明装置、33a…調光フィルタ、34…蛍光フィルタブロック、35…第2対物レンズ、36…光路切替器、36a…ミラー、37…撮像装置、37a…撮像素子、40…透過照明装置、41…光源、42…コリメータレンズ、43…コンデンサレンズ、51…位置調整部、52…情報取得部、53…追尾処理部、54…表示制御部、61…コンピュータ、62…データ読込部、63…記憶装置、64…CPU、65…メモリ、66…入出力I/F、67…バス、68…入力デバイス、69…モニタ、70…チャンバー、71…環境制御装置

Claims (19)

  1. 顕微鏡の対物レンズによって結像された被検物の画像を撮像する撮像部と、
    前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する位置調整部と、
    前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する情報取得部と、
    表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる表示制御部と、
    を備える顕微鏡制御装置。
  2. 請求項1に記載の顕微鏡制御装置において、
    同じ被検物について撮像時刻が異なる複数の画像を撮像するときに、前記撮像部の撮像範囲を前記被検物の移動方向に追尾させる追尾処理部をさらに備え、
    前記情報取得部は、前記撮像時刻の情報を前記画像に対応付けて取得し、
    前記表示制御部は、前記撮像時刻の情報および前記撮像座標の情報を用いて、前記表示領域での前記画像の表示位置を変化させつつ、時系列に撮像された前記画像のみを撮像された時系列に従って表示させる顕微鏡制御装置。
  3. 請求項2に記載の顕微鏡制御装置において、
    前記表示制御部は、時間軸方向での被検物の共通性を示す識別表示を前記表示領域に表示させる顕微鏡制御装置。
  4. 請求項2または請求項3に記載の顕微鏡制御装置において、
    前記表示制御部は、同じ被検物の経時的な位置変化を示す移動表示を前記表示領域に表示させる顕微鏡制御装置。
  5. 請求項1から請求項4のいずれか1項に記載の顕微鏡制御装置において、
    前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を前記表示倍率に応じて変更する顕微鏡制御装置。
  6. 請求項1から請求項4のいずれか1項に記載の顕微鏡制御装置において、
    前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる顕微鏡制御装置。
  7. 対物レンズと、
    被検物を載置し、前記対物レンズの光軸に対して垂直方向に移動可能な移動ステージと、
    前記移動ステージを移動させるステージ駆動手段と、
    前記被検物を撮像する撮像位置である、前記対物レンズの光軸に対する垂直方向の前記移動ステージの位置を検出するステージ位置検出手段と、
    撮像装置で撮像された画像を表示装置に表示する際、前記ステージ位置検出手段で検出された撮像位置情報に基づき、撮像した前記画像のみを前記表示装置の表示領域に表示する表示制御装置と、
    を備える顕微鏡装置。
  8. 請求項7に記載の顕微鏡装置において、
    前記顕微鏡装置は、
    前記被検物に対して蛍光観察のための励起光を照射する励起光照明装置と、
    前記被検物に対して明視野観察のための透過照明光を照射する透過照明装置と、をさらに備え、
    前記励起光により励起された蛍光画像と前記透過照明光の照射により照明された明視野観察とが同じ撮像位置で撮像され、
    前記表示制御装置は、各々の画像を前記撮像位置情報に基づき、撮像した前記画像のみを前記表示装置の表示領域に表示する顕微鏡装置。
  9. 請求項7または請求項8に記載の顕微鏡装置において、
    前記被検物を収納し、前記被検物の観察環境を一定の環境に保持するチャンバーを備えた培養装置を有する顕微鏡装置。
  10. 請求項7に記載の顕微鏡装置において、
    前記顕微鏡装置は、タイムラプス観察の際、予め設定された前記対物レンズの倍率とタイムラプス観察する観察位置の座標情報及び観察のタイミング情報に従って、前記対物レンズの切り替えと前記ステージ駆動手段の駆動を行うことを特徴とする顕微鏡装置。
  11. 請求項7に記載の顕微鏡装置において、
    前記顕微鏡装置は、被検物が移動した際、前記ステージ駆動手段により前記ステージを移動方向に移動させ、画像取得位置を移動させることを特徴とする顕微鏡装置。
  12. 顕微鏡の対物レンズによって結像された被検物の画像を撮像する処理と、
    前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する処理と、
    前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する処理と、
    表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる処理と、
    を顕微鏡を制御するコンピュータに実行させるプログラム。
  13. 顕微鏡の対物レンズによって結像された被検物の画像と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する取得部と、
    表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標の写像される位置に前記画像のみを表示させる表示制御部と、
    を備える画像処理装置。
  14. 請求項13に記載の画像処理装置において、
    前記取得部は、同じ被検物を撮像した撮像時刻が異なる複数の前記画像を取得し、
    前記表示制御部は、前記撮像時刻の情報および前記撮像座標の情報を用いて、前記表示領域での前記画像の表示位置を変化させつつ、時系列に撮像された前記画像のみを撮像された時系列に従って表示させる画像処理装置。
  15. 請求項14に記載の画像処理装置において、
    前記表示制御部は、時間軸方向での被検物の共通性を示す識別表示を前記表示領域に表示させる画像処理装置。
  16. 請求項14または請求項15に記載の画像処理装置において、
    前記表示制御部は、同じ被検物の経時的な位置変化を示す移動表示を前記表示領域に表示させる画像処理装置。
  17. 請求項13から請求項16のいずれか1項に記載の画像処理装置において、
    前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を前記表示倍率に応じて変更する画像処理装置。
  18. 請求項13から請求項16のいずれか1項に記載の画像処理装置において、
    前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる画像処理装置。
  19. 顕微鏡の対物レンズによって結像された被検物の画像と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する処理と、
    表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標の写像される位置に前記画像のみを表示させる処理と、
    をコンピュータに実行させるプログラム。
JP2011189802A 2011-08-31 2011-08-31 顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラム Active JP5803442B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011189802A JP5803442B2 (ja) 2011-08-31 2011-08-31 顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011189802A JP5803442B2 (ja) 2011-08-31 2011-08-31 顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2013050666A true JP2013050666A (ja) 2013-03-14
JP5803442B2 JP5803442B2 (ja) 2015-11-04

Family

ID=48012715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011189802A Active JP5803442B2 (ja) 2011-08-31 2011-08-31 顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラム

Country Status (1)

Country Link
JP (1) JP5803442B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082097A (ja) * 2013-10-24 2015-04-27 株式会社キーエンス 制御装置、顕微鏡システム、制御方法およびプログラム
JP2015090471A (ja) * 2013-11-07 2015-05-11 ソニー株式会社 顕微鏡システムおよびオートフォーカス方法
KR20160002226A (ko) * 2014-06-30 2016-01-07 (주)나노텍 상향식 전자현미경
US10352861B2 (en) 2016-06-30 2019-07-16 Olympus Corporation Observation assistance device and fluorescence observation system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145331A (ja) * 1997-07-29 1999-02-16 Olympus Optical Co Ltd 画像処理装置及び顕微鏡画像処理装置
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
JP2010218232A (ja) * 2009-03-17 2010-09-30 Dainippon Printing Co Ltd 対象物追跡装置
JP2011118479A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
WO2011096181A1 (ja) * 2010-02-03 2011-08-11 株式会社ニコン 観察装置及び観察方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145331A (ja) * 1997-07-29 1999-02-16 Olympus Optical Co Ltd 画像処理装置及び顕微鏡画像処理装置
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
JP2010218232A (ja) * 2009-03-17 2010-09-30 Dainippon Printing Co Ltd 対象物追跡装置
JP2011118479A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
WO2011096181A1 (ja) * 2010-02-03 2011-08-11 株式会社ニコン 観察装置及び観察方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082097A (ja) * 2013-10-24 2015-04-27 株式会社キーエンス 制御装置、顕微鏡システム、制御方法およびプログラム
JP2015090471A (ja) * 2013-11-07 2015-05-11 ソニー株式会社 顕微鏡システムおよびオートフォーカス方法
KR20160002226A (ko) * 2014-06-30 2016-01-07 (주)나노텍 상향식 전자현미경
KR101653211B1 (ko) * 2014-06-30 2016-09-02 (주)나노텍 상향식 전자현미경
US10352861B2 (en) 2016-06-30 2019-07-16 Olympus Corporation Observation assistance device and fluorescence observation system

Also Published As

Publication number Publication date
JP5803442B2 (ja) 2015-11-04

Similar Documents

Publication Publication Date Title
JP4970869B2 (ja) 観察装置および観察方法
JP4937850B2 (ja) 顕微鏡システム、そのvs画像生成方法、プログラム
US9013570B2 (en) Microscope and area determination method
US8014579B2 (en) Microscope system and method for synthesizing microscopic images
JP5887766B2 (ja) 顕微鏡制御装置、画像処理装置、顕微鏡装置およびプログラム
US20120002032A1 (en) Information processing apparatus, stage-undulation correcting method, program therefor
US20070064101A1 (en) Observation apparatus
JP2008139488A (ja) 顕微鏡装置
WO2009119329A1 (ja) 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
US11662565B2 (en) Microscope system, projection unit, and image projection method
JP5803442B2 (ja) 顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラム
JPWO2010128670A1 (ja) フォーカス制御方法および培養観察装置
JP2013061433A (ja) タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
US8994806B2 (en) Microscope apparatus chronologically storing different types of image information
US20190339498A1 (en) Microscope apparatus, observation method, and microscope apparatus-control program
JP5466976B2 (ja) 顕微鏡システム、観察画像の表示方法、プログラム
JP2015031831A (ja) 細胞追跡装置及び方法、細胞追跡プログラム
US7954069B2 (en) Microscopic-measurement apparatus
US20190195777A1 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
US10473909B2 (en) Microscope system having touch panel and electronic stage driving amount based on pressure detection
US10627598B2 (en) Observation device, observation method, and observation device control program
JP5343762B2 (ja) 制御装置、およびその制御装置を用いた顕微鏡システム
US8913819B2 (en) Observation apparatus and observation method
US11480780B2 (en) Observation device, observation method, and observation device control program
JP2010014965A (ja) 生体観察装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R150 Certificate of patent or registration of utility model

Ref document number: 5803442

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250