JP5803442B2 - Microscope control apparatus, microscope apparatus, image processing apparatus, and program - Google Patents

Microscope control apparatus, microscope apparatus, image processing apparatus, and program Download PDF

Info

Publication number
JP5803442B2
JP5803442B2 JP2011189802A JP2011189802A JP5803442B2 JP 5803442 B2 JP5803442 B2 JP 5803442B2 JP 2011189802 A JP2011189802 A JP 2011189802A JP 2011189802 A JP2011189802 A JP 2011189802A JP 5803442 B2 JP5803442 B2 JP 5803442B2
Authority
JP
Japan
Prior art keywords
image
display
imaging
microscope
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011189802A
Other languages
Japanese (ja)
Other versions
JP2013050666A (en
Inventor
高橋 秀夫
秀夫 高橋
スボボダ ミロソラフ
スボボダ ミロソラフ
アダメック ヤン
アダメック ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011189802A priority Critical patent/JP5803442B2/en
Publication of JP2013050666A publication Critical patent/JP2013050666A/en
Application granted granted Critical
Publication of JP5803442B2 publication Critical patent/JP5803442B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Description

本発明は、顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラムに関する。   The present invention relates to a microscope control device, a microscope device, an image processing device, and a program.

従来から、細胞の多点タイムラプス観察を行うときに、顕微鏡で撮像された複数の画像を1画面内に格子状に配列して一括表示することが行われている。   Conventionally, when performing multipoint time-lapse observation of cells, a plurality of images captured by a microscope are arranged in a grid pattern on one screen and displayed together.

特開2006−220904号公報JP 2006-220904 A

従来の技術では、各々の画像が培養容器のどの部分の細胞を撮像したものかユーザが直感的に把握しづらい点で改善の余地があった。   In the prior art, there is room for improvement in that it is difficult for the user to intuitively grasp which part of the culture vessel each cell is captured.

本発明の顕微鏡制御装置は、顕微鏡の対物レンズによって結像された被検物の画像を撮像する撮像部と、前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する位置調整部と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する情報取得部と、表示装置の表示領域で、且つ前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させるとともに、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる表示制御部と、を備える Microscope control device of the present invention includes an imaging unit for capturing an image of the object imaged by the microscope objective lens, the relative position of the test object and the objective lens, the light of the objective lens A position adjustment unit that adjusts in a direction that intersects the axis, and an information acquisition unit that acquires information on imaging coordinates in a direction that intersects with the optical axis of the objective lens when the object is imaged in association with the image And displaying only the image at a position in the display area of the display device where the imaging coordinates are mapped in the display area, and changing the display magnification of the image, the image in the display area A display control unit that zooms the image while maintaining a relative distance therebetween .

本発明の顕微鏡装置は、上述した顕微鏡制御装置を備える。The microscope apparatus of the present invention includes the above-described microscope control apparatus.

本発明の画像処理装置は、顕微鏡の対物レンズによって結像された被検物の画像と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する取得部と、表示装置の表示領域で、且つ前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させるとともに、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる表示制御部と、を備える。 The image processing apparatus of the present invention includes an image of a test object formed by an objective lens of a microscope and information on imaging coordinates in a direction intersecting with the optical axis of the objective lens when the test object is imaged. When displaying only the image at a position where the image capturing coordinates are mapped in the display area of the display unit and the display area of the display device, and changing the display magnification of the image A display control unit that zooms the image while maintaining a relative distance between the images in the display area.

なお、コンピュータを上記の顕微鏡制御装置または上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の顕微鏡制御装置または上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。   Note that a program that causes a computer to operate as the above microscope control device or the above image processing device, a storage medium that stores the program, and an operation of the above microscope control device or the above image processing device are represented by method categories. Any of these is effective as a specific embodiment of the present invention.

表示装置の表示領域内において撮像座標が写像される位置に画像を表示させることで、被検物間の位置関係を把握しやすい画像表示を実現する。   By displaying an image at a position where the imaging coordinates are mapped in the display area of the display device, an image display that makes it easy to grasp the positional relationship between the test objects is realized.

第1実施形態の顕微鏡システムの構成例を示す図The figure which shows the structural example of the microscope system of 1st Embodiment. 第1実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図The flowchart which shows the operation example in the time-lapse observation in the microscope system of 1st Embodiment. (a),(b):図2の#106での処理の概要図(A), (b): Overview of processing in # 106 of FIG. 画像の再生表示例を示す図Figure showing an example of image playback display 画像の再生表示例を示す図Figure showing an example of image playback display 画像の再生表示例を示す図Figure showing an example of image playback display 画像の再生表示例を示す図Figure showing an example of image playback display 第1実施形態の顕微鏡システムでの画像再生動作の例を示す流れ図Flow chart showing an example of an image reproduction operation in the microscope system of the first embodiment 第2実施形態の画像処理装置の構成例を示す図The figure which shows the structural example of the image processing apparatus of 2nd Embodiment. 培養装置を有する顕微鏡の構成例を示す図The figure which shows the structural example of the microscope which has a culture apparatus

<第1実施形態の説明>
図1は、顕微鏡装置および顕微鏡制御装置の一例である第1実施形態の顕微鏡システムの構成例を示す図である。
<Description of First Embodiment>
FIG. 1 is a diagram illustrating a configuration example of a microscope system according to the first embodiment which is an example of a microscope apparatus and a microscope control apparatus.

顕微鏡システムは、標本1が載置される移動ステージ11と、顕微鏡装置12と、コンピュータ13と、画像を表示する表示装置14と、画像等を記憶する記憶装置15と、ユーザの入力を受け付ける入力装置16とを有する。移動ステージ11、顕微鏡装置12、表示装置14、記憶装置15、入力装置16は、それぞれコンピュータ13に接続されている。また、一例として、第1実施形態での標本1は、観察対象の被検物(複数の細胞)が培地とともに収納された培養容器である。   The microscope system includes a moving stage 11 on which a specimen 1 is placed, a microscope device 12, a computer 13, a display device 14 that displays an image, a storage device 15 that stores an image, and the like, and an input that accepts user input. Device 16. The moving stage 11, the microscope device 12, the display device 14, the storage device 15, and the input device 16 are connected to the computer 13, respectively. Moreover, as an example, the sample 1 in the first embodiment is a culture container in which a test object (a plurality of cells) to be observed is stored together with a culture medium.

移動ステージ11は、顕微鏡の対物レンズ31の光学系の光軸AXに対して垂直な方向(図1に示すX方向およびY方向)へそれぞれ移動可能である。この移動により、標本1に対する顕微鏡の視野(観察領域)の位置調節や焦点調節が行われる。移動ステージ11のXY方向への駆動は、コンピュータ13に接続されたモータユニット21(位置調整手段、ステージ駆動手段)によって行われる。また、移動ステージ11には、ステージのXY方向位置を検出するエンコーダ22(ステージ位置検出手段)が設けられており、このステージのXY方向の位置情報はコンピュータ13に入力される。   The moving stage 11 is movable in directions perpendicular to the optical axis AX of the optical system of the objective lens 31 of the microscope (X direction and Y direction shown in FIG. 1). By this movement, the position adjustment and the focus adjustment of the field of view (observation region) of the microscope with respect to the specimen 1 are performed. The moving stage 11 is driven in the X and Y directions by a motor unit 21 (position adjusting means, stage driving means) connected to the computer 13. The moving stage 11 is provided with an encoder 22 (stage position detecting means) for detecting the position of the stage in the X and Y directions, and the position information of the stage in the X and Y directions is input to the computer 13.

顕微鏡装置12は、対物レンズ31、焦点調節機構32、励起光照明装置33、蛍光フィルタブロック34、第2対物レンズ35、光路切替器36、撮像部の一例としての撮像装置37、透過照明装置40、コンデンサレンズ43を有している。このうち、透過照明装置40およびコンデンサレンズ43は、図1において培養容器の上方に配置され、それ以外の要素は図1において培養容器の下方に配置される。また、蛍光フィルタブロック34には、ダイクロイックミラー、励起フィルタ、蛍光フィルタなどが装着されている。また、光路切替器36は光路に対して挿脱可能なミラー36aを備えている。   The microscope apparatus 12 includes an objective lens 31, a focus adjustment mechanism 32, an excitation light illumination device 33, a fluorescent filter block 34, a second objective lens 35, an optical path switch 36, an imaging device 37 as an example of an imaging unit, and a transmission illumination device 40. The condenser lens 43 is provided. Among them, the transmission illumination device 40 and the condenser lens 43 are arranged above the culture vessel in FIG. 1, and the other elements are arranged below the culture vessel in FIG. The fluorescent filter block 34 is equipped with a dichroic mirror, an excitation filter, a fluorescent filter, and the like. The optical path switch 36 includes a mirror 36a that can be inserted into and removed from the optical path.

対物レンズ31は、焦点調節機構32により光軸AXの方向(図1に示すZ方向)に移動可能である。このZ方向への移動により、培養容器の細胞に対する対物レンズ31の焦点調節が行われる。   The objective lens 31 is movable in the direction of the optical axis AX (Z direction shown in FIG. 1) by the focus adjustment mechanism 32. By the movement in the Z direction, the focus adjustment of the objective lens 31 with respect to the cells in the culture container is performed.

透過照明装置40は、光源41およびコリメータレンズ42を備え、明視野観察用の照明光束を出射する。なお、透過照明装置40は、明視野観察時にオンされ、蛍光観察時にオフされる。また、励起光照明装置33は、蛍光観察用の励起光束を出射する。励起光照明装置33は、蛍光観察時にオンされ、明視野観察時にオフされる。   The transmission illumination device 40 includes a light source 41 and a collimator lens 42, and emits an illumination light beam for bright field observation. The transmitted illumination device 40 is turned on during bright field observation and turned off during fluorescence observation. The excitation light illumination device 33 emits an excitation light beam for fluorescence observation. The excitation light illumination device 33 is turned on during fluorescence observation and turned off during bright field observation.

ここで、明視野観察時には、透過照明装置40から射出した照明光束は、コンデンサレンズ43を通り、標本1の観察領域を照明する。標本1を透過した光束は、対物レンズ31に入射する。対物レンズ31に入射した光束は、蛍光フィルタブロック34、第2対物レンズ35を通り、光路切替器36へ入射する。光路切替器36のミラー36aが光路に挿入されている場合、上記の光束はミラー36aで反射して不図示の接眼レンズへ導かれる。一方、光路切替器36のミラー36aが光路から離脱されている場合、上記の光束は光路切替器36を通過して撮像装置37へ入射する。撮像装置37へ入射した光束は、撮像装置37内の撮像素子37aに観察領域の明視野像を形成する。撮像素子37aは、上記の明視野像を撮像して、画像のデータ(以下、「明視野画像」と称する)を取得する。   Here, at the time of bright field observation, the illumination light beam emitted from the transmission illumination device 40 passes through the condenser lens 43 and illuminates the observation region of the specimen 1. The light beam transmitted through the sample 1 enters the objective lens 31. The light beam incident on the objective lens 31 passes through the fluorescent filter block 34 and the second objective lens 35 and enters the optical path switch 36. When the mirror 36a of the optical path switch 36 is inserted in the optical path, the light beam is reflected by the mirror 36a and guided to an eyepiece (not shown). On the other hand, when the mirror 36 a of the optical path switch 36 is separated from the optical path, the light flux passes through the optical path switch 36 and enters the imaging device 37. The light beam incident on the imaging device 37 forms a bright field image of the observation region on the imaging element 37 a in the imaging device 37. The image sensor 37a captures the bright field image and acquires image data (hereinafter referred to as “bright field image”).

蛍光観察時には、励起光照明装置33から射出した励起光束は、調光フィルタ33a、蛍光フィルタブロック34を通り、像側から対物レンズ31へ入射すると、対物レンズ31を介して標本1の観察領域を照射する。上記の励起光束に応じて標本1で発生した蛍光は、物体側から対物レンズ31へ入射し、蛍光フィルタブロック34、第2対物レンズ35を通り、光路切替器36へ入射する。光路切替器36のミラー36aが光路に挿入されている場合、上記の光束はミラー36aで反射して不図示の接眼レンズへ導かれる。一方、光路切替器36のミラー36aが光路から離脱されている場合、上記の光束は光路切替器36を通過して撮像装置37へ入射する。撮像装置37へ入射した光束は、撮像装置37内の撮像素子37aに観察領域の蛍光像を形成する。撮像素子37aは、上記の蛍光像を撮像して、画像のデータ(以下、「蛍光画像」と称する)を取得する。   At the time of fluorescence observation, the excitation light beam emitted from the excitation light illumination device 33 passes through the light control filter 33 a and the fluorescence filter block 34 and enters the objective lens 31 from the image side, thereby passing through the observation region of the specimen 1 through the objective lens 31. Irradiate. Fluorescence generated in the sample 1 in response to the excitation light beam enters the objective lens 31 from the object side, passes through the fluorescence filter block 34 and the second objective lens 35, and enters the optical path switch 36. When the mirror 36a of the optical path switch 36 is inserted in the optical path, the light beam is reflected by the mirror 36a and guided to an eyepiece (not shown). On the other hand, when the mirror 36 a of the optical path switch 36 is separated from the optical path, the light flux passes through the optical path switch 36 and enters the imaging device 37. The light beam incident on the imaging device 37 forms a fluorescent image of the observation region on the imaging element 37 a in the imaging device 37. The image sensor 37a captures the fluorescent image and acquires image data (hereinafter referred to as “fluorescent image”).

本実施形態で説明する顕微鏡は倒立顕微鏡であるが、正立顕微鏡でもよい。   The microscope described in the present embodiment is an inverted microscope, but may be an upright microscope.

また、対物レンズ31から撮像装置37を結ぶ光路、及び対物レンズ31から接眼レンズ(不図示)を結ぶ光路は観察光路と称する。この観察光路は、励起光照明装置33と蛍光フィルタブロック34と対物レンズ31を結ぶ励起光照明光路と称する光路と一部共通する部分を有する。   An optical path connecting the objective lens 31 to the imaging device 37 and an optical path connecting the objective lens 31 to the eyepiece lens (not shown) are referred to as an observation optical path. This observation optical path has a portion that is partially in common with an optical path called an excitation light illumination optical path that connects the excitation light illumination device 33, the fluorescence filter block 34, and the objective lens 31.

蛍光フィルタブロック34、第2対物レンズ35及び光路切替器36は、観察光路上に配置される。   The fluorescence filter block 34, the second objective lens 35, and the optical path switch 36 are disposed on the observation optical path.

また、透過照明装置と標本1までの光路は透過照明光路と称し、透過照明光路にはコリメータレンズが配置される。   The optical path from the transmission illumination device to the specimen 1 is referred to as a transmission illumination optical path, and a collimator lens is disposed in the transmission illumination optical path.

コンピュータ13は、顕微鏡システムの動作を統括的に制御するCPU13aと、不揮発性のメモリ13bとを備えたモジュールである。ここで、第1実施形態でのコンピュータ13は、顕微鏡装置12を制御して、指定された撮像座標における細胞の明視野画像や蛍光画像を撮像する。このとき、コンピュータ13は、一定時間おきに同じ細胞を継続的に撮像するタイムラプス観察を行うこともできる。コンピュータ13は、複数の細胞について上記のタイムラプス観察を並行して行うことも可能である(多点タイムラプス観察)。   The computer 13 is a module including a CPU 13a that controls the operation of the microscope system in an integrated manner and a nonvolatile memory 13b. Here, the computer 13 in the first embodiment controls the microscope apparatus 12 to capture a bright field image or a fluorescence image of the cell at the specified imaging coordinates. At this time, the computer 13 can also perform time-lapse observation in which the same cell is continuously imaged at regular intervals. The computer 13 can also perform the above time-lapse observation on a plurality of cells in parallel (multi-point time-lapse observation).

CPU13aは、プログラムの実行により、位置調整部51と、情報取得部52と、追尾処理部53と、表示制御部54としてそれぞれ機能する。なお、上記のプログラムは、例えばメモリ13bに記憶される。   The CPU 13a functions as a position adjustment unit 51, an information acquisition unit 52, a tracking processing unit 53, and a display control unit 54 by executing the program. The above program is stored in, for example, the memory 13b.

位置調整部51は、モータユニット21を制御するドライバであって、顕微鏡の対物レンズの光学系と被検物(細胞)との相対位置を、光軸AXと交差するXY方向に調整する。このXY方向の調整によりXY方向の観察位置の移動が行われる。本実施形態では、移動ステージ11のXY方向の位置を調整するが、対物レンズ31のXY方向の位置調整を行うものでもよく、また、移動ステージ11と対物レンズ31の両者を移動させる構成とし、両者の位置調整を行うようにしてもよい。   The position adjustment unit 51 is a driver that controls the motor unit 21 and adjusts the relative position between the optical system of the objective lens of the microscope and the test object (cell) in the XY direction intersecting the optical axis AX. The observation position in the XY direction is moved by the adjustment in the XY direction. In this embodiment, the position of the moving stage 11 in the X and Y directions is adjusted, but the position of the objective lens 31 in the X and Y directions may be adjusted, and both the moving stage 11 and the objective lens 31 are moved. You may make it perform position adjustment of both.

情報取得部52は、被検物(細胞)を撮像したときの撮像座標(移動ステージ11のXY座標)の情報と、撮像時刻の情報とを取得する。撮像座標および撮像時刻の各情報は、情報取得部52により、各々の画像に対応付けされた状態で記録される。   The information acquisition unit 52 acquires information on imaging coordinates (XY coordinates of the moving stage 11) when imaging a test object (cell) and information on imaging time. Each information of imaging coordinates and imaging time is recorded by the information acquisition unit 52 in a state associated with each image.

追尾処理部53は、細胞のタイムラプス観察を行うときに、撮像装置37の撮像範囲を細胞のXY方向の移動方向に追尾させる処理を行う。   The tracking processing unit 53 performs processing for tracking the imaging range of the imaging device 37 in the movement direction in the XY direction of the cell when performing time-lapse observation of the cell.

表示制御部54は、表示装置14への画像の表示を制御する。なお、表示制御部54の動作については後述する。   The display control unit 54 controls display of an image on the display device 14. The operation of the display control unit 54 will be described later.

以下、第1実施形態の顕微鏡システムでの動作例を、タイムラプス観察での動作と、タイムラプス観察で取得した画像の再生動作とに分けてそれぞれ説明する。   Hereinafter, an operation example in the microscope system according to the first embodiment will be described separately for an operation in time-lapse observation and an operation for reproducing an image acquired in time-lapse observation.

(タイムラプス観察での動作)
図2は、第1実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図である。
(Operation during time-lapse observation)
FIG. 2 is a flowchart showing an operation example in time-lapse observation in the microscope system of the first embodiment.

ステップ#101:コンピュータ13のCPU13aは、細胞の観察スケジュールを初期設定する。観察スケジュールは、タイムラプス観察の観察回数および観察のインターバルと、各観察時刻での撮像ポイント等とを示す情報である。   Step # 101: The CPU 13a of the computer 13 initializes a cell observation schedule. The observation schedule is information indicating the number of observations of time-lapse observation, the observation interval, and imaging points at each observation time.

例えば、CPU13aは、培養容器の観察スケジュールの項目として、以下の(1)〜(4)の入力を入力装置16から受け付ける。
(1)培養容器上での撮像座標(X方向、Y方向)
(2)観察方法(明視野/蛍光)
(3)対物レンズの倍率(2倍,4倍,10倍,20倍等)
(4)タイムラプス観察の時間間隔および観察回数
なお、上記(1)の撮像座標は、培養容器上で複数指定することができる。そして、CPU13aは、上記の入力に基づいて観察スケジュールを設定する。観察スケジュールのデータは、CPU13aの制御によってメモリ13bに記憶される。
For example, the CPU 13a receives the following inputs (1) to (4) from the input device 16 as items of the observation schedule of the culture vessel.
(1) Imaging coordinates on the culture vessel (X direction, Y direction)
(2) Observation method (bright field / fluorescence)
(3) Objective lens magnification (2x, 4x, 10x, 20x, etc.)
(4) Time lapse observation time interval and number of observations Note that a plurality of imaging coordinates in (1) can be designated on the culture vessel. And CPU13a sets an observation schedule based on said input. The observation schedule data is stored in the memory 13b under the control of the CPU 13a.

ステップ#102:CPU13aは、観察スケジュールと現在時刻とを比較して、培養容器の観察時刻が到来したか否かを判定する。上記要件を満たす場合(YES側)には#103に処理が移行する。一方、上記要件を満たさない場合(NO側)、CPU13aは次の観察時期まで待機する。   Step # 102: The CPU 13a compares the observation schedule with the current time to determine whether or not the observation time of the culture container has come. If the above requirement is satisfied (YES side), the process proceeds to # 103. On the other hand, when the above requirement is not satisfied (NO side), the CPU 13a waits until the next observation time.

ステップ#103:CPU13aは、顕微鏡装置12に対して細胞の撮像を指示する。このとき、位置調整部51は、顕微鏡の対物レンズの光軸AXの位置が撮像座標と合致するように、移動ステージ11をXY方向に移動させる。そして、撮像装置37は、観察スケジュールの設定に基づいて、撮像座標の細胞の画像(明視野画像や蛍光画像)を撮像する。なお、撮像装置37は、同じ撮像座標で明視野画像と蛍光画像とを撮像してもよい。また、撮像座標が複数設定されている場合、撮像装置37は、各撮像座標に対応する細胞の画像をそれぞれ撮像する。   Step # 103: The CPU 13a instructs the microscope apparatus 12 to image cells. At this time, the position adjustment unit 51 moves the moving stage 11 in the XY directions so that the position of the optical axis AX of the objective lens of the microscope matches the imaging coordinates. And the imaging device 37 images the cell image (bright field image and fluorescence image) of an imaging coordinate based on the setting of an observation schedule. Note that the imaging device 37 may capture the bright field image and the fluorescence image with the same imaging coordinates. When a plurality of imaging coordinates are set, the imaging device 37 captures a cell image corresponding to each imaging coordinate.

ステップ#104:情報取得部52は、#103で撮像された細胞の画像のデータに、撮像条件を示す付帯情報を対応付けて記憶装置15に記録する。上記の付帯情報は、観察時刻の情報、撮像座標の情報、画像の種別情報(明視野画像/蛍光画像)、観察対象の識別情報を含む。なお、観察対象の識別情報は細胞の同一性を示す識別符号であって、タイムラプス観察で同じ細胞を時系列に撮像したときには各画像間で同じ符号が付与される。   Step # 104: The information acquisition unit 52 records the data of the cell image captured in # 103 in the storage device 15 in association with the supplementary information indicating the imaging condition. The incidental information includes observation time information, imaging coordinate information, image type information (bright-field image / fluorescence image), and observation target identification information. Note that the identification information of the observation target is an identification code indicating the identity of the cells, and when the same cells are imaged in time series in time-lapse observation, the same codes are assigned between the images.

ステップ#105:CPU13aは、前回のタイムラプス観察で取得した画像が存在するか否かを判定する。上記要件を満たす場合(YES側)には#106に処理が移行する。一方、上記要件を満たさない場合(初回観察の場合:NO側)には#107に処理が移行する。   Step # 105: The CPU 13a determines whether or not there is an image acquired by the previous time lapse observation. If the above requirement is satisfied (YES side), the process proceeds to # 106. On the other hand, if the above requirement is not satisfied (in the case of initial observation: NO side), the process proceeds to # 107.

ステップ#106:追尾処理部53は、識別情報が共通で観察時刻が前後する2つの画像(今回および前回の観察で取得された画像)を比較して、細胞のXY方向の移動量を求める。そして、追尾処理部53は、細胞の移動量に応じて、次回観察での撮像装置37の撮像範囲(観察視野)を変更する。なお、追尾処理部53は、観察対象の識別情報ごとに、#106の処理を実行するものとする。   Step # 106: The tracking processing unit 53 compares two images having the same identification information and the observation time before and after (images acquired in the current and previous observations) and obtains the movement amount of the cell in the XY direction. And the tracking process part 53 changes the imaging range (observation visual field) of the imaging device 37 in next observation according to the movement amount of a cell. Note that the tracking processing unit 53 executes the process of # 106 for each piece of observation target identification information.

一例として、#106での追尾処理部53は、上記の2つの画像でそれぞれ細胞の重心位置を求め、両者の重心位置のズレを算出する。そして、追尾処理部53は、上記の重心位置のズレ(細胞の移動量)が相殺されるように、次回観察で適用される撮像座標を移動させる(図3(a)参照)。なお、2つの画像間で撮像座標が相違する場合(後述する細胞の追尾が行われている場合)、追尾処理部53は、撮像座標を用いて2つの画像の相対位置を補正した状態で、上記の重心位置のズレ(細胞の移動量)を算出すればよい(図3(b)参照)。   As an example, the tracking processing unit 53 in # 106 obtains the centroid position of each cell from the above two images, and calculates the deviation between the centroid positions of the cells. Then, the tracking processing unit 53 moves the imaging coordinates applied in the next observation so as to cancel out the deviation (cell movement amount) of the center of gravity (see FIG. 3A). When the imaging coordinates are different between the two images (when cell tracking described later is performed), the tracking processing unit 53 corrects the relative position of the two images using the imaging coordinates, What is necessary is just to calculate the shift | offset | difference (cell movement amount) of said gravity center position (refer FIG.3 (b)).

その後、追尾処理部53は、細胞の識別情報に対応する観察スケジュールを参照し、次回観察で適用される撮像座標の情報を更新する。なお、次回観察時には更新後の撮像座標を基準として画像が撮像されるので、#106での追尾処理部53の処理により、撮像装置37の撮像範囲は細胞を追尾するように移動することとなる。   Thereafter, the tracking processing unit 53 refers to the observation schedule corresponding to the cell identification information, and updates the information on the imaging coordinates applied in the next observation. In the next observation, an image is captured with the updated imaging coordinates as a reference, and therefore the imaging range of the imaging device 37 moves so as to track cells by the processing of the tracking processing unit 53 in # 106. .

ステップ#107:CPU13aは、観察スケジュールを参照して、タイムラプス観察が終了したか否かを判定する。上記要件を満たす場合(YES側)には図2の流れ図の処理が終了する。一方、上記要件を満たさない場合(NO側)には#102に戻って上記の処理が繰り返される。   Step # 107: The CPU 13a refers to the observation schedule and determines whether or not the time-lapse observation is finished. If the above requirement is satisfied (YES side), the processing of the flowchart of FIG. 2 ends. On the other hand, if the above requirement is not satisfied (NO side), the process returns to # 102 and the above processing is repeated.

上記の#102から#107のループにより、撮像座標に対応する細胞について、細胞の動きを追尾しながらタイムラプス観察を行うことができる(#106)。   By the loop from # 102 to # 107, time-lapse observation can be performed for the cell corresponding to the imaging coordinates while tracking the movement of the cell (# 106).

(画像再生動作)
図4〜図7は、第1実施形態の顕微鏡システムにおける画像の再生表示例を示している。
(Image playback operation)
4 to 7 show examples of image reproduction display in the microscope system of the first embodiment.

第1実施形態の顕微鏡システムにおいて、上記のタイムラプス観察で取得した画像を再生するとき、表示制御部54は、表示装置14の表示領域(例えば表示画面上の1ウインドウ)に同時期に撮像された細胞の画像のみを表示させる。なお、表示領域に表示される画像は、明視野画像または蛍光画像のいずれでもよい。また、明視野画像と蛍光画像とを重畳させて表示領域に表示してもよい。表示画像を除く領域(表示画像のバックグラウンド)には、標本画像は表示しない。例えば、標本とは無関係な単色画像を表示したり、標本とは無関係な模様を表示する。つまり、表示領域には撮影した画像が撮像位置を加味し表示される。   In the microscope system of the first embodiment, when the image acquired by the time lapse observation is reproduced, the display control unit 54 is imaged in the display area of the display device 14 (for example, one window on the display screen) at the same time. Display only cell images. The image displayed in the display area may be either a bright field image or a fluorescent image. Further, the bright field image and the fluorescence image may be superimposed and displayed on the display area. The specimen image is not displayed in the area excluding the display image (background of the display image). For example, a monochromatic image unrelated to the sample is displayed, or a pattern unrelated to the sample is displayed. That is, a captured image is displayed in the display area in consideration of the imaging position.

このとき、表示制御部54は、表示領域内で撮像座標が写像される位置に各々の画像を表示させる。つまり、表示領域内での細胞の画像の表示位置は、タイムラプス観察時における培養容器内での細胞の相対的な位置関係がそのまま反映される。通常、表示領域での画像の配置は、表示領域内で画像がランダムに分散したレイアウトになる。   At this time, the display control unit 54 displays each image at a position where the imaging coordinates are mapped in the display area. That is, the display position of the cell image in the display area directly reflects the relative positional relationship of the cells in the culture container at the time-lapse observation. Normally, the image layout in the display area is a layout in which images are randomly distributed in the display area.

例えば、ある観察時期の培養容器を平面視したときに、細胞Aに対して斜め左下の近傍に細胞Bが位置し、細胞Aに対して斜め右下の遠方に細胞Cが位置する状態で、各細胞が撮像された場合を考える。上記の観察時期に対応する画像が表示領域に表示されるとき、細胞Bの画像は細胞Aの画像の斜め左下に一部が重なるように表示され、細胞Cの画像は細胞Aの画像の斜め右下に離れて表示される(図4参照)。   For example, when the culture container at a certain observation period is viewed in plan, the cell B is located in the vicinity of the lower left of the cell A, and the cell C is located in the lower right of the cell A. Consider the case where each cell is imaged. When an image corresponding to the above observation time is displayed in the display area, the image of the cell B is displayed so as to partially overlap the lower left of the image of the cell A, and the image of the cell C is oblique to the image of the cell A. They are displayed separately in the lower right (see FIG. 4).

かかる表示により、ユーザは、表示領域の画像から個々の細胞の状態を把握でき、同時に表示領域内での表示位置から細胞の相対位置を把握できる。   With this display, the user can grasp the state of each cell from the image in the display area, and at the same time, can grasp the relative position of the cell from the display position in the display area.

また、タイムラプス観察時に細胞を追尾させているため、表示制御部54は、上記の表示領域での画像表示を観察時期に応じて時系列に切り替えることで、培養容器内での細胞の動きを動画表示することもできる。図5は、細胞の画像の動画表示の例を示している。   In addition, since the cells are tracked during the time-lapse observation, the display control unit 54 switches the image display in the display area in time series according to the observation time, thereby moving the movement of the cells in the culture container to a moving image. It can also be displayed. FIG. 5 shows an example of moving image display of cell images.

図5の例では、表示制御部54の制御によって、時間T1〜T3の順に、撮像座標に応じて各細胞の画像(A〜C)を表示領域に動画表示している。なお、細胞が移動している場合、表示領域での画像の表示位置は経時的に変化する。かかる表示により、ユーザはタイムラプス観察中での細胞の移動状態を把握できる。   In the example of FIG. 5, the images of the cells (A to C) are displayed as moving images in the display area according to the imaging coordinates in the order of time T1 to T3 under the control of the display control unit 54. When the cell is moving, the display position of the image in the display area changes with time. With this display, the user can grasp the movement state of the cells during the time-lapse observation.

ここで、表示制御部54は、個々の細胞の識別を容易にするため、上記の動画表示を行うときに時間軸方向での細胞の共通性を示す識別表示を表示領域に表示させてもよい。一例として、表示制御部54は、識別情報が共通する画像の外周を同色で強調表示してもよく、あるいは画像の周囲に識別情報に応じた文字やマークを表示してもよい。図4、図5の例では、上記の識別情報として文字(「CELL_A」等)を表示した状態を示している。   Here, in order to facilitate identification of individual cells, the display control unit 54 may display an identification display indicating the commonality of cells in the time axis direction in the display area when performing the above moving image display. . As an example, the display control unit 54 may highlight the outer periphery of the image having the same identification information with the same color, or may display characters or marks according to the identification information around the image. 4 and 5 show a state in which characters (“CELL_A”, etc.) are displayed as the identification information.

また、表示制御部54は、細胞の移動状態をより把握しやすくするために、上記の動画表示を行うときに、同じ細胞の経時的な位置変化を示す移動表示を表示領域に表示させてもよい。一例として、表示制御部54は、時間T2での画像を表示するときに時間T1での画像の外縁を表示領域に重畳表示させる。そして、表示制御部54は、時間T3での画像を表示するときに時間T1、T2での画像の外縁を表示領域に重畳表示させる(図5参照)。他の例として、表示制御部54は、細胞の移動軌跡を示す線を表示領域に表示させてもよい(この場合の図示は省略する)。   In addition, the display control unit 54 may display a moving display indicating a change in position of the same cell over time in the display area when performing the above moving image display in order to make it easier to grasp the moving state of the cell. Good. As an example, when displaying the image at time T2, the display control unit 54 causes the outer edge of the image at time T1 to be superimposed on the display area. Then, when displaying the image at time T3, the display control unit 54 superimposes the outer edges of the images at times T1 and T2 on the display area (see FIG. 5). As another example, the display control unit 54 may display a line indicating the movement locus of the cell in the display area (illustration is omitted in this case).

また、表示制御部54は、表示領域内で画像の表示倍率を変更するときの動作モードとして、第1ズームモードと第2ズームモードとを有している。ズームの動作は、ユーザの指示に応じて表示制御部54が画像の再生時にリアルタイムに実行する。また、第1ズームモードと第2ズームモードとの切り替えは、ユーザの指示に応じて行われる。   The display control unit 54 has a first zoom mode and a second zoom mode as operation modes when changing the display magnification of the image within the display area. The zooming operation is executed in real time by the display control unit 54 when an image is reproduced in accordance with a user instruction. Further, switching between the first zoom mode and the second zoom mode is performed according to a user instruction.

図6は、上記の第1ズームモードでの表示例を示している。第1ズームモードでの表示制御部54は、画像の表示倍率を変更するときに、表示領域での画像間の相対距離を表示倍率に応じて変更する。つまり、第1ズームモードでは各画像の大きさと画像間の相対距離がズームの前後で表示倍率に応じて変化する。なお、表示領域内に培養容器のすべての範囲を表示できない場合、表示制御部54は表示領域で表示される範囲を切り替えるユーザインタフェース(例えばスクロールバー)を表示装置14に表示してもよい。そして、ユーザは、上記のユーザインタフェースを用いて表示範囲を変更すればよい。   FIG. 6 shows a display example in the first zoom mode. When changing the display magnification of the image, the display control unit 54 in the first zoom mode changes the relative distance between the images in the display area according to the display magnification. That is, in the first zoom mode, the size of each image and the relative distance between the images change according to the display magnification before and after zooming. When the entire range of the culture vessel cannot be displayed in the display area, the display control unit 54 may display a user interface (for example, a scroll bar) for switching the range displayed in the display area on the display device 14. And a user should just change a display range using said user interface.

また、図7は、上記の第2ズームモードでの表示例を示している。第2ズームモードでの表示制御部54は、画像の表示倍率を変更するときに、表示領域での画像間の相対距離を維持しつつ、表示倍率に応じて画像のみをズームさせる。つまり、第2ズームモードでの画像間の相対距離はズームの前後で変化しないが、第2ズームモードでの各画像の大きさはズームの前後で表示倍率に応じて変化する。   FIG. 7 shows a display example in the second zoom mode. When changing the display magnification of the image, the display control unit 54 in the second zoom mode zooms only the image according to the display magnification while maintaining the relative distance between the images in the display area. That is, the relative distance between images in the second zoom mode does not change before and after zooming, but the size of each image in the second zoom mode changes according to the display magnification before and after zooming.

ここで、図8は、第1実施形態の顕微鏡システムでの画像再生動作の例を示す流れ図である。なお、図8の例では、上記のタイムラプス観察(図2)で取得された画像のデータが予め記憶装置15に記録されていることを前提として説明を行う。   Here, FIG. 8 is a flowchart showing an example of an image reproduction operation in the microscope system of the first embodiment. In the example of FIG. 8, the description will be made on the assumption that the image data acquired by the time lapse observation (FIG. 2) is recorded in the storage device 15 in advance.

ステップ#201:CPU13aは、付帯情報の観察時刻を参照し、指定された観察時期に対応する細胞の画像を記憶装置15から読み出して取得する。例えば、タイムラプス観察の画像を動画表示する場合、#201の処理では1回目から最終回の観察時期がCPU13aによって順次指定される。   Step # 201: The CPU 13a refers to the observation time of the incidental information, reads out and acquires the cell image corresponding to the designated observation time from the storage device 15. For example, when displaying an image of time lapse observation as a moving image, in the processing of # 201, the first to last observation time is sequentially designated by the CPU 13a.

ステップ#202:表示制御部54は、付帯情報の撮像座標を参照し、#201で取得した画像を表示装置14の表示領域に表示させる。このとき、表示制御部54は、表示領域内で撮像座標が写像される位置に各画像を表示させる。これにより、表示装置14の表示領域には、細胞の画像が図4に示すように表示される。   Step # 202: The display control unit 54 refers to the imaging coordinates of the incidental information, and displays the image acquired in # 201 in the display area of the display device 14. At this time, the display control unit 54 displays each image at a position where the imaging coordinates are mapped in the display area. Thereby, the cell image is displayed in the display area of the display device 14 as shown in FIG.

ステップ#203:表示制御部54は、ユーザからズームの指示を受け付けたか否かを判定する。上記要件を満たす場合(YES側)には#204に処理が移行する。一方、上記要件を満たさない場合(NO側)には#205に処理が移行する。   Step # 203: The display control unit 54 determines whether or not a zoom instruction has been received from the user. If the above requirement is satisfied (YES side), the process proceeds to # 204. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 205.

ステップ#204:表示制御部54は、表示領域内での画像の表示倍率を変更するズーム動作を実行し、表示装置14の表示を更新する。#204でのズーム動作は、第1ズームモード(図6参照)であってもよく、第2ズームモード(図7参照)であってもよい。   Step # 204: The display control unit 54 performs a zoom operation for changing the display magnification of the image in the display area, and updates the display of the display device 14. The zoom operation in # 204 may be the first zoom mode (see FIG. 6) or the second zoom mode (see FIG. 7).

ステップ#205:表示制御部54は、画像の再生表示を終了するか否かを判定する。例えば、タイムラプス観察の最終回の画像を現在再生している場合には次回に再生する画像がないので、表示制御部54は画像の再生表示を終了すると判定する。また、再生終了の指示を受け付けた場合も、表示制御部54は画像の再生表示を終了すると判定する。   Step # 205: The display control unit 54 determines whether or not to end the reproduction display of the image. For example, when the last image of time lapse observation is currently being reproduced, there is no image to be reproduced next time, so the display control unit 54 determines to end the reproduction display of the image. Even when an instruction to end reproduction is received, the display control unit 54 determines to end reproduction display of the image.

上記要件を満たす場合(YES側)には、表示制御部54は図8の画像再生動作を終了させる。   If the above requirement is satisfied (YES side), the display control unit 54 ends the image reproduction operation of FIG.

一方、上記要件を満たさない場合(NO側)には、#201に戻って上記の動作が繰り返される。ループ後の#201の処理では、次回の観察時期の画像がCPU13aによって読み込まれる。そして、ループ後の#202の処理では、次回の観察時期の画像が表示領域に再生表示される。これにより、図5のような動画表示が行われることとなる。以上で、図8の画像再生動作の説明を終了する。   On the other hand, if the above requirement is not satisfied (NO side), the process returns to # 201 and the above operation is repeated. In the process of # 201 after the loop, the image at the next observation time is read by the CPU 13a. In the process of # 202 after the loop, an image at the next observation time is reproduced and displayed in the display area. Thereby, the moving image display as shown in FIG. 5 is performed. This is the end of the description of the image reproduction operation of FIG.

<第2実施形態の説明>
第2実施形態では、第1実施形態の顕微鏡システムで撮像された細胞の画像を外部から読み込んで、図4〜図7に示すような画像再生表示を行う例を説明する。
<Description of Second Embodiment>
In the second embodiment, an example will be described in which an image of a cell captured by the microscope system of the first embodiment is read from the outside and image reproduction display as shown in FIGS. 4 to 7 is performed.

図9は、第2実施形態の画像処理装置の構成例を示す図である。図9に示す画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。   FIG. 9 is a diagram illustrating a configuration example of the image processing apparatus according to the second embodiment. The image processing apparatus shown in FIG. 9 is a personal computer in which an image processing program is installed.

図9の画像処理装置(コンピュータ)61は、データ読込部62、記憶装置63、CPU64、メモリ65および入出力I/F66、バス67を有している。データ読込部62、記憶装置63、CPU64、メモリ65および入出力I/F66は、バス67を介して相互に接続されている。さらに、コンピュータ61には、入出力I/F66を介して、入力デバイス68(キーボード、ポインティングデバイスなど)と、表示装置の一例であるモニタ69とがそれぞれ接続されている。なお、入出力I/F66は、入力デバイス68からの各種入力を受け付けるとともに、モニタ69に対して表示用のデータを出力する。   The image processing apparatus (computer) 61 in FIG. 9 includes a data reading unit 62, a storage device 63, a CPU 64, a memory 65, an input / output I / F 66, and a bus 67. The data reading unit 62, the storage device 63, the CPU 64, the memory 65, and the input / output I / F 66 are connected to each other via a bus 67. Furthermore, an input device 68 (keyboard, pointing device, etc.) and a monitor 69 as an example of a display device are connected to the computer 61 via an input / output I / F 66. The input / output I / F 66 accepts various inputs from the input device 68 and outputs display data to the monitor 69.

データ読込部62は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部62は、着脱可能な記憶媒体からデータを取得する読込デバイス(光ディスク、磁気ディスク、光磁気ディスクの読込装置など)や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス(USBインターフェース、LANモジュール、無線LANモジュールなど)である。なお、第2実施形態でのデータ読込部62は、第1実施形態の顕微鏡システムから、画像のデータを付帯情報とともに取得する取得部として機能する。   The data reading unit 62 is used when reading image data or a program from the outside. For example, the data reading unit 62 communicates with a reading device (such as an optical disk, a magnetic disk, or a magneto-optical disk reading device) that acquires data from a removable storage medium, or an external device in accordance with a known communication standard. A communication device to perform (USB interface, LAN module, wireless LAN module, etc.). Note that the data reading unit 62 in the second embodiment functions as an acquisition unit that acquires image data together with incidental information from the microscope system of the first embodiment.

記憶装置63は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置63には、画像処理プログラムが記録される。なお、記憶装置63には、データ読込部62から読み込んだ画像のデータを記憶しておくこともできる。   The storage device 63 is configured by a storage medium such as a hard disk or a nonvolatile semiconductor memory, for example. The storage device 63 stores an image processing program. The storage device 63 can also store image data read from the data reading unit 62.

CPU64は、コンピュータの各部を統括的に制御するプロセッサである。このCPU64は、画像処理プログラムの実行によって、第1実施形態の表示制御部54として動作する。   The CPU 64 is a processor that comprehensively controls each part of the computer. The CPU 64 operates as the display control unit 54 of the first embodiment by executing the image processing program.

メモリ65は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ65は、例えば揮発性のSDRAMである。   The memory 65 temporarily stores various calculation results in the image processing program. The memory 65 is, for example, a volatile SDRAM.

なお、第2実施形態の画像処理装置での画像再生動作は、画像処理装置が細胞の画像のデータおよび付帯情報をデータ読込部62から取得する点を除いて、図8の流れ図と共通するので説明を省略する。かかる第2実施形態の画像再生動作においても、上記の第1実施形態の画像の再生動作とほぼ同様の効果を得ることができる。   The image reproduction operation in the image processing apparatus according to the second embodiment is the same as the flowchart of FIG. 8 except that the image processing apparatus acquires cell image data and supplementary information from the data reading unit 62. Description is omitted. In the image reproduction operation of the second embodiment, substantially the same effect as the image reproduction operation of the first embodiment can be obtained.

<実施形態の補足事項>
(補足1)上記実施形態での明視野画像は、位相差観察法、微分干渉観察法、偏光観察法などで撮像された画像であってもよい。また、上記実施形態において、観察対象となる被検物は細胞に限定されない。
<Supplementary items of the embodiment>
(Supplement 1) The bright field image in the above embodiment may be an image captured by a phase difference observation method, a differential interference observation method, a polarization observation method, or the like. Moreover, in the said embodiment, the test object used as observation object is not limited to a cell.

(補足2)本発明の顕微鏡は、少なくとも観察標本を設置する領域の環境(温度、湿度、酸素濃度、二酸化炭素濃度等)が一定の環境となるチャンバーを備え、培養中の生きた標本を観察可能な培養装置を備えた顕微鏡でもよい。   (Supplement 2) The microscope of the present invention includes a chamber in which the environment (temperature, humidity, oxygen concentration, carbon dioxide concentration, etc.) of the region where the observation specimen is to be placed is constant, and observes a living specimen in culture. A microscope equipped with a possible culture apparatus may be used.

図10に、培養装置を有する顕微鏡の構成例を示す。なお、図10において、図1と共通の要素には同一符号を付して重複説明は省略する。図10では、顕微鏡装置12がチャンバー70に収容される。チャンバー70の内部雰囲気は、コンピュータ13に制御された環境制御装置71によって、細胞の培養に適した環境条件(例えば、温度37℃、湿度90%、CO2濃度5%)に維持される。 FIG. 10 shows a configuration example of a microscope having a culture apparatus. In FIG. 10, elements common to those in FIG. In FIG. 10, the microscope apparatus 12 is accommodated in the chamber 70. The internal atmosphere of the chamber 70 is maintained at environmental conditions (for example, a temperature of 37 ° C., a humidity of 90%, and a CO 2 concentration of 5%) suitable for cell culture by an environment control device 71 controlled by the computer 13.

(補足3)上記実施形態では、位置調整部51、情報取得部52、追尾処理部53、表示制御部54の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明において、位置調整部51、情報取得部52、追尾処理部53、表示制御部54の機能をASICでハードウエア的に実現しても勿論かまわない。   (Supplement 3) In the above embodiment, the example in which the functions of the position adjustment unit 51, the information acquisition unit 52, the tracking processing unit 53, and the display control unit 54 are realized by software is described. However, in the present invention, of course, the functions of the position adjustment unit 51, the information acquisition unit 52, the tracking processing unit 53, and the display control unit 54 may be realized by hardware using an ASIC.

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。   From the above detailed description, features and advantages of the embodiments will become apparent. It is intended that the scope of the claims extend to the features and advantages of the embodiments as described above without departing from the spirit and scope of the right. Further, any person having ordinary knowledge in the technical field should be able to easily come up with any improvements and modifications, and there is no intention to limit the scope of the embodiments having the invention to those described above. It is also possible to use appropriate improvements and equivalents within the scope disclosed in.

1…標本、11…移動ステージ、12…顕微鏡装置、13…コンピュータ、13a…CPU、13b…メモリ、14…表示装置、15…記憶装置、16…入力装置、21…モータユニット、22…エンコーダ、31…対物レンズ、32…焦点調節機構、33…励起光照明装置、33a…調光フィルタ、34…蛍光フィルタブロック、35…第2対物レンズ、36…光路切替器、36a…ミラー、37…撮像装置、37a…撮像素子、40…透過照明装置、41…光源、42…コリメータレンズ、43…コンデンサレンズ、51…位置調整部、52…情報取得部、53…追尾処理部、54…表示制御部、61…コンピュータ、62…データ読込部、63…記憶装置、64…CPU、65…メモリ、66…入出力I/F、67…バス、68…入力デバイス、69…モニタ、70…チャンバー、71…環境制御装置
DESCRIPTION OF SYMBOLS 1 ... Specimen, 11 ... Moving stage, 12 ... Microscope apparatus, 13 ... Computer, 13a ... CPU, 13b ... Memory, 14 ... Display apparatus, 15 ... Storage device, 16 ... Input device, 21 ... Motor unit, 22 ... Encoder, DESCRIPTION OF SYMBOLS 31 ... Objective lens, 32 ... Focus adjustment mechanism, 33 ... Excitation light illuminating device, 33a ... Dimming filter, 34 ... Fluorescence filter block, 35 ... 2nd objective lens, 36 ... Optical path switch, 36a ... Mirror, 37 ... Imaging Device: 37a ... Image sensor, 40 ... Transmission illumination device, 41 ... Light source, 42 ... Collimator lens, 43 ... Condenser lens, 51 ... Position adjustment unit, 52 ... Information acquisition unit, 53 ... Tracking processing unit, 54 ... Display control unit , 61 ... Computer, 62 ... Data reading unit, 63 ... Storage device, 64 ... CPU, 65 ... Memory, 66 ... Input / output I / F, 67 ... Bus, 68 ... Input Vice, 69 ... monitor, 70 ... chamber, 71 ... environmental controls

Claims (6)

顕微鏡の対物レンズによって結像された被検物の画像を撮像する撮像部と、
前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する位置調整部と、
前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する情報取得部と、
表示装置の表示領域で、且つ前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させるとともに、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる表示制御部と、
を備える顕微鏡制御装置。
An imaging unit that captures an image of the object imaged by the objective lens of the microscope;
A position adjusting unit that adjusts the relative position between the objective lens and the test object in a direction intersecting the optical axis of the objective lens;
An information acquisition unit that acquires information on imaging coordinates in a direction intersecting with the optical axis of the objective lens when imaging the test object, in association with the image;
When only the image is displayed in the display area of the display device and at the position where the imaging coordinates are mapped in the display area , and the display magnification of the image is changed, the image between the images in the display area is displayed. A display control unit that zooms the image while maintaining a relative distance ;
A microscope control apparatus comprising:
請求項1に記載の顕微鏡制御装置において、
同じ被検物について撮像時刻が異なる複数の画像を撮像するときに、前記撮像部の撮像範囲を前記被検物の移動方向に追尾させる追尾処理部をさらに備え、
前記情報取得部は、前記撮像時刻の情報を前記画像に対応付けて取得し、
前記表示制御部は、前記撮像時刻の情報および前記撮像座標の情報を用いて、前記表示領域での前記画像の表示位置を変化させつつ、時系列に撮像された前記画像のみを撮像された時系列に従って表示させる顕微鏡制御装置。
In the microscope control apparatus according to claim 1,
A tracking processing unit for tracking the imaging range of the imaging unit in the moving direction of the test object when imaging a plurality of images with different imaging times for the same test object;
The information acquisition unit acquires the information of the imaging time in association with the image,
The display control unit uses the information on the imaging time and the information on the imaging coordinates to change the display position of the image in the display area and capture only the images captured in time series. Microscope control device that displays according to the series.
請求項に記載の顕微鏡制御装置において、
前記表示制御部は、時間軸方向での被検物の共通性を示す識別表示を前記表示領域に表示させる顕微鏡制御装置。
In the microscope control apparatus according to claim 1 ,
The said display control part is a microscope control apparatus which displays the identification display which shows the commonality of the test object in a time-axis direction on the said display area.
請求項1に記載の顕微鏡制御装置を備える顕微鏡装置。  A microscope apparatus comprising the microscope control apparatus according to claim 1. 顕微鏡の対物レンズによって結像された被検物の画像を撮像する処理と、A process of capturing an image of the object imaged by the objective lens of the microscope;
前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する処理と、  Adjusting the relative position of the objective lens and the test object in a direction intersecting the optical axis of the objective lens;
前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する処理と、  Processing for acquiring information on imaging coordinates in a direction intersecting with the optical axis of the objective lens when imaging the test object in association with the image;
表示装置の表示領域で、且つ前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる処理と、  A process of displaying only the image in a display area of the display device and a position where the imaging coordinates are mapped in the display area;
前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる処理と、  A process of zooming the image while maintaining a relative distance between the images in the display area when changing the display magnification of the image;
を顕微鏡を制御するコンピュータに実行させるプログラム。  That causes the computer that controls the microscope to execute.
顕微鏡の対物レンズによって結像された被検物の画像と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する取得部と、An acquisition unit that associates and acquires an image of an object imaged by an objective lens of a microscope and information on imaging coordinates in a direction that intersects with the optical axis of the objective lens when the object is imaged When,
表示装置の表示領域で、且つ前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させるとともに、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる表示制御部と、  When only the image is displayed in the display area of the display device and at the position where the imaging coordinates are mapped in the display area, and the display magnification of the image is changed, the image between the images in the display area is displayed. A display control unit that zooms the image while maintaining a relative distance;
を備える画像処理装置。  An image processing apparatus comprising:
JP2011189802A 2011-08-31 2011-08-31 Microscope control apparatus, microscope apparatus, image processing apparatus, and program Active JP5803442B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011189802A JP5803442B2 (en) 2011-08-31 2011-08-31 Microscope control apparatus, microscope apparatus, image processing apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011189802A JP5803442B2 (en) 2011-08-31 2011-08-31 Microscope control apparatus, microscope apparatus, image processing apparatus, and program

Publications (2)

Publication Number Publication Date
JP2013050666A JP2013050666A (en) 2013-03-14
JP5803442B2 true JP5803442B2 (en) 2015-11-04

Family

ID=48012715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011189802A Active JP5803442B2 (en) 2011-08-31 2011-08-31 Microscope control apparatus, microscope apparatus, image processing apparatus, and program

Country Status (1)

Country Link
JP (1) JP5803442B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6246551B2 (en) * 2013-10-24 2017-12-13 株式会社キーエンス Controller, microscope system, control method and program
JP6146265B2 (en) * 2013-11-07 2017-06-14 ソニー株式会社 Microscope system and autofocus method
KR101653211B1 (en) * 2014-06-30 2016-09-02 (주)나노텍 Bottom-up electron microscope
WO2018003069A1 (en) 2016-06-30 2018-01-04 オリンパス株式会社 Observation assistance apparatus and fluorescent observation system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145331A (en) * 1997-07-29 1999-02-16 Olympus Optical Co Ltd Picture processor and microscope picture processor
JP4937850B2 (en) * 2007-07-03 2012-05-23 オリンパス株式会社 Microscope system, VS image generation method thereof, and program
JP5339065B2 (en) * 2009-03-17 2013-11-13 大日本印刷株式会社 Object tracking device
JP5658451B2 (en) * 2009-11-30 2015-01-28 ソニー株式会社 Information processing apparatus, information processing method, and program thereof
EP2533092B1 (en) * 2010-02-03 2019-05-08 Nikon Corporation Observation device and observation method

Also Published As

Publication number Publication date
JP2013050666A (en) 2013-03-14

Similar Documents

Publication Publication Date Title
JP4878914B2 (en) Microscope system, microscope control method, and program
JP4937850B2 (en) Microscope system, VS image generation method thereof, and program
JP4970869B2 (en) Observation apparatus and observation method
US9013570B2 (en) Microscope and area determination method
US8830313B2 (en) Information processing apparatus, stage-undulation correcting method, program therefor
US8000560B2 (en) Virtual slide generation device, virtual slide generation method, virtual slide generation program product and virtual slide generation program transmission medium
JP5887766B2 (en) Microscope control apparatus, image processing apparatus, microscope apparatus, and program
US20070122143A1 (en) Intermittent photo-taking device
US20070064101A1 (en) Observation apparatus
JP5803442B2 (en) Microscope control apparatus, microscope apparatus, image processing apparatus, and program
US11662565B2 (en) Microscope system, projection unit, and image projection method
WO2009119329A1 (en) Method for analyzing image for cell observation, image processing program, and image processing device
US11243386B2 (en) Microscope apparatus, observation method, and microscope apparatus-control program
JP4700299B2 (en) Confocal scanning microscope
US8994806B2 (en) Microscope apparatus chronologically storing different types of image information
JP5466976B2 (en) Microscope system, observation image display method, program
US11169079B2 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
WO2015107872A1 (en) Image acquisition apparatus and control method thereof
JP2015031831A (en) Cell tracking device and method, and cell tracking program
US7954069B2 (en) Microscopic-measurement apparatus
US10627598B2 (en) Observation device, observation method, and observation device control program
JP4477714B2 (en) Simple operation microscope
US11480780B2 (en) Observation device, observation method, and observation device control program
JP5119111B2 (en) Microscope equipment
JP2010014965A (en) Living body observation apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R150 Certificate of patent or registration of utility model

Ref document number: 5803442

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250