JP4847101B2 - Microscope system - Google Patents

Microscope system Download PDF

Info

Publication number
JP4847101B2
JP4847101B2 JP2005316240A JP2005316240A JP4847101B2 JP 4847101 B2 JP4847101 B2 JP 4847101B2 JP 2005316240 A JP2005316240 A JP 2005316240A JP 2005316240 A JP2005316240 A JP 2005316240A JP 4847101 B2 JP4847101 B2 JP 4847101B2
Authority
JP
Japan
Prior art keywords
image
imaging
microscope
acquired
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005316240A
Other languages
Japanese (ja)
Other versions
JP2007121837A (en
Inventor
泰子 石井
貴 米山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005316240A priority Critical patent/JP4847101B2/en
Priority to US11/545,416 priority patent/US7929738B2/en
Priority to EP06021331A priority patent/EP1775618A3/en
Priority to EP07014992A priority patent/EP1852726A1/en
Publication of JP2007121837A publication Critical patent/JP2007121837A/en
Application granted granted Critical
Publication of JP4847101B2 publication Critical patent/JP4847101B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、顕微鏡システムに係る技術に関し、特に、観察体の顕微鏡画像の取得および取得された顕微鏡画像の表示に係る技術に関する。   The present invention relates to a technique related to a microscope system, and more particularly to a technique related to acquisition of a microscope image of an observation body and display of the acquired microscope image.

顕微鏡を用いて観察体を観察する場合、一度に観察できる範囲(観察範囲)は主に対物レンズの倍率によって決定される。ここで、高倍率の対物レンズを使用すると、その観察範囲は観察体のごく一部分に限られてくる。   When observing an observation body using a microscope, the range that can be observed at one time (observation range) is mainly determined by the magnification of the objective lens. Here, when a high-magnification objective lens is used, the observation range is limited to a very small part of the observation body.

例えば細胞や組織診といった病理診断においては、診断箇所の見落としを防止するために観察体の全体像を把握したいという要請がある。また、情報処理技術の発達により、このような病理診断においても画像の電子情報化が促進されており、ビデオカメラ等を介して取り込む顕微鏡観察像についても旧来の銀塩フィルム並の高い解像度を得たいという要請がある。   For example, in pathological diagnosis such as cell or histological diagnosis, there is a demand for grasping the entire image of an observation body in order to prevent oversight of a diagnosis part. In addition, the development of information processing technology has promoted the conversion of electronic images into images even in such pathological diagnoses. Microscopic images captured via video cameras, etc., have the same high resolution as conventional silver halide films. There is a request to want.

これらの要望を実現するために、例えば、特許文献1、2、或いは3には、予め観察体の画像を小区画に分割し、当該小区画に対応する観察体の部分を高解像度の対物レンズで撮影し、得られた小区画毎の顕微鏡画像を繋ぎ合わせることにより、観察体の画像を再構築するシステムが開示されている。このような、いわゆるバーチャル顕微鏡システムを用いれば、実際に観察体が存在しない環境でも観察体の顕微鏡観察を行うことができ、また、画像処理技術の利用により、観察体を実体観察する行為と同様の次のような観察を行うことができる。   In order to realize these demands, for example, in Patent Documents 1, 2, or 3, the image of the observation body is divided into small sections in advance, and the portion of the observation body corresponding to the small sections is a high-resolution objective lens. The system which reconstructs the image of an observation object is disclosed by connecting the microscopic images obtained for each of the small sections. By using such a so-called virtual microscope system, it is possible to perform microscopic observation of an observation object even in an environment where the observation object does not actually exist. The following observations can be made.

まず、低倍観察時には、例えば繋ぎ合わせた顕微鏡画像を縮小表示することで広画角の画像を提供する一方で、高倍観察時には、小区画毎に撮影された部分画像を表示することで高解像度の画像を提供することができる。   First, during low-magnification observation, for example, a wide-angle image is provided by reducing and displaying the connected microscope images. On the other hand, during high-magnification observation, a high-resolution image is displayed by displaying partial images taken for each small section Images can be provided.

また、観察者によるX−Y方向操作(光軸に対して垂直な面上での水平方向の移動操作)に対応させて表示中の顕微鏡画像の表示範囲を移動させることができる。
このようなシステムでは、時間の制約にとらわれることなく観察体の診断が可能であり、また、顕微鏡画像を表している画像データを各人で共有しておくことにより同時に複数の診断者が例え異なる場所に在っても同一観察体の別々の箇所を観察することができる。
Further, the display range of the microscope image being displayed can be moved in response to an XY direction operation (horizontal movement operation on a plane perpendicular to the optical axis) by the observer.
In such a system, it is possible to diagnose an observation object without being limited by time constraints, and by sharing image data representing a microscopic image with each person, a plurality of diagnosers can be different at the same time. Even in a place, it is possible to observe different parts of the same observation body.

また、観察体の実体を使用してX−Y方向操作をしながら観察を行う際には、観察体の傾きなどにより生じるピントずれを補正しなければならないが、上述したようなシステムでは、常にピントがあった状態で観察を続けることができるため、観察効率が高まり、ピントずれによる観察漏れも減り、それだけ診断の信頼性も高くなる。   Further, when performing observation while performing an XY direction operation using the substance of the observation object, it is necessary to correct the focus shift caused by the inclination of the observation object. Since the observation can be continued in a focused state, the observation efficiency is increased, the observation omission due to the focus shift is reduced, and the diagnosis reliability is increased accordingly.

また、例えば病理診断者に対する教育の際において、従来では同一の観察体を複数作成して観察実習等の教育を行う必要があったのに対し、上述したようなシステムによれば、画像データを共有化できる利点を活かし、同一の観察体画像を用いた教育が可能となる。   Also, for example, in the case of education for pathologists, conventionally, it has been necessary to create a plurality of the same observation bodies and perform education such as observation training. Utilizing the advantage of sharing, education using the same observation object image becomes possible.

更に、スライドガラスに封入した実体の観察体は、色褪せを生じさせてしまったり破損させてしまったりした場合には同じ状態のものを復元することは極めて困難であるが、画像データはバックアップが可能であるので、上述したようなシステムでは、同じ状態の観察体をいつでもどこででも観察することができる。   Furthermore, it is extremely difficult to restore the actual observation object enclosed in the slide glass if it is faded or damaged, but the image data can be backed up. Therefore, in the system as described above, an observation body in the same state can be observed anytime and anywhere.

以上のように、バーチャル顕微鏡システムは、観察体の実体を用いる顕微鏡観察に対して、効率的であって高精度であり、高い信頼性を有している。
特開平9−281405号公報 特開平10−333056号公報 特表2002−514319号公報
As described above, the virtual microscope system is efficient, highly accurate, and highly reliable for microscope observation using the substance of the observation body.
Japanese Patent Laid-Open No. 9-281405 Japanese Patent Laid-Open No. 10-333056 JP-T-2002-514319

ところで、上述のバーチャル顕微鏡システムにおいて、観察体を複数の小区画に分割したとき、各小区画における撮像対象の状態が大きく異なる場合がある。そのため、撮像対象とする複数の小区画に対し同一の撮像パラメータの下で撮像を行うと微細な画像情報が欠落する虞がある。例えば、蛍光を強く発生する核が含まれる小区画と、微弱な蛍光を発生するアクチンが含まれる小区画があるときに、核が含まれる小区画に適した撮像パラメータ(露光時間、ゲイン等)を設定し、これらの小区画を撮像した場合には、アクチンが含まれる小区画では画像情報が欠落することになる。特にバーチャル顕微鏡システムでは、実体を用いずに撮像により得られた画像データを用いてバーチャル観察を行うために、画像データとして画像情報をできる限り多く保持しておきたい。   By the way, in the above-described virtual microscope system, when the observation body is divided into a plurality of small sections, the state of the imaging target in each small section may be greatly different. For this reason, when imaging is performed under the same imaging parameters for a plurality of small sections to be imaged, fine image information may be lost. For example, when there are small sections containing nuclei that generate strong fluorescence and small sections containing actin that generates weak fluorescence, imaging parameters (exposure time, gain, etc.) suitable for the small sections containing nuclei When these small sections are imaged, image information is lost in the small sections including actin. In particular, in a virtual microscope system, in order to perform virtual observation using image data obtained by imaging without using an entity, it is desirable to retain as much image information as image data.

本発明は、上記実情に鑑み、各小区画における観察体を撮像して得た画像を繋ぎ合わせることで観察体の画像を再構築する、いわゆるバーチャル顕微鏡システムにおいて、各小区画をそれぞれ適切な撮像パラメータの下で撮像して画像情報の欠落がない画像データを取得すると共に、繋ぎ合わされた画像が、一定の撮像パラメータの下での撮像により得られた画像であるかのように表示させることができる、顕微鏡システムを提供することを目的とする。   In view of the above circumstances, the present invention is a so-called virtual microscope system that reconstructs an image of an observation body by connecting images obtained by imaging the observation body in each small section. Image data that is captured under the parameters and without image information loss is acquired, and the connected images are displayed as if they were obtained by imaging under certain imaging parameters. An object of the present invention is to provide a microscope system.

上記目的を達成するため、本発明の第1の態様に係る顕微鏡システムは、観察体が載置されるステージと、前記観察体を複数の小区画に分割する分割手段と、前記観察体の撮像時の撮像条件を設定する撮像条件設定手段と、前記撮像条件設定手段により設定された撮像条件に基づき前記小区画における前記観察体を撮像し当該小区画における画像を取得する撮像手段と、前記撮像手段が前記撮像条件設定手段により設定された撮像条件に基づき前記小区画における前記観察体を撮像した時の撮像パラメータを取得する撮像パラメータ取得手段と、前記小区画毎に、前記撮像パラメータ取得手段により取得された撮像パラメータを記録する撮像パラメータ記録手段と、前記撮像手段により取得された隣り合う前記小区画における画像を繋ぎ合わせる画像合成手段と、画像を表示する画像表示手段と、画像の表示範囲を指定する画像表示範囲指定手段と、前記撮像パラメータ取得手段により取得された前記小区画における撮像時の撮像パラメータに基づいて、前記撮像手段により取得された隣り合う前記小区画における画像から得られた画像に対し、当該画像が一定の撮像パラメータの下での撮像により得られた画像であるかのように表現されるように第1の画像処理を行う画像処理手段と、を有し、前記画像処理手段は、前記撮像パラメータ記録手段に記録された小区画毎の撮像パラメータに基づいて、前記画像表示範囲指定手段により指定された表示範囲の画像のみに対し、前記第1の画像処理を行うことを特徴とする。 To achieve the above object, the microscope system according to the first aspect of the present invention includes a stage observations body is placed, a dividing means for dividing the specimen into a plurality of small compartments, the observation body Imaging condition setting means for setting imaging conditions at the time of imaging, imaging means for imaging the observation body in the small section based on the imaging conditions set by the imaging condition setting means, and acquiring an image in the small section; An imaging parameter acquisition unit that acquires imaging parameters when the imaging unit images the observation object in the small section based on the imaging condition set by the imaging condition setting unit; and the imaging parameter acquisition unit for each small section an imaging parameter recording means for recording imaging parameters acquired by, Awa connecting the image in the small compartment adjacent obtained by the image pickup means That the image synthesizing means, image display means for displaying an image, and the image display range designating means for designating a display range of the image, based on the imaging parameters at the time of imaging in has been the cubicle acquired by the imaging parameter acquisition means The image obtained from the image in the adjacent small section acquired by the imaging unit is expressed as if the image is an image obtained by imaging under a certain imaging parameter. And image processing means for performing first image processing, wherein the image processing means is designated by the image display range designation means based on the imaging parameters for each of the small sections recorded in the imaging parameter recording means. The first image processing is performed only on an image in the displayed range .

また、本発明の第の態様に係る顕微鏡システムは、上記第1の態様において、前記撮像手段は、前記小区画毎に、前記撮像条件設定手段により設定された撮像条件に基づき当該小区画における前記観察体を異なる撮像パラメータの下で複数回撮像し当該小区画における画像を複数取得する、ことを特徴とする。
The microscope system according to a second aspect of the present invention is the microscope system according to the first aspect, wherein the imaging unit is configured to set, for each of the small sections, in the small section based on the imaging condition set by the imaging condition setting unit. The observation object is imaged a plurality of times under different imaging parameters, and a plurality of images in the small section are acquired.

本発明によれば、各小区画における観察体を撮像して得た画像を繋ぎ合わせることで観察体の画像を再構築する、いわゆるバーチャル顕微鏡システムにおいて、各小区画をそれぞれ適切な撮像パラメータの下で撮像することにより画像情報の欠落がない画像データを取得することができる。また、繋ぎ合わされた画像の各小区画における画像が異なる撮像パラメータの下で得られたものであっても、その各小区画における画像ごとに撮像時の撮像パラメータが保持されているので、その撮像パラメータに基づく画像処理により、当該繋ぎ合わされた画像を一定の撮像パラメータの下での撮像により得られた画像であるかのように表示させることができる。   According to the present invention, in a so-called virtual microscope system in which an image of an observation object is reconstructed by connecting images obtained by imaging the observation objects in the respective small sections, each of the small sections is subjected to an appropriate imaging parameter. By capturing an image, it is possible to obtain image data that is free of image information. Even if the images in each subsection of the connected images are obtained under different imaging parameters, the imaging parameters at the time of imaging are held for each image in each subsection. By the image processing based on the parameters, the connected images can be displayed as if they were images obtained by imaging under a certain imaging parameter.

また、その画像処理の範囲を例えば表示範囲に限ることにより、その表示範囲に含まれる小区画における画像(画像データ)が保持する画像情報を、より多く表示させることができる。   Further, by limiting the image processing range to, for example, the display range, more image information held by the image (image data) in the small section included in the display range can be displayed.

以下、図面を参照しながら本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の実施例1に係る顕微鏡システムの構成例を示す図である。
同図において、顕微鏡装置1には、透過観察用光学系として、透過照明用光源6と、透過照明用光源6の照明光を集光するコレクタレンズ7と、透過用フィルタユニット8と、透過視野絞り9と、透過開口絞り10と、コンデンサ光学素子ユニット11と、トップレンズユニット12とが備えられている。また、落射観察光学系として、落射照明用光源13と、コレクタレンズ14と、落射用フィルタユニット15と、落射シャッタ16と、落射視野絞り17と、落射開口絞り18とが備えられている。
FIG. 1 is a diagram illustrating a configuration example of a microscope system according to Embodiment 1 of the present invention.
In the drawing, a microscope apparatus 1 includes a transmission illumination light source 6, a collector lens 7 that collects illumination light from the transmission illumination light source 6, a transmission filter unit 8, and a transmission field as an optical system for transmission observation. A diaphragm 9, a transmission aperture diaphragm 10, a condenser optical element unit 11, and a top lens unit 12 are provided. The epi-illumination observation optical system includes an epi-illumination light source 13, a collector lens 14, an epi-illumination filter unit 15, an epi-illumination shutter 16, an epi-illumination field stop 17, and an epi-illumination aperture stop 18.

また、これらの透過観察用光学系の光路と落射観察用光学系の光路とが重なる観察光路上には、観察体19が載置される、上下左右各方向に移動可能な電動ステージ20が備えられている。この電動ステージ20の移動の制御はステージX−Y駆動制御部21とステージZ駆動制御部22とによって行われる。なお、電動ステージ20は原点センサによる原点検出機能(不図示)を有しており、電動ステージ20に載置した観察体19の各部に対して座標を設定することができる。   In addition, on the observation optical path where the optical path of the transmission observation optical system and the optical path of the epi-illumination observation optical system overlap, an electric stage 20 on which the observation body 19 is placed and movable in the vertical and horizontal directions is provided. It has been. The movement control of the electric stage 20 is performed by the stage XY drive control unit 21 and the stage Z drive control unit 22. The electric stage 20 has an origin detection function (not shown) by an origin sensor, and coordinates can be set for each part of the observation body 19 placed on the electric stage 20.

また、観察光路上には、複数装着された対物レンズ23a、23b、…(以下、必要に応じて「対物レンズ23」と総称する)から観察に使用するものを回転動作により選択するレボルバ24と、観察方法(検鏡法)を切り替えるキューブユニット25と、観察光路を接眼レンズ26側とビデオカメラ3側とに分岐するビームスプリッタ27とが備えられている。更に、微分干渉観察用のポラライザー28、DIC(Differential Interference Contrast)プリズム29、及びアナライザー30は観察光路に挿入可能となっている。なお、これらの各ユニットは電動化されており、その動作は後述する顕微鏡コントローラ31によって制御される。   In addition, a revolver 24 that selects a plurality of objective lenses 23a, 23b,... (Hereinafter collectively referred to as “objective lens 23” as necessary) to be used for observation on the observation optical path by a rotating operation. A cube unit 25 for switching the observation method (spectroscopic method) and a beam splitter 27 for branching the observation optical path to the eyepiece 26 side and the video camera 3 side are provided. Further, a polarizer 28 for differential interference observation, a DIC (Differential Interference Contrast) prism 29, and an analyzer 30 can be inserted into the observation optical path. Each of these units is motorized, and its operation is controlled by a microscope controller 31 described later.

ホストシステム2に接続された顕微鏡コントローラ31は、顕微鏡装置1全体の動作を制御する機能を有するものであり、ホストシステム2からの制御信号に応じ、キューブユニット25やレボルバ24の制御や透過照明用光源6及び落射照明用光源13の調光を行うと共に、現在の顕微鏡装置1による観察状態(検鏡状態)をホストシステム2へ送出する機能を有している。また、顕微鏡コントローラ31はステージX−Y駆動制御部21及びステージZ駆動制御部22にも接続されており、電動ステージ20の制御もホストシステム2で行うことができる。   The microscope controller 31 connected to the host system 2 has a function of controlling the entire operation of the microscope apparatus 1, and controls the cube unit 25 and the revolver 24 and transmits illumination according to a control signal from the host system 2. The light source 6 and the epi-illumination light source 13 are dimmed and have a function of sending the current observation state (microscopic state) by the microscope apparatus 1 to the host system 2. The microscope controller 31 is also connected to the stage XY drive control unit 21 and the stage Z drive control unit 22, and the electric stage 20 can also be controlled by the host system 2.

ビデオカメラ3によって撮像された観察体19の顕微鏡画像は、ビデオボード32を介してホストシステム2に取り込まれる。ホストシステム2は、カメラコントローラ33を介してビデオカメラ3に対して、自動ゲイン制御のON/OFF、ゲイン設定、自動露出制御のON/OFF、及び露光時間設定などの撮像条件設定機能を有する。また、ホストシステム2は、ビデオカメラ3から送られてきた顕微鏡画像とカメラコントローラ33から送られてきた撮像パラメータとを画像データファイルとしてデータ記録部4に保存することができる。データ記録部4に記録された画像データはホストシステム2によって読み出され、当該画像データで表される顕微鏡画像を、表示部であるモニター5に表示させることができる。   A microscope image of the observation body 19 captured by the video camera 3 is taken into the host system 2 via the video board 32. The host system 2 has imaging function setting functions such as automatic gain control ON / OFF, gain setting, automatic exposure control ON / OFF, and exposure time setting for the video camera 3 via the camera controller 33. In addition, the host system 2 can store the microscope image sent from the video camera 3 and the imaging parameters sent from the camera controller 33 in the data recording unit 4 as an image data file. The image data recorded in the data recording unit 4 is read by the host system 2, and a microscope image represented by the image data can be displayed on the monitor 5 which is a display unit.

更に、ホストシステム2は、ビデオカメラ3によって撮像された画像のコントラストに基づいて合焦動作を行う、いわゆるビデオAF機能も提供する。
尚、ホストシステム2は、制御プログラムの実行によって顕微鏡システム全体の動作制御を司るCPU(中央演算装置)と、このCPUが必要に応じてワークメモリとして使用するメインメモリと、マウスやキーボード等といったユーザからの各種の指示(例えば撮像条件設定指示等)を取得するための入力部と、この顕微鏡システムの各構成要素との間で各種データの授受を管理するインタフェースユニットと、各種のプログラムやデータを記憶しておく例えばハードディスク装置などの補助記憶装置とを有する、ごく標準的な構成のコンピュータである。
Furthermore, the host system 2 also provides a so-called video AF function that performs a focusing operation based on the contrast of an image captured by the video camera 3.
The host system 2 includes a CPU (central processing unit) that controls the operation of the entire microscope system by executing a control program, a main memory used as a work memory by the CPU, and a user such as a mouse and a keyboard. An input unit for acquiring various instructions (for example, imaging condition setting instructions, etc.), an interface unit for managing the exchange of various data between each component of the microscope system, various programs and data The computer has a very standard configuration having an auxiliary storage device such as a hard disk device for storage.

次に、この顕微鏡システムの動作について説明する。
まず、図1に示した顕微鏡システムにて観察体19の顕微鏡画像データを取得する処理を説明する。
Next, the operation of this microscope system will be described.
First, the process of acquiring the microscope image data of the observation body 19 with the microscope system shown in FIG. 1 will be described.

図2は、ホストシステム2によって行われる、その顕微鏡画像データ取得処理の処理内容を示すフローチャートである。尚、この処理は、ホストシステム2のCPUが所定の制御プログラムを実行することによって実現され開始される。また、この処理において、ユーザの指示や操作は、ホストシステム2が有する不図示の入力部に対して行われるものとする。   FIG. 2 is a flowchart showing the contents of the microscope image data acquisition process performed by the host system 2. This process is realized and started when the CPU of the host system 2 executes a predetermined control program. In this process, it is assumed that a user instruction or operation is performed on an input unit (not shown) of the host system 2.

同図において、まず、S101では、観察体19の観察における撮像条件の設定指示をユーザから取得する処理が行われる。尚、撮像条件の設定としては、自動ゲイン制御のON/OFF、ゲイン設定、自動露出制御のON/OFF、及び露光時間設定などがあり、取得する画像毎の情報量を多くする場合には、取得する画像毎に例えば露光時間等を適切にするために、自動露出制御やマニュアル露出制御が行われる設定にすることが望ましい。本実施例では、このS101にて、自動露出制御が行われる設定指示が取得されたものとする。   In the figure, first, in S101, processing for obtaining an imaging condition setting instruction for observing the observation body 19 from a user is performed. Note that the imaging condition settings include automatic gain control ON / OFF, gain setting, automatic exposure control ON / OFF, and exposure time setting. When the amount of information for each acquired image is increased, For example, in order to appropriately set an exposure time or the like for each acquired image, it is desirable to set automatic exposure control or manual exposure control. In this embodiment, it is assumed that a setting instruction for performing automatic exposure control is acquired in S101.

S102では、顕微鏡コントローラ31へ指示を与え、レボルバ24を回転させて低倍の対物レンズ23aを選択させる処理が行われる。
S103では、このときにビデオカメラ3で撮像されている観察体19の顕微鏡画像のコントラストなどに基づいた合焦動作のための制御処理が行われる。
In S102, an instruction is given to the microscope controller 31, and the revolver 24 is rotated to select the low-magnification objective lens 23a.
In S103, control processing for the focusing operation based on the contrast of the microscope image of the observation body 19 captured by the video camera 3 at this time is performed.

S104では、カメラコントローラ33へ指示を与え、観察体19の全体像をビデオカメラ3で撮像させる処理が行われる。
S105では、前ステップでの撮像によって得られた低解像度の顕微鏡画像をビデオカメラ3からホストシステム2へビデオボード32を介して取り込む処理が行われる。
In S <b> 104, an instruction is given to the camera controller 33, and a process for capturing the entire image of the observation body 19 with the video camera 3 is performed.
In S <b> 105, a process of taking in the low-resolution microscope image obtained by the imaging in the previous step from the video camera 3 to the host system 2 via the video board 32 is performed.

S106では、前ステップで取り込まれた低解像度の顕微鏡画像に対し、高倍の対物レンズ23bを用いた観察体19の撮像時における視野(画角)領域に相当する小区画(以下「メッシュ」という)を定義する処理が行われる。本実施例では、l×n(l行n列)の矩形のメッシュを定義するものとする。尚、定義された各メッシュには一意に座標が付与される。   In S106, a small section (hereinafter referred to as “mesh”) corresponding to a field-of-view (view angle) region at the time of imaging of the observation body 19 using the high-magnification objective lens 23b with respect to the low-resolution microscope image captured in the previous step. The process of defining is performed. In the present embodiment, a rectangular mesh of l × n (l rows and n columns) is defined. A coordinate is uniquely assigned to each defined mesh.

S107では、前ステップで定義されたメッシュによって分割された低解像度の顕微鏡画像の各部分領域に観察体19の部分の画像が含まれているかを判別し、高倍の対物レンズ23bを用いた撮像を行う対象のメッシュ(以下「撮像対象メッシュ」という)を決定する処理が行われる。この判別は、例えば、隣接画素の差分を算出することによって得られる観察体19の輪郭像(コントラスト像)の有無や、各メッシュの画像の色彩などに基づいて行うことができる。   In S107, it is determined whether each partial region of the low-resolution microscope image divided by the mesh defined in the previous step includes an image of the portion of the observation body 19, and imaging using the high-magnification objective lens 23b is performed. Processing for determining a mesh to be performed (hereinafter referred to as “image capturing target mesh”) is performed. This determination can be made based on, for example, the presence or absence of a contour image (contrast image) of the observation body 19 obtained by calculating the difference between adjacent pixels, the color of each mesh image, and the like.

S108では、顕微鏡コントローラ31へ指示を与え、レボルバ24を回転させて高倍の対物レンズ23bを選択させる処理が行われる。
S109では、S107にて決定された撮像対象メッシュのうち、撮像を未だ行っていないものが残されているか否かを判定する処理が行われる。ここで、その判定結果がYesの場合にはS110へ処理が進む。
In S108, an instruction is given to the microscope controller 31, and the revolver 24 is rotated to select the high-magnification objective lens 23b.
In S109, processing is performed to determine whether or not there remains an imaging target mesh determined in S107 that has not been captured yet. Here, if the determination result is Yes, the process proceeds to S110.

S110では、顕微鏡コントローラ31へ指示を与え、未撮像である撮像対象メッシュの領域に表されている観察体19の部分が対物レンズ23bの直下に位置するように電動ステージ20を移動させる処理が行われる。   In S110, an instruction is given to the microscope controller 31, and the electric stage 20 is moved so that the portion of the observation body 19 represented in the area of the imaging target mesh that has not been imaged is positioned directly below the objective lens 23b. Is called.

S111では、このときにビデオカメラ3で撮像されている観察体19の顕微鏡画像のコントラストに基づいた合焦動作のための制御処理が行われる。
S112では、顕微鏡コントローラ31へ指示を与え、ビデオカメラ3による撮像の処理が行われる。この際の撮像条件は、自動露出制御により、撮像対象であるメッシュ領域に対して最適な露出に設定される。
In S111, control processing for the focusing operation based on the contrast of the microscope image of the observation body 19 captured by the video camera 3 at this time is performed.
In S112, an instruction is given to the microscope controller 31, and an imaging process by the video camera 3 is performed. The imaging condition at this time is set to an optimum exposure for the mesh area to be imaged by automatic exposure control.

S113では、前ステップでの撮像によって得られた高解像度顕微鏡画像をビデオカメラ3からホストシステム2へビデオボード32を介して取り込むと共に、前ステップでの撮像時の撮像パラメータ(ビデオカメラ3のゲインや露光時間等)をカメラコントローラ33から取り込む処理が行われる。   In S113, the high-resolution microscope image obtained by the imaging in the previous step is captured from the video camera 3 to the host system 2 via the video board 32, and the imaging parameters at the time of the imaging in the previous step (such as the gain of the video camera 3). The exposure time is taken in from the camera controller 33.

S113の後は、S109へ処理が戻り、上述の処理が繰り返される。すなわち、これによって、S107にて決定された撮像対象メッシュ毎に、高解像度顕微鏡画像及び撮像時の撮像パラメータが取得される。   After S113, the process returns to S109, and the above-described process is repeated. That is, as a result, the high-resolution microscope image and the imaging parameters at the time of imaging are acquired for each imaging target mesh determined in S107.

一方、S109の判定において、その判定結果がNoの場合、すなわち、全ての撮像対象メッシュについての撮像を済ませたと判定された場合には、S114へ処理が進む。
S114では、取得された各撮像対象メッシュにおける高解像度顕微鏡画像において、隣り合う撮像対象メッシュにおける高解像度顕微鏡画像を繋ぎ合わせて、観察体19の全体が表わされている高解像度広画角顕微鏡画像を作成する処理が行われる。
On the other hand, in the determination of S109, if the determination result is No, that is, if it is determined that all the imaging target meshes have been imaged, the process proceeds to S114.
In S114, in the acquired high resolution microscopic image in each imaging target mesh, the high resolution microscopic image in the adjacent imaging target mesh is connected, and the high resolution wide angle microscope image showing the entire observation body 19 is represented. Processing to create is performed.

S115では、前ステップにて作成された高解像度広画角顕微鏡画像と、上記S105にて取り込まれた低解像度の顕微鏡画像と、上記S113にて取り込まれた各撮像対象メッシュにおける、高解像度顕微鏡画像及びその撮像時の撮像パラメータとを、1つの画像データファイルとして統合する処理が行われる。   In S115, the high-resolution wide-angle microscope image created in the previous step, the low-resolution microscope image captured in S105, and the high-resolution microscope image in each imaging target mesh captured in S113. And the imaging parameter at the time of the imaging is integrated as one image data file.

S116では、前ステップにて統合された画像データファイルをデータ記録部4に記録する処理が行われる。
以上、この顕微鏡画像データ取得処理によれば、全ての撮像対象メッシュが一律に同一の撮像パラメータの下で撮像されるではなく、各撮像対象メッシュがそれぞれ適切な撮像パラメータの下で撮像されるようになるので、撮像対象メッシュ毎の高解像度顕微鏡画像として、画像情報の欠落のない画像を得ることができる。
In S116, a process of recording the image data file integrated in the previous step in the data recording unit 4 is performed.
As described above, according to this microscope image data acquisition process, not all of the imaging target meshes are uniformly imaged under the same imaging parameters, but each imaging target mesh is imaged under appropriate imaging parameters. Therefore, an image without missing image information can be obtained as a high-resolution microscope image for each imaging target mesh.

図3は、この顕微鏡画像データ取得処理により作成された高解像度広画角顕微鏡画像の一例を示す図である。但し、同図は、S106で定義された全てのメッシュを撮像対象メッシュとした場合の例を示している。   FIG. 3 is a diagram showing an example of a high-resolution wide-angle microscope image created by this microscope image data acquisition process. However, this figure shows an example in which all meshes defined in S106 are taken as imaging target meshes.

同図に示した高解像度広画角顕微鏡画像は、メッシュM(1,1)〜メッシュM(l,n)(但し、同図ではl=6,n=12)の各撮像対象メッシュにおける高解像度顕微鏡画像を繋ぎ合わせた画像である。   The high-resolution wide-angle microscope image shown in the figure is the height of each of the imaging target meshes of mesh M (1, 1) to mesh M (l, n) (l = 6, n = 12 in the figure). It is the image which connected the resolution microscope image.

尚、同図の例の場合、メッシュM(4,9)及びメッシュM(4,10)における観察体19の部分には輝度値の高い核が存在し、メッシュM(5,9)及びメッシュM(5,10)における観察体19の部分には核が存在せず、その様子は、同図の太線で囲むA領域の画像に表されている。   In the case of the example shown in the figure, a nucleus having a high luminance value exists in the portion of the observation body 19 in the mesh M (4, 9) and the mesh M (4, 10). The nucleus does not exist in the portion of the observation body 19 in M (5, 10), and this state is shown in the image of the A region surrounded by the thick line in FIG.

図4(a),(b) は、そのA領域に対応する、メッシュM(4,9)、メッシュM(4,10)、メッシュM(5,9)、及びメッシュM(5,10)の各メッシュにおける高解像度顕微鏡画像が繋ぎ合わされた画像を示す図である。但し、同図(a) は全ての撮像対象メッシュを階調値が飽和しないように同一の撮像パラメータの下で撮像したときに得られた画像であり、同図(b) は、撮像対象メッシュ毎に階調値が飽和しないようにそれぞれ適切な撮像パラメータの下で撮像したときに得られた画像、すなわち、上記図2に示した処理によって得られた画像である。   4A and 4B show mesh M (4, 9), mesh M (4, 10), mesh M (5, 9), and mesh M (5, 10) corresponding to the A region. It is a figure which shows the image by which the high-resolution microscope image in each mesh of these was connected. However, Figure (a) is an image obtained when all the target meshes are imaged under the same imaging parameters so that the gradation values are not saturated, and (b) is an image target mesh. This is an image obtained when images are captured under appropriate imaging parameters so that the gradation value is not saturated every time, that is, an image obtained by the processing shown in FIG.

同図(a)(b) の画像を比較すると、メッシュM(5,9)及びメッシュM(5,10)における画像の情報量が大きく異なることが確認できる。これは、撮像対象メッシュ毎にそれぞれ適切な撮像パラメータの下で撮像することによって、全ての撮像対象メッシュを同一の撮像パラメータの下で撮像することにより欠落してしまう画像情報を欠落することなく保持することができるからである。このように、この顕微鏡画像データ取得処理によれば、画像情報の欠落のない画像を得ることができる。   Comparing the images in FIGS. 5A and 5B, it can be confirmed that the information amounts of the images in the mesh M (5, 9) and the mesh M (5, 10) are greatly different. This means that by capturing images under appropriate imaging parameters for each imaging target mesh, image information that is lost due to imaging of all the imaging target meshes under the same imaging parameters is retained without being lost. Because it can be done. Thus, according to this microscope image data acquisition process, an image without missing image information can be obtained.

尚、本実施例に係る顕微鏡画像データ取得処理において、S101における撮像条件設定として、上述の自動露出制御やマニュアル露出制御の設定だけでなく、撮像対象メッシュ毎に短い露出時間で撮像し画像情報を積分する設定や、数パターンの露出時間で撮像する設定等を行うようにすることもできる。これによっても、画像情報の欠落のない画像を得ることができる。   In the microscope image data acquisition process according to the present embodiment, as the imaging condition setting in S101, not only the above-described automatic exposure control and manual exposure control settings but also image information obtained by imaging with a short exposure time for each imaging target mesh. It is also possible to perform settings such as integration or settings for imaging with several exposure times. This also makes it possible to obtain an image with no missing image information.

次に、上述した顕微鏡画像データ取得処理の実行によってデータ記録部4に記録された画像データファイルにより表される顕微鏡画像のバーチャル観察を行うべく、モニター5にその顕微鏡画像を再生表示させるための処理を説明する。   Next, a process for reproducing and displaying the microscope image on the monitor 5 in order to perform virtual observation of the microscope image represented by the image data file recorded in the data recording unit 4 by executing the microscope image data acquisition process described above. Will be explained.

図5は、ホストシステム2によって行われる、その顕微鏡画像再生表示処理の処理内容を示すフローチャートである。尚、この処理は、ホストシステム2のCPUが所定の制御プログラムを実行することによって実現され開始される。また、この処理において、ユーザの指示や操作は、ホストシステム2が有する不図示の入力部に対して行われるものとする。   FIG. 5 is a flowchart showing the contents of the microscope image reproduction display process performed by the host system 2. This process is realized and started when the CPU of the host system 2 executes a predetermined control program. In this process, it is assumed that a user instruction or operation is performed on an input unit (not shown) of the host system 2.

同図において、まず、S151では、ユーザからの指示に応じて、データ記録部4に記録されている、顕微鏡画像が統合されている画像データファイルを読み出し、これに統合されている顕微鏡画像のうち、低解像度の顕微鏡画像をマクロ画像としてモニター5に表示させる処理が行われる。   In the figure, first, in S151, in response to an instruction from the user, an image data file integrated with a microscope image, which is recorded in the data recording unit 4, is read out, and among the microscope images integrated therein, Then, a process of displaying a low-resolution microscope image on the monitor 5 as a macro image is performed.

S152では、前ステップで読み出された画像データファイルに統合されている各撮像対象メッシュにおける撮像パラメータ(例えば露出時間等)が異なるか否かを判定する。ここで、その判定結果がYesの場合にはS153へ処理が進み、Noの場合にS153をスキップする。   In S152, it is determined whether or not the imaging parameters (for example, exposure time and the like) in each imaging target mesh integrated in the image data file read in the previous step are different. If the determination result is Yes, the process proceeds to S153, and if No, S153 is skipped.

この判定において、撮像対象メッシュにおける撮像パラメータが異なる場合には、撮像対象メッシュ間における高解像度顕微鏡画像の輝度情報を相対的に観察することができない。そこで、その場合には、それを相対的に観察できるように次のS153の処理を行う。   In this determination, when the imaging parameters of the imaging target mesh are different, the luminance information of the high-resolution microscope image between the imaging target meshes cannot be relatively observed. Therefore, in this case, the next processing of S153 is performed so that it can be relatively observed.

すなわち、S153では、S151で読み出された画像データファイルに統合されている各撮像対象メッシュにおける撮像パラメータ(例えば露出時間やゲイン等)に基づいて、その画像データファイルに統合されている高解像度広画角顕微鏡画像に対し、当該画像が一定の撮像パラメータの下での撮像により得られた画像(全ての撮像対象メッシュを同一の撮像パラメータの下で撮像したときに得られる高解像度顕微鏡画像が繋ぎ合わされて作成された画像)であるかのように表現されるように画像処理(例えば階調の正規化に係る画像処理)を行い、これをホストシステム2の所定の作業記憶領域に一時的に保存する処理が行われる。ここで保存される画像を、以下単に「第1の顕微鏡画像」という。   That is, in S153, based on the imaging parameters (for example, exposure time and gain) in each imaging target mesh integrated in the image data file read out in S151, the high-resolution wide image integrated in the image data file. An image obtained by imaging under a certain imaging parameter to the angle of view microscope image (a high-resolution microscope image obtained when all the imaging target meshes are imaged under the same imaging parameter is connected. Image processing (for example, image processing related to gradation normalization) so that the image is expressed as if it were a combined image, and this is temporarily stored in a predetermined working storage area of the host system 2 Processing to save is performed. The image stored here is hereinafter simply referred to as “first microscope image”.

尚、本実施例では、このような画像処理を、各撮像対象メッシュにおける撮像パラメータに基づき行うが、例えば、高解像度広画角顕微鏡画像における各撮像対象メッシュ間の繋ぎ合わせ位置の階調値を取得し、その階調値に基づいて補正を行うことにより行うようにしてもよく、その他、同様の効果が得られるものであれば何れの処理方法を用いてもよい。また、このような画像処理を、各撮像対象メッシュにおける高解像度顕微鏡画像を繋ぎ合わせる時(図2のS115)に、行うようにしてもよい。また、本実施例において、この第1の顕微鏡画像も、上記の画像データファイルに統合するようにしても良い。   In this embodiment, such image processing is performed based on the imaging parameters in each imaging target mesh. For example, the gradation value of the joining position between each imaging target mesh in the high-resolution wide-angle microscope image is obtained. The processing may be performed by obtaining and correcting based on the gradation value, and any other processing method may be used as long as the same effect can be obtained. Further, such image processing may be performed when the high-resolution microscope images in the respective imaging target meshes are joined (S115 in FIG. 2). In the present embodiment, the first microscope image may also be integrated into the image data file.

S153では、また、この第1の顕微鏡画像の階調範囲が、モニター5が表示可能な階調範囲(以下単に「表示階調範囲」という)を超えていた場合に限り、更に、その第1の顕微鏡画像に対し、当該画像の階調範囲が表示階調範囲で表現されるように階調値を圧縮する画像処理を行い、これをホストシステム2の所定の作業記憶領域に一時的に保存する処理も行われる。ここで保存される画像を、以下単に「第2の顕微鏡画像」という。   In S153, only when the gradation range of the first microscope image exceeds the gradation range that can be displayed by the monitor 5 (hereinafter simply referred to as “display gradation range”), the first microscope image is further displayed. Image processing for compressing the gradation value so that the gradation range of the image is expressed in the display gradation range is temporarily stored in a predetermined working storage area of the host system 2 Is also performed. The image stored here is hereinafter simply referred to as “second microscope image”.

S154では、ユーザによるバーチャル観察における対物レンズ23の選択内容を取得する処理が行われる。
S155では、S152がYesであった場合にS153にて得られた第2の顕微鏡画像(但し第2の顕微鏡画像が取得されていない場合には第1の顕微鏡画像)から、或いは、S152がNoであった場合にS151にて読み出された画像データファイルに統合されている高解像度広画角顕微鏡画像から、S154にて取得された選択内容に係る対物レンズ23に対応する解像度の顕微鏡画像(その選択内容に係る対物レンズ23での観察体19の撮像により得られる顕微鏡画像に対応する顕微鏡画像)を、リサイズ処理等の画像処理により取得して、これをホストシステム2の所定の作業記憶領域に一時的に保存する処理が行われる。ここで保存される画像を、以下単に「第3の顕微鏡画像」という。
In S154, processing for acquiring the selection contents of the objective lens 23 in the virtual observation by the user is performed.
In S155, when S152 is Yes, from the second microscope image obtained in S153 (or the first microscope image when the second microscope image is not acquired), or S152 is No. In the case of, from the high-resolution wide-angle microscope image integrated in the image data file read out in S151, a microscope image having a resolution corresponding to the objective lens 23 related to the selected content acquired in S154 ( A microscopic image corresponding to a microscopic image obtained by imaging the observation body 19 with the objective lens 23 according to the selected content is acquired by image processing such as resizing processing, and this is acquired as a predetermined work storage area of the host system 2 Is temporarily stored. The image stored here is hereinafter simply referred to as “third microscope image”.

S156では、前ステップにて取得された第3の顕微鏡画像から、S152にて取得された選択内容に係る対物レンズ23の倍率に対応する範囲の画像を取得し、これを上記のマクロ画像の部分拡大画像として当該マクロ画像と並べてモニター5に表示させる処理が行われる。これにより、ユーザは、表示されている顕微鏡画像を見てバーチャル観察を行うことができる。   In S156, an image in a range corresponding to the magnification of the objective lens 23 according to the selection content acquired in S152 is acquired from the third microscope image acquired in the previous step, and this is the portion of the macro image described above. A process of displaying the enlarged image along with the macro image on the monitor 5 is performed. Thereby, the user can perform virtual observation by looking at the displayed microscope image.

S157では、ユーザによる階調範囲(ゲイン)を指定する操作(例えば階調範囲の上下限等を指定する操作)を、ホストシステム2が検出したか否かを判定する処理が行われる。ここで、その判定結果がYesの場合にはS158へ処理が進み、Noの場合にはS158をスキップする。   In S157, a process for determining whether or not the host system 2 has detected an operation for designating a gradation range (gain) by the user (for example, an operation for designating the upper and lower limits of the gradation range) is performed. If the determination result is Yes, the process proceeds to S158, and if it is No, S158 is skipped.

S158では、モニター5に部分拡大画像として表示されている画像において、当該画像における前ステップで検出された操作により指定された階調範囲(ゲイン)が表示階調範囲で表現されるように、S152がYesであった場合にS153にてホストシステム2の所定の作業記憶領域に一時的に保存されている第1の顕微鏡画像に対する画像処理によって、或いは、S152がNoであった場合にS151にて読み出された画像データファイルに統合されている高解像度広画角顕微鏡画像に対する画像処理によって、そのように表現された画像を取得し、当該画像を、モニター5に表示させる部分拡大画像として切り替え表示する処理が行われる。   In S158, in the image displayed as the partially enlarged image on the monitor 5, the gradation range (gain) designated by the operation detected in the previous step in the image is expressed in the display gradation range. Is Yes, by image processing on the first microscope image temporarily stored in the predetermined work storage area of the host system 2 at S153, or when S152 is No, at S151 An image expressed as such is acquired by image processing on a high-resolution wide-angle microscope image integrated in the read image data file, and the image is switched and displayed as a partially enlarged image to be displayed on the monitor 5 Processing is performed.

これにより、例えばS152がYesの場合に、S153にて表示階調範囲で表現されるように第1の顕微鏡画像に対し階調値の圧縮(画像処理)が行われたとしても、S158では、その階調値の圧縮を行った後の第2の顕微鏡画像に対し階調値の伸張(画像処理)を行うのではなく、その階調値の圧縮を行う前の第1の顕微鏡画像に対し階調値の伸張(画像処理)を行うようにすることによって、より多くの画像情報を表示させることができ、より詳細に画像を観察することが可能になる。   Thereby, for example, when S152 is Yes, even if gradation value compression (image processing) is performed on the first microscope image so as to be expressed in the display gradation range in S153, in S158, Rather than performing tone value expansion (image processing) on the second microscope image after the gradation value compression, the first microscope image before the gradation value compression is performed. By expanding the gradation value (image processing), more image information can be displayed, and the image can be observed in more detail.

S159では、ユーザによるX−Y位置の移動操作、すなわち、モニター5に上記の部分拡大画像として表示させる観察体19の表示部位の移動のための操作を、ホストシステム2が検出したか否かを判定する処理が行われる。ここで、その判定結果がYesの場合には、S160へ処理が進む。   In S159, it is determined whether or not the host system 2 has detected an operation for moving the XY position by the user, that is, an operation for moving the display part of the observation body 19 displayed on the monitor 5 as the partial enlarged image. A determination process is performed. Here, if the determination result is Yes, the process proceeds to S160.

S160では、上述のS155若しくは後述のS162にてホストシステム2の所定の作業記憶領域に一時的に保存されている第3の顕微鏡画像が参照され、当該顕微鏡画像における、部分拡大画像としてモニター5に表示させる表示範囲を、前ステップにて検出された移動操作に応じた方向・量だけ移動させて、モニター5に切り替え表示させる処理が行われる。   In S160, the third microscopic image temporarily stored in the predetermined work storage area of the host system 2 in S155 described above or S162 described later is referred to, and is displayed on the monitor 5 as a partially enlarged image in the microscopic image. The display range to be displayed is moved by the direction and amount corresponding to the moving operation detected in the previous step, and a process of switching and displaying on the monitor 5 is performed.

このように、S160において、作業記憶領域に一時的に保存されている(キャッシュされている)第3の顕微鏡画像を利用して表示を行うようにすることにより、データ記録部4から画像データファイルを逐次読み出すようにする場合に比べ、画像表示のスムーズな切り替えが可能となる。   In this manner, in S160, by using the third microscopic image temporarily stored (cached) in the working storage area, display is performed from the data recording unit 4 to the image data file. As compared with the case of sequentially reading out, the image display can be switched smoothly.

尚、S155(又は後述のS162)にて取得した第3の顕微鏡画像の全体を作業記憶領域に一時的に保存する代わりに、その顕微鏡画像のうちモニター5に表示されている部分画像の近傍の部分画像のみを作業記憶領域に保存しておくようにし、S160では、ユーザによるX−Y位置の移動操作に応じて、その近傍の部分画像を表示すると共に、改めてデータ記録部4から画像データファイルを読み出し、表示した部分画像の近傍の部分画像を改めて取得し作業記憶領域に保存しておくようにしてもよい。   Instead of temporarily storing the entire third microscope image acquired in S155 (or S162, which will be described later) in the work storage area, a portion of the microscope image near the partial image displayed on the monitor 5 is displayed. Only the partial image is saved in the work storage area, and in S160, in response to the user's operation to move the XY position, the nearby partial image is displayed, and the image data file is newly read from the data recording unit 4. , And a partial image in the vicinity of the displayed partial image may be acquired again and stored in the work storage area.

このS160の後は、S157へ処理が戻る。
一方、S159の判定において、その判定結果がNoの場合、すなわち、ユーザによるX−Y位置の移動操作を検出していないと判定されたときは、S161へ処理が進む。
After S160, the process returns to S157.
On the other hand, in the determination of S159, when the determination result is No, that is, when it is determined that the movement operation of the XY position by the user is not detected, the process proceeds to S161.

S161では、観察体19のバーチャル観察における対物レンズ23の選択内容の切り替えの指示を取得したか否かを判定する処理が行われる。ここで、その判定結果がYesの場合には、S162へ処理が進む。   In S161, processing for determining whether or not an instruction to switch the selection contents of the objective lens 23 in the virtual observation of the observation body 19 has been acquired is performed. If the determination result is Yes, the process proceeds to S162.

S162では、S152がYesであった場合にS153にて得られた第2の顕微鏡画像(但し第2の顕微鏡画像が取得されていない場合には第1の顕微鏡画像)から、或いは、S152がNoであった場合にS151にて読み出された画像データファイルに統合されている高解像度広画角顕微鏡画像から、S161にて取得された指示に応じた選択内容に係る対物レンズ23に対応する解像度の顕微鏡画像を、リサイズ処理等の画像処理により取得して、これをホストシステム2の所定の作業記憶領域に、既に保存されている第3の顕微鏡画像と差し替えて一時的に保存する処理が行われる。すなわち、本ステップで取得した画像を第3の顕微鏡画像として一時的に保存する処理が行われる。   In S162, when S152 is Yes, from the second microscope image obtained in S153 (however, if the second microscope image is not acquired), or S152 is No. The resolution corresponding to the objective lens 23 according to the selection content corresponding to the instruction acquired in S161 from the high-resolution wide-angle microscope image integrated in the image data file read in S151. Is acquired by image processing such as resizing processing, and this is replaced with a third microscope image already stored in a predetermined working storage area of the host system 2 and temporarily stored. Is called. That is, processing for temporarily storing the image acquired in this step as the third microscope image is performed.

S163では、前ステップにて取得された第3の顕微鏡画像から、S161にて取得された指示に応じた選択内容に係る対物レンズ23の倍率に対応する範囲の画像を取得し、そして、モニター5に部分拡大画像として表示されている画像を、本ステップで取得した画像に切り替え表示させる処理が行われる。   In S163, an image in a range corresponding to the magnification of the objective lens 23 according to the selection content corresponding to the instruction acquired in S161 is acquired from the third microscope image acquired in the previous step, and the monitor 5 A process of switching the image displayed as the partially enlarged image to the image acquired in this step is performed.

このS163の後は、S157へ処理が戻り、上述の処理が繰り返される。
一方、S161の判定において、その判定結果がNoの場合、すなわち、対物レンズ23の選択内容の切り替えの指示を取得していないと判定したときは、S157へ処理が戻り、上述した処理が繰り返される。
After S163, the process returns to S157, and the above-described process is repeated.
On the other hand, in the determination of S161, when the determination result is No, that is, when it is determined that the instruction to switch the selection contents of the objective lens 23 is not acquired, the process returns to S157 and the above-described process is repeated. .

以上、この顕微鏡画像再生表示処理によれば、画像データファイルに統合されている高解像度広画角顕微鏡画像が、異なる撮像パラメータの下での撮像により得られた高解像顕微鏡画像が繋ぎ合わされて作成されたものであっても、その画像データファイルに統合されている各高解像度顕微鏡画像の撮像パラメータを用いて画像処理を行うことによって、その高解像度広画角顕微鏡画像を同一の撮像パラメータの下での撮像により得られた画像であるかのように表示させることができる。   As described above, according to this microscope image reproduction display processing, a high-resolution wide-angle microscope image integrated in an image data file is joined to a high-resolution microscope image obtained by imaging under different imaging parameters. Even if it is created, by performing image processing using the imaging parameters of each high-resolution microscope image integrated in the image data file, the high-resolution wide-angle microscope image is converted to the same imaging parameter. It can be displayed as if it were an image obtained by imaging below.

また、部分拡大画像として画像が表示されているときに階調範囲を指定することによって、その画像における指定した階調範囲が表示階調範囲で表現されるように表示させることができ、画像を詳細に観察することができる。また、階調範囲を指定した際に表示されていた画像が、階調値の圧縮が行われた後の画像であったとしても、その階調値の圧縮を行う前の画像に対する画像処理により、上記のように表現された画像を得るようにしたので、より多くの画像情報を表示させることができ、より詳細に画像を観察することができる。   In addition, by designating the gradation range when the image is displayed as a partially enlarged image, the designated gradation range in the image can be displayed in the display gradation range, and the image can be displayed. It can be observed in detail. Further, even if the image displayed when the gradation range is specified is an image after gradation value compression, the image processing on the image before the gradation value compression is performed. Since the image expressed as described above is obtained, more image information can be displayed, and the image can be observed in more detail.

図6(a),(b),(c) は、この顕微鏡画像再生表示処理におけるS153の処理を、具体例を挙げて説明する図である。但し、ここでは、説明の便宜のため、画像データファイルに統合されている高解像度広画角顕微鏡画像を、2つの小区画(撮像対象メッシュ)における高解像度顕微鏡画像が繋ぎ合わされて作成された画像とする。また、画像データファイルに統合されている撮像対象メッシュ毎の撮像パラメータを、露出時間とゲインとする。   FIGS. 6A, 6B, and 6C are diagrams illustrating the process of S153 in the microscope image reproduction display process with a specific example. However, here, for convenience of explanation, the high-resolution wide-angle microscope image integrated in the image data file is created by joining the high-resolution microscope images in the two small sections (imaging target mesh). And Further, the imaging parameters for each imaging target mesh integrated in the image data file are set as exposure time and gain.

同図(a) は、画像データファイルに統合されている高解像度広画角顕微鏡画像と、その画像のX Position−Intensityの関係とを示す図である。同図(a) に示したように、高解像度広画角顕微鏡画像は、撮像時の撮像パラメータが異なる2つの小区画M1,M2における高解像度顕微鏡画像が繋ぎ合わされて作成された画像である。小区画M1における高解像度顕微鏡画像は、露出時間0.5[s]、ゲイン1×で撮像されたものであり、小区画M1における撮像パラメータは、露出時間0.5[s]、ゲイン1×である。一方、小区画M2における高解像度顕微鏡画像は、露出時間1[s]、ゲイン1×で撮像されたものであり、小区画M2における撮像パラメータは、露出時間1[s]、ゲイン1×である。   FIG. 5A is a diagram showing a high-resolution wide-angle microscope image integrated in the image data file and the X Position-Intensity relationship of the image. As shown in FIG. 5A, the high-resolution wide-angle microscope image is an image created by connecting the high-resolution microscope images in the two small sections M1 and M2 having different imaging parameters at the time of imaging. The high-resolution microscopic image in the small section M1 is taken with an exposure time of 0.5 [s] and a gain of 1 ×, and the imaging parameters in the small section M1 are an exposure time of 0.5 [s] and a gain of 1 ×. It is. On the other hand, the high-resolution microscope image in the small section M2 is captured with an exposure time of 1 [s] and a gain of 1 ×, and the imaging parameters of the small section M2 are an exposure time of 1 [s] and a gain of 1 ×. .

この場合、上記のS153では、まず、画像データファイルに統合されている小区画M1とM2における撮像パラメータに基づいて、同図(a) に示した高解像度広画角顕微鏡画像に対し、当該画像が一定の撮像パラメータの下での撮像により得られた画像(同一の撮像パラメータの下での撮像により得られた高解像度顕微鏡画像が繋ぎ合わされて作成された画像)であるかのように表現されるように画像処理が行われる。   In this case, in S153 described above, first, based on the imaging parameters in the small sections M1 and M2 integrated in the image data file, the image with respect to the high-resolution wide-angle microscope image shown in FIG. Is represented as if it were an image obtained by imaging under a certain imaging parameter (an image created by stitching together high-resolution microscope images obtained by imaging under the same imaging parameter) As described above, image processing is performed.

同図(b) は、そのような画像処理が行われたときの画像と、その画像のX Position−Intensityの関係とを示す図である。
本例の場合、ホワイトバランス等が固定であったとすると、小区画M2における画像は、単純に当該画像の階調を2倍にすることで、小区画M1における画像の撮像パラメータと同じ撮像パラメータで撮像された画像として扱うことができる。よって、同図(b) に示したように、小区画M2における画像の階調を2倍にすることで、M1とM2の小区画間における画像が連続的な画像となる。
FIG. 4B is a diagram showing an image when such image processing is performed and the relationship of X Position-Intensity of the image.
In the case of this example, assuming that the white balance or the like is fixed, the image in the small section M2 has the same imaging parameters as the image capturing parameters of the image in the small section M1 by simply doubling the gradation of the image. It can be handled as a captured image. Therefore, as shown in FIG. 5B, by doubling the gradation of the image in the small section M2, the image between the small sections of M1 and M2 becomes a continuous image.

S153では、また、このときの画像の階調範囲が表示階調範囲を超える場合に、更に、この画像、すなわち、同図(b) に示した画像に対し、当該画像の階調範囲が表示階調範囲(Display Range)で表現されるように、画像処理として階調値の圧縮が行われる。   In S153, when the gradation range of the image at this time exceeds the display gradation range, the gradation range of the image is further displayed for this image, that is, the image shown in FIG. As represented by the gradation range (Display Range), gradation values are compressed as image processing.

同図(c) は、そのような画像処理が行われたときの画像と、その画像のX Position−Intensityの関係とを示す図である。
本例の場合、変換係数(ここでは0.5)を用いて同図(b) に示した画像の階調値が圧縮され、階調範囲(Display Range)で表現された画像が得られる。
FIG. 4C is a diagram showing an image when such image processing is performed and the relationship of X Position-Intensity of the image.
In the case of this example, the gradation value of the image shown in FIG. 5B is compressed using the conversion coefficient (here, 0.5), and an image expressed in the gradation range (Display Range) is obtained.

図7(a),(b),(c) は、上記の顕微鏡画像再生表示処理におけるS158の処理を、具体例を挙げて説明する図である。
同図(a) は、S156(又はS163)の処理によってモニター5に表示されている画像と、その画像のX Position−Intensityの関係とを示す図である。
FIGS. 7A, 7B, and 7C are diagrams for explaining the process of S158 in the above-described microscope image reproduction display process with a specific example.
FIG. 6A is a diagram showing an image displayed on the monitor 5 by the process of S156 (or S163) and the relationship of X Position-Intensity of the image.

同図(b) は、S157においてユーザによる階調範囲(ゲイン)の指定が行われるときにモニター5に表示された表示ウィンドウを示す図である。
この表示ウィンドウには、S156(又はS163)の処理によってモニター5に表示されている画像(部分拡大画像として表示されている画像)と、その画像のX Position−Intensityの関係とが表示され、そのX Position−Intensityの関係が表示された部分には、ユーザによる階調範囲の指定操作によって上下する、階調範囲の上下限を表す2つの点線が示される。
FIG. 5B is a diagram showing a display window displayed on the monitor 5 when the gradation range (gain) is designated by the user in S157.
In this display window, the image displayed on the monitor 5 by the process of S156 (or S163) (image displayed as a partially enlarged image) and the relationship of X Position-Intensity of the image are displayed. In the portion where the X Position-Intensity relationship is displayed, two dotted lines representing the upper and lower limits of the gradation range, which are moved up and down by the user's gradation range designation operation, are shown.

ここで、ユーザにより同図(b) に示した2つの点線により表される階調範囲が指定されたとすると、S158では、表示ウィンドウに表示された画像において、当該画像における、その2つの点線により表される階調範囲が表示階調範囲で表現されるように、S152がYesであった場合にS153にてホストシステム2の所定の作業記憶領域に一時的に保存されている第1の顕微鏡画像に対する画像処理によって、或いは、S152がNoであった場合にS151にて読み出された画像データファイルに統合されている高解像度広画角顕微鏡画像に対する画像処理によって、そのように表現された画像を取得し、当該画像を、モニター5に表示させる部分拡大画像として切り替え表示する処理が行われる。   Here, if the gradation range represented by the two dotted lines shown in FIG. 5B is designated by the user, in S158, in the image displayed in the display window, the two dotted lines in the image are used. The first microscope temporarily stored in the predetermined working storage area of the host system 2 in S153 when S152 is Yes so that the represented gradation range is represented by the display gradation range An image expressed as such by image processing on an image or by image processing on a high-resolution wide-angle microscope image integrated in the image data file read in S151 when S152 is No Is acquired, and the image is switched and displayed as a partially enlarged image to be displayed on the monitor 5.

同図(c) は、そのような画像処理が行われたときの画像と、その画像のX Position−Intensityの関係とを示す図である。
同図(c) に示したように、指定された階調範囲が表示階調範囲で表現された画像が得られる。尚、指定された階調範囲以外の階調値は、表示階調範囲の最小値或いは最大値のいずれかとなり、いわゆる、つぶれるか或いは飽和する。
FIG. 4C is a diagram showing an image when such image processing is performed and the relationship of X Position-Intensity of the image.
As shown in FIG. 4C, an image in which the designated gradation range is expressed by the display gradation range is obtained. Note that the gradation value outside the designated gradation range is either the minimum value or the maximum value of the display gradation range, and is so-called collapsed or saturated.

尚、図7(a),(b),(c) に示した例では、階調範囲の上下限を指定することによって階調範囲を指定するものであったが、例えば、異なる複数の階調範囲に対応するボタンを設けておき、このボタン操作に応じて階調範囲を指定するように構成することもできる。   In the example shown in FIGS. 7A, 7B, and 7C, the gradation range is designated by designating the upper and lower limits of the gradation range. It is also possible to provide a button corresponding to the gradation range and specify the gradation range in accordance with the button operation.

図8(a),(b),(c),(d) は、そのようなボタン操作に応じて階調範囲を指定するようにした例を説明する図である。
同図(a) は、S157においてユーザによる階調範囲(ゲイン)の指定が行われるときにモニター5に表示された表示ウィンドウを示す図である。
FIGS. 8A, 8B, 8C, and 8D are diagrams illustrating an example in which a gradation range is designated in accordance with such a button operation.
FIG. 11A is a diagram showing a display window displayed on the monitor 5 when the gradation range (gain) is designated by the user in S157.

同図(a) に示したように、本例の表示ウィンドウは、図7(b) に示した表示ウィンドウと一部異なる。すなわち、本例の表示ウィンドウには、S156(又はS163)の処理によってモニター5に表示されている画像(部分拡大画像として表示されている画像)と、その画像のヒストグラムと、階調範囲を指定するための3つのボタン41、42、43が表示される。ここで、ヒストグラムは、縦軸を階調、横軸を画素数としている。また、3つのボタン41、42、43は、表示階調範囲を3等分したときのそれぞれの階調範囲に対応して設けられたボタンである。すなわち、ボタン41は3等分されたうちの高輝度側の階調範囲を指定し、ボタン42は3等分されたうちの中輝度側の階調範囲を指定し、ボタン43は3等分されたうちの低輝度側の階調範囲を指定するものである。尚、同図(a) のヒストグラムにおける点線44、45は、3等分した階調範囲の境界を示すものである。   As shown in FIG. 7A, the display window in this example is partly different from the display window shown in FIG. That is, in the display window of this example, the image displayed on the monitor 5 (the image displayed as a partially enlarged image) by the processing of S156 (or S163), the histogram of the image, and the gradation range are designated. Three buttons 41, 42, and 43 for displaying are displayed. Here, in the histogram, the vertical axis represents gradation and the horizontal axis represents the number of pixels. The three buttons 41, 42, and 43 are buttons corresponding to the respective gradation ranges when the display gradation range is divided into three equal parts. That is, the button 41 designates the gradation range on the high luminance side among the three divided parts, the button 42 designates the gradation range on the medium luminance side among the three divided parts, and the button 43 is divided into the three equal parts. The tone range on the low luminance side is designated. Note that dotted lines 44 and 45 in the histogram of FIG. 4A indicate the boundaries of the gradation range divided into three equal parts.

同図(a) に示した表示ウィンドウにおいて、ボタン41が操作(選択)されたとすると、ボタン41に対応する階調範囲が指定されたものとして、上述のS158の処理が行われる。   If the button 41 is operated (selected) in the display window shown in FIG. 6A, the above-described processing of S158 is performed assuming that the gradation range corresponding to the button 41 is designated.

同図(b) は、このボタン41が操作されたときの表示ウィンドウを示す図である。同図(b) に示したように、同図(a) に示した表示ウィンドウに表示されていた画像が、当該画像におけるボタン41に対応する高輝度側の階調範囲が表示階調範囲で表現された画像へ切り替わる。また、このときには、モニター5に部分拡大画像として表示されている画像も併せて切り替わる。   FIG. 5B is a diagram showing a display window when this button 41 is operated. As shown in (b) of the figure, the image displayed in the display window shown in (a) of the figure shows that the gradation range on the high luminance side corresponding to the button 41 in the image is the display gradation range. Switch to the rendered image. At this time, an image displayed as a partially enlarged image on the monitor 5 is also switched.

これにより、ボタン41に対応する高輝度側の階調範囲が伸張されて表現された画像が表示されるようになるので、同図(a) に示した画像の高輝度側の階調範囲を詳細に観察することができる。但し、それ以外の階調範囲の部分は、階調値が表示階調範囲の最小値となるため、いわゆる、つぶれてしまう。   As a result, an image expressed by expanding the gradation range on the high luminance side corresponding to the button 41 is displayed. Therefore, the gradation range on the high luminance side of the image shown in FIG. It can be observed in detail. However, since the gradation value is the minimum value of the display gradation range, the other gradation range portion is collapsed.

尚、同図(b) のヒストグラムにおける点線46、47、48は、同図(a) に示したヒストグラムを示している(同図(c),(d) においても同じ)。この点線46、47、48は、表示されないようにしてもよい。   The dotted lines 46, 47, and 48 in the histogram of FIG. 10B show the histogram shown in FIG. 10A (the same applies to FIGS. 10C and 10D). The dotted lines 46, 47, and 48 may not be displayed.

同図(a) に示した表示ウィンドウにおいて、或いは、ボタン42が操作(選択)されたとすると、ボタン42に対応する階調範囲が指定されたものとして、上述のS158の処理が行われる。   If the button 42 is operated (selected) in the display window shown in FIG. 5A, the above-described processing of S158 is performed assuming that the gradation range corresponding to the button 42 is designated.

同図(c) は、このボタン42が操作されたときの表示ウィンドウを示す図である。同図(c) に示したように、同図(a) に示した表示ウィンドウに表示されていた画像が、当該画像におけるボタン42に対応する中輝度側の階調範囲が表示階調範囲で表現された画像へ切り替わる。また、このときには、モニター5に部分拡大画像として表示されている画像も併せて切り替わる。   FIG. 4C shows a display window when this button 42 is operated. As shown in (c) of the figure, the image displayed in the display window shown in (a) of the figure shows that the gradation range on the medium luminance side corresponding to the button 42 in the image is the display gradation range. Switch to the rendered image. At this time, an image displayed as a partially enlarged image on the monitor 5 is also switched.

これにより、ボタン42に対応する中輝度側の階調範囲が伸張されて表現された画像が表示されるようになるので、同図(a) に示した画像の中輝度側の階調範囲を詳細に観察することができる。但し、それ以外の、低輝度側の階調範囲の部分は、階調値が表示階調範囲の最小値となるため、いわゆる、つぶれてしまい、高輝度側の階調範囲の部分は、階調値が表示階調範囲の最大値となるため、いわゆる、飽和してしまう。   As a result, an image expressed by expanding the gradation range on the medium luminance side corresponding to the button 42 is displayed. Therefore, the gradation range on the medium luminance side shown in FIG. It can be observed in detail. However, since the gradation value is the minimum value of the display gradation range in the other portions of the gradation range on the low luminance side, so-called collapse occurs, and the portion of the gradation range on the high luminance side Since the tone value is the maximum value in the display tone range, so-called saturation occurs.

同図(a) に示した表示ウィンドウにおいて、若しくは、ボタン43が操作(選択)されたとすると、ボタン43に対応する階調範囲が指定されたものとして、上述のS158の処理が行われる。   If the button 43 is operated (selected) in the display window shown in FIG. 5A, the above-described processing of S158 is performed assuming that the gradation range corresponding to the button 43 is designated.

同図(d) は、このボタン43が操作されたときの表示ウィンドウを示す図である。同図(d) に示したように、同図(a) に示した表示ウィンドウに表示されていた画像が、当該画像におけるボタン43に対応する低輝度側の階調範囲が表示階調範囲で表現された画像へ切り替わる。また、このときには、モニター5に部分拡大画像として表示されている画像も併せて切り替わる。   FIG. 4D shows the display window when this button 43 is operated. As shown in (d) of the figure, the image displayed in the display window shown in (a) of the figure shows that the gradation range on the low luminance side corresponding to the button 43 in the image is the display gradation range. Switch to the rendered image. At this time, an image displayed as a partially enlarged image on the monitor 5 is also switched.

これにより、ボタン43に対応する低輝度側の階調範囲が伸張されて表現された画像が表示されるようになるので、同図(a) に示した画像の低輝度側の階調範囲を詳細に観察することができる。但し、それ以外の階調範囲の部分は、階調値が表示階調範囲の最大値となるため、いわゆる、飽和してしまう。   As a result, an image expressed by expanding the gradation range on the low luminance side corresponding to the button 43 is displayed. Therefore, the gradation range on the low luminance side of the image shown in FIG. It can be observed in detail. However, the other gradation range portion is so-called saturated because the gradation value becomes the maximum value of the display gradation range.

以上、本実施例によれば、画像データファイルに、各小区画の高解像度顕微鏡画像の撮像時の撮像パラメータも併せて統合するようにしたので、撮像パラメータが同一でない高解像度顕微鏡画像を繋ぎ合わせる等して得られた画像を表示させる場合であっても、画像データファイルに統合されている撮像パラメータに基づく画像処理を行うことによって、その画像を、同一の撮像パラメータの下での撮像により得られた画像であるかように表示させることができる。   As described above, according to the present embodiment, since the imaging parameters at the time of imaging of the high-resolution microscope images of the small sections are also integrated into the image data file, the high-resolution microscope images having the same imaging parameters are joined together. Even when an image obtained by the same method is displayed, by performing image processing based on the imaging parameters integrated in the image data file, the image is obtained by imaging under the same imaging parameters. The image can be displayed as if it were a recorded image.

また、ユーザが所望の階調範囲を指定することによって、その階調範囲が表示階調範囲で表現されるように表示されるので、部分拡大画像として表示されている画像における指定した階調範囲を詳細に観察することができる。   In addition, when the user designates a desired gradation range, the gradation range is displayed so as to be expressed in the display gradation range, so the designated gradation range in the image displayed as the partially enlarged image is displayed. Can be observed in detail.

尚、本実施例において、階調範囲を指定した場合には、図7(a),(b),(c) 、或いは、図8(a),(b),(c),(d) を用いて説明したように、指定された階調範囲が表示階調範囲で表現されるように画像処理が行われるものであり、指定された階調範囲以外の階調範囲は、いわゆる、つぶれるか飽和していた。ユーザの中には、例えば、一部の階調範囲については細かく観察したいものの、それ以外の階調範囲についても荒くてよいのである程度観察したいという場合もある。そこで、次に説明するように、表示階調範囲で表現させる、画像における階調範囲をフレキシブルに指定可能に構成することも可能である。   In this embodiment, when the gradation range is designated, FIGS. 7A, 7B, 8C, or 8A, 8B, 8C, 8D are used. As described above, the image processing is performed so that the designated gradation range is expressed in the display gradation range, and the gradation range other than the designated gradation range is collapsed. Or was saturated. Some users, for example, want to observe a part of the gradation range finely, but may want to observe it to some extent because other gradation ranges may be rough. Therefore, as described below, the gradation range in the image expressed in the display gradation range can be flexibly specified.

図9(a),(b) は、その画像における階調範囲をフレキシブルに指定可能にする表示ウィンドウの一例を示す図である。尚、同図(a) に示した表示ウィンドウは、図7(b) に示した表示ウィンドウに対応する。また、図9(a),(b) に示すM1及びM2は、2つの撮像対象メッシュに対応する。   FIGS. 9A and 9B are diagrams showing an example of a display window that allows the gradation range in the image to be specified flexibly. The display window shown in FIG. 7A corresponds to the display window shown in FIG. M1 and M2 shown in FIGS. 9A and 9B correspond to two imaging target meshes.

図9(a) に示した表示ウィンドウが表示されているときに、ユーザがマウス等を用いて、表示ウィンドウに表示されているX Position−Intensityの関係を示すグラフ(例えばガンマ補正)を、観察したい階調範囲の程度に応じて所望の形状に変形させると、その変形されたグラフの形状に従って、表示ウィンドウに表示されている画像の階調範囲が変更されるように画像処理が行われ、表示ウィンドウに表示されていた画像と、部分拡大画像として表示されていた画像とが、その画像処理が行われた画像に切り替えられる。尚、この画像も、S152がYesであった場合にS153にてホストシステム2の所定の作業記憶領域に一時的に保存されている第1の顕微鏡画像に対する画像処理によって、或いは、S152がNoであった場合にS151にて読み出された画像データファイルに統合されている高解像度広画角顕微鏡画像に対する画像処理によって、得られるものである。   When the display window shown in FIG. 9A is displayed, the user observes a graph (for example, gamma correction) showing the relationship of X Position-Intensity displayed in the display window using a mouse or the like. When it is transformed into a desired shape according to the level of the desired gradation range, image processing is performed so that the gradation range of the image displayed in the display window is changed according to the shape of the deformed graph, The image displayed in the display window and the image displayed as the partially enlarged image are switched to the image on which the image processing has been performed. This image is also processed by image processing on the first microscope image temporarily stored in the predetermined work storage area of the host system 2 in S153 when S152 is Yes, or S152 is No. If there is, it is obtained by image processing on the high-resolution wide-angle microscope image integrated in the image data file read in S151.

同図(b) は、このようにしてフレキシブルに階調範囲が指定された後の表示ウィンドウの一例を示している。この例の表示ウィンドウによれば、同図(a) に示した表示ウィンドウに表示されていたM2に対応する領域の画像を細かく観察することができると共に、M1に対応する領域の画像も荒くではあるが観察することができる。   FIG. 5B shows an example of the display window after the gradation range is specified flexibly in this way. According to the display window of this example, it is possible to finely observe the image of the area corresponding to M2 displayed in the display window shown in FIG. 5A, and the image of the area corresponding to M1 is not rough. Yes, it can be observed.

或いは、このように図9(a),(b) を用いて説明したような構成以外にも、例えば、ユーザが、モニター5に表示されている部分拡大画像の一部の領域を指定することによって、その領域内の階調範囲が表示階調範囲で表現されるように画像処理が行われるように構成することも可能である。   Alternatively, in addition to the configuration described with reference to FIGS. 9A and 9B, for example, the user designates a partial area of the partially enlarged image displayed on the monitor 5. Thus, the image processing can be performed so that the gradation range in the area is expressed by the display gradation range.

次に、本発明の実施例2に係る顕微鏡システムについて説明する。
本実施例に係る顕微鏡システムは、実施例1に係る顕微鏡システムに対し、顕微鏡画像再生表示処理に係る動作のみが異なり、その他の構成及び動作は同じである。
Next, a microscope system according to Embodiment 2 of the present invention will be described.
The microscope system according to the present embodiment is different from the microscope system according to the first embodiment only in the operation related to the microscope image reproduction display process, and the other configurations and operations are the same.

すなわち、本実施例に係る顕微鏡システムでは、顕微鏡画像再生表示処理において、同一の撮像パラメータの下での撮像により得られた画像であるかのように表現するための画像処理を、画像データファイルに統合されている高解像度広画角顕微鏡画像全体に対して行うのではなく、モニター5に表示させる範囲内の画像のみに対して行うものである。   That is, in the microscope system according to the present embodiment, in the microscope image reproduction display process, image processing for representing an image as if it was an image obtained by imaging under the same imaging parameter is performed on the image data file. This is not performed on the entire integrated high-resolution wide-angle microscope image, but only on the image within the range to be displayed on the monitor 5.

図10は、本実施例に係る、ホストシステム2によって行われる、顕微鏡画像再生表示処理の処理内容を示すフローチャートである。尚、この処理も、ホストシステム2のCPUが所定の制御プログラムを実行することによって実現され開始される。また、この処理においても、ユーザの指示や操作は、ホストシステム2が有する不図示の入力部に対して行われるものとする。   FIG. 10 is a flowchart illustrating the processing contents of the microscope image reproduction display processing performed by the host system 2 according to the present embodiment. This process is also realized and started when the CPU of the host system 2 executes a predetermined control program. Also in this process, it is assumed that user instructions and operations are performed on an input unit (not shown) of the host system 2.

同図において、まず、S171では、ユーザからの指示に応じて、データ記録部4に記録されている、顕微鏡画像が統合されている画像データファイルを読み出し、これに統合されている顕微鏡画像のうち、低解像度の顕微鏡画像をマクロ画像としてモニター5に表示させる処理が行われる。   In the figure, first, in S171, in response to an instruction from the user, an image data file integrated with a microscope image, which is recorded in the data recording unit 4, is read out, and among the microscope images integrated therewith, Then, a process of displaying a low-resolution microscope image on the monitor 5 as a macro image is performed.

S172では、ユーザによるバーチャル観察における対物レンズ23の選択内容を取得する処理が行われる。
S173では、S171にて読み出された画像データファイルに統合されている高解像度広画角顕微鏡画像から、前ステップにて取得された選択内容に係る対物レンズ23に対応する解像度の顕微鏡画像(その選択内容に係る対物レンズ23での観察体19の撮像により得られる顕微鏡画像に対応する顕微鏡画像)を、リサイズ処理等の画像処理により取得して、これをホストシステム2の所定の作業記憶領域に一時的に保存する処理が行われる。ここで保存される画像を、以下単に「第4の顕微鏡画像」という。
In S172, processing for acquiring the selection contents of the objective lens 23 in the virtual observation by the user is performed.
In S173, from the high-resolution wide-angle microscope image integrated in the image data file read out in S171, a microscope image of the resolution corresponding to the objective lens 23 according to the selected content acquired in the previous step (then A microscope image corresponding to a microscope image obtained by imaging the observation body 19 with the objective lens 23 according to the selected content is acquired by image processing such as resizing processing, and this is stored in a predetermined work storage area of the host system 2 Temporary storage processing is performed. The image stored here is hereinafter simply referred to as “fourth microscope image”.

S174では、まず、前ステップにて取得された第4の顕微鏡画像から、S172にて取得された選択内容に係る対物レンズ23の倍率に対応する範囲の画像を取得し、そして、S171で読み出された画像データファイルに統合されている対応する撮像対象メッシュにおける撮像パラメータ(例えば露出時間やゲイン等)に基づいて、その取得した画像に対し、当該画像が一定の撮像パラメータの下での撮像により得られた画像であるかのように表現されるように画像処理(例えば階調の正規化に係る画像処理)を行い、これを上記のマクロ画像の部分拡大画像として当該マクロ画像と並べてモニター5に表示させる処理が行われる。但し、その画像処理が行われた画像の階調範囲が表示階調範囲を超えていた場合には、更に、その画像処理が行われた画像に対し、当該画像の階調範囲が表示階調範囲で表現されるように階調値を圧縮する画像処理を行い、これを上記のマクロ画像の部分拡大画像として当該マクロ画像と並べてモニター5に表示させる処理が行われる。これにより、ユーザは、表示されている顕微鏡画像を見てバーチャル観察を行うことができる。   In S174, first, an image in a range corresponding to the magnification of the objective lens 23 related to the selected content acquired in S172 is acquired from the fourth microscope image acquired in the previous step, and read out in S171. Based on the imaging parameters (for example, exposure time, gain, etc.) in the corresponding imaging target mesh integrated in the acquired image data file, the acquired image is obtained by imaging under a certain imaging parameter. Image processing (for example, image processing related to gradation normalization) is performed so as to be expressed as if it were an obtained image, and this is aligned with the macro image as a partially enlarged image of the macro image, and the monitor 5 The process of displaying on is performed. However, when the gradation range of the image that has been subjected to the image processing exceeds the display gradation range, the gradation range of the image is further changed to the display gradation with respect to the image that has been subjected to the image processing. Image processing for compressing gradation values so as to be expressed in a range is performed, and processing for displaying this on the monitor 5 along with the macro image as a partially enlarged image of the macro image is performed. Thereby, the user can perform virtual observation by looking at the displayed microscope image.

S175では、ユーザによるX−Y位置の移動操作、すなわち、モニター5に上記の部分拡大画像として表示させる観察体19の表示部位の移動のための操作を、ホストシステム2が検出したか否かを判定する処理が行われる。ここで、その判定結果がYesの場合には、S176へ処理が進む。   In S175, it is determined whether or not the host system 2 has detected an operation for moving the XY position by the user, that is, an operation for moving the display part of the observation body 19 displayed on the monitor 5 as the partial enlarged image. A determination process is performed. Here, if the determination result is Yes, the process proceeds to S176.

S176では、上述のS173若しくは後述のS178にてホストシステム2の所定の作業記憶領域に一時的に保存されている第4の顕微鏡画像が参照され、当該顕微鏡画像における、部分拡大画像としてモニター5に表示させる表示範囲を、前ステップにて検出された移動操作に応じた方向・量だけ移動させて、新たな表示範囲となる画像を取得し、そして、S171で読み出された画像データファイルに統合されている対応する撮像対象メッシュにおける撮像パラメータに基づいて、その取得した画像に対し、当該画像が一定の撮像パラメータの下での撮像により得られた画像であるかのように表現されるように画像処理を行い、これを部分拡大画像としてモニター5に切り替え表示させる処理が行われる。但し、その画像処理が行われた画像の階調範囲が表示階調範囲を超えていた場合には、更に、その画像処理が行われた画像に対し、当該画像の階調範囲が表示階調範囲で表現されるように階調値を圧縮する画像処理を行い、これを部分拡大画像としてモニター5に切り替え表示させる処理が行われる。   In S176, the fourth microscope image temporarily stored in the predetermined work storage area of the host system 2 in the above-described S173 or S178 described later is referred to, and is displayed on the monitor 5 as a partially enlarged image in the microscope image. The display range to be displayed is moved by the direction and amount corresponding to the movement operation detected in the previous step, an image that becomes a new display range is acquired, and integrated into the image data file read in S171 Based on the imaging parameters in the corresponding imaging target mesh, the acquired image is expressed as if it was an image obtained by imaging under a certain imaging parameter. Image processing is performed, and processing for switching and displaying this on the monitor 5 as a partially enlarged image is performed. However, when the gradation range of the image that has been subjected to the image processing exceeds the display gradation range, the gradation range of the image is further changed to the display gradation with respect to the image that has been subjected to the image processing. Image processing for compressing gradation values so as to be expressed in a range is performed, and processing for switching and displaying this on the monitor 5 as a partially enlarged image is performed.

このように、S176において、作業記憶領域に一時的に保存されている(キャッシュされている)第4の顕微鏡画像を利用することによって、データ記録部4から画像データファイルを逐次読み出すようにする場合に比べ、画像表示のスムーズな切り替えが可能となる。   As described above, in S176, the image data file is sequentially read from the data recording unit 4 by using the fourth microscopic image temporarily stored (cached) in the working storage area. Compared to the above, it is possible to smoothly switch the image display.

尚、S173(又は後述のS178)にて取得した第4の顕微鏡画像の全体を作業記憶領域に一時的に保存する代わりに、その顕微鏡画像のうちモニター5に表示されている部分画像の近傍の部分画像のみを作業記憶領域に保存しておくようにし、S176では、ユーザによるX−Y位置の移動操作に応じて、その近傍の部分画像を利用して処理を行うと共に、改めてデータ記録部4から画像データファイルを読み出し、表示した部分画像の近傍の部分画像を改めて取得し作業記憶領域に保存しておくようにしてもよい。   In addition, instead of temporarily storing the entire fourth microscope image acquired in S173 (or S178 described later) in the work storage area, a portion of the microscope image near the partial image displayed on the monitor 5 is displayed. Only the partial image is stored in the work storage area, and in S176, in accordance with the movement operation of the XY position by the user, the process is performed using the partial image in the vicinity thereof, and the data recording unit 4 is newly processed. Alternatively, the image data file may be read out, and a partial image near the displayed partial image may be acquired again and stored in the work storage area.

このS176の後は、S175へ処理が戻る。
一方、S175の判定において、その判定結果がNoの場合、すなわち、ユーザによるX−Y位置の移動操作を検出していないと判定されたときは、S177へ処理が進む。
After S176, the process returns to S175.
On the other hand, in the determination of S175, when the determination result is No, that is, when it is determined that the movement operation of the XY position by the user is not detected, the process proceeds to S177.

S177では、観察体19のバーチャル観察における対物レンズ23の選択内容の切り替えの指示を取得したか否かを判定する処理が行われる。ここで、その判定結果がYesの場合には、S178へ処理が進む。   In S177, processing for determining whether or not an instruction to switch the selection contents of the objective lens 23 in the virtual observation of the observation body 19 has been acquired is performed. Here, if the determination result is Yes, the process proceeds to S178.

S178では、S171にて読み出された画像データファイルに統合されている高解像度広画角顕微鏡画像から、前ステップにて取得された選択内容に係る対物レンズ23に対応する解像度の顕微鏡画像(その選択内容に係る対物レンズ23での観察体19の撮像により得られる顕微鏡画像に対応する顕微鏡画像)を、リサイズ処理等の画像処理により取得して、これをホストシステム2の所定の作業記憶領域に、既に保存されている第4の顕微鏡画像と差し替えて一時的に保存する処理が行われる。すなわち、本ステップで取得した画像を第4の顕微鏡画像として一時的に保存する処理が行われる。   In S178, from the high-resolution wide-angle microscope image integrated in the image data file read out in S171, a microscope image of the resolution corresponding to the objective lens 23 according to the selection content acquired in the previous step (then A microscope image corresponding to a microscope image obtained by imaging the observation body 19 with the objective lens 23 according to the selected content is acquired by image processing such as resizing processing, and this is stored in a predetermined work storage area of the host system 2 Then, a process of replacing the already stored fourth microscope image and temporarily storing it is performed. That is, processing for temporarily storing the image acquired in this step as the fourth microscope image is performed.

S179では、前ステップにて取得された第4の顕微鏡画像から、S179にて取得された指示に応じた選択内容に係る対物レンズ23の倍率に対応する範囲の画像を取得し、そして、S171で読み出された画像データファイルに統合されている対応する撮像対象メッシュにおける撮像パラメータに基づいて、その取得した画像に対し、当該画像が一定の撮像パラメータの下での撮像により得られた画像であるかのように表現されるように画像処理を行い、これを部分拡大画像としてモニター5に切り替え表示させる処理が行われる。但し、その画像処理が行われた画像の階調範囲が表示階調範囲を超えていた場合には、更に、その画像処理が行われた画像に対し、当該画像の階調範囲が表示階調範囲で表現されるように階調値を圧縮する画像処理を行い、これを部分拡大画像としてモニター5に切り替え表示させる処理が行われる。   In S179, an image in a range corresponding to the magnification of the objective lens 23 according to the selection content corresponding to the instruction acquired in S179 is acquired from the fourth microscope image acquired in the previous step, and in S171. Based on the imaging parameters in the corresponding imaging target mesh integrated in the read image data file, the acquired image is an image obtained by imaging under a certain imaging parameter. Image processing is performed so as to be expressed as such, and processing for switching and displaying this on the monitor 5 as a partially enlarged image is performed. However, when the gradation range of the image that has been subjected to the image processing exceeds the display gradation range, the gradation range of the image is further changed to the display gradation with respect to the image that has been subjected to the image processing. Image processing for compressing gradation values so as to be expressed in a range is performed, and processing for switching and displaying this on the monitor 5 as a partially enlarged image is performed.

このS179の後は、S175へ処理が戻り、上述の処理が繰り返される。
一方、S177の判定において、その判定結果がNoの場合、すなわち、対物レンズ23の選択内容の切り替えの指示を取得していないと判定したときは、S175へ処理が戻り、上述の処理が繰り返される。
After S179, the process returns to S175, and the above process is repeated.
On the other hand, in the determination of S177, if the determination result is No, that is, if it is determined that the instruction to switch the selection contents of the objective lens 23 has not been acquired, the process returns to S175, and the above-described process is repeated. .

以上、この顕微鏡画像再生表示処理によれば、表示範囲の画像のみに対して、一定の撮像パラメータの下での撮像により得られた画像であるかのように表現され且つそれが表示階調範囲で表現されるように画像処理が行われるようになる。これにより、表示範囲の画像の階調範囲は、その表示範囲の画像を含む全体画像の階調範囲に比べて小さくなることから、表示範囲の画像のみに対して上記の画像処理を行うことによって、より多くの画像情報を表示させることができ、より詳細に画像の観察を行うことができる。   As described above, according to this microscope image reproduction display process, only an image in the display range is expressed as if it was an image obtained by imaging under a certain imaging parameter, and it is displayed in the display gradation range. Image processing is performed as expressed by. As a result, the gradation range of the image in the display range becomes smaller than the gradation range of the entire image including the image in the display range, so that the above image processing is performed only on the image in the display range. More image information can be displayed, and the image can be observed in more detail.

図11(a),(b),(c) は、この顕微鏡画像再生表示処理の一部を、具体例を挙げて説明する図である。但し、ここでは、説明の便宜のため、画像データファイルに統合されている高解像度広画角顕微鏡画像を、4つの小区画(撮像対象メッシュ)M1,M2,M3,M4における高解像度顕微鏡画像が繋ぎ合わされて作成された画像とする。また、各小区画における撮像パラメータは、異なるものとするが、M1、M2、M3、M4における高解像度顕微鏡画像の階調をそれぞれ、1倍、2倍、3倍、4倍することによって、同一の撮像パラメータの下での撮像により得られた画像として取り扱うことのできるものとする。   FIGS. 11A, 11B, and 11C are diagrams for explaining a part of the microscope image reproduction display processing with a specific example. However, here, for convenience of explanation, the high-resolution wide-angle microscope image integrated in the image data file is the high-resolution microscope image in the four small sections (imaging target meshes) M1, M2, M3, and M4. It is assumed that the images are created by joining them together. In addition, although the imaging parameters in each small section are different, the same is obtained by multiplying the gradation of the high-resolution microscope image in M1, M2, M3, and M4 by 1, 2, 3, 4, and 4 respectively. It can be handled as an image obtained by imaging under the imaging parameters.

同図(a) は、S173の処理によって得られた第4の顕微鏡画像を示す図である。ここで、S174の処理が開始され、表示範囲の画像がM3及びM4に対応する領域の画像とされた場合、このM3及びM4に対応する領域の画像が、一定の撮像パラメータの下での撮像により得られた画像であるかのように表現され且つそれが表示階調範囲で表現されるように、このM3及びM4に対応する領域の画像に対し画像処理が行われる。   (A) of the same figure is a figure which shows the 4th microscope image obtained by the process of S173. Here, when the process of S174 is started and the image in the display range is an image of the region corresponding to M3 and M4, the image of the region corresponding to M3 and M4 is captured under a certain imaging parameter. The image processing is performed on the image in the region corresponding to M3 and M4 so that the image is expressed as if it is obtained by the above-described process and is expressed in the display gradation range.

同図(c) は、そのような画像処理が行われたときのM1乃至M4に対応する領域の画像を示す図である。
これに対し、同図(b) は、同図(a) に示した第4の顕微鏡画像に対し、当該画像が、一定の撮像パラメータの下での撮像により得られた画像であるかのように表現され且つそれが表示階調範囲で表現されるように画像処理を行った後に、M3及びM4に対応する領域の画像を表示範囲とした場合の、M1乃至M4に対応する領域の画像を示す図である。
FIG. 4C is a diagram showing an image of an area corresponding to M1 to M4 when such image processing is performed.
On the other hand, (b) in the figure shows that the image is obtained by imaging under a certain imaging parameter with respect to the fourth microscope image shown in (a). The image of the region corresponding to M1 to M4 when the image of the region corresponding to M3 and M4 is used as the display range after performing image processing so that it is expressed in the display gradation range. FIG.

同図(b) に示した表示領域の画像と、同図(c) に示した表示領域の画像とを比較すると、同図(c) に示した表示領域の画像の方が、より詳細に画像情報が表示されるようになる。これは、画像処理対象となる画像の階調範囲として、M1乃至M4に対応する領域の画像の階調範囲に比べ、M3及びM4に対応する領域の画像の階調範囲の方が小さいからであり、そのような小さい階調範囲の画像の階調範囲を表示階調範囲で表現されるように画像処理を行うことによって、より多くの画像情報を表示させることができ、より詳細に画像を観察することができる。   Comparing the image of the display area shown in (b) to the image of the display area shown in (c), the image of the display area shown in (c) is more detailed. Image information is displayed. This is because the gradation range of the image corresponding to M3 and M4 is smaller than the gradation range of the image corresponding to M1 to M4 as the gradation range of the image to be processed. Yes, it is possible to display more image information by performing image processing so that the gradation range of an image with such a small gradation range is expressed in the display gradation range, and the image can be displayed in more detail. Can be observed.

以上、本実施例によれば、一定の撮像パラメータの下での撮像により得られた画像であるかのように表現され且つそれが表示階調範囲で表現されるようにするための画像処理を、表示範囲の画像のみに対して行うようにすることによって、より多くの画像情報を表示させることができ、より詳細に画像を観察することができる。   As described above, according to the present embodiment, the image processing for representing the image obtained by imaging under a certain imaging parameter and expressing it in the display gradation range is performed. By performing the process only on the image in the display range, more image information can be displayed, and the image can be observed in more detail.

尚、本実施例においても、実施例1と同様に、図7(a),(b),(c) 、或いは、図8(a),(b),(c),(d) を用いて説明したように、階調範囲の指定に応じて、部分拡大画像として表示されている画像における指定された階調範囲が表示階調範囲で表現されるように表示させる処理を行うように構成することもできる。或いは、図9(a),(b) を用いて説明したように、階調範囲をフレキシブルに指定できるように構成することも可能である。   In this embodiment, as in the first embodiment, FIG. 7 (a), (b), (c) or FIG. 8 (a), (b), (c), (d) is used. As described above, in accordance with the specification of the gradation range, the display is performed so that the specified gradation range in the image displayed as the partially enlarged image is represented by the display gradation range. You can also Alternatively, as described with reference to FIGS. 9A and 9B, the gradation range can be flexibly designated.

以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、上述した各実施例に係る顕微鏡画像データ取得処理では、1つの撮像対象メッシュに対して1つの高解像度顕微鏡画像を取得するものであったが、例えば、1つの撮像対象メッシュに対して撮像パラメータが異なる複数の高解像度顕微鏡画像を取得するように構成することもできる。この場合には、顕微鏡画像データ取得処理において、1つの撮像対象メッシュに対する合焦動作後、ユーザによる撮像条件の設定指示に基づいて異なる撮像パラメータ(例えば異なる露光時間等)の下での撮像を複数回行って、撮像パラメータが異なる複数の高解像顕微鏡画像を取得すると共に、その高解像度顕微鏡画像毎の撮像時の撮像パラメータを取得する。そして、撮像対象メッシュ毎に得られた、撮像パラメータが異なる複数の高解像度顕微鏡画像とその高解像度顕微鏡画像毎の撮像パラメータとを、画像データファイルに併せて統合するようにする。尚、このようにした場合、画像データファイルに統合される高解像度広画角顕微鏡画像は、例えば、各撮像対象メッシュにおける適切な撮像パラメータの下での撮像により得られた高解像度顕微鏡画像(画像情報を最も多く有している高解像度顕微鏡画像)が繋ぎ合わされて作成された画像となる。
As mentioned above, although embodiment of this invention was described, this invention is not limited to each embodiment mentioned above, A various improvement and change are possible within the range which does not deviate from the summary of this invention.
For example, in the above-described microscope image data acquisition processing according to each embodiment, one high-resolution microscope image is acquired for one imaging target mesh. For example, imaging is performed for one imaging target mesh. A plurality of high-resolution microscope images having different parameters may be acquired. In this case, in the microscope image data acquisition process, after a focusing operation on one imaging target mesh, a plurality of imagings under different imaging parameters (for example, different exposure times, etc.) are performed based on an instruction for setting imaging conditions by the user. A plurality of high-resolution microscope images having different imaging parameters are acquired, and imaging parameters at the time of imaging for each high-resolution microscope image are acquired. Then, a plurality of high-resolution microscope images with different imaging parameters obtained for each imaging target mesh and imaging parameters for each high-resolution microscope image are integrated together in the image data file. In this case, the high-resolution wide-angle microscope image integrated into the image data file is, for example, a high-resolution microscope image (image) obtained by imaging under appropriate imaging parameters in each imaging target mesh. A high-resolution microscope image having the most information is connected to create an image.

また、例えば、上述した各実施例に係る顕微鏡システムにおいては、合焦動作を、ホストシステム2が提供するビデオAF機能を用いて実現しているが、その他の周知の合焦手段を用いてよく、或いは、マニュアルにより合焦動作を行うようにしてもよい。   Further, for example, in the microscope systems according to the above-described embodiments, the focusing operation is realized by using the video AF function provided by the host system 2, but other well-known focusing means may be used. Alternatively, the focusing operation may be performed manually.

また、例えば、上述した各実施例に係る顕微鏡システムにおいては、顕微鏡装置1として正立顕微鏡装置を採用していたが、その代わりに、倒立顕微鏡装置を採用することももちろん可能であり、また、顕微鏡装置を組み込んだライン装置といった各種システムに本実施例を適応することも可能である。   Further, for example, in the microscope system according to each of the embodiments described above, an upright microscope apparatus has been adopted as the microscope apparatus 1, but instead, an inverted microscope apparatus can also be adopted, The present embodiment can also be applied to various systems such as a line apparatus incorporating a microscope apparatus.

また、例えば、上述した各実施例においては、顕微鏡システムで撮像した顕微鏡画像を同一の顕微鏡システムで再生表示するようにしていたが、この代わりに、この顕微鏡システムを離れた場所に個々に設置し、一方の顕微鏡システムで生成した顕微鏡画像の画像データファイルを他方の顕微鏡システムまで通信回線を利用して伝送し、当該他方の顕微鏡システムにおいて当該画像データファイルで表わされている顕微鏡画像の再生表示を行うようにすることも可能である。   Further, for example, in each of the above-described embodiments, the microscope image captured by the microscope system is reproduced and displayed by the same microscope system. Instead, the microscope system is individually installed at a remote location. The image data file of the microscope image generated by one microscope system is transmitted to the other microscope system using a communication line, and the microscope image represented by the image data file is reproduced and displayed in the other microscope system. It is also possible to perform.

また、例えば、上述した各実施例に係る顕微鏡システムにおいては、撮影装置として、ビデオカメラを適用したが、CCDやラインセンサ等といった周知の画像取込装置を適用することも可能である。   Further, for example, in the microscope system according to each of the above-described embodiments, a video camera is applied as an imaging device, but a known image capturing device such as a CCD or a line sensor can also be applied.

また、例えば、上述した各実施例に係る顕微鏡システムは、顕微鏡システム全般に適用することも可能である。特に生細胞観察を行うときによく行われるタイムラプス観察において、各実施例に係る処理の一部或いは全部を利用して、タイムラプスの観察位置を決めるようにすることも可能である。   Further, for example, the microscope systems according to the above-described embodiments can be applied to the entire microscope system. In particular, in time lapse observation that is often performed when observing live cells, it is possible to determine the time lapse observation position by using part or all of the processing according to each embodiment.

また、例えば、上述した各実施例に係る顕微鏡画像再生表示処理において、画像データファイルに統合されている各小区画における撮像パラメータが異なる場合であっても、その画像データファイルに統合されている高解像度広画角顕微鏡画像、すなわち、撮像パラメータが異なる各高解像度顕微鏡画像が繋ぎ合わされて作成された高解像度広画角顕微鏡画像をそのまま表示するようにすることも可能である。   Further, for example, in the microscopic image reproduction display processing according to each of the embodiments described above, even if the imaging parameters in each small section integrated in the image data file are different, the high level integrated in the image data file is high. It is also possible to display the high-resolution wide-angle microscope image created by connecting the high-resolution microscope images having different resolutions, that is, the high-resolution microscope images having different imaging parameters.

ところで、上述の図2、図5、及び図10にフローチャートとして示した処理を、上述の標準的な構成のコンピュータのCPUに行わせるための制御プログラムを作成してコンピュータ読み取り可能な記録媒体に記録させておき、そのプログラムを記録媒体からコンピュータに読み込ませてCPUで実行させるようにしても、本発明の実施は可能である。   By the way, a control program for causing the CPU of the computer having the standard configuration described above to perform the processing shown in the flowcharts of FIGS. 2, 5, and 10 is created and recorded on a computer-readable recording medium. In addition, the present invention can be implemented even if the program is read from a recording medium into a computer and executed by the CPU.

記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるROMやハードディスク装置などの記憶装置、コンピュータに備えられる媒体駆動装置へ挿入することによって記録された制御プログラムを読み出すことのできるフレキシブルディスク、MO(光磁気ディスク)、CD−ROM、DVD−ROMなどといった携帯可能記録媒体等が利用できる。   As a recording medium from which the recorded control program can be read by a computer, for example, a storage device such as a ROM or a hard disk device provided as an internal or external accessory device in the computer, or a medium driving device provided in the computer is inserted. A portable recording medium such as a flexible disk, MO (magneto-optical disk), CD-ROM, DVD-ROM, or the like from which the control program recorded can be read out can be used.

また、記録媒体は通信回線を介してコンピュータと接続される、プログラムサーバとして機能するコンピュータシステムが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータへ伝送するようにし、コンピュータでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータのCPUで実行できるようになる。   Further, the recording medium may be a storage device provided in a computer system functioning as a program server connected to a computer via a communication line. In this case, a transmission signal obtained by modulating a carrier wave with a data signal representing a control program is transmitted from the program server to a computer through a communication line as a transmission medium, and the computer demodulates the received transmission signal. By replaying the control program, the control program can be executed by the CPU of the computer.

実施例1に係る顕微鏡システムの構成例を示す図である。1 is a diagram illustrating a configuration example of a microscope system according to Embodiment 1. FIG. ホストシステムによって行われる顕微鏡画像データ取得処理の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the microscope image data acquisition process performed by a host system. 顕微鏡画像データ取得処理により作成された高解像度広画角顕微鏡画像の一例を示す図である。It is a figure which shows an example of the high-resolution wide-angle microscope image produced by the microscope image data acquisition process. (a),(b) は、A領域に対応する4つのメッシュにおける高解像度顕微鏡画像が繋ぎ合わされた画像を示す図である。(a), (b) is a figure which shows the image with which the high-resolution microscope image in the four meshes corresponding to A area | region was connected. 実施例1に係る、ホストシステムによって行われる顕微鏡画像再生表示処理の処理内容を示すフローチャートである。6 is a flowchart illustrating the processing content of a microscope image reproduction display process performed by the host system according to the first embodiment. (a),(b),(c) は、顕微鏡画像再生表示処理におけるS153の処理を具体例を挙げて説明する図である。(a), (b), (c) is a figure explaining the process of S153 in a microscope image reproduction display process by giving a specific example. (a),(b),(c) は、顕微鏡画像再生表示処理におけるS158の処理を具体例を挙げて説明する図である。(a), (b), (c) is a figure explaining the process of S158 in a microscope image reproduction display process by giving a specific example. (a),(b),(c),(d) は、ボタン操作に応じて階調範囲を指定するようにした例を説明する図である。(a), (b), (c), (d) is a diagram for explaining an example in which a gradation range is designated according to a button operation. (a),(b) は、階調範囲をフレキシブルに指定可能にする表示ウィンドウの一例を示す図である。(a), (b) is a figure which shows an example of the display window which enables a gradation range to be specified flexibly. 実施例2に係る、ホストシステムによって行われる顕微鏡画像再生表示処理の処理内容を示すフローチャートである。12 is a flowchart illustrating the processing contents of a microscope image reproduction display process performed by the host system according to the second embodiment. (a),(b),(c) は、実施例2に係る顕微鏡画像再生表示処理の一部を、具体例を挙げて説明する図である。(a), (b), (c) is a diagram illustrating a part of the microscope image reproduction display processing according to the second embodiment with a specific example.

符号の説明Explanation of symbols

1 顕微鏡装置
2 ホストシステム
3 カメラ
4 データ記録部
5 モニター
6 透過照明用光源
7 コレクタレンズ
8 透過用フィルタユニット
9 透過視野絞り
10 透過開口絞り
11 コンデンサ光学素子ユニット
12 トップレンズユニット
13 落射照明用光源
14 コレクタレンズ
15 落射用フィルタユニット
16 落射シャッタ
17 落射視野絞り
18 落射開口絞り
19 観察体
20 電動ステージ
21 ステージX−Y駆動制御部
22 ステージZ駆動制御部
23 対物レンズ
24 レボルバ
25 キューブユニット
26 接眼レンズ
27 ビームスプリッタ
28 ポラライザー
29 DIC(Differential Interference Contrast)プリズム
30 アナライザー
31 顕微鏡コントローラ
32 ビデオボード
33 カメラコントローラ
41、42、43 ボタン
44、45、46、47、48 点線
DESCRIPTION OF SYMBOLS 1 Microscope apparatus 2 Host system 3 Camera 4 Data recording part 5 Monitor 6 Light source for transmission illumination 7 Collector lens 8 Filter unit for transmission 9 Transmission field stop 10 Transmission aperture stop 11 Condenser optical element unit 12 Top lens unit 13 Light source for epi-illumination 14 Collector lens 15 Epi-illumination filter unit 16 Epi-illumination shutter 17 Epi-illumination field stop 18 Epi-illumination aperture stop 19 Observation body 20 Electric stage 21 Stage XY drive control unit 22 Stage Z drive control unit 23 Objective lens 24 Revolver 25 Cube unit 26 Eyepiece lens 27 Beam splitter 28 Polarizer 29 DIC (Differential Interference Contrast) prism 30 Analyzer 31 Microscope controller 32 Video board 33 Camera controller 41, 42, 43 Tan 44,45,46,47,48 dotted line

Claims (2)

観察体が載置されるステージと、
前記観察体を複数の小区画に分割する分割手段と、
前記観察体の撮像時の撮像条件を設定する撮像条件設定手段と、
前記撮像条件設定手段により設定された撮像条件に基づき前記小区画における前記観察体を撮像し当該小区画における画像を取得する撮像手段と、
前記撮像手段が前記撮像条件設定手段により設定された撮像条件に基づき前記小区画における前記観察体を撮像した時の撮像パラメータを取得する撮像パラメータ取得手段と、
前記小区画毎に、前記撮像パラメータ取得手段により取得された撮像パラメータを記録する撮像パラメータ記録手段と、
前記撮像手段により取得された隣り合う前記小区画における画像を繋ぎ合わせる画像合成手段と、
画像を表示する画像表示手段と、
画像の表示範囲を指定する画像表示範囲指定手段と、
前記撮像パラメータ取得手段により取得された前記小区画における撮像時の撮像パラメータに基づいて、前記撮像手段により取得された隣り合う前記小区画における画像から得られた画像に対し、当該画像が一定の撮像パラメータの下での撮像により得られた画像であるかのように表現されるように第1の画像処理を行う画像処理手段と、
を有し、
前記画像処理手段は、前記撮像パラメータ記録手段に記録された小区画毎の撮像パラメータに基づいて、前記画像表示範囲指定手段により指定された表示範囲の画像のみに対し、前記第1の画像処理を行うことを特徴とする顕微鏡システム。
A stage on which the observation body is placed;
Dividing means for dividing the observation body into a plurality of small sections;
Imaging condition setting means for setting imaging conditions at the time of imaging of the observation body;
Imaging means for imaging the observation body in the small section based on the imaging condition set by the imaging condition setting means and acquiring an image in the small section;
Imaging parameter acquisition means for acquiring imaging parameters when the imaging means images the observation object in the small section based on the imaging conditions set by the imaging condition setting means;
Imaging parameter recording means for recording the imaging parameter acquired by the imaging parameter acquisition means for each of the small sections;
Image composition means for joining the images in the adjacent small sections acquired by the imaging means;
Image display means for displaying an image;
Image display range specifying means for specifying the display range of the image;
Based on the imaging parameter at the time of imaging in the small section acquired by the imaging parameter acquisition means, the image is fixedly captured with respect to the image obtained from the image in the adjacent small section acquired by the imaging means. Image processing means for performing the first image processing so as to be represented as if it were an image obtained by imaging under a parameter;
Have
The image processing means performs the first image processing only on the image in the display range designated by the image display range designation means based on the imaging parameters for each small section recorded in the imaging parameter recording means. A microscope system characterized by performing .
前記撮像手段は、前記小区画毎に、前記撮像条件設定手段により設定された撮像条件に基づき当該小区画における前記観察体を異なる撮像パラメータの下で複数回撮像し当該小区画における画像を複数取得する、
ことを特徴とする請求項記載の顕微鏡システム。
The imaging unit captures a plurality of images in the small section by imaging the observation body in the small section a plurality of times under different imaging parameters based on the imaging conditions set by the imaging condition setting unit for each of the small sections. To
The microscope system according to claim 1 .
JP2005316240A 2005-10-11 2005-10-31 Microscope system Active JP4847101B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005316240A JP4847101B2 (en) 2005-10-31 2005-10-31 Microscope system
US11/545,416 US7929738B2 (en) 2005-10-11 2006-10-10 Microscope apparatus and microscope system
EP06021331A EP1775618A3 (en) 2005-10-11 2006-10-11 Microscope apparatus comprising an image accumulation unit for combining images captured with different resolutions and with different observation methods
EP07014992A EP1852726A1 (en) 2005-10-11 2006-10-11 Microscope apparatus comprising an image accumulation unit for combining images captured with different resolutions and with different observation methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005316240A JP4847101B2 (en) 2005-10-31 2005-10-31 Microscope system

Publications (2)

Publication Number Publication Date
JP2007121837A JP2007121837A (en) 2007-05-17
JP4847101B2 true JP4847101B2 (en) 2011-12-28

Family

ID=38145730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005316240A Active JP4847101B2 (en) 2005-10-11 2005-10-31 Microscope system

Country Status (1)

Country Link
JP (1) JP4847101B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075306A1 (en) * 2007-12-10 2009-06-18 Olympus Corporation Luminescence measurement method and luminescence measurement system
JP5677770B2 (en) * 2009-06-25 2015-02-25 オリンパス株式会社 Medical diagnosis support device, virtual microscope system, and specimen support member
JP5498129B2 (en) * 2009-11-09 2014-05-21 オリンパス株式会社 Virtual microscope system
JP2013011856A (en) 2011-06-01 2013-01-17 Canon Inc Imaging system and control method thereof
JP2013148856A (en) * 2011-12-22 2013-08-01 Canon Inc Imaging device, display screen generation device, imaging system, and control method of the same
JP5350532B2 (en) 2011-12-27 2013-11-27 キヤノン株式会社 Image processing apparatus, image display system, image processing method, and image processing program
CN107076650A (en) * 2014-10-31 2017-08-18 奥林巴斯株式会社 Image processing method and cell point take method
JP6223502B2 (en) * 2016-05-11 2017-11-01 キヤノン株式会社 Image processing apparatus, image processing method, program, and storage medium storing the same
JP2019191274A (en) 2018-04-19 2019-10-31 オリンパス株式会社 Image capturing optical system and microscope system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3361333B2 (en) * 1991-05-02 2003-01-07 コニカ株式会社 Solid-state imaging device
JP3817302B2 (en) * 1996-05-28 2006-09-06 キヤノン株式会社 Image generation device
JPH1195125A (en) * 1997-09-22 1999-04-09 Olympus Optical Co Ltd System and method for photographing microscopic digital image
JP2004343222A (en) * 2003-05-13 2004-12-02 Olympus Corp Image processing apparatus
JP2005197886A (en) * 2004-01-05 2005-07-21 Seiko Epson Corp Image pickup apparatus, image storing method, image storing program, image reproducing apparatus, image reproducing method, image reproducing program and image reproducing system

Also Published As

Publication number Publication date
JP2007121837A (en) 2007-05-17

Similar Documents

Publication Publication Date Title
JP4847101B2 (en) Microscope system
US7929738B2 (en) Microscope apparatus and microscope system
US8000560B2 (en) Virtual slide generation device, virtual slide generation method, virtual slide generation program product and virtual slide generation program transmission medium
JP4937850B2 (en) Microscope system, VS image generation method thereof, and program
JP4970869B2 (en) Observation apparatus and observation method
JP4600395B2 (en) Microscope system and image processing method
JP4818592B2 (en) Microscope system, microscope image display system, observation object image display method, and program
JP4878913B2 (en) Microscope system, microscope image synthesis method, and program
US7756357B2 (en) Microscope system for obtaining high and low magnification images
EP1764640A2 (en) Microscope for multipoint time-lapse imaging
JP4878815B2 (en) Microscope equipment
JP4878914B2 (en) Microscope system, microscope control method, and program
JP4906442B2 (en) Microscope imaging system, microscope imaging method, and recording medium
JP5015381B2 (en) Photomicroscope
JP5047764B2 (en) Microscope imaging device
JP2007108223A (en) Microscopic system
US8284246B2 (en) Microscope system, control method used for microscope system, and recording medium for reproducing a microscope state based on microscope operation history and a microscope operation item
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
KR100684299B1 (en) Ophthalmologic image taking apparatus
CN113472984B (en) Image acquisition method, device, system, storage medium and equipment
JP2005266718A (en) Microscopic image photographing system
JP2021021850A (en) Autofocus microscope and automatic imaging device of microscopic image
JP5197246B2 (en) Microscope system
JPH11344676A (en) Microscopic image photographing system
JP2009237267A (en) Microscope system, control method used for microscope system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111013

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4847101

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250