JP2019016182A - Observation device and observation method - Google Patents
Observation device and observation method Download PDFInfo
- Publication number
- JP2019016182A JP2019016182A JP2017133432A JP2017133432A JP2019016182A JP 2019016182 A JP2019016182 A JP 2019016182A JP 2017133432 A JP2017133432 A JP 2017133432A JP 2017133432 A JP2017133432 A JP 2017133432A JP 2019016182 A JP2019016182 A JP 2019016182A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- image
- low
- dictionary
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000010276 construction Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Abstract
Description
本発明は、観察装置および観察方法に関するものである。 The present invention relates to an observation apparatus and an observation method.
従来、サンプルの画像を取得する観察装置として、走査型レーザ顕微鏡やカメラが知られている（例えば、特許文献１参照。）。これら走査型レーザ顕微鏡やカメラのような観察装置においては、サンプルの画像を高解像度かつ高速で取得したいという普遍的な要求がある。 Conventionally, a scanning laser microscope or a camera is known as an observation apparatus that acquires an image of a sample (see, for example, Patent Document 1). These observation apparatuses such as a scanning laser microscope and a camera have a universal demand for acquiring a sample image at high resolution and at high speed.
しかしながら、従来の走査型レーザ顕微鏡においては、画素数を所定の数以下にすることでサンプルの高速な現象を捉えることが可能になるが、画素数を所定の数以下にすると解像度が足りなくなり、高速な現象の詳細を解析することができないという不都合がある。また、カメラは、サンプルの画像を高速に取得することはできるものの、解像度が低いという不都合がある。また、カメラにおいて、画素をずらしながら（ピクセルシフト）撮像した複数の画像を合成することによって高解像化することもできるが、この場合は、複数回撮影しなければならないため、サンプルの高速な現象を捉えることができないという問題がある。 However, in the conventional scanning laser microscope, it is possible to capture a high-speed phenomenon of the sample by setting the number of pixels to a predetermined number or less, but if the number of pixels is set to a predetermined number or less, the resolution becomes insufficient. There is an inconvenience that details of high-speed phenomena cannot be analyzed. In addition, the camera can acquire a sample image at a high speed, but has a disadvantage of low resolution. In addition, in the camera, it is possible to achieve high resolution by combining a plurality of images taken while shifting the pixels (pixel shift). There is a problem that the phenomenon cannot be captured.
本発明は上述した事情に鑑みてなされたものであって、高解像度と高速性を両立して標本を観察することができる観察装置および観察方法を提供することを目的としている。 The present invention has been made in view of the above-described circumstances, and an object thereof is to provide an observation apparatus and an observation method capable of observing a specimen with both high resolution and high speed.
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の第１態様は、高解像度画像を作成するための第１解像度および該第１解像度よりも低い第２解像度を設定する解像度設定部と、該解像度設定部により設定された前記第１解像度と前記第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成部と、前記解像度設定部により設定された前記第２解像度で標本を撮影して低解像度画像を取得する画像取得部と、該画像取得部により取得された前記低解像度画像を展開して表される前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数の内、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の前記高解像度画像を構築する画像構築部とを備える観察装置である。
In order to achieve the above object, the present invention provides the following means.
The first aspect of the present invention includes a resolution setting unit that sets a first resolution for creating a high-resolution image and a second resolution lower than the first resolution, and the first resolution set by the resolution setting unit. And downsampling a high-resolution dictionary formed by a collection of a plurality of high-resolution base images serving as a basis for constructing a desired high-resolution image by linear combination according to the ratio between the second resolution and the second resolution, A dictionary creation unit that creates a low-resolution dictionary formed by aggregating a plurality of low-resolution base images having a resolution lower than that of the resolution base image; and a low-resolution by photographing a sample at the second resolution set by the resolution setting unit An image acquisition unit for acquiring an image, a plurality of the low-resolution base images of the low-resolution dictionary represented by expanding the low-resolution image acquired by the image acquisition unit, and coefficients thereof An image for constructing the high-resolution image of the sample by linear combination by replacing a plurality of the low-resolution base images with a plurality of corresponding high-resolution base images in the high-resolution dictionary without changing the respective coefficients. An observation device including a construction unit.
本態様によれば、高解像度画像は、高解像度辞書を構成する複数の高解像度基底画像の線形和で表現することができ、低解像度画像は、低解像度辞書を構成する複数の低解像度基底画像の線形和で表現することができる。また、低解像度辞書は辞書作成部により高解像度辞書をダウンサンプリングして作成されるので、高解像度辞書を構成する複数の高解像度基底画像と低解像度辞書を構成する複数の低解像度基底画像は相関関係を有する。さらに、画像取得部により解像度が低い第２解像度で標本を撮影して得られる低解像度画像は、解像度が高い第１解像度で撮影する場合と比較して、現象の詳細を解析することはできないものの標本の高速な現象を捉えることはできる。 According to this aspect, the high-resolution image can be expressed by a linear sum of a plurality of high-resolution base images constituting the high-resolution dictionary, and the low-resolution image is a plurality of low-resolution base images constituting the low-resolution dictionary. Can be expressed as a linear sum of In addition, since the low resolution dictionary is created by downsampling the high resolution dictionary by the dictionary creation unit, a plurality of high resolution base images constituting the high resolution dictionary and a plurality of low resolution base images constituting the low resolution dictionary are correlated. Have a relationship. Furthermore, although the low-resolution image obtained by photographing the sample with the second resolution having a low resolution by the image acquisition unit cannot analyze the details of the phenomenon as compared with the case of photographing with the first resolution having a high resolution. It is possible to capture high-speed phenomena in specimens.
したがって、画像構築部により、画像取得部によって第２解像度で取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度で標本を撮影して高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を作成することができる。これにより、高解像度と高速性を両立して標本を観察することができる。 Therefore, the image construction unit constructs a high-resolution image of the specimen using the low-resolution dictionary and the high-resolution dictionary from the low-resolution image of the specimen acquired at the second resolution by the image acquisition unit, thereby obtaining the specimen at the first resolution. Compared with the case where a high-resolution image is acquired by photographing a high-resolution image, a high-resolution image representing the details of the high-speed phenomenon can be created while capturing the high-speed phenomenon of the specimen. As a result, the specimen can be observed with both high resolution and high speed.
上記態様においては、前記画像取得部が、前記解像度設定部により設定された前記第１解像度で複数の前記高解像度撮影画像を取得し、前記辞書作成部が、前記画像取得部により取得された複数の前記高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成することとしてもよい。
このように構成することで、高解像度撮影画像の取得および高解像度辞書の作成から、高解像度辞書を用いた高解像度画像の構築までの全てをこの観察装置により行うことができる。
In the above aspect, the image acquisition unit acquires the plurality of high-resolution captured images at the first resolution set by the resolution setting unit, and the dictionary creation unit acquires the plurality of images acquired by the image acquisition unit. The high-resolution dictionary may be created by collecting a plurality of the high-resolution base images that can represent the high-resolution captured image by a linear sum.
With this configuration, the observation apparatus can perform everything from acquisition of a high-resolution captured image and creation of a high-resolution dictionary to construction of a high-resolution image using the high-resolution dictionary.
上記態様においては、前記辞書作成部が、他の顕微鏡により前記第１解像度よりも高い解像度で取得された複数の前記高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成することとしてもよい。
このように構成することで、画像構築部により、この観察装置だけでは取得できない高い解像度の高解像度画像を構築することができる。
In the above aspect, the dictionary creation unit includes a plurality of the high-resolution base images that can represent a plurality of the high-resolution captured images acquired with a resolution higher than the first resolution by another microscope as a linear sum. The high-resolution dictionary may be created by collecting them.
With this configuration, the image constructing unit can construct a high-resolution image with a high resolution that cannot be obtained only by this observation apparatus.
上記態様においては、前記辞書作成部が、前記画像取得部により取得される前記低解像度画像と同じ前記標本を撮影して得られた複数の前記高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成することとしてもよい。 In the above aspect, the dictionary creation unit can represent a plurality of high-resolution captured images obtained by capturing the same specimen as the low-resolution image acquired by the image acquisition unit as a linear sum. The high-resolution base image may be collected to create the high-resolution dictionary.
このように構成することで、画像構築部において、画像取得部によって取得される標本の低解像度画像がその標本の複数の低解像度基底画像により展開され、その標本の高解像度画像がその標本の複数の高解像度基底画像の線形結合によって構築される。したがって、低解像度画像の標本と異なる標本の複数の高解像度基底画像が集合してなる高解像度辞書を使用する場合と比較して、画像構築部により構築される高解像度画像の精度を向上することができる。 With this configuration, in the image construction unit, the low-resolution image of the sample acquired by the image acquisition unit is developed by the plurality of low-resolution base images of the sample, and the high-resolution image of the sample is a plurality of the samples Is constructed by linear combination of high-resolution base images. Therefore, the accuracy of the high-resolution image constructed by the image construction unit is improved as compared with the case of using a high-resolution dictionary in which a plurality of high-resolution base images of samples different from the sample of the low-resolution image are collected. Can do.
上記態様においては、前記高解像度基底画像の前記標本または解像度が異なる複数の前記高解像度辞書から使用する該高解像度辞書を選択する辞書選択部を備えることとしてもよい。 The above aspect may further include a dictionary selection unit that selects the high-resolution dictionary to be used from the plurality of high-resolution dictionaries having different samples or resolutions of the high-resolution base image.
このように構成することで、複数の高解像度辞書を予め用意しておいて、辞書選択部によりその中から使用する高解像度辞書を選択するだけで済むので、高解像度辞書を作成するための時間を省くことができる。また、辞書選択部により、標本に合わせて最適な高解像度辞書を選択すれば、画像構築部により構築される高解像度画像の精度を向上することができる。 With this configuration, it is only necessary to prepare a plurality of high resolution dictionaries in advance and select a high resolution dictionary to be used from the dictionary selection unit. Can be omitted. Further, if the dictionary selection unit selects an optimum high resolution dictionary according to the sample, the accuracy of the high resolution image constructed by the image construction unit can be improved.
上記態様においては、前記辞書選択部が、使用する前記高解像度辞書をネットワーク上から選択することとしてもよい。
このように構成することで、多くの選択肢から適当な高解像度辞書を選択して使用することができる。
In the said aspect, the said dictionary selection part is good also as selecting the said high resolution dictionary to be used on a network.
With this configuration, an appropriate high resolution dictionary can be selected and used from many options.
上記態様においては、前記画像構築部が、前記画像取得部によりタイムラプス撮影にて前記第２解像度かつ所定の時間間隔で前記標本を撮影して得られた複数の前記低解像度画像に基づいて、前記標本の複数の前記高解像度画像を構築することとしてもよい。
このように構成することで、標本の高速な現象を逃すことなく、標本の時間変化を詳細に観察することができる。
In the above aspect, the image construction unit is based on the plurality of low-resolution images obtained by photographing the specimen at the second resolution and a predetermined time interval by time-lapse photography by the image acquisition unit. A plurality of the high-resolution images of the specimen may be constructed.
With this configuration, it is possible to observe in detail the temporal change of the sample without missing the high-speed phenomenon of the sample.
上記態様においては、前記画像構築部が、前記画像取得部によりタイリング撮影にて前記標本を複数の撮影範囲に分割して前記第２解像度で撮影して得られた複数の前記低解像度画像に基づいて、前記標本の複数の部分的な前記高解像度画像を構築し、これら複数の部分的な前記高解像度画像を繋ぎ合わせて前記標本の全体的な前記高解像度画像を構築することとしてもよい。
このように構成することで、標本の高速な現象を逃すことなく、標本の広い範囲を詳細に観察することができる。
In the above aspect, the image construction unit divides the specimen into a plurality of imaging ranges by tiling imaging by the image acquisition unit, and obtains the plurality of low resolution images obtained by imaging at the second resolution. Based on the above, a plurality of partial high-resolution images of the specimen may be constructed, and the plurality of partial high-resolution images may be connected to construct the overall high-resolution image of the specimen. .
By configuring in this way, a wide range of the specimen can be observed in detail without missing the high-speed phenomenon of the specimen.
本発明の第２態様は、高解像度画像を作成するための第１解像度および該第１解像度よりも低い第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成工程と、前記第２解像度かつ所定の時間間隔で標本を撮影して複数の低解像度画像を取得するタイムラプス観察工程と、該タイムラプス観察工程により取得された複数の前記低解像度画像を展開して前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数とで表し、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の複数の前記高解像度画像を構築する画像構築工程とを含む観察方法である。 According to a second aspect of the present invention, a desired high-resolution image is constructed by linear combination in accordance with a ratio between a first resolution for creating a high-resolution image and a second resolution lower than the first resolution. Downsampling a high-resolution dictionary consisting of a plurality of high-resolution base images as bases of the image, and creating a low-resolution dictionary consisting of a plurality of low-resolution base images having a lower resolution than the high-resolution base images A dictionary creation step, a time lapse observation step of acquiring a plurality of low resolution images by taking a sample at the second resolution and at a predetermined time interval, and developing the plurality of low resolution images acquired by the time lapse observation step. The plurality of low resolution base images of the low resolution dictionary and their respective coefficients, and the plurality of the low resolution base images without changing the respective coefficients. Substituting the dictionary corresponding plurality of the high resolution base image, an observation method and an image construction step of constructing a plurality of said high resolution image of the specimen by linear combination.
本態様によれば、高解像度画像は、高解像度辞書を構成する複数の高解像度基底画像の線形和として表現することができ、低解像度画像は、低解像度辞書を構成する複数の低解像度基底画像の線形和として表現することができる。また、低解像度辞書は辞書作成工程により高解像度辞書をダウンサンプリングして作成されるので、高解像度辞書を構成する複数の高解像度基底画像と低解像度辞書を構成する複数の低解像度基底画像は相関関係を有する。さらに、タイムラプス観察工程により解像度が低い第２解像度で標本を撮影して得られる複数の低解像度画像は、解像度が高い第１解像度で撮影する場合と比較して、標本の高速な現象を捉えることができる。 According to this aspect, the high resolution image can be expressed as a linear sum of a plurality of high resolution base images constituting the high resolution dictionary, and the low resolution image is a plurality of low resolution base images constituting the low resolution dictionary. Can be expressed as a linear sum of In addition, since the low resolution dictionary is created by downsampling the high resolution dictionary in the dictionary creation process, the plurality of high resolution base images constituting the high resolution dictionary and the plurality of low resolution base images constituting the low resolution dictionary are correlated. Have a relationship. Furthermore, a plurality of low-resolution images obtained by photographing a sample at a second resolution with a low resolution by the time-lapse observation process captures a high-speed phenomenon of the specimen as compared to photographing at a first resolution with a high resolution. Can do.
したがって、画像構築工程により、タイムラプス観察工程によって第２解像度で取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度かつ所定の時間間隔で標本を撮影して複数の高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を取得することができる。これにより、高解像度と高速性を両立して、標本の高速な現象を逃すことなく標本の時間変化を詳細に観察することができる。 Therefore, by constructing a high-resolution image of the sample using the low-resolution dictionary and the high-resolution dictionary from the low-resolution image of the sample acquired at the second resolution by the time-lapse observation step by the image construction step, the first resolution and the predetermined resolution Compared to the case where a plurality of high-resolution images are acquired by photographing a sample at the time interval, a high-resolution image representing the details of the high-speed phenomenon can be acquired while capturing the high-speed phenomenon of the sample. As a result, both high resolution and high speed can be achieved, and the temporal change of the specimen can be observed in detail without missing the high-speed phenomenon of the specimen.
本発明の第３態様は、高解像度画像を作成するための第１解像度および該第１解像度よりも低い第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成工程と、標本の撮影範囲を複数に分割して、各撮影範囲を前記第２解像度で撮影して複数の低解像度画像を取得するマップ観察工程と、該マップ観察工程により取得された複数の前記低解像度画像を展開して前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数とで表し、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の複数の部分的な前記高解像度画像を構築し、これら複数の部分的な前記高解像度画像を繋ぎ合わせて前記標本の全体的な前記高解像度画像を構築する画像構築工程とを含む観察方法である。 According to a third aspect of the present invention, a desired high resolution image is constructed by linear combination in accordance with a ratio between a first resolution for creating a high resolution image and a second resolution lower than the first resolution. Downsampling a high-resolution dictionary consisting of a plurality of high-resolution base images as bases of the image, and creating a low-resolution dictionary consisting of a plurality of low-resolution base images having a lower resolution than the high-resolution base images A dictionary creation step, a map observation step of dividing the photographing range of the specimen into a plurality of images, photographing each photographing range at the second resolution to obtain a plurality of low resolution images, and a plurality of pieces acquired by the map observation step The low-resolution image is expanded and represented by a plurality of low-resolution base images of the low-resolution dictionary and respective coefficients, and the plurality of low-resolution base images are not changed without changing the respective coefficients. Replacing with a plurality of corresponding high-resolution base images in a high-resolution dictionary, constructing a plurality of partial high-resolution images of the specimen by linear combination, and joining the plurality of partial high-resolution images together And an image construction step of constructing an overall high-resolution image of the specimen.
本態様によれば、画像構築工程により、マップ観察工程によって第２解像度で取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度で標本の各撮影範囲を撮影して複数の部分的な高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を取得することができる。これにより、高解像度と高速性を両立して、標本の高速な現象を逃すことなく標本の広い範囲を詳細に観察することができる。 According to this aspect, by constructing a high-resolution image of the sample using the low-resolution dictionary and the high-resolution dictionary from the low-resolution image of the sample acquired at the second resolution by the map observation step by the image construction step, Compared to acquiring multiple partial high-resolution images by photographing each imaging range of a sample at one resolution, a high-resolution image that shows details of the high-speed phenomenon while capturing the high-speed phenomenon of the sample Can be acquired. As a result, it is possible to observe a wide range of the sample in detail without missing the high-speed phenomenon of the sample while achieving both high resolution and high speed.
本発明によれば、高解像度と高速性を両立して標本を観察することができるという効果を奏する。 According to the present invention, there is an effect that a specimen can be observed with both high resolution and high speed.
〔第１実施形態〕
本発明の第１実施形態に係る観察装置について図面を参照して以下に説明する。
本実施形態に係る観察装置１は、図１に示すように、標本（図示略）を観察する顕微鏡３と、ユーザからの指示を入力するユーザインターフェース５と、ユーザインターフェース５からの指示に基づいて顕微鏡３の制御および演算処理を行う制御演算装置７とを備えている。また、観察装置１には、ユーザが指示を入力するマウスやキーボード等の入力部と、撮影条件や画像等を表示するモニタとが接続されている（いずれも図示略）。
[First Embodiment]
An observation apparatus according to a first embodiment of the present invention will be described below with reference to the drawings.
As shown in FIG. 1, the observation apparatus 1 according to the present embodiment is based on a microscope 3 for observing a specimen (not shown), a user interface 5 for inputting an instruction from a user, and an instruction from the user interface 5. And a control arithmetic device 7 that controls the microscope 3 and performs arithmetic processing. The observation apparatus 1 is connected to an input unit such as a mouse and a keyboard for inputting instructions by the user and a monitor for displaying photographing conditions and images (all not shown).
顕微鏡３は、光源（図示略）から発せられたレーザ光を標本上で２次元的に走査させるガルバノミラー等の走査光学系９と、レーザ光が照射された標本からの観察光を集光する対物レンズ（図示略）と、対物レンズにより集光された観察光を撮影して画像を取得する撮像素子（画像取得部）１１とを備えている。 The microscope 3 condenses the scanning optical system 9 such as a galvanometer mirror that two-dimensionally scans the sample with laser light emitted from a light source (not shown), and observation light from the sample irradiated with the laser light. An objective lens (not shown) and an imaging element (image acquisition unit) 11 that captures the observation light condensed by the objective lens and acquires an image are provided.
ユーザインターフェース５は、ユーザが所望する解像度を画像サイズとして設定する高解像度画像サイズ設定部（解像度設定部）１３および低解像度画像サイズ設定部（解像度設定部）１５と、ユーザの入力により制御演算装置７に撮影開始を指示する撮影開始指示部１７と、ユーザの入力により高解像度画像を構築するための高解像度辞書を作成するのに用いる複数の高解像度撮影画像を指定する高解像画像指定部１９とを備えている。高解像度辞書は、所望の高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像を集合させたものである。 The user interface 5 includes a high-resolution image size setting unit (resolution setting unit) 13 and a low-resolution image size setting unit (resolution setting unit) 15 that set a resolution desired by the user as an image size. A shooting start instructing unit 17 for instructing to start shooting, and a high-resolution image designating unit for designating a plurality of high-resolution photographic images used to create a high-resolution dictionary for constructing a high-resolution image by user input. 19. The high-resolution dictionary is a collection of a plurality of high-resolution base images serving as bases for constructing a desired high-resolution image by linear combination.
高解像度画像サイズ設定部１３は、高解像度画像を作成するための第１解像度を第１画像サイズとして設定するようになっている。
低解像度画像サイズ設定部１５は、第１解像度よりも低い第２解像度を第２画像サイズとして設定するようになっている。
The high resolution image size setting unit 13 sets a first resolution for creating a high resolution image as the first image size.
The low resolution image size setting unit 15 sets a second resolution lower than the first resolution as the second image size.
撮影開始指示部１７は、ユーザの選択により、制御演算装置７に対して、高解像度画像サイズ設定部１３によって設定された第１画像サイズでの撮影開始を指示したり、低解像度画像サイズ設定部１５によって設定された第２画像サイズでの撮影開始を指示したりするようになっている。 The shooting start instruction unit 17 instructs the control arithmetic device 7 to start shooting at the first image size set by the high resolution image size setting unit 13 or a low resolution image size setting unit according to the user's selection. 15 is instructed to start photographing at the second image size set by the step S15.
制御演算装置７は、顕微鏡３の走査光学系９および撮像素子１１を制御する撮影制御部２１と、高解像度辞書を作成する高解像度辞書作成部（辞書作成部）２３と、低解像度辞書を作成する低解像度辞書作成部（辞書作成部）２５と、高解像度画像を作成する高解像度画像作成部（画像構築部）２７とを備えている。 The control arithmetic device 7 includes a photographing control unit 21 that controls the scanning optical system 9 and the image sensor 11 of the microscope 3, a high-resolution dictionary creation unit (dictionary creation unit) 23 that creates a high-resolution dictionary, and a low-resolution dictionary. A low-resolution dictionary creation unit (dictionary creation unit) 25 and a high-resolution image creation unit (image construction unit) 27 that creates a high-resolution image.
撮影制御部２１は、撮影開始指示部１７からの撮影開始の指示に応じて、第１画像サイズで標本を撮影したりまたは第２画像サイズで標本を撮影したりするように、走査光学系９および撮像素子１１を制御するようになっている。 In response to an instruction to start shooting from the shooting start instruction unit 17, the shooting control unit 21 scans the sample with the first image size or the sample with the second image size. The image pickup device 11 is controlled.
高解像度辞書作成部２３は、高解像画像指定部１９により指定された互いに異なる複数の高解像度撮影画像を線形和で表すことができる複数の高解像度基底画像を内部処理にて生成し、生成した複数の高解像度基底画像を集合させて、例えば図２に示すような高解像度辞書を作成するようになっている。高解像度辞書を構成する複数の高解像度基底画像は、同一の被写体の撮影部位が異なるものでもよいし被写体自体が異なるものでもよく、また、枚数が多いほど好ましい。図２において、Ｄｈは高解像度辞書を示し、Ｂｈは高解像度基底画像を示している。 The high-resolution dictionary creation unit 23 generates, by internal processing, a plurality of high-resolution base images that can represent a plurality of different high-resolution captured images designated by the high-resolution image designation unit 19 with a linear sum. For example, a high-resolution dictionary as shown in FIG. 2 is created by collecting the plurality of high-resolution base images. The plurality of high-resolution base images constituting the high-resolution dictionary may be different in the photographing part of the same subject or may be different in the subject itself, and the larger the number, the better. In FIG. 2, Dh indicates a high resolution dictionary, and Bh indicates a high resolution base image.
低解像度辞書作成部２５は、高解像度画像サイズ設定部１３により設定される第１画像サイズと低解像度画像サイズ設定部１５により設定される第２画像サイズとの比率に応じて高解像度辞書をダウンサンプリングし、高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させて、例えば図３に示すような低解像度辞書を作成するようになっている。図３において、Ｄｌは低解像度辞書を示し、Ｂｌは低解像度基底画像を示している。 The low-resolution dictionary creating unit 25 downgrades the high-resolution dictionary according to the ratio between the first image size set by the high-resolution image size setting unit 13 and the second image size set by the low-resolution image size setting unit 15. A low resolution dictionary as shown in FIG. 3, for example, is created by sampling and collecting a plurality of low resolution base images having a resolution lower than that of the high resolution base image. In FIG. 3, D1 indicates a low-resolution dictionary, and Bl indicates a low-resolution base image.
高解像度辞書をダウンサンプリングして低解像度辞書を作成することで、高解像度辞書を構成する複数の高解像度基底画像と低解像度辞書を構成する複数の低解像度基底画像は相関関係を有する。ここでのダウンサンプリングは、例えば、高解像度辞書を構成する複数の高解像度基底画像にボケやノイズを加えて疑似的な劣化を施すことにより、解像度を低下させた複数の低解像度基底画像に変換するようになっている。 By creating a low resolution dictionary by down-sampling the high resolution dictionary, a plurality of high resolution base images constituting the high resolution dictionary and a plurality of low resolution base images constituting the low resolution dictionary have a correlation. Downsampling here is, for example, converted into multiple low-resolution base images with reduced resolution by adding blur and noise to the multiple high-resolution base images that make up the high-resolution dictionary, and performing pseudo deterioration. It is supposed to be.
高解像度画像作成部２７は、低解像度画像サイズ設定部１５により設定される第２画像サイズで撮像素子１１により取得された低解像度画像を展開し、展開した低解像度画像を低解像度辞書を構成する複数の低解像度基底画像とそれぞれの係数とで表すようになっている。また、高解像度画像作成部２７は、低解像度画像を展開して表した複数の低解像度基底画像とそれぞれの係数の内、それぞれの係数は変えずに、複数の低解像度基底画像を高解像度辞書の対応する複数の高解像度基底画像に置き換えて、それらを線形結合させることにより、標本の高解像度画像を構築するようになっている。 The high-resolution image creation unit 27 develops the low-resolution image acquired by the image sensor 11 with the second image size set by the low-resolution image size setting unit 15 and configures the developed low-resolution image in a low-resolution dictionary. It is represented by a plurality of low-resolution base images and respective coefficients. Further, the high resolution image creating unit 27 converts the plurality of low resolution base images into the high resolution dictionary without changing each coefficient among the plurality of low resolution base images obtained by developing the low resolution image and the respective coefficients. Are replaced with a plurality of corresponding high-resolution base images and linearly combined to construct a high-resolution image of the specimen.
このように構成された観察装置１の作用について、図４のフローチャートを参照して以下に説明する。
本実施形態に係る観察装置１により標本の高解像度画像を作成するには、まず、ユーザは、例えば図５に示すようなモニタ画面上で、高解像度画像サイズ設定部１３により、作成したい高解像度画像の第１解像度（高解像度）として所望の第１画像サイズ（図５に示す例では５１２×５１２）を設定する（ステップＳＡ１）。
The operation of the observation apparatus 1 configured as described above will be described below with reference to the flowchart of FIG.
In order to create a high-resolution image of a specimen by the observation apparatus 1 according to the present embodiment, first, the user uses the high-resolution image size setting unit 13 on the monitor screen as shown in FIG. A desired first image size (512 × 512 in the example shown in FIG. 5) is set as the first resolution (high resolution) of the image (step SA1).
続いて、ユーザは、低解像度画像サイズ設定部１５により、第１解像度よりも低い第２解像度（低解像度）として所望の第２画像サイズ（図５に示す例では６４×６４）を設定する（ステップＳＡ２）。 Subsequently, the user sets a desired second image size (64 × 64 in the example shown in FIG. 5) as the second resolution (low resolution) lower than the first resolution by the low resolution image size setting unit 15 ( Step SA2).
次いで、同じく図５に示すようなモニタ画面上で、ユーザが高解像度（第１画像サイズ）での撮影開始の指示を入力すると、撮影開始指示部１７からの指示に従い、撮影制御部２１により顕微鏡３の走査光学系９および撮像素子１１が第１画像サイズで標本を撮影するように制御される。 Next, when the user inputs an instruction to start shooting at a high resolution (first image size) on the monitor screen as shown in FIG. 5, the microscope is controlled by the shooting control unit 21 according to the instruction from the shooting start instruction unit 17. The scanning optical system 9 and the image sensor 11 are controlled so as to photograph the specimen with the first image size.
顕微鏡３では、図示しない光源からレーザ光が発せられて走査光学系９により標本上で２次元的に走査され、撮像素子１１により、高解像度画像サイズ設定部１３により設定された第１画像サイズで標本からの観察光が撮影される。同様にして、撮像素子１１により複数の標本を第１画像サイズで撮影し、複数の高解像度撮影画像を取得する（ステップＳＡ３）。撮像素子１１により取得された複数の高解像度撮影画像は、撮影制御部２１を介して高解像度辞書作成部２３に送られる。 In the microscope 3, a laser beam is emitted from a light source (not shown) and scanned two-dimensionally on the sample by the scanning optical system 9, and the first image size set by the high resolution image size setting unit 13 is set by the imaging element 11. Observation light from the specimen is photographed. Similarly, a plurality of specimens are photographed with the first image size by the image sensor 11, and a plurality of high-resolution photographed images are acquired (step SA3). A plurality of high-resolution captured images acquired by the image sensor 11 are sent to the high-resolution dictionary creating unit 23 via the imaging control unit 21.
次いで、ユーザは、高解像度辞書作成部２３に送られた複数の高解像度撮影画像をモニタ等で確認し、図５に示すようなモニタ画面上で、高解像画像指定部１９により、その中から高解像度辞書を作成するのに用いる複数の高解像度撮影画像を指定する（ステップＳＡ４）。 Next, the user confirms a plurality of high-resolution captured images sent to the high-resolution dictionary creation unit 23 on a monitor or the like, and on the monitor screen as shown in FIG. A plurality of high-resolution photographic images to be used for creating a high-resolution dictionary are designated (step SA4).
次いで、ユーザが、図５に示すようなモニタ画面上で辞書作成を指示すると、まず、高解像度辞書作成部２３により、高解像画像指定部１９によってユーザが指定した複数の高解像度撮影画像を線形和で表すことができる複数の高解像度基底画像が生成され、生成された複数の高解像度基底画像が集合させられて、図２に示すような高解像度辞書が作成される（ステップＳＡ５）。 Next, when the user instructs to create a dictionary on the monitor screen as shown in FIG. 5, first, the high resolution dictionary creating unit 23 generates a plurality of high resolution captured images designated by the user by the high resolution image designating unit 19. A plurality of high-resolution base images that can be expressed by a linear sum are generated, and the generated plurality of high-resolution base images are assembled to create a high-resolution dictionary as shown in FIG. 2 (step SA5).
次いで、低解像度辞書作成部２５により、高解像度画像サイズ設定部１３によって設定された第１画像サイズと低解像度画像サイズ設定部１５によって設定された第２画像サイズとの比率に応じて、高解像度辞書作成部２３によって作成された高解像度辞書がダウンサンプリングされ、高解像度辞書を構成する複数の高解像度基底画像が低解像度の複数の低解像度基底画像に変換される。そして、低解像度辞書作成部２５により、これら複数の低解像度基底画像が集合させられて、図３に示すような低解像度辞書が作成される（ステップＳＡ６）。 Next, according to the ratio between the first image size set by the high resolution image size setting unit 13 and the second image size set by the low resolution image size setting unit 15 by the low resolution dictionary creation unit 25, the high resolution The high resolution dictionary created by the dictionary creation unit 23 is down-sampled, and a plurality of high resolution base images constituting the high resolution dictionary are converted into a plurality of low resolution base images having a low resolution. Then, the low resolution dictionary creating unit 25 collects the plurality of low resolution base images to create a low resolution dictionary as shown in FIG. 3 (step SA6).
次いで、ユーザが図５に示すようなモニタ画面上で、低解像度（第２画像サイズ）での撮影開始の指示を入力すると、撮影開始指示部１７からの指示に従い、撮影制御部２１により顕微鏡３の走査光学系９および撮像素子１１が第２画像サイズで標本を撮影するように制御される。 Next, when the user inputs an instruction to start shooting at a low resolution (second image size) on the monitor screen as shown in FIG. 5, the microscope 3 is operated by the shooting control unit 21 in accordance with the instruction from the shooting start instruction unit 17. The scanning optical system 9 and the image sensor 11 are controlled so as to photograph the specimen with the second image size.
そして、撮像素子１１により、低解像度画像サイズ設定部１５によって設定された第２画像サイズで標本からの観察光が撮影されて、図６に示すような標本の低解像度画像が取得される（ステップＳＡ７）。撮像素子１１により解像度が低い第２解像度で標本を撮影して得られる低解像度画像は、解像度が高い第１解像度で撮影する場合と比較して、現象の詳細を解析することはできないものの標本の高速な現象を捉えることはできる。 Then, the imaging device 11 captures the observation light from the sample with the second image size set by the low-resolution image size setting unit 15, and obtains a low-resolution image of the sample as shown in FIG. SA7). The low-resolution image obtained by photographing the sample with the second resolution having a low resolution by the imaging device 11 is not able to analyze the details of the phenomenon as compared with the case of photographing with the first resolution having a high resolution. A high-speed phenomenon can be captured.
続いて、高解像度画像作成部２７により、例えば、図７に示すように、撮像素子１１によって取得された標本の低解像度画像が展開されて、低解像度辞書の複数の低解像度基底画像とそれぞれの係数とで表される。図７においてａ，ｂ，ｃ，ｄは係数である。図８においても同様である。 Subsequently, for example, as shown in FIG. 7, the low-resolution image of the specimen acquired by the image sensor 11 is developed by the high-resolution image creation unit 27, and a plurality of low-resolution base images in the low-resolution dictionary and each of the low-resolution base images. It is expressed as a coefficient. In FIG. 7, a, b, c, and d are coefficients. The same applies to FIG.
そして、高解像度画像作成部２７により、例えば、図８に示すように、その複数の低解像度基底画像とそれぞれの係数の内、それぞれの係数は変えずに、複数の低解像度基底画像が高解像度辞書の対応する複数の高解像度基底画像に置き換えられて、複数の高解像度基底画像とそれぞれの係数が線形結合される。これにより、図９に示すような標本の高解像度画像が作成される（ステップＳＡ８）。 Then, for example, as shown in FIG. 8, the high-resolution image creation unit 27 converts the plurality of low-resolution base images to the high resolution without changing the coefficients among the plurality of low-resolution base images and the respective coefficients. A plurality of high-resolution base images corresponding to the dictionary are replaced with a plurality of high-resolution base images and their coefficients are linearly combined. As a result, a high-resolution image of the specimen as shown in FIG. 9 is created (step SA8).
以上説明したように、本実施形態に係る観察装置１によれば、高解像度画像は、高解像度辞書を構成する複数の高解像度基底画像の線形和で表現することができ、低解像度画像は、低解像度辞書を構成する複数の低解像度基底画像の線形和で表現することができる。そして、高解像度画像作成部２７により、撮像素子１１によって第２解像度で取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度で標本を撮影して高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を作成することができる。これにより、高解像度と高速性を両立して標本を観察することができる。 As described above, according to the observation apparatus 1 according to the present embodiment, a high resolution image can be expressed by a linear sum of a plurality of high resolution base images constituting a high resolution dictionary. It can be expressed by a linear sum of a plurality of low-resolution base images constituting the low-resolution dictionary. Then, the high-resolution image creation unit 27 constructs a high-resolution image of the sample from the low-resolution image of the sample acquired at the second resolution by the imaging device 11 using the low-resolution dictionary and the high-resolution dictionary, thereby Compared to the case where a specimen is photographed at a resolution and a high-resolution image is acquired, a high-resolution image representing the details of the high-speed phenomenon can be created while capturing the high-speed phenomenon of the specimen. As a result, the specimen can be observed with both high resolution and high speed.
本実施形態は以下のように変形することができる。
第１変形例としては、例えば、図１０のフローチャートに示されるように、低解像度画像サイズ設定部１５により第２画像サイズを設定した後（ステップＳＡ２）、予め取得してある高解像度撮影画像を複数用意し（ステップＳＢ３）、その中から使用する複数の高解像度撮影画像を指定して（ステップＳＡ４）、高解像度辞書を作成することとしてもよい（ステップＳＡ５）。
This embodiment can be modified as follows.
As a first modification, for example, as shown in the flowchart of FIG. 10, after setting the second image size by the low resolution image size setting unit 15 (step SA2), the high resolution captured image acquired in advance is used. A plurality of images may be prepared (step SB3), a plurality of high-resolution captured images to be used may be designated (step SA4), and a high-resolution dictionary may be created (step SA5).
予め取得してある高解像度撮影画像としては、自然画像を使用することとしてもよいし、顕微鏡３により予め取得しておいたものを使用することとしてもよい。また、顕微鏡３とは異なる他の顕微鏡により取得した高解像度撮影画像を予め取得してある高解像度撮影画像として使用することとしてもよい。この場合、予め取得してある高解像度撮影画像として、例えば電子顕微鏡のような他の顕微鏡により第１解像度よりも高い解像度で取得された複数の高解像度撮影画像を用いることとしてもよい。 As the high-resolution captured image acquired in advance, a natural image may be used, or an image acquired in advance by the microscope 3 may be used. Moreover, it is good also as using the high-resolution picked-up image acquired with the microscope different from the microscope 3 as the high-resolution picked-up image acquired previously. In this case, as a high-resolution captured image acquired in advance, a plurality of high-resolution captured images acquired at a resolution higher than the first resolution by another microscope such as an electron microscope may be used.
予め取得してある複数の高解像度撮影画像を用いることで、観察直前に複数の高解像度撮影画像を取得する手間を省くことができる。これにより、標本に無駄なダメージを与えるのを抑制することができる。また、高解像度辞書作成部２３により、他の顕微鏡によって第１解像度よりも高い解像度で取得された複数の高解像度撮影画像を用いて複数の高解像度基底画像が集合してなる高解像度辞書を作成した場合は、高解像度画像作成部２７により、この観察装置１だけでは取得できない高い解像度の高解像度画像を構築することができる。 By using a plurality of high-resolution captured images acquired in advance, it is possible to save the trouble of acquiring a plurality of high-resolution captured images immediately before observation. As a result, useless damage to the specimen can be suppressed. Further, the high-resolution dictionary creating unit 23 creates a high-resolution dictionary in which a plurality of high-resolution base images are gathered using a plurality of high-resolution captured images acquired at a resolution higher than the first resolution by another microscope. In such a case, the high-resolution image creation unit 27 can construct a high-resolution image with a high resolution that cannot be acquired by the observation device 1 alone.
第２変形例としては、例えば、図１１のフローチャートに示されるように、高解像画像指定部１９により、複数の高解像度撮影画像の中から、低解像度画像と同じ標本を撮影して得られた複数の高解像度撮影画像を指定することとしてもよい（ステップＳＣ４）。例えば、培養細胞のような標本の核の部分を観察する場合は、その核の部分を含む高解像度撮影画像を指定することとすればよい。 As a second modification, for example, as shown in the flowchart of FIG. 11, the high-resolution image designation unit 19 obtains the same specimen as the low-resolution image from a plurality of high-resolution captured images. It is also possible to designate a plurality of high-resolution captured images (step SC4). For example, when observing a nucleus portion of a specimen such as a cultured cell, a high-resolution captured image including the nucleus portion may be designated.
この場合、顕微鏡３により、低解像度画像と同じ標本を第１画像サイズで撮影して複数の高解像度撮影画像を取得するか（図４のフローチャートのステップＳＡ３参照。）、または、顕微鏡３または顕微鏡３よりも解像度が高い他の顕微鏡により、低解像度画像と同じ標本を第１画像サイズまたはそれよりも高い解像度で撮影して複数の高解像度撮影画像を予め取得しておいて、それらを用意することとすればよい（図１０のフローチャートのステップＳＢ３参照）。 In this case, the microscope 3 captures the same specimen as the low-resolution image with the first image size to obtain a plurality of high-resolution captured images (see step SA3 in the flowchart of FIG. 4), or the microscope 3 or the microscope Prepare a plurality of high-resolution captured images in advance by capturing the same specimen as the low-resolution image at the first image size or higher resolution with another microscope having a resolution higher than 3. (See step SB3 in the flowchart of FIG. 10).
高解像度辞書作成部２３により、低解像度画像と同じ標本を撮影して得られた複数の高解像度撮影画像を線形和で表すことができる複数の高解像度基底画像を内部処理にて生成し、生成した複数の高解像度基底画像を集合させて高解像度辞書を作成することで、高解像度画像作成部２７において、撮像素子１１によって取得される標本の低解像度画像がその標本の複数の低解像度基底画像により展開され、その標本の高解像度画像がその標本の複数の高解像度基底画像の線形結合によって構築される。 The high-resolution dictionary creation unit 23 generates, by internal processing, a plurality of high-resolution base images that can represent a plurality of high-resolution captured images obtained by photographing the same specimen as the low-resolution image with a linear sum. By creating a high-resolution dictionary by collecting the plurality of high-resolution base images, the high-resolution image creation unit 27 generates a plurality of low-resolution base images of the specimen obtained by the image sensor 11. And a high-resolution image of the specimen is constructed by linear combination of a plurality of high-resolution base images of the specimen.
したがって、低解像度画像の標本と異なる標本の複数の高解像度基底画像が集合してなる高解像度辞書を使用する場合と比較して、高解像度画像作成部２７により構築される高解像度画像の精度を向上することができる。 Therefore, the accuracy of the high-resolution image constructed by the high-resolution image creation unit 27 is improved as compared with the case of using a high-resolution dictionary formed by collecting a plurality of high-resolution base images of different samples from the sample of the low-resolution image. Can be improved.
〔第２実施形態〕
次に、本発明の第２実施形態に係る観察装置について説明する。
本実施形態に係る観察装置３１は、図１２に示すように、制御演算装置７が高解像度辞書作成部２３を備えず、また、ユーザインターフェース５が、高解像画像指定部１９に代えて高解像画像辞書指定部（辞書選択部）３３を備える点で第１実施形態と異なる。
以下、第１実施形態に係る観察装置１と構成を共通する箇所には、同一符号を付して説明を省略する。
[Second Embodiment]
Next, an observation apparatus according to the second embodiment of the present invention will be described.
In the observation device 31 according to the present embodiment, as shown in FIG. 12, the control arithmetic device 7 does not include the high resolution dictionary creating unit 23, and the user interface 5 is replaced with a high resolution image designating unit 19. This is different from the first embodiment in that a resolution image dictionary specifying unit (dictionary selecting unit) 33 is provided.
In the following, parts having the same configuration as those of the observation apparatus 1 according to the first embodiment are denoted by the same reference numerals and description thereof is omitted.
高解像画像辞書指定部３３は、高解像度基底画像の標本または解像度が異なる複数の高解像度辞書を記憶しており、ユーザがいずれかの高解像度辞書を指定することができるようになっている。また、高解像画像辞書指定部３３は、ユーザが指定した高解像度辞書を低解像度辞書作成部２５に送るようになっている。 The high-resolution image dictionary designating unit 33 stores a high-resolution base image sample or a plurality of high-resolution dictionaries having different resolutions, and allows the user to designate one of the high-resolution dictionaries. . The high resolution image dictionary designating unit 33 is configured to send the high resolution dictionary designated by the user to the low resolution dictionary creating unit 25.
このように構成された観察装置３１の作用について、図１３に示されるフローチャートを参照して以下に説明する。
本実施形態に係る観察装置３１においては、第２画像サイズが設定された後（ステップＳＡ２）、ユーザは、高解像画像辞書指定部３３に記憶されている複数の高解像度辞書をモニタ等で確認し、図１４に示すようなモニタ画面上で、高解像画像辞書指定部３３により、所望の高解像度辞書を指定する（ステップＳＤ３）。これにより、ユーザが指定した高解像度辞書が低解像度辞書作成部２５に送られて、低解像度辞書作成部２５において低解像度辞書が作成される（ステップＳＡ６）。
The operation of the observation apparatus 31 configured as described above will be described below with reference to the flowchart shown in FIG.
In the observation apparatus 31 according to the present embodiment, after the second image size is set (step SA2), the user can display a plurality of high resolution dictionaries stored in the high resolution image dictionary specifying unit 33 on a monitor or the like. After confirmation, a desired high resolution dictionary is designated by the high resolution image dictionary designation unit 33 on the monitor screen as shown in FIG. 14 (step SD3). As a result, the high resolution dictionary designated by the user is sent to the low resolution dictionary creating unit 25, and the low resolution dictionary creating unit 25 creates a low resolution dictionary (step SA6).
本実施形態に係る観察装置３１によれば、複数の高解像度辞書を予め用意しておいて、高解像画像辞書指定部３３によりその中から使用する高解像度辞書を選択するだけで済むので、高解像度辞書を作成するための時間を省くことができる。また、高解像画像辞書指定部３３により、標本に合わせて最適な高解像度辞書を選択すれば、高解像度画像作成部２７により構築される高解像度画像の精度を向上することができる。例えば、低解像度画像の標本と同種の標本の高解像度基底画像を含む高解像度辞書を選択すれば、高解像度画像の構築に係る時間の短縮と高解像度画像の精度の向上を図ることができる。 According to the observation device 31 according to the present embodiment, it is only necessary to prepare a plurality of high resolution dictionaries in advance and select a high resolution dictionary to be used from among them by the high resolution image dictionary designation unit 33. Time to create a high resolution dictionary can be saved. If the high resolution image dictionary designating unit 33 selects an optimum high resolution dictionary according to the sample, the accuracy of the high resolution image constructed by the high resolution image creating unit 27 can be improved. For example, if a high-resolution dictionary including a high-resolution base image of the same kind of sample as the sample of the low-resolution image is selected, the time required for constructing the high-resolution image can be shortened and the accuracy of the high-resolution image can be improved.
本実施形態においては、高解像画像辞書指定部３３が、記憶してある高解像度辞書から使用する高解像度辞書を選択するのでなく、使用する高解像度辞書をネットワーク上から選択することとしてもよい。
このようにすることで、多くの選択肢から観察する標本に適当な高解像度辞書を選択して使用することができる。
In the present embodiment, the high resolution image dictionary specifying unit 33 may select the high resolution dictionary to be used from the network instead of selecting the high resolution dictionary to be used from the stored high resolution dictionary. .
By doing so, it is possible to select and use a high-resolution dictionary suitable for a specimen to be observed from many options.
上記各実施形態においては、撮像素子１１によりタイムラプス撮影にて第２画像サイズかつ所定の時間間隔で標本を撮影して複数の低解像度画像を取得し、高解像度画像作成部２７が、タイムラプス撮影により取得された複数の低解像度画像に基づいて、標本の複数の高解像度画像を構築することとしてもよい。 In each of the above embodiments, the image sensor 11 captures a sample at a second image size and at a predetermined time interval by time lapse imaging to obtain a plurality of low resolution images, and the high resolution image creation unit 27 performs time lapse imaging. A plurality of high-resolution images of the specimen may be constructed based on the acquired plurality of low-resolution images.
この場合、観察方法としては、図１５のフローチャートに示されるように、画像サイズ設定工程ＳＥ１と、辞書作成工程ＳＥ２と、タイムラプス観察工程ＳＥ３と、画像構築工程ＳＥ４とを含むこととすればよい。 In this case, the observation method may include an image size setting step SE1, a dictionary creation step SE2, a time lapse observation step SE3, and an image construction step SE4 as shown in the flowchart of FIG.
画像サイズ設定工程ＳＥ１は、第１画像サイズおよび第２画像サイズを設定するようになっている。
辞書作成工程ＳＥ２は、第１画像サイズと第２画像サイズとの比率に応じて高解像度辞書をダウンサンプリングして、低解像度辞書を作成するようになっている。
In the image size setting step SE1, the first image size and the second image size are set.
In the dictionary creating step SE2, the low resolution dictionary is created by down-sampling the high resolution dictionary according to the ratio between the first image size and the second image size.
タイムラプス観察工程ＳＥ３は、撮像素子１１により、第２画像サイズかつ所定の時間間隔で標本を撮影して、同一の標本の複数の低解像度画像を取得するようになっている。
画像構築工程ＳＥ４は、タイムラプス観察工程ＳＥ３により取得された複数の低解像度画像を展開して低解像度辞書の複数の低解像度基底画像とそれぞれの係数とで表し、それぞれの係数は変えずに複数の低解像度基底画像を高解像度辞書の対応する複数の高解像度基底画像に置き換えて、線形結合により標本の複数の高解像度画像を構築するようになっている。
In the time lapse observation step SE3, the imaging device 11 captures a sample with a second image size and a predetermined time interval, and acquires a plurality of low-resolution images of the same sample.
In the image construction process SE4, a plurality of low resolution images acquired in the time lapse observation process SE3 are developed and represented by a plurality of low resolution base images of the low resolution dictionary and their respective coefficients, and each coefficient is not changed. The low-resolution base image is replaced with a plurality of corresponding high-resolution base images in the high-resolution dictionary, and a plurality of high-resolution images of the specimen are constructed by linear combination.
このようにすることで、タイムラプス観察工程ＳＥ３によって取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することにより、第１解像度かつ所定の時間間隔で標本を撮影して複数の高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を撮影することができる。これにより、高解像度と高速性を両立して、標本の高速な現象を逃すことなく標本の時間変化を詳細に観察することができる。 In this way, by constructing a high-resolution image of the sample using the low-resolution dictionary and the high-resolution dictionary from the low-resolution image of the sample acquired in the time lapse observation step SE3, the first resolution and a predetermined time interval Compared with the case where a specimen is photographed and a plurality of high-resolution images are acquired, a high-resolution image representing the details of the high-speed phenomenon can be captured while capturing the high-speed phenomenon of the specimen. As a result, both high resolution and high speed can be achieved, and the temporal change of the specimen can be observed in detail without missing the high-speed phenomenon of the specimen.
また、上記各実施形態においては、撮像素子１１によりタイリング撮影にて標本を複数の撮影範囲に分割して第２画像サイズで撮影して複数の低解像度画像を取得し、高解像度画像作成部２７が、取得された複数の低解像度画像に基づいて、標本の複数の部分的な高解像度画像を構築して、これら複数の部分的な高解像度画像を繋ぎ合わせて標本の全体的な高解像度画像を構築することとしてもよい。 Further, in each of the above embodiments, the sample is divided into a plurality of shooting ranges by tiling shooting using the image sensor 11 and shot at the second image size to acquire a plurality of low resolution images, and a high resolution image creation unit 27 constructs a plurality of partial high-resolution images of the specimen based on the plurality of acquired low-resolution images, and stitches the plurality of partial high-resolution images together to obtain an overall high-resolution of the specimen. An image may be constructed.
この場合、観察方法としては、図１６のフローチャートに示されるように、画像サイズ設定工程ＳＥ１と、辞書作成工程ＳＥ２と、マップ観察工程ＳＦ３と、画像構築工程ＳＥ４とを含んでいる。画像サイズ設定工程ＳＥ１および辞書作成工程ＳＥ２は、上述した変形例と同様である。 In this case, as shown in the flowchart of FIG. 16, the observation method includes an image size setting step SE1, a dictionary creation step SE2, a map observation step SF3, and an image construction step SE4. The image size setting step SE1 and the dictionary creation step SE2 are the same as in the above-described modification.
マップ観察工程ＳＦ３は、標本の撮影範囲を複数に分割して、各撮影範囲を第２解像度で撮影して複数の低解像度画像を取得するようになっている。
画像構築工程ＳＥ４は、マップ観察工程ＳＦ３により取得された複数の低解像度画像を展開して低解像度辞書の複数の低解像度基底画像とそれぞれの係数とで表し、それぞれの係数は変えずに複数の低解像度基底画像を高解像度辞書の対応する複数の高解像度基底画像に置き換えて、線形結合により標本の複数の高解像度画像を構築するようになっている。
In the map observation process SF3, the imaging range of the specimen is divided into a plurality of parts, and each imaging range is imaged at the second resolution to obtain a plurality of low resolution images.
In the image construction process SE4, a plurality of low resolution images acquired in the map observation process SF3 are developed and represented by a plurality of low resolution base images in the low resolution dictionary and their respective coefficients, and the respective coefficients are not changed, and The low-resolution base image is replaced with a plurality of corresponding high-resolution base images in the high-resolution dictionary, and a plurality of high-resolution images of the specimen are constructed by linear combination.
このようにすることで、マップ観察工程ＳＦ３によって取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度で標本の各撮影範囲を撮影して複数の部分的な高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を作成することができる。これにより、高解像度と高速性を両立して、標本の高速な現象を逃すことなく標本の広い範囲を詳細に観察することができる。 In this way, each sample of the specimen is captured at the first resolution by constructing a high-resolution image of the specimen using the low-resolution dictionary and the high-resolution dictionary from the low-resolution picture of the specimen acquired in the map observation step SF3. Compared to the case of capturing a range and acquiring a plurality of partial high-resolution images, it is possible to create a high-resolution image representing the details of the high-speed phenomenon while capturing the high-speed phenomenon of the specimen. As a result, it is possible to observe a wide range of the sample in detail without missing the high-speed phenomenon of the sample while achieving both high resolution and high speed.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included. For example, the present invention is not limited to those applied to the above-described embodiments and modifications, but may be applied to embodiments in which these embodiments and modifications are appropriately combined, and is not particularly limited. .
１，３１ 観察装置
１１ 撮像素子（画像取得部）
１３ 高解像度画像サイズ設定部（解像度設定部）
１５ 低解像度画像サイズ設定部（解像度設定部）
２３ 高解像度辞書作成部（辞書作成部）
２５ 低解像度辞書作成部（辞書作成部）
２７ 高解像度画像作成部（画像構築部）
３３ 高解像画像辞書指定部（辞書選択部）
ＳＥ２ 辞書作成工程
ＳＥ３ タイムラプス観察工程
ＳＥ４ 画像構築工程
ＳＦ３ マップ観察工程
1,31 Observation device 11 Image sensor (image acquisition unit)
13 High resolution image size setting part (resolution setting part)
15 Low resolution image size setting section (resolution setting section)
23 High-resolution dictionary creation part (dictionary creation part)
25 Low-resolution dictionary creation part (dictionary creation part)
27 High-resolution image creation unit (image construction unit)
33 High-resolution image dictionary specification part (dictionary selection part)
SE2 Dictionary creation process SE3 Time-lapse observation process SE4 Image construction process SF3 Map observation process
Claims (10)
該解像度設定部により設定された前記第１解像度と前記第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成部と、
前記解像度設定部により設定された前記第２解像度で標本を撮影して低解像度画像を取得する画像取得部と、
該画像取得部により取得された前記低解像度画像を展開して表される前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数の内、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の前記高解像度画像を構築する画像構築部とを備える観察装置。 A resolution setting unit for setting a first resolution for creating a high-resolution image and a second resolution lower than the first resolution;
In accordance with a ratio between the first resolution and the second resolution set by the resolution setting unit, a plurality of high-resolution base images serving as a basis for constructing a desired high-resolution image by linear combination are collected. A dictionary creating unit that creates a low-resolution dictionary formed by collecting a plurality of low-resolution base images having a resolution lower than that of the high-resolution base image;
An image acquisition unit that captures a sample at the second resolution set by the resolution setting unit and acquires a low-resolution image;
Among the plurality of low-resolution base images and the respective coefficients of the low-resolution dictionary expressed by developing the low-resolution image acquired by the image acquisition unit, the plurality of the low-resolution images are not changed. An observation apparatus comprising: an image constructing unit configured to construct a high-resolution image of the sample by linear combination by replacing a resolution base image with a plurality of the high-resolution base images corresponding to the high-resolution dictionary.
前記辞書作成部が、前記画像取得部により取得された複数の前記高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成する請求項１に記載の観察装置。 The image acquisition unit acquires a plurality of the high-resolution captured images at the first resolution set by the resolution setting unit;
The dictionary creation unit creates the high-resolution dictionary by collecting a plurality of the high-resolution base images that can represent a plurality of the high-resolution captured images acquired by the image acquisition unit by a linear sum. The observation apparatus described in 1.
前記第２解像度かつ所定の時間間隔で標本を撮影して複数の低解像度画像を取得するタイムラプス観察工程と、
該タイムラプス観察工程により取得された複数の前記低解像度画像を展開して前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数とで表し、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の複数の前記高解像度画像を構築する画像構築工程とを含む観察方法。 A plurality of high resolutions serving as a basis for constructing the desired high resolution image by linear combination according to the ratio of the first resolution for acquiring the high resolution image and the second resolution lower than the first resolution. A dictionary creation step of down-sampling a high-resolution dictionary formed by collecting base images and creating a low-resolution dictionary formed by collecting a plurality of low-resolution base images having a lower resolution than the high-resolution base image;
A time-lapse observation step of acquiring a plurality of low-resolution images by capturing a sample at the second resolution and at a predetermined time interval;
A plurality of the low resolution images acquired by the time lapse observation step are developed and represented by a plurality of the low resolution base images and the respective coefficients of the low resolution dictionary, and the plurality of the low resolution images are not changed. An observation method including an image construction step of constructing a plurality of high resolution images of the specimen by linear combination by replacing a resolution base image with a plurality of the high resolution base images corresponding to the high resolution dictionary.
標本の撮影範囲を複数に分割して、各撮影範囲を前記第２解像度で撮影して複数の低解像度画像を取得するマップ観察工程と、
該マップ観察工程により取得された複数の前記低解像度画像を展開して前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数とで表し、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の複数の部分的な前記高解像度画像を構築し、これら複数の部分的な前記高解像度画像を繋ぎ合わせて前記標本の全体的な前記高解像度画像を構築する画像構築工程とを含む観察方法。 A plurality of high resolutions serving as a basis for constructing the desired high resolution image by linear combination according to the ratio of the first resolution for acquiring the high resolution image and the second resolution lower than the first resolution. A dictionary creation step of down-sampling a high-resolution dictionary formed by collecting base images and creating a low-resolution dictionary formed by collecting a plurality of low-resolution base images having a lower resolution than the high-resolution base image;
A map observation step of dividing the imaging range of the sample into a plurality of images, and imaging each imaging range at the second resolution to obtain a plurality of low-resolution images;
A plurality of the low-resolution images acquired by the map observation step are developed and represented by a plurality of the low-resolution base images and the respective coefficients of the low-resolution dictionary, and the respective coefficients are not changed and the plurality of the low-resolution images are not changed. Replacing a plurality of corresponding high-resolution base images in the high-resolution dictionary with a plurality of corresponding high-resolution base images, and constructing a plurality of partial high-resolution images of the sample by linear combination, and the plurality of partial high-resolution images An image construction step of joining together images to construct the overall high-resolution image of the specimen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017133432A JP6962725B2 (en) | 2017-07-07 | 2017-07-07 | Observation device and observation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017133432A JP6962725B2 (en) | 2017-07-07 | 2017-07-07 | Observation device and observation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019016182A true JP2019016182A (en) | 2019-01-31 |
| JP6962725B2 JP6962725B2 (en) | 2021-11-05 |
Family
ID=65356568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017133432A Active JP6962725B2 (en) | 2017-07-07 | 2017-07-07 | Observation device and observation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6962725B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010085420A (en) * | 2008-09-29 | 2010-04-15 | Olympus Corp | Microscope system |
| JP2010085421A (en) * | 2008-09-29 | 2010-04-15 | Olympus Corp | Microscope device |
| JP2015176500A (en) * | 2014-03-17 | 2015-10-05 | 株式会社リコー | Image processing device, image processing method, image processing program and recording medium |
| JP2015232869A (en) * | 2014-05-16 | 2015-12-24 | 株式会社リコー | Image processor, image processing method and image processing program |
| JP2017003863A (en) * | 2015-06-12 | 2017-01-05 | オリンパス株式会社 | Microscope system |
-
2017
- 2017-07-07 JP JP2017133432A patent/JP6962725B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010085420A (en) * | 2008-09-29 | 2010-04-15 | Olympus Corp | Microscope system |
| JP2010085421A (en) * | 2008-09-29 | 2010-04-15 | Olympus Corp | Microscope device |
| JP2015176500A (en) * | 2014-03-17 | 2015-10-05 | 株式会社リコー | Image processing device, image processing method, image processing program and recording medium |
| JP2015232869A (en) * | 2014-05-16 | 2015-12-24 | 株式会社リコー | Image processor, image processing method and image processing program |
| JP2017003863A (en) * | 2015-06-12 | 2017-01-05 | オリンパス株式会社 | Microscope system |
Non-Patent Citations (3)
| Title |
|---|
| JIANCHAO YANG, JOHN WRIGHT, THOMAS HUANG, YI MA: "Image Super-Resolution as Sparse Representation of Raw Image Patches", 2008 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN6021028995, 23 June 2008 (2008-06-23), US, pages 8 pages in total, ISSN: 0004600524 * |
| JIANCHAO YANG, JOHN WRIGHT, THOMAS S. HUANG, YI MA: "Image Super-Resolution Via Sparse Representation", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. Vol. 19, No. 11, Nov. 2010, JPN6021028991, 18 May 2010 (2010-05-18), US, pages 2861 - 2873, ISSN: 0004600526 * |
| 本橋 直樹, 中村 聡史, 鈴木 俊博: "複数の縮小基底辞書を用いたスパースコーディングに基づく学習型超解像の高速化", 電子情報通信学会技術研究報告, vol. SIS2014-106 (2015-3), JPN6021028993, 26 February 2015 (2015-02-26), JP, pages 85 - 90, ISSN: 0004600525 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6962725B2 (en) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5988790B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| JP5780865B2 (en) | Image processing apparatus, imaging system, and image processing system | |
| JP4513869B2 (en) | Imaging apparatus, strobe image generation method, and program | |
| JP2004101871A (en) | Photographing apparatus for microscope image | |
| JP6061816B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| US20140015933A1 (en) | Image processing apparatus, imaging system, and image processing system | |
| RU2734447C2 (en) | System for forming a synthesized two-dimensional image of a biological sample with high depth of field | |
| JP2014071207A (en) | Image processing apparatus, imaging system, and image processing system | |
| JP5943785B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGE PROCESSING DEVICE, AND IMAGING DEVICE CONTROL METHOD | |
| JP6147079B2 (en) | Microscope system, method for determining bonded area, and program | |
| JP2016024489A (en) | Image processing apparatus, imaging device, image processing method, and program | |
| JP2014222321A (en) | Microscope system, determination method of lamination area, and program | |
| JP5055120B2 (en) | Data management system and method for microscope slide scanner using linear array | |
| US10721413B2 (en) | Microscopy system, microscopy method, and computer readable recording medium | |
| JP2009063658A (en) | Microscope system | |
| JP5249799B2 (en) | Image output system, image output method, and image output program | |
| JP6962725B2 (en) | Observation device and observation method | |
| JP2009063655A (en) | Microscope system | |
| JP5818828B2 (en) | Image processing apparatus, imaging system, and image processing system | |
| JP2010200360A (en) | Imaging apparatus, stroboscopic image generation method, and program | |
| JP6321991B2 (en) | Image processing apparatus, control method, program, and recording medium | |
| JP2017173683A (en) | Microscope system and specimen observation method | |
| JP2016038542A (en) | Image processing method and image processing apparatus | |
| JP2007102102A (en) | Confocal microscope and method of generating focused color image | |
| JP5466142B2 (en) | Data management system and method for microscope slide scanner using linear array |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200702 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211014 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6962725 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |