JP2007114130A - Position analyzing method and position analyzer - Google Patents
Position analyzing method and position analyzer Download PDFInfo
- Publication number
- JP2007114130A JP2007114130A JP2005307917A JP2005307917A JP2007114130A JP 2007114130 A JP2007114130 A JP 2007114130A JP 2005307917 A JP2005307917 A JP 2005307917A JP 2005307917 A JP2005307917 A JP 2005307917A JP 2007114130 A JP2007114130 A JP 2007114130A
- Authority
- JP
- Japan
- Prior art keywords
- position analysis
- pixels
- analysis method
- light
- fluorescent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
Description
本発明は、光学顕微鏡により取得された画像情報を使用して、粒子の位置を計算し、時間経過を追跡することができる位置解析方法、およびこの位置解析方法を用いることで粒子等の素材の位置を解析し、且つ、追跡する位置解析装置に関する。 The present invention relates to a position analysis method capable of calculating the position of particles using image information acquired by an optical microscope and tracking the passage of time, and a material such as particles by using this position analysis method. The present invention relates to a position analysis apparatus that analyzes and tracks a position.
小さすぎて肉眼では見ることのできない蛋白質は、エバネッセント蛍光顕微鏡、共焦点蛍光顕微鏡などの蛍光顕微鏡を用いて、観察の対象となる蛋白質に蛍光粒子を付加し、蛍光粒子から発せられる信号から、蛍光粒子の位置、すなわち、蛋白質の位置を継時的に検出することで、前記蛋白質の挙動および状態を解析する。
この解析方法に関しては、特許文献1に開示されている。上記の方法では、蛋白質の挙動を妨害しないように、蛍光粒子は出来る限り小さな方が良い。蛋白質を蛍光標識するための物質として、蛍光色素分子を用いるのが一般的である。特に蛍光色素分子として蛍光蛋白質を用いる場合、遺伝子工学的に標的蛋白質に融合させることができる。
Proteins that are too small to be seen with the naked eye can be obtained from fluorescent signals such as evanescent fluorescence microscopes and confocal fluorescence microscopes. By detecting the position of the particle, that is, the position of the protein over time, the behavior and state of the protein are analyzed.
This analysis method is disclosed in Patent Document 1. In the above method, the fluorescent particles should be as small as possible so as not to disturb the behavior of the protein. As a substance for fluorescently labeling a protein, a fluorescent dye molecule is generally used. In particular, when a fluorescent protein is used as the fluorescent dye molecule, it can be fused to the target protein by genetic engineering.
蛍光粒子あるいは蛍光色素分子の位置を計算する方法は、非特許文献1に挙げられる。非特許文献1では、光学顕微鏡下において、回折限界より直径の小さな粒子の位置は、蛍光強度分布が近似的に二次元ガウス分布に従う事を利用して、デジタル画像デ−タから、蛍光強度を重みとした重心位置として計算される。非特許文献1によると、二次元ガウス関数で近似計算する事が、前記蛍光粒子あるいは蛍光色素分子の重心位置を計算する方法として最も精度が良いとされている。
前記蛍光粒子あるいは蛍光色素分子の蛍光像を撮影するために、多くの場合において、ラインセンサ、あるいは、エリアセンサが使われる。ラインセンサとは、受光した光情報を電気信号に変換する半導体で作られた投影素子が1列だけに配置された、光学センサである。ラインセンサを用いたビデオカメラでは、像を線視野で捉え、一定ピッチ毎に平均した走査を行うことで、二次元的なビデオ信号を出力する。エリアセンサでは前記投影素子が二次元に配置されており、エリアセンサを用いたビデオカメラでは、センサを走査する必要がない。デジタルCCDカメラなど、ラインセンサやエリアセンサを用いて画像を読み取る画像読取装置のフレームレートは、露光時間と読み出し時間により決定される。従って、デジタル画像デ−タの複数の画素をまとめて一つの画素(ビン)として処理(ビニング)することにより、像の解像度は低下するが、フレームレートは向上する。しかし、デジタルCCDカメラではCCDチップの構造上、直列レジスタ方向のビニングでは、フレームレートを向上させることはできない。
A method for calculating the position of fluorescent particles or fluorescent dye molecules is given in Non-Patent Document 1. In Non-Patent Document 1, under the optical microscope, the position of a particle having a diameter smaller than the diffraction limit is calculated from the digital image data using the fact that the fluorescence intensity distribution approximately follows a two-dimensional Gaussian distribution. Calculated as the center of gravity position as the weight. According to Non-Patent Document 1, approximate calculation with a two-dimensional Gaussian function is said to be the most accurate method for calculating the position of the center of gravity of the fluorescent particle or fluorescent dye molecule.
In many cases, a line sensor or an area sensor is used to take a fluorescent image of the fluorescent particles or fluorescent dye molecules. A line sensor is an optical sensor in which projection elements made of a semiconductor that converts received light information into electrical signals are arranged in only one row. In a video camera using a line sensor, a two-dimensional video signal is output by capturing an image in a line field and performing scanning averaged at a certain pitch. In the area sensor, the projection elements are two-dimensionally arranged, and a video camera using the area sensor does not need to scan the sensor. The frame rate of an image reading apparatus that reads an image using a line sensor or an area sensor such as a digital CCD camera is determined by the exposure time and the read time. Accordingly, by processing (binning) a plurality of pixels of the digital image data as one pixel (bin), the resolution of the image is reduced, but the frame rate is improved. However, in the digital CCD camera, the frame rate cannot be improved by binning in the serial register direction because of the structure of the CCD chip.
非特許文献1の方法で、蛍光粒子あるいは蛍光色素分子の位置を計算した場合、その位置精度は、非特許文献2に書かれている以下の式で示される。
[数1]で表された数式(以下、同様に記載する。)によると、画素数の減少は精度の低下にそれほど影響を与えない。s<aの場合、わずか数画素で蛍光粒子あるいは蛍光色素分子の像を表さなければならず、事実上、計算機による二次元ガウス関数近似は不可能である。従って、非特許文献1に記載の二次元ガウス関数近似法により、蛍光粒子あるいは蛍光色素分子の重心位置を計算する場合には、画素の大きさが、点像分布関数の標準偏差を越えない程度しかビニングを行うことはできない。 According to the mathematical expression represented by [Equation 1] (hereinafter described in the same manner), the decrease in the number of pixels does not significantly affect the decrease in accuracy. In the case of s <a, it is necessary to represent an image of fluorescent particles or fluorescent dye molecules with only a few pixels. In fact, a two-dimensional Gaussian function approximation by a computer is impossible. Therefore, when calculating the barycentric position of fluorescent particles or fluorescent dye molecules by the two-dimensional Gaussian function approximation method described in Non-Patent Document 1, the pixel size does not exceed the standard deviation of the point spread function. Only binning can be done.
従って、本発明では、ビニング動作する複数のラインセンサ、あるいは、エリアセンサを用いて画像を読み取る画像読取装置を用いて、光学顕微鏡により取得された画像情報を使用して、回折限界より小さな蛍光粒子又は蛍光色素分子の重心位置を計算する際に、点像分布関数の標準偏差を越えたビニングを行い、上記画像読取装置のフレームレートを向上させ、さらに上記重心位置の計算精度を低下させることのない位置解析方法を提供すること、及び、その原理を用いて、運動する蛍光粒子又は蛍光色素分子の位置を解析し、さらに追跡する位置解析装置を提供することを課題とする。 Therefore, in the present invention, a plurality of line sensors that perform a binning operation, or an image reading device that reads an image using an area sensor, and using image information acquired by an optical microscope, fluorescent particles smaller than the diffraction limit are used. Or, when calculating the barycentric position of the fluorescent dye molecule, binning exceeding the standard deviation of the point spread function is performed, the frame rate of the image reading device is improved, and the calculation accuracy of the barycentric position is further reduced. It is an object of the present invention to provide a position analysis method that does not provide a position analysis method, and that uses the principle to analyze the position of a moving fluorescent particle or fluorescent dye molecule and further track it.
上記課題を解決するための手段として、本発明は以下の特徴を有している。
本発明は、本発明は、光を受光する投影素子が1列だけに配置された、ひとつ、あるいは、複数のラインセンサ、あるいは、該投影素子が二次元に配置されたエリアセンサを用いて、該撮像素子の素子数をまとめて一つの画素(ビン)として解析処理(ビニング)できる画像処理装置を装着した光学顕微鏡で、前記画像読取装置から読み込んだ画像情報から、直径が回折限界より小さな蛍光粒子あるいは蛍光色素分子の位置を計算する方法であって、前記画像情報のy軸のみの画素デ−タを該蛍光粒子あるいは蛍光色素分子の蛍光像が二つのビンに投影されるようにビニングを行い、直径が回折限界より小さな蛍光粒子あるいは蛍光色素分子の蛍光像の強度分布が、所定の関数、例えば、ガウス関数によるガウス分布に近似的に従うことを利用して、前記蛍光粒子の画像情報におけるx軸の画素デ−タ列をガウス関数で近似することでx軸座標位置を計算すると共に、前記蛍光像のy軸方向における強度分布を計算し、前記強度分布から理論的なy軸の二つのビンおける蛍光強度の差分に対する前記蛍光像のy軸座標位置の相関表を計算し、実際に投影されたy軸の二つのビンおける蛍光強度の差分から、前記相関表を使用して、y軸座標位置を計算する位置解析方法を提供する。
As means for solving the above problems, the present invention has the following features.
The present invention uses one or a plurality of line sensors in which projection elements that receive light are arranged in only one row, or an area sensor in which the projection elements are two-dimensionally arranged. Fluorescence whose diameter is smaller than the diffraction limit from image information read from the image reading device by an optical microscope equipped with an image processing device capable of analyzing (binning) the number of elements of the image pickup device as one pixel (bin). A method of calculating a position of a particle or a fluorescent dye molecule, wherein pixel data of only the y-axis of the image information is binned so that a fluorescent image of the fluorescent particle or the fluorescent dye molecule is projected on two bins. The intensity distribution of the fluorescent image of the fluorescent particle or fluorescent dye molecule whose diameter is smaller than the diffraction limit should approximately follow a Gaussian distribution by a predetermined function, for example, a Gaussian function. The x-axis coordinate position is calculated by approximating the x-axis pixel data sequence in the image information of the fluorescent particles by a Gaussian function, and the intensity distribution in the y-axis direction of the fluorescent image is calculated, From the intensity distribution, a correlation table of the y-axis coordinate position of the fluorescent image with respect to the difference in the fluorescence intensity in the two bins on the theoretical y-axis is calculated, and from the difference in the fluorescence intensity in the two bins on the y-axis actually projected. A position analysis method for calculating a y-axis coordinate position using the correlation table is provided.
また、二つのラインセンサと、該ラインセンサに対応する二つの出力情報を保持するためのCCDレジスタと、受光面に、該ラインセンサと該CCDレジスタを配置し該受光面を二次元的に駆動させるために該受光面に直行する二辺に接続された二つの駆動装置と、該駆動装置を制御するための二つの制御装置と、ガウス関数による近似を行い、該受光面上における直径が回折限界より小さな蛍光粒子あるいは蛍光色素分子のx軸座標位置を計算する画像処理装置と、該CCDレジスタの値を全て加算する二つの回路と、該二つの加算回路の出力信号の差分を抽出する差分回路と、該画像処理装置からの出力信号と該差分回路からの出力信号を使用して、該受光面上における該蛍光粒子あるいは蛍光色素分子のy軸座標位置を計算する計算処理装置と、該x軸座標位置とy軸座標位置と該二つの制御装置の現在位置を記録する記録装置を備え、該受光面の中心位置に該蛍光粒子あるいは蛍光色素分子のx軸座標位置とy軸座標位置が位置決めされるように、該制御装置及び駆動装置を制御することで、移動する蛍光粒子あるいは蛍光色素分子を追跡することを可能とする位置解析装置を提供する。 Also, two line sensors, a CCD register for holding two output information corresponding to the line sensor, and the line sensor and the CCD register are arranged on the light receiving surface to drive the light receiving surface in a two-dimensional manner. In order to achieve this, approximation is performed using a Gaussian function with two driving devices connected to two sides perpendicular to the light receiving surface, two control devices for controlling the driving device, and the diameter on the light receiving surface is diffracted. An image processing device for calculating the x-axis coordinate position of fluorescent particles or fluorescent dye molecules smaller than the limit, two circuits for adding all the values of the CCD register, and a difference for extracting a difference between output signals of the two addition circuits A calculation process for calculating a y-axis coordinate position of the fluorescent particle or fluorescent dye molecule on the light receiving surface by using a circuit, an output signal from the image processing apparatus, and an output signal from the difference circuit; And a recording device for recording the x-axis coordinate position, the y-axis coordinate position, and the current position of the two control devices, and the x-axis coordinate position of the fluorescent particles or fluorescent dye molecules at the center position of the light-receiving surface Provided is a position analysis device that enables tracking of moving fluorescent particles or fluorescent dye molecules by controlling the control device and the drive device so that the y-axis coordinate position is positioned.
上記課題を解決するための手段により、本発明の位置解析方法では、回折限界以下の大きさの蛍光粒子および蛍光色素分子の位置を解析し、さらに、時間経過を追跡する際の時間分解能を向上させることができる。また、本発明の位置解析方法では、画像処理を行うに当たり、画像情報を減らすので、計算処理時間が短縮される。また、本発明の位置解析装置では、エバネッセント蛍光顕微鏡、共焦点蛍光顕微鏡などの蛍光顕微鏡を用いて、nm(ナノメートル)、ms(ミリ秒)の精度で蛋白質の挙動および状態を観測、追跡して、蛋白質機能解析をすることができる。 By means for solving the above-mentioned problems, the position analysis method of the present invention analyzes the positions of fluorescent particles and fluorescent dye molecules having a size less than the diffraction limit, and further improves the time resolution when tracking the passage of time. Can be made. Further, in the position analysis method of the present invention, the image processing time is reduced because the image information is reduced when performing the image processing. The position analysis apparatus of the present invention uses a fluorescence microscope such as an evanescent fluorescence microscope or a confocal fluorescence microscope to observe and track the behavior and state of proteins with an accuracy of nm (nanometers) and ms (milliseconds). Thus, protein function analysis can be performed.
本発明を実施するための最良の形態を、図面を参照しながら説明する。ただし、これらは一実施形態にすぎず、本発明の特許請求の範囲を限定するものではない。 The best mode for carrying out the present invention will be described with reference to the drawings. However, these are merely embodiments, and do not limit the scope of the claims of the present invention.
まず、非特許文献1、2に示される蛍光粒子又は蛍光色素分子のxy座標系における位置を計算する方法を以下に記す。回折限界より小さな蛍光粒子又は蛍光色素分子(以下、単に蛍光粒子と記す)の像は、近似的に、以下に示す二次元ガウス分布に従う。
デジタル処理を行う場合、この分布は離散化される。光学顕微鏡から得られる上記蛍光粒子のデジタル画像デ−タを[数2]で近似計算することによって、xy座標系における得られる上記蛍光粒子の位置を取得することができる。
First, a method for calculating the positions of the fluorescent particles or fluorescent dye molecules shown in Non-Patent Documents 1 and 2 in the xy coordinate system will be described below. An image of fluorescent particles or fluorescent dye molecules (hereinafter simply referred to as fluorescent particles) smaller than the diffraction limit approximately follows the two-dimensional Gaussian distribution shown below.
When performing digital processing, this distribution is discretized. By approximating the digital image data of the fluorescent particles obtained from the optical microscope with [Equation 2], the position of the fluorescent particles obtained in the xy coordinate system can be obtained.
本実施形態では、ビニング動作する複数のラインセンサ、あるいは、エリアセンサを用いて画像を読み取る画像読取装置として、デジタルCCDカメラを用いた。ここで用いた光学顕微鏡において、点像分布関数の標準偏差は238nm、画素(pixel)の大きさは49nmである。また、蛍光粒子の直径は約10nm、発するフォトンは約3500photons/ms、カメラのフレームレートは2ms(フレ−ム転送式)である。
図1に本実施例におけるビニング数と実際の近似計算の精度の相関を示す。ビニングは、x、y軸、すなわち、CCDカメラにおける並列レジスタ(x)、直列レジスタ(y)の両方に関して行った。図1において、例えば、ビニング数5とは、x、y軸のそれぞれの5つの画素を1つの画素として処理し、情報量を1/25に減らすことを表す。図1では、横軸にビニング数、縦軸は300枚の画像について近似計算を行った時の標準偏差を示す([数1]におけるΔx)。上記標準偏差は、近似計算における位置精度を表す。ビニング数が4を超えると精度が低下する。従って、[数2]の近似による蛍光粒子の重心位置計算の計算精度を保ちつつビニングを行う場合、最大で4画素のビニングが可能であるから、CCDカメラからの読み出し時間は、ビニングを行わない場合と比べて、最大でも4倍である。
In this embodiment, a digital CCD camera is used as an image reading apparatus that reads an image using a plurality of line sensors or an area sensor that perform a binning operation. In the optical microscope used here, the standard deviation of the point spread function is 238 nm, and the size of the pixel is 49 nm. The diameter of the fluorescent particles is about 10 nm, the emitted photons are about 3500 photons / ms, and the camera frame rate is 2 ms (frame transfer type).
FIG. 1 shows the correlation between the number of binning and the accuracy of actual approximate calculation in this embodiment. Binning was performed on the x and y axes, i.e. both the parallel register (x) and the serial register (y) in the CCD camera. In FIG. 1, for example, the binning number of 5 represents that the five pixels on the x and y axes are processed as one pixel, and the amount of information is reduced to 1/25. In FIG. 1, the horizontal axis indicates the number of binning, and the vertical axis indicates the standard deviation when approximate calculation is performed for 300 images (Δx in [Expression 1]). The standard deviation represents the position accuracy in the approximate calculation. When the number of binning exceeds 4, the accuracy decreases. Therefore, when binning is performed while maintaining the calculation accuracy of the calculation of the gravity center position of the fluorescent particles by approximation of [Equation 2], binning can be performed for up to four pixels, and therefore binning is not performed during the readout time from the CCD camera. Compared to the case, the maximum is four times.
次に、本発明における位置解析方法を図2のフロ−チャ−トに従い説明する。
最初にデジタルCCDカメラから、ビニングした画像情報を取得する。デジタルCCDカメラにより画像を取得する際に、y軸方向、すなわち、直列レジスタのみビニングをする。図3に本実施例におけるビニングの方法を示す。図3(a)は、直径10nmの蛍光粒子の蛍光像である。各画素は256階調である。図3(b)は図3(a)に示す蛍光像を、画素の値をZ軸にプロットした等高線グラフである。図3(b)を二次元ガウス関数で近似する。焦点があっていれば、前記二次元ガウス関数における標準偏差は、点像分布関数の標準偏差と等しい。図3(b)を二次元ガウス関数で近似した場合、標準偏差は、4.85pixel(238nm)となる。上記点像分布は、y軸方向の2つのビンにのみ投影される様に、ビニング数は、ビンの大きさが、使用している光学系における点像分布関数の標準偏差の3〜4倍程度にする。図3(c)に示すように、本実施例では、y軸方向の16画素をビニングした。図3(c)のy軸上のそれぞれの画素の値を縦軸に、x軸上の画素番号を横軸にプロットしたグラフが図3(d)である。本実施例では、直列レジスタ方向に16画素のビニングを行っているので、デジタルCCDカメラの読み出し時間は、ビニングを行わない場合と比べて16倍早い。本実施例におけるデジタルCCDカメラでは、CCDチップが出力するアナログ信号をデジタルに変換し、コンピュ−タへとデ−タを転送する。また、本実施例で用いたデジタルCCDカメラは、フレ−ム転送型であるから、露光時間は、フレームレートに加算しなくて良い。したがって、本実施例におけるデジタルCCDカメラのフレームレートは、読み出し時間とコンピュ−タへのデ−タ転送時間の加算となる。本実施例においては、16画素のビニングを行うことによって、フレームレートは6倍向上した。上記の方法で得られた画像情報から、蛍光粒子のx座標位置、および、y座標位置をそれぞれ計算する。
Next, the position analysis method according to the present invention will be described with reference to the flowchart of FIG.
First, binned image information is acquired from a digital CCD camera. When an image is acquired by a digital CCD camera, only the y-axis direction, that is, the serial register is binned. FIG. 3 shows a binning method in this embodiment. FIG. 3A is a fluorescent image of fluorescent particles having a diameter of 10 nm. Each pixel has 256 gradations. FIG. 3B is a contour graph in which the fluorescence values shown in FIG. FIG. 3B is approximated by a two-dimensional Gaussian function. If in focus, the standard deviation in the two-dimensional Gaussian function is equal to the standard deviation of the point spread function. When FIG. 3B is approximated by a two-dimensional Gaussian function, the standard deviation is 4.85 pixels (238 nm). The binning number is 3 to 4 times the standard deviation of the point spread function in the optical system used so that the above point spread is projected only on two bins in the y-axis direction. To a degree. As shown in FIG. 3C, in this embodiment, 16 pixels in the y-axis direction were binned. FIG. 3D is a graph in which the value of each pixel on the y-axis in FIG. 3C is plotted on the vertical axis and the pixel number on the x-axis is plotted on the horizontal axis. In this embodiment, since the binning of 16 pixels is performed in the serial register direction, the readout time of the digital CCD camera is 16 times faster than the case where no binning is performed. In the digital CCD camera according to the present embodiment, the analog signal output from the CCD chip is converted to digital, and the data is transferred to the computer. Further, since the digital CCD camera used in this embodiment is a frame transfer type, the exposure time does not have to be added to the frame rate. Therefore, the frame rate of the digital CCD camera in this embodiment is the addition of the readout time and the data transfer time to the computer. In this embodiment, the frame rate is improved by 6 times by binning 16 pixels. From the image information obtained by the above method, the x-coordinate position and the y-coordinate position of the fluorescent particles are respectively calculated.
まず、蛍光粒子のx座標における位置を求める。図3(c)の画像をy軸方向に加算し、一次元のデ−タ列にする。これは、図3bに示すガウス分布をx軸方向に投影するのと等価である。上記デ−タ列を以下に示す一次元ガウス関数により近似する。
次に、蛍光粒子のy座標における位置を求める。本実施例では、図3(d)に示すように、二つのビンに投影された蛍光粒子の画像は、各ビンにおいて、一次元ガウス分布で表される。上記の二つのビンに投影された蛍光粒子の画像について、それぞれ[数3]の一次元ガウス関数で近似し、近似パラメータのIをIA、IBとして記録しておく。上記近似計算の際、IA、IB以外の近似パラメータは、x座標における位置を求める際に行った近似解の値を代入し固定値とすることにより、反復計算処理の速度が向上する。蛍光粒子の蛍光像は、y軸の二つの画素に投影されるので、理論上、IA、IBは、下式に従う。
I=IA+IBであるから、IA、IBの差分diff(y0)を、
その逆関数は、
焦点の多少のずれにより、σの値が変化し、点像分布関数の標準偏差から離れる。図4に、σを変化させたときの、(IA−IB)/(IA+IB)とy0の理論上の相関である[数4]をプロットしたグラフを示す。図4のグラフをキャリブレ−ションテ−ブルとして用いて、IA、IBから、蛍光粒子のy軸上の重心位置y0を求めることができる。
The inverse function is
Due to a slight defocus, the value of σ changes and deviates from the standard deviation of the point spread function. FIG. 4 shows a graph plotting [Equation 4], which is a theoretical correlation between (I A −I B ) / (I A + I B ) and y 0 when σ is changed. Kyaribure the graph of FIG. 4 - Shonte - used as a table, I A, the I B, can be obtained centroid position y 0 on the y-axis of the fluorescent particles.
しかしながら、[数5]、[数6]を、解析的に求めることは非常に困難である。そこで、式を簡略化するため、また、計算処理を高速化するため、[数6]を予め数値計算により求め、5次関数で近似した式を用いる。この作業は、[数6]をテイラ−展開したことと等価である。また、[数6]は点対称であるから、偶数項は省き、[数7]を[数6]の近似式とする。
本実施例における、g1、g2、g3は、以下に示す[数8]とした。
本実施例で用いた光学顕微鏡において、上記の方法を用いて、図3の蛍光粒子の位置を計測した位置精度は、x軸方向で3nm、y軸方向で3nmであった。従来の方法(二次元ガウス関数による近似)で、同様の輝点の位置を計測した位置精度は、x軸方向、y軸方向共に3nmであった。本発明では、y座標の位置を計算するために、蛍光粒子が発する蛍光強度を用いるため、蛍光粒子の明滅や異方性が、y軸方向の位置精度を低下させてしまう。しかしながら、本発明では、[数5]に示すように、差分(IA−IB)を加算(IA+IB)で割ることにより蛍光強度の項を除去するため、蛍光粒子の明滅や異方性のy軸方向の位置精度への影響はなく、従来の方法に比べて、y軸方向の情報が16分の1に低下しているにも係わらず、位置精度は、低下していない。時空間分解能は、デジタルCCDカメラの画像取得時間は、本実施例においては6倍向上しているので、x、y軸両方向で、3nm/ms→1.2nm/ms(従来法→本発明)と向上している。 In the optical microscope used in this example, the position accuracy of measuring the position of the fluorescent particles in FIG. 3 using the above method was 3 nm in the x-axis direction and 3 nm in the y-axis direction. The position accuracy obtained by measuring the position of the same bright spot by a conventional method (approximation using a two-dimensional Gaussian function) was 3 nm in both the x-axis direction and the y-axis direction. In the present invention, since the fluorescence intensity emitted by the fluorescent particles is used to calculate the position of the y coordinate, blinking and anisotropy of the fluorescent particles reduce the positional accuracy in the y-axis direction. However, in the present invention, as shown in [Equation 5], the fluorescence intensity term is removed by dividing the difference (I A −I B ) by the addition (I A + I B ). There is no effect on the positional accuracy in the y-axis direction, and the positional accuracy does not decrease in spite of the fact that the information in the y-axis direction is reduced to 1/16 compared to the conventional method. . The spatio-temporal resolution of the image acquisition time of the digital CCD camera is improved by a factor of 6 in this embodiment, so that 3 nm / ms → 1.2 nm / ms in both the x and y axes (conventional method → the present invention). And has improved.
本手法の位置精度もまた、従来法と同様に、蛍光粒子の発する総フォトン数に依存する。総フォトン数が十分に大きい場合(回折限界より小さなポリエステルビ−ズの暗視野像等)で、本手法の位置精度は、x軸方向、y軸方向共に0.6nmであった。従来の方法で、同様の輝点の位置を計測した位置精度は、x軸方向、y軸方向共に0.6nmであった。このように、本発明によれば、ビニングによるデジタルCCDカメラの取得する画像情報の低下に係わらず、蛍光粒子の位置計測の計算精度を低下させることはない。
以上に記した計算方法を用いて、フレ−ム毎に蛍光粒子のxy座標における位置を計算することで、その動きを追跡することができる。図7は、本実施例で用いた光学顕微鏡において、10nm毎に階段状に駆動する直径が約10nmの蛍光粒子を本手法により追跡したグラフである。上記蛍光粒子の発するフォトン数は、5000photonmsであり、この条件での位置精度は、x軸方向で1.9nm、y軸方向で2.0nmであった。図7aは、x軸に沿って駆動した蛍光粒子を追跡、図7bはy軸に沿って駆動した蛍光粒子を追跡した時間経過を表すグラフである。図7のグラフによれば、本実施例において、ビニングなしの状態でフレームレートが最速2msのCCDカメラを用いて、蛍光粒子の運動を、330μsのフレームレートで、数nmの精度で取得できる。
The position accuracy of this method also depends on the total number of photons emitted by the fluorescent particles, as in the conventional method. When the total number of photons was sufficiently large (such as a dark field image of a polyester bead smaller than the diffraction limit), the positional accuracy of this method was 0.6 nm in both the x-axis direction and the y-axis direction. The positional accuracy obtained by measuring the position of the same bright spot by the conventional method was 0.6 nm in both the x-axis direction and the y-axis direction. As described above, according to the present invention, the calculation accuracy of the position measurement of the fluorescent particles is not lowered regardless of the reduction of the image information acquired by the digital CCD camera by the binning.
By using the calculation method described above, the movement of the fluorescent particle can be tracked by calculating the position of the fluorescent particle in the xy coordinates for each frame. FIG. 7 is a graph obtained by tracking fluorescent particles having a diameter of about 10 nm that are driven stepwise every 10 nm in the optical microscope used in this example. The number of photons emitted from the fluorescent particles was 5000 photonms, and the positional accuracy under these conditions was 1.9 nm in the x-axis direction and 2.0 nm in the y-axis direction. FIG. 7a is a graph showing the time course of tracking the fluorescent particles driven along the x-axis, and FIG. 7b is the time course of tracking the fluorescent particles driven along the y-axis. According to the graph of FIG. 7, in this embodiment, the movement of the fluorescent particles can be acquired with a frame rate of 330 μs and with an accuracy of several nm using a CCD camera with a frame rate of 2 ms at the fastest without binning.
次に、本発明における解析方法を用いて、蛍光粒子を追跡する位置解析装置を、図8を用いて説明する。二つのラインセンサ801、802および、対応するCCDレジスタ803、804を1つのステ−ジ805上に配置する。受光面であるステ−ジは、二つの駆動装置806、807によってX、Y軸に沿って二次元的に駆動可能である。ラインセンサ801はCCDレジスタ803に、ラインセンサ802はCCDレジスタ804にそれぞれ信号を送る。CCDレジスタ803、804からの信号は、画像処理装置808にて、それぞれの画素が加算処理され、ガウス関数[数3]によって近似される。 Next, a position analysis apparatus that tracks fluorescent particles using the analysis method of the present invention will be described with reference to FIG. Two line sensors 801 and 802 and corresponding CCD registers 803 and 804 are arranged on one stage 805. The stage which is the light receiving surface can be driven two-dimensionally along the X and Y axes by the two driving devices 806 and 807. The line sensor 801 sends a signal to the CCD register 803, and the line sensor 802 sends a signal to the CCD register 804. Signals from the CCD registers 803 and 804 are approximated by a Gaussian function [Equation 3] after the respective pixels are added by the image processing device 808.
画像処理装置808によって、ステ−ジ805上における蛍光粒子のx座標上の位置(X)が計算される。加算回路809、810は、CCDレジスタ803、804の信号をそれぞれ加算して電圧信号を差分回路811に渡す。差分回路811は、加算回路809、810から渡された電圧信号を差分した電圧信号を計算装置812に渡す。計算装置812には、画像処理装置808からガウス関数近似の結果から得られるパラメータを受け取り、[数6],[数7]を用いて、差分回路811により渡された差分電圧から、ステ−ジ805上における蛍光粒子のy座標上の位置(Y)を計算する。X、Yは、記録装置813によって記録される。駆動装置806、807を制御する制御装置814、815は現在のステ−ジの位置を記録装置813に送る。その後、駆動装置806を制御する制御装置814は、Xを受け取り、ステ−ジの中心が輝点の中心に来るように駆動装置806を制御する(フィ−ドバック回路を用いても良い)。
同様に、駆動装置807を制御する制御装置815は、Yを受け取り、ステ−ジの中心が輝点の中心に来るように駆動装置806を制御する。記録装置813には、上記のル−プの度に、ステ−ジの現在の位置と蛍光輝点のステ−ジ上における位置が記録される事になる。以上の装置を用いることで、運動する蛍光輝点の中心位置を、追跡し続けることが可能である。駆動装置806、807は、ステ−ジ805すなわち受光面を移動させるが、顕微鏡ステ−ジを移動させるなどして、顕微観察する標本を移動させても良い。
The image processing device 808 calculates the position (X) of the fluorescent particle on the stage 805 on the x coordinate. The adder circuits 809 and 810 add the signals of the CCD registers 803 and 804, respectively, and pass the voltage signal to the difference circuit 811. The difference circuit 811 passes the voltage signal obtained by subtracting the voltage signal passed from the adder circuits 809 and 810 to the calculation device 812. The calculation device 812 receives parameters obtained from the result of the Gaussian function approximation from the image processing device 808, and uses the [Equation 6] and [Equation 7] to calculate the stage from the difference voltage passed by the difference circuit 811. The position (Y) on the y coordinate of the fluorescent particle on 805 is calculated. X and Y are recorded by the recording device 813. Control devices 814 and 815 that control the drive devices 806 and 807 send the current stage position to the recording device 813. Thereafter, the control device 814 that controls the drive device 806 receives X and controls the drive device 806 so that the center of the stage is at the center of the bright spot (a feedback circuit may be used).
Similarly, the control device 815 that controls the drive device 807 receives Y and controls the drive device 806 so that the center of the stage is at the center of the bright spot. The recording device 813 records the current position of the stage and the position of the fluorescent bright spot on the stage for each loop described above. By using the above apparatus, it is possible to keep track of the center position of the moving fluorescent bright spot. The driving devices 806 and 807 move the stage 805, that is, the light receiving surface, but may move the specimen to be microscopically observed by moving the microscope stage.
本発明の応用は、顕微鏡下における直径が回折限界より小さな蛍光粒子、あるいは、蛍光色素分子の追跡に限らない。例えば、天体観測における、星の輝点の重心位置計算にも用いることができる。ビニングすることにより、計算処理が早くなるとともに、見かけ上画素が大きくなるので、より多くのフォトンを集めることができ背景光の軽減になる。さらに、本実施例では、蛍光粒子は、光学系の回折限界よりも小さいとしている。そのため、得られる蛍光像が近似的にガウス分布に従うとしている。
本発明は、光学系の回折限界よりも小さい蛍光粒子の場合に限らない。得られる像が点対称かつ線対称であれば、像を近似するための理論式さえ用意しておけば、本発明における計算アルゴリズムを使用することが可能である。従って、本発明は、粒子の重心を計算する為のデジタル計算処理を行う全てに利用可能である。
特に、粒子の流れを計測する流体力学の分野や、蛍光体を関節に取り付け、動きをキャプチャ−する(野球の投球モ−ションをキャプチャ−する場合に用いられる技術で、肘や手首などに蛍光体を取り付け、その動きを見る)バイオメカニクスやコンピュ−タシミュレ−ションなど、粒子あるいは蛍光体が運動する場合に有効である。
その他、様々な用途に応用できるが、一部を以下に記す。医療においては、血液中の血球の動き、細胞、最近の運動、DNAチップなどの分析等、製造・検査分野では、傷や汚れ、変色、気泡、その他の異物の検査等、鉱物における化石・鉱石、研磨形状や気泡などの検出等である。
The application of the present invention is not limited to the tracking of fluorescent particles or fluorescent dye molecules whose diameter under the microscope is smaller than the diffraction limit. For example, it can be used for calculating the center of gravity of a star bright spot in astronomical observation. Binning speeds up the calculation process and apparently increases the number of pixels, so that more photons can be collected and background light is reduced. Furthermore, in this embodiment, the fluorescent particles are assumed to be smaller than the diffraction limit of the optical system. For this reason, the obtained fluorescence image approximately follows a Gaussian distribution.
The present invention is not limited to the case of fluorescent particles smaller than the diffraction limit of the optical system. If the obtained image is point-symmetric and line-symmetric, the calculation algorithm in the present invention can be used as long as a theoretical formula for approximating the image is prepared. Therefore, the present invention can be used for all digital calculation processing for calculating the center of gravity of particles.
In particular, the field of fluid mechanics that measures the flow of particles, and attaching a phosphor to the joint to capture movement (a technique used to capture baseball throwing motions, such as fluorescent light on elbows and wrists) This is effective when particles or phosphors move, such as in biomechanics and computer simulation.
In addition, although it can apply to various uses, a part is described below. In medicine, fossil and ore in minerals such as blood cell movement in the blood, analysis of cells, recent movements, analysis of DNA chips, etc., in manufacturing and inspection fields, such as inspection of scratches, dirt, discoloration, bubbles, other foreign substances, etc. For example, detection of a polished shape or bubbles.
本発明によって開発された蛍光粒子あるいは蛍光色素分子の重心位置計算方法は、微小空間像を含む全ての動画像内を移動する移動粒子を追跡する動画像デ−タに基づく移動物体を追跡する方法として用いることが出来る。 The center of gravity calculation method of fluorescent particles or fluorescent dye molecules developed by the present invention is a method for tracking a moving object based on moving image data that tracks moving particles that move in all moving images including a micro-aerial image. Can be used as
801 ラインセンサ
802 ラインセンサ
803 ラインセンサ801に対応したCCDレジスタ
804 ラインセンサ802に対応したCCDレジスタ
805 ステ−ジ
806 駆動装置(X軸用)
807 駆動装置(Y軸用)
808 画像処理装置
809 加算回路
810 加算回路
811 差分回路
812 計算装置
813 記録装置
814 駆動装置806を制御する制御装置(X軸用)
815 駆動装置807を制御する制御装置(Y軸用)
801 Line sensor 802 Line sensor 803 CCD register corresponding to line sensor 801 804 CCD register corresponding to line sensor 802 805 Stage 806 Drive unit (for X axis)
807 Drive unit (for Y axis)
808 Image processing device 809 Adder circuit 810 Adder circuit 811 Difference circuit 812 Calculation device 813 Recording device 814 Control device for controlling drive device 806 (for X axis)
815 Control device for driving device 807 (for Y-axis)
Claims (8)
前記位置解析方法は、投影素子の複数の画素にまたがる素材の光の強度分布を所定の分布関数に基づいて一軸方向の位置を解析し、かつ、解析された一軸方向に直行する軸方向に対して、複数の画素にまたがる強度分布から理論的な複数の画素おける光強度の差分に対する光の位置の相関表を計算し、実際に投影された複数の画素おける光強度の差分から、相関表を使用して位置を計算する
ことを特徴とする位置解析方法。 In a position analysis method for calculating the position of a material that emits light by processing a signal from a projection element that receives light through an optical microscope with an image processing device,
In the position analysis method, the light intensity distribution of the material spanning a plurality of pixels of the projection element is analyzed based on a predetermined distribution function in the uniaxial direction, and the analyzed axial direction is orthogonal to the uniaxial direction. Then, a correlation table of the light position with respect to the theoretical difference in light intensity in the plurality of pixels is calculated from the intensity distribution across the plurality of pixels, and the correlation table is calculated from the difference in light intensity in the plurality of pixels actually projected. A position analysis method characterized by using to calculate the position.
前記投影素子が、1もしくは2つのラインセンサ又は二次元に配置されたエリアセンサである
ことを特徴とする位置解析方法。 The position analysis method according to claim 1,
The projection element is one or two line sensors or an area sensor arranged two-dimensionally.
前記素材が、蛍光を発光する蛍光粒子あるいは蛍光色素分子であって、回折限界より小さい
ことを特徴とする位置解析方法。 In the position analysis method according to claim 1 or 2,
The position analysis method, wherein the material is fluorescent particles or fluorescent dye molecules that emit fluorescence and is smaller than a diffraction limit.
前記所定の分布関数が、ガウス関数である
ことを特徴とする位置解析方法。 In the position analysis method according to any one of claims 1 to 3,
The position analysis method, wherein the predetermined distribution function is a Gaussian function.
前記複数の画素にまたがる光強度の差分は、テーラー展開して計算する
ことを特徴とする位置解析方法。 The position analysis method according to any one of claims 1 to 4,
The position analysis method characterized in that the difference in light intensity across the plurality of pixels is calculated by Taylor expansion.
前記画像処理装置は、素材の光の強度分布をガウス関数に基づいて一軸方向の位置を解析し、解析された一軸方向に直行する軸方向に対して、複数の画素にまたがる強度分布から理論的な複数の画素おける光強度の差分に対する光の位置の相関表を計算し、実際に投影された複数の画素おける光強度の差分から、相関表を使用して素材の位置を計算する
ことを特徴とする位置解析装置。 In a position analysis device including an image processing device that calculates a position of a material that emits light by processing a signal from a projection element that receives light through an optical microscope,
The image processing device analyzes the light intensity distribution of the material based on a Gaussian function in a uniaxial direction, and theoretically calculates the intensity distribution over a plurality of pixels with respect to the analyzed axial direction orthogonal to the uniaxial direction. The correlation table of the light position with respect to the difference in light intensity at a plurality of pixels is calculated, and the position of the material is calculated using the correlation table from the difference in light intensity at the plurality of pixels actually projected. A position analysis device.
前記位置解析装置は、請求項2ないし4のいずれかに記載の位置解析方法を用いる
ことを特徴とする位置解析装置。 The position analysis apparatus according to claim 6,
The position analysis apparatus uses the position analysis method according to any one of claims 2 to 4.
前記位置解析装置は、前記センサを備える受光面に直行する二辺に接続された二つの駆動装置と該駆動装置を制御するための制御装置とを設け、
該制御装置及び駆動装置を制御することで、移動する素材の位置を追跡し、その追跡情報を記憶する
ことを特徴とする位置解析装置。 In the position analysis device according to claim 6 or 7,
The position analysis device includes two drive devices connected to two sides perpendicular to the light receiving surface including the sensor and a control device for controlling the drive device,
A position analysis apparatus that tracks the position of a moving material by storing the control apparatus and the drive apparatus, and stores the tracking information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005307917A JP2007114130A (en) | 2005-10-24 | 2005-10-24 | Position analyzing method and position analyzer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005307917A JP2007114130A (en) | 2005-10-24 | 2005-10-24 | Position analyzing method and position analyzer |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007114130A true JP2007114130A (en) | 2007-05-10 |
Family
ID=38096449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005307917A Pending JP2007114130A (en) | 2005-10-24 | 2005-10-24 | Position analyzing method and position analyzer |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007114130A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010029799A1 (en) * | 2008-09-13 | 2010-03-18 | 独立行政法人科学技術振興機構 | Microscope device and fluorescent observing method using same |
JP2011514532A (en) * | 2008-03-19 | 2011-05-06 | ルプレヒト−カールス−ウニヴェルジテート ハイデルベルク | Method and apparatus for the localization of a single dye molecule in a fluorescence microscope |
CN102538683A (en) * | 2012-01-11 | 2012-07-04 | 徐州师范大学 | Optical imaging method for measuring distance smaller than diffraction limit distance |
JP2013530407A (en) * | 2010-06-30 | 2013-07-25 | ルミネックス コーポレーション | System and method for improving measurement accuracy in particle image generation devices utilizing light distribution |
JP2013533975A (en) * | 2010-06-30 | 2013-08-29 | ルミネックス コーポレーション | Apparatus, system and method for increasing measurement accuracy in particle imaging device |
CN105243677A (en) * | 2015-09-02 | 2016-01-13 | 华中科技大学 | Real-time single-molecule positioning method guaranteeing precision and system thereof |
-
2005
- 2005-10-24 JP JP2005307917A patent/JP2007114130A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011514532A (en) * | 2008-03-19 | 2011-05-06 | ルプレヒト−カールス−ウニヴェルジテート ハイデルベルク | Method and apparatus for the localization of a single dye molecule in a fluorescence microscope |
WO2010029799A1 (en) * | 2008-09-13 | 2010-03-18 | 独立行政法人科学技術振興機構 | Microscope device and fluorescent observing method using same |
US9019360B2 (en) | 2008-09-13 | 2015-04-28 | Japan Science And Technology Agency | Microscope and a fluorescent observation method using the same |
JP2013530407A (en) * | 2010-06-30 | 2013-07-25 | ルミネックス コーポレーション | System and method for improving measurement accuracy in particle image generation devices utilizing light distribution |
JP2013533975A (en) * | 2010-06-30 | 2013-08-29 | ルミネックス コーポレーション | Apparatus, system and method for increasing measurement accuracy in particle imaging device |
CN102538683A (en) * | 2012-01-11 | 2012-07-04 | 徐州师范大学 | Optical imaging method for measuring distance smaller than diffraction limit distance |
CN105243677A (en) * | 2015-09-02 | 2016-01-13 | 华中科技大学 | Real-time single-molecule positioning method guaranteeing precision and system thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Armenise et al. | High-speed particle tracking in nuclear emulsion by last-generation automatic microscopes | |
US7305112B2 (en) | Method of converting rare cell scanner image coordinates to microscope coordinates using reticle marks on a sample media | |
KR100924986B1 (en) | Defect detecting apparatus, defect detecting method, information processing apparatus, information processing method, and program therefor | |
JP6322456B2 (en) | System and method for acquiring an image having an offset used to enhance edge resolution | |
EP4365836A2 (en) | Methods and apparati for nondestructive detection of undissolved particles in a fluid | |
JP2011085594A (en) | Multi-axis integration system and method | |
JP2014206547A (en) | Inspection of substrate using multiple cameras | |
JP2007114130A (en) | Position analyzing method and position analyzer | |
US9253449B2 (en) | Mosaic picture generation | |
JP5075393B2 (en) | Scanning electron microscope | |
TW201808228A (en) | Fixed optics photo-thermal spectroscopy reader and method of use | |
JP5300516B2 (en) | Spray particle imaging analysis system and analysis method | |
US11774340B2 (en) | Particle measuring device, calibration method, and measuring device | |
CN113366364A (en) | Real-time focusing in slide scanning system | |
US10127648B2 (en) | Pattern inspection apparatus and pattern inspection method | |
WO2021199797A1 (en) | Method for measuring refractive index of particles | |
US9417196B2 (en) | X-ray diffraction based crystal centering method using an active pixel array sensor in rolling shutter mode | |
KR100926019B1 (en) | Defective particle measuring apparatus and defective particle measuring method | |
CN111527438B (en) | Shock rescanning system | |
WO2014088605A1 (en) | Sub-pixel imaging for enhanced pixel resolution | |
Crosby et al. | Multi-beam SEM technology for high throughput imaging | |
JP2002257517A (en) | Microscopic dimension measuring device | |
CN114363481A (en) | Microscope with device for detecting displacement of sample relative to objective lens and detection method thereof | |
JP2006177760A (en) | X-ray inspection device, x-ray inspection method, and x-ray inspection program | |
JPH07280537A (en) | Imaging type inspection method and apparatus |