JP2009063912A - Restoring method and device of scanned image of moving object - Google Patents
Restoring method and device of scanned image of moving object Download PDFInfo
- Publication number
- JP2009063912A JP2009063912A JP2007233079A JP2007233079A JP2009063912A JP 2009063912 A JP2009063912 A JP 2009063912A JP 2007233079 A JP2007233079 A JP 2007233079A JP 2007233079 A JP2007233079 A JP 2007233079A JP 2009063912 A JP2009063912 A JP 2009063912A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- target
- image
- images
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003384 imaging method Methods 0.000 abstract description 11
- 238000001218 confocal laser scanning microscopy Methods 0.000 abstract 1
- 238000004088 simulation Methods 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 210000004185 liver Anatomy 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000001727 in vivo Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
本発明は、走査型撮像装置により得られた画像の復元方法及び装置に係り、詳しくは、対象の動きにより劣化したスキャン画像の復元方法及び装置に関するものである。 The present invention relates to a method and apparatus for restoring an image obtained by a scanning imaging apparatus, and more particularly to a method and apparatus for restoring a scanned image that has deteriorated due to the movement of an object.
分子イメージングは細胞生物学及び分子生物学などの分野における革命的な道具になると考えられており、分子医学や創薬などへの貢献が期待されている。分子イメージングの一つのツールとして使われているのが共焦点レーザ走査顕微鏡(CLSM)である。図1に、共焦点レーザ走査顕微鏡(CLSM)を用いたinvivo観察を示す。CLSMは従来の光学顕微鏡比べてはるかにユーザに鋭い画像を提供する。この改良は、レーザビームとピンホールにより、望まれていない光のほとんどを除くことによって達成される。CLSMは、ある時間で一つの点のみを観察するから、一枚の画像を作るためにはレーザの走査が必要になる。 Molecular imaging is considered to be a revolutionary tool in fields such as cell biology and molecular biology, and is expected to contribute to molecular medicine and drug discovery. A confocal laser scanning microscope (CLSM) is used as a tool for molecular imaging. FIG. 1 shows in vivo observation using a confocal laser scanning microscope (CLSM). CLSM provides much sharper images to the user compared to conventional optical microscopes. This improvement is achieved by removing most of the unwanted light with a laser beam and pinholes. Since CLSM observes only one point at a certain time, a laser scan is necessary to produce a single image.
CLSMは、走査メカニズムのため相対的に遅いスピードで画像を生成する。例えば、256x256の画素を持つ小さい画像のために約125ms (8Hz)かかる。動いていない対象に対しては、スピードは問題にならないが、もし動いている対象を観察する時は、この遅い走査スピードは画像の歪曲を起こす。生体の動きは、拍動や呼吸などにより発生するものであるため、何時でも、例えば、麻酔の状態であっても、画像の歪曲が生じ得る。このような問題に対し、一般のカメラ画像の復元は報告されたことがあるが、CLSM画像のような走査型撮像装置で取得された画像の復元に関してはまだ報告されたことがない。 CLSM generates images at a relatively slow speed due to the scanning mechanism. For example, it takes about 125ms (8Hz) for a small image with 256x256 pixels. For non-moving objects, speed is not an issue, but this slow scanning speed causes image distortion when observing moving objects. Since the movement of the living body is generated by pulsation, breathing, or the like, image distortion may occur at any time, for example, in an anesthesia state. For such a problem, the restoration of a general camera image has been reported, but the restoration of an image acquired by a scanning imaging device such as a CLSM image has not been reported yet.
本発明は、CLSM等の走査型撮像装置によって得られたスキャン画像において、撮像対象の動きに起因して劣化したスキャン画像を復元することを目的とする。 An object of the present invention is to restore a scan image that has deteriorated due to the movement of an imaging target in a scan image obtained by a scanning imaging device such as CLSM.
動いている対象のスキャン画像の復元方法は、複数枚のスキャン画像から対象の動きを補償した画像間の差異が最小となるように対象の動きを最適化することで、対象の動きを推定するステップと、スキャン画像から推定された対象の動きを補償して復元画像を取得するステップと、からなる。動いている対象のスキャン画像の復元装置は、複数枚のスキャン画像から対象の動きを補償した画像間の差異が最小となるように対象の動きを最適化することで、対象の動きを推定する手段と、スキャン画像から推定された対象の動きを補償して復元画像を取得する手段と、からなる。本明細書において、「スキャン画像から対象の動きを補償した画像」とは、ある対象の動きが得られた場合に、当該スキャン画像において、当該得られた対象の動きが無かった場合の画像である。 A method for restoring a scanned image of a moving object estimates the movement of the target by optimizing the movement of the target so that the difference between the images compensated for the movement of the target from a plurality of scanned images is minimized. And a step of compensating for the motion of the object estimated from the scanned image and acquiring a restored image. The apparatus for restoring a scanned image of a moving object estimates the movement of the object by optimizing the movement of the object so that the difference between the images compensated for the movement of the object from a plurality of scanned images is minimized. And means for compensating for the motion of the object estimated from the scanned image to obtain a restored image. In this specification, “an image in which the motion of a target is compensated from a scanned image” is an image when there is no motion of the obtained target in the scanned image when the motion of a certain target is obtained. is there.
本明細書においてスキャン画像とは、CLSM等の走査型撮像装置によって取得された画像を意味し、CLSM画像が例示される。本発明におけるスキャン画像はCLSM画像に限定されるものではなく、例えば、CLSM以外のレーザ走査型撮像装置(レーザスキャナ等)により取得された画像も含まれる。スキャン画像を得る際の走査方向は限定されない。スキャン画像におけるある画素の走査時間が特定されていればよい。 In this specification, a scan image means an image acquired by a scanning imaging device such as CLSM, and a CLSM image is exemplified. The scanned image in the present invention is not limited to a CLSM image, and includes, for example, an image acquired by a laser scanning imaging device (laser scanner or the like) other than CLSM. The scanning direction when obtaining a scanned image is not limited. It suffices if the scanning time of a certain pixel in the scanned image is specified.
一つの好ましい態様では、復元に用いる複数枚のスキャン画像は、時間的に連続する2枚のスキャン画像である。連続する2枚のスキャン画像(元画像)から1枚の復元画像を求める。本発明の復元方法及び装置において、復元に用いる複数枚のスキャン画像は2枚のスキャン画像に限定されるものではなく、例えば、連続する3枚のスキャン画像から1枚ないし2枚の復元画像を求めてもよい。後述する実施形態の説明では、2枚のスキャン画像から復元画像を求めることを説明しているが、本発明のアイデアが3枚以上のスキャン画像からの復元画像の取得にまで一般化できることは当業者において容易に理解される。 In one preferred embodiment, the plurality of scan images used for restoration are two scan images that are temporally continuous. One restored image is obtained from two consecutive scanned images (original images). In the restoration method and apparatus of the present invention, the plurality of scanned images used for restoration are not limited to two scanned images. For example, one or two restored images are obtained from three consecutive scanned images. You may ask for it. In the description of the embodiment described later, it is explained that a restored image is obtained from two scanned images. However, it can be said that the idea of the present invention can be generalized to acquisition of a restored image from three or more scanned images. Easily understood by a vendor.
より具体的な態様では、対象の動きの推定は、対象の動きを変数とした目的関数を定義し、目的関数を最適化することで、対象の動きを推定するものである。対象の動きを、時間、動きのパラメータを変数とする関数でモデル化し、当該関数の動きのパラメータを変数とする目的関数を定義する。 In a more specific aspect, the target motion is estimated by defining an objective function using the target motion as a variable and optimizing the objective function to estimate the target motion. The target motion is modeled with a function using the time and motion parameters as variables, and an objective function is defined using the motion parameters of the function as variables.
一つの態様では、前記対象の動きの推定において、前記対象の動きを補償した画像間の差異は、当該画像中の複数の代表点の差異から取得する。より具体的な態様では、前記対象の動きを推定するステップは、各スキャン画像中の複数の特徴点からなる複数の特徴点の組(2枚のスキャン画像を用いる場合には、マッチングペア)を設定し、特徴点間の差異が最小となるように対象の動きを最適化する。特徴点の設定は、テンプレートマッチングを用いて行うことができる。より具体的な態様では、対象の動きに伴う特徴点の動きを多項式で近似し、前記多項式の係数を推定することで対象の動きを最適化する。この場合、多項式の係数が対象の動きのパラメータである。後述する実施形態の説明では、多項式は並進運動モデルを定義するが、回転運動を含めたモデルを多項式近似してもよい。 In one aspect, in the estimation of the motion of the target, a difference between images compensated for the motion of the target is obtained from a difference between a plurality of representative points in the image. In a more specific aspect, the step of estimating the movement of the target includes a set of a plurality of feature points (a matching pair when two scan images are used) composed of a plurality of feature points in each scan image. Set and optimize the movement of the target so that the difference between feature points is minimized. The feature points can be set using template matching. In a more specific aspect, the motion of the feature point accompanying the motion of the target is approximated by a polynomial, and the motion of the target is optimized by estimating the coefficient of the polynomial. In this case, the coefficient of the polynomial is the target motion parameter. In the description of the embodiment described later, the polynomial defines a translational motion model, but a model including rotational motion may be approximated by a polynomial.
一つの態様では、前記対象の動きの推定において、前記対象の動きを補償した画像間の差異は、当該画像中の部分領域間の差異から取得する。前記対象の動きを補償した画像間の差異を、画像全体領域の画素から求めても良いが、計算量が膨大となるため、代表点や部分領域を用いることが望ましい。具体的な態様では、前記対象の動きを補償した画像間の差異を、対象物の動きのパラメータを変数とする類似度で定義し、類似度を最大とするパラメータを推定する。対象の動きのパラメータは、一つの態様では、並進速度(並進ベクトル)および角速度(回転行列)である。 In one aspect, in the estimation of the motion of the target, a difference between images compensated for the motion of the target is obtained from a difference between partial regions in the image. Although the difference between images compensated for the motion of the object may be obtained from pixels in the entire image area, it is desirable to use representative points and partial areas because the amount of calculation becomes enormous. In a specific aspect, a difference between images in which the motion of the object is compensated is defined as a similarity using a parameter of the motion of the object as a variable, and a parameter that maximizes the similarity is estimated. The subject motion parameters, in one aspect, are a translational velocity (translation vector) and an angular velocity (rotation matrix).
一つの態様では、複数枚のスキャン画像から推定された対象の動きを補償して得られた複数枚の補償画像をさらに統合することで復元画像を得る。各スキャン画像から推定された対象の動きを補償して得られた画像において、部分的に画素値が欠落している場合がある。複数枚の補償画像を統合することで、欠落した画素値を補うことができる。また、補間や既に得られている復元画像の情報を用いて欠落した画素値を補ってもよい。 In one aspect, a restored image is obtained by further integrating a plurality of compensated images obtained by compensating for a motion of a target estimated from a plurality of scan images. In the image obtained by compensating for the motion of the target estimated from each scan image, the pixel value may be partially missing. By integrating a plurality of compensation images, the missing pixel value can be compensated. Further, the missing pixel value may be compensated by using interpolation or information on the already obtained restored image.
本発明によれば、CLSM等の走査型撮像装置により取得されたスキャン画像において、対象が動くことで劣化したスキャン画像を復元することができる。 ADVANTAGE OF THE INVENTION According to this invention, the scan image deteriorated by the object moving in the scan image acquired by the scanning imaging device such as CLSM can be restored.
本発明に係るスキャン画像の復元方法の一つの実施形態は、以下の3つのステップからなる。走査型撮像装置によって得られた連続する2枚の画像I1(U),I2(U)において対応する特徴点のペア(マッチングペア)を複数設定するステップ、特徴点のペアから得られる情報を用いて対象の動きを推定するステップ、そして、推定された対象の動きを用いて元画像から動きが補償された新画像を復元するステップ、である。スキャン画像I1(U),I2(U)において、全ての画素に対する走査された時間は既知である。したがって、走査時間tから画素の位置を特定することができる。 One embodiment of the scan image restoration method according to the present invention includes the following three steps. A step of setting a plurality of corresponding feature point pairs (matching pairs) in two consecutive images I 1 (U) and I 2 (U) obtained by the scanning imaging device, information obtained from the feature point pairs Using the estimated motion of the object, and restoring the new image with motion compensated from the original image using the estimated motion of the object. In the scanned images I 1 (U) and I 2 (U), the time scanned for all the pixels is known. Therefore, the position of the pixel can be specified from the scanning time t.
2枚の画像I1(U),I2(U)における対応する特徴点のペアは、画像処理技術として良く知られているテンプレートマッチングを用いて求めることができる。テンプレートマッチングでは、画素の濃淡値と着目画素の近傍画素との距離を用いる。あるいは、対応する特徴点のペアを手動で与えても良い。一組のペアを構成する2つの画素は、スキャンされた対象における同じ点を表している。したがって、対象の動きを取り除いた補償画像において、前記2つの画素は理論上同じになるはずである。よって、特徴点のペアから、対象の動きを取り除いたものの差の合計が最小になるように、対象の動きを推定すればよい。対応する特徴点のペアの数は、後のステップにおける計算において多項式の係数を推定することができる程度に十分な数を設定する。 A pair of corresponding feature points in the two images I 1 (U) and I 2 (U) can be obtained by using template matching well known as an image processing technique. In template matching, the distance between the gray value of the pixel and the neighboring pixel of the pixel of interest is used. Alternatively, a corresponding pair of feature points may be given manually. The two pixels that make up a pair represent the same point in the scanned object. Therefore, the two pixels should theoretically be the same in the compensated image from which the target motion is removed. Therefore, it is only necessary to estimate the motion of the target so that the sum of the differences obtained by removing the motion of the target from the pair of feature points is minimized. The number of corresponding feature point pairs is set to a number sufficient to allow the coefficient of the polynomial to be estimated in the calculation in the subsequent step.
対象の動きが決定されれば、各画像I1(U),I2(U)から対象の動きを除去して画像を復元して新画像を得ることができる。推定された対象の動きを用いて、特徴点のみならず、各画像I1(U),I2(U)における全ての画素を新しい位置に変換することで、新画像(復元画像)が生成される。 If the motion of the target is determined, the motion of the target can be removed from each of the images I 1 (U) and I 2 (U) to restore the image and obtain a new image. A new image (restored image) is generated by converting not only the feature points but also all the pixels in each of the images I 1 (U) and I 2 (U) to new positions using the estimated motion of the object. Is done.
対象の動きのモデルについて説明する。対象の動きのモデルについて考える場合に、観察部位を押さえ付ける簡単な機械装置によって、動きを2次元平面運動に限定させることができ、かつ、並進運動が回転運動に比べて支配的であることから、回転運動を無視することができる(李盛温,中村仁彦,山根克,東條剛,高橋誠也,谷川慶,高橋一:"小動物生体細胞観察のための蛍光顕微鏡画像安定化",日本IFToMM 会議, pp.113-118, 2007)。そこで、ここでは、2次元平面の並進運動モデルを考える。尚、対象の動きのモデルにおいて、回転運動を含めてもよい。 An object movement model will be described. When thinking about the model of the object's movement, it is possible to limit the movement to a two-dimensional plane motion with a simple mechanical device that holds down the observation site, and the translational movement is dominant compared to the rotational movement. Rotation can be ignored (Yi Sheng Wen, Nakamura Yoshihiko, Yamane Katsu, Tojo Takeshi, Takahashi Seiya, Tanigawa Kei, Takahashi Kazu: "Fluorescence microscope image stabilization for small animal living cell observation", Japan IFToMM Conference, pp 113-118, 2007). Therefore, here, a translational model of a two-dimensional plane is considered. Note that rotational motion may be included in the target motion model.
対象の動きの並進運動モデルは以下の式で表すことができる。
対象の動きのパラメータ推定、すなわち、多項式の係数の推定について説明する。多項式の係数の推定は、2枚の元画像I1(U),I2(U)における複数の特徴点のマッチングペアを用いて行う。あるマッチングペアの位置の差は、対象の動きによって生じたものである。もし対象の動きがなかったら、その誤差は0になるはずである。したがって、対象の動きのモデルが正しく見つけられたとすれば、マッチングペアの二つの点を時間軸0で戻したときの位置の差が0になるはずである(図8)。そこで、N個の特徴点のペア(Pα(t´α),Pα(t´´α))に対して以下のような目的関数の最適化により(2)式の係数を決める。
このような最小2乗法の解法は既知であるが、簡単に説明すると以下の通りである。
対象の動きを決定すれば、決定した対象の動きを用いて、復元前の元画像I1(U),I2(U)の全ての画素を新しい位置に変換することで、対象の動きが取り除かれた新しい画像I0(U)を得ることができる。各画素の新しい位置P(0)は、
CLSMシステムにおいて、復元画像は、リアルタイムでコンピュータ画面に表示しても良いが、一つの典型的な態様では、複数の復元画像はコンピュータの記憶部に格納され、必要に応じて適宜取り出して、あるいは、加工して、コンピュータ画面に表示される。2枚の元画像I1(U),I2(U)から1枚の復元画像を取得することについて説明したが、複数枚の復元画像を統合して、一枚のより大きい統合画像を作成することも可能である(図3のMotion-free large image参照)。また、複数枚の復元画像を時系列に表示することで動画像とすることができる。 In the CLSM system, the restored images may be displayed on the computer screen in real time. However, in one typical aspect, a plurality of restored images are stored in the storage unit of the computer and taken out as needed, or Processed and displayed on the computer screen. Although it has been explained that one restored image is acquired from two original images I 1 (U) and I 2 (U), a plurality of restored images are integrated to create one larger integrated image. It is also possible (see Motion-free large image in FIG. 3). Moreover, a moving image can be obtained by displaying a plurality of restored images in time series.
本発明の第2の実施形態について説明する。上述の画像復元方法では、2枚の画像から選択された画像からなるマッチングペアを用いて対象の動きを定義する多項式の係数を最適化することで対象の動きを推定したが、対象の動きを推定する方法は、複数のマッチングペア・多項式を用いるものには限定されない。 A second embodiment of the present invention will be described. In the image restoration method described above, the motion of the target is estimated by optimizing the coefficient of the polynomial that defines the motion of the target using a matching pair consisting of images selected from two images. The estimation method is not limited to a method using a plurality of matching pairs / polynomials.
本発明の構成は大きく二つのステップに分けることができる。まず、最適化手法を利用して対象の動きを推定する。次いで、推定された対象の動きに基づいてスキャン画像から復元画像を求める。最適化手法を利用して対象の動きを探索するには対象の動きを変数として持つ目的関数を定義する必要がある。第1の実施形態では、多項式最適化問題を解いたが、第2の実施形態では、目的関数において、対象の動きを補償した2枚の画像の類似度を最大化する問題を扱う。類似度は、対象の動きを変数として含む。対象の動きの補償が無いスキャン画像は対象の動きの影響を受けることで類似度が低いが、対象の動きを適切に補償して対象の動きを除去することで、補償後の画像の類似度が非常に高くなる。 The configuration of the present invention can be roughly divided into two steps. First, the target motion is estimated using an optimization method. Next, a restored image is obtained from the scanned image based on the estimated movement of the target. In order to search for the motion of the object using the optimization method, it is necessary to define an objective function having the motion of the object as a variable. In the first embodiment, the polynomial optimization problem is solved. However, in the second embodiment, the problem of maximizing the similarity between two images compensated for the target motion is handled in the objective function. The similarity includes the movement of the object as a variable. Scanned images without target motion compensation have low similarity due to the influence of the target motion, but by compensating the target motion appropriately and removing the target motion, the similarity of the image after compensation Becomes very high.
最適化手法による対象の動きの推定の流れを図9に、本発明の第2の実施形態の全体の流れを図13に示す。対象の動きを変数とする目的関数に対象の動きのパラメータv、ωの初期値を与えて、2枚のスキャン画像から対象の動きを補償した画像をそれぞれ取得する。対象の動きが補償された2枚の画像を比較して、画像の差異を計算する。差異が予め設定した値より大きい場合には、最初のステップに戻ってパラメータv、ωを更新して、差異が予め設定した値以下になるまで繰り返して、パラメータv、ωを最適化する。対象の動きが補償された画像を図10に例示する。図10の補償後の画像(右図)に示すように、補償後の画像では、部分的に画素の値が欠落している場合がある。したがって、2枚の補償後の画像の差異を計算する場合には、補間処理(interpolation)を行う(図11参照)。対象の動きが補償された最初の2枚の画像を重ねたものと、差異が予め設定した値以下になった時の画像を重ねたものを図12に示す。 FIG. 9 shows the flow of target motion estimation by the optimization method, and FIG. 13 shows the overall flow of the second embodiment of the present invention. The initial values of the target motion parameters v and ω are given to the objective function having the target motion as a variable, and images in which the target motion is compensated are obtained from the two scanned images. The difference between the images is calculated by comparing the two images in which the motion of the object is compensated. If the difference is larger than a preset value, the process returns to the first step to update the parameters v and ω, and repeats until the difference is equal to or less than the preset value, thereby optimizing the parameters v and ω. An image in which the motion of the object is compensated is illustrated in FIG. As shown in the compensated image in FIG. 10 (right diagram), pixel values may be partially missing in the compensated image. Therefore, when calculating the difference between the two images after compensation, interpolation is performed (see FIG. 11). FIG. 12 shows a superposition of the first two images in which the motion of the object is compensated and a superposition of images when the difference is equal to or less than a preset value.
対象の動きのパラメータv、ωを推定するために、対象の動きを補償した2枚の画像間の類似度を用いる。典型的な例では、類似度は、比較する画像間の相関係数、あるいは、正規化相関係数、あるいは、ユークリッド距離を利用する。すなわち、類似度は二つの画像I1,I2に対して以下のように定義する。尚、画像間の類似度の定義は、これら3つの手法に限定されるものではなく、画像処理分野の当業者において適宜他の手法を採用することもできる。
上述の類似度を利用して最適な対象の動きを推定した後に、対象の動きを用いで、それぞれのスキャン画像I1(U),I2(U)の対象の動きがない場合の画像I1(u),I2(u)を復元させることができる。 After estimating the optimum target motion using the above-mentioned similarity, the image I in the case where there is no target motion in the respective scanned images I 1 (U) and I 2 (U) using the target motion. 1 (u), I 2 (u) can be restored.
画像復元のアルゴリズムについて説明する。
ステップ0:適当な対象の動きのパラメータv,ωの初期値を決定する。
ステップ1:2枚のスキャン画像に対して、ある画素点の座標Uを対象の動きのパラメータv,ωから以下のような新しい座標uに変換する。
ステップ3:類似度を上げる新しい対象の動きパラメータv,ωを再度設定して、ステップ1に戻る。
ステップ4:新しい座標を用いて画像を復元する。類似度の計算を画像全体の一部に基づいて行った場合には、最適化された対象の動きパラメータv,ωを用いて全画素を変換して復元画像を得る。
An image restoration algorithm will be described.
Step 0: Determine initial values of appropriate target motion parameters v, ω.
Step 1: For the two scanned images, the coordinates U of a certain pixel point are converted from the target motion parameters v and ω to the following new coordinates u.
Step 3: Set the new target motion parameters v and ω to increase the similarity again, and return to Step 1.
Step 4: Restore the image using the new coordinates. When the similarity is calculated based on a part of the entire image, a restored image is obtained by converting all pixels using the optimized motion parameters v and ω of the target.
本発明を用いたシミュレーション及び実験結果について説明する。元画像の中での小四角形がマッチングペアを示している。図14A、図14Bは、シミュレーションによって生成した動く対象の2つのスキャン画像であり(図2参照)、各画像において7つのマッチングペアを決定した。対象の動きを7次多項式(式(2)参照)でモデル化して、対象の動きを推定した。推定した対象の動きを用いて図14A、図14Bをそれぞれ補償した画像を図15A、図15Bに示す。さらに、図15A、図15Bを統合して得た復元画像を図16に示す。 Simulation and experimental results using the present invention will be described. A small square in the original image indicates a matching pair. 14A and 14B are two scanned images of a moving object generated by simulation (see FIG. 2), and seven matching pairs were determined in each image. The target motion was estimated by modeling the target motion with a seventh-order polynomial (see Equation (2)). Images compensated for FIGS. 14A and 14B using the estimated movement of the object are shown in FIGS. 15A and 15B, respectively. Further, FIG. 16 shows a restored image obtained by integrating FIGS. 15A and 15B.
マウスの肝臓をCLSMで観察した画像(血管の画像)から復元を行った。図17A、図17Bは対象の動きが遅い場合の2枚のCLSM画像、図20A、図20Bは対象の動きが遅い場合の2枚のCLSM画像である。特に、図20A、図20Bにおいては、同じところを見ているのに対象の動きによって違う画像になっている。各画像においてマッチングペアを決定して、対象の動きを多項式(式(2)参照)でモデル化して、対象の動きを推定した。推定した対象の動きを用いて図17A、図17Bをそれぞれ補償した画像を、図18A、図18Bに示す。さらに、図18A、図18Bを統合して得た復元画像を図19に示す。 The mouse liver was restored from an image (blood vessel image) observed with CLSM. 17A and 17B are two CLSM images when the target movement is slow, and FIGS. 20A and 20B are two CLSM images when the target movement is slow. In particular, in FIGS. 20A and 20B, different images are obtained depending on the movement of the object even though the same place is seen. A matching pair was determined for each image, and the target motion was estimated by modeling the target motion with a polynomial (see equation (2)). Images compensated for FIGS. 17A and 17B using the estimated motion of the object are shown in FIGS. 18A and 18B, respectively. Further, FIG. 19 shows a restored image obtained by integrating FIGS. 18A and 18B.
推定した対象の動きを用いて図20A、図20Bをそれぞれ補償した画像を、図21A、図21Bに示す。さらに、図21A、図21Bを統合して得た復元画像を図22に示す。図21A、図21Bから明らかなように、対象の速い運動により画素の情報が無い部分がある。尚、図21A、図21Bを統合して得た復元画像のみでは情報が不足する場合には、同じ対象の他の補償画像から情報を補充してもよい。 Images compensated for FIGS. 20A and 20B using the estimated motion of the object are shown in FIGS. 21A and 21B, respectively. Furthermore, FIG. 22 shows a restored image obtained by integrating FIGS. 21A and 21B. As is clear from FIGS. 21A and 21B, there is a portion where there is no pixel information due to the fast movement of the object. Note that if only the restored image obtained by integrating FIGS. 21A and 21B lacks information, information may be supplemented from another compensation image of the same target.
本発明は、CLSMに搭載することができる。 The present invention can be mounted on a CLSM.
Claims (18)
複数枚のスキャン画像から対象の動きを補償した画像間の差異が最小となるように対象の動きを最適化することで、対象の動きを推定するステップと、
スキャン画像から推定された対象の動きを補償して復元画像を取得するステップと、
からなる復元方法。 A method for restoring a scanned image of a moving object,
Estimating the movement of the object by optimizing the movement of the object so that the difference between the images compensated for the movement of the object from a plurality of scanned images is minimized; and
Compensating the target motion estimated from the scanned image to obtain a restored image;
A restoration method consisting of:
複数枚のスキャン画像から対象の動きを補償した画像間の差異が最小となるように対象の動きを最適化することで、対象の動きを推定する手段と、
スキャン画像から推定された対象の動きを補償して復元画像を取得する手段と、
からなる復元装置。 A device for restoring a scanned image of a moving object,
Means for estimating the movement of the object by optimizing the movement of the object so that the difference between the images compensated for the movement of the object from a plurality of scanned images is minimized;
Means for compensating for the motion of the object estimated from the scanned image and obtaining a restored image;
A restoration device consisting of
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007233079A JP5110487B2 (en) | 2007-09-07 | 2007-09-07 | Method and apparatus for restoring scanned image of moving object |
PCT/JP2008/065207 WO2009031439A1 (en) | 2007-09-07 | 2008-08-26 | Method and device for restoring a scan image of a moving object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007233079A JP5110487B2 (en) | 2007-09-07 | 2007-09-07 | Method and apparatus for restoring scanned image of moving object |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009063912A true JP2009063912A (en) | 2009-03-26 |
JP5110487B2 JP5110487B2 (en) | 2012-12-26 |
Family
ID=40428759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007233079A Expired - Fee Related JP5110487B2 (en) | 2007-09-07 | 2007-09-07 | Method and apparatus for restoring scanned image of moving object |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5110487B2 (en) |
WO (1) | WO2009031439A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013058956A (en) * | 2011-09-09 | 2013-03-28 | Sony Corp | Information processor, information processing method, program, and information processing system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08149479A (en) * | 1994-11-24 | 1996-06-07 | Matsushita Electric Ind Co Ltd | Extremely low bit rate video encoding method |
JP2004135073A (en) * | 2002-10-10 | 2004-04-30 | Mitsubishi Electric Corp | Scanning image pickup device |
JP2005078176A (en) * | 2003-08-28 | 2005-03-24 | Aze Ltd | Non-rigid body registration method between a plurality of images |
-
2007
- 2007-09-07 JP JP2007233079A patent/JP5110487B2/en not_active Expired - Fee Related
-
2008
- 2008-08-26 WO PCT/JP2008/065207 patent/WO2009031439A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08149479A (en) * | 1994-11-24 | 1996-06-07 | Matsushita Electric Ind Co Ltd | Extremely low bit rate video encoding method |
JP2004135073A (en) * | 2002-10-10 | 2004-04-30 | Mitsubishi Electric Corp | Scanning image pickup device |
JP2005078176A (en) * | 2003-08-28 | 2005-03-24 | Aze Ltd | Non-rigid body registration method between a plurality of images |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013058956A (en) * | 2011-09-09 | 2013-03-28 | Sony Corp | Information processor, information processing method, program, and information processing system |
Also Published As
Publication number | Publication date |
---|---|
JP5110487B2 (en) | 2012-12-26 |
WO2009031439A1 (en) | 2009-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107959805B (en) | Light field video imaging system and method for processing video frequency based on Hybrid camera array | |
CN112613609B (en) | Nerve radiation field enhancement method based on joint pose optimization | |
JP5011168B2 (en) | Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, virtual viewpoint image generation program, and computer-readable recording medium recording the program | |
JP5153620B2 (en) | System for superimposing images related to a continuously guided endoscope | |
CN106846467B (en) | Entity scene modeling method and system based on optimization of position of each camera | |
KR100793838B1 (en) | Appratus for findinng the motion of camera, system and method for supporting augmented reality in ocean scene using the appratus | |
JP2002324234A (en) | Method and device for rectifying stereoscopic image | |
CN112614169B (en) | 2D/3D spine CT (computed tomography) level registration method based on deep learning network | |
EP1533751B1 (en) | A method for correcting distortions in multi-focus image stacks | |
JP2006127241A (en) | Method for accelerating super-resolution processing | |
JP2006287589A (en) | Image processing method and image processing apparatus | |
JP5501240B2 (en) | Method and apparatus for reproducing a volume of an object from a series of cross-sectional images of the object | |
JP4887491B2 (en) | MEDICAL IMAGE PROCESSING METHOD, DEVICE THEREOF, AND PROGRAM | |
CN112132971B (en) | Three-dimensional human modeling method, three-dimensional human modeling device, electronic equipment and storage medium | |
JP2012003503A (en) | Image processing device, method for controlling the same, and program | |
JP2006337075A (en) | Three-dimensional information recovery device | |
JP5110487B2 (en) | Method and apparatus for restoring scanned image of moving object | |
CN115919461A (en) | SLAM-based surgical navigation method | |
JP2007322403A (en) | Image processing apparatus and its processing method | |
CN113902847A (en) | Monocular depth image pose optimization method based on three-dimensional feature constraint | |
JP2013069012A (en) | Multi-lens imaging apparatus | |
CN109379577B (en) | Video generation method, device and equipment of virtual viewpoint | |
JP7245773B2 (en) | Image processing device, image processing program and image processing method | |
JP2012014268A (en) | Information processing device and control method thereof | |
Viviers et al. | Towards real-time 6D pose estimation of objects in single-view cone-beam X-ray |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090121 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120911 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121001 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |