JP2005296400A - Fundus spectral image photographing device - Google Patents

Fundus spectral image photographing device Download PDF

Info

Publication number
JP2005296400A
JP2005296400A JP2004118070A JP2004118070A JP2005296400A JP 2005296400 A JP2005296400 A JP 2005296400A JP 2004118070 A JP2004118070 A JP 2004118070A JP 2004118070 A JP2004118070 A JP 2004118070A JP 2005296400 A JP2005296400 A JP 2005296400A
Authority
JP
Japan
Prior art keywords
fundus
optical system
spectral
image
slit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004118070A
Other languages
Japanese (ja)
Other versions
JP4505852B2 (en
Inventor
Takayuki Muneda
孝之 宗田
Katsuo Aizawa
勝夫 會沢
Atsushi Nakamura
厚 中村
Masayuki Takasu
正行 高須
Shinya Otsubo
真也 大坪
Takayoshi Suzuki
孝佳 鈴木
Fumihiko Ichikawa
文彦 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Kowa Co Ltd
JFE Techno Research Corp
Original Assignee
Waseda University
Kowa Co Ltd
Kawatetsu Techno Research Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University, Kowa Co Ltd, Kawatetsu Techno Research Corp filed Critical Waseda University
Priority to JP2004118070A priority Critical patent/JP4505852B2/en
Publication of JP2005296400A publication Critical patent/JP2005296400A/en
Application granted granted Critical
Publication of JP4505852B2 publication Critical patent/JP4505852B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a fundus spectral image photographing device including a processing method of observational measurement data, for reducing a detection error in a lesion, while coping with various lesions of the fundus from its image, by acquiring clear spectral data over the whole fundus, by easily adjusting a device of examining the fundus. <P>SOLUTION: This fundus spectral image photographing device has a first optical system 2 for forming a fundus image of optometry, a slit 4 arranged in a fundus conjugate position of the first optical system 2, a second optical system 3 for forming a spectrum of making spectral diffraction of the fundus image formed by the first optical system 2 by a spectral element 6, a two-dimensional imaging element 7 arranged in an image forming position of the fundus spectral image formed by the second optical system 3, and a means for acquiring the fundus image by scanning one or more of the respective elements in the direction orthogonal to the longitudinal direction of a slit opening. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、眼底に光を照射し、その反射光のスペクトル分析を行うことにより、眼底の血流状態などを測定する装置に関する。   The present invention relates to an apparatus that measures the blood flow state of the fundus by irradiating the fundus with light and performing spectrum analysis of the reflected light.

従来から、眼底の網膜の状態を検査する方法として、眼底カメラによる写真撮影を行い、その写真から、病状を判断していた。(例えば特許文献1を参照)写真撮影時には、瞳孔を開くための薬物投与を行うこともあった。特に、網膜の血流状態を検査するためには、蛍光眼底撮影という方法が採用されている。眼底の状態を連続的に観察するには、瞳孔を開いたままで、ビデオカメラで撮影し、モニターに映し出す方法が一般的である。しかし、この蛍光眼底撮影では、薬物投与により、患者に思いがけない障害をきたすおそれがあり、必ずしも最適な検査方法ではない。   Conventionally, as a method for inspecting the state of the retina of the fundus, a photograph is taken with a fundus camera, and the medical condition is judged from the photograph. (See, for example, Patent Document 1) At the time of taking a photograph, a drug was sometimes administered to open the pupil. In particular, in order to examine the blood flow state of the retina, a method called fluorescent fundus imaging is employed. In order to continuously observe the state of the fundus, it is common to take a picture with a video camera while keeping the pupil open and display it on a monitor. However, in this fluorescence fundus photography, there is a risk that unexpected damage may occur to the patient due to drug administration, and this is not necessarily the optimal examination method.

一方、眼底ではないが、水晶体の光学的特性を検査して、白内障などの診断を可能にする方法が開示されている。(例えば特許文献2を参照)白内障では、水晶体が濁って光の透過率が低下しているが、透過率は、水晶体の位置によっても異なるし、光の波長によっても異なる。このような水晶体の検査をするために、水晶体とレンズを介してほぼ共役の位置にスリットを置き、そのスリットを通ったイメージを分光器に通して分光イメージを得るとともに、そのスリットおよび分光器を平面上で走査することによって、水晶体全面の分光データを得る構造の装置がある。   On the other hand, although not the fundus, a method is disclosed in which the optical characteristics of the lens are examined to enable diagnosis of cataracts and the like. (For example, refer to Patent Document 2) In cataract, the lens is cloudy and the light transmittance is reduced, but the transmittance varies depending on the position of the lens and also on the wavelength of light. In order to inspect such a lens, a slit is placed at a nearly conjugate position through the lens and lens, and an image passing through the slit is passed through a spectrometer to obtain a spectral image. There is an apparatus having a structure for obtaining spectral data of the entire surface of a crystalline lens by scanning on a plane.

眼底の検査では、網膜上の血管や血流の状態を観察することが重要であるが、従来は、上に述べたように、写真撮影をして、その映像と色彩から判断していた。このような方法では、網膜上の血管に酸素を供給できるような血流があるかどうか明確ではないために、誤診することもあった。   In the examination of the fundus, it is important to observe the state of blood vessels and blood flow on the retina. Conventionally, as described above, a photograph is taken and the judgment is made based on the image and color. In such a method, since it is not clear whether there is a blood flow that can supply oxygen to the blood vessels on the retina, a misdiagnosis may occur.

また、上記のようなスリットを通ったイメージを分光器に通して分光イメージを得るとともに、そのスリットおよび分光器を走査して、分光データを得るような装置を使って測定する場合には、眼底は球状をしているので、上に述べたような平面走査では、周辺で画像がぼけてしまうという問題がある。
特開2001−353128号公報 特開2002−224041号公報
In addition, when the image passing through the slit as described above is passed through a spectroscope to obtain a spectroscopic image and the slit and spectroscope are scanned to measure using a device that obtains spectroscopic data, the fundus Since it is spherical, there is a problem that the image is blurred in the periphery in the plane scanning as described above.
JP 2001-353128 A JP 2002-224041 A

本発明の目的は、上記のような問題を解決し、眼底検査のための装置の調整が簡単で、眼底全体にわたって鮮明な分光データを取得し、その画像から、眼底の様々な病変に対応でき、さらに、病変の検出誤りが少なくなるような、観察測定データの処理方法を含む眼底分光像撮影装置を提供することである。   The object of the present invention is to solve the above problems, to easily adjust the apparatus for fundus examination, to acquire clear spectral data over the entire fundus, and to deal with various lesions of the fundus from the image. Furthermore, another object of the present invention is to provide a fundus spectroscopic imaging apparatus including an observation measurement data processing method that reduces lesion detection errors.

本発明による眼底分光像撮影装置は、請求項1に示すように、被検眼の眼底像を結像する手段としての第1の光学系と、該第1の光学系の眼底共役位置に配置されたスリットと、前記第1の光学系により結像した眼底像光が前記スリットを通過し、その後、分光素子により分光したスペクトルを結像する手段としての第2の光学系と、該第2の光学系で結像した眼底分光像の結像位置に配置した2次元撮像素子と、前記の各要素の1つ以上を、所定の走査手段で、スリットの長手方向と直交する方向に走査して前記眼底像を取得する手段とを備えたことを特徴としている。   The fundus spectral image capturing apparatus according to the present invention is arranged at the fundus conjugate position of the first optical system as means for forming a fundus image of the eye to be inspected and the first optical system. And a second optical system as means for imaging the spectrum of the fundus image light imaged by the first optical system after passing through the slit and spectrally separated by a spectroscopic element, A two-dimensional imaging device arranged at the imaging position of the fundus spectral image formed by the optical system and one or more of the above elements are scanned in a direction perpendicular to the longitudinal direction of the slit by a predetermined scanning means. Means for acquiring the fundus image.

このような構成にすることにより、第1の光学系で、スリットの位置と共役な眼底の位置の像を、スリットの位置に眼底像として結像する。眼底からの光は常に、スリットの位置に眼底像を鮮明に結像させるので、1つ以上の光学系を走査することにより、各位置の眼底像がスリットを通過できるようになる。したがって、眼底全体にわたって鮮明な分光データを取得することができ、病変の検出誤りを少なくできる効果がある。   With such a configuration, the first optical system forms an image of the fundus position conjugate with the slit position as a fundus image at the slit position. Since light from the fundus always forms a sharp image of the fundus at the position of the slit, the fundus image at each position can pass through the slit by scanning one or more optical systems. Therefore, clear spectroscopic data can be acquired over the entire fundus, and there is an effect of reducing lesion detection errors.

請求項2による眼底分光像撮影装置によれば、第1の光学系の瞳共役面付近に回転ミラーを設けたので、実質的に、瞳孔の位置から眼球内を回転ミラーで走査するのと同等の効果を得ることができる。したがって、簡単な装置で、眼底全体にわたって鮮明な分光データを取得することができるという効果がある。   According to the fundus oculi spectroscopic imaging device of the second aspect, since the rotating mirror is provided near the pupil conjugate plane of the first optical system, it is substantially equivalent to scanning the inside of the eyeball from the position of the pupil with the rotating mirror. The effect of can be obtained. Therefore, it is possible to obtain clear spectral data over the entire fundus with a simple device.

請求項3による眼底分光像撮影装置によれば、スリットと第2の光学系と2次元撮像素子とを同時に走査するような手段を設けたので、眼底像の結像位置に沿ってスリットと第2の光学系と2次元撮像素子とを同時に走査できる。したがって、眼底全体にわたって鮮明な分光データを取得することができるという効果がある。   According to the fundus spectral image capturing apparatus of the third aspect, since the means for simultaneously scanning the slit, the second optical system, and the two-dimensional imaging device is provided, the slit and the second optical system are arranged along the imaging position of the fundus image. The two optical systems and the two-dimensional image sensor can be scanned simultaneously. Therefore, there is an effect that clear spectral data can be acquired over the entire fundus.

請求項4による眼底分光像撮影装置によれば、第1の光学系とスリットと第2の光学系と2次元撮像素子とを同時に回転走査するような手段を設けたので、被検眼の瞳孔位置を中心として、第1の光学系とスリットと第2の光学系の光軸を回転走査することができ、球面である眼底の像を歪が少ない光軸上での眼底像として、鮮明に結像させることができる。   According to the fundus oculi spectroscopic imaging device according to the fourth aspect of the present invention, since the means for simultaneously rotating and scanning the first optical system, the slit, the second optical system, and the two-dimensional image sensor is provided, the pupil position of the eye to be examined The optical axis of the first optical system, the slit, and the second optical system can be rotationally scanned around the center, and the image of the fundus that is a spherical surface can be clearly obtained as a fundus image on the optical axis with little distortion. Can be imaged.

請求項5による眼底分光像撮影装置によれば、第1の光学系により結像した眼底像を、前記スリット位置以外の位置に再結像する第3の光学系を備えている。すなわち、スリットに入るまえの光路にハーフミラーまたはダイクロイックミラー(例えば可視光透過、赤外光反射)を設置し、第3の光学系で再結像した眼底像を直接観察したり、ビデオカメラを通してモニターで見たりすることにより、被検眼に対する位置合わせとピント調整を確実に行うことができる。こうすることで、調整が簡単であり、眼底全体にわたって鮮明な分光データを取得することができる。   According to the fundus oculi spectroscopic imaging device of the fifth aspect, the fundus oculi image formed by the first optical system is provided with a third optical system that re-images the image at a position other than the slit position. That is, a half mirror or a dichroic mirror (for example, visible light transmission, infrared light reflection) is installed in the optical path before entering the slit, and the fundus image re-formed by the third optical system is directly observed, or through a video camera. By observing with a monitor, it is possible to reliably perform alignment and focus adjustment with respect to the eye to be examined. By doing so, adjustment is easy, and clear spectral data can be acquired over the entire fundus.

請求項6による眼底分光像撮影装置によれば、分光素子は、プリズムまたは回折格子、あるいは両者の組み合わせである。プリズムが最も簡単ではあるが、分解能を高めようとすると回折格子がよい。特に、第2の光学系をコンパクトにするには、透過型の回折格子が適当である。このようにして、眼底像の分光を簡単に行うことができ、また、光学系を走査することにより、眼底全体にわたって鮮明な分光データを取得することができる。   According to the fundus oculi spectroscopic imaging device of the sixth aspect, the spectroscopic element is a prism, a diffraction grating, or a combination of both. A prism is the simplest, but a diffraction grating is better for increasing the resolution. In particular, a transmissive diffraction grating is suitable for making the second optical system compact. In this way, the fundus image can be easily spectrumd, and clear spectral data can be acquired over the entire fundus by scanning the optical system.

請求項7による眼底分光像撮影装置によれば、2次元撮像素子の分光像を1フレームとして、回転走査と同期して、走査ステップ毎に、分光像のフレームを蓄積する手段を備えたので、Nステップの走査でNフレームの分光像が得られ、全体で、走査した領域のなかでの分光スペクトルが得られる。したがって、分光スペクトルから、病変に特有な波長の光に注目して眼底の領域を観測したり、多変量分析などの解析手法で分析することもできるので、病変の検出誤りが少なくできる効果がある。   According to the fundus oculi spectroscopic imaging device according to claim 7, since the spectroscopic image of the two-dimensional image sensor is provided as one frame, and includes means for accumulating the spectroscopic image frame for each scanning step in synchronization with the rotational scanning. N frames of spectral images are obtained by scanning in N steps, and a spectral spectrum in the scanned region as a whole is obtained. Therefore, it is possible to observe the fundus region by focusing on the light having a wavelength specific to the lesion from the spectral spectrum, or to analyze it by an analysis method such as multivariate analysis, which can reduce the detection error of the lesion. .

請求項8による眼底分光像撮影装置によれば、予め撮影するべき眼底の範囲を設定する手段と、撮影開始を指示する手段とを備えているので、眼底を直接観測しながら分光撮影する範囲を定めて、撮影開始を指示すると、所望の領域の眼底分光撮影を簡単に行うことができる。この分光像の解析結果はリアルタイムで得られるので、従来の写真撮影に比べて、病変の検出が確実にできるという効果がある。   According to the fundus oculi spectroscopic imaging device according to the eighth aspect of the present invention, the fundus spectroscopic imaging apparatus includes means for setting the fundus range to be imaged in advance and means for instructing the start of imaging. When the determination is made and the start of imaging is instructed, fundus spectroscopic imaging of a desired region can be easily performed. Since the analysis result of the spectral image is obtained in real time, there is an effect that the detection of the lesion can be surely performed as compared with the conventional photography.

請求項9による眼底分光像撮影装置によれば、白色板または白色に塗装した擬似眼を被検眼の眼底に相当する位置に置いて、分光スペクトルの基準値を校正するようにしたので、光源の輝度や発光スペクトルの変動に対しても簡単に補正ができ、より正確なデータを取得できる。これにより、分光像の解析結果の信頼度が高まり、病変の検出が確実にできるという効果がある。   According to the fundus spectral image capturing apparatus of the ninth aspect, the white plate or the artificial eye painted in white is placed at a position corresponding to the fundus of the eye to be examined, and the reference value of the spectral spectrum is calibrated. It is possible to easily correct fluctuations in luminance and emission spectrum, and to acquire more accurate data. As a result, the reliability of the analysis result of the spectral image is increased, and there is an effect that the lesion can be reliably detected.

請求項10による眼底分光像撮影装置によれば、分光像のフレームを蓄積した分光スペクトルの吸光度データを光のスペクトル多次元空間にプロットする手段と、前記複数の位置から得られたスペクトル多次元空間のデータを多変量解析することにより、少なくとも第1、第2、第3主成分の固有ベクトルを求める手段と、前記各位置のデータを前記各固有ベクトルの方向に射影し、その大きさを2次元表示画面にグレースケールまたは大きさに対応する色彩で表示する手段とを備えている。このような手段により、例えば、眼底の毛細血管のなかのヘモグロビンに結合している酸素の量を知ることができ、様々な病変の検出が確実にできるという効果がある。   According to the fundus oculi spectroscopic imaging device according to claim 10, the means for plotting the absorbance data of the spectral spectrum in which the frames of the spectral image are accumulated in the spectral multidimensional space of light, and the spectral multidimensional space obtained from the plurality of positions Means for obtaining eigenvectors of at least the first, second, and third principal components by multivariate analysis of the data, and projecting the data at each position in the direction of each eigenvector, and displaying the magnitude in a two-dimensional manner Means for displaying on the screen in a gray scale or a color corresponding to the size. By such means, for example, it is possible to know the amount of oxygen bound to hemoglobin in the capillaries of the fundus, and there is an effect that various lesions can be reliably detected.

本発明によれば、上に述べたように、眼底検査のための装置の調整が簡単で、眼底全体にわたって鮮明な分光データを取得し、その画像から、眼底の様々な病変に対応でき、さらに、病変の検出誤りが少なくなるような効果がある。   According to the present invention, as described above, it is easy to adjust the apparatus for fundus examination, and it is possible to acquire clear spectral data over the entire fundus and deal with various lesions of the fundus from the image. This has the effect of reducing detection errors of lesions.

以下、本発明の好ましい実施形態について説明する。図1に、本発明による眼底分光像撮影装置の概略図を示す。図1において、1は被検眼の眼底、2は第1の光学系、3は第2の光学系、4はスリット、5は第3の光学系、6は分光素子、7は2次元撮像素子である。   Hereinafter, preferred embodiments of the present invention will be described. FIG. 1 shows a schematic view of a fundus spectral image capturing apparatus according to the present invention. In FIG. 1, 1 is the fundus of the eye to be examined, 2 is a first optical system, 3 is a second optical system, 4 is a slit, 5 is a third optical system, 6 is a spectroscopic element, and 7 is a two-dimensional image sensor. It is.

第1の光学系2は、対物レンズ21、穴あきミラー22、絞り23、照明光学系レンズ24、リレーレンズ25、フォーカスレンズ26、結像レンズ27などの光学部品で構成されている。眼底は、光源(図示しない)からの光が、照明光学系レンズ24を通り、穴あきミラー22で反射されて対物レンズ21を経て照明される。   The first optical system 2 includes optical components such as an objective lens 21, a perforated mirror 22, a diaphragm 23, an illumination optical system lens 24, a relay lens 25, a focus lens 26, and an imaging lens 27. The fundus is illuminated by the light from the light source (not shown) through the illumination optical system lens 24, reflected by the perforated mirror 22, and through the objective lens 21.

眼底からの反射光は、対物レンズ21と穴あきミラー22の穴を通り、瞳と共役の位置に置かれた絞り23を通り、リレーレンズ25、フォーカスレンズ26、結像レンズ27で、眼底像が結像される。   The reflected light from the fundus passes through the holes of the objective lens 21 and the perforated mirror 22, passes through the aperture 23 placed at a conjugate position with the pupil, and then reaches the fundus image with the relay lens 25, the focus lens 26, and the imaging lens 27. Is imaged.

第3の光学系5は、ミラー13とカメラ14とを含んでいる。ミラー13はハーフミラーまたはダイクロイックミラー(例えば可視光反射、赤外光透過)である。   The third optical system 5 includes a mirror 13 and a camera 14. The mirror 13 is a half mirror or a dichroic mirror (for example, visible light reflection, infrared light transmission).

ハーフミラーの場合には、眼球からの光の一部を90度曲げて反射し、カメラ14で眼底の映像を撮影して、直接、モニター15で観察することができる。また、眼球からの光の他の部分はハーフミラーを透過し、スリット4を通り、分光素子6で分光されて2次元撮像素子7に結像し、その分光像を蓄積する手段8に蓄積する。蓄積する手段8は、一般的に使用されている半導体メモリ、磁気記録装置、光学的なメモリなど何れでもよい。ミラーがダイクロイックミラー(例えば可視光反射、赤外光透過)の場合には、可視光が90度屈折して反射され、前記のように、モニター15で映像を観察することができる。また、赤外光は透過し、その分光像を蓄積する。   In the case of a half mirror, a part of the light from the eyeball is bent by 90 degrees and reflected, and an image of the fundus can be taken by the camera 14 and directly observed on the monitor 15. The other part of the light from the eyeball passes through the half mirror, passes through the slit 4, is split by the spectroscopic element 6, forms an image on the two-dimensional image sensor 7, and is stored in the means 8 for storing the spectroscopic image. . The storage means 8 may be any commonly used semiconductor memory, magnetic recording device, optical memory, or the like. When the mirror is a dichroic mirror (for example, visible light reflection, infrared light transmission), the visible light is refracted and reflected by 90 degrees, and the image can be observed on the monitor 15 as described above. Further, infrared light is transmitted and the spectral image is accumulated.

9は、前記の第1の光学系、第2の光学系、スリット、分光素子、2次元撮像素子などを走査する装置であり、制御装置10によって、蓄積手段8とともに連動して制御される。また、11は蓄積した分光像を解析する装置であり、その結果がモニター12に表示される。   Reference numeral 9 denotes a device that scans the first optical system, the second optical system, the slit, the spectroscopic element, the two-dimensional image sensor, and the like, and is controlled by the control device 10 in conjunction with the storage means 8. Reference numeral 11 denotes a device for analyzing the accumulated spectral image, and the result is displayed on the monitor 12.

スリットは線状の開口になっており、2次元撮像素子の1フレームには、スリットに対応する眼底のなかの1ラインの像がスリットと直交する方向に分光されて結像する。すなわち、スリットの方向が2次元撮像素子のX軸方向だとすると、X軸方向は眼底のなかの1ラインに対応し、Y軸方向には、該1ライン上の各点での入射光を分光したスペクトルでの光強度が対応する。   The slit is a linear opening, and an image of one line in the fundus corresponding to the slit is split in a direction perpendicular to the slit to form an image on one frame of the two-dimensional image sensor. That is, assuming that the slit direction is the X-axis direction of the two-dimensional image sensor, the X-axis direction corresponds to one line in the fundus, and the incident light at each point on the one line is dispersed in the Y-axis direction. The light intensity in the spectrum corresponds.

眼底のなかのラインの像を、スリットと直交する方向に順次走査して、2次元撮像素子で撮像すると、Nステップ走査すれば、Nフレームの2次元分光像を得ることができる。   When an image of a line in the fundus is sequentially scanned in a direction orthogonal to the slit and imaged by a two-dimensional image sensor, an N-step two-dimensional spectral image can be obtained by performing N-step scanning.

次に上記の走査の手段について説明する。図2に、第1の実施例として、ミラーを使って走査する方法についての概略を示す。図1に対応して、同じ機能、構成の部分には、同じ符号を付している。図2において、20が走査を行うためのミラーである。ミラー20は、第1の光学系の瞳孔共役面付近に設置されており、第1の光学系の光軸を通り、それと直交する線を軸として、回転するようになっている。第1の光学系の光軸は、ミラー20によりほぼ直角に曲げられており、その先に、スリット4、第2の光学系、2次元撮像素子などが配置されている。   Next, the scanning means will be described. FIG. 2 shows an outline of a scanning method using a mirror as the first embodiment. Corresponding to FIG. 1, parts having the same functions and configurations are denoted by the same reference numerals. In FIG. 2, 20 is a mirror for scanning. The mirror 20 is installed in the vicinity of the pupil conjugate plane of the first optical system, and rotates about a line passing through the optical axis of the first optical system and orthogonal thereto. The optical axis of the first optical system is bent at a substantially right angle by the mirror 20, and a slit 4, a second optical system, a two-dimensional image sensor, and the like are disposed at the tip.

ミラー20は、第1の光学系の瞳孔共役面付近に設置されているので、ミラー20の回転走査により、実質的に、瞳孔の位置から眼球内を回転ミラーで走査するのと同等の効果を得ることができる。これにより、曲面である眼底の画像を鮮明に結像させて、鮮明な眼底分光像を取得することができる。   Since the mirror 20 is installed in the vicinity of the pupil conjugate plane of the first optical system, the effect of rotating the mirror 20 is substantially equivalent to scanning the inside of the eyeball from the position of the pupil with the rotating mirror. Can be obtained. Thereby, it is possible to clearly form a fundus image that is a curved surface and obtain a clear fundus spectral image.

図3に、走査手段に関する第2の実施例を示す。図3に示すように、この走査手段は、スリット4と第2の光学系3と2次元撮像素子7とを一体としたもの30とみなして、一体的に走査する。すなわち、眼底像は、スリット4の位置に結像するので、スリット4と第2の光学系3と2次元撮像素子7とを一体として走査すれば、鮮明な眼底像を得ることができる。   FIG. 3 shows a second embodiment relating to the scanning means. As shown in FIG. 3, the scanning means regards the slit 4, the second optical system 3, and the two-dimensional imaging device 7 as an integrated body 30, and scans integrally. That is, since the fundus image is formed at the position of the slit 4, if the slit 4, the second optical system 3, and the two-dimensional image sensor 7 are scanned together, a clear fundus image can be obtained.

走査手段に関する第3の実施例を図4に示す。第3の実施例では、第1の光学系とスリット4と第2の光学系3と2次元撮像素子7とを一体とみなしたもの40を、瞳孔の位置を中心として回転走査するものを示す。また、第3の光学系5は、前記の一体とみなしたもの40のなかに含まれるようにしてもよい。この実施例では、第1の光学系とスリット4と第2の光学系3と2次元撮像素子7とが一体となって瞳孔の位置を軸として回転走査するので、眼底像は2次元撮像素子7上に、常に鮮明に結像する。   A third embodiment relating to the scanning means is shown in FIG. In the third embodiment, the first optical system, the slit 4, the second optical system 3, and the two-dimensional image pickup device 7 that are regarded as one unit are rotated and scanned around the position of the pupil. . Further, the third optical system 5 may be included in the above-described one 40. In this embodiment, since the first optical system, the slit 4, the second optical system 3, and the two-dimensional image sensor 7 are integrated and rotationally scanned around the position of the pupil, the fundus image is obtained by the two-dimensional image sensor. 7 always forms a clear image.

これらの実施例における走査は、それぞれに応じて、走査装置9により、制御装置10で実施され、同時に蓄積装置8に、分光像が蓄積される。   The scanning in these embodiments is performed by the control device 10 by the scanning device 9 and the spectral image is accumulated in the accumulating device 8 at the same time.

第2の光学系3のなかの分光素子6は、基本的にはプリズムであるが、分光の分解能を高めるために、透過型の回折格子を使用する。または、プリズムと回折格子の組み合わせでもよい。   The spectroscopic element 6 in the second optical system 3 is basically a prism, but a transmission type diffraction grating is used in order to increase the resolution of the spectrum. Alternatively, a combination of a prism and a diffraction grating may be used.

次に、蓄積装置8に蓄積された分光像の処理について説明する。まず、分光感度を正規化するために、白色板または白色に塗装した擬似眼を被検眼の眼底に相当する位置に置いて、分光スペクトルの基準値を校正する。このようにして得られた分光像をもとに解析を行う。   Next, processing of the spectral image stored in the storage device 8 will be described. First, in order to normalize the spectral sensitivity, a white plate or a pseudo eye painted in white is placed at a position corresponding to the fundus of the subject's eye, and the reference value of the spectral spectrum is calibrated. Analysis is performed based on the spectral image thus obtained.

検眼に使用する光は可視光でもよいが、縮瞳してしまうので、一般的には瞳孔を開くための薬物投与を行う。しかし、被験者に苦痛を与えるため、短時間の検査しかできない。そこで、目には感じない赤外線領域の光を使用する。赤外線領域の光の波長は700nmから1000nmである。   The light used for the optometry may be visible light, but it will cause the pupil to contract, so generally a drug is administered to open the pupil. However, only a short test is possible because it causes pain to the subject. Therefore, light in the infrared region that is not felt by the eyes is used. The wavelength of light in the infrared region is 700 nm to 1000 nm.

分光像解析の1実施例として、720nmの波長での分光像を画像化する。具体的な手法としては、蓄積装置8に蓄積された第1フレームから第Nフレームまでの分光像の中から、720nmの波長に相当する部分のデータを抽出して、順次、1枚の画面に並べてゆくことにより、720nmの波長で観測した眼底像を得ることができる。このような手順で得られた擬似眼底像の1実施例を図5に示す。720nmの波長で観測すれば、図5において、明るい筋状に映っているのが擬似血管であり、このように擬似眼底の血管を鮮明に観測できる。   As an example of spectral image analysis, a spectral image at a wavelength of 720 nm is imaged. As a specific method, data of a portion corresponding to a wavelength of 720 nm is extracted from the spectral images from the first frame to the Nth frame stored in the storage device 8 and sequentially displayed on one screen. By arranging them side by side, a fundus image observed at a wavelength of 720 nm can be obtained. An example of the pseudo fundus image obtained by such a procedure is shown in FIG. When observing at a wavelength of 720 nm, the pseudo blood vessels appear as bright streaks in FIG. 5, and thus the blood vessels of the pseudo fundus can be observed clearly.

特定の波長の光で観測するときには、一般的には、フィルターを使うことが多い。しかし、フィルターを使うにはその装着スペースを必要とするだけでなく、また違った波長で観測しようとすると、フィルターの交換をする必要があり、余分な手間がかかる。この装置では、700nmから1000nmまでの全ての波長でのデータが蓄積されているので、解析装置の操作だけで、必要とする波長での観測結果を即座に得ることができる。   In general, when observing with light of a specific wavelength, a filter is often used. However, in order to use a filter, not only the installation space is required, but if the observation is performed at a different wavelength, it is necessary to replace the filter, which takes extra time. In this apparatus, data at all wavelengths from 700 nm to 1000 nm are accumulated, so that observation results at the required wavelength can be obtained immediately by operating the analysis apparatus.

分光像解析の第2の実施例として、波長空間における多変量解析を行う。具体的な方法としては、各位置で得られたスペクトルデータをスペクトル多次元空間にプロットする。例えば、700nmから800nmの間に血中の酸化ヘモグロビンによる特異な吸収帯があるとすると、波長が700nmから800nmまでのデータを取得し、これを最小分解能の5nmで分割して、それぞれの波長での吸光度(任意単位)を求め、分割した20次元の空間に、1つの位置あたり1点としてプロットする。   As a second embodiment of spectral image analysis, multivariate analysis in a wavelength space is performed. As a specific method, the spectrum data obtained at each position is plotted in a spectrum multidimensional space. For example, if there is a specific absorption band due to oxyhemoglobin in the blood between 700 nm and 800 nm, the data from 700 nm to 800 nm is acquired, and this is divided by the minimum resolution of 5 nm. The absorbance (arbitrary unit) is obtained and plotted as one point per position in the divided 20-dimensional space.

例えば、試料の大きさが3mm平方で、検出する微小領域が0.03mm平方とすれば、10、000個の微小領域からのスペクトルデータが得られる。例えば、S/N比の向上を目的として、4つの微小領域のデータを平均して1つのデータとすると、最終的に得られるデータは2,500個である。この2,500個のスペクトルデータを上記の20次元のスペクトル空間にプロットする。   For example, if the sample size is 3 mm square and the minute area to be detected is 0.03 mm square, spectral data from 10,000 minute areas can be obtained. For example, for the purpose of improving the S / N ratio, if the data of four minute regions is averaged to be one data, the data finally obtained is 2,500. The 2500 spectral data are plotted in the 20-dimensional spectral space.

次に、例えば主成分分析法などの多変量解析の手法を用いて、20次元のスペクトル空間の中で、第1の主成分として、2,500個の点の分散が最大になる方向を求め、その方向を第1主成分の固有ベクトルとする。さらに、第1の固有ベクトルに直交する空間に各プロット点を射影して、第2の主成分を求め、第2主成分の固有ベクトルとする。さらに、上記と同様な手順で第3,・・nの主成分と第3,・・n主成分の固有ベクトルを求める。   Next, a multivariate analysis method such as principal component analysis is used to determine the direction in which the variance of 2,500 points is maximized as the first principal component in the 20-dimensional spectrum space. The direction is the eigenvector of the first principal component. Further, each plot point is projected onto a space orthogonal to the first eigenvector to obtain a second principal component, which is used as the second principal component eigenvector. Further, eigenvectors of the third,... N principal components and the third,.

このようにして、第1主成分の固有ベクトル、第2主成分の固有ベクトル、第3主成分の固有ベクトルが決まり、その各固有ベクトルに前記のプロットした2,500個のデータを射影する。すなわち、各固有ベクトル方向の成分を求める。この成分の大きさをスコアと呼ぶが、固有ベクトル方向毎のスコアを試料の各位置に、グレースケールまたはスコアの値に応じた色彩でプロットして2次元表示を行う。   In this way, the eigenvectors of the first principal component, the eigenvectors of the second principal component, and the eigenvectors of the third principal component are determined, and the 2,500 plotted data are projected onto the respective eigenvectors. That is, the component in each eigenvector direction is obtained. Although the magnitude of this component is called a score, the score for each eigenvector direction is plotted at each position of the sample with a gray scale or a color corresponding to the value of the score to perform two-dimensional display.

一般に、第1主成分のスコアは平均値になるために、特異な現象は出難いが、第2主成分や第3主成分のスコアに特異な現象が現れることが多い。この例では、血中の還元ヘモグロビンが多い部分のスコア値が高くなるというような現象が現れる。このような特異点を検出することにより、病変やその予兆を発見することができる。   In general, since the score of the first principal component is an average value, a unique phenomenon is difficult to appear, but a phenomenon that is unique to the scores of the second principal component and the third principal component often appears. In this example, a phenomenon appears in which the score value of the portion where the reduced hemoglobin in the blood is large becomes high. By detecting such a singular point, it is possible to find a lesion and its precursor.

以上、説明したように、本発明による眼底分光像撮影装置では、眼底全体にわたって鮮明な分光データを取得し、その画像から、眼底の様々な病変に対応でき、さらに、病変の検出誤りを少なくできるという効果が得られる。   As described above, the fundus spectral imaging apparatus according to the present invention acquires clear spectral data over the entire fundus, can handle various lesions of the fundus from the image, and can further reduce lesion detection errors. The effect is obtained.

なお、本発明は、上記の実施例に限定されるものではなく、本発明の趣旨と思想に基づく、当業者による一部の変更や置き換えは、本発明の請求の範囲に属するものである。   Note that the present invention is not limited to the above-described embodiments, and some changes and replacements by those skilled in the art based on the spirit and idea of the present invention belong to the scope of the claims of the present invention.

本発明による眼底分光像撮影装置の概略図。1 is a schematic view of a fundus spectral image capturing apparatus according to the present invention. 本発明による眼底分光像撮影装置における走査方法に関する第1の実施例を説明する概略図。Schematic explaining the 1st Example regarding the scanning method in the fundus | tracheal spectroscopic imaging device by this invention. 本発明による眼底分光像撮影装置における走査方法に関する第2の実施例を説明する概略図。Schematic explaining the 2nd Example regarding the scanning method in the fundus | tracheal spectroscopic imaging device by this invention. 本発明による眼底分光像撮影装置における回転走査方法に関する第3の実施例を説明する概略図。Schematic explaining the 3rd Example regarding the rotational scanning method in the fundus | tracheal spectroscopic imaging device by this invention. 本発明による眼底分光像撮影装置で撮影して取得した、擬似眼底のスペクトル画像Spectral image of pseudo fundus obtained by photographing with fundus spectral image photographing apparatus according to the present invention

符号の説明Explanation of symbols

1 眼底
2 第1の光学系
3 第2の光学系
4 スリット
5 第3の光学系
6 分光素子
7 2次元撮像素子
8 蓄積手段
9 走査装置
10 制御装置
11 解析装置
12 モニター
13 ミラー
14 カメラ
15 モニター
20 ミラー
21 対物レンズ
22 穴あきミラー
23 絞り
24 照明光学系レンズ
25 リレーレンズ
26 フォーカスレンズ
27 結像レンズ
DESCRIPTION OF SYMBOLS 1 Fundus 2 1st optical system 3 2nd optical system 4 Slit 5 3rd optical system 6 Spectroscopic element 7 Two-dimensional image sensor 8 Accumulation means 9 Scanning device
10 Control unit
11 Analyzer
12 Monitor
13 Mirror
14 Camera
15 Monitor
20 mirror
21 Objective lens
22 perforated mirror
23 Aperture
24 Illumination optics lens
25 Relay lens
26 Focus lens
27 Imaging lens

Claims (10)

被検眼の眼底像を結像する手段としての第1の光学系と、該第1の光学系の眼底共役位置に配置されたスリットと、前記第1の光学系により結像した眼底像光が前記スリットを通過し、その後、分光素子により分光したスペクトルを結像する手段としての第2の光学系と、該第2の光学系で結像した眼底分光像の結像位置に配置した2次元撮像素子と、前記の各要素の1つ以上を、所定の走査手段で、前記スリットの長手方向と直交する方向に走査して前記眼底像を取得する手段とを備えたことを特徴とする眼底分光像撮像装置。 A first optical system as means for forming a fundus image of the eye to be inspected, a slit disposed at a fundus conjugate position of the first optical system, and fundus image light imaged by the first optical system A second optical system as means for forming an image of a spectrum that passes through the slit and then spectrally separated by a spectroscopic element, and two-dimensionally arranged at an imaging position of a fundus spectral image formed by the second optical system An eye fundus comprising: an imaging element; and means for acquiring one or more of the above-described elements by scanning with a predetermined scanning means in a direction orthogonal to the longitudinal direction of the slit. Spectral image imaging device. 前記走査手段として、第1の光学系の瞳孔共役面付近に回転ミラーを設けたことを特徴とする請求項1に記載の眼底分光像撮像装置。 The fundus spectral image capturing apparatus according to claim 1, wherein a rotating mirror is provided near the pupil conjugate plane of the first optical system as the scanning unit. 前記走査手段は、前記スリットと第2の光学系と前記2次元撮像素子とを同時に走査するように構成したことを特徴とする請求項1に記載の眼底分光像撮像装置。 The fundus spectral image capturing apparatus according to claim 1, wherein the scanning unit is configured to simultaneously scan the slit, the second optical system, and the two-dimensional image sensor. 前記走査手段は、前記第1の光学系とスリットと第2の光学系と2次元撮像素子とを同時に被検眼の瞳孔位置付近を中心として回転走査するように構成したことを特徴とする請求項1に記載の眼底分光像撮像装置。 The scanning means is configured to rotate and scan the first optical system, the slit, the second optical system, and the two-dimensional imaging device simultaneously around the pupil position of the eye to be examined. The fundus oculi spectral image capturing device according to 1. 前記第1の光学系により結像する眼底像を、前記スリット位置以外の位置に再結像する手段として、第3の光学系を備えたことを特徴とする請求項1から4のいずれか1つに記載の眼底分光像撮像装置。 5. The apparatus according to claim 1, further comprising a third optical system as means for re-imaging a fundus image formed by the first optical system at a position other than the slit position. The fundus spectral image capturing apparatus according to claim 1. 前記分光素子は、プリズムまたは回折格子、あるいは両者の組み合わせであることを特徴とする請求項1から5のいずれか1つに記載の眼底分光像撮像装置。 The fundus spectral image capturing apparatus according to claim 1, wherein the spectroscopic element is a prism, a diffraction grating, or a combination of both. 前記2次元撮像素子の分光像を1フレームとして、前記走査と同期して、走査ステップ毎に、前記分光像のフレームを蓄積する手段を備えたことを特徴とする請求項1から6のいずれか1つに記載の眼底分光像撮像装置。 7. The apparatus according to claim 1, further comprising means for accumulating the spectral image frame for each scanning step in synchronism with the scanning with the spectral image of the two-dimensional imaging device as one frame. The fundus spectral imaging apparatus according to one of the above. 予め撮影するべき眼底の範囲を設定する手段と、撮影開始を指示する手段とを備えたことを特徴とする請求項7に記載の眼底分光像撮像装置。 8. The fundus spectral image capturing apparatus according to claim 7, further comprising means for setting a fundus range to be photographed in advance and means for instructing start of photographing. 白色板または白色に塗装した擬似眼を被検眼の眼底に相当する位置に置いて、分光スペクトルの基準値を校正することを特徴とする請求項1から8のいずれか1つに記載の眼底分光像撮像装置。 9. The fundus spectrum according to claim 1, wherein the reference value of the spectral spectrum is calibrated by placing a white plate or a false eye painted in white at a position corresponding to the fundus of the eye to be examined. Image pickup device. 前記分光像のフレームを蓄積した分光スペクトルの吸光度データを光のスペクトル多次元空間にプロットする手段と、前記複数の位置から得られたスペクトル多次元空間のデータを多変量解析することにより、少なくとも第1、第2、第3主成分の固有ベクトルを求める手段と、前記各位置のデータを前記各固有ベクトルの方向に射影し、その大きさを2次元表示画面にグレースケールまたは大きさに対応する色彩で表示する手段とを備えたことを特徴とする請求項7から9のいずれか1つに記載の眼底分光像撮像装置。 Means for plotting the absorbance data of the spectral spectrum in which the frames of the spectral image are accumulated in a spectral multidimensional space of light; and multivariate analysis of spectral multidimensional space data obtained from the plurality of positions, so that at least Means for obtaining eigenvectors of the first, second, and third principal components, and projecting the data of each position in the direction of each eigenvector, and the size of the two-dimensional display screen in a color corresponding to gray scale or size The fundus spectral image capturing apparatus according to claim 7, further comprising a display unit.
JP2004118070A 2004-04-13 2004-04-13 Fundus spectral imaging device Expired - Fee Related JP4505852B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004118070A JP4505852B2 (en) 2004-04-13 2004-04-13 Fundus spectral imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004118070A JP4505852B2 (en) 2004-04-13 2004-04-13 Fundus spectral imaging device

Publications (2)

Publication Number Publication Date
JP2005296400A true JP2005296400A (en) 2005-10-27
JP4505852B2 JP4505852B2 (en) 2010-07-21

Family

ID=35328660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004118070A Expired - Fee Related JP4505852B2 (en) 2004-04-13 2004-04-13 Fundus spectral imaging device

Country Status (1)

Country Link
JP (1) JP4505852B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007260339A (en) * 2006-03-30 2007-10-11 Topcon Corp Ophthalmological measurement device
JP2008514369A (en) * 2004-09-29 2008-05-08 ユニバーシティ・オブ・デラウェア IR spectroscopic apparatus and method for diagnosing disease
JP2012187293A (en) * 2011-03-11 2012-10-04 Topcon Corp Fundus photographing apparatus
CN109431457A (en) * 2018-12-21 2019-03-08 合肥奥比斯科技有限公司 Multispectral eyeground imaging system

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5529316A (en) * 1978-08-18 1980-03-01 Canon Kk Eyeground camera
JPS55142109U (en) * 1979-03-29 1980-10-11
JPS61276534A (en) * 1985-04-04 1986-12-06 アラ−ガン ハンフリ− Eyeground camera
JPS62179430A (en) * 1986-02-01 1987-08-06 キヤノン株式会社 Eyeground scanning optical apparatus
JPS6458237A (en) * 1987-08-31 1989-03-06 Kowa Co Fundoscopy
JPH01242941A (en) * 1988-03-24 1989-09-27 Takashi Sasaki Separation and detection of material pattern
JPH08206069A (en) * 1995-02-02 1996-08-13 Nidek Co Ltd Ophthalmological measuring device
JPH09131322A (en) * 1995-11-09 1997-05-20 Canon Inc Fundoscopy device
JPH09299333A (en) * 1996-05-16 1997-11-25 Fuji Photo Film Co Ltd Method and device for measuring glucose concentration
JPH10255028A (en) * 1997-03-14 1998-09-25 Canon Inc Eye image device
JP2001258853A (en) * 2000-03-23 2001-09-25 Konan Medical Inc Fundus tissue photographic instrument
JP2002224041A (en) * 2001-01-31 2002-08-13 Nidek Co Ltd Ophthalmologic apparatus
WO2002080759A2 (en) * 2001-04-09 2002-10-17 Patrick Kerr Retinal function camera
JP2002543863A (en) * 1999-05-07 2002-12-24 アプライド スペクトラル イメイジング リミテッド Spectral biological imaging of the eye
JP2003214951A (en) * 2002-01-28 2003-07-30 Matsushita Electric Works Ltd Spectrometric measuring device and method

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5529316A (en) * 1978-08-18 1980-03-01 Canon Kk Eyeground camera
JPS55142109U (en) * 1979-03-29 1980-10-11
JPS61276534A (en) * 1985-04-04 1986-12-06 アラ−ガン ハンフリ− Eyeground camera
JPS62179430A (en) * 1986-02-01 1987-08-06 キヤノン株式会社 Eyeground scanning optical apparatus
JPS6458237A (en) * 1987-08-31 1989-03-06 Kowa Co Fundoscopy
JPH01242941A (en) * 1988-03-24 1989-09-27 Takashi Sasaki Separation and detection of material pattern
JPH08206069A (en) * 1995-02-02 1996-08-13 Nidek Co Ltd Ophthalmological measuring device
JPH09131322A (en) * 1995-11-09 1997-05-20 Canon Inc Fundoscopy device
JPH09299333A (en) * 1996-05-16 1997-11-25 Fuji Photo Film Co Ltd Method and device for measuring glucose concentration
JPH10255028A (en) * 1997-03-14 1998-09-25 Canon Inc Eye image device
JP2002543863A (en) * 1999-05-07 2002-12-24 アプライド スペクトラル イメイジング リミテッド Spectral biological imaging of the eye
JP2001258853A (en) * 2000-03-23 2001-09-25 Konan Medical Inc Fundus tissue photographic instrument
JP2002224041A (en) * 2001-01-31 2002-08-13 Nidek Co Ltd Ophthalmologic apparatus
WO2002080759A2 (en) * 2001-04-09 2002-10-17 Patrick Kerr Retinal function camera
JP2003214951A (en) * 2002-01-28 2003-07-30 Matsushita Electric Works Ltd Spectrometric measuring device and method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008514369A (en) * 2004-09-29 2008-05-08 ユニバーシティ・オブ・デラウェア IR spectroscopic apparatus and method for diagnosing disease
JP2007260339A (en) * 2006-03-30 2007-10-11 Topcon Corp Ophthalmological measurement device
JP2012187293A (en) * 2011-03-11 2012-10-04 Topcon Corp Fundus photographing apparatus
CN109431457A (en) * 2018-12-21 2019-03-08 合肥奥比斯科技有限公司 Multispectral eyeground imaging system

Also Published As

Publication number Publication date
JP4505852B2 (en) 2010-07-21

Similar Documents

Publication Publication Date Title
US6267477B1 (en) Three dimensional imaging apparatus and a method for use thereof
US5579063A (en) Methods and devices for the measurement of the degradation of image quality on the retina of the human eye due to cataract
US20040085542A1 (en) Hyperspectral retinal imager
KR20140116353A (en) Apparatus and method for detecting amyloid in a retina in a diagnosis, advancement, and prognosing of alzheimer&#39;s disease, traumatic brain injury, macular degeneration and a plurality of neurodegenerative dissorders and ocular diseases
JP3723082B2 (en) Ophthalmic equipment
JP6992020B2 (en) Tear layer thickness measuring device and method
JP7219323B2 (en) Apparatus and method for measuring tear film thickness
JP3346618B2 (en) Optometry device
JP6357851B2 (en) Ophthalmic equipment
JP6531369B2 (en) Fundus imaging device
JP4585814B2 (en) Ophthalmic equipment
JP2006061461A (en) Fundus examination apparatus
JP4505852B2 (en) Fundus spectral imaging device
JP2023033406A (en) Ophthalmologic apparatus
JP2000135200A (en) Optometric apparatus
WO2000021432A1 (en) Methods and apparatus for digital ocular imaging
JPH06165754A (en) Ophthalmic apparatus
US6814441B2 (en) Apparatus for measurement of polarized distribution, polarizing filter for using therein and polarizing filter assembly
JPH11235316A (en) Optometrical device
JP2005296434A (en) Method and apparatus for analyzing spectral image
JP2001231754A (en) Ophthalmometer
JP7200516B2 (en) Fundus camera
JPH0444737A (en) Eyeground camera and its image displaying method
WO2019198629A1 (en) Image processing device and control method for same
JP2022056266A (en) Ocular fundus imaging apparatus

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100418

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4505852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees