JP2006158547A - Spectrum ocular fundus image data measuring apparatus and method - Google Patents
Spectrum ocular fundus image data measuring apparatus and method Download PDFInfo
- Publication number
- JP2006158547A JP2006158547A JP2004352093A JP2004352093A JP2006158547A JP 2006158547 A JP2006158547 A JP 2006158547A JP 2004352093 A JP2004352093 A JP 2004352093A JP 2004352093 A JP2004352093 A JP 2004352093A JP 2006158547 A JP2006158547 A JP 2006158547A
- Authority
- JP
- Japan
- Prior art keywords
- wavelength
- image
- spectral
- fundus image
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
本発明は、分光眼底画像データ測定装置及び測定方法に関する。特に、所定の波長範囲で分光特性を均一化する分光眼底画像データ測定装置及び測定方法に関する。また、所定の波長範囲にわたり、取得時間の異なる多数の画像データ間の整合を高精度に行なう分光眼底画像データ測定装置及び測定方法に関する。 The present invention relates to a spectral fundus image data measurement apparatus and measurement method. In particular, the present invention relates to a spectral fundus image data measuring apparatus and a measuring method for uniforming spectral characteristics in a predetermined wavelength range. The present invention also relates to a spectroscopic fundus image data measuring apparatus and a measuring method that perform high-precision matching between a large number of image data having different acquisition times over a predetermined wavelength range.
眼の診断において眼底観察の重要性は疑うまでもない。現在、眼底カメラのカラー眼底像、蛍光造影像などにより眼底を診断して異常所見が見つけ出されている。眼底での酸素飽和度や、網膜内に分布する物質の成分を画像解析で定量的に測定できれば、網膜細部の機能が分かる可能性があり、臨床的にも大いに役立つと考えられている。また、分光分析により、網膜内の物質の分光分布が分かれば、分光画像から網膜内の成分分析ができる可能性がある。 Needless to say, the importance of fundus observation in eye diagnosis is unquestionable. Currently, abnormal findings are found by diagnosing the fundus using color fundus images, fluorescence contrast images, etc. of the fundus camera. If the oxygen saturation at the fundus and the components of the substance distributed in the retina can be measured quantitatively by image analysis, the function of the retinal details can be understood, and it is thought that it will be very useful clinically. Further, if the spectral distribution of the substance in the retina is known by spectral analysis, there is a possibility that component analysis in the retina can be performed from the spectral image.
しかしながら、これまで行われてきた多くの研究は本格的な分光画像計測とは言えない。本格的な画像計測とは、(a)高画質の画像を得ることが可能、(b)分光画像を広い波長帯にわたって高波長解析度で計測可能、という要件を満たしていることが必要と考える。このような画像計測法のことをハイパースペクトラルイメージング(Hyperspectral Imaging)と呼ぶことがある。液晶波長可変フィルタの登場により、比較的容易に分光画像の取得が行えるようになった。波長の異なる多数の分光画像を用いることにより、物質の分光特性を詳細に検討することができ、また、種々の既知の分光分布を持つ成分の抽出を行うこともできる。 However, many studies that have been conducted so far cannot be said to be full-scale spectral image measurement. With full-scale image measurement, it is necessary to satisfy the requirements that (a) high-quality images can be obtained, and (b) spectral images can be measured over a wide wavelength band with high wavelength resolution. . Such an image measurement method is sometimes referred to as hyperspectral imaging. With the advent of liquid crystal wavelength tunable filters, spectral images can be acquired relatively easily. By using a large number of spectral images having different wavelengths, the spectral characteristics of the substance can be examined in detail, and components having various known spectral distributions can also be extracted.
生体の本格的な測定は今後の課題であるが、本技術が人眼の測定に対応できることを確認するための測定として、これまで、動物をモデルにして、2波長から4波長程度で先行研究が行われている。(例えば非特許文献1参照)
また、人眼に応用できる眼底の分光画像を取得する装置として、回折格子を使用して分光し、眼底をスキャンして分光画像を取得することが検討されている。(例えば特許文献1参照)
Although full-scale measurement of living organisms is a topic for the future, as a measurement to confirm that this technology is compatible with human eye measurement, previous studies have been conducted with about 2 to 4 wavelengths using animals as models. Has been done. (For example, see Non-Patent Document 1)
Further, as an apparatus for acquiring a fundus spectral image that can be applied to the human eye, it has been studied to perform spectroscopy using a diffraction grating and scan the fundus to acquire a spectral image. (For example, see Patent Document 1)
ハイパースペクトラルイメージングは、注目のテクノロジーであり、眼底の分光画像の取得も行えるようになっているが、取得される波長毎の分光画像の光量変化が激しく、正確な解析を行うことが困難であった。また、人に負担なく適用できる光量でのハイパースペクトラル分光がこれまで実現されておらず、それが可能な装置は未だ実現されていない。 Hyperspectral imaging is a notable technology that can also acquire spectroscopic images of the fundus, but the amount of light in the acquired spectroscopic image varies greatly for each wavelength, making accurate analysis difficult. It was. In addition, hyperspectral spectroscopy with a light quantity that can be applied without burden on humans has not been realized so far, and an apparatus capable of doing so has not yet been realized.
主な分光用のデバイスとしては、回折格子、プリズム、エタロン、フィルタなどが挙げられる。従来、可変波長の分光測定では回折格子、プリズムを使用することが多かったが、最近、液晶波長可変フィルタが登場して、分光画像が任意の波長でとれるようになり、容易に分光画像計測が可能になった。液晶波長可変フィルタは、基本的には平行平面板であるため、光学系に組み込むことが簡単で、しかも光学性能を維持しやすい。このため、顕微鏡を使用した分光画像取得などで利用されることも多く、また、分光画像を取得して、それを合成して自然画像を作成する研究などでも使われている。 Main spectroscopic devices include a diffraction grating, a prism, an etalon, and a filter. Conventionally, diffraction gratings and prisms were often used for variable wavelength spectroscopic measurement, but recently, a liquid crystal wavelength tunable filter has appeared, and spectral images can be taken at any wavelength, making it easy to perform spectroscopic image measurement. It became possible. Since the liquid crystal wavelength tunable filter is basically a plane-parallel plate, it can be easily incorporated into an optical system, and the optical performance can be easily maintained. For this reason, it is often used for spectral image acquisition using a microscope, and is also used in research for acquiring a spectral image and synthesizing it to create a natural image.
しかしながら、液晶波長可変フィルタの波長可変時間、カメラの露光時間などの制約により、波長範囲510nmから720nmまで10nm毎に撮影するには、約20秒の時間がかかる。この間、眼と装置のアライメントが変化するため、各分光画像間には撮像された同一部位に位置ずれが生じるという問題があった。 However, it takes about 20 seconds to photograph every 10 nm from the wavelength range of 510 nm to 720 nm due to restrictions such as the wavelength variable time of the liquid crystal wavelength variable filter and the exposure time of the camera. During this time, since the alignment between the eye and the apparatus changes, there is a problem in that a positional shift occurs in the same imaged portion between the spectral images.
本発明は、時間変化による眼と装置のアライメントの変化が生じても、各分光画像間の同一部位の位置ずれを解消できる分光眼底画像データ測定装置及び測定方法を提供することを目的とする。 An object of the present invention is to provide a spectral fundus image data measurement apparatus and measurement method capable of eliminating the positional shift of the same part between the respective spectral images even when the alignment of the eye and the apparatus changes due to a change in time.
さらに、本発明は、画像相関を使ったプログラムによりほぼ全自動で画像位置の補正ができ、分光画像間の比較や網膜上の特徴点の分光特性の表示を自動化できる分光眼底画像データ測定装置及び測定方法を提供することを目的とする。 Furthermore, the present invention provides a spectral fundus image data measuring apparatus capable of correcting image positions almost automatically by a program using image correlation and automating comparison between spectral images and displaying spectral characteristics of feature points on the retina and An object is to provide a measurement method.
上記課題を解決するために、請求項1に記載の分光眼底画像データ測定装置1は、例えば図1に示すように、被検眼Eの眼底Fを照明する照明光学系10と、照明された眼底Fからの反射光束を受光して、撮像部4の受光面に眼底像を形成する受光光学系20と、受光面からの信号に基づき異なる時間に取得した複数の眼底画像原データ同士を比較照合して画像の位置補正を行ない、位置補正された一連の眼底画像データを生成するデータ測定部7とを備える。 In order to solve the above problem, a spectral fundus image data measuring apparatus 1 according to claim 1 includes an illumination optical system 10 that illuminates the fundus F of the eye E and an illuminated fundus as shown in FIG. The light receiving optical system 20 that receives the reflected light beam from F and forms a fundus image on the light receiving surface of the imaging unit 4 and a plurality of fundus image original data acquired at different times based on signals from the light receiving surface are compared and collated And a data measuring unit 7 that corrects the position of the image and generates a series of fundus image data corrected in position.
ここにおいて、受光面はCCDが望ましいが、CMOSでも良い。このように構成すると、時間変化による眼と装置のアライメントの変化を補正して、各分光画像間の同一部位の位置ずれを解消できる。 Here, the light receiving surface is preferably a CCD, but may be a CMOS. If comprised in this way, the change of the alignment of the eye and apparatus by a time change will be correct | amended, and the position shift of the same site | part between each spectral image can be eliminated.
また、請求項2に記載の発明は、例えば図13に示すように、請求項1に記載の分光眼底画像データ測定装置1において、画像の位置補正は、複数の分光眼底画像原データ同士で、特徴点を選択して相関処理及びアフィン変換又はヘルマート変換を用いて位置合わせを行う。
ここにおいて特徴点は線状の場合もある。このように構成すると、時間変化による眼と装置のアライメントの変化の補正を高精度にできる。また、画像相関を使ったプログラムによりほぼ全自動で補正が可能になる。
Further, in the spectral fundus image data measuring apparatus 1 according to claim 1, for example, as shown in FIG. 13, the position correction of the image is performed between a plurality of spectral fundus image original data. A feature point is selected and alignment is performed using correlation processing and affine transformation or Helmart transformation.
Here, the feature points may be linear. If comprised in this way, the correction | amendment of the change of the alignment of the eye and an apparatus by a time change can be performed with high precision. In addition, correction can be performed almost automatically by a program using image correlation.
また、請求項3に記載の発明は、請求項1又は請求項2に記載の分光眼底画像データ測定装置1において、例えば図1に示すように、照明光学系10は、所定の波長範囲の光束を発光する照明用光源11を有し、照明光学系10又は受光光学系20のいずれかに配置され、所定の波長範囲で透過光束の波長を選択可能である波長可変フィルタ32を備え、データ測定部7は、複数の眼底画像原データを、波長可変フィルタ32の透過光束の波長を変化させることにより取得する。
このように構成すると、時間変化による眼と装置のアライメントの変化を補正して、各分光画像間の同一部位の位置ずれを解消できる。また、波長可変フィルタを使用することにより、分光画像を任意の波長で取得でき、眼底画像についても分光画像計測が可能になる。また、分光特性補正フィルタを採用することにより、被検者の眼にやさしいとともに、受光光度の周波数による変動を補正して、良好な分光特性をえることができる。
Further, according to a third aspect of the present invention, in the spectral fundus image data measuring apparatus 1 according to the first or second aspect, for example, as shown in FIG. 1, the illumination optical system 10 has a luminous flux in a predetermined wavelength range. Illuminating light source 11, and disposed in either illumination optical system 10 or light receiving optical system 20, and equipped with a tunable filter 32 capable of selecting the wavelength of the transmitted light beam in a predetermined wavelength range, and performing data measurement The unit 7 acquires a plurality of original fundus image data by changing the wavelength of the transmitted light beam of the wavelength tunable filter 32.
If comprised in this way, the change of the alignment of the eye and apparatus by a time change will be correct | amended, and the position shift of the same site | part between each spectral image can be eliminated. Further, by using a wavelength tunable filter, a spectral image can be acquired at an arbitrary wavelength, and spectral image measurement can be performed for a fundus image. In addition, by adopting the spectral characteristic correction filter, it is easy for the subject's eyes and corrects the variation due to the frequency of the received light intensity to obtain good spectral characteristics.
また、請求項4に記載の発明は、請求項3に記載の分光眼底画像データ測定装置1において、例えば図1に示すように、照明光学系10又は受光光学系20のいずれかに配置され、照明用光源11の発光光度の波長特性及び波長可変フィルタ32の透過波長特性を補正し、受光面での受光光度を所定の範囲に収めるような波長特性を有する分光特性補正フィルタ13を備える。
このように構成すると、分光特性補正フィルタを照明光学系に配置することにより、比較的均一かつ少ない光量の光で被検眼を照明でき、被検者の眼にやさしい測定ができる。また、波長可変フィルタを受光光学系に配置することにより、眼に入る光の色変化と光量の変化を少なくできる。
Further, the invention according to claim 4 is arranged in either the illumination optical system 10 or the light receiving optical system 20 in the spectral fundus image data measuring apparatus 1 according to claim 3, for example as shown in FIG. A spectral characteristic correction filter 13 having a wavelength characteristic that corrects the wavelength characteristic of the luminous intensity of the illumination light source 11 and the transmission wavelength characteristic of the wavelength variable filter 32 and keeps the received light intensity on the light receiving surface within a predetermined range is provided.
If comprised in this way, by arrange | positioning a spectral characteristic correction filter in an illumination optical system, a to-be-examined eye can be illuminated with the light of a comparatively uniform and few light quantity, and a measurement kind to a subject's eyes can be performed. Further, by arranging the wavelength tunable filter in the light receiving optical system, it is possible to reduce the color change and the light quantity change of the light entering the eye.
また、請求項5に記載の発明は、請求項3又は請求項4に記載の分光眼底画像データ測定装置1において、波長可変フィルタ32における選択される波長の変化量を、閾値以下に設定可能であり、データ測定部7は、波長が閾値以下の変化量分異なる眼底画像原データ同士を比較照合しながら画像の位置補正を行う。
このように構成すると、波長変化量が小さい場合には光眼底画像原データの光度の変化が少なく、2つの眼底画像原データ同士の同一部分の対応を付けやすいので、位置補正を容易に行なうことができる。したがって、波長変化量を上記のように制限することにより、位置補正が容易かつ、高精度で可能になり、多数の画像に順次適用していくことにより、画像位置が高精度に一致する一連の眼底画像データを取得できる。
Further, in the spectral fundus image data measuring apparatus 1 according to the third or fourth aspect, the change amount of the selected wavelength in the wavelength tunable filter 32 can be set to be equal to or less than the threshold value. The data measuring unit 7 corrects the position of the image while comparing and collating original fundus image data different in wavelength by a change amount equal to or less than a threshold value.
With this configuration, when the amount of wavelength change is small, the light intensity of the light fundus image original data is small, and the same part of the two fundus image original data can be easily associated with each other, so that position correction can be easily performed. Can do. Therefore, by limiting the amount of wavelength change as described above, position correction can be performed easily and with high accuracy, and by sequentially applying to a large number of images, a series of images where the image positions match with high accuracy. Fundus image data can be acquired.
また、請求項6に記載の発明は、請求項5に記載の分光眼底画像データ測定装置1において、所定の波長範囲が540〜610nmであり、閾値以下の変化量が10nmである。
このように構成すると、網膜内物質の分光分析に有用なデータを提供できる。
According to a sixth aspect of the present invention, in the spectral fundus image data measuring apparatus 1 according to the fifth aspect, the predetermined wavelength range is 540 to 610 nm, and the amount of change below the threshold is 10 nm.
If comprised in this way, data useful for the spectroscopic analysis of the substance in a retina can be provided.
また、請求項7に記載の発明は、請求項3乃至請求項6のいずれか1項に記載の分光眼底画像データ測定装置1において、波長可変フィルタ32が液晶波長可変フィルタである。
このように構成すると、液晶波長可変フィルタを用いて可視光領域で任意の波長を容易に選択できる。
According to a seventh aspect of the present invention, in the spectral fundus image data measuring apparatus 1 according to any one of the third to sixth aspects, the wavelength variable filter 32 is a liquid crystal wavelength variable filter.
If comprised in this way, arbitrary wavelengths can be easily selected in visible region using a liquid crystal wavelength variable filter.
また、請求項8に記載の発明は、請求項2乃至請求項7のいずれか1項に記載の分光眼底画像データ測定装置1において、データ測定部7は、短波長側では血管部分を、長波長側では、脈絡膜血管部分を前記特徴点として選択し、前記画像の位置補正を行う。
このように構成すると、位置補正の基準となる特徴点を比較的容易に判別でき、高精度の位置補正が可能になる。
The invention according to claim 8 is the spectral fundus image data measurement apparatus 1 according to any one of claims 2 to 7, wherein the data measurement unit 7 is configured such that the blood vessel portion is long on the short wavelength side. On the wavelength side, the choroidal blood vessel portion is selected as the feature point, and the position of the image is corrected.
If comprised in this way, the feature point used as the reference | standard of position correction can be discriminate | determined comparatively easily, and a highly accurate position correction will be attained.
また、請求項9に記載の発明は、請求項3乃至請求項8のいずれか1項に記載の分光眼底画像データ測定装置1において、データ測定部7は、動脈、静脈の受光光度と光学濃度(Optical Density 本明細書において以下ODともいう。)の算出が可能である。
このように構成すると、ODデータを介して、網膜内物質の分光分析に有用なデータを提供できる。
The invention according to claim 9 is the spectral fundus image data measuring apparatus 1 according to any one of claims 3 to 8, wherein the data measuring unit 7 includes the received light intensity and optical density of arteries and veins. (Optical Density is also referred to as OD in this specification).
If comprised in this way, data useful for the spectroscopic analysis of the substance in a retina can be provided via OD data.
また、請求項10に記載の発明は、請求項9に記載の分光眼底画像データ測定装置1において、データ測定部7は、前記動脈、静脈の強度を算出した部位の血管の径により補正を行い、網膜上の各位置でのOD算出し、動脈、静脈のODの分光分布を基に各位置でのODの因子分析を行い、酸化ヘモグロビンの各位置での割合を算出し、酸化ヘモグロビンの割合をマップ化する。
このように構成すると、酸素飽和度の解析の自動化が可能になる。
According to a tenth aspect of the present invention, in the spectroscopic fundus image data measurement apparatus 1 according to the ninth aspect, the data measurement unit 7 performs correction based on the diameter of the blood vessel at the site where the strength of the artery and vein is calculated. Calculate the OD at each position on the retina, perform factor analysis of OD at each position based on the spectral distribution of OD of arteries and veins, calculate the ratio of oxyhemoglobin at each position, and calculate the ratio of oxyhemoglobin To map.
With this configuration, it becomes possible to automate the analysis of the oxygen saturation.
上記課題を解決するために、請求項11に記載の分光眼底画像データ測定方法は、例えば図10に示すように、所定の波長範囲の光束を発光する照明用光源11からの光束により動物の被検眼Eの眼底Fを照明する工程(S001)と、眼底Fからの反射光束を受光して、撮像部4の受光面に動物の眼底像を形成する工程(S002)と、所定の波長範囲で透過光束の波長を選択可能な液晶波長可変フィルタ32を照明光学系10又は受光光学系20のいずれかに配置し、液晶波長可変フィルタ32の透過光束の波長を変化させて、受光面からの信号に基づき分光眼底画像原データを取得する工程(S003)と、データ測定部7において、波長が閾値以下の変化量分異なる分光眼底画像原データ同士を比較照合して画像の位置補正を行い、所定の波長範囲における一連の分光眼底画像データを生成する工程(S004)とを備える。 In order to solve the above-mentioned problem, a spectral fundus image data measurement method according to an eleventh aspect of the present invention includes, as shown in FIG. 10, for example, an animal subject by a light beam from an illumination light source 11 that emits a light beam in a predetermined wavelength range. A step of illuminating the fundus F of the optometry E (S001), a step of receiving a reflected light beam from the fundus F and forming a fundus image of the animal on the light receiving surface of the imaging unit 4 (S002), and a predetermined wavelength range A liquid crystal wavelength tunable filter 32 capable of selecting the wavelength of the transmitted light beam is arranged in either the illumination optical system 10 or the light receiving optical system 20, and the signal from the light receiving surface is changed by changing the wavelength of the transmitted light beam of the liquid crystal wavelength tunable filter 32. Step (S003) for acquiring spectral fundus image original data based on the above, and in the data measurement unit 7, the spectral fundus image original data different in wavelength by a change amount equal to or less than a threshold value are compared and collated to perform image position correction. And a step (S004) for generating a sequence of spectral fundus image data in the wavelength range of the constant.
このように構成すると、時間変化による眼と装置のアライメントの変化を補正して、各分光画像間の同一部位の位置ずれを解消できる。また、液晶波長可変フィルタを使用することにより、分光画像を任意の波長で取得でき、眼底画像についても分光画像計測が可能になる。また、分光特性補正フィルタを採用することにより、被検者の眼にやさしいとともに、受光光度の周波数による変動を補正して、良好な分光特性をえることができる。 If comprised in this way, the change of the alignment of the eye and apparatus by a time change will be correct | amended, and the position shift of the same site | part between each spectral image can be eliminated. Further, by using the liquid crystal wavelength tunable filter, a spectral image can be acquired at an arbitrary wavelength, and spectral image measurement can be performed for a fundus image. In addition, by adopting the spectral characteristic correction filter, it is easy for the subject's eyes and corrects the variation due to the frequency of the received light intensity to obtain good spectral characteristics.
また、請求項12に記載の発明は、請求項11に記載の分光眼底画像データ測定方法において、画像の位置補正を行なうに際し、分光眼底画像原データのうち波長が最も低い原データを基準画像に、波長が2番目に低い原データを補正前画像として位置補正を行ない、次に、補正された補正前画像を新たな基準画像に、波長が3番目に低い原データを補正前画像として位置補正を行ない、以下、波長の低い方から波長の高い方へと順次位置補正を行なう、又は、分光眼底画像原データのうち波長が最も高い原データを基準画像に、波長が2番目に高い原データを補正前画像として位置補正を行ない、次に、補正された補正前画像を新たな基準画像に、波長が3番目に高い原データを補正前画像として位置補正を行ない、以下、波長の高い方から波長の低い方へと順次位置補正を行なう。 According to a twelfth aspect of the present invention, in the spectral fundus image data measuring method according to the eleventh aspect, when the position correction of the image is performed, the original data having the lowest wavelength among the spectral fundus image original data is used as the reference image. , Position correction is performed using the original data with the second lowest wavelength as the pre-correction image, and then the position correction is performed with the corrected pre-correction image as the new reference image and the original data with the third lowest wavelength as the pre-correction image. In the following, position correction is performed sequentially from the lower wavelength to the higher wavelength, or the original data with the highest wavelength among the spectral fundus image original data is used as the reference image and the original data with the second highest wavelength. Is then corrected using the corrected pre-correction image as the new reference image and the original data with the third highest wavelength as the pre-correction image. Or Performing sequential position corrected to lower wavelengths.
ここにおいて、測定波長域の中央値付近の画像を基準にして、波長が次に高い原データを補正前画像として位置補正を行ない、次に、補正された補正前画像を新たな基準画像にして、波長がその次に高い原データを補正前画像として位置補正を行ない、以下、波長の低い方から波長の高い方へと順次位置補正を行ない、最大波長まで行った後に、再び測定波長域の中央値付近の画像を基準にして、波長が次に低い原データを補正前画像として位置補正を行ない、次に、補正された補正前画像を新たな基準画像にして、波長がその次に低い原データを補正前画像として位置補正を行ない、以下、波長の高い方から波長の低い方へと順次位置補正を行なう場合については、2つの波長範囲に分けて上記方法を実施することになる。また、先に中央値付近の波長から波長の高い方へと順次位置補正を行ない、後に中央値付近の波長から波長の高い方へと順次位置補正を行なう場合も同様である。
このように構成すると、波長変化量が小さい場合には光眼底画像原データの光度の変化が少なく、2つの眼底画像原データ同士の同一部分の対応を付けやすいので、位置補正を容易に行なうことができる。したがって、波長変化量を小さくして、順次位置補正を行なうことにより、画像位置が高精度に一致する一連の眼底画像データを取得できる。
Here, with reference to an image near the median value of the measurement wavelength range, position correction is performed using the next highest wavelength original data as an uncorrected image, and then the corrected uncorrected image is used as a new reference image. , Position correction is performed using the original data with the next highest wavelength as the pre-correction image.Hereafter, position correction is performed sequentially from the lower wavelength to the higher wavelength. Using the image near the median as a reference, position correction is performed using the original data with the next lowest wavelength as the pre-correction image, and then the corrected pre-correction image is used as a new reference image, and the wavelength is the next lowest. In the case where the position correction is performed using the original data as the pre-correction image, and the position correction is performed sequentially from the higher wavelength to the lower wavelength, the above method is performed separately for two wavelength ranges. The same applies to the case where the position correction is performed sequentially from the wavelength near the median to the higher wavelength first, and the position correction is performed sequentially from the wavelength near the median to the higher wavelength.
With this configuration, when the amount of wavelength change is small, the light intensity of the light fundus image original data is small, and the same part of the two fundus image original data can be easily associated with each other, so that position correction can be easily performed. Can do. Therefore, a series of fundus image data in which the image positions match with high accuracy can be acquired by reducing the wavelength change amount and sequentially performing position correction.
また、請求項13に記載の発明は、請求項11又は請求項12に記載の分光眼底画像データ測定方法において、例えば図18に示すように、所定の波長範囲を540〜610nm、液晶波長可変フィルタ32における選択される波長の変化量を10nmとして、分光眼底画像原データ画像を取得し(S502)、画像の位置補正は、波長が閾値以下の変化量分異なる分光眼底画像原データ同士で、特徴点を選択して相関処理及びアフィン変換又はヘルマート変換を用いて位置合わせを行い(S503)、特徴点として、動脈、静脈を選択し、動脈、静脈の受光強度とODを算出し(S505)、動脈、静脈の強度を算出した部位の血管の径により補正を行い(S506)、網膜上の各位置でのODを算出し(S507)、動脈、静脈のODの分光分布を基に網膜上の各位置でのODの因子分析を行い(S508)、酸化ヘモグロビンの網膜上の各位置での割合を算出し、分光眼底画像における酸化ヘモグロビンの割合をマップ化する(S509)。
このように構成すると、網膜内物質の分光分析に有用なデータを提供でき、酸素飽和度の解析の自動化が可能になる。
The invention according to claim 13 is the spectral fundus image data measurement method according to claim 11 or claim 12, wherein, for example, as shown in FIG. 18, the predetermined wavelength range is 540 to 610 nm, and the liquid crystal wavelength tunable filter is used. Spectral fundus image original data image is acquired by setting the change amount of the selected wavelength in 32 to 10 nm (S502), and the position correction of the image is performed between the spectral fundus image original data different in the change amount of the wavelength equal to or less than the threshold value. A point is selected and alignment is performed using correlation processing and affine transformation or Helmat transformation (S503), and arteries and veins are selected as feature points, and the received light intensity and OD of the arteries and veins are calculated (S505). Correction is performed based on the diameter of the blood vessel at the site where the strength of the artery and vein is calculated (S506), and the OD at each position on the retina is calculated (S507). Factor analysis of OD at each position on the retina is performed based on the light distribution (S508), the ratio of oxyhemoglobin at each position on the retina is calculated, and the ratio of oxyhemoglobin in the spectral fundus image is mapped ( S509).
If comprised in this way, data useful for the spectroscopic analysis of the substance in a retina can be provided, and the analysis of oxygen saturation can be automated.
本発明によれば、時間変化による眼と装置のアライメントの変化を補正して、各分光画像間の同一部位の位置ずれを解消できる分光眼底画像データ測定装置及び測定方法を提供できる。 According to the present invention, it is possible to provide a spectral fundus image data measurement device and a measurement method that can correct a change in alignment between the eye and the device due to a change in time and eliminate a positional shift of the same part between the spectral images.
さらに、本発明によれば、画像相関を使ったプログラムによりほぼ全自動で画像位置の補正ができ、分光画像間の比較や網膜上の特徴点の分光特性の表示を自動化できる分光眼底画像データ測定装置及び測定方法を提供できる。 Furthermore, according to the present invention, spectral fundus image data measurement can be performed almost completely automatically by a program using image correlation, and comparison between spectral images and display of spectral characteristics of feature points on the retina can be automated. An apparatus and a measurement method can be provided.
以下、図面に基き本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1に、本発明の実施の形態における分光眼底画像データ測定装置1の光学系概要例を示す。図において、分光眼底画像データ測定装置1は、眼底カメラ部2、トップハウジング部3、データ測定部7、制御部8に大別される。眼底カメラ部2は、被検眼Eの眼底Fを照明するための照明光学系10、眼底Fからの反射光束を受光して撮像部4の受光面に眼底像を形成する受光光学系20の前段部、検眼者が眼底Fを観察するファインダー光学系60等を備える。トップハウジング部3は、分光眼底画像を撮像する撮像部4と、照射光の眼底Fへの照射位置をアライメントするためのアライメント光学系50(ただし、光源51は眼底カメラ部2に設けられる)と、眼底カメラ部2から受光した反射光束を整波してカメラリレー部6に導くリレー光学系5と、リレー光学系5経由後の反射光束を撮像部4等の各種受光手段に伝達するカメラリレー部6とから構成され、リレー光学系5、カメラリレー部6、撮像部4とにわたる受光光学系20の後段部を備える。また、カメラリレー部6の上部の拡張部9はモニタTVやハードコピー等の各種受光手段を受光光学系20に接続して拡張的に使用できる部分である。 FIG. 1 shows a schematic example of an optical system of a spectral fundus image data measuring apparatus 1 according to an embodiment of the present invention. In the figure, the spectral fundus image data measuring device 1 is roughly divided into a fundus camera unit 2, a top housing unit 3, a data measuring unit 7, and a control unit 8. The fundus camera unit 2 is a front stage of an illumination optical system 10 for illuminating the fundus F of the eye E to be examined, and a light receiving optical system 20 that receives a reflected light beam from the fundus F and forms a fundus image on the light receiving surface of the imaging unit 4. And a viewfinder optical system 60 for observing the fundus F by the examiner. The top housing unit 3 includes an imaging unit 4 that captures a spectral fundus image, an alignment optical system 50 for aligning the irradiation position of the irradiation light onto the fundus F (the light source 51 is provided in the fundus camera unit 2), and The relay optical system 5 that tunes the reflected light beam received from the fundus camera unit 2 and guides it to the camera relay unit 6, and the camera relay that transmits the reflected light beam after passing through the relay optical system 5 to various light receiving means such as the imaging unit 4. And a rear stage portion of the light receiving optical system 20 extending from the relay optical system 5, the camera relay unit 6, and the imaging unit 4. An extension unit 9 at the top of the camera relay unit 6 is a part that can be used in an expanded manner by connecting various light receiving means such as a monitor TV and a hard copy to the light receiving optical system 20.
眼底カメラ部2において、照明光学系10は、照明光源としてのハロゲンランプ11、コンデンサーレンズ12、分光特性補正フィルタ13、絞り板14、反射鏡15、リレーレンズ16、ビームスプリッター41を照射光軸上に順次配置してなる。ここで、ハロゲンランプ11は、広範な波長範囲の光束を発光し、コンデンサーレンズ12の前側焦点位置付近に配置されている。また、絞り板14はビームスプリッター41と共役となるように配置されている。 In the fundus camera unit 2, the illumination optical system 10 includes a halogen lamp 11 as an illumination light source, a condenser lens 12, a spectral characteristic correction filter 13, a diaphragm plate 14, a reflector 15, a relay lens 16, and a beam splitter 41 on the irradiation optical axis. Are arranged sequentially. Here, the halogen lamp 11 emits a light beam in a wide wavelength range and is disposed near the front focal position of the condenser lens 12. The diaphragm plate 14 is arranged so as to be conjugate with the beam splitter 41.
照明光学系10は、さらに、ビームスプリッター41からの反射光束を対物レンズ42を通して被検眼Eの眼底Fを照明する。このビームスプリッター41と被検眼Eの間は、照明光学系10と受光光学系20との共通光学系40をなしている。
受光光学系20は、眼底カメラ部2内において、被検眼Eを通る反射光軸上に、対物レンズ42、ビームスプリッター41、アイリス絞り板21、合焦レンズ22、結像レンズ23、反射鏡24、切り替えミラー25を順次配置してなり、トップハウジング部3の受光光学系に接続される。アイリス絞り板21は被検眼Eの前眼部と共役な位置に配置されている。分光画像取得時は切り替えミラー25は例えばソレノイドのようにして光路から取り除かれる。
The illumination optical system 10 further illuminates the fundus F of the eye E through the objective lens 42 with the reflected light beam from the beam splitter 41. A common optical system 40 of the illumination optical system 10 and the light receiving optical system 20 is formed between the beam splitter 41 and the eye E to be examined.
The light receiving optical system 20 includes an objective lens 42, a beam splitter 41, an iris diaphragm plate 21, a focusing lens 22, an imaging lens 23, and a reflecting mirror 24 on the reflection optical axis passing through the eye E within the fundus camera unit 2. The switching mirror 25 is sequentially arranged and connected to the light receiving optical system of the top housing portion 3. The iris diaphragm plate 21 is disposed at a position conjugate with the anterior segment of the eye E. When acquiring the spectral image, the switching mirror 25 is removed from the optical path like a solenoid, for example.
アライメント光学系50は、照射光の眼底Fへの照射位置をアライメントするためのものであり、ダイクロイックミラー52、結像レンズ53、モニタ用カメラ54を有し、アライメント光源51(眼底カメラ部2に設けられる)からの光を眼へ投影したときの反射光を見る。アライメント光源51の波長は、近赤外(例えば940nm)とすることで、可視域での分光画像に影響を与えることなく分光画像取得中もアライメントが行える。ダイクロイックミラー52は、可視光(例えば750nm以下)を透過し、長波長側を反射させる。ダイクロイックミラー52を切り替えミラーにして分光画像取得時以外は例えばソレノイドのようにして光路から取り除くことにより拡張部でのカラー眼底観察が可能となる。モニタ用カメラ54には例えばCCDカメラを使用できる。ファインダー光学系60は、検眼者が眼底Fを肉眼で観察するためのものである。 The alignment optical system 50 is for aligning the irradiation position of the irradiation light onto the fundus F, and includes a dichroic mirror 52, an imaging lens 53, and a monitor camera 54, and includes an alignment light source 51 (on the fundus camera unit 2). See the reflected light when the light from (provided) is projected onto the eye. By setting the wavelength of the alignment light source 51 to near infrared (for example, 940 nm), alignment can be performed even during acquisition of a spectral image without affecting the spectral image in the visible region. The dichroic mirror 52 transmits visible light (for example, 750 nm or less) and reflects the long wavelength side. By using the dichroic mirror 52 as a switching mirror and removing it from the optical path, for example, as a solenoid, except for when a spectral image is acquired, color fundus observation can be performed at the extended portion. As the monitor camera 54, for example, a CCD camera can be used. The viewfinder optical system 60 is used by the eye examiner to observe the fundus F with the naked eye.
トップハウジング部3において、受光光学系20は、被検眼Eからの反射光軸上にリレー光学系5が配置され、リレー光学系5により眼底Fから反射光束がカメラリレー部6に導入される。カメラリレー部6内では、反射光軸上にダイクロイックミラー31が配置され、ダイクロイックミラー31は、可視光(例えば750nm以下)を反射し、長波長側を透過させる。ダイクロイックミラー31からの反射光束は撮像部4に導かれる。撮像部4では、ダイクロイックミラー31からの反射光軸上に、液晶波長可変フィルタ32、結像レンズ33、受光面を有するCCDカメラ34が配置されている。また、受光面は眼底像が形成されるように、被検眼Eの眼底Fと共役となるように配置されている。結像レンズ33は液晶波長可変フィルタ32からの射出光をCCDカメラにリレーするためのレンズである。液晶波長可変フィルタ32を用いると、可視光領域で任意の波長を容易に選択できるので、分光特性の解析が容易になる。 In the top housing portion 3, the light receiving optical system 20 has the relay optical system 5 disposed on the reflection optical axis from the eye E, and a reflected light beam is introduced from the fundus F into the camera relay portion 6 by the relay optical system 5. In the camera relay unit 6, a dichroic mirror 31 is disposed on the reflection optical axis, and the dichroic mirror 31 reflects visible light (for example, 750 nm or less) and transmits the long wavelength side. The reflected light beam from the dichroic mirror 31 is guided to the imaging unit 4. In the imaging unit 4, a liquid crystal wavelength tunable filter 32, an imaging lens 33, and a CCD camera 34 having a light receiving surface are arranged on the reflected optical axis from the dichroic mirror 31. In addition, the light receiving surface is disposed so as to be conjugate with the fundus F of the eye E so that a fundus image is formed. The imaging lens 33 is a lens for relaying light emitted from the liquid crystal wavelength tunable filter 32 to the CCD camera. If the liquid crystal wavelength tunable filter 32 is used, an arbitrary wavelength can be easily selected in the visible light region, so that the spectral characteristics can be easily analyzed.
データ測定部7は、CCDカメラ34の受光面からの信号に基づき分光眼底画像データを取得するデータ取得部71、画像位置合わせを行なう画像補正部72、さらに、分光網膜画像解析を行なう画像解析部73、酸化ヘモグロビンの割合等をマップ化するマップ作成部74を有し、画像位置合わせフロー、分光網膜画像解析フローのプログラムを格納する。画像解析部73は、動脈、静脈の強度を算出した部位の血管の径により補正を行い、網膜上の各位置でのODを算出し、動脈、静脈のODの分光分布を基に網膜上の各位置でのODの因子分析を行い、酸化ヘモグロビンの網膜上の各位置での割合を算出する。 The data measurement unit 7 includes a data acquisition unit 71 that acquires spectral fundus image data based on a signal from the light receiving surface of the CCD camera 34, an image correction unit 72 that performs image alignment, and an image analysis unit that performs spectral retinal image analysis. 73, a map creation unit 74 that maps the ratio of oxyhemoglobin and the like, and stores programs for an image alignment flow and a spectral retinal image analysis flow. The image analysis unit 73 performs correction based on the blood vessel diameter of the site where the strength of the artery and vein is calculated, calculates the OD at each position on the retina, and based on the spectral distribution of the OD of the artery and vein on the retina Factor analysis of OD at each position is performed, and the ratio of oxyhemoglobin at each position on the retina is calculated.
制御部8は、分光眼底画像データを測定するために、眼底カメラ部2、トップハウジング部3、データ測定部7の動作、データや信号の流れ等、分光眼底画像データ測定装置1全体を制御する。また、CCDカメラの露光を制御する露光制御部81、液晶波長可変フィルタの波長等を制御する波長制御部82を有し、分光眼底像取得フロー、CCDカメラ露光時間設定フローのプログラムを格納する。なお、制御部8は通常のパーソナルコンピュータで実現できる。 In order to measure spectral fundus image data, the control unit 8 controls the entire spectral fundus image data measurement apparatus 1, such as the operation of the fundus camera unit 2, the top housing unit 3, and the data measurement unit 7 and the flow of data and signals. . Further, it has an exposure control unit 81 for controlling the exposure of the CCD camera and a wavelength control unit 82 for controlling the wavelength of the liquid crystal wavelength tunable filter and the like, and stores programs for the spectral fundus image acquisition flow and the CCD camera exposure time setting flow. The control unit 8 can be realized by a normal personal computer.
次に、本実施の形態における分光眼底画像データ測定装置の光学系の分光特性について説明する。分光特性の解析には、主に波長領域430〜950nmが使用され、この範囲でできるだけ均一な分光特性が望まれる。分光特性に大きく影響を与える要因としてはCCDカメラ34、液晶波長可変フィルタ32、ハロゲンランプ11と考えられる。以下に各デバイスの分光特性を説明する。 Next, spectral characteristics of the optical system of the spectral fundus image data measurement apparatus according to the present embodiment will be described. For analysis of spectral characteristics, a wavelength region of 430 to 950 nm is mainly used, and spectral characteristics that are as uniform as possible within this range are desired. Factors that greatly affect the spectral characteristics are considered to be the CCD camera 34, the liquid crystal wavelength tunable filter 32, and the halogen lamp 11. The spectral characteristics of each device will be described below.
分光方式として分散型分光方式を採用した。分散型以外の分光方式としてはフーリエ分光型が挙げられるが、干渉方式を使用するフーリエ分光型では網膜の画像のノイズが懸念され、分散型分光方式を採用した。なお、フーリエ分光型は瞬間分光が可能であり、光量的にも有利なことがあるので、これを採用しても良い。 A dispersive spectroscopic method was adopted as the spectroscopic method. As a spectral system other than the dispersion type, the Fourier spectroscopic type can be mentioned. However, the Fourier spectroscopic type using the interference method is concerned with the noise of the image of the retina, and the dispersive spectroscopic method is adopted. The Fourier spectroscopic type is capable of instantaneous spectroscopy and may be advantageous in terms of the amount of light.
照明光源11としてハロゲンランプを使用したのは、可視光領域から近赤外領域を含む広範な波長範囲の光を発光し、また、分光を時系列で行うのに10秒程度の連続点灯が必要なためと、CCDの進歩によりフラッシュを使用しなくても画像が取得できるようになったためである。 The use of a halogen lamp as the illumination light source 11 emits light in a wide wavelength range including the visible light region to the near infrared region, and continuous lighting for about 10 seconds is necessary to perform spectroscopy in time series. This is because an image can be acquired without using a flash due to the advance of CCD.
図2に照明光源11としてのハロゲンランプの分光特性の例を示す。横軸に波長(μm)を、縦軸に相対強度(%)を示す。色温度2200〜3400°Kでの分光特性を、3000°Kでの最大強度を100%として示した。図より、ハロゲンランプの照射光は可視光から赤外線領域にわたる波長範囲を連続的にカバーしているので分光分析に有用であり、照明光源11の強度は可視光線領域では波長の増加と共に単調に増加している。 FIG. 2 shows an example of spectral characteristics of a halogen lamp as the illumination light source 11. The horizontal axis represents wavelength (μm), and the vertical axis represents relative intensity (%). The spectral characteristics at a color temperature of 2200 to 3400 ° K. are shown with the maximum intensity at 3000 ° K being 100%. From the figure, the irradiation light of the halogen lamp continuously covers the wavelength range from the visible light to the infrared region, which is useful for spectroscopic analysis, and the intensity of the illumination light source 11 increases monotonously with the increase of the wavelength in the visible light region. is doing.
図3にCCDカメラ34の分光感度特性の例を示す。横軸に波長(nm)を、縦軸に量子効率(%)を示す。CCDカメラ34は可視光から近赤外領域まで幅広い波長に感度があり、例えば130万画素(1344×1024)の高精細画像を得られ、高速(約8フレーム/秒)、低ノイズの読み出しが可能である。450〜600nmにほぼ均一な感度の山があり、その両側で感度が減少している。 FIG. 3 shows an example of the spectral sensitivity characteristic of the CCD camera 34. The horizontal axis represents wavelength (nm) and the vertical axis represents quantum efficiency (%). The CCD camera 34 is sensitive to a wide range of wavelengths from visible light to the near infrared region. For example, a high-definition image of 1.3 million pixels (1344 × 1024) can be obtained, and high-speed (about 8 frames / second) and low-noise readout are possible. Is possible. There is a substantially uniform sensitivity peak at 450 to 600 nm, and the sensitivity decreases on both sides.
図4に液晶波長可変フィルタ32のバンドパス特性の例を示す。横軸に波長(nm)を、縦軸に透過率(%)を示す。液晶波長可変フィルタ32は、液晶への印加電圧を変化させることにより、透過波長を400〜720nmの範囲で選択可能である。図には、透過中心波長を10nmずつ変化させたときの透過光の変化の様子を示す。透過光の波長幅は約20nmであり、透過光量のピーク値は波長の増加に伴い、ほぼ単調に増加している。 FIG. 4 shows an example of bandpass characteristics of the liquid crystal wavelength tunable filter 32. The horizontal axis represents wavelength (nm), and the vertical axis represents transmittance (%). The liquid crystal wavelength tunable filter 32 can select the transmission wavelength in the range of 400 to 720 nm by changing the voltage applied to the liquid crystal. The figure shows how the transmitted light changes when the transmission center wavelength is changed by 10 nm. The wavelength width of the transmitted light is about 20 nm, and the peak value of the amount of transmitted light increases almost monotonously with the increase in wavelength.
図5に液晶波長可変フィルタ32の構成例を示す。液晶波長可変フィルタは液晶チューナブルフィルタ(LCTF :Liquid Crystal Tunable Filter)を数段組み合わせることにより波長を選択する。1つのLCTFは図5のように偏光板で固定波長板と液晶可変波長板を挟んで構成され、この固定波長板と液晶可変波長板の偏光板となす角度は、発生する常光線と異常光線の光路長差が液晶可変波長板によりコントロールできるように45度に固定されている。 FIG. 5 shows a configuration example of the liquid crystal wavelength tunable filter 32. The liquid crystal wavelength tunable filter selects a wavelength by combining several stages of liquid crystal tunable filters (LCTF: Liquid Crystal Tunable Filter). As shown in FIG. 5, one LCTF is configured by sandwiching a fixed wavelength plate and a liquid crystal variable wavelength plate with a polarizing plate, and the angle between the fixed wavelength plate and the polarizing plate of the liquid crystal variable wavelength plate is an ordinary ray and an extraordinary ray generated. The optical path length difference is fixed at 45 degrees so that it can be controlled by the liquid crystal variable wavelength plate.
1枚の波長板について、その厚みをdとすると常光線と異常光線の光路長差Rは(式1)で表される。
n(e)は通常光線についての屈折率、n(o)は異常光線についての屈折率である。固定波長板と液晶可変波長板を組み合わせ、液晶可変波長板への印加電圧を変化させることによって光路長差Rが変化する。光路長差Rの光を偏光板により45度方向で取り出して干渉フィルタ化している。
全体の透過率Tは波長をλとして(式2)のようになり、光路長差Rにより変化する。
n (e) is the refractive index for ordinary light, and n (o) is the refractive index for extraordinary light. The optical path length difference R is changed by combining the fixed wavelength plate and the liquid crystal variable wavelength plate and changing the voltage applied to the liquid crystal variable wavelength plate. Light having an optical path length difference R is extracted by a polarizing plate in the direction of 45 degrees to form an interference filter.
The overall transmittance T is as shown in (Equation 2), where the wavelength is λ, and varies with the optical path length difference R.
図6に液晶波長可変フィルタ32の波長選択方法の例を示す。出力される波長幅を狭める為に厚さの異なる波長板の組み合わせを数段(図の例では6段)重ねて、20nmの波長幅を実現している。図6(a)に6段の各LCTFのフィルタ特性を重ねて示す。図6(b)に6段のLCTFを重ねた液晶波長可変フィルタ32のフィルタ特性を示す。各LCTFの液晶可変波長板への印加電圧を変化することにより透過中心波長を任意に高速で変更でき、任意の波長成分の光を取り出すことができる。
液晶波長可変フィルタ32は、入射光の偏光方向に影響されるので偏光した光を使用するときは、入射光の偏光角に対応したアライメントが必要である。この場合でも、液晶波長可変フィルタ32からの射出光は、入射光と同じ偏光方向に維持される。
FIG. 6 shows an example of the wavelength selection method of the liquid crystal wavelength tunable filter 32. In order to reduce the wavelength width to be output, a combination of wave plates having different thicknesses are stacked in several stages (six stages in the example in the figure) to realize a wavelength width of 20 nm. FIG. 6A shows the filter characteristics of each of the six stages of LCTFs. FIG. 6B shows the filter characteristics of the liquid crystal wavelength tunable filter 32 in which six stages of LCTFs are superimposed. By changing the voltage applied to the liquid crystal variable wavelength plate of each LCTF, the transmission center wavelength can be arbitrarily changed at high speed, and light having an arbitrary wavelength component can be extracted.
Since the liquid crystal wavelength tunable filter 32 is affected by the polarization direction of the incident light, when using polarized light, alignment corresponding to the polarization angle of the incident light is necessary. Even in this case, the light emitted from the liquid crystal wavelength tunable filter 32 is maintained in the same polarization direction as the incident light.
図7に、ハロゲンランプ11、液晶波長可変フィルタ32、CCDカメラ34の分光特性を加味した分光特性の例を示す。横軸に波長(nm)を、縦軸に相対強度(波長700nmの光の強度を1とする)を示す。450〜700nmの範囲で相対強度がほぼ単調に増加していることが解る。このように、各光部品を総合した特性が短波長側の光量が低く、長波長になるに従い急激に高くなっているため、これを打ち消すような分光特性補正フィルタ13が要求される。 FIG. 7 shows an example of spectral characteristics taking into account the spectral characteristics of the halogen lamp 11, the liquid crystal wavelength tunable filter 32, and the CCD camera 34. The horizontal axis represents wavelength (nm), and the vertical axis represents relative intensity (the intensity of light having a wavelength of 700 nm is 1). It can be seen that the relative intensity increases almost monotonically in the range of 450 to 700 nm. As described above, the total characteristic of each optical component has a low light amount on the short wavelength side and abruptly increases as the wavelength becomes longer, so a spectral characteristic correction filter 13 that cancels this is required.
図8に分光特性補正フィルタ13の分光特性の例を示す。横軸に波長(nm)を、縦軸に透過率(%)を示す。本実施の形態では、450〜700nmでの補正を行うために、透過中心波長約460nmのフィルタを選択した。 FIG. 8 shows an example of spectral characteristics of the spectral characteristic correction filter 13. The horizontal axis represents wavelength (nm), and the vertical axis represents transmittance (%). In the present embodiment, a filter having a transmission center wavelength of about 460 nm is selected in order to perform correction at 450 to 700 nm.
図9に分光特性補正フィルタ13を挿入した光学系の分光特性例を示す。横軸に波長(nm)を、縦軸にCCDカメラで34で取得された最大強度を示す。この例では12bit4096を最大値としている。データは分光特性補正フィルタ13挿入後に露光時間一定(例えば200ms)で標準白色板、正常眼の分光画像を取得し、その最大強度を測定したものである。◆は正常眼からの反射光最大強度、■は標準白色板からの反射光最大強度を示す。なお、補正前は同じ光量で分光画像を同じ波長帯で取得することは不可能であった。標準白色板は最小値が829、最大値が3532と差はあるものの、同じ照明光量でサチレーションを起こすことなく画像取得できていることが確認できた。正常眼では最小値416、最大値2217とさらにフラット化された画像を取得することができた。なお、このような光量の差異は十分CCDのダイナミックレンジ内に入り、CCDカメラでの撮像を容易にし、露光の自動化が可能になる。 FIG. 9 shows an example of spectral characteristics of an optical system in which the spectral characteristic correction filter 13 is inserted. The horizontal axis indicates the wavelength (nm), and the vertical axis indicates the maximum intensity acquired at 34 by the CCD camera. In this example, the maximum value is 12 bits 4096. The data is obtained by obtaining a spectral image of a standard white plate and normal eyes with a constant exposure time (for example, 200 ms) after the spectral characteristic correction filter 13 is inserted, and measuring the maximum intensity. ◆ indicates the maximum intensity of reflected light from normal eyes, and ■ indicates the maximum intensity of reflected light from a standard white plate. Prior to correction, it was impossible to acquire a spectral image with the same light amount and the same wavelength band. Although the standard white plate has a difference between the minimum value of 829 and the maximum value of 3532, it was confirmed that images could be acquired without causing saturation with the same amount of illumination. With normal eyes, a flattened image with minimum value 416 and maximum value 2217 could be obtained. Such a difference in the amount of light is sufficiently within the dynamic range of the CCD, facilitating imaging with a CCD camera, and automating exposure.
図10に本発明の実施の形態における分光眼底画像データ測定方法のフローの例を示す。まず、所定の波長範囲の光束を発光する照明用光源11からの光束により人間又は動物の被検眼Eの眼底Fを照明する(ステップS001)。次に、撮像部4の受光面に眼底Fからの反射光束を受光して、人間又は動物の眼底像を形成する(ステップS002)。次に、所定の波長範囲で透過光束の波長を選択可能な液晶波長可変フィルタ32を用い、液晶波長可変フィルタ32の透過光束の波長を変化させて、受光面からの信号に基づき分光眼底画像原データを取得する(ステップS003)。次に、データ測定部7において、波長が閾値以下の変化量分異なる分光眼底画像原データ同士を比較照合して画像の位置補正を行い、これを順次累積して、所定の波長範囲における一連の分光眼底画像データを生成する(ステップS004)。波長変化量が小さいので光眼底画像原データ同士の光度の変化が少なく、2つの眼底画像原データ同士の同一部分の対応を付けやすいので、位置補正を容易に行なうことができる。したがって、波長変化量を上記のように制限することにより、位置補正が容易かつ、高精度で可能になり、多数の画像に順次適用していくことにより、画像位置が高精度に一致する一連の眼底画像データを取得できる。 FIG. 10 shows an example of the flow of the spectral fundus image data measurement method according to the embodiment of the present invention. First, the fundus F of a human or animal eye E is illuminated with a light beam from an illumination light source 11 that emits a light beam in a predetermined wavelength range (step S001). Next, the reflected light beam from the fundus F is received on the light receiving surface of the imaging unit 4 to form a fundus image of a human or an animal (step S002). Next, using the liquid crystal wavelength tunable filter 32 capable of selecting the wavelength of the transmitted light beam within a predetermined wavelength range, the wavelength of the transmitted light beam of the liquid crystal wavelength tunable filter 32 is changed, and the spectral fundus image source is based on the signal from the light receiving surface. Data is acquired (step S003). Next, in the data measuring unit 7, the spectral fundus image original data different in wavelength by a change amount equal to or less than a threshold value are compared and collated, the position of the image is corrected, and this is sequentially accumulated to obtain a series of a predetermined wavelength range. Spectral fundus image data is generated (step S004). Since the amount of change in wavelength is small, the change in luminous intensity between the light fundus image original data is small, and the correspondence between the same portions of the two fundus image original data can be easily obtained, so that the position correction can be easily performed. Therefore, by limiting the amount of wavelength change as described above, position correction can be performed easily and with high accuracy, and by sequentially applying to a large number of images, a series of images where the image positions match with high accuracy. Fundus image data can be acquired.
図11に分光眼底像取得フローの例を示す。図10のステップS003に該当する。まず、分光測定する初期波長λs、最終波長λe、一度に変化させる波長間隔(波長の変化量)λdを設定する(ステップS101)。次に、眼底カメラ部2と被検眼Eのアライメントを行う(ステップS102)。次に、測定波長λを初期波長λsに設定し(ステップS103)、液晶波長可変フィルタ32の透過波長が測定波長λになるように調整し(ステップS104)、CCDカメラ34の露光時間を各測定波長λ毎に予め定められた所定の値に自動的に設定しておき(ステップS105)、設定された露光時間で自動露光して分光眼底像を取得する(ステップS106)。測定波長λが最終波長λe以下であれば(ステップS107でNO)、測定波長λに波長間隔λdを加算して(ステップS108)、設定波長を変更し(ステップS104)、露光、画像取得を繰り返す。測定波長λが最終波長λeより大きくなれば(ステップS107でYES)、取得した眼底像を保存する(ステップS109)。この分光眼底像取得フローのうち、眼のアライメント(ステップS002)を除き、ループ処理を含めプログラム制御可能である。プログラムは制御部8に格納され、露光制御部81でCCDカメラ34の露光を制御し、波長制御部82で液晶波長可変フィルタ32の波長等を制御し、また、制御部8でデータ取得部71のデータ取得等を制御する。 FIG. 11 shows an example of a spectral fundus image acquisition flow. This corresponds to step S003 in FIG. First, an initial wavelength λs, a final wavelength λe, and a wavelength interval (amount of change in wavelength) λd to be changed at one time are set (step S101). Next, the fundus camera unit 2 and the eye E to be examined are aligned (step S102). Next, the measurement wavelength λ is set to the initial wavelength λs (step S103), the transmission wavelength of the liquid crystal wavelength tunable filter 32 is adjusted to be the measurement wavelength λ (step S104), and the exposure time of the CCD camera 34 is measured. A predetermined value predetermined for each wavelength λ is automatically set (step S105), and a spectral fundus image is acquired by performing automatic exposure with the set exposure time (step S106). If the measurement wavelength λ is equal to or less than the final wavelength λe (NO in step S107), the wavelength interval λd is added to the measurement wavelength λ (step S108), the set wavelength is changed (step S104), and exposure and image acquisition are repeated. . If the measurement wavelength λ is greater than the final wavelength λe (YES in step S107), the acquired fundus image is stored (step S109). In this spectral fundus image acquisition flow, program control including loop processing is possible except for eye alignment (step S002). The program is stored in the control unit 8, the exposure control unit 81 controls the exposure of the CCD camera 34, the wavelength control unit 82 controls the wavelength of the liquid crystal wavelength tunable filter 32, and the control unit 8 controls the data acquisition unit 71. To control data acquisition.
図12にCCDカメラ露光時間設定フローの例を示す。図11のステップS105に該当する。分光特性補正フィルタ13を挿入してフラット化した分光特性を、さらに、CCDカメラ34の露光時間補正で補うものである。まず、平均化すべきデータ個数avを任意に(例えば5に)設定し(ステップS201)、許容する最大の輝度値の範囲(最大許容値Ihigh、最小許容値Ilow)を設定する(ステップS202)。次に、露光時間Texを任意の値に設定し(ステップS203)、分光眼底像の取得を行う(ステップS204)。得られた分光眼底像についてCCDの各ピクセル(CCD素子番号をk、素子数をkmaxとする)の輝度値Ikを求め(ステップS205)、輝度値Ikが高い順にav個(設定された個数)を選択してこれらの輝度値Ikの合計MALLを求め(ステップS206)、最大輝度平均値M(=MALL/av)を算出する(ステップS207)。 FIG. 12 shows an example of a CCD camera exposure time setting flow. This corresponds to step S105 in FIG. The spectral characteristic flattened by inserting the spectral characteristic correction filter 13 is further supplemented by correcting the exposure time of the CCD camera 34. First, the number of data av to be averaged is arbitrarily set (for example, 5) (step S201), and the allowable maximum luminance value range (maximum allowable value Ihigh , minimum allowable value Ilow ) is set (step S202). ). Next, the exposure time Tex is set to an arbitrary value (step S203), and a spectral fundus image is acquired (step S204). With respect to the obtained spectral fundus image, the luminance value I k of each pixel of the CCD (the CCD element number is k and the number of elements is k max ) is obtained (step S205), and av (set) are set in order of the luminance value I k. The total number M ALL of these luminance values I k is obtained (step S206), and the maximum luminance average value M (= M ALL / av) is calculated (step S207).
この最大輝度平均値Mが最大許容値Ihighより大きい場合は(ステップS208でYES)露光時間を短く(この例では1/2に)し(ステップS211)、最小許容値Ilowより小さい場合は(ステップS209でYES)露光時間を長くする。この例では2段階にし所定値I−lowより小さい場合は(ステップS210でNO)露光時間をα倍(例えばα=1.2)にし(ステップS012)、所定値I−lowより大きい場合は(ステップS210でYES)露光時間を2倍にし(ステップS213)、再び像取得(ステップS204)に戻る。最大輝度平均値Mが設定した範囲内に収まったとき(ステップS208及びS209でNO)には露光時間が適切として露光時間をその時のTexに設定し、以後の測定ではこの設定値を用いて分光眼底像の取得を行う(ステップS204)。 If this maximum luminance average value M is larger than the maximum allowable value I high (YES in step S208), the exposure time is shortened (in this example, 1/2) (step S211), and if it is smaller than the minimum allowable value I low (YES in step S209) The exposure time is lengthened. If the predetermined value I -low smaller than the two stages in this example (in step S210 NO) exposure time to alpha times (e.g. alpha = 1.2) (step S012), if greater than the predetermined value I -low ( In step S210 YES, the exposure time is doubled (step S213), and the process returns to image acquisition (step S204) again. When the maximum average brightness value M falls within the set range (NO in steps S208 and S209), the exposure time is set appropriately and the exposure time is set to Tex at that time. A spectral fundus image is acquired (step S204).
新たに取得した分光眼底像について、最大輝度平均値Mが設定した範囲内に収まり続ける限り(ステップS208及びS209でNO)、露光時間の設定値Texを維持し、範囲外に出た時に設定値が更新される。実際には分光眼底像を得るときには、波長の短い方から順次取得すると、波長変化が緩やかで分光眼底像の変化も少ないので、上記ルーチンで露光時間を更新する場合は少なく、効率よく実行され、短時間で良好な画像を得ることが可能である。このCCDカメラ露光時間設定フローを用いることにより分光特性の優れた画像を取得でき、さらに、分光特性補正フィルタ13と併用することにより、分光特性を一層優れたものにできる。また、このCCDカメラ露光時間設定フローは、ループ処理を含めプログラム制御可能である。プログラムは制御部8に格納され、露光制御部81でCCDカメラ34の露光を制御する。 For the newly acquired spectral fundus image, as long as the maximum luminance average value M continues to be within the set range (NO in steps S208 and S209), the exposure time set value Tex is maintained and set when it goes out of range. The value is updated. In fact, when obtaining a spectral fundus image, if the wavelength is acquired sequentially from the shorter wavelength, the change in the spectral fundus image is small, so the exposure time is not updated frequently in the above routine, and is executed efficiently. A good image can be obtained in a short time. By using this CCD camera exposure time setting flow, an image having excellent spectral characteristics can be acquired, and by using the CCD camera in combination with the spectral characteristic correction filter 13, the spectral characteristics can be further improved. The CCD camera exposure time setting flow can be controlled by a program including loop processing. The program is stored in the control unit 8, and the exposure control unit 81 controls the exposure of the CCD camera 34.
図13に分光網膜像位置合わせフローの例を示す。図10のステップS004に該当する。分光網膜像取得は、液晶可変フィルタ32の波長可変時間、CCDカメラ34の露光時間等により、510nmから720nmまでの10nm毎の撮影には、現在20秒程度かかっている。その間に被検眼Eと眼底カメラ部10とのアライメントずれ、固視ずれなどが生じて、取得される網膜像の位置がずれ、CCDカメラ34の受光面上の同じ座標に対応する網膜上の位置が異なってしまう場合が多い。そこで、酸素飽和度解析を行う際に、この位置ずれを補正する必要があり、データ測定部7における画像処理により補正を行なう。また、網膜の分光画像は波長の変化に応じて変化し、波長の変化が大きくなると見た目でも分光画像の変化を認識できる。このため、離れた波長間では、網膜画像上の同じ部位の対応が取りにくくなる。そこで、本実施の形態では、まず取得された最も短波長側の画像とその次に短波長の画像で位置あわせを行い、次に今回位置あわせに使用した短波長側から2番目の画像と3番目の画像の位置あわせを行うというように、いわば、しりとり式の組み合わせで位置合わせを行い、誤差を軽減したアライメントエラー補正を行うこととした。この画像の位置あわせはデータ測定部7の画像補正部72で行われる。 FIG. 13 shows an example of a spectral retinal image alignment flow. This corresponds to step S004 in FIG. Spectral retinal image acquisition currently takes about 20 seconds for imaging every 10 nm from 510 nm to 720 nm due to the wavelength variable time of the liquid crystal variable filter 32 and the exposure time of the CCD camera 34. During this time, misalignment, fixation disparity, etc. between the eye E and the fundus camera unit 10 occur, and the position of the acquired retinal image shifts, and the position on the retina corresponding to the same coordinates on the light receiving surface of the CCD camera 34. Are often different. Therefore, when the oxygen saturation analysis is performed, it is necessary to correct this positional shift, and the correction is performed by image processing in the data measurement unit 7. In addition, the spectral image of the retina changes according to the change of the wavelength, and when the change of the wavelength becomes large, the change of the spectral image can be recognized even by appearance. For this reason, it becomes difficult to take correspondence of the same part on a retina image between distant wavelengths. Therefore, in the present embodiment, the first shortest-wavelength image and the second short-wavelength image acquired are aligned first, and then the second image from the short-wavelength side used for the current alignment and 3 In other words, alignment of the second image is performed by a combination of shiritori formulas, and alignment error correction is performed to reduce errors. This image alignment is performed by the image correction unit 72 of the data measurement unit 7.
まず、取得開始波長(最短波長)λ0の眼底画像原データを読み込み、これを基準画像とする(ステップS301)。次に、画像位置合わせ回数nを1に設定する(ステップS302)。位置合わせ対象の眼底画像原データ(基準画像の次に短波長の画像であり、取得波長λnの画像という)を読み込み、これを補正前画像とする(ステップS303)。次に、基準画像と補正前画像との画像位置合わせを行ない、画像位置合わせして位置の補正をした補正前画像を新たな基準画像とする(ステップS304)。未補正の画像が残っていれば(ステップS305でNO)、nをインクリメントし(ステップS306)、次の取得波長λnの眼底画像原データを読み込み(ステップS303)、全ての眼底画像原データに対して補正を行なわれるまで(ステップS305でYES)画像位置合わせを繰り返す。なお、このフローでの眼底画像原データの読み込みは、データ測定部7で既にCCDカメラ34からデータ取得部71に読み込んだデータを画像補正部72に再読み込みするものでも良い。また、この分光網膜像位置合わせフローは、ループ処理を含めプログラム制御可能である。プログラムはデータ測定部7に格納され、画像補正部72で画像位置合わせ等の画像処理が実行される。 First, fundus image original data having an acquisition start wavelength (shortest wavelength) λ 0 is read and used as a reference image (step S301). Next, the image alignment number n is set to 1 (step S302). The fundus image original data to be aligned (the image with the short wavelength next to the reference image and called the image with the acquisition wavelength λn) is read and used as an uncorrected image (step S303). Next, image alignment between the reference image and the pre-correction image is performed, and the pre-correction image obtained by aligning the image and correcting the position is set as a new reference image (step S304). If an uncorrected image remains (NO in step S305), n is incremented (step S306), the fundus image original data of the next acquisition wavelength λn is read (step S303), and all fundus image original data is read. The image alignment is repeated until correction is performed (YES in step S305). In this flow, the fundus image original data may be read by rereading the data already read from the CCD camera 34 into the data acquisition unit 71 by the data measurement unit 7 into the image correction unit 72. This spectral retinal image alignment flow can be controlled by a program including loop processing. The program is stored in the data measuring unit 7, and image processing such as image alignment is executed by the image correcting unit 72.
図14に画像位置あわせフローの例を示す。主として図13のステップS304に該当する。撮像部4の受光面からの信号に基づき異なる時間に取得した前記照明された眼底の2つの分光眼底画像原データ(基準画像と補正前画像)を読み込む(ステップS401)(図13のステップS301〜S303に該当し、ステップS402以後のステップは図13のステップS304に該当する)。次に、画像合わせのマッチング点として複数の特徴点(特徴があり識別性が高い点、線状の場合もある)を2画像から選択する(ステップS402)。次に、対応するマッチング点の位置を探索する(ステップS403)。探索には例えば最小二乗法( LSM :Least Squares Matching)を用いる。 FIG. 14 shows an example of an image alignment flow. This mainly corresponds to step S304 in FIG. Two pieces of spectral fundus image original data (reference image and uncorrected image) of the illuminated fundus acquired at different times based on signals from the light receiving surface of the imaging unit 4 are read (step S401) (steps S301 to S301 in FIG. 13). This corresponds to S303, and the steps after Step S402 correspond to Step S304 in FIG. 13). Next, a plurality of feature points (points that have features and high discriminability, may be linear) are selected from two images as matching points for image matching (step S402). Next, the position of the corresponding matching point is searched (step S403). For the search, for example, a least square method (LSM: Least Squares Matching) is used.
最小二乗法とは、テンプレートの位置と形状を固定し、マッチングウィンドウとテンプレートとの濃淡の差が最小になるようにマッチングウィンドウの位置と形状を変化させてマッチングを行う(相関をとる)方法である。マッチングウィンドウの位置と形状を変化するために、アフィン変換又はヘルマート変換を選択可能である。これらについて変換係数を変えて濃淡の差を演算し、最も適切な係数を求める(ステップS404)。次に、求められた変換係数を用いて補正前画像の変換を行なう(ステップS405)。この場合、線形補間法又はバイキュービック補間法を選択可能である。 The least square method is a method in which the position and shape of the template are fixed, and matching is performed by changing the position and shape of the matching window so that the difference in shading between the matching window and the template is minimized. is there. In order to change the position and shape of the matching window, an affine transformation or a Helmat transformation can be selected. For these, the conversion coefficient is changed to calculate the difference in shading to obtain the most appropriate coefficient (step S404). Next, the pre-correction image is converted using the obtained conversion coefficient (step S405). In this case, a linear interpolation method or a bicubic interpolation method can be selected.
バイキュービック法 (bicubic 法)とは、3次補間法と呼ばれている画像の補間方式である。一般のスキャナでは1次補間法(2点を通る直線上にある画素を参照して計算する)や最近傍法(ニアレストネイバー法)で計算させている機種が多いが、バイキュービック法は情報の損失が最も少なく、写真画などでは滑らかで自然な画像が得られる。ただし、複雑な演算を行なうため処理に時間がかかる。また、線形補間法とは、最近傍法が周りの1つの画素のみから値を決定しているのに対し、周りの最も近い4つの画素から値を設定する手法なので、最近傍法に比して補間精度が高い。 The bicubic method (bicubic method) is an image interpolation method called a cubic interpolation method. In general scanners, there are many models that use the linear interpolation method (calculated by referring to pixels on a straight line passing through two points) and the nearest neighbor method (nearest neighbor method), but the bicubic method uses information. Loss is the least, and a smooth and natural image can be obtained in a photo. However, it takes a long time to perform a complicated operation. In addition, the linear interpolation method is a method in which the value is determined from only the surrounding four pixels while the nearest neighbor method determines the value from only one surrounding pixel. Interpolation accuracy is high.
次に、変換された補正前画像をファイルに保存する(ステップS406)。保存された画像は新たな基準画像として、次の画像位置合わせに供される。保存形式は、例えば、BMP形式、JPG形式を使用でき、生データとして出力しても良い。 Next, the converted pre-correction image is stored in a file (step S406). The stored image is used for the next image alignment as a new reference image. For example, a BMP format or a JPG format can be used as the storage format, and it may be output as raw data.
図15は最小二乗マッチングを説明するための図である。まず、基準画像からテンプレートを作成し、探索画像でマッチングウィンドウの初期位置を決定する。基準画像テンプレートをtij、探索画像のマッチングウィンドウをmij、その変換後のマッチングウィンドウをmij(x,y)とする。
残差Fij(a1〜a6)は、図15におけるテンプレートtijと幾何学変換後のマッチングウィンドウmij(x,y)間における濃淡値の差を現す。残差を最小にするため、マッチングウィンドウmijの変形を行う。投影方法を考慮して変形を行わなければならないが、ここでは例えばアフィン変換(式4)により変形を行ない、テンプレートに対するマッチングウィンドウのアフィン係数a1〜a6を求める。
The residual F ij (a1 to a6) represents the difference in gray value between the template t ij in FIG. 15 and the matching window m ij (x, y) after geometric transformation. In order to minimize the residual, the matching window mij is transformed. The deformation must be performed in consideration of the projection method. Here, for example, the deformation is performed by affine transformation (Equation 4), and the affine coefficients a1 to a6 of the matching window for the template are obtained.
まず、(式3)の線形化を行う。
(式7)を観測方程式として、マッチングウィンドウの変換を行い、画像を再構成する。収束基準に達するまで、収束計算と画像の再構成を繰り返す。すなわち、Δa1〜Δa6が最小になる様に繰り返し計算を行なう。ここで実際に求めたいアフィン係数はa1〜a6であるが、求まる係数はΔa1〜Δa6である。そこで、a1〜a6の初期値にΔa1〜Δa6を加えて、アフィン係数a1〜a6を求める。収束基準を満たした位置を最終的なマッチングウィンドウの位置とする。探索画像についてマッチングウィンドウの位置が確定したら、画像間の対応点の評価が可能になる。 Using (Equation 7) as an observation equation, the matching window is converted to reconstruct the image. The convergence calculation and image reconstruction are repeated until the convergence criterion is reached. That is, the calculation is repeated so that Δa1 to Δa6 are minimized. Here, the affine coefficients to be actually obtained are a1 to a6, but the obtained coefficients are Δa1 to Δa6. Therefore, Δa1 to Δa6 are added to the initial values of a1 to a6 to obtain affine coefficients a1 to a6. The position satisfying the convergence criterion is set as the final matching window position. When the position of the matching window is determined for the search image, the corresponding points between the images can be evaluated.
次に、本実施の形態による分光眼底画像データ測定方法を分光網膜画像解析に適用した例について説明する。まず、前提として、分光眼底画像データに関する酸化、還元ヘモグロビンの影響について説明する。 Next, an example in which the spectral fundus image data measurement method according to the present embodiment is applied to spectral retinal image analysis will be described. First, as an assumption, the influence of oxidized and reduced hemoglobin on spectral fundus image data will be described.
図16に酸化、還元ヘモグロビンの吸収光量(単位:cm−1/moles/liter)の例を示す。図16(a)に可視領域、(b)に近赤外領域の吸収光量を示す。酸化ヘモグロビンをHbO2、還元ヘモグロビンをHbで示す。網膜の酸素飽和度解析は、酸化・還元ヘモグロビンの波長毎に吸収光量に差があることを利用している。この分光特性のパターンが各測定対象部位における分光特性にどのくらい含まれているかを解析することにより、該測定対象部位に酸化・還元ヘモグロビンの含まれている割合を決定でき、さらに、酸化ヘモグロビンの割合から酸素飽和度を知得できる可能性がある。今回は、540〜610nmの酸化・還元ヘモグロビンの吸光量に差の大きい波長領域を用いることとした。 FIG. 16 shows an example of the amount of light absorbed by oxidized and reduced hemoglobin (unit: cm −1 / moles / liter). FIG. 16A shows the amount of absorbed light in the visible region, and FIG. 16B shows the amount of absorbed light in the near infrared region. Oxygenated hemoglobin is indicated by HbO 2 , and reduced hemoglobin is indicated by Hb. The retina oxygen saturation analysis utilizes the fact that there is a difference in the amount of absorbed light for each wavelength of oxidized / reduced hemoglobin. By analyzing how much this spectral characteristic pattern is included in the spectral characteristics at each measurement target site, the ratio of the oxidized / reduced hemoglobin contained in the target measurement site can be determined. There is a possibility that oxygen saturation can be obtained from This time, a wavelength region having a large difference in the amount of absorption of oxidized / reduced hemoglobin at 540 to 610 nm was used.
眼底上にはヘモグロビン以外にもさまざまな成分が含まれており、それぞれ異なる分光特性を有している。分光眼底像にはこれらの影響もあると考えられるが、今回は非常に簡略化したアルゴリズムを採用し、酸化・還元ヘモグロビンのみの影響があるものと仮定し、解析を行った。 Various components other than hemoglobin are contained on the fundus and each has different spectral characteristics. The spectroscopic fundus image is thought to have these effects, but this time a very simplified algorithm was adopted and the analysis was performed assuming that there was only the effect of oxidized / reduced hemoglobin.
次に、分光網膜画像解析について説明する。
被検眼Eとして、(A)正常眼及び(B)病眼(動脈静脈分枝閉塞症(Branch retinal vein occlusion: BRVO))を測定対象として選択した。
Next, spectral retinal image analysis will be described.
As the eye E to be examined, (A) normal eye and (B) diseased eye (Branch retinal vein occlusion (BRVO)) were selected as measurement targets.
図17に分光網膜画像解析フローの例を示す。解析フローのアルゴリズムは次のようである。
(a)被検眼Eと眼底カメラ部2とのアライメントを行う。アライメント光を点灯し、CCDカメラ54で取得した画像を見ながらアライメント(位置あわせ)を行なう(ステップS501、図11のステップS102に該当)。
(b)分光画像を取得する。ピント調整を行い、540nm〜610nmまで10nm波長の短い方から分光眼底像を順次取得する(ステップS502、図11のステップS106に該当)。
(c)取得した画像から、最短波長の画像を基準画像とし、次に波長が短い画像を補正前画像として、補正前画像についてアフィン変換を行い、像のゆがみを基準画像にあわせて補正する。変換した補正前画像を新たな基準画像とし、次に波長が短い画像を補正前画像として、各波長の画像について、順次補正を行なう(ステップS503、図13のステップS301〜S306に該当)。
FIG. 17 shows an example of a spectral retinal image analysis flow. The analysis flow algorithm is as follows.
(A) The eye E and the fundus camera unit 2 are aligned. The alignment light is turned on, and alignment (positioning) is performed while viewing the image acquired by the CCD camera 54 (corresponding to step S501 and step S102 in FIG. 11).
(B) A spectral image is acquired. Focus adjustment is performed, and spectroscopic fundus images are sequentially acquired from the shorter 10 nm wavelength from 540 nm to 610 nm (corresponding to step S502 and step S106 in FIG. 11).
(C) From the acquired image, an image with the shortest wavelength is set as a reference image, an image with the next shortest wavelength is set as an uncorrected image, affine transformation is performed on the image before correction, and distortion of the image is corrected according to the reference image. The converted pre-correction image is used as a new reference image, and the next shortest wavelength image is used as the pre-correction image, and correction is performed sequentially for each wavelength image (corresponding to step S503 and steps S301 to S306 in FIG. 13).
(d)波長λにおける動脈、静脈、バックグラウンドの平均強度
(e)波長λにおける動脈、静脈の光学濃度((ODartery)’λ、(ODvein)’λ)を算出する(ステップS505)。
(f)平均強度を測定した位置の動脈、静脈の太さ(tartery、tvein)を測定し、動脈、静脈の光学濃度((ODartery)λ、(ODvein)λ)を補正する(ステップS506)。
(E) The optical density (( ODartery ) ′ λ , ( ODvein ) ′ λ ) of the artery and vein at the wavelength λ is calculated (step S505).
(F) The thickness of the artery and vein ( tartery , tvein ) at the position where the average intensity is measured is measured, and the optical density of the artery and vein (( ODartery ) λ , ( ODvein ) λ ) is corrected ( Step S506).
(g)網膜上の特徴点等の各座標(x,y)に対応する局所的な強度を測定し、各位置(x、y)での動脈、静脈の光学濃度((ODx,y)λ)を算出する(ステップS507)。
(h)波長λにおける動脈、静脈の光学濃度((ODartery)λ、(ODvein)λ)を要素として、網膜上の各位置(x、y)での動脈、静脈の光学濃度((ODx,y)λ)の因子分析を行なう(ステップS508)。
(i)網膜上の各位置(x、y)での動脈血の割合を算出し、酸化ヘモグロビンの割合をカラーコードマップ化する(ステップS509)。
(G) The local intensity corresponding to each coordinate (x, y) such as a feature point on the retina is measured, and the optical density ((OD x, y ) of the artery and vein at each position ( x, y ) λ ) is calculated (step S507).
(H) The optical density of the artery and vein at each position (x, y) on the retina ((OD) with the optical density of the artery and vein (( ODartery ) λ , ( ODvein ) λ ) at the wavelength λ as an element. A factor analysis of x, y ) λ ) is performed (step S508).
(I) The ratio of arterial blood at each position (x, y) on the retina is calculated, and the ratio of oxyhemoglobin is converted into a color code map (step S509).
なお、上記では光学濃度OD算出時に動脈、静脈の平均強度とバックグラウンドの平均強度の比を取り、対数を取ってマイナスをかけている、もしくは各位置の平均強度とバックグラウンドの平均強度の比を取り、対数を取ってマイナスをかけているが、ODの代わりに吸光濃度(AD)を使用し、動脈、静脈の平均強度からバックグラウンドの平均強度を引き、その値をバックグラウンドの平均強度で割る、もしくは各位置の平均強度からバックグラウンドの平均強度を引き、その値をバックグラウンドの平均強度で割ったものを使用してもよい。ここで、任意の点での吸光濃度(AD)は、式11で示される。
この分光網膜画像解析フローはプログラム制御可能である。プログラムはデータ測定部7に格納され、画像解析部73で画像解析が実行され、マップ作成部74で酸化ヘモグロビンの割合等がマップ化される。 This spectral retinal image analysis flow can be controlled by a program. The program is stored in the data measurement unit 7, the image analysis unit 73 performs image analysis, and the map creation unit 74 maps the ratio of oxyhemoglobin.
図18に正常眼の取得された分光網膜画像の例を示す。
図19にBRVO眼の取得された分光網膜画像の例を示す。
図18、図19の画像は、画像位置合わせによる補正前の取得画像である。乳頭、血管(動脈、静脈)、患部等が判別可能に撮影されている。図中、乳頭は明るい小円状の部分であり、血管は暗い線状の部分である。これらの画像は、フラッシュ光源を使用していないため通常の眼底カメラ測定よりも少ない光量で撮影できた。波長範囲510〜720nmを10nmずつ変化させて測定する場合には、最長、20秒程度の測定時間がかかるが、さらに分光特性補正フィルタが入っているため、被検眼に入射する光量は少なく、被検者側の負担はあまり大きくない。このように本実施の形態によれば、分光画像の取得を安定してできるようになった。
FIG. 18 shows an example of a spectral retinal image obtained by normal eyes.
FIG. 19 shows an example of the acquired spectral retinal image of the BRVO eye.
The images in FIGS. 18 and 19 are acquired images before correction by image alignment. The nipple, blood vessels (arteries, veins), affected area, etc. are photographed so that they can be distinguished. In the figure, the nipple is a bright small circular portion, and the blood vessel is a dark linear portion. Since these images did not use a flash light source, they could be taken with a smaller amount of light than normal fundus camera measurements. When measuring by changing the wavelength range of 510 to 720 nm by 10 nm, it takes a long measurement time of about 20 seconds. However, since a spectral characteristic correction filter is included, the amount of light incident on the eye to be examined is small, The burden on the examiner is not very large. Thus, according to the present embodiment, it is possible to stably acquire a spectral image.
図20に眼底写真のカラーコードマップの例を示す。図20(a)は正常眼についての酸素飽和度解析結果を表すカラーコードマップである。図20(b)はBRVO眼についての酸素飽和度解析結果を表すカラーコードマップである。明色になるに従い酸素飽和しているマップとなっている。BRVO眼は下部に酸素飽和していない領域が広がり、診断結果とも合致する。正常眼は中心窩から右方向にかけて酸素飽和していない領域が広がり、この領域が活性化していることを示している。 FIG. 20 shows an example of a color code map of a fundus photograph. FIG. 20A is a color code map representing the oxygen saturation analysis result for normal eyes. FIG. 20B is a color code map representing the oxygen saturation analysis result for the BRVO eye. The map is saturated with oxygen as it becomes lighter. In the BRVO eye, a region not saturated with oxygen spreads in the lower part, which matches the diagnosis result. In the normal eye, a region not saturated with oxygen extends from the fovea to the right, indicating that this region is activated.
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施の形態に種々変更を加えられることは明白である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made to the embodiments without departing from the spirit of the present invention. It is.
例えば、光学系の構成は本実施の形態に限定されず、所定の波長範囲の光束を発光する照明用光源を有し、照明用光源からの光束により被検眼の眼底を照明する照明光学系と、照明された眼底からの反射光束を受光して、撮像部の受光面に眼底像を形成する受光光学系とを備えれば、光源、撮像手段、光路を任意に選択できる。また、光学系は眼底に固視標を投影させる固視系を備えても良く、照射光の収差を補償する補償光学部を照明光学系に挿入してもよく、照明用光源の発光光度を調節する調節部を設けても良い。 For example, the configuration of the optical system is not limited to the present embodiment, and includes an illumination optical system that includes an illumination light source that emits a light beam in a predetermined wavelength range, and that illuminates the fundus of the eye to be examined with the light beam from the illumination light source. If a light receiving optical system that receives a reflected light beam from the illuminated fundus and forms a fundus image on the light receiving surface of the imaging unit is provided, the light source, imaging means, and optical path can be arbitrarily selected. In addition, the optical system may include a fixation system that projects a fixation target on the fundus, a compensation optical unit that compensates for the aberration of the irradiation light may be inserted into the illumination optical system, and the luminous intensity of the illumination light source is increased. You may provide the adjustment part to adjust.
また、波長可変フィルタ又は分光特性補正フィルタは、照明光学系又は受光光学系のいずれかに配置されれば良い。本実施の形態では、波長可変フィルタには液晶波長可変フィルタを用いる例を説明したが、回折格子やプリズムによる分光器を用いて波長を変化させるものでも良い。また、分光特性補正フィルタの分光特性は、使用する光源、撮像手段、波長可変フィルタの分光特性により変化するもので、青色フィルタに限定されない。また、光源もハロゲンランプに限られず、所定の波長範囲の光束を発光する光源であれば良い。受光面もCCDに限定されず、例えばCMOSを用いても良い。分光測定波長範囲については、可視領域から近赤外領域から選択可能であり、特に動脈又は静脈の吸収光量の分光分布特性の変化が大きなエリアを選択することが望ましい。 Further, the wavelength variable filter or the spectral characteristic correction filter may be arranged in either the illumination optical system or the light receiving optical system. In this embodiment, an example in which a liquid crystal wavelength tunable filter is used as the wavelength tunable filter has been described. However, a wavelength may be changed using a spectroscope such as a diffraction grating or a prism. The spectral characteristic of the spectral characteristic correction filter changes depending on the spectral characteristics of the light source, imaging means, and wavelength variable filter used, and is not limited to the blue filter. Further, the light source is not limited to the halogen lamp, and any light source that emits a light beam in a predetermined wavelength range may be used. The light receiving surface is not limited to the CCD, and for example, a CMOS may be used. The spectral measurement wavelength range can be selected from the visible region to the near infrared region, and in particular, it is desirable to select an area where the change in the spectral distribution characteristics of the absorbed light quantity of the artery or vein is large.
また、本実施の形態において、眼底画像原データの取得順序を、波長の低い方から順番に取得する例を説明したが、その順番を変更することも可能である。 In the present embodiment, the example of acquiring the fundus image original data in order from the lowest wavelength has been described. However, the order may be changed.
図21は画像取得順序を説明するための図である。図21(a)は波長の短い方から順番に原画像を取得する場合であり、理想的な取得順序であり、時間変化による眼と装置のアライメントの変化の補正を高精度にできる。図21(b)は順序は必ずしも波長の高低の順序によらないが、隣り合う順番の波長が近く、波長の変化量が閾値を超えないような場合(例えば閾値が30nmで、波長変化量が10nmの場合)であれば、このような場合でも画像の位置補正が可能である。図21(c)は、順番が途中で飛んでおり、そこでは位置補正が困難になるが、その前のグループのデータ間、その後のグループのデータ間で位置補正が可能である。この場合でも、短い波長範囲では、波長の変化量が閾値を超えない範囲で眼底画像原データ同士を比較照合しながら画像の位置補正を行っているといえる。図21(d)は、測定中に被検眼Eが動く等のトラブルにより位置補正が不可能になった場合に、1つ前の取得済みの波長に戻って測定を再開する例であり、トラブル前後の2つのグループで同じ波長のデータを共有することになり、これらのデータを基にして位置補正が精度良くなされた一連の眼底画像データを取得可能になる。図21(e)は、波長の高い方から順番に取得する場合であり、図21(a)と同様に時間変化による眼と装置のアライメントの変化の補正を高精度にできる。 FIG. 21 is a diagram for explaining the image acquisition order. FIG. 21A shows a case where the original images are acquired in order from the shorter wavelength, which is an ideal acquisition order, and the correction of the change in the alignment between the eye and the apparatus due to the time change can be performed with high accuracy. In FIG. 21B, the order does not necessarily depend on the order of the wavelengths, but when the adjacent wavelengths are close and the wavelength change amount does not exceed the threshold value (for example, the threshold value is 30 nm and the wavelength change amount is 10 nm), the position of the image can be corrected even in such a case. In FIG. 21C, the order is skipped in the middle, and the position correction becomes difficult. However, the position correction can be performed between the data of the previous group and the data of the subsequent group. Even in this case, in a short wavelength range, it can be said that image position correction is performed while comparing and collating original fundus image original data within a range in which the amount of change in wavelength does not exceed the threshold value. FIG. 21D is an example in which the measurement is resumed by returning to the previous acquired wavelength when position correction becomes impossible due to a problem such as movement of the eye E during measurement. Data of the same wavelength is shared by the two groups before and after, and a series of fundus image data that has been subjected to accurate position correction based on these data can be acquired. FIG. 21E shows a case where the wavelength is acquired in order from the highest wavelength, and correction of the change in the alignment between the eye and the apparatus due to the time change can be performed with high accuracy as in FIG.
図21(f)は、比較的安定した画像が取れている測定波長域の中央値付近の画像を基準にして、波長が次に高い原データを補正前画像として位置補正を行ない、次に、補正された補正前画像を新たな基準画像にして、波長がその次に高い原データを補正前画像として位置補正を行ない、以下、波長の低い方から波長の高い方へと順次位置補正を行ない、最大波長まで行った後に、再び測定波長域の中央値付近の画像を基準にして、波長が次に低い原データを補正前画像として位置補正を行ない、次に、補正された補正前画像を新たな基準画像にして、波長がその次に低い原データを補正前画像として位置補正を行ない、以下、波長の高い方から波長の低い方へと順次位置補正を行なう場合である。図21(a)と同様に時間変化による眼と装置のアライメントの変化の補正を高精度にできる。また、先に中央値付近の波長から波長の高い方へと順次位置補正を行ない、後に中央値付近の波長から波長の高い方へと順次位置補正を行なう場合も同様である。 FIG. 21 (f) performs position correction using the original data having the next highest wavelength as the pre-correction image with reference to an image near the median value of the measurement wavelength range where a relatively stable image is obtained, The corrected pre-correction image is used as a new reference image, and the original data with the next highest wavelength is used as the pre-correction image for position correction, and then the position correction is performed sequentially from the lower wavelength to the higher wavelength. After the maximum wavelength is reached, position correction is performed using the original data with the next lowest wavelength as the pre-correction image with reference to the image near the median of the measurement wavelength range, and then the corrected pre-correction image is displayed. This is a case where a new reference image is used to perform position correction using the original data with the next lowest wavelength as the pre-correction image, and the position correction is performed sequentially from the higher wavelength to the lower wavelength. As in FIG. 21 (a), it is possible to correct the change in the alignment between the eye and the apparatus due to a change in time with high accuracy. The same applies to the case where the position correction is performed sequentially from the wavelength near the median to the higher wavelength first, and the position correction is performed sequentially from the wavelength near the median to the higher wavelength.
また、本実施の形態におけるステップの順序を入れ替えることも可能である。例えば図11では、分光測定波長範囲の全ての波長の分光眼底像を取得した後に、一括して眼底像の保存を行なう例を説明したが、各波長の分光眼底像を取得した直後に各眼底像を保存するようなループにしても良い。また、図14において、順次、CCDカメラから眼底画像原データ(補正前画像)を読み込みながら、画像位置合わせを行なっても良く、データ測定部で一旦CCDカメラから全ての眼底画像原データをデータ取得部に読み込み、順次、データ取得部に蓄積された眼底画像原データ(補正前画像)を画像補正部に再読み込みしながら、画像位置合わせを行なっても良い。 In addition, the order of steps in this embodiment can be changed. For example, FIG. 11 illustrates an example in which the fundus image is stored in a lump after acquiring the spectral fundus images of all wavelengths in the spectroscopic measurement wavelength range, but each fundus is acquired immediately after the spectral fundus image of each wavelength is acquired. A loop that preserves the image may be used. In FIG. 14, image positioning may be performed while sequentially reading the fundus image original data (pre-correction image) from the CCD camera, and all the fundus image original data is once acquired from the CCD camera by the data measurement unit. The image positioning may be performed while the fundus image original data (pre-correction image) stored in the data acquisition unit is sequentially read into the image correction unit and re-read into the image correction unit.
また、分光眼底像取得フロー、CCDカメラ露光時間設定フローのプログラムを制御部に格納し、分光網膜像位置合わせフロー、分光網膜画像解析フローのプログラムをデータ測定部に格納する例を説明したが、制御部がこれら全てのプログラムを保持してデータ測定部を含む分光眼底画像データ測定装置全体を制御しても良く、また、制御部がこれらのプログラムを外付けの記録装置やCDROM等から読み込んで分光眼底画像データ測定装置を制御しても良い。 In addition, the spectral fundus image acquisition flow and the CCD camera exposure time setting flow program are stored in the control unit, and the spectral retinal image alignment flow and spectral retinal image analysis flow program are stored in the data measurement unit. The control unit may hold all these programs and control the entire spectral fundus image data measurement apparatus including the data measurement unit, and the control unit may read these programs from an external recording device or a CDROM. The spectral fundus image data measuring device may be controlled.
また、本実施の形態における分光網膜画像解析では、ヘモグロビン以外の成分の影響を省略したが、これらの成分の影響を考慮したアルゴリズムを用いても良い。また、画像相関処理においても、最小二乗法以外の簡便で精度の粗い手法を使用しても良い。 In the spectral retinal image analysis in the present embodiment, the influence of components other than hemoglobin is omitted, but an algorithm that takes into account the influence of these components may be used. Also in the image correlation processing, a simple and rough method other than the least square method may be used.
本発明は、分光眼底画像データの測定に利用される。 The present invention is used for measurement of spectral fundus image data.
1 分光眼底画像データ測定装置
2 眼底カメラ部
3 トップハウジング部
4 撮像部
5 リレー光学系
6 カメラリレー部
7 データ測定部
8 制御部
9 拡張部
10 照明光学系
11 ハロゲンランプ
12 コンデンサーレンズ
13 分光特性補正フィルタ
14 絞り板
15 反射鏡
16 リレーレンズ
20 受光光学系
21 アイリス絞り板
22 合焦レンズ
23 結像レンズ
24 反射鏡
25 切り替えミラー
31 ダイクロイックミラー
32 液晶波長可変フィルタ
33 結像レンズ
34 CCDカメラ
40 共通光学系
41 ビームスプリッター
42 対物レンズ
50 アライメント光学系
51 アライメント光源
52 ダイクロイックミラー
53 結像レンズ
54 モニタ用カメラ
60 ファインダー光学系
71 データ取得部
72 画像補正部
73 画像解析部
74 マップ作成部
81 露光制御部
82 波長制御部
E 被検眼
F 眼底
DESCRIPTION OF SYMBOLS 1 Spectral fundus image data measuring device 2 Fundus camera part 3 Top housing part 4 Imaging part 5 Relay optical system 6 Camera relay part 7 Data measuring part 8 Control part 9 Expansion part 10 Illumination optical system 11 Halogen lamp 12 Condenser lens 13 Spectral characteristic correction Filter 14 Diaphragm 15 Reflecting mirror 16 Relay lens 20 Light receiving optical system 21 Iris diaphragm plate 22 Focusing lens 23 Imaging lens 24 Reflecting mirror 25 Switching mirror 31 Dichroic mirror 32 Liquid crystal wavelength variable filter 33 Imaging lens 34 CCD camera 40 Common optics System 41 Beam splitter 42 Objective lens 50 Alignment optical system 51 Alignment light source 52 Dichroic mirror 53 Imaging lens 54 Camera for monitor 60 Finder optical system 71 Data acquisition unit 72 Image correction unit 73 Image analysis unit 74 Map creation unit 1 exposure control unit 82 wavelength control unit E subject's eye F fundus
Claims (13)
前記照明された眼底からの反射光束を受光して、撮像部の受光面に眼底像を形成する受光光学系と;
前記受光面からの信号に基づき異なる時間に取得した複数の眼底画像原データ同士を比較照合して画像の位置補正を行ない、前記位置補正された一連の眼底画像データを生成するデータ測定部とを備える;
分光眼底画像データ測定装置。 An illumination optical system for illuminating the fundus of the eye to be examined;
A light receiving optical system that receives a reflected light beam from the illuminated fundus and forms a fundus image on a light receiving surface of an imaging unit;
A data measurement unit that performs a position comparison of an image by comparing and collating a plurality of original fundus image data acquired at different times based on signals from the light receiving surface, and generates a series of fundus image data corrected in position. Prepare;
Spectral fundus image data measurement device.
請求項1に記載の分光眼底画像データ測定装置。 The position correction of the image is performed by selecting feature points between the plurality of spectral fundus image original data and performing correlation using correlation processing and affine transformation or Helmat transformation;
The spectral fundus image data measurement apparatus according to claim 1.
前記照明光学系又は前記受光光学系のいずれかに配置され、前記所定の波長範囲で透過光束の波長を選択可能である波長可変フィルタを備え;
前記データ測定部は、前記複数の眼底画像原データを、前記波長可変フィルタの透過光束の波長を変化させることにより取得する;
請求項1又は請求項2に記載の分光眼底画像データ測定装置。 The illumination optical system has an illumination light source that emits a light beam in a predetermined wavelength range;
A wavelength tunable filter disposed in either the illumination optical system or the light receiving optical system and capable of selecting a wavelength of a transmitted light beam in the predetermined wavelength range;
The data measurement unit acquires the plurality of fundus image original data by changing a wavelength of a transmitted light beam of the wavelength tunable filter;
The spectral fundus image data measurement apparatus according to claim 1 or 2.
請求項3に記載の分光眼底画像データ測定装置。 Arranged in either the illumination optical system or the light receiving optical system, the wavelength characteristic of the luminous intensity of the illumination light source and the transmission wavelength characteristic of the wavelength variable filter are corrected, and the received light intensity on the light receiving surface is within a predetermined range. A spectral characteristic correction filter having a wavelength characteristic that falls within a range;
The spectral fundus image data measurement apparatus according to claim 3.
前記データ測定部は、波長が前記閾値以下の変化量分異なる前記眼底画像原データ同士を比較照合しながら前記画像の位置補正を行う;
請求項3又は請求項4に記載の分光眼底画像データ測定装置。 A change amount of a selected wavelength in the tunable filter can be set to a threshold value or less;
The data measurement unit corrects the position of the image while comparing and comparing the fundus image original data having different wavelengths by a change amount equal to or less than the threshold;
The spectral fundus image data measurement apparatus according to claim 3 or 4.
請求項5に記載の分光眼底画像データ測定装置。 The predetermined wavelength range is 540 to 610 nm, and the amount of change below the threshold is 10 nm;
The spectral fundus image data measurement apparatus according to claim 5.
請求項3乃至請求項6のいずれか1項に記載の分光眼底画像データ測定装置。 The tunable filter is a liquid crystal tunable filter;
The spectroscopic fundus image data measurement apparatus according to any one of claims 3 to 6.
請求項2乃至請求項7のいずれか1項に記載の分光眼底画像データ測定装置。 The data measurement unit selects a blood vessel portion on the short wavelength side and a choroidal blood vessel portion on the long wavelength side as the feature point, and corrects the position of the image;
The spectroscopic fundus image data measurement apparatus according to any one of claims 2 to 7.
請求項3乃至請求項8のいずれか1項に記載の分光眼底画像データ測定装置。 The data measuring unit can calculate the received light intensity and optical density (hereinafter referred to as OD in the claims) of arteries and veins;
The spectral fundus image data measurement apparatus according to any one of claims 3 to 8.
前記酸化ヘモグロビンの割合をマップ化する;
請求項9に記載の分光眼底画像データ測定装置。 The data measurement unit performs correction based on the diameter of the blood vessel at the site where the strength of the artery and vein is calculated, calculates the OD at each position on the retina, and calculates each position based on the spectral distribution of the OD of the artery and vein. OD factor analysis at, calculate the percentage of oxygenated hemoglobin at each position,
Map the proportion of oxyhemoglobin;
The spectral fundus image data measurement apparatus according to claim 9.
眼底からの反射光束を受光して、撮像部の受光面に動物の眼底像を形成する工程と;
前記所定の波長範囲で透過光束の波長を選択可能な液晶波長可変フィルタを照明光学系又は受光光学系のいずれかに配置し、前記液晶波長可変フィルタの透過光束の波長を変化させて、前記受光面からの信号に基づき分光眼底画像原データを取得する工程と;
データ測定部において、波長が閾値以下の変化量分異なる分光眼底画像原データ同士を比較照合して画像の位置補正を行い、前記所定の波長範囲における一連の分光眼底画像データを生成する工程とを備える;
分光眼底画像データ測定方法。 Illuminating the fundus of an animal eye with a light beam from an illumination light source that emits a light beam in a predetermined wavelength range;
Receiving a reflected light beam from the fundus and forming a fundus image of the animal on the light receiving surface of the imaging unit;
A liquid crystal wavelength tunable filter capable of selecting a wavelength of a transmitted light beam in the predetermined wavelength range is disposed in either an illumination optical system or a light receiving optical system, and the wavelength of the transmitted light beam of the liquid crystal wavelength tunable filter is changed to receive the light Obtaining spectral fundus image original data based on signals from the surface;
In the data measurement unit, a step of comparing and collating original spectral fundus image data different in wavelength by a change amount equal to or less than a threshold value to perform image position correction and generating a series of spectral fundus image data in the predetermined wavelength range. Prepare;
Spectral fundus image data measurement method.
又は、分光眼底画像原データのうち波長が最も高い原データを基準画像に、波長が2番目に高い原データを補正前画像として位置補正を行ない、次に、補正された補正前画像を新たな基準画像に、波長が3番目に高い原データを補正前画像として位置補正を行ない、以下、波長の高い方から波長の低い方へと順次位置補正を行なう;
請求項11に記載の分光眼底画像データ測定方法。 In performing the position correction of the image, the position correction is performed by using the original data with the lowest wavelength among the spectral fundus image original data as the reference image and the original data with the second lowest wavelength as the pre-correction image. The position correction is performed using the pre-correction image as a new reference image and the original data with the third lowest wavelength as the pre-correction image, and the position correction is performed sequentially from the lower wavelength to the higher wavelength;
Alternatively, position correction is performed using the original data with the highest wavelength among the spectral fundus image original data as the reference image and the original data with the second highest wavelength as the pre-correction image, and then the corrected pre-correction image is updated. The reference image is subjected to position correction using the original data with the third highest wavelength as the pre-correction image, and thereafter the position correction is sequentially performed from the higher wavelength to the lower wavelength;
The spectral fundus image data measurement method according to claim 11.
前記画像の位置補正は、前記波長が閾値以下の変化量分異なる分光眼底画像原データ同士で、特徴点を選択して相関処理及びアフィン変換又はヘルマート変換を用いて位置合わせを行い、
前記特徴点として、動脈、静脈を選択し、前記動脈、静脈の受光強度とODを算出し、
前記動脈、静脈の強度を算出した部位の血管の径により補正を行い、網膜上の各位置でのODを算出し、
動脈、静脈のODの分光分布を基に前記網膜上の各位置でのODの因子分析を行い、酸化ヘモグロビンの前記網膜上の各位置での割合を算出し、
前記分光眼底画像における酸化ヘモグロビンの割合をマップ化する;
請求項11又は請求項12に記載の分光眼底画像データ測定方法。 The spectral fundus image original data image is obtained by setting the predetermined wavelength range to 540 to 610 nm and the change amount of the selected wavelength in the liquid crystal wavelength tunable filter to 10 nm,
The positional correction of the image is performed by using spectral processing and affine transformation or Helmat transformation by selecting feature points between the spectral fundus image original data different from each other by the change amount of the wavelength below the threshold,
Select the artery and vein as the feature points, calculate the received light intensity and OD of the artery and vein,
Correction is performed by the diameter of the blood vessel at the site where the strength of the artery and vein is calculated, and the OD at each position on the retina is calculated.
Perform factor analysis of OD at each position on the retina based on the spectral distribution of OD of arteries and veins, calculate the ratio of oxyhemoglobin at each position on the retina,
Mapping the proportion of oxyhemoglobin in the spectral fundus image;
The spectral fundus image data measurement method according to claim 11 or 12.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004352093A JP4756854B2 (en) | 2004-12-03 | 2004-12-03 | Spectral fundus image data measuring apparatus and measuring method |
US11/292,277 US7850305B2 (en) | 2004-12-03 | 2005-12-02 | Apparatus and method for measuring spectrum image data of eyeground |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004352093A JP4756854B2 (en) | 2004-12-03 | 2004-12-03 | Spectral fundus image data measuring apparatus and measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006158547A true JP2006158547A (en) | 2006-06-22 |
JP4756854B2 JP4756854B2 (en) | 2011-08-24 |
Family
ID=36661183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004352093A Expired - Fee Related JP4756854B2 (en) | 2004-12-03 | 2004-12-03 | Spectral fundus image data measuring apparatus and measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4756854B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007330558A (en) * | 2006-06-15 | 2007-12-27 | Topcon Corp | Spectral fundus measuring apparatus and its measuring method |
JP2007330557A (en) * | 2006-06-15 | 2007-12-27 | Topcon Corp | Spectral fundus measuring apparatus and its measuring method |
WO2008117338A1 (en) * | 2007-03-22 | 2008-10-02 | Aqumen Biopharmaceuticals K.K. | Oxygen consumption measurement system and diagnostic system |
JP2009119173A (en) * | 2007-11-19 | 2009-06-04 | Panasonic Electric Works Co Ltd | Optical scanning measuring apparatus |
JP2012000266A (en) * | 2010-06-17 | 2012-01-05 | Canon Inc | Fundus imaging apparatus and control method therefor |
US8204300B2 (en) | 2007-05-02 | 2012-06-19 | Canon Kabushiki Kaisha | Image forming method and optical coherence tomograph apparatus using optical coherence tomography |
US8583217B2 (en) | 2008-10-06 | 2013-11-12 | Seiko Epson Corporation | In vivo drug concentration distribution measuring device, variable-wavelength filter used for the same, and in vivo drug concentration distribution measuring method |
US9121763B2 (en) | 2013-03-07 | 2015-09-01 | Seiko Epson Corporation | Spectrometer |
CN110477852A (en) * | 2019-08-02 | 2019-11-22 | 佛山科学技术学院 | A kind of iris vessels imaging system |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04332526A (en) * | 1991-05-07 | 1992-11-19 | Topcon Corp | Image processor for eye to be examined |
JPH04336677A (en) * | 1991-05-14 | 1992-11-24 | Canon Inc | Picture processing method and system using the same |
JP2001145603A (en) * | 1999-09-09 | 2001-05-29 | Konan Medical Inc | Oxygen concentration detector of fundus oculi blood vessel |
JP2001258853A (en) * | 2000-03-23 | 2001-09-25 | Konan Medical Inc | Fundus tissue photographic instrument |
JP2002507445A (en) * | 1998-03-26 | 2002-03-12 | ユニベルシテ ドゥ モントリオール | On-line real-time reflectance spectroscopy of oxygen supply in the patient's eye |
JP2002543863A (en) * | 1999-05-07 | 2002-12-24 | アプライド スペクトラル イメイジング リミテッド | Spectral biological imaging of the eye |
JP2003250764A (en) * | 2002-03-05 | 2003-09-09 | Kowa Co | Ophthalmologic imaging system |
WO2004049899A2 (en) * | 2002-12-02 | 2004-06-17 | Yeda Research And Development Co. Ltd. | Characterization of arteriosclerosis by optical imaging |
-
2004
- 2004-12-03 JP JP2004352093A patent/JP4756854B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04332526A (en) * | 1991-05-07 | 1992-11-19 | Topcon Corp | Image processor for eye to be examined |
JPH04336677A (en) * | 1991-05-14 | 1992-11-24 | Canon Inc | Picture processing method and system using the same |
JP2002507445A (en) * | 1998-03-26 | 2002-03-12 | ユニベルシテ ドゥ モントリオール | On-line real-time reflectance spectroscopy of oxygen supply in the patient's eye |
JP2002543863A (en) * | 1999-05-07 | 2002-12-24 | アプライド スペクトラル イメイジング リミテッド | Spectral biological imaging of the eye |
JP2001145603A (en) * | 1999-09-09 | 2001-05-29 | Konan Medical Inc | Oxygen concentration detector of fundus oculi blood vessel |
JP2001258853A (en) * | 2000-03-23 | 2001-09-25 | Konan Medical Inc | Fundus tissue photographic instrument |
JP2003250764A (en) * | 2002-03-05 | 2003-09-09 | Kowa Co | Ophthalmologic imaging system |
WO2004049899A2 (en) * | 2002-12-02 | 2004-06-17 | Yeda Research And Development Co. Ltd. | Characterization of arteriosclerosis by optical imaging |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007330558A (en) * | 2006-06-15 | 2007-12-27 | Topcon Corp | Spectral fundus measuring apparatus and its measuring method |
JP2007330557A (en) * | 2006-06-15 | 2007-12-27 | Topcon Corp | Spectral fundus measuring apparatus and its measuring method |
US7568800B2 (en) | 2006-06-15 | 2009-08-04 | Topcon Corporation | Apparatus and method for spectrally measuring fundus |
WO2008117338A1 (en) * | 2007-03-22 | 2008-10-02 | Aqumen Biopharmaceuticals K.K. | Oxygen consumption measurement system and diagnostic system |
US8204300B2 (en) | 2007-05-02 | 2012-06-19 | Canon Kabushiki Kaisha | Image forming method and optical coherence tomograph apparatus using optical coherence tomography |
US8384908B2 (en) | 2007-05-02 | 2013-02-26 | Canon Kabushiki Kaisha | Image forming method and optical coherence tomograph apparatus using optical coherence tomography |
JP2009119173A (en) * | 2007-11-19 | 2009-06-04 | Panasonic Electric Works Co Ltd | Optical scanning measuring apparatus |
US8583217B2 (en) | 2008-10-06 | 2013-11-12 | Seiko Epson Corporation | In vivo drug concentration distribution measuring device, variable-wavelength filter used for the same, and in vivo drug concentration distribution measuring method |
JP2012000266A (en) * | 2010-06-17 | 2012-01-05 | Canon Inc | Fundus imaging apparatus and control method therefor |
US9121763B2 (en) | 2013-03-07 | 2015-09-01 | Seiko Epson Corporation | Spectrometer |
CN110477852A (en) * | 2019-08-02 | 2019-11-22 | 佛山科学技术学院 | A kind of iris vessels imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP4756854B2 (en) | 2011-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7850305B2 (en) | Apparatus and method for measuring spectrum image data of eyeground | |
JP4854390B2 (en) | Spectral fundus measuring apparatus and measuring method thereof | |
JP4854389B2 (en) | Spectral fundus measuring apparatus and measuring method thereof | |
US8939583B2 (en) | Ophthalmic apparatus, method of controlling ophthalmic apparatus and storage medium | |
US9566001B2 (en) | Ophthalmologic apparatus | |
JP5773598B2 (en) | Image processing apparatus, image processing method, and program | |
JP4756854B2 (en) | Spectral fundus image data measuring apparatus and measuring method | |
JP2006525054A (en) | Measurement of macular pigment distribution | |
JP4656924B2 (en) | Spectral fundus image data measurement device | |
JP2018202104A (en) | Endoscope system, and endoscopic image acquisition method | |
CN114324268A (en) | Observation support device, information processing method, and program | |
JP5372540B2 (en) | Functional imaging ophthalmic apparatus and mask forming method | |
JP7123606B2 (en) | Image processing device, image processing method and program | |
US11642019B2 (en) | Ophthalmic device | |
US9808150B2 (en) | Image processing apparatus, control method therefor, and storage medium storing program | |
WO2019044457A1 (en) | Image acquisition device and control method thereof | |
Arimoto et al. | Retinal blood oxygen saturation mapping by multispectral imaging and morphological angiography | |
JP7086688B2 (en) | Imaging equipment and its control method | |
CN111528793B (en) | Retinal blood vessel optical radiography imaging system and method | |
JP2019063243A (en) | Ophthalmologic imaging apparatus | |
JP2010172614A (en) | Function imaging ophthalmic apparatus | |
JP7029324B2 (en) | Light source control device, ophthalmic device, and light source control method | |
JPH0595903A (en) | Opthamological apparatus | |
JP2022059765A (en) | Ophthalmologic apparatus, control method of ophthalmologic apparatus and program | |
CN115429531A (en) | Multifunctional anterior ocular segment surgery navigation microscope system and implementation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4756854 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |