JP2019208708A - Image creation method and ocular fundus image processing device - Google Patents

Image creation method and ocular fundus image processing device Download PDF

Info

Publication number
JP2019208708A
JP2019208708A JP2018105791A JP2018105791A JP2019208708A JP 2019208708 A JP2019208708 A JP 2019208708A JP 2018105791 A JP2018105791 A JP 2018105791A JP 2018105791 A JP2018105791 A JP 2018105791A JP 2019208708 A JP2019208708 A JP 2019208708A
Authority
JP
Japan
Prior art keywords
component
frequency
color
image
fundus image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018105791A
Other languages
Japanese (ja)
Other versions
JP7223308B2 (en
Inventor
茂出木 敏雄
Toshio Modegi
敏雄 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2018105791A priority Critical patent/JP7223308B2/en
Publication of JP2019208708A publication Critical patent/JP2019208708A/en
Application granted granted Critical
Publication of JP7223308B2 publication Critical patent/JP7223308B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

To provide an image creation method and an ocular fundus image processing device capable of accurately specifying a part corresponding to a macular area in an ocular fundus image.SOLUTION: An image creation method includes: a frequency dimension conversion step (S200) for subjecting images of each color component of a color ocular fundus image to frequency dimension conversion, and converting them to frequency component data composed of complex-number components for each color component; a frequency component modification step (S300) for modifying the frequency component data for each color component by setting a modification frequency range of component R narrower than modification frequency ranges of component G and component B and attenuating the frequency component with a predetermined frequency range as a modification frequency range for each color component in a low frequency region lower than a predetermined frequency for the complex-number components for each color component of the frequency component data; and a space dimension conversion step (S400) for subjecting the modified frequency component data for each color component to frequency dimension inverse conversion, and creating a correction color ocular fundus image composed of three color components of RGB.SELECTED DRAWING: Figure 6

Description

本開示は、眼底画像の処理技術に関し、特に、眼底画像において所定の対象領域を特定し、疾患の診断を支援するための技術に関する。   The present disclosure relates to a fundus image processing technique, and more particularly, to a technique for identifying a predetermined target region in a fundus image and supporting diagnosis of a disease.

従来、眼球の治療を対象として様々な研究がなされている。眼球における黄斑領域は、眼球の光センサーの中枢であり、黄斑領域に障害が起こると場合により失明に至る。黄斑領域のポピュラーな疾患として、糖尿病性網膜症(黄斑浮腫)と加齢黄斑変性症があり、視神経疾患の緑内障、水晶体疾患の白内障と並び、眼科分野で早期発見が叫ばれている。しかし、眼底画像上は視神経領域と対照的にコントラストが低く、健常者の眼底でも肉眼で識別が困難な場合も少なくなく、眼底検査で早期の黄斑病変を見つけることは困難である。   Conventionally, various studies have been made on eyeball treatment. The macular region in the eyeball is the center of the optical sensor of the eyeball, and when the macular region is damaged, it sometimes leads to blindness. As popular diseases in the macular region, there are diabetic retinopathy (macular edema) and age-related macular degeneration. Along with the glaucoma of the optic nerve disease and the cataract of the lens disease, early detection is screamed in the ophthalmic field. However, contrast on the fundus image is low in contrast to the optic nerve region, and it is often difficult to identify the fundus of a healthy person with the naked eye, and it is difficult to find early macular lesions by fundus examination.

眼底画像を用いた緑内障の診断において、視神経領域を正確に特定するにあたり、黄斑位置も特定することが行われている(特許文献1参照)。しかしながら、特許文献1の技術では、黄斑領域の解析や診断を行うことは想定していない。幸い、網膜の中で黄斑領域の中枢である中心窩は特有のくぼみがあるため、OCTにより網膜の断層撮影を行えば黄斑領域を特定することは比較的容易である。そのため、糖尿病性網膜症(黄斑浮腫)の自動診断を行うため、眼底画像とOCTを併用する方法も提案されており、OCTによる3次元形状を基に黄斑領域を特定し眼底画像上にマッピングする方法が提案されている(特許文献2参照)。即ち、眼底検査だけで黄斑領域の診断を行うことが困難なため、OCTを用いて黄斑領域の解析や診断を行う方法が現状の主流となっている。 In the diagnosis of glaucoma using the fundus image, the macular position is also specified in accurately specifying the optic nerve region (see Patent Document 1). However, the technique of Patent Document 1 does not assume that the macular region is analyzed or diagnosed. Fortunately, the central fovea, which is the center of the macular region in the retina, has a peculiar dent. Therefore, it is relatively easy to identify the macular region by performing tomographic imaging of the retina by OCT. Therefore, in order to automatically diagnose diabetic retinopathy (macular edema), a method using both fundus image and OCT has also been proposed, and the macular region is identified and mapped on the fundus image based on the three-dimensional shape by OCT. A method has been proposed (see Patent Document 2). That is, since it is difficult to diagnose a macular region only by a fundus examination, a method for analyzing and diagnosing the macular region using OCT has become the current mainstream.

特開平9-313447号公報JP-A-9-313447 特許第6025311号公報Japanese Patent No. 6025311

しかしながら、特許文献2に記載の技術は存在するが、OCTは高価なため検診等では使用される機会が少なく、眼底画像に比べて視野が狭いため、視神経や血管など他の網膜領域の病変を見逃しやすいという問題がある。   However, although the technique described in Patent Document 2 exists, since OCT is expensive, there are few opportunities to be used in medical examinations and the field of view is narrower than fundus images. There is a problem that it is easy to miss.

そこで、本開示は、眼底画像において、黄斑領域に相当する部分を的確に特定することが可能な画像作成方法、眼底画像処理装置を提供することを課題とする。   Therefore, an object of the present disclosure is to provide an image generation method and a fundus image processing apparatus that can accurately specify a portion corresponding to a macular region in a fundus image.

本開示では、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、
RGBの3色成分で構成されるカラー眼底画像に基づいて、黄斑領域を強調した補正カラー眼底画像を作成する画像作成方法であって、
前記カラー眼底画像の色成分ごとの画像に周波数次元変換を施し、色成分ごとに複素数成分で構成される周波数成分データに変換する周波数次元変換ステップと、
所定の周波数より低い低周波数域において、色成分ごとに所定の周波数範囲を改変周波数範囲とし、R成分の改変周波数範囲をG成分またはB成分の改変周波数範囲よりも狭く設定し、前記色成分ごとの周波数成分データのうち前記改変周波数範囲の値を減衰させる周波数成分改変ステップと、
改変された色成分ごとの周波数成分データに周波数次元逆変換を施し、RGBの3色成分で構成される補正カラー眼底画像を作成する空間次元変換ステップと、
を有することを特徴とする画像作成方法を提供する。
The present disclosure includes a plurality of means for solving the above problems.
An image creation method for creating a corrected color fundus image in which a macular region is emphasized based on a color fundus image composed of three color components of RGB,
A frequency dimension conversion step of performing frequency dimension conversion on an image for each color component of the color fundus image and converting the frequency component data to complex frequency components for each color component;
In a low frequency range lower than a predetermined frequency, the predetermined frequency range is set as a modified frequency range for each color component, the modified frequency range of the R component is set narrower than the modified frequency range of the G component or the B component, A frequency component modification step for attenuating the value of the modified frequency range in the frequency component data of
A spatial dimension conversion step of performing frequency dimension inverse transformation on the frequency component data for each modified color component to create a corrected color fundus image composed of three color components of RGB;
An image creating method is provided.

また、本開示の画像作成方法は、
前記周波数成分改変ステップは、前記R成分の周波数成分データの複素数成分に対して、前記所定の周波数より高い高周波数域において、所定の周波数範囲をさらに改変周波数範囲と設定し、前記R成分の周波数成分データのうち当該改変周波数範囲の値を減衰させることを特徴とする。
In addition, the image creation method of the present disclosure includes:
The frequency component modification step further sets a predetermined frequency range as a modified frequency range in a high frequency range higher than the predetermined frequency with respect to the complex number component of the frequency component data of the R component, and the frequency of the R component Of the component data, the value of the modified frequency range is attenuated.

また、本開示の画像作成方法は、
前記改変周波数範囲は、直流成分の位置からの2次元ユークリッド距離が所定の範囲である扇形領域により定められるものであり、前記直流成分の位置は、正方形で表現された前記周波数成分データの4隅であることを特徴とする。
In addition, the image creation method of the present disclosure includes:
The modified frequency range is defined by a sector region in which the two-dimensional Euclidean distance from the position of the DC component is a predetermined range, and the position of the DC component is the four corners of the frequency component data expressed by a square. It is characterized by being.

また、本開示の画像作成方法は、
前記周波数成分改変ステップは、前記色成分ごとの周波数成分データの値に対して、所定の倍率で増大する処理を、さらに行うことを特徴とする。
In addition, the image creation method of the present disclosure includes:
In the frequency component modification step, a process of increasing the frequency component data value for each color component at a predetermined magnification is further performed.

また、本開示の画像作成方法は、
前記空間次元変換ステップは、前記補正カラー眼底画像を作成する際、前記RGBの3色成分の値に対して、とりうる最大値より減算してネガ反転する処理を、さらに行うことを特徴とする。
In addition, the image creation method of the present disclosure includes:
The spatial dimension conversion step further performs a process of subtracting a negative value from the maximum possible values for the values of the three color components of RGB when creating the corrected color fundus image, and performing negative inversion. .

また、本開示の画像作成方法は、
前記空間次元変換ステップの後に、
前記補正カラー眼底画像の前記R成分の画像を、黄斑領域が特に強調された特定色画像として抽出する特定色画像抽出ステップをさらに有することを特徴とする。
In addition, the image creation method of the present disclosure includes:
After the spatial dimension conversion step,
The method further includes a specific color image extracting step of extracting the R component image of the corrected color fundus image as a specific color image in which a macular region is particularly emphasized.

また、本開示の画像作成方法は、
前記特定色画像に対して、
最大値をもつ画素の座標である最大値位置を探索し、
探索された最大値位置を中心に所定の大きさの解析範囲を設定し、
前記最大値に対して1未満の実数値を乗算したしきい値を設定し、
前記解析範囲で前記しきい値以上の値をもつ画素の個数をカウントし、
前記カウントされた画素の個数と前記解析範囲の全画素数との比率を、進行度パラメータとして算出する定量評価ステップを、
さらに有することを特徴とする。
In addition, the image creation method of the present disclosure includes:
For the specific color image,
Search for the maximum position that is the coordinates of the pixel with the maximum value,
Set the analysis range of a predetermined size around the searched maximum value position,
Set a threshold value obtained by multiplying the maximum value by a real value less than 1,
Count the number of pixels having a value equal to or greater than the threshold value in the analysis range,
A quantitative evaluation step of calculating a ratio of the counted number of pixels and the total number of pixels in the analysis range as a progress parameter;
Furthermore, it is characterized by having.

また、本開示の画像作成方法は、
前記カラー眼底画像の画素数をXs×Ysとするとき、Ns/2<Ys≦Xs<Nsを満たす2のn乗 (nは正の整数)の整数Nsを定義し、
前記カラー眼底画像に対してダミー画素を付加して、Ns×Ns画素の拡大カラー眼底画像に変換する画像サイズ拡大ステップをさらに有し、
前記周波数次元変換ステップは、前記拡大カラー眼底画像の色成分ごとにNs×Ns画素で構成される色成分の画像に対して、2次元高速フーリエ変換を施し、色成分ごとにNs×Ns画素の複素数成分で構成される周波数成分データに変換するようにし、
前記周波数成分改変ステップは、前記Ns×Ns画素の複素数成分で構成される周波数成分データに対して改変を加えるようにし、
前記空間次元変換ステップは、改変された前記Ns×Ns画素の周波数成分データの色成分ごとに、2次元高速フーリエ逆変換を施し、RGBの3色成分のNs×Ns画素の補正拡大カラー眼底画像を作成した後、前記補正拡大カラー眼底画像より、前記ダミー画素に対応する画素を除去し、Xs×Ys画素の前記補正カラー眼底画像に変換することを特徴とする。
In addition, the image creation method of the present disclosure includes:
When the number of pixels of the color fundus image is Xs × Ys, an integer Ns of 2 n (n is a positive integer) that satisfies Ns / 2 <Ys ≦ Xs <Ns is defined,
An image size enlargement step of adding a dummy pixel to the color fundus image and converting it to an enlarged color fundus image of Ns × Ns pixels;
In the frequency dimension conversion step, a two-dimensional fast Fourier transform is performed on a color component image composed of Ns × Ns pixels for each color component of the enlarged color fundus image, and Ns × Ns pixels for each color component. It converts to frequency component data composed of complex number components,
The frequency component modification step modifies the frequency component data composed of complex components of the Ns × Ns pixels,
In the spatial dimension conversion step, two-dimensional fast Fourier inverse transform is performed for each color component of the modified frequency component data of the Ns × Ns pixels, and a corrected enlarged color fundus image of Ns × Ns pixels of three RGB components Then, the pixel corresponding to the dummy pixel is removed from the corrected enlarged color fundus image and converted to the corrected color fundus image of Xs × Ys pixels.

また、本開示の画像作成方法は、
前記周波数成分改変ステップは、Ns=1024(n=10)の場合、前記低周波数域における改変周波数範囲として、前記2次元ユークリッド距離が1から10の範囲で設定するようにしていることを特徴とする。
In addition, the image creation method of the present disclosure includes:
In the frequency component modification step, when Ns = 1024 (n = 10), the two-dimensional Euclidean distance is set in the range of 1 to 10 as the modified frequency range in the low frequency range. To do.

また、本開示では、
RGBの3色成分で構成されるカラー眼底画像に基づき、黄斑領域を強調した補正カラー眼底画像を作成する眼底画像処理装置であって、
前記カラー眼底画像の各色成分の画像に周波数次元変換を施し、色成分ごとに複素数成分で構成される周波数成分データに変換する周波数次元変換手段と、
前記周波数成分データの各色成分の複素数成分に対して、
所定の周波数より低い低周波数域において、色成分ごとに所定の周波数範囲を改変周波数範囲とし、R成分の改変周波数範囲を、G成分、B成分の改変周波数範囲よりも狭く設定して減衰させることにより、周波数成分データを色成分ごとに改変する周波数成分改変手段と、
改変された色成分ごとの周波数成分データに周波数次元逆変換を施し、RGBの3色成分で構成される補正カラー眼底画像を作成する空間次元変換手段と、
を有することを特徴とする眼底画像処理装置を提供する。
In the present disclosure,
A fundus image processing apparatus for creating a corrected color fundus image in which a macular region is emphasized based on a color fundus image composed of RGB three-color components,
Frequency dimensional conversion means for performing frequency dimensional conversion on each color component image of the color fundus image and converting the frequency component data to complex frequency components for each color component;
For the complex number component of each color component of the frequency component data,
In a low frequency range lower than a predetermined frequency, a predetermined frequency range is set as a modified frequency range for each color component, and the modified frequency range of the R component is set to be narrower than the modified frequency ranges of the G component and the B component and attenuated. The frequency component modification means for modifying the frequency component data for each color component,
A spatial dimension conversion means for performing frequency dimension inverse transformation on the frequency component data for each modified color component and creating a corrected color fundus image composed of three color components of RGB;
There is provided a fundus image processing apparatus characterized by comprising:

また、本開示では、
コンピュータを、
カラー眼底画像の各色成分の画像に周波数次元変換を施し、色成分ごとに複素数成分で構成される周波数成分データに変換する周波数次元変換ステップ、
前記周波数成分データの各色成分の複素数成分に対して、所定の周波数より低い低周波数域において、色成分ごとに所定の周波数範囲を改変周波数範囲とし、R成分の改変周波数範囲を、G成分またはB成分の改変周波数範囲よりも狭く設定して減衰させることにより、周波数成分データを色成分ごとに改変する周波数成分改変ステップ、
改変された色成分ごとの周波数成分データに周波数次元逆変換を施し、RGBの3色成分で構成される補正カラー眼底画像を作成する空間次元変換ステップ、
として機能させるためのプログラムを提供する。
In the present disclosure,
Computer
A frequency dimension conversion step of performing frequency dimension conversion on the image of each color component of the color fundus image and converting the frequency component data to complex frequency components for each color component;
With respect to the complex number component of each color component of the frequency component data, in a low frequency range lower than a predetermined frequency, the predetermined frequency range for each color component is set as the modified frequency range, and the modified frequency range of the R component is set as the G component or B component. A frequency component modification step for modifying the frequency component data for each color component by setting the component to be narrower than the modified frequency range and attenuating it.
A spatial dimension conversion step of performing a frequency dimension inverse transform on the frequency component data for each modified color component to create a corrected color fundus image composed of three color components of RGB;
Provide a program to function as

また、本開示では、
コンピュータを、
カラー眼底画像の各色成分の画像に周波数次元変換を施し、色成分ごとに複素数成分で構成される周波数成分データに変換する周波数次元変換ステップ、
前記周波数成分データの各色成分の複素数成分に対して、所定の周波数より低い低周波数域において、色成分ごとに所定の周波数範囲を改変周波数範囲とし、R成分の改変周波数範囲を、G成分またはB成分の改変周波数範囲よりも狭く設定して減衰させることにより、周波数成分データを色成分ごとに改変する周波数成分改変ステップ、
改変された色成分ごとの周波数成分データに周波数次元逆変換を施し、RGBの3色成分で構成される補正カラー眼底画像を作成する空間次元変換ステップ、
として機能させるためのプログラムを記録した記録媒体を提供する。
In the present disclosure,
Computer
A frequency dimension conversion step of performing frequency dimension conversion on the image of each color component of the color fundus image and converting the frequency component data to complex frequency components for each color component;
With respect to the complex number component of each color component of the frequency component data, in a low frequency range lower than a predetermined frequency, the predetermined frequency range for each color component is set as the modified frequency range, and the modified frequency range of the R component is set as the G component or B component. A frequency component modification step for modifying the frequency component data for each color component by setting the component to be narrower than the modified frequency range and attenuating it.
A spatial dimension conversion step of performing a frequency dimension inverse transform on the frequency component data for each modified color component to create a corrected color fundus image composed of three color components of RGB;
A recording medium on which a program for causing the program to function is recorded.

本開示によれば、眼底画像において、黄斑領域に相当する部分を的確に特定することが可能となる。   According to the present disclosure, it is possible to accurately specify a portion corresponding to a macular region in a fundus image.

カラー眼底画像、色空間それぞれにおける眼球内の組織の分布を示す図である。It is a figure which shows distribution of the structure | tissue in the eyeball in each of a color fundus image and color space. 眼底画像と、図1と異なる色空間それぞれにおける眼球内の組織の分布を示す図である。It is a figure which shows distribution of the structure | tissue in the eyeball in each color space different from a fundus image and FIG. カラー眼底画像と断層構造および空間周波数特性の関係を示す図である。It is a figure which shows the relationship between a color fundus image, a tomographic structure, and a spatial frequency characteristic. 本開示の一実施形態に係る眼底画像処理装置のハードウェア構成図である。2 is a hardware configuration diagram of a fundus image processing apparatus according to an embodiment of the present disclosure. FIG. 本開示の一実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。2 is a functional block diagram illustrating a configuration of a fundus image processing apparatus according to an embodiment of the present disclosure. FIG. 本実施形態の眼底画像処理装置の処理概要であると同時に、画像作成方法を示すフローチャートである。6 is a flowchart showing an image creation method as well as an outline of processing of the fundus image processing apparatus of the present embodiment. 本実施形態の画像作成方法、眼底画像処理装置の処理による画像の変化の様子を示す図である。It is a figure which shows the mode of the change of the image by the image preparation method of this embodiment, and the process of a fundus image processing apparatus. 健常者について、本実施形態に係る画像作成方法、眼底画像処理装置により作成された画像を示す図である。It is a figure which shows the image produced by the image production method which concerns on this embodiment, and a fundus image processing apparatus about a healthy person. 糖尿病黄斑浮腫の患者について、本実施形態に係る画像作成方法、眼底画像処理装置により作成された画像を示す図である。It is a figure which shows the image produced by the image production method which concerns on this embodiment, and a fundus image processing apparatus about a patient with diabetic macular edema.

以下、本開示の好適な実施形態について図面を参照して詳細に説明する。
<1.本開示の基本概念>
まず、本開示の基本概念について説明する。図1は、カラー眼底画像、色空間それぞれにおける眼底内の組織の分布を示す図である。図1(a)は、カラー眼底画像における各組織の位置を示した図である。図1(b)は、カラー眼底画像における各組織の二次元の色分布をR成分、G成分に対応付けて示した図である。図1においては、代表的な部位である視神経乳頭のDisc領域、視神経乳頭のCup領域、視神経乳頭部の周辺のPPA(β−Peripapillary Atrophy、乳頭周囲網脈絡膜萎縮)領域、動脈血管(Artery)、静脈血管(Vein)、黄斑(Macular)、これらの6領域以外の領域(Background)の大まかな分布を示している。図1(b)に示すように、Disc領域とCup領域は、R成分により他の領域との差が明確となり、G成分によりDisc領域とCup領域の相互の差も明確となる。ところが、黄斑領域は、R成分では、動脈血管、静脈血管との区別が難しく、G成分では、動脈血管、PPAとの区別が難しい。
Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the drawings.
<1. Basic concept of the present disclosure>
First, the basic concept of the present disclosure will be described. FIG. 1 is a diagram illustrating the distribution of tissues in the fundus in each of the color fundus image and the color space. FIG. 1A is a diagram showing the position of each tissue in a color fundus image. FIG. 1B is a diagram showing the two-dimensional color distribution of each tissue in the color fundus image in association with the R component and the G component. In FIG. 1, the disc region of the optic nerve head, the Cup region of the optic nerve head, the PPA (β-Peripillary Atrophy) region around the optic nerve head, the arterial blood vessel (Artery), A rough distribution of venous blood vessels (Vein), macular (Macular), and regions other than these six regions (Bacground) is shown. As shown in FIG. 1B, the difference between the Disc region and the Cup region from other regions is clarified by the R component, and the difference between the Disc region and the Cup region is also clarified by the G component. However, the macular region is difficult to distinguish from arterial blood vessels and venous blood vessels in the R component, and difficult to distinguish from arterial blood vessels and PPA in the G component.

図2は、眼底画像と、図1と異なる色空間それぞれにおける眼球内の組織の分布を示す図である。図2(a)は、眼底画像における各組織の位置を示した図であり、図1(a)と同じものである。図2(b)は、カラー眼底画像における各組織の二次元の色分布をR−B色差成分、G−B色差成分に対応付けて示した図である。R−B色差成分とは、R成分からB成分を減じた成分であり、G−B色差成分とは、G成分からB成分を減じた成分である。図2においても、図1と同様、代表的な部位である視神経乳頭のDisc領域、視神経乳頭のCup領域、視神経乳頭部の周辺のPPA領域、動脈血管(Artery)、静脈血管(Vein)、黄斑(Macular)、これらの6領域以外の領域(Background)の大まかな分布を示している。図2(b)に示すように、黄斑領域は、R−B成分、G−B成分どちらにおいても、動脈血管、静脈血管との区別が難しい。   FIG. 2 is a diagram illustrating a fundus image and a distribution of tissues in the eyeball in different color spaces from those in FIG. FIG. 2 (a) is a diagram showing the position of each tissue in the fundus image, and is the same as FIG. 1 (a). FIG. 2B is a diagram showing the two-dimensional color distribution of each tissue in the color fundus image in association with the RB color difference component and the GB color difference component. The RB color difference component is a component obtained by subtracting the B component from the R component, and the GB color difference component is a component obtained by subtracting the B component from the G component. Also in FIG. 2, as in FIG. 1, the disc region of the optic disc, the Cup region of the optic disc, the PPA region around the optic disc, arterial blood vessels (Artery), venous blood vessels (Vein), macular (Macular), showing a rough distribution of regions (Bacground) other than these six regions. As shown in FIG. 2B, the macular region is difficult to distinguish from arterial blood vessels and venous blood vessels in both the RB component and the GB component.

図3は、カラー眼底画像と断層構造および空間周波数特性の関係を示す図である。図3(a)は、健常者のカラー眼底画像であり、図3(b)は健常者の黄斑断面、図3(c)は図3(a)のカラー眼底画像に対して周波数次元に変換し、周波数成分データを1次元スペクトルにプロットした空間周波数特性である。また、図3(d)は、比較的進行した加齢黄斑変性の場合のカラー眼底画像であり、図3(e)は加齢黄斑変性の場合の黄斑断面、図3(f)は図3(d)のカラー眼底画像の空間周波数特性である。図3(c)(f)における横軸は、空間周波数に対応し画素と同じ単位で表現したもので、“0”は直流で、“1”は、円形の眼底像の直径(眼球の直径にほぼ等しい)を1周期とする空間周波数に相当し、“2” は、同直径の1/2を周期とする空間周波数に相当する。   FIG. 3 is a diagram illustrating a relationship between a color fundus image, a tomographic structure, and a spatial frequency characteristic. 3A is a color fundus image of a healthy person, FIG. 3B is a macular cross section of the healthy person, and FIG. 3C is a frequency dimension converted to the color fundus image of FIG. 3A. The frequency component data is a spatial frequency characteristic plotted on a one-dimensional spectrum. 3 (d) is a color fundus image in the case of relatively advanced age-related macular degeneration, FIG. 3 (e) is a macular cross section in the case of age-related macular degeneration, and FIG. 3 (f) is FIG. It is a spatial frequency characteristic of the color fundus image of (d). 3C and 3F, the horizontal axis corresponds to the spatial frequency and is expressed in the same unit as the pixel, “0” is direct current, and “1” is the diameter of the circular fundus image (the diameter of the eyeball). Is equivalent to a spatial frequency having a period of “1” and “2” corresponds to a spatial frequency having a period of ½ of the same diameter.

図3(b)と図3(e)を比較するとわかるように、加齢黄斑変性等の黄斑病変が進行すると、新生血管から液が滲出し、黄斑を押し上げる。これにより、眼底画像において黄斑領域は拡大して見える。図3(c)と図3(f)を比較するとわかるように、加齢黄斑変性の場合、Rの空間周波数成分は、周波数値15以上になると、G成分、B成分よりも大きくなる。ただし、比較的早期の加齢黄斑変性の場合は、図3(d)に対応する眼底画像や図3(f)に対応する1次元スペクトルで表現された空間周波数特性では、健常者との差を認識することは困難な場合が多い。   As can be seen by comparing FIG. 3B and FIG. 3E, when a macular lesion such as age-related macular degeneration progresses, fluid exudes from the new blood vessels and pushes up the macula. Thereby, the macular region appears enlarged in the fundus image. As can be seen by comparing FIG. 3C and FIG. 3F, in the case of age-related macular degeneration, the spatial frequency component of R becomes larger than the G component and the B component when the frequency value is 15 or more. However, in the case of relatively early age-related macular degeneration, the spatial frequency characteristics expressed by the fundus image corresponding to FIG. 3D and the one-dimensional spectrum corresponding to FIG. Is often difficult to recognize.

前述の通り、図1(b)、図2(b)に示すように、黄斑領域は、R成分、G成分、R−B色差成分、G−B色差成分などの色情報のみから、他の領域と区別することは難しい。しかし、図3(b)と図3(e)に示すように、OCTにより観察される3次元の断層像では深さ方向に顕著な特徴があり、健常者の黄斑領域は中心窩を中心に同心円状のくぼみがあるため、眼底カメラの照明光により反射される輝度分布は他の網膜領域とは異なる空間周波数分布をもつことが推察される。更に、図3(e)のように黄斑浮腫により盛り上がりが起こったり、黄斑変性により黄斑組織の変化や欠損が生じれば、空間周波数分布に顕著な変化が起こることが推察される。ただし、図3(c)と図3(f)に示した1次元スペクトルでは、周波数値が5以下の低域の周波数成分(眼底部の3次元的な球面形状を反映している)が顕著に現れるため、周波数値が5から15以下の範囲に含まれる黄斑領域の周波数成分がマスキングされて、黄斑領域の特徴が識別困難な状態になっている。そこで、本開示では、このような黄斑領域の空間周波数特性を利用して、低域の周波数成分をカットし、黄斑領域を強調した眼底画像を再構築するようにした。   As described above, as shown in FIG. 1B and FIG. 2B, the macular region is obtained only from color information such as R component, G component, RB color difference component, and GB color difference component, and the like. It is difficult to distinguish it from an area. However, as shown in FIGS. 3B and 3E, the three-dimensional tomographic image observed by OCT has a remarkable feature in the depth direction, and the macular region of a healthy person is centered on the fovea. Since there are concentric depressions, it is assumed that the luminance distribution reflected by the illumination light of the fundus camera has a spatial frequency distribution different from that of other retinal regions. Further, as shown in FIG. 3 (e), it is inferred that if the swell occurs due to macular edema, or if macular tissue changes or lacks due to macular degeneration, a significant change occurs in the spatial frequency distribution. However, in the one-dimensional spectrum shown in FIG. 3C and FIG. 3F, a low-frequency component having a frequency value of 5 or less (reflecting the three-dimensional spherical shape of the fundus) is prominent. Therefore, the frequency component of the macular region included in the frequency range of 5 to 15 or less is masked, and the feature of the macular region is difficult to identify. Therefore, in the present disclosure, the fundus image in which the low frequency component is cut and the macular region is emphasized is reconstructed using such a spatial frequency characteristic of the macular region.

<2.眼底画像処理装置の装置構成>
図4は、本開示の一実施形態に係る眼底画像処理装置のハードウェア構成図である。本実施形態に係る眼底画像処理装置100は、汎用のコンピュータで実現することができ、図41に示すように、CPU(Central Processing Unit)1と、コンピュータのメインメモリであるRAM(Random Access Memory)2と、CPU1が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の大容量の記憶装置3と、キーボード、マウス等の指示入力I/F(インターフェース)4と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力I/F(インターフェース)5と、液晶ディスプレイ等の表示デバイスである表示部6と、を備え、互いにバスを介して接続されている。本実施形態に係る眼底画像処理装置100は、本開示の一実施形態に係る画像作成方法も実行する。
<2. Configuration of fundus image processing apparatus>
FIG. 4 is a hardware configuration diagram of a fundus image processing apparatus according to an embodiment of the present disclosure. The fundus image processing apparatus 100 according to the present embodiment can be realized by a general-purpose computer. As shown in FIG. 41, a CPU (Central Processing Unit) 1 and a RAM (Random Access Memory) that is a main memory of the computer. 2, a large-capacity storage device 3 such as a hard disk or flash memory for storing programs and data executed by the CPU 1, an instruction input I / F (interface) 4 such as a keyboard and a mouse, and a data storage medium A data input / output I / F (interface) 5 for data communication with an external apparatus and a display unit 6 which is a display device such as a liquid crystal display are provided, and are connected to each other via a bus. The fundus image processing apparatus 100 according to the present embodiment also executes an image creation method according to an embodiment of the present disclosure.

図5は、本実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。図5において、10は画像サイズ拡大手段、20は周波数次元変換手段、30は周波数成分改変手段、40は空間次元変換手段、50は特定色画像抽出手段、60は定量評価手段、70は眼底画像記憶手段、80は処理データ記憶手段である。   FIG. 5 is a functional block diagram showing a configuration of the fundus image processing apparatus according to the present embodiment. In FIG. 5, 10 is an image size enlarging means, 20 is a frequency dimension converting means, 30 is a frequency component modifying means, 40 is a spatial dimension converting means, 50 is a specific color image extracting means, 60 is a quantitative evaluation means, and 70 is a fundus image. Storage means 80 is a processing data storage means.

画像サイズ拡大手段10は、カラー眼底画像の画素数をXs×Ysとするとき、Ns/2<Ys≦Xs<Nsを満たす2のn乗 (nは正の整数)の整数Nsを定義し、カラー眼底画像に対してダミー画素を付加して、Ns×Ns画素の拡大カラー眼底画像に変換する手段である。周波数次元変換手段20は、カラー眼底画像の各色成分の画像に対して、周波数次元変換を施し、色成分ごとに複素数成分で構成される周波数成分データに変換する手段である。周波数成分改変手段30は、周波数成分データの各色成分の複素数成分に対して、所定の周波数より低い低周波数域において、色成分ごとに所定の周波数範囲を改変周波数範囲とし、R成分の改変周波数範囲を、G成分、B成分の改変周波数範囲よりも狭く設定して減衰させることにより、周波数成分データを色成分ごとに改変する手段である。   When the number of pixels of the color fundus image is Xs × Ys, the image size enlarging means 10 defines an integer Ns of 2 n (n is a positive integer) that satisfies Ns / 2 <Ys ≦ Xs <Ns, This is means for adding a dummy pixel to the color fundus image and converting it to an enlarged color fundus image of Ns × Ns pixels. The frequency dimension conversion means 20 is a means for performing frequency dimension conversion on the image of each color component of the color fundus image and converting it into frequency component data composed of complex components for each color component. The frequency component modifying unit 30 sets a predetermined frequency range for each color component in a low frequency range lower than a predetermined frequency with respect to the complex number component of each color component of the frequency component data, and an R component modified frequency range. Is set to be narrower than the modified frequency range of the G component and the B component and attenuated, thereby modifying the frequency component data for each color component.

空間次元変換手段40は、改変された色成分ごとの周波数成分データに対して、周波数次元逆変換を施し、RGBの3色成分で構成される補正カラー眼底画像を作成する手段である。特定色画像抽出手段50は、補正カラー眼底画像のR成分の画像を、黄斑領域が特に強調された特定色画像として抽出する手段である。定量評価手段60は、特定色画像に対して、最大値をもつ画素の座標である最大値位置を探索し、探索された最大値位置を中心に所定の大きさの解析範囲を設定し、最大値に対して1未満の実数値を乗算したしきい値を設定し、解析範囲でしきい値以上の値をもつ画素の個数をカウントし、カウント値と解析範囲の全画素数との比率を、進行度パラメータとして算出する手段である。   The spatial dimension conversion means 40 is a means for performing a frequency dimension inverse conversion on the frequency component data for each modified color component to create a corrected color fundus image composed of three color components of RGB. The specific color image extracting unit 50 is a unit that extracts the R component image of the corrected color fundus image as a specific color image in which the macular region is particularly emphasized. The quantitative evaluation means 60 searches for the maximum value position which is the coordinates of the pixel having the maximum value with respect to the specific color image, sets an analysis range of a predetermined size around the searched maximum value position, and sets the maximum Set a threshold value by multiplying the value by a real value less than 1, count the number of pixels with a value greater than or equal to the threshold value in the analysis range, and calculate the ratio between the count value and the total number of pixels in the analysis range. It is a means for calculating as a progress parameter.

画像サイズ拡大手段10、周波数次元変換手段20、周波数成分改変手段30、空間次元変換手段40、特定色画像抽出手段50、定量評価手段60は、CPU1が、記憶装置3に記憶されているプログラムを実行することにより実現される。眼底画像記憶手段70は、可視光・光源方式の眼底カメラを用いてフルカラーで撮影された、黄斑領域の抽出対象となるカラー眼底画像を記憶した記憶手段であり、記憶装置3により実現される。眼底画像処理装置にカラー眼底画像を読み込ませて、そのまま処理を行う場合は、RAM2が眼底画像記憶手段70としての役割を果たす。   The image size enlarging means 10, the frequency dimension converting means 20, the frequency component modifying means 30, the spatial dimension converting means 40, the specific color image extracting means 50, and the quantitative evaluation means 60 are programs that the CPU 1 stores in the storage device 3. It is realized by executing. The fundus image storage unit 70 is a storage unit that stores a color fundus image, which is a target for extracting a macular region, captured in full color using a visible light / light source type fundus camera, and is realized by the storage device 3. When the color fundus image is read by the fundus image processing apparatus and processing is performed as it is, the RAM 2 serves as the fundus image storage unit 70.

カラー眼底画像とは、R(赤)、G(緑)、B(青)の3色成分により記録された画像データであり、被験者の眼底が撮影されたものである。本実施形態では、RGB各色8ビット256階調で記録されたフルカラー眼底画像を用いている。処理データ記憶手段80は、空間次元変換手段40、特定色画像抽出手段50等により作成された画像や、定量評価手段60により算出された定量評価等のデータを記憶する記憶手段であり、記憶装置3により実現される。   The color fundus image is image data recorded with three color components of R (red), G (green), and B (blue), and is obtained by photographing the fundus of the subject. In the present embodiment, a full-color fundus image recorded with 8-bit 256 gradations for each RGB color is used. The processing data storage means 80 is a storage means for storing data such as an image created by the space dimension conversion means 40, the specific color image extraction means 50, etc., and quantitative evaluation calculated by the quantitative evaluation means 60, etc. 3 is realized.

図5に示した各構成手段は、現実には図4に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。なお、本明細書において、コンピュータとは、CPU等の演算処理部を有し、データ処理が可能な装置を意味し、パーソナルコンピュータなどの汎用コンピュータだけでなく、タブレット端末やスマートフォン等の携帯型端末も含む。   Each component means shown in FIG. 5 is actually realized by installing a dedicated program in hardware such as a computer and its peripheral devices as shown in FIG. That is, the computer executes the contents of each means according to a dedicated program. In this specification, the computer means a device having an arithmetic processing unit such as a CPU and capable of data processing, and is not only a general-purpose computer such as a personal computer but also a portable terminal such as a tablet terminal or a smartphone. Including.

図4に示した記憶装置3には、CPU1を動作させながら、コンピュータに、画像作成方法を実行させるとともに、コンピュータを、眼底画像処理装置として機能させるための専用のプログラムが実装されている。この専用のプログラムをコンピュータが実行することにより、CPU1は、画像サイズ拡大手段10、周波数次元変換手段20、周波数成分改変手段30、空間次元変換手段40、特定色画像抽出手段50、定量評価手段60としての機能を実現する。すなわち、コンピュータにより画像作成方法が実現され、眼底画像処理装置として機能することになる。このようなプログラムは、コンピュータネットワークを介して流通させたり、CD、DVD、ブルーレイ等、様々な記録媒体に記録させて流通させることができる。また、記憶装置3は、眼底画像記憶手段70、処理データ記憶手段80として機能するだけでなく、画像作成方法、眼底画像処理装置としての処理に必要な様々なデータを記憶する。   In the storage device 3 shown in FIG. 4, a dedicated program for causing a computer to execute an image creation method while operating the CPU 1 and causing the computer to function as a fundus image processing device is installed. When the dedicated program is executed by the computer, the CPU 1 causes the image size enlarging means 10, the frequency dimension converting means 20, the frequency component modifying means 30, the space dimension converting means 40, the specific color image extracting means 50, and the quantitative evaluation means 60. As a function. That is, the image creation method is realized by a computer and functions as a fundus image processing apparatus. Such a program can be distributed via a computer network, or can be distributed by being recorded on various recording media such as CD, DVD, Blu-ray. The storage device 3 not only functions as the fundus image storage unit 70 and the processing data storage unit 80 but also stores various data necessary for the image creation method and the processing as the fundus image processing device.

<3.画像作成方法>
<3.1.前処理>
まず、処理対象とするカラー眼底画像を用意する。カラー眼底画像としては、デジタル方式の眼底カメラによりフルカラーで撮影した画像ファイルがあれば、そのまま使用できる。また、アナログ方式の眼底カメラにより写真媒体に記録された古いものであれば、保管されていたアナログのカラーのネガ・ポジフィルム、印画紙、インスタント写真等をスキャナによりフルカラーで読み取る等してデジタルのカラー眼底画像ファイルを取得する。一般には、可視光・光源方式の眼底カメラを用いてフルカラーで撮影することによりカラー眼底画像が得られる。取得したカラー眼底画像は、眼底画像処理装置の眼底画像記憶手段70に記憶させる。本実施形態では、カラー眼底画像としてR,G,B各成分8ビット256階調のカラー画像を用意する。
<3. Image creation method>
<3.1. Pretreatment>
First, a color fundus image to be processed is prepared. As a color fundus image, if there is an image file taken in full color by a digital fundus camera, it can be used as it is. In addition, if it is an old one recorded on a photographic medium by an analog fundus camera, the stored digital color negative / positive film, photographic paper, instant photo, etc. are read in full color with a scanner. Get color fundus image file. Generally, a color fundus image is obtained by photographing in full color using a visible light / light source type fundus camera. The acquired color fundus image is stored in the fundus image storage means 70 of the fundus image processing apparatus. In the present embodiment, a color image of R, G, B component 8-bit 256 gradation is prepared as a color fundus image.

<3.2.処理概要>
次に、図4、図5に示した眼底画像処理装置の処理動作について、本開示の一実施形態に係る画像作成方法とともに、説明する。図6は、本実施形態の眼底画像処理装置の処理概要であると同時に、画像作成方法を示すフローチャートである。上述のように、処理対象であるカラー眼底画像は、RGB各色8ビット256階調の画像データである。したがって、x方向の画素数Xs、y方向の画素数Ysのカラー眼底画像は、色成分を示す変数c=0(Red),1(Green),2(Blue)とすると、Image(x,y,c)=0〜255(x=0,・・・,Xs−1;y=0,・・・,Ys−1;c=0,1,2)と定義される。
<3.2. Process Overview>
Next, processing operations of the fundus image processing apparatus illustrated in FIGS. 4 and 5 will be described together with an image creation method according to an embodiment of the present disclosure. FIG. 6 is a flowchart showing an image creation method as well as an outline of the process of the fundus image processing apparatus of the present embodiment. As described above, the color fundus image to be processed is 8-bit 256-gradation image data for each RGB color. Therefore, a color fundus image having the number of pixels Xs in the x direction and the number of pixels Ys in the y direction is represented by Image (x, y) when variables c = 0 (Red), 1 (Green), and 2 (Blue) indicating color components are used. , C) = 0 to 255 (x = 0,..., Xs-1; y = 0,..., Ys-1; c = 0, 1, 2).

まず、画像サイズ拡大手段10は、カラー眼底画像Image(x,y,c)に対して、ダミー画素を追加することにより、画像サイズを拡大する(ステップS100)。画像サイズ拡大ステップであるステップS100においては、具体的には、カラー眼底画像Image(x,y,c)に対してダミー画素を追加し、Ns×Ns画素のカラー眼底画像Src(x,y,c)を得る。上述のように、元のカラー眼底画像Image(x,y,c)は、Xs×Ys画素である場合、Nsは、Ns/2<Xs,Ys≦Nsを満たす2nの整数(2のn乗の整数)である。すなわち、Nsは、Xs,Ys以上の数であり、Xs,Ysの2倍に満たない2nの整数である。ここで、nは正の整数である。通常、Xs,Ysの関係は、本実施形態では、Ys≦Xsとしているが、この条件に限定されない。 First, the image size enlarging means 10 enlarges the image size by adding dummy pixels to the color fundus image Image (x, y, c) (step S100). In step S100, which is an image size enlargement step, specifically, dummy pixels are added to the color fundus image Image (x, y, c), and the color fundus image Src (x, y, c) of Ns × Ns pixels. c). As described above, when the original color fundus image Image (x, y, c) is Xs × Ys pixels, Ns is an integer of 2 n satisfying Ns / 2 <Xs, Ys ≦ Ns ( n of 2 (Integer power). That is, Ns is a number equal to or greater than Xs, Ys, and is an integer of 2 n that is less than twice Xs, Ys. Here, n is a positive integer. Normally, the relationship between Xs and Ys is Ys ≦ Xs in this embodiment, but is not limited to this condition.

カラー眼底画像Src(x,y,c)もRGB各色8ビット256階調の画像データである。したがって、x方向の画素数Ns、y方向の画素数Nsのカラー眼底画像Src(x,y,c)は、色成分を示す変数c=0(Red),1(Green),2(Blue)とすると、Image(x,y,c)=0〜255(x=0,・・・,Ns−1;y=0,・・・,Ns−1;c=0,1,2)と定義される。ダミー画素は、周波数次元変換を行う際、公知の高速フーリエ変換アルゴリズム(FFT)を適用してCPU上で高速に処理できるようにするために付加されるものであり、変換される周波数成分データにダミー画素に基づくバイアスが加わらないように、本実施形態では、ダミー画素の画素値は、黒を表現したR=G=B=0としている。   The color fundus image Src (x, y, c) is also image data of 8 bits and 256 gradations for each color of RGB. Therefore, the color fundus image Src (x, y, c) having the number of pixels Ns in the x direction and the number of pixels Ns in the y direction has variables c = 0 (Red), 1 (Green), and 2 (Blue) indicating the color components. Then, it is defined as Image (x, y, c) = 0 to 255 (x = 0,..., Ns−1; y = 0,..., Ns−1; c = 0, 1, 2). Is done. The dummy pixel is added in order to perform high-speed processing on the CPU by applying a known fast Fourier transform algorithm (FFT) when performing frequency dimension conversion. In this embodiment, the pixel value of the dummy pixel is set to R = G = B = 0 representing black so that a bias based on the dummy pixel is not applied.

図7は、本実施形態の画像作成方法、眼底画像処理装置の処理による画像の変化の様子を示す図である。図7(a)は、拡大カラー眼底画像Src(x,y,c)における画像領域の関係を示す図である。図7においては、Xs=700、Ys=605、Ns=1024とした場合を示している。図7(a)において、元のカラー眼底画像Image(x,y,c)に対応する原画像領域のx方向の画素数XsがY方向の画素数Ysよりも多いため、x方向に長い矩形状となっている。また、ダミー画素を付加して画像サイズ拡大後の拡大カラー眼底画像Src(x,y,c)となった拡大画像領域はx方向の画素数NsとY方向の画素数Nsと等しいため、正方形状となっている。したがって、図7(a)に示す矩形状の原画像領域においては、元のImage(x,y,c)眼底画像と同様、眼底の像を表現しているが、拡大画像領域のうち、原画像領域以外の部分においては、黒一色(R=G=B=0)となっている。   FIG. 7 is a diagram illustrating a state of an image change caused by the image creation method and the fundus image processing apparatus according to the present embodiment. FIG. 7A is a diagram illustrating a relationship between image regions in the enlarged color fundus image Src (x, y, c). FIG. 7 shows a case where Xs = 700, Ys = 605, and Ns = 1024. In FIG. 7A, since the number of pixels Xs in the x direction of the original image area corresponding to the original color fundus image Image (x, y, c) is larger than the number of pixels Ys in the Y direction, It has a shape. In addition, since the enlarged image area that is the enlarged color fundus image Src (x, y, c) after adding the dummy pixels and the image size is enlarged is equal to the number of pixels Ns in the x direction and the number of pixels Ns in the Y direction, It has become a shape. Therefore, in the rectangular original image area shown in FIG. 7A, the fundus image is expressed as in the original Image (x, y, c) fundus image. In a portion other than the image area, the color is black (R = G = B = 0).

次に、周波数次元変換手段20が、拡大カラー眼底画像に対して、周波数次元変換を行う(ステップS200)。周波数次元変換ステップであるステップS200においては、周波数次元変換手段20は、まず、各画素の各色値を正規化する。具体的には、以下の〔数式1〕に従った処理を実行することにより0〜255の整数値をとる色値を0〜1の実数値に正規化する。   Next, the frequency dimension conversion means 20 performs frequency dimension conversion on the enlarged color fundus image (step S200). In step S200, which is a frequency dimension conversion step, the frequency dimension conversion means 20 first normalizes each color value of each pixel. Specifically, a color value that takes an integer value of 0 to 255 is normalized to a real value of 0 to 1 by executing processing according to the following [Equation 1].

〔数式1〕
Src´(x,y,c)=Src(x,y,c)/255
[Formula 1]
Src ′ (x, y, c) = Src (x, y, c) / 255

上記〔数式1〕に示すように拡大カラー眼底画像Src(x,y,c)の各画素の値を255で除算することにより、各画素の値が正規化された拡大カラー眼底画像Src´(x,y,c)が得られる。   As shown in the above [Equation 1], by dividing the value of each pixel of the enlarged color fundus image Src (x, y, c) by 255, an enlarged color fundus image Src ′ () in which the value of each pixel is normalized. x, y, c) is obtained.

続いて、周波数次元変換手段20は、正規化された拡大カラー眼底画像Src´(x,y,c)に対して周波数次元変換を行う。周波数次元変換の具体的な手法としては、画像を周波数次元の周波数成分データへと変換可能な手法であれば、様々な手法を用いることができるが、本実施形態では、2次元フーリエ変換を用いている。具体的には、以下の〔数式2〕に従った処理を実行することにより、複素数成分で構成される周波数成分データを得る。   Subsequently, the frequency dimension conversion means 20 performs frequency dimension conversion on the normalized enlarged color fundus image Src ′ (x, y, c). As a specific method of frequency dimension conversion, various methods can be used as long as the method can convert an image into frequency-dimensional frequency component data. In this embodiment, two-dimensional Fourier transform is used. ing. Specifically, frequency component data composed of complex components is obtained by executing processing according to the following [Equation 2].

〔数式2〕
Fr(u,v,c)=Σy=0,Ns-1Σx=0,Ns-1Src´(x,y,c)・cos(2π(ux+vy)/Ns)
Fi(u,v,c)=Σy=0,Ns-1Σx=0,Ns-1Src´(x,y,c)・sin(2π(ux+vy)/Ns)
[Formula 2]
Fr (u, v, c) = Σ y = 0, Ns-1 Σ x = 0, Ns-1 Src' (x, y, c) · cos (2π (ux + vy) / Ns)
Fi (u, v, c) = Σ y = 0, Ns-1 Σ x = 0, Ns-1 Src' (x, y, c) · sin (2π (ux + vy) / Ns)

〔数式2〕は、公知の2次元離散フーリエ変換を実現する式である。〔数式2〕に基づいて2重の畳み込み演算を実行させると膨大な演算負荷を伴うため、前述の通り画像の縦横サイズNsを2の累乗に拡大しておき、公知の2次元高速フーリエ変換アルゴリズムを適用できるようにした(アルゴリズムの具体的な説明は省略する)。これにより、Ns=1024の場合、通常のCPUで1秒未満のほぼリアルタイムにフーリエ変換が実行できる。〔数式2〕において、Fr(u,v,c)は2次元の周波数成分データの実数成分、Fi(u,v,c)は2次元の周波数成分データの虚数成分である。なお、u,vは空間次元のx,yに対応する水平方向および垂直方向の空間周波数(u=0,・・・,Ns−1;v=0,・・・,Ns−1;)で、最小単位はNs/2を周期とする空間周波数で最大周波数はNs/2になる(u,vともNs/2以上は折り返されu=v=Ns−1の成分は、u=v=0の成分と同じ直流成分になる)。cは拡大カラー眼底画像Src(x,y,c)のcに対応する色成分で、c=0,1,2はそれぞれ(Red)(Green)(Blue)に対応する。拡大カラー眼底画像Src´(x,y,c)に対しては、色成分ごとに〔数式2〕に従った処理が実行され、各色成分に対応した周波数成分データが得られる。   [Expression 2] is an expression for realizing a known two-dimensional discrete Fourier transform. Since executing a double convolution operation based on [Equation 2] entails an enormous calculation load, the vertical and horizontal size Ns of the image is enlarged to a power of 2 as described above, and a known two-dimensional fast Fourier transform algorithm Can be applied (the specific description of the algorithm is omitted). As a result, when Ns = 1024, the normal CPU can execute the Fourier transform in almost real time in less than 1 second. In [Formula 2], Fr (u, v, c) is a real number component of the two-dimensional frequency component data, and Fi (u, v, c) is an imaginary number component of the two-dimensional frequency component data. U and v are horizontal and vertical spatial frequencies (u = 0,..., Ns-1; v = 0,..., Ns-1;) corresponding to x and y in the spatial dimension. The minimum unit is a spatial frequency with a period of Ns / 2, and the maximum frequency is Ns / 2 (both u and v are turned back to Ns / 2 or more, the component of u = v = Ns−1 is u = v = 0. DC component is the same as this component). c is a color component corresponding to c in the enlarged color fundus image Src (x, y, c), and c = 0, 1, and 2 correspond to (Red) (Green) (Blue), respectively. For the enlarged color fundus image Src ′ (x, y, c), processing according to [Equation 2] is executed for each color component, and frequency component data corresponding to each color component is obtained.

図7(b)は、周波数次元変換後の周波数成分データを2次元でプロットしたスペクトル分布を示す図である。図7(b)に示すように、周波数成分データの範囲は、見かけ上、Ns×Nsであって、画像サイズ拡大後の拡大カラー眼底画像Src(x,y,c)の画素数と等しいが、有効な画素はNs×Ns/2個で、同一の画素値または正負符号が反転した画素値をもつ画素が点対称に存在する(原画像がNs×Ns画素で、フーリエ変換後の画素は実数と虚数合わせてNs×Ns×2画素と見かけ上2倍に膨らむが、Ns×Ns画素は点対称に複写されたものになっている)。即ち、2次元フーリエ変換の特性から、Ns×Nsの範囲の中心を最大周波数Ns/2−1とし4隅の周波数を0(直流)とする、4つの領域が中心から点対称となる周波数分布を示すことになる。   FIG. 7B is a diagram showing a spectrum distribution in which frequency component data after frequency dimension conversion is plotted in two dimensions. As shown in FIG. 7B, the range of the frequency component data is apparently Ns × Ns, which is equal to the number of pixels of the enlarged color fundus image Src (x, y, c) after the image size enlargement. , Ns × Ns / 2 effective pixels, and pixels having the same pixel value or a pixel value obtained by inverting the sign are present in a point-symmetric manner (the original image is Ns × Ns pixels, and the pixel after Fourier transform is The combined real and imaginary numbers are Ns × Ns × 2 pixels, which apparently doubles, but the Ns × Ns pixels are copied point-symmetrically). That is, from the characteristics of the two-dimensional Fourier transform, a frequency distribution in which the center of the range of Ns × Ns is the maximum frequency Ns / 2-1 and the four corner frequencies are 0 (direct current) and the four regions are point-symmetric from the center. Will be shown.

次に、周波数成分改変手段30が、周波数成分データに対して、周波数成分の改変を行う(ステップS300)。周波数成分改変ステップであるステップS300においては、周波数成分改変手段30は、まず、以下の〔数式3〕に従った処理を実行することにより直流成分の原点からの2次元ユークリッド距離r(u,v)を算出する。   Next, the frequency component modification unit 30 modifies the frequency component with respect to the frequency component data (step S300). In step S300, which is a frequency component modification step, the frequency component modification means 30 first executes a process according to the following [Equation 3] to thereby obtain a two-dimensional Euclidean distance r (u, v from the origin of the DC component. ) Is calculated.

〔数式3〕
u<Ns/2の場合du=u、u≧Ns/2の場合du=Ns−1−u
v<Ns/2の場合dv=v、v≧Ns/2の場合dv=Ns−1−v
r(u,v)=(du2+dv21/2
[Formula 3]
When u <Ns / 2, du = u, when u ≧ Ns / 2, du = Ns-1-u
When v <Ns / 2, dv = v, when v ≧ Ns / 2, dv = Ns-1-v
r (u, v) = (du 2 + dv 2 ) 1/2

〔数式3〕に従った処理により算出されたdu,dvは、図7(b)に示すように、u、vの値がNs/2以上(図7(b)における右半分と下半分)になると、du,dvの値はu、vの値とは、逆方向に変化する。そして、〔数式3〕に従った処理により算出された2次元ユークリッド距離r(u,v)は、図7(b)に示したNs×Nsの正方形の4隅の頂点それぞれを起点とし、起点からの距離として表現されるものであり、水平方向および垂直方向の空間周波数の幾何平均を示している。   As shown in FIG. 7B, du and dv calculated by the processing according to [Formula 3] have values of u and v of Ns / 2 or more (the right half and the lower half in FIG. 7B). Then, the values of du and dv change in the opposite direction to the values of u and v. The two-dimensional Euclidean distance r (u, v) calculated by the processing according to [Equation 3] starts from the four corner vertices of the Ns × Ns square shown in FIG. It is expressed as a distance from, and shows the geometric mean of spatial frequencies in the horizontal and vertical directions.

次に、周波数成分改変手段30が、所定の周波数範囲を改変対象である改変周波数範囲として、改変周波数範囲の周波数成分を改変する。具体的には、改変周波数範囲の周波数成分を減衰させる。減衰の程度は、適宜設定することができるが、本実施形態では、数値が0となるように除去している。改変周波数範囲は、所定の周波数より低い低周波数域と、所定の周波数より高い高周波数域に設定される。この場合、所定の周波数としては、Ns=1024の場合、10(空間周波数の単位は国際単位系ではmあたりの周期で表すが、本明細書では周波数の単位は表記しない)とすることができ、低周波数域は2次元ユークリッド距離r(u,v)で10以下が対応する。また、高周波数域として、Ns=1024の場合、しきい値を15に設定し、2次元ユークリッド距離r(u,v)で15以上が対応する。高周波数域は、全周波数範囲においては、高い周波数とはいえないが、所定の周波数より高いという意味で高周波数域と呼ぶことにする。Nsの値に比例して、低周波数域、高周波数域を表現するしきい値も変化する。   Next, the frequency component modifying means 30 modifies the frequency components in the modified frequency range with the predetermined frequency range as the modified frequency range to be modified. Specifically, the frequency component in the modified frequency range is attenuated. The degree of attenuation can be set as appropriate, but in this embodiment, the attenuation is removed so that the numerical value becomes zero. The modified frequency range is set to a low frequency range lower than a predetermined frequency and a high frequency range higher than the predetermined frequency. In this case, when Ns = 1024, the predetermined frequency can be 10 (the unit of spatial frequency is expressed in cycles per m in the international unit system, but the unit of frequency is not shown in this specification). The low frequency region corresponds to a two-dimensional Euclidean distance r (u, v) of 10 or less. In the case of Ns = 1024 as the high frequency region, the threshold value is set to 15, and the two-dimensional Euclidean distance r (u, v) corresponds to 15 or more. The high frequency range is not a high frequency in the entire frequency range, but is referred to as a high frequency range in the sense that it is higher than a predetermined frequency. The threshold value expressing the low frequency region and the high frequency region also changes in proportion to the value of Ns.

改変周波数範囲は、低周波数域については、R,G,Bの全色成分に設定される。しかし、改変周波数範囲は、高周波数域については、R成分のみに設定される。したがって、R成分については、低周波数域における改変周波数範囲と高周波数域における改変周波数範囲の2箇所で改変が行われるが、G成分、B成分については、低周波数域における改変周波数範囲の1箇所のみで改変が行われる。改変周波数範囲としては、適宜設定することができる。2次元ユークリッド距離r(u,v)に対応して表現すると、低周波数域においては、改変周波数範囲は、下限r1(c)から上限r2(c)までとなる。(c)となっているのは、c=0,1,2に対応したR、G、Bの色別にそれぞれ下限と上限が設定されることを示している。高周波数域においては、R成分の改変周波数範囲は、下限rh1から上限rh2までとなる。   The modified frequency range is set for all color components of R, G, and B in the low frequency range. However, the modified frequency range is set to only the R component for the high frequency range. Therefore, the R component is modified at two locations, the modified frequency range in the low frequency region and the modified frequency range in the high frequency region, but the G component and the B component are at one location in the modified frequency range in the low frequency region. Only the modification is done. The modified frequency range can be set as appropriate. When expressed in correspondence with the two-dimensional Euclidean distance r (u, v), in the low frequency range, the modified frequency range is from the lower limit r1 (c) to the upper limit r2 (c). (C) indicates that a lower limit and an upper limit are set for each of R, G, and B colors corresponding to c = 0, 1, and 2, respectively. In the high frequency range, the modified frequency range of the R component is from the lower limit rh1 to the upper limit rh2.

図7(c)は、R成分の周波数成分データの改変周波数範囲を示す図である。図7(c)は、図7(b)と軸方向およびサイズが同一であり、図7(b)においてdu,dvは、4隅を0としている。図7(c)には、r1(0)については明記されていないが、r1(0)=1であり、低周波数域は、4隅からの2次元ユークリッド距離r(u,v)がr1(0)以上r2(0)以下の範囲であり、4隅を中心とした扇形領域の網掛けされた範囲となる。なお、2次元ユークリッド距離r(u,v)=0となる4隅の直流成分は改変しない。また、高周波数域は、4隅からの2次元ユークリッド距離r(u,v)がrh1以上rh2以下の範囲であり、rh2は最大周波数であるNs/2−1に設定しているため、実質的にはrh1以上の全ての周波数成分が改変の対象となり周波数成分データの中心まで達する網掛けされた範囲となる。したがって、周波数成分改変手段30は、以下の〔数式4〕に従った処理を実行することにより改変周波数範囲における周波数成分を改変する。   FIG. 7C shows a modified frequency range of the frequency component data of the R component. FIG. 7C has the same axial direction and size as FIG. 7B, and du and dv in FIG. In FIG. 7C, although r1 (0) is not specified, r1 (0) = 1, and in the low frequency region, the two-dimensional Euclidean distance r (u, v) from the four corners is r1. The range is from (0) to r2 (0), and is a shaded range of fan-shaped regions centered on the four corners. Note that the DC components at the four corners where the two-dimensional Euclidean distance r (u, v) = 0 are not modified. The high frequency range is a range where the two-dimensional Euclidean distance r (u, v) from the four corners is rh1 or more and rh2 or less, and rh2 is set to Ns / 2-1 which is the maximum frequency. Specifically, all the frequency components of rh1 or higher are to be modified, and the shaded range reaches the center of the frequency component data. Therefore, the frequency component modification means 30 modifies the frequency component in the modified frequency range by executing the processing according to the following [Equation 4].

〔数式4〕
c=0,1,2について、
r1(c)≦r(u,v)≦r2(c)、rh1≦r(u,v)≦rh2において、
Fr(u,v,c)=0
Fi(u,v,c)=0
[Formula 4]
For c = 0, 1, 2
In r1 (c) ≦ r (u, v) ≦ r2 (c) and rh1 ≦ r (u, v) ≦ rh2,
Fr (u, v, c) = 0
Fi (u, v, c) = 0

〔数式4〕の例では、実数成分Fr(u,v,c)、虚数成分Fi(u,v,c)ともに“0”として除去しているが、除去しなくても、大きく減衰させればよい。R成分については、〔数式4〕に従った処理を実行して、改変周波数範囲における周波数成分を除去すると、低周波数域、高周波数域に挟まれた成分だけが残る。したがって、図7(c)の例では、網掛けされていない、2次元ユークリッド距離r(u,v)がr2(0)+1からrh1−1の範囲に含まれる周波数の成分だけが残ることになる。   In the example of [Equation 4], both the real component Fr (u, v, c) and the imaginary component Fi (u, v, c) are removed as “0”, but even if they are not removed, they are greatly attenuated. That's fine. For the R component, when processing according to [Formula 4] is executed to remove the frequency component in the modified frequency range, only the component sandwiched between the low frequency region and the high frequency region remains. Therefore, in the example of FIG. 7C, only the frequency components that are not shaded and whose two-dimensional Euclidean distance r (u, v) is in the range of r2 (0) +1 to rh1-1 remain. Become.

低周波数域、高周波数域における改変周波数範囲の具体的な値としては、適宜設定することができる。本実施形態では、Ns=1024であるため、低周波数域における改変周波数範囲の下限については、各色成分共通でr1(0)=r1(1)=r1(2)=1とし、低周波数域における改変周波数範囲の上限については、Rについてはr2(0)=2、Gについてはr2(1)=5、Bについてはr2(2)=3としている。したがって、低周波数域については、G成分を最も広い範囲で除去し、R成分を最も狭い範囲で除去している。G成分を最も広い範囲で除去する理由は、G成分には血管など種々の眼底組織が多く含まれるためで、低周波数域に含まれる視神経乳頭など黄斑以外の組織を除去する。ただし、フルカラーで観察する際、血管が表示された方が黄斑領域の位置関係がわかりやすくなるため、血管成分を多く含む高周波数域を残す。R成分を最も狭い範囲で除去する理由は、黄斑領域を定量解析するためである。また、本実施形態では、R成分の高周波数域における改変周波数範囲の下限については、rh1=15とし、R成分の高周波数域における改変周波数範囲の上限については、rh2=511としている。R成分については、低周波数域における改変周波数範囲を他の色成分と比較して最も狭くし、さらに高周波数域における改変周波数範囲も改変する。これにより、定量解析の支障となる血管成分を多く含む高周波数域を除去し、黄斑領域を多く含む低周波数域を残すことができ、R成分を用いて黄斑領域を定量的に解析することができる。Nsの値に比例して、2次元ユークリッド距離r(u,v)に対応した改変周波数範囲の上限、下限も変化する。   Specific values of the modified frequency range in the low frequency range and the high frequency range can be set as appropriate. In this embodiment, since Ns = 1024, the lower limit of the modified frequency range in the low frequency range is set to r1 (0) = r1 (1) = r1 (2) = 1 for each color component, and in the low frequency range. Regarding the upper limit of the modified frequency range, r2 (0) = 2 for R, r2 (1) = 5 for G, and r2 (2) = 3 for B. Therefore, in the low frequency range, the G component is removed in the widest range and the R component is removed in the narrowest range. The reason why the G component is removed in the widest range is that the G component contains a large amount of various fundus tissues such as blood vessels, and therefore tissues other than the macula, such as the optic disc included in the low frequency range, are removed. However, when observing in full color, it is easier to understand the positional relationship of the macular region when the blood vessel is displayed, so a high frequency region containing a lot of blood vessel components remains. The reason why the R component is removed in the narrowest range is to quantitatively analyze the macular region. In this embodiment, the lower limit of the modified frequency range in the high frequency region of the R component is rh1 = 15, and the upper limit of the modified frequency range in the high frequency region of the R component is rh2 = 511. For the R component, the modified frequency range in the low frequency region is made the narrowest compared to other color components, and the modified frequency range in the high frequency region is also modified. As a result, it is possible to remove a high frequency region containing many blood vessel components that hinder quantitative analysis, leave a low frequency region containing many macular regions, and quantitatively analyze the macular region using the R component. it can. In proportion to the value of Ns, the upper and lower limits of the modified frequency range corresponding to the two-dimensional Euclidean distance r (u, v) also change.

前述のように、低周波数域、高周波数域における周波数成分を除去する処理を行うと、後述の空間次元変換を行って生成される補正カラー眼底画像の輝度が顕著に小さくなってしまう。特に、全ての色成分において低周波数域の周波数成分は顕著に大きいため、これらを除去してしまうと、全ての色成分において補正カラー眼底画像の輝度が桁違いに低下してしまう。そこで、周波数成分改変手段30は、さらに、各色成分について1より大きい倍率s(c)を設定し、周波数成分改変後の周波数成分データに対して、以下の〔数式5〕に従った処理を実行することにより周波数成分を増大させる。   As described above, when the process of removing the frequency components in the low frequency region and the high frequency region is performed, the luminance of the corrected color fundus image generated by performing spatial dimension conversion described later is significantly reduced. In particular, since the frequency components in the low frequency range are remarkably large in all the color components, if these are removed, the luminance of the corrected color fundus image is significantly reduced in all the color components. Therefore, the frequency component modifying means 30 further sets a magnification s (c) larger than 1 for each color component, and executes processing according to the following [Equation 5] for the frequency component data after the frequency component modification. By doing so, the frequency component is increased.

〔数式5〕
Fr´(u,v,c)=Fr(u,v,c)・s(c)
Fi´(u,v,c)=Fi(u,v,c)・s(c)
[Formula 5]
Fr ′ (u, v, c) = Fr (u, v, c) · s (c)
Fi ′ (u, v, c) = Fi (u, v, c) · s (c)

〔数式5〕に従った処理は、全てのu,vに対応した全ての周波数に対して行われる。倍率s(c)としては、各色についてそれぞれ異なる値を設定することができる。撮影条件にも影響されるが、倍率s(c)は1より大きい必要がある。本実施形態では、s(0)=s(1)=s(2)=4.0としている。このように、全ての色成分の全ての周波数成分の値に対して増大させることにより、後述の空間次元変換を行って生成される補正カラー眼底画像の輝度が明るくなり、視認性の低下を防ぐことができる。   The processing according to [Formula 5] is performed for all frequencies corresponding to all u and v. As the magnification s (c), different values can be set for the respective colors. The magnification s (c) needs to be larger than 1 although it is influenced by the photographing conditions. In the present embodiment, s (0) = s (1) = s (2) = 4.0. In this way, by increasing the values of all the frequency components of all the color components, the brightness of the corrected color fundus image generated by performing the spatial dimension conversion described later is brightened, thereby preventing a decrease in visibility. be able to.

次に、空間次元変換手段40が、改変周波数成分データに対して、空間次元変換を行う(ステップS400)。空間次元変換ステップであるステップS400においては、周波数次元逆変換である空間次元変換を行う。空間次元変換は、空間次元の画像から周波数次元に変換して得られた周波数成分データを元の空間次元に戻す変換であるため、周波数次元変換の逆変換である周波数次元逆変換となる。したがって、空間次元変換の具体的な手法としては、本来、どのような手法を用いてもよいが、周波数次元変換の手法に合わせる必要がある。本実施形態では、周波数次元変換として2次元フーリエ変換を用いているため、空間次元変換として2次元フーリエ逆変換を用いる。   Next, the space dimension conversion means 40 performs space dimension conversion on the modified frequency component data (step S400). In step S400 which is a space dimension conversion step, space dimension conversion which is frequency dimension inverse conversion is performed. The spatial dimension transformation is a transformation that returns the frequency component data obtained by transforming the spatial dimension image to the frequency dimension to the original spatial dimension, and is therefore a frequency dimension inverse transformation that is an inverse transformation of the frequency dimension transformation. Therefore, as a specific method of spatial dimension conversion, any method may be used originally, but it is necessary to match the frequency dimension conversion method. In this embodiment, since the two-dimensional Fourier transform is used as the frequency dimension conversion, the two-dimensional inverse Fourier transform is used as the spatial dimension conversion.

空間次元変換手段40は、以下の〔数式6〕に従った処理を実行することにより空間次元の逆変換像を得る。   The spatial dimension conversion means 40 obtains a spatial dimension inversely converted image by executing processing according to the following [Equation 6].

〔数式6〕
Des(x,y,c)=[Σy=0,Ns-1Σx=0,Ns-1Fi(u,v,c)・cos(2π(ux+vy)/Ns)]/(Ns・Ns)−[Σy=0,Ns-1Σx=0,Ns-1Fi(u,v,c)・sin(2π(ux+vy)/Ns)]/(Ns・Ns)
[Formula 6]
Des (x, y, c) = [Σ y = 0, Ns-1 Σx = 0, Ns-1 Fi (u, v, c) · cos (2π (ux + vy) / Ns)] / (Ns · Ns )-[Σ y = 0, Ns-1 Σx = 0, Ns-1 Fi (u, v, c) · sin (2π (ux + vy) / Ns)] / (Ns · Ns)

〔数式6〕は、公知の2次元離散フーリエ逆変換を実現する式である。〔数式6〕に基づいて2重の畳み込み演算を実行させると膨大な演算負荷を伴うため、周波数次元変換と同様に、公知の2次元高速フーリエ逆変換アルゴリズムを適用する(アルゴリズムの具体的な説明は省略する)。これにより、Ns=1024の場合、通常のCPUで1秒未満のほぼリアルタイムにフーリエ逆変換が実行できる。〔数式6〕において、Des(x,y,c)は、サイズ拡大後の眼底画像Src(x,y,c)と同一サイズ(同一画素数)の実数イメージであり、各画素は0以上1以下の実数値をとる。   [Expression 6] is an expression that realizes a known inverse two-dimensional discrete Fourier transform. Since executing a double convolution operation based on [Equation 6] entails a huge calculation load, a well-known two-dimensional fast Fourier inverse transform algorithm is applied as in the case of frequency dimensional transformation (specific description of the algorithm). Is omitted). As a result, when Ns = 1024, the inverse Fourier transform can be executed in almost real time in less than 1 second with a normal CPU. In [Formula 6], Des (x, y, c) is a real number image having the same size (the same number of pixels) as the fundus image Src (x, y, c) after size enlargement. Take the following real values:

空間次元変換手段40は、さらに実数イメージDes(x,y,c)を画像に戻す処理を行う。具体的には、各画素の値を0以上1以下の実数値から0以上255以下の整数値に変換する。これは、実数イメージDes(x,y,c)の各画素に255を乗じた後、整数化することにより行われる。この処理は、〔数式1〕における正規化に対応する逆の処理である。   The spatial dimension conversion means 40 further performs processing for returning the real image Des (x, y, c) to an image. Specifically, the value of each pixel is converted from a real value from 0 to 1 to an integer value from 0 to 255. This is performed by multiplying each pixel of the real image Des (x, y, c) by 255 and then converting it to an integer. This process is the reverse process corresponding to the normalization in [Formula 1].

空間次元変換手段40は、さらに各画素のネガ反転を行う。ネガ反転を行うことにより、黄斑領域の輝度が他の眼底組織に比べて大きくなり視認性を向上させることができる。ネガ反転とは、大きい値ほど小さい値で置き換え、小さい値ほど大きい値で置き換えることにより大小の関係を反転させるものである。本実施形態では、とりうる最大値(8ビットの場合255)より減算することによりネガ反転を行っている。整数値への変換とネガ反転は、それぞれ個別の処理として行うこともできるが、一括して以下の〔数式7〕に従った処理を実行することにより行うこともできる。   The spatial dimension conversion means 40 further performs negative inversion of each pixel. By performing negative reversal, the luminance of the macular region becomes higher than that of other fundus tissues, and visibility can be improved. In negative inversion, a larger value is replaced with a smaller value, and a smaller value is replaced with a larger value, thereby inverting the magnitude relationship. In this embodiment, negative inversion is performed by subtracting from the maximum value (255 in the case of 8 bits). The conversion to the integer value and the negative inversion can be performed as individual processes, respectively, but can also be performed by collectively executing the process according to the following [Equation 7].

〔数式7〕
Fimg(x,y,c)=[1−Des(x,y,c)]・255
[Formula 7]
Fmg (x, y, c) = [1-Des (x, y, c)]. 255

〔数式7〕において、Fimg(x,y,c)は、補正カラー眼底画像であり、各画素は、整数化が行われて、0以上255以下の整数値をとる。最終的に、元のカラー眼底画像に対応した領域が得られればよい。そこで、〔数式7〕の処理は、有効な画像領域である0≦x≦Xs−1および0≦y≦Ys−1の範囲に対して行うことにより、Xs×Ysの画素数をもつ補正カラー眼底画像が作成される。これは、RGBの3色成分のNs×Ns画素の補正拡大カラー眼底画像を作成した後、補正拡大カラー眼底画像より、ダミー画素に対応する画素を除去し、Xs×Ys画素の補正カラー眼底画像に変換する処理と同等である。   In [Formula 7], Fimg (x, y, c) is a corrected color fundus image, and each pixel is integerized and takes an integer value of 0 or more and 255 or less. Finally, an area corresponding to the original color fundus image may be obtained. Therefore, the processing of [Equation 7] is performed on the effective image area in the range of 0 ≦ x ≦ Xs−1 and 0 ≦ y ≦ Ys−1, thereby correcting the color having the number of pixels of Xs × Ys. A fundus image is created. This is because, after creating a corrected enlarged color fundus image of Ns × Ns pixels of RGB three color components, pixels corresponding to dummy pixels are removed from the corrected enlarged color fundus image, and a corrected color fundus image of Xs × Ys pixels is obtained. It is equivalent to the process of converting to

以上のようにして、得られた補正カラー眼底画像は、色別に異なる周波数範囲で低周波数域を除去しているため、黄斑領域のコントラストが向上している。そのため、補正カラー眼底画像を表示部6に表示出力することにより、黄斑領域の視認性が向上し、医師の診断時においても的確な判断を行い易くなる。   As described above, since the obtained corrected color fundus image removes the low frequency region in a different frequency range for each color, the contrast of the macular region is improved. Therefore, by displaying and outputting the corrected color fundus image on the display unit 6, the visibility of the macular region is improved, and it becomes easy to make an accurate determination even at the time of diagnosis by a doctor.

次に、特定色画像抽出手段50が、フルカラーの補正カラー眼底画像から、特定色画像を抽出する(ステップS500)。特定色画像抽出ステップであるステップS500においては、具体的には、R、G、Bの3色成分のうち、R成分画像だけを抽出する。特定色画像は、補正カラー眼底画像Fimg(x,y,c)のR成分であるため、c=0であり、Fimg(x,y,0)で表現される。このR成分画像は、黄斑領域以外の血管成分などを除去しているため、補正カラー眼底画像と並べて表示部6に表示出力することにより、黄斑領域の視認性がより向上するだけでなく、目視では困難な黄斑病変の進行度を定量的に解析することが可能になる。   Next, the specific color image extraction unit 50 extracts a specific color image from the full-color corrected color fundus image (step S500). In step S500, which is a specific color image extraction step, specifically, only the R component image is extracted from the three color components of R, G, and B. Since the specific color image is an R component of the corrected color fundus image Fmg (x, y, c), c = 0, and is represented by Fimg (x, y, 0). Since this R component image removes blood vessel components and the like other than the macular region, displaying it on the display unit 6 along with the corrected color fundus image not only improves the visibility of the macular region, but also visually Thus, it becomes possible to quantitatively analyze the degree of progression of macular lesions, which is difficult.

次に、定量評価手段60が、特定色画像を用いて定量評価を行う(ステップS600)。定量評価ステップであるステップS600においては、具体的には、特定色画像を用いて進行度パラメータとなる評価値を算出し、この進行度パラメータを用いて定量評価を行う。進行度パラメータは、病態を示す病態パラメータと言い換えることもできる。ステップS600においては、定量評価手段60は、まず、画像領域Xs×Ysのうち、所定の領域を定量解析を適用するのに有効な対象領域として設定する。対象領域を設定する理由は、画像領域内の中央近辺に存在する黄斑領域の中心を特定するためである。対象領域としては、黄斑領域以外の解析対象でない輝度の明るい領域が含まれていない領域であれば、画像領域内のどこに設定してもよいが、なるべく中央寄りが好ましい。本実施形態では、x方向、y方向ともに1/2、全体の画素数として1/4となる領域、すなわち、Xs/4≦x≦Xs・3/4−1、Ys/4≦y≦Ys・3/4−1で特定される領域となる。   Next, the quantitative evaluation means 60 performs a quantitative evaluation using the specific color image (step S600). In step S600, which is a quantitative evaluation step, specifically, an evaluation value serving as a progress parameter is calculated using the specific color image, and quantitative evaluation is performed using the progress parameter. The progress parameter can be paraphrased as a disease state parameter indicating a disease state. In step S600, the quantitative evaluation means 60 first sets a predetermined area of the image area Xs × Ys as a target area effective for applying the quantitative analysis. The reason for setting the target region is to specify the center of the macular region existing in the vicinity of the center in the image region. The target region may be set anywhere in the image region as long as it does not include a bright region that is not an analysis target other than the macular region, but is preferably as close to the center as possible. In the present embodiment, both the x direction and the y direction are 1/2, and the total number of pixels is 1/4, that is, Xs / 4 ≦ x ≦ Xs · 3-4-1, Ys / 4 ≦ y ≦ Ys. -It becomes an area specified by 3 / 4-1.

続いて、定量評価手段60は、対象領域において最大値Maxrと最大値Maxrをとる画素の座標(xp,yp)を検出する。最大値Maxrと特定色画像の画素との関係は、以下の〔数式8〕により表現される。   Subsequently, the quantitative evaluation unit 60 detects the coordinates (xp, yp) of the pixel having the maximum value Maxr and the maximum value Maxr in the target region. The relationship between the maximum value Maxr and the pixels of the specific color image is expressed by the following [Equation 8].

〔数式8〕
Maxr=Fimg(xp,yp,0)=MAXXs/4≦x≦Xs・3/4-1、Ys/4≦y≦Ys・3/4-1Fimg(x,y,0)
[Formula 8]
Maxr = Fimg (xp, yp, 0) = MAX Xs / 4 ≦ x ≦ Xs · 3 / 4-1, Ys / 4 ≦ y ≦ Ys · 3 / 4-1 Fimg (x, y, 0)

〔数式8〕において、“MAXXs/4≦x≦Xs・3/4-1、Ys/4≦y≦Ys・3/4-1Fimg(x,y,0)”は、対象領域における画素の最大値(MAX)を示す。次に、定量評価手段60は、最大値Maxrをとる画素を解析中心とした解析範囲を設定する。解析範囲を設定する理由は、特定色画像の外郭周辺に含まれる非眼底領域や撮影枠等の黄斑領域以外の領域を解析対象から外すためである。解析範囲のサイズ(大きさ)は、解析対象の黄斑領域が完全に含まれていれば、どの程度であってもよいが、対象領域と同等であることが好ましい。本実施形態では、解析範囲のx方向の画素数dx、y方向の画素数dyを、それぞれ画像領域のx方向の画素数Xs、y方向の画素数Ysの1/2としている。この場合、矩形状の解析範囲の4隅(x1,y1)、(x2,y1)、(x2,y2)、(x1,y2)は、x1=xp−dx/2、x2=xp+dx/2−1、y1=yp−dy/2、y2=yp+dy/2−1で特定される。 In [Equation 8], “MAX Xs / 4 ≦ x ≦ Xs · 3 / 4-1, Ys / 4 ≦ y ≦ Ys · 3 / 4-1 Fimg (x, y, 0)” is a pixel in the target region The maximum value (MAX) is shown. Next, the quantitative evaluation means 60 sets an analysis range with the pixel having the maximum value Maxr as the analysis center. The reason for setting the analysis range is to exclude regions other than the macular region such as the non-fundus region and the imaging frame included in the periphery of the outline of the specific color image from the analysis target. The size (size) of the analysis range may be any as long as the macular region to be analyzed is completely included, but is preferably equal to the target region. In the present embodiment, the number of pixels dx in the x direction in the analysis range and the number of pixels dy in the y direction are ½ of the number of pixels Xs in the x direction and the number of pixels Ys in the y direction, respectively. In this case, four corners (x1, y1), (x2, y1), (x2, y2), and (x1, y2) of the rectangular analysis range are x1 = xp−dx / 2 and x2 = xp + dx / 2−. 1, y1 = yp−dy / 2, y2 = yp + dy / 2-1.

そして、定量評価手段60は、対象領域の最大値Maxrに所定の比率γを乗じて得られる値Maxr・γをしきい値として設定する。γとしては、0.7以上0.9以下とすることが好ましい。本実施形態では、γ=0.8としている。定量評価手段60は、以下の〔数式9〕に従った処理を実行することにより、Rasiorを算出する。   Then, the quantitative evaluation means 60 sets a value Maxr · γ obtained by multiplying the maximum value Maxr of the target region by a predetermined ratio γ as a threshold value. γ is preferably 0.7 or more and 0.9 or less. In this embodiment, γ = 0.8. The quantitative evaluation means 60 calculates Rasior by executing processing according to the following [Equation 9].

〔数式9〕
Rasior=ΣFimg(x,y,0)>Maxr・γ; x1≦x≦x2,y1≦y≦y21・100/(dx・dy)
[Formula 9]
Rasior = Σ Fimg (x, y, 0)> Maxr · γ; x1 ≦ x ≦ x2, y1 ≦ y ≦ y2 1.100 / (dx · dy)

〔数式9〕に示すように、Rasiorは、解析範囲においてしきい値Maxr・γより大きい値をとる画素の数の、解析範囲の画素数dx・dyに対する比率を、百分率で示したものである。しきい値Maxr・γより大きい値をとる画素は、明るく表現され、黄斑領域である可能性が高いため、Rasiorは、黄斑領域である可能性が高い領域の解析範囲に占める比率を示すことになる。したがって、Rasiorの値が大きい程、黄斑領域が広がっていると考えることができる。   As shown in [Equation 9], Rasior is a ratio of the number of pixels having a value larger than the threshold value Maxr · γ in the analysis range to the number of pixels dx · dy in the analysis range, expressed as a percentage. . A pixel having a value larger than the threshold value Maxr · γ is expressed brightly and is likely to be a macular region. Therefore, Rasior indicates a ratio of a region that is highly likely to be a macular region to an analysis range. Become. Therefore, it can be considered that the macular region is expanded as the value of Rasior is larger.

黄斑病変としては、黄斑変性(加齢黄斑変性症)、黄斑浮腫(糖尿病性網膜症)、黄斑円孔・黄斑前膜(加齢による後部硝子体剥離、硝子体ポケットが要因)などがある。黄斑変性および黄斑浮腫では上記Rasiorが健常眼に比べ増大し、特に黄斑浮腫では顕著に増大する。したがって、Rasiorの値を見れば、黄斑病変の進行度を定量評価することができる。Rasiorが大きければ大きい程、黄斑病変が進行し、症状が悪化していることを示す。所定のしきい値を進行度しきい値として設定しておき、Rasiorと進行度しきい値を比較することにより、進行度が進んでいるか正常であるかを判定することができる。例えば、進行度しきい値として5%などと設定しておき、Rasiorが進行度しきい値5%より大きければ、黄斑病変と判定し、Rasiorが進行度しきい値5%以下であれば、正常と判定することができる。さらに、進行度しきい値を複数設定しておき、Rasiorと各進行度しきい値を比較して、どの範囲に属するかを特定することにより、進行度を段階的に判定することができる。   Examples of macular lesions include macular degeneration (age-related macular degeneration), macular edema (diabetic retinopathy), macular hole / macular anterior membrane (posterior vitreous detachment due to aging, vitreous pocket). In macular degeneration and macular edema, the above-mentioned Rasior is increased as compared with healthy eyes, and particularly in macular edema, it is significantly increased. Therefore, the progression of macular lesions can be quantitatively evaluated by looking at the value of Rasior. A larger Rasior indicates that the macular lesion progresses and the symptoms worsen. By setting a predetermined threshold value as a progress threshold value and comparing Rasior with the progress threshold value, it is possible to determine whether the progress is progressing or normal. For example, if the progress threshold is set to 5% or the like, if Rasio is greater than the progress threshold 5%, it is determined as a macular lesion, and if Rasio is 5% or less, It can be determined as normal. Furthermore, by setting a plurality of progress threshold values, comparing the Rasior with each progress threshold value and specifying which range it belongs to, it is possible to determine the progress level step by step.

図8は、健常者について、本実施形態に係る画像作成方法、眼底画像処理装置により作成された画像を示す図である。このうち、図8(a)は、撮像により得られたカラー眼底画像を示している。また、図8(b)は、ステップS400における空間次元変換手段40による空間次元変換後の、補正カラー眼底画像を示している。また、図8(c)は、ステップS500における特定色画像抽出手段50による特定色画像抽出後の、特定色画像(R成分)を示している。   FIG. 8 is a diagram illustrating an image created by the image creation method and the fundus image processing apparatus according to the present embodiment for a healthy person. Among these, FIG. 8A shows a color fundus image obtained by imaging. FIG. 8B shows a corrected color fundus image after the spatial dimension conversion by the spatial dimension conversion means 40 in step S400. FIG. 8C shows the specific color image (R component) after the specific color image extraction by the specific color image extraction means 50 in step S500.

図8(a)の撮像により得られたカラー眼底画像では、肉眼による黄斑領域が識別し難い。これに対して、図8(b)の補正カラー眼底画像では、中央の黄斑領域が肉眼により識別可能となっている。これは、R、G、Bの各色成分において、低周波数域を除去したことによる。特に、図8(b)の例では、G成分について低周波数域の成分も除去しているため、黄斑領域が識別し易くなる。図8(c)に示すように、R成分のみをグレースケール画像として抽出して作成された特定色画像では、図8(b)の補正カラー眼底画像に比べても、一層、黄斑領域の中心窩が識別し易くなっている。図8(c)に示す矩形は、解析範囲を示している。図8(c)に示す解析範囲に対して、ステップS600における定量評価手段60による定量評価を行った結果、352画素×352画素の解析範囲において、最大値(Maxr)231、平均値45、しきい値(Maxr・γ:最大値80%)以上の画素数1188個、比率(Rasior)0.95%となった。進行度しきい値として5%が設定されている場合は、Rasiorが進行度しきい値5%以下であるので、正常と判定される。   In the color fundus image obtained by imaging in FIG. 8A, it is difficult to identify the macular region by the naked eye. On the other hand, in the corrected color fundus image of FIG. 8B, the central macular region can be identified by the naked eye. This is because the low frequency region is removed from the R, G, and B color components. In particular, in the example of FIG. 8B, since the low frequency component is also removed from the G component, the macular region can be easily identified. As shown in FIG. 8C, in the specific color image created by extracting only the R component as a grayscale image, the center of the macular region is further increased compared to the corrected color fundus image of FIG. The fossa is easy to identify. A rectangle shown in FIG. 8C indicates the analysis range. As a result of performing the quantitative evaluation by the quantitative evaluation means 60 in step S600 on the analysis range shown in FIG. 8C, the maximum value (Maxr) 231 and the average value 45 are calculated in the analysis range of 352 pixels × 352 pixels. The number of pixels equal to or greater than the threshold value (Maxr · γ: maximum value 80%) was 1188, and the ratio (Radio) was 0.95%. When 5% is set as the progress threshold value, it is determined to be normal because Rasior is 5% or less.

図9は、糖尿病黄斑浮腫(糖尿病性網膜症)の患者について、本実施形態に係る画像作成方法、眼底画像処理装置により作成された画像を示す図である。このうち、図9(a)は、撮像により得られたカラー眼底画像を示している。また、図9(b)は、ステップS400における空間次元変換手段40による空間次元変換後の、補正カラー眼底画像を示している。また、図9(c)は、ステップS500における特定色画像抽出手段50による特定色画像抽出後の、特定色画像(R成分)を示している。   FIG. 9 is a diagram illustrating an image created by the image creation method and fundus image processing apparatus according to the present embodiment for a patient with diabetic macular edema (diabetic retinopathy). Among these, FIG. 9A shows a color fundus image obtained by imaging. FIG. 9B shows a corrected color fundus image after the spatial dimension conversion by the spatial dimension conversion means 40 in step S400. FIG. 9C shows the specific color image (R component) after the specific color image extraction by the specific color image extraction means 50 in step S500.

図9(a)の撮像により得られたカラー眼底画像では、肉眼による黄斑領域が識別し難い。これに対して、図9(b)の補正カラー眼底画像では、中央の黄斑領域が肉眼により識別可能となっている。これは、R、G、Bの各色成分において、G、Bに比べてR成分の低周波数域を狭範囲で除去したことによる。特に、図9(b)の例では、全ての色成分について低周波数域の成分を除去しているため、黄斑領域が識別し易くなる。図9(c)に示すように、R成分のみをグレースケール画像として抽出して作成られた特定色画像では、図9(b)の補正カラー眼底画像に比べても、一層、黄斑領域の中心窩が識別し易くなっている。図9(c)に示す矩形は、解析範囲を示している。図9(c)に示す解析範囲に対して、ステップS600における定量評価手段60による定量評価を行った結果、352画素×352画素の解析範囲において、最大値(Maxr)255、平均値85、しきい値(Maxr・γ:最大値80%)以上の画素数12660個、比率(Rasior)10.21%となった。進行度しきい値として5%が設定されている場合は、Rasiorが進行度しきい値5%より大きいので、黄斑病変と判定される。   In the color fundus image obtained by imaging in FIG. 9A, it is difficult to identify the macular region by the naked eye. On the other hand, in the corrected color fundus image of FIG. 9B, the central macular region can be identified by the naked eye. This is because, in each of the R, G, and B color components, the low frequency range of the R component is removed in a narrower range than that of G and B. In particular, in the example of FIG. 9B, since the components in the low frequency range are removed from all the color components, the macular region can be easily identified. As shown in FIG. 9C, in the specific color image created by extracting only the R component as a grayscale image, the center of the macular region is further improved compared to the corrected color fundus image of FIG. 9B. The fossa is easy to identify. A rectangle shown in FIG. 9C indicates the analysis range. As a result of performing quantitative evaluation by the quantitative evaluation means 60 in step S600 on the analysis range shown in FIG. 9C, the maximum value (Maxr) 255, the average value 85, and so on in the analysis range of 352 pixels × 352 pixels. The number of pixels equal to or greater than the threshold (Maxr · γ: maximum value 80%) was 12660, and the ratio (Rasio) was 10.21%. When 5% is set as the progress threshold value, since Rasior is larger than the progress threshold value 5%, it is determined as a macular lesion.

以上、本開示の好適な実施形態について説明したが、本開示は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、撮影により得られたカラー眼底画像としてRGB各8ビットのフルカラー画像を用いたが、これに限定されず、様々な態様の眼底画像を用いることができる。例えば、近年業務用のデジタルカメラの階調は10ビット以上に拡大しており、各色1024階調等のフルカラー画像を取得することも可能になっており、より階調数の多いカラー画像を用いてもよい。また、より少ない階調数のカラー画像やモノクロ画像を用いてもよい。例えば、赤外線光源で撮像されたモノクロ画像の場合は、特定色画像のR成分と同様な処理をモノクロ画像に適用すれば良い。   The preferred embodiments of the present disclosure have been described above. However, the present disclosure is not limited to the above embodiments, and various modifications can be made. For example, in the above-described embodiment, a full-color image of 8 bits for each RGB is used as a color fundus image obtained by photographing. However, the present invention is not limited to this, and fundus images of various modes can be used. For example, in recent years, the gradation of commercial digital cameras has been expanded to 10 bits or more, and it is also possible to acquire full-color images such as 1024 gradations for each color, and color images having a larger number of gradations are used. May be. Further, a color image or a monochrome image having a smaller number of gradations may be used. For example, in the case of a monochrome image captured with an infrared light source, the same processing as the R component of the specific color image may be applied to the monochrome image.

1・・・CPU(Central Processing Unit)
2・・・RAM(Random Access Memory)
3・・・記憶装置
4・・・指示入力I/F
5・・・データ入出力I/F
6・・・表示部
10・・・画像サイズ拡大手段
20・・・周波数次元変換手段
30・・・周波数成分改変手段
40・・・空間次元変換手段
50・・・特定色画像抽出手段
60・・・定量評価手段
70・・・眼底画像記憶手段
80・・・処理データ記憶手段
100・・・眼底画像処理装置
1 ... CPU (Central Processing Unit)
2 ... RAM (Random Access Memory)
3 ... Storage device 4 ... Instruction input I / F
5. Data input / output I / F
DESCRIPTION OF SYMBOLS 6 ... Display part 10 ... Image size expansion means 20 ... Frequency dimension conversion means 30 ... Frequency component modification means 40 ... Spatial dimension conversion means 50 ... Specific color image extraction means 60 ... Quantitative evaluation means 70: fundus image storage means 80 ... processing data storage means 100 ... fundus image processing apparatus

Claims (12)

RGBの3色成分で構成されるカラー眼底画像に基づいて、黄斑領域を強調した補正カラー眼底画像を作成する画像作成方法であって、
前記カラー眼底画像の色成分ごとの画像に周波数次元変換を施し、色成分ごとに複素数成分で構成される周波数成分データに変換する周波数次元変換ステップと、
所定の周波数より低い低周波数域において、色成分ごとに所定の周波数範囲を改変周波数範囲とし、R成分の改変周波数範囲をG成分またはB成分の改変周波数範囲よりも狭く設定し、前記色成分ごとの周波数成分データのうち前記改変周波数範囲の値を減衰させる周波数成分改変ステップと、
改変された色成分ごとの周波数成分データに周波数次元逆変換を施し、RGBの3色成分で構成される補正カラー眼底画像を作成する空間次元変換ステップと、
を有することを特徴とする画像作成方法。
An image creation method for creating a corrected color fundus image in which a macular region is emphasized based on a color fundus image composed of three color components of RGB,
A frequency dimension conversion step of performing frequency dimension conversion on an image for each color component of the color fundus image and converting the frequency component data to complex frequency components for each color component;
In a low frequency range lower than a predetermined frequency, the predetermined frequency range is set as a modified frequency range for each color component, the modified frequency range of the R component is set narrower than the modified frequency range of the G component or the B component, A frequency component modification step for attenuating the value of the modified frequency range in the frequency component data of
A spatial dimension conversion step of performing frequency dimension inverse transformation on the frequency component data for each modified color component to create a corrected color fundus image composed of three color components of RGB;
An image creating method characterized by comprising:
前記周波数成分改変ステップは、前記R成分の周波数成分データに対して、前記所定の周波数より高い高周波数域において、所定の周波数範囲をさらに改変周波数範囲と設定し、前記R成分の周波数成分データのうち当該改変周波数範囲の値を減衰させることを特徴とする請求項1に記載の画像作成方法。   In the frequency component modification step, a predetermined frequency range is further set as a modified frequency range in a high frequency region higher than the predetermined frequency with respect to the frequency component data of the R component, and the frequency component data of the R component The image creation method according to claim 1, wherein a value of the modified frequency range is attenuated. 前記改変周波数範囲は、直流成分の位置からの2次元ユークリッド距離が所定の範囲である扇形領域により定められるものであり、前記直流成分の位置は、正方形で表現された前記周波数成分データの4隅であることを特徴とする請求項1または請求項2に記載の画像作成方法。   The modified frequency range is defined by a sector region in which the two-dimensional Euclidean distance from the position of the DC component is a predetermined range, and the position of the DC component is the four corners of the frequency component data expressed by a square. The image creation method according to claim 1, wherein the image creation method is an image creation method. 前記周波数成分改変ステップは、前記色成分ごとの周波数成分データの値に対して、所定の倍率で増大する処理を、さらに行うことを特徴とする請求項1から請求項3のいずれか一項に記載の画像作成方法。   4. The frequency component modification step further performs a process of increasing the frequency component data value for each color component at a predetermined magnification, according to claim 1. The image creation method described. 前記空間次元変換ステップは、前記補正カラー眼底画像を作成する際、前記RGBの3色成分の値に対して、とりうる最大値より減算してネガ反転する処理を、さらに行うことを特徴とする請求項1から請求項4のいずれか一項に記載の画像作成方法。   The spatial dimension conversion step further performs a process of subtracting a negative value from the maximum possible values for the values of the three color components of RGB when creating the corrected color fundus image, and performing negative inversion. The image creation method according to any one of claims 1 to 4. 前記空間次元変換ステップの後に、
前記補正カラー眼底画像の前記R成分の画像を、黄斑領域が特に強調された特定色画像として抽出する特定色画像抽出ステップをさらに有することを特徴とする請求項1から請求項5のいずれか一項に記載の画像作成方法。
After the spatial dimension conversion step,
6. The specific color image extracting step of extracting the R component image of the corrected color fundus image as a specific color image in which a macular region is particularly emphasized. The image creation method according to item.
前記特定色画像に対して、
最大値をもつ画素の座標である最大値位置を探索し、
探索された最大値位置を中心に所定の大きさの解析範囲を設定し、
前記最大値に対して1未満の実数値を乗算したしきい値を設定し、
前記解析範囲で前記しきい値以上の値をもつ画素の個数をカウントし、
前記カウントされた画素の個数と前記解析範囲の全画素数との比率を、進行度パラメータとして算出する定量評価ステップを、
さらに有することを特徴とする請求項6に記載の画像作成方法。
For the specific color image,
Search for the maximum position that is the coordinates of the pixel with the maximum value,
Set the analysis range of a predetermined size around the searched maximum value position,
Set a threshold value obtained by multiplying the maximum value by a real value less than 1,
Count the number of pixels having a value equal to or greater than the threshold value in the analysis range,
A quantitative evaluation step of calculating a ratio of the counted number of pixels and the total number of pixels in the analysis range as a progress parameter;
The image creating method according to claim 6, further comprising:
前記カラー眼底画像の画素数をXs×Ysとするとき、Ns/2<Ys≦Xs<Nsを満たす2のn乗 (nは正の整数)の整数Nsを定義し、
前記カラー眼底画像に対してダミー画素を付加して、Ns×Ns画素の拡大カラー眼底画像に変換する画像サイズ拡大ステップをさらに有し、
前記周波数次元変換ステップは、前記拡大カラー眼底画像の色成分ごとにNs×Ns画素で構成される色成分の画像に対して、2次元高速フーリエ変換を施し、色成分ごとにNs×Ns画素の複素数成分で構成される周波数成分データに変換するようにし、
前記周波数成分改変ステップは、前記Ns×Ns画素の複素数成分で構成される周波数成分データに対して改変を加えるようにし、
前記空間次元変換ステップは、改変された前記Ns×Ns画素の周波数成分データの色成分ごとに、2次元高速フーリエ逆変換を施し、RGBの3色成分のNs×Ns画素の補正拡大カラー眼底画像を作成した後、前記補正拡大カラー眼底画像より、前記ダミー画素に対応する画素を除去し、Xs×Ys画素の前記補正カラー眼底画像に変換することを特徴とする請求項1から請求項7のいずれか一項に記載の画像作成方法。
When the number of pixels of the color fundus image is Xs × Ys, an integer Ns of 2 n (n is a positive integer) that satisfies Ns / 2 <Ys ≦ Xs <Ns is defined,
An image size enlargement step of adding a dummy pixel to the color fundus image and converting it to an enlarged color fundus image of Ns × Ns pixels;
In the frequency dimension conversion step, a two-dimensional fast Fourier transform is performed on a color component image composed of Ns × Ns pixels for each color component of the enlarged color fundus image, and Ns × Ns pixels for each color component. It converts to frequency component data composed of complex number components,
The frequency component modification step modifies the frequency component data composed of complex components of the Ns × Ns pixels,
In the spatial dimension conversion step, two-dimensional fast Fourier inverse transform is performed for each color component of the modified frequency component data of the Ns × Ns pixels, and a corrected enlarged color fundus image of Ns × Ns pixels of three RGB components The pixel corresponding to the dummy pixel is removed from the corrected enlarged color fundus image, and converted to the corrected color fundus image of Xs × Ys pixels. The image creation method as described in any one of Claims.
前記周波数成分改変ステップは、Ns=1024の場合、前記低周波数域における改変周波数範囲として、前記2次元ユークリッド距離が1から10の範囲で設定するようにしていることを特徴とする請求項3に記載の画像作成方法。   The frequency component modification step is configured such that, when Ns = 1024, the two-dimensional Euclidean distance is set within a range of 1 to 10 as a modified frequency range in the low frequency range. The image creation method described. RGBの3色成分で構成されるカラー眼底画像に基づき、黄斑領域を強調した補正カラー眼底画像を作成する眼底画像処理装置であって、
前記カラー眼底画像の各色成分の画像に周波数次元変換を施し、色成分ごとに複素数成分で構成される周波数成分データに変換する周波数次元変換手段と、
前記周波数成分データの各色成分の複素数成分に対して、
所定の周波数より低い低周波数域において、色成分ごとに所定の周波数範囲を改変周波数範囲とし、R成分の改変周波数範囲を、G成分、B成分の改変周波数範囲よりも狭く設定して減衰させることにより、周波数成分データを色成分ごとに改変する周波数成分改変手段と、
改変された色成分ごとの周波数成分データに周波数次元逆変換を施し、RGBの3色成分で構成される補正カラー眼底画像を作成する空間次元変換手段と、
を有することを特徴とする眼底画像処理装置。
A fundus image processing apparatus for creating a corrected color fundus image in which a macular region is emphasized based on a color fundus image composed of RGB three-color components,
Frequency dimensional conversion means for performing frequency dimensional conversion on each color component image of the color fundus image and converting the frequency component data to complex frequency components for each color component;
For the complex number component of each color component of the frequency component data,
In a low frequency range lower than a predetermined frequency, a predetermined frequency range is set as a modified frequency range for each color component, and the modified frequency range of the R component is set to be narrower than the modified frequency ranges of the G component and the B component and attenuated. The frequency component modification means for modifying the frequency component data for each color component,
A spatial dimension conversion means for performing frequency dimension inverse transformation on the frequency component data for each modified color component and creating a corrected color fundus image composed of three color components of RGB;
A fundus image processing apparatus comprising:
コンピュータを、
カラー眼底画像の各色成分の画像に周波数次元変換を施し、色成分ごとに複素数成分で構成される周波数成分データに変換する周波数次元変換ステップ、
前記周波数成分データの各色成分の複素数成分に対して、所定の周波数より低い低周波数域において、色成分ごとに所定の周波数範囲を改変周波数範囲とし、R成分の改変周波数範囲を、G成分またはB成分の改変周波数範囲よりも狭く設定して減衰させることにより、周波数成分データを色成分ごとに改変する周波数成分改変ステップ、
改変された色成分ごとの周波数成分データに周波数次元逆変換を施し、RGBの3色成分で構成される補正カラー眼底画像を作成する空間次元変換ステップ、
として機能させるためのプログラム。
Computer
A frequency dimension conversion step of performing frequency dimension conversion on the image of each color component of the color fundus image and converting the frequency component data to complex frequency components for each color component;
With respect to the complex number component of each color component of the frequency component data, in a low frequency range lower than a predetermined frequency, the predetermined frequency range for each color component is set as the modified frequency range, and the modified frequency range of the R component is set as the G component or B component. A frequency component modification step for modifying the frequency component data for each color component by setting the component to be narrower than the modified frequency range and attenuating it.
A spatial dimension conversion step of performing a frequency dimension inverse transform on the frequency component data for each modified color component to create a corrected color fundus image composed of three color components of RGB;
Program to function as.
コンピュータを、
カラー眼底画像の各色成分の画像に周波数次元変換を施し、色成分ごとに複素数成分で構成される周波数成分データに変換する周波数次元変換ステップ、
前記周波数成分データの各色成分の複素数成分に対して、所定の周波数より低い低周波数域において、色成分ごとに所定の周波数範囲を改変周波数範囲とし、R成分の改変周波数範囲を、G成分またはB成分の改変周波数範囲よりも狭く設定して減衰させることにより、周波数成分データを色成分ごとに改変する周波数成分改変ステップ、
改変された色成分ごとの周波数成分データに周波数次元逆変換を施し、RGBの3色成分で構成される補正カラー眼底画像を作成する空間次元変換ステップ、
として機能させるためのプログラムを記録した記録媒体。
Computer
A frequency dimension conversion step of performing frequency dimension conversion on the image of each color component of the color fundus image and converting the frequency component data to complex frequency components for each color component;
With respect to the complex number component of each color component of the frequency component data, in a low frequency range lower than a predetermined frequency, the predetermined frequency range for each color component is set as the modified frequency range, and the modified frequency range of the R component is set as the G component or B component. A frequency component modification step for modifying the frequency component data for each color component by setting the component to be narrower than the modified frequency range and attenuating it.
A spatial dimension conversion step of performing a frequency dimension inverse transform on the frequency component data for each modified color component to create a corrected color fundus image composed of three color components of RGB;
A recording medium on which a program for functioning as a recording medium is recorded.
JP2018105791A 2018-06-01 2018-06-01 Image creation method and fundus image processing device Active JP7223308B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018105791A JP7223308B2 (en) 2018-06-01 2018-06-01 Image creation method and fundus image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018105791A JP7223308B2 (en) 2018-06-01 2018-06-01 Image creation method and fundus image processing device

Publications (2)

Publication Number Publication Date
JP2019208708A true JP2019208708A (en) 2019-12-12
JP7223308B2 JP7223308B2 (en) 2023-02-16

Family

ID=68844309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018105791A Active JP7223308B2 (en) 2018-06-01 2018-06-01 Image creation method and fundus image processing device

Country Status (1)

Country Link
JP (1) JP7223308B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002521168A (en) * 1998-07-30 2002-07-16 ボストン サイエンティフィック リミテッド Method and apparatus for spatially and temporally filtering ultrasound image processing data in a blood vessel
JP2008295804A (en) * 2007-05-31 2008-12-11 Topcon Corp Fundus examination device and program
JP2010246695A (en) * 2009-04-15 2010-11-04 Kowa Co Image processing method and image processing apparatus
JP2011200512A (en) * 2010-03-26 2011-10-13 Topcon Corp Ophthalmologic image processor
WO2013088566A1 (en) * 2011-12-15 2013-06-20 富士通株式会社 Vein authentication method, image processing method, and vein authentication apparatus
JP2016026521A (en) * 2014-06-30 2016-02-18 株式会社ニデック Optical coherence tomography device and data processing program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002521168A (en) * 1998-07-30 2002-07-16 ボストン サイエンティフィック リミテッド Method and apparatus for spatially and temporally filtering ultrasound image processing data in a blood vessel
JP2008295804A (en) * 2007-05-31 2008-12-11 Topcon Corp Fundus examination device and program
JP2010246695A (en) * 2009-04-15 2010-11-04 Kowa Co Image processing method and image processing apparatus
JP2011200512A (en) * 2010-03-26 2011-10-13 Topcon Corp Ophthalmologic image processor
WO2013088566A1 (en) * 2011-12-15 2013-06-20 富士通株式会社 Vein authentication method, image processing method, and vein authentication apparatus
JP2016026521A (en) * 2014-06-30 2016-02-18 株式会社ニデック Optical coherence tomography device and data processing program

Also Published As

Publication number Publication date
JP7223308B2 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
Patton et al. Retinal image analysis: concepts, applications and potential
JP3810776B2 (en) A method for detecting and correcting red eyes in digital images.
Abràmoff et al. Retinal imaging and image analysis
Niemeijer et al. Segmentation of the optic disc, macula and vascular arch in fundus photographs
Odstrcilik et al. Thickness related textural properties of retinal nerve fiber layer in color fundus images
US20220058796A1 (en) Methods and systems for ocular imaging, diagnosis and prognosis
US20200305706A1 (en) Image processing method for glaucoma detection and computer program products thereof
TWI746287B (en) Data storage system and data storage method
JPWO2019142910A1 (en) Diagnostic support device, learning device, diagnostic support method, learning method and program
US11730364B2 (en) Apparatus and methods for supporting reading of fundus image
JP2018114031A (en) Fundus image processing device
CN116491893A (en) Method and device for evaluating change of ocular fundus of high myopia, electronic equipment and storage medium
Zhang et al. Hierarchical detection of red lesions in retinal images by multiscale correlation filtering
Gupta et al. A novel method for automatic retinal detachment detection and estimation using ocular ultrasound image
Majumdar et al. An automated graphical user interface based system for the extraction of retinal blood vessels using kirsch‘s template
Vermeer et al. Modeling of scanning laser polarimetry images of the human retina for progression detection of glaucoma
JP7223308B2 (en) Image creation method and fundus image processing device
Starovoitov et al. A universal retinal image template for automated screening of diabetic retinopathy
JP2018102586A (en) Fundus image processing device
JP6481432B2 (en) Fundus image processing device
Gupta et al. Automated Detection of Retinal Detachment from Ocular Ultrasound using Image Thresholding
JP2020182680A (en) Visual perception simulation method and visual perception simulation program
WO2013041977A1 (en) Method of retinal image enhancement and tool therefor
JP6439515B2 (en) Fundus image processing device
Princy et al. Analysis of Retinal Images Using Detection of the Blood Vessels by Optic Disc and Optic Cup Segmentation Method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230119

R150 Certificate of patent or registration of utility model

Ref document number: 7223308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150