JP2018023602A - Fundus image processing device - Google Patents
Fundus image processing device Download PDFInfo
- Publication number
- JP2018023602A JP2018023602A JP2016157402A JP2016157402A JP2018023602A JP 2018023602 A JP2018023602 A JP 2018023602A JP 2016157402 A JP2016157402 A JP 2016157402A JP 2016157402 A JP2016157402 A JP 2016157402A JP 2018023602 A JP2018023602 A JP 2018023602A
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- pixel
- fundus image
- blood vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
本発明は、眼底画像の処理技術に関し、特に、眼底画像を用いて血管領域を強調した画像を得るための技術に関する。 The present invention relates to a fundus image processing technique, and more particularly to a technique for obtaining an image in which a blood vessel region is emphasized using a fundus image.
眼科疾患でポピュラーな近視の中に、眼球後極の組織が変性して眼軸が伸び、強度な近視の症状を呈し、場合により失明に至る重篤な疾患「強度近視」が知られている。 Popular myopia in ophthalmological diseases is known as severe myopia, a severe illness that causes posterior polar tissue degeneration, eye axis elongation, strong myopia, and sometimes blindness. .
現状では、強度近視に対する根治術としては、まだ研究段階であり、実際には、薬物療法や外科治療により病態の症状や進行を抑える対症療法しかないのが現状である。従って、強度近視の治療にあたっては、早期発見が重要となり、基本的には、眼底カメラなどによる継続的な撮影画像に基づく診断がなされることになる。 At present, the radical cure for intense myopia is still in the research stage, and in reality, there are only symptomatic treatments that suppress symptoms and progression of the disease state by pharmacotherapy and surgical treatment. Therefore, early detection is important in the treatment of intense myopia, and basically diagnosis based on continuous captured images by a fundus camera or the like is made.
強度近視は、２０年以上の長期に渡るタイムスパンで病態が徐々に進行するため、眼底カメラ等を用いて長期経過の観察が行われることが望ましい。医療画像の進歩に伴い、２０年前に撮影された画像と最近撮影された画像では、精度・撮影条件等が異なり、定量的な比較が難しかった。これを解決するため、出願人は、使用されたカメラの機種や撮影条件の異なる眼底画像を整合させ、各種部位の寸法比較等を可能にする画像解析技術を開発している（特許文献１参照）。 Intensity myopia, since the pathology gradually progresses over a long time span of 20 years or longer, it is desirable to observe the long-term progress using a fundus camera or the like. Accompanying the advancement of medical images, images taken 20 years ago and recently taken images differed in accuracy, imaging conditions, etc., and quantitative comparison was difficult. In order to solve this problem, the applicant has developed an image analysis technique that matches fundus images with different camera models and imaging conditions and enables comparison of dimensions of various parts (see Patent Document 1). ).
上記従来の技術では、カメラの機種や撮影条件の異なる眼底画像を整合させるにあたり、ヒトの網膜の主要血管の走行形態はたとえ種々の眼科疾患を患っても一生涯変化しないという前提のもと、視神経乳頭（以下、単に「乳頭」という）の中心と血管を基準に倍率・角度・位置の補正を行っていた。 In the above-mentioned conventional technology, in matching fundus images with different camera models and shooting conditions, the running form of the main blood vessels of the human retina is based on the premise that even if it suffers from various ophthalmic diseases, it does not change for a lifetime. The magnification, angle, and position were corrected based on the center of the optic nerve head (hereinafter simply referred to as “nipple”) and blood vessels.
しかしながら、ヒトの網膜の主要血管は、強度近視疾患など眼球形状の３次元的な変形に伴い、一部の血管走行が変化したり、病気の進行に伴い新生血管が出現したりすることもある。また、動脈硬化や糖尿病といった生活習慣病は血管の病気とも言われ、眼底血管を含む全身の血管に硬化が見られる。そのため、数あるヒトの血管の中で、唯一体表に露出している眼底血管の観察は、眼科疾患に限らず、全身の病気の診断において重要である。しかし、眼底画像から血管部分を特定することは容易ではないという問題がある。 However, the main blood vessels of the human retina may change some of the blood vessels with the three-dimensional deformation of the eyeball shape, such as severe myopia, and new blood vessels may appear as the disease progresses. . In addition, lifestyle-related diseases such as arteriosclerosis and diabetes are also called vascular diseases, and sclerosis is observed in blood vessels throughout the body including the fundus vasculature. Therefore, the observation of the fundus blood vessel that is exposed on the body surface among the many human blood vessels is important not only for ophthalmic diseases but also for the diagnosis of systemic diseases. However, there is a problem that it is not easy to specify a blood vessel portion from the fundus image.
そこで、本発明は、眼底画像から血管径などの血管微細形状を維持したまま血管領域を自動的に抽出することが可能な眼底画像処理装置を提供することを課題とする。 Accordingly, an object of the present invention is to provide a fundus image processing apparatus capable of automatically extracting a blood vessel region from a fundus image while maintaining a fine blood vessel shape such as a blood vessel diameter.
上記課題を解決するため、本発明第１の態様では、
カラー眼底画像を処理して血管領域を強調するための装置であって、
前記カラー眼底画像が有する色成分のうち少なくとも１つの色成分に基づいてグレースケール眼底画像を得るグレースケール変換手段と、
前記グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値（Ｍｅａｎ（ｘ，ｙ））を算出し、当該画素の画素値に所定の値（Ｍｉｄ）から前記平均値を減算した値を加算することにより、平坦化画像を作成する画像平坦化手段と、
前記平坦化画像に対して、所定の構造要素を用いてオープニング処理（収縮・膨張処理）を行い血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段と、
前記線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、前記所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段と、
を有することを特徴とする眼底画像処理装置を提供する。
In order to solve the above problems, in the first aspect of the present invention,
A device for processing a color fundus image to enhance a blood vessel region,
Grayscale conversion means for obtaining a grayscale fundus image based on at least one of the color components of the color fundus image;
For each pixel of the gray scale fundus image, an average value (Mean (x, y)) of neighboring pixels included in a predetermined range is calculated, and a predetermined value (Mid) is calculated as the pixel value of the pixel. Image flattening means for creating a flattened image by adding a value obtained by subtracting the average value from
Linear component emphasizing means for performing an opening process (shrinkage / expansion process) on the flattened image using predetermined structural elements to create a linear component emphasized image in which the luminance of the blood vessel candidate region is equal to or higher than a certain level ,
In the linear component emphasized image, a pixel value that does not satisfy the predetermined condition is replaced with the minimum gradation value of the converted blood vessel emphasized image, and the pixel value that satisfies the predetermined condition is the minimum gradation value. Pixel gradation conversion means for correcting the gradation of the pixel so as to be in the range of the maximum value from the value near the value, and creating a blood vessel emphasized image;
There is provided a fundus image processing apparatus characterized by comprising:
本発明第１の態様によれば、カラー眼底画像が有する色成分のうち少なくとも１つの色成分に基づいてグレースケール眼底画像を得て、グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、当該画素の画素値に所定の値から前記平均値を減算した値を加算することにより、平坦化画像を作成し、平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い、（好ましくは全ての）血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成し、線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成するようにしたので、血管領域が抽出された画像として血管強調画像が得られ、眼底画像から血管径などの血管微細形状を維持したまま血管領域を自動的に抽出することが可能となる。特に、画像を平坦化した後、線状成分強調画像を作成するようにしているため、粒状成分を抑圧しながら照明ムラの影響を受けずに眼底全体に渡って血管領域を均一に抽出することが可能となる。 According to the first aspect of the present invention, a grayscale fundus image is obtained based on at least one color component among the color components of the color fundus image, and the predetermined range is obtained for each pixel of the grayscale fundus image. An average value of the pixel values of the neighboring pixels included is calculated, and a flattened image is created by adding a value obtained by subtracting the average value from a predetermined value to the pixel value of the pixel. Then, an opening process is performed using a predetermined structural element, and a linear component enhanced image in which the luminance of (preferably all) blood vessel candidate regions is set to a certain level or more is created. In the linear component enhanced image, a predetermined condition is set. Replace the pixel values that do not meet with the minimum value of the gradation of the converted blood vessel-enhanced image so that the pixel values that satisfy the predetermined condition fall within the range from the value near the minimum value of the gradation to the maximum value. Correct the tone of the pixel Since the blood vessel enhancement image is created, a blood vessel enhancement image can be obtained as an image from which the blood vessel region has been extracted, and the blood vessel region can be automatically extracted from the fundus image while maintaining the blood vessel fine shape such as the blood vessel diameter. It becomes possible. In particular, since the linear component-enhanced image is created after the image is flattened, the blood vessel region can be uniformly extracted over the entire fundus without being affected by uneven illumination while suppressing the granular component. Is possible.
また、本発明第２の態様では、前記グレースケール変換手段は、ＲＧＢ（赤緑青）３原色成分からなる前記カラー眼底画像のＧ（緑）成分を単一の色成分として抽出するものであり、当該値が０から２５５の値をとるとき、当該値を２５５から減算した値に変換して前記グレースケール眼底画像を得ることを特徴とする。 In the second aspect of the present invention, the gray scale conversion means extracts the G (green) component of the color fundus image composed of RGB (red green blue) three primary color components as a single color component, When the value takes a value from 0 to 255, the value is converted into a value obtained by subtracting from 255 to obtain the gray scale fundus image.
本発明第２の態様によれば、３原色成分からなるカラー眼底画像のＧ成分を単一の色成分として抽出するものであり、その値が０から２５５の値をとるとき、その値を２５５から減算した値に変換するようにしたので、眼底画像と反対に、非血管領域の輝度が低く血管領域の輝度が高くなり、グレースケール眼底画像の血管領域に対して疑似カラーで着色することができ、複数のグレースケール眼底画像を合成しても背景部が混ざり合わないため、血管領域の位置関係が把握しやすくなる。 According to the second aspect of the present invention, the G component of the color fundus image composed of the three primary color components is extracted as a single color component, and when the value takes a value from 0 to 255, the value is set to 255. In contrast to the fundus image, the luminance of the non-blood vessel region is low and the blood vessel region is high, and the blood vessel region of the grayscale fundus image can be colored with a pseudo color. In addition, even if a plurality of gray scale fundus images are combined, the background portion is not mixed, so that the positional relationship between the blood vessel regions can be easily grasped.
また、本発明第３の態様では、前記画像平坦化手段は、前記グレースケール眼底画像の各画素（ｘ，ｙ）に対して、前記近傍画素として（ｘ−ｈ＋１，ｙ−ｈ＋１）から（ｘ＋ｈ，ｙ＋ｈ）までの２ｈ×２ｈ個の画素を用い（ｈは１以上の整数）、画素値が０〜２５５の値を取り得るとき、前記所定の値として１２８を用いることを特徴とする。 Further, in the third aspect of the present invention, the image flattening means may use (x−h + 1, y−h + 1) to (x + h) as the neighboring pixels for each pixel (x, y) of the grayscale fundus image. , Y + h) up to 2h × 2h pixels (h is an integer of 1 or more), and when the pixel value can take a value of 0 to 255, 128 is used as the predetermined value.
本発明第３の態様によれば、グレースケール眼底画像の各画素（ｘ，ｙ）に対して、近傍画素として（ｘ−ｈ＋１，ｙ−ｈ＋１）から（ｘ＋ｈ，ｙ＋ｈ）までの２ｈ×２ｈ個の画素を用い（ｈは１以上の整数）、画素値が０〜２５５の値を取り得るとき、所定の値として１２８を用いるようにしたので、粒状成分を抑圧しながら照明ムラの影響を受けずに眼底全体に渡って血管領域を均一に抽出することが可能となる。 According to the third aspect of the present invention, 2h × 2h pixels from (x−h + 1, y−h + 1) to (x + h, y + h) as neighboring pixels for each pixel (x, y) of the grayscale fundus image. (H is an integer equal to or greater than 1), and when the pixel value can take a value of 0 to 255, 128 is used as the predetermined value. Therefore, the blood vessel region can be extracted uniformly over the entire fundus.
また、本発明第４の態様では、前記画像平坦化手段は、画像のサイズがＸｓ×Ｙｓである前記グレースケール眼底画像に対して、あらかじめ（０，０）から（Ｘｓ−１，ｙ−１）の範囲のＸｓ×ｙ個、および（０，ｙ）から（ｘ，ｙ）の範囲のｘ＋１個からなる全Ｘｓ×ｙ＋ｘ＋１個の画素値の総和を各画素（ｘ，ｙ）における累積値Ｓ（ｘ，ｙ）として算出する処理を行い、Ｓ（ｘ＋ｈ，ｙ＋ｈ）−Ｓ（ｘ−ｈ，ｙ＋ｈ）−Ｓ（ｘ＋ｈ，ｙ−ｈ）＋Ｓ（ｘ−ｈ，ｙ−ｈ）の値を、２ｈ×２ｈで除算した値を前記平均値とすることを特徴とする。 Further, in the fourth aspect of the present invention, the image flattening means performs (X, −1, y−1) from (0, 0) to (Xs−1, y−1) in advance for the gray scale fundus image whose image size is Xs × Ys. ) In the range (Xs × y) and x + 1 in the range (0, y) to (x, y), the sum of all Xs × y + x + 1 pixel values is the cumulative value S for each pixel (x, y). (X, y) is calculated, and S (x + h, y + h) −S (x−h, y + h) −S (x + h, y−h) + S (x−h, y−h) A value obtained by dividing 2h × 2h is used as the average value.
本発明第４の態様によれば、画像のサイズがＸｓ×Ｙｓであるグレースケール眼底画像に対して、あらかじめ（０，０）から（Ｘｓ−１，ｙ−１）の範囲のＸｓ×ｙ個、および（０，ｙ）から（ｘ，ｙ）の範囲のｘ＋１個からなる全Ｘｓ×ｙ＋ｘ＋１個の画素値の総和を各画素（ｘ，ｙ）における累積値Ｓ（ｘ，ｙ）として算出する処理を行い、Ｓ（ｘ＋ｈ，ｙ＋ｈ）−Ｓ（ｘ−ｈ，ｙ＋ｈ）−Ｓ（ｘ＋ｈ，ｙ−ｈ）＋Ｓ（ｘ−ｈ，ｙ−ｈ）の値を、２ｈ×２ｈで除算した値を前記平均値とするようにしたので、少ない処理負荷で高速に平坦化画像の作成を行うことが可能となる。 According to the fourth aspect of the present invention, Xs × y pixels in the range of (0,0) to (Xs−1, y−1) in advance with respect to the grayscale fundus image whose image size is Xs × Ys. , And x + 1 in the range from (0, y) to (x, y), and the sum of all Xs × y + x + 1 pixel values is calculated as a cumulative value S (x, y) for each pixel (x, y). A value obtained by dividing the value of S (x + h, y + h) −S (x−h, y + h) −S (x + h, y−h) + S (x−h, y−h) by 2h × 2h is performed. Since the average value is used, a flattened image can be created at a high speed with a small processing load.
また、本発明第５の態様では、前記線状成分強調手段は、前記平坦化画像に対して、方向が異なる線形の構造要素である線形構造要素を複数個用いてオープニング処理（収縮・膨張処理）を行い複数の線形オープニング画像を作成し、得られた複数の線形オープニング画像より画素ごとの最大値を画素値として与えることにより、前記線状成分強調画像を作成することを特徴とする。 In the fifth aspect of the present invention, the linear component enhancing means uses an opening process (a contraction / expansion process) for the flattened image using a plurality of linear structural elements that are linear structural elements having different directions. ) To create a plurality of linear opening images, and give the maximum value for each pixel as a pixel value from the obtained plurality of linear opening images, thereby creating the linear component emphasized image.
本発明第５の態様によれば、平坦化画像に対して、方向が異なる線形の構造要素である線形構造要素を複数個用いてオープニング処理（収縮・膨張処理）を行い複数の線形オープニング画像を作成し、得られた複数の線形オープニング画像より画素ごとの最大値を画素値として与えるようにしたので、血管に特徴的な線状成分をより高精度に抽出することができ、過剰な粒状成分の抽出をより抑えることが可能となる。 According to the fifth aspect of the present invention, the flattened image is subjected to an opening process (shrinkage / expansion process) using a plurality of linear structural elements that are linear structural elements having different directions, and a plurality of linear opening images are obtained. Since the maximum value for each pixel is given as the pixel value from a plurality of linear opening images created and obtained, linear components characteristic of blood vessels can be extracted with higher accuracy, and excessive granular components It is possible to further suppress the extraction of.
また、本発明第６の態様では、前記線形構造要素は、オープニング処理の際に参照される参照画素が定義された（２Ｒ＋１）×（２Ｒ＋１）画素の２値画像で、半径Ｒの円形内部に参照画素が定義され、２Ｒ＋１の長さで画素幅が１画素であって、２２．５度間隔の直線の少なくとも近傍に配置されることにより、８方向を定義していることを特徴とする。 In the sixth aspect of the present invention, the linear structure element is a binary image of (2R + 1) × (2R + 1) pixels in which reference pixels to be referred to in the opening process are defined, and the circular structure element has a radius R. A reference pixel is defined, has a length of 2R + 1, has a pixel width of 1 pixel, and is arranged at least in the vicinity of a straight line with an interval of 22.5 degrees, thereby defining eight directions.
本発明第６の態様によれば、線形構造要素が、オープニング処理の際に参照される参照画素が定義された（２Ｒ＋１）×（２Ｒ＋１）画素の２値画像で、半径Ｒの円形内部に参照画素が定義され、２Ｒ＋１の長さで画素幅が１画素であって、２２．５度間隔の直線の少なくとも近傍に配置されることにより、８方向を定義するようにしたので、演算処理の負荷を抑えつつ、あらゆる方向をもつ線状成分を殆ど漏れなく抽出することが可能となる。 According to the sixth aspect of the present invention, the linear structuring element is a binary image of (2R + 1) × (2R + 1) pixels in which the reference pixels to be referred to in the opening process are defined, and is referenced inside the circle with the radius R Since the pixels are defined, the length is 2R + 1, the pixel width is 1 pixel, and the pixels are arranged at least in the vicinity of the straight line with an interval of 22.5 degrees, the eight directions are defined. It is possible to extract linear components having all directions with almost no leakage while suppressing.
また、本発明第７の態様では、前記画素階調変換手段は、前記所定の条件を満たす画素値として所定のしきい値を超える画素値とし、前記線状成分強調画像に対して、画素値の度数分布を算出し、前記線状成分強調画像の最小画素値から数えて画素数の総和が前記線状成分強調画像の全画素数の所定の比率（α）を超える画素値のうち最小の画素値（ｖｍｉｎ）を所定のしきい値に設定することを特徴とする。 In the seventh aspect of the present invention, the pixel gradation conversion means sets a pixel value that exceeds a predetermined threshold as a pixel value that satisfies the predetermined condition, and applies a pixel value to the linear component emphasized image. And the sum of the number of pixels counted from the minimum pixel value of the linear component emphasized image exceeds the predetermined ratio (α) of the total number of pixels of the linear component emphasized image. The pixel value (vmin) is set to a predetermined threshold value.
本発明第７の態様によれば、画素階調変換の際の、所定の条件を満たす画素値として所定のしきい値を超える画素値とし、線状成分強調画像に対して、画素値の度数分布を算出し、最小画素値から数えて画素数の総和が線状成分強調画像の全画素数の所定の比率を超える最小の画素値を所定のしきい値に設定するようにしているので、与えられた画像に含まれる設定された比率の線状成分に相当する画素領域に対して画素値のコントラストを強調することが可能となる。 According to the seventh aspect of the present invention, a pixel value that exceeds a predetermined threshold as a pixel value that satisfies a predetermined condition at the time of pixel gradation conversion, and the frequency of the pixel value with respect to the linear component emphasized image Since the distribution is calculated and the minimum pixel value, which is counted from the minimum pixel value, exceeds the predetermined ratio of the total number of pixels of the linear component emphasized image, the minimum pixel value is set to the predetermined threshold value. It becomes possible to enhance the contrast of the pixel value for the pixel area corresponding to the linear component of the set ratio included in the given image.
また、本発明第８の態様では、コンピュータを、請求項１から請求項７のいずれか一項に記載の眼底画像処理装置として機能させるためのプログラムを提供する。 According to an eighth aspect of the present invention, there is provided a program for causing a computer to function as the fundus image processing apparatus according to any one of claims 1 to 7.
本発明第８の態様によれば、プログラムを組み込むことにより、眼底画像処理装置を汎用のコンピュータにより実現することが可能となる。 According to the eighth aspect of the present invention, the fundus image processing apparatus can be realized by a general-purpose computer by incorporating a program.
本発明によれば、眼底画像から血管径などの血管微細形状を維持したまま血管領域を自動的に抽出することが可能となる。 According to the present invention, a blood vessel region can be automatically extracted from a fundus image while maintaining a fine blood vessel shape such as a blood vessel diameter.
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
＜１．装置構成＞
図１は、本発明の一実施形態に係る眼底画像処理装置のハードウェア構成図である。本実施形態に係る眼底画像処理装置１００は、汎用のコンピュータで実現することができ、図１に示すように、ＣＰＵ（Central Processing Unit）１と、コンピュータのメインメモリであるＲＡＭ（Random Access Memory）２と、ＣＰＵ１が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の大容量の記憶装置３と、キーボード、マウス等のキー入力Ｉ／Ｆ（インターフェース）４と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、液晶ディスプレイ等の表示デバイスである表示部６と、を備え、互いにバスを介して接続されている。
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the drawings.
<1. Device configuration>
FIG. 1 is a hardware configuration diagram of a fundus image processing apparatus according to an embodiment of the present invention. The fundus image processing apparatus 100 according to the present embodiment can be realized by a general-purpose computer. As shown in FIG. 1, a CPU (Central Processing Unit) 1 and a RAM (Random Access Memory) that is a main memory of the computer. 2, a large-capacity storage device 3 such as a hard disk or flash memory for storing programs and data executed by the CPU 1, a key input I / F (interface) 4 such as a keyboard and a mouse, and a data storage medium A data input / output I / F (interface) 5 for data communication with an external apparatus and a display unit 6 which is a display device such as a liquid crystal display are provided, and are connected to each other via a bus.
図２は、本実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。図２において、１０はグレースケール変換手段、２０は画像平坦化手段、３０は線状成分強調手段、４０は画素階調変換手段、５０は眼底画像記憶手段、６０は血管強調画像記憶手段である。 FIG. 2 is a functional block diagram illustrating a configuration of the fundus image processing apparatus according to the present embodiment. In FIG. 2, 10 is a gray scale conversion means, 20 is an image flattening means, 30 is a linear component enhancement means, 40 is a pixel gradation conversion means, 50 is a fundus image storage means, and 60 is a blood vessel enhancement image storage means. .
グレースケール変換手段１０は、フルカラー眼底画像に対し、ＲＧＢ３原色成分に所定の演算を施し、血管候補領域が高い輝度になるようにネガポジ反転させたグレースケール眼底画像に変換する処理を行う。画像平坦化手段２０は、グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値（輝度値）の平均値を算出し、当該画素の画素値に所定の値から平均値を減算した値を加算することにより、平坦化画像を作成する。線状成分強調手段３０は、平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い全ての血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する処理を行う。画素階調変換手段４０は、線状成分強調画像において、所定の条件を満たさない画素値、即ち所定のしきい値以下の画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、所定の条件を満たす画素の画素値、即ち所定のしきい値を超える画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像（Ｔｒａｙ）を作成する処理を行う。 The gray scale conversion means 10 performs a process of converting the full color fundus image into a gray scale fundus image obtained by performing a predetermined calculation on the RGB three primary color components and performing negative / positive inversion so that the blood vessel candidate region has high luminance. The image flattening means 20 calculates an average value of pixel values (luminance values) of neighboring pixels included in a predetermined range for each pixel of the grayscale fundus image, and calculates the pixel value of the pixel from the predetermined value. A flattened image is created by adding a value obtained by subtracting the average value. The linear component enhancement means 30 performs an opening process on the flattened image using a predetermined structural element, and performs a process of creating a linear component enhanced image in which the luminance of all blood vessel candidate regions is equal to or higher than a certain level. . The pixel gradation conversion means 40 uses a pixel value that does not satisfy a predetermined condition in the linear component emphasized image, that is, a pixel value that is not more than a predetermined threshold value, as the minimum value of the gradation of the converted blood vessel emphasized image. The pixel gradation is corrected so that the pixel value of the pixel satisfying the predetermined condition, that is, the pixel value exceeding the predetermined threshold value falls within the range from the value near the minimum gradation value to the maximum value. Then, a process of creating a blood vessel emphasized image (Tray) is performed.
グレースケール変換手段１０、画像平坦化手段２０、線状成分強調手段３０、画素階調変換手段４０は、ＣＰＵ１が、記憶装置３に記憶されているプログラムを実行することにより実現される。眼底画像記憶手段５０は、可視光・光源方式の眼底カメラを用いてフルカラーで撮影された、血管領域の抽出対象となるフルカラー眼底画像を記憶した記憶手段であり、記憶装置３により実現される。眼底画像処理装置にフルカラー眼底画像を読み込ませて、そのまま処理を行う場合は、ＲＡＭ２が眼底画像記憶手段５０としての役割を果たす。フルカラー眼底画像とは、ＲＧＢの３成分により記録された画像データであり、被験者の眼底が撮影されたものである。本実施形態では、ＲＧＢ各色８ビット２５６階調で記録されたものを用いている。 The gray scale conversion unit 10, the image flattening unit 20, the linear component enhancement unit 30, and the pixel gradation conversion unit 40 are realized by the CPU 1 executing a program stored in the storage device 3. The fundus image storage unit 50 is a storage unit that stores a full-color fundus image as a blood vessel region extraction target, which is captured in full color using a visible light / light source type fundus camera, and is realized by the storage device 3. When the full-color fundus image is read by the fundus image processing apparatus and processed as it is, the RAM 2 serves as the fundus image storage unit 50. A full-color fundus image is image data recorded with three RGB components, and is obtained by photographing the fundus of a subject. In the present embodiment, RGB recorded with 8-bit 256 gradations for each color is used.
血管強調画像記憶手段６０は、画素階調変換手段４０により血管領域が強調されたグレースケール眼底画像である血管強調画像を記憶する記憶手段であり、記憶装置３により実現される。血管強調画像は、血管領域が強調されて、血管の位置を特定可能な画像であり、８ビット２５６階調の形式のグレースケール形式で記録される。 The blood vessel-enhanced image storage unit 60 is a storage unit that stores a blood vessel-enhanced image that is a grayscale fundus image in which a blood vessel region is emphasized by the pixel gradation conversion unit 40, and is realized by the storage device 3. The blood vessel-enhanced image is an image in which the blood vessel region is emphasized and the position of the blood vessel can be specified, and is recorded in a gray scale format of 8-bit 256 gradation format.
図２に示した各構成手段は、現実には図１に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。なお、本明細書において、コンピュータとは、ＣＰＵ等の演算処理部を有し、データ処理が可能な装置を意味し、パーソナルコンピュータなどの汎用コンピュータだけでなく、タブレット等の携帯型端末も含む。 Each component shown in FIG. 2 is actually realized by installing a dedicated program in hardware such as a computer and its peripheral devices as shown in FIG. That is, the computer executes the contents of each means according to a dedicated program. Note that in this specification, a computer means an apparatus having an arithmetic processing unit such as a CPU and capable of data processing, and includes not only a general-purpose computer such as a personal computer but also a portable terminal such as a tablet.
図１に示した記憶装置３には、ＣＰＵ１を動作させ、コンピュータを、眼底画像処理装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、ＣＰＵ１は、グレースケール変換手段１０、画像平坦化手段２０、線状成分強調手段３０、画素階調変換手段４０としての機能を実現することになる。また、記憶装置３は、眼底画像記憶手段５０、血管強調画像記憶手段６０として機能するだけでなく、眼底画像処理装置としての処理に必要な様々なデータを記憶する。 A dedicated program for operating the CPU 1 and causing the computer to function as a fundus image processing apparatus is installed in the storage device 3 illustrated in FIG. By executing this dedicated program, the CPU 1 realizes functions as the gray scale conversion means 10, the image flattening means 20, the linear component enhancement means 30, and the pixel gradation conversion means 40. The storage device 3 not only functions as the fundus image storage unit 50 and the blood vessel emphasized image storage unit 60 but also stores various data necessary for processing as the fundus image processing device.
＜２．処理動作＞
＜２．１．前処理＞
まず、処理対象とするフルカラー眼底画像を用意する。フルカラー眼底画像としては、デジタル方式の眼底カメラによりフルカラーで撮影した画像ファイルがあれば、そのまま使用できる。また、アナログ方式の眼底カメラにより写真媒体に記録された古いものであれば、保管されていたアナログのモノクロまたはカラーのネガ・ポジフィルム、印画紙、インスタント写真等をスキャナによりフルカラーで読み取る等してデジタルのフルカラー眼底画像ファイルを取得する。この時、たとえ原画がモノクロであっても、フルカラーで読み取る。一般には、可視光・光源方式の眼底カメラを用いてフルカラーで撮影することによりフルカラー眼底画像が得られる。取得したフルカラー眼底画像は、眼底画像処理装置の眼底画像記憶手段５０に記憶させる。本実施形態では、フルカラー眼底画像としてＲ，Ｇ，Ｂ各成分８ビット２５６階調のカラー画像を用意する。
<2. Processing action>
<2.1. Pretreatment>
First, a full-color fundus image to be processed is prepared. As a full-color fundus image, if there is an image file taken in full color by a digital fundus camera, it can be used as it is. In addition, if it is an old one recorded on a photographic medium by an analog fundus camera, the stored analog monochrome or color negative / positive film, photographic paper, instant photo, etc. are read in full color with a scanner. Get digital full-color fundus image file. At this time, even if the original image is monochrome, it is read in full color. Generally, a full-color fundus image is obtained by photographing in full color using a visible light / light source type fundus camera. The acquired full-color fundus image is stored in the fundus image storage means 50 of the fundus image processing apparatus. In this embodiment, R, G, B component 8-bit color images with 256 gradations are prepared as full-color fundus images.
＜２．２．処理概要＞
次に、図１、図２に示した眼底画像処理装置の処理動作について説明する。図３は、本発明の一実施形態に係る眼底画像処理装置の処理概要を示すフローチャートである。まず、グレースケール変換手段１０が、フルカラー眼底画像に対して、グレースケール変換を行い、グレースケール眼底画像を得る（ステップＳ１００）。
<2.2. Process Overview>
Next, the processing operation of the fundus image processing apparatus shown in FIGS. 1 and 2 will be described. FIG. 3 is a flowchart showing an outline of processing of the fundus image processing apparatus according to the embodiment of the present invention. First, the gray scale conversion means 10 performs gray scale conversion on the full-color fundus image to obtain a gray scale fundus image (step S100).
上述のように、処理対象であるフルカラー眼底画像は、各色８ビット２５６階調の画像データである。したがって、ｘ方向の画素数Ｘｓ、ｙ方向の画素数Ｙｓのフルカラー眼底画像は、色成分を示す変数ｃ＝０（Ｒｅｄ），１（Ｇｒｅｅｎ），２（Ｂｌｕｅ）とすると、Ｉｍａｇｅ（ｘ，ｙ，ｃ）＝０〜２５５（ｘ＝０，・・・，Ｘｓ−１；ｙ＝０，・・・，Ｙｓ−１；ｃ＝０，１，２）と定義される。 As described above, the full-color fundus image to be processed is 8-bit 256-gradation image data for each color. Therefore, a full-color fundus image having the number of pixels Xs in the x direction and the number of pixels Ys in the y direction is represented by Image (x, y) when variables c = 0 (Red), 1 (Green), and 2 (Blue) indicating color components are used. , C) = 0 to 255 (x = 0,..., Xs-1; y = 0,..., Ys-1; c = 0, 1, 2).
グレースケール変換手段１０は、フルカラー眼底画像Ｉｍａｇｅ（ｘ，ｙ，ｃ）に対して、以下の〔数式１〕に従った処理を実行することによりグレースケール変換する。 The gray scale conversion means 10 performs gray scale conversion on the full color fundus image Image (x, y, c) by executing processing according to the following [Equation 1].
〔数式１〕
Ｇｒ（ｘ，ｙ）＝Ｉｍａｇｅ（ｘ，ｙ，１）
[Formula 1]
Gr (x, y) = Image (x, y, 1)
上記〔数式１〕において、Ｉｍａｇｅ（ｘ，ｙ，１）は、フルカラー眼底画像のうち、Ｇ（グリーン、緑）の成分を示している。したがって、上記〔数式１〕においては、各画素のＧ成分のみを抽出し、グレースケール形式の画像Ｇｒ（ｘ，ｙ）を得ている。一般に健常者の眼底画像は、主にＧ成分とＢ成分に血管像が現れる。一方、白内障の症状が進んだ患者の眼底画像は、Ｂ成分の血管像が健常者に比べてネガポジ反転したり（背景部のＢ成分の輝度が血管領域に対して向上する）、不鮮明になる。そのため、単一の色成分であるＧ成分を抽出することにより健常者、白内障患者の双方の血管成分を抽出し易くなる。 In the above [Equation 1], Image (x, y, 1) represents a component of G (green, green) in the full-color fundus image. Therefore, in the above [Equation 1], only the G component of each pixel is extracted to obtain a grayscale image Gr (x, y). In general, in a fundus image of a healthy person, blood vessel images appear mainly in the G component and the B component. On the other hand, in the fundus image of a patient with advanced cataract symptoms, the B component blood vessel image is negative-positive-inverted compared to a normal subject (the brightness of the B component in the background portion is improved with respect to the blood vessel region) or becomes blurred. . Therefore, by extracting the G component that is a single color component, it becomes easier to extract the blood vessel components of both healthy subjects and cataract patients.
さらに、グレースケール変換手段１０は、グレースケール形式の画像Ｇｒ（ｘ，ｙ）に対して、以下の〔数式２〕に従った処理を実行することによりネガポジ反転してグレースケール眼底画像Ｇｒａｙ（ｘ，ｙ）を得る。ここで、眼底画像に対してネガポジ反転させる理由は、血管候補領域の輝度を高くし背景の非血管候補領域の輝度を低くすることにより、グレースケール眼底画像の血管候補領域に対して疑似カラーで着色することができ、複数のグレースケール眼底画像を合成しても背景部（非血管候補領域）が混ざり合わないため、血管候補領域の位置関係が把握しやすくなるためである。 Furthermore, the gray scale conversion means 10 performs a process according to the following [Equation 2] on the gray scale image Gr (x, y), thereby performing negative / positive inversion, and the gray scale fundus image Gray (x , Y). Here, the reason for negative / positive inversion with respect to the fundus image is that the luminance of the blood vessel candidate region is increased and the luminance of the non-blood vessel candidate region of the background is decreased, so that the blood vessel candidate region of the grayscale fundus image is pseudo-colored. This is because coloring can be performed, and even when a plurality of gray scale fundus images are combined, the background portion (non-blood vessel candidate region) is not mixed, and the positional relationship between the blood vessel candidate regions can be easily grasped.
〔数式２〕
Ｇｒａｙ（ｘ，ｙ）＝２５５−Ｇｒ（ｘ，ｙ）
[Formula 2]
Gray (x, y) = 255-Gr (x, y)
上記〔数式２〕に従った処理を実行して、ネガポジ反転することにより、周囲に比べ輝度が低い血管領域の画素値が高い状態に変換される。ここで、ネガポジ反転とは、元の画素値の大きいもの程小さい値に変換する処理を意味する。 By executing the processing according to the above [Equation 2] and performing negative / positive inversion, the pixel value of the blood vessel region whose luminance is lower than that of the surrounding is converted to a high state. Here, negative / positive reversal means a process of converting a smaller original pixel value to a smaller value.
グレースケール眼底画像が得られたら、次に、画像平坦化手段２０が、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、その画素の画素値に所定の値から平均値を減算した値を加算することにより、平坦化画像を作成する（ステップＳ２００）。具体的には、以下の〔数式３〕に従った処理を実行することにより、グレースケールの平坦化画像Ｇｒａｙ´（ｘ，ｙ）を得る。 Once the grayscale fundus image is obtained, the image flattening means 20 calculates the average value of the pixel values of neighboring pixels included in the predetermined range, and calculates the average value from the predetermined value to the pixel value of the pixel. A flattened image is created by adding the subtracted values (step S200). Specifically, a grayscale flattened image Gray ′ (x, y) is obtained by executing processing according to the following [Equation 3].
〔数式３〕
Ｍｅａｎ（ｘ，ｙ）＝｛Σj=y-h+1,y+hΣi=x-h+1,x+hＧｒａｙ（ｘ，ｙ）｝／（４ｈ2）
Ｇｒａｙ´（ｘ，ｙ）＝Ｇｒａｙ（ｘ，ｙ）＋Ｍｉｄ−Ｍｅａｎ（ｘ，ｙ）
[Formula 3]
Mean (x, y) = {Σ j = y−h + 1, y + h Σ i = x−h + 1, x + h Gray (x, y)} / (4h 2 )
Gray ′ (x, y) = Gray (x, y) + Mid−Mean (x, y)
上記〔数式３〕において、ｈは１以上の整数であり、Σの添え字の“ｊ＝ｙ−ｈ＋１，ｙ＋ｈ” “ｉ＝ｘ−ｈ＋１，ｘ＋ｈ”は、ｊがｙ−ｈ＋１からｙ＋ｈまで、およびｉがｘ−ｈ＋１からｘ＋ｈまでの４ｈ2個の画素の総和を求めることを示している。すなわち、Ｍｅａｎ（ｘ，ｙ）は、画素（ｘ，ｙ）からｈ画素以内の範囲に含まれる近傍画素の画素値の平均値を示している。近傍画素の画素数としては、画像の全画素の１／３０００〜１／７０００の範囲とすることが好ましい。本実施形態では、ｈ＝８として近傍画素を２５６（＝４ｈ2＝２ｈ×２ｈ）個としている。これは、グレースケール眼底画像Ｇｒａｙ（ｘ，ｙ）が１２８０×１０２４画素の場合、約１／５０００に相当する。 In the above [Equation 3], h is an integer of 1 or more, and the subscript “j = y−h + 1, y + h” of “Σ” is “i = x−h + 1, x + h” where j is from y−h + 1 to y + h, And i indicate that the sum of 4h 2 pixels from x−h + 1 to x + h is obtained. That is, Mean (x, y) represents an average value of pixel values of neighboring pixels included in a range within h pixels from the pixel (x, y). The number of neighboring pixels is preferably in the range of 1/3000 to 1/7000 of all pixels in the image. In this embodiment, h = 8 and 256 (= 4h 2 = 2h × 2h) neighboring pixels. This corresponds to about 1/5000 when the gray scale fundus image Gray (x, y) is 1280 × 1024 pixels.
この平均値Ｍｅａｎ（ｘ，ｙ）を用いて、〔数式３〕の第２式により、各画素（ｘ，ｙ）の画素値Ｇｒａｙ（ｘ，ｙ）に所定の値Ｍｉｄから平均値Ｍｅａｎ（ｘ，ｙ）を減算した値を加算することにより、平坦化画像Ｇｒａｙ´（ｘ，ｙ）が得られる。所定の値Ｍｉｄは、画素が取り得る階調の中央値である。本実施形態では、画像が０〜２５５の値を取り得るため、中央値としては、１２７、１２８の２つがあるが、便宜上Ｍｉｄ＝１２８としている。 Using this average value Mean (x, y), the pixel value Gray (x, y) of each pixel (x, y) is changed from the predetermined value Mid to the average value Mean (x , Y) is added to obtain a flattened image Gray ′ (x, y). The predetermined value Mid is a median value of gradations that the pixel can take. In this embodiment, since an image can take a value of 0 to 255, there are two median values of 127 and 128, but for convenience, Mid = 128.
上記平均値Ｍｅａｎ（ｘ，ｙ）を算出する際、上記〔数式３〕の第１式に示したように、直接近傍画素の画素値の総和を求めるようにしてもよいが、この手法だと、演算処理の負荷が高い。そのため、本実施形態では、画像平坦化手段２０は、以下の〔数式４〕に従った処理を実行することにより、少ない処理負荷で高速に平均値Ｍｅａｎ（ｘ，ｙ）を算出するようにしている。 When calculating the average value Mean (x, y), as shown in the first equation of [Equation 3], the sum of pixel values of neighboring pixels may be obtained directly. The processing load is high. Therefore, in the present embodiment, the image flattening unit 20 calculates the average value Mean (x, y) at high speed with a small processing load by executing processing according to the following [Equation 4]. Yes.
〔数式４〕
Ｓ（ｉ，ｊ）＝Σjj=0,j-1Σii=0,Xs-1Ｇｒａｙ（ｉｉ，ｊｊ）＋Σjj=0,iＧｒａｙ（ｉｉ，ｊ）
Ｍｅａｎ（ｘ，ｙ）＝｛Ｓ（ｘ＋ｈ，ｙ＋ｈ）−Ｓ（ｘ−ｈ，ｙ＋ｈ）−Ｓ（ｘ＋ｈ，ｙ−ｈ）＋Ｓ（ｘ−ｈ，ｙ−ｈ）｝／（４ｈ2）
[Formula 4]
S (i, j) = Σjj = 0, j−1 Σii = 0, Xs−1 Gray (ii, jj) + Σjj = 0, i Gray (ii, j)
Mean (x, y) = {S (x + h, y + h) −S (x−h, y + h) −S (x + h, y−h) + S (x−h, y−h)} / (4h 2 )
上記〔数式４〕の第１式において、Ｓ（ｉ，ｊ）は、先頭の画素（画像の左上端ｘ＝０、ｙ＝０）から画素（ｉ，ｊ）までの画素値Ｇｒａｙ（ｉｉ，ｊｊ）の全Ｘｓ×ｊ＋i＋１個の累積値である。 In the first equation of [Equation 4], S (i, j) is a pixel value Gray (ii, j) from the top pixel (upper left corner of the image x = 0, y = 0) to pixel (i, j). jj) is a cumulative value of all Xs × j + i + 1.
図４は、グレースケール眼底画像上の画素（ｘ，ｙ）と平均値Ｍｅａｎ（ｘ，ｙ）を算出するための近傍画素との関係を示す図である。大きな太枠で囲ったように、平均値Ｍｅａｎ（ｘ，ｙ）を算出するために、左上方の画素（ｘ−ｈ＋１，ｙ−ｈ＋１）〜右下方の画素（ｘ＋ｈ，ｙ＋ｈ）の全２ｈ×２ｈ個の画素値を加算する必要がある。この際、画像の先頭の画素から画素（ｘ，ｙ）までの画素値の累積値Ｓ（ｘ，ｙ）を〔数式４〕の第１式を用いて算出しておく。すると、前記２ｈ×２ｈ個の近傍画素と、それらの左方に隣接する画素（ｘ−ｈ，ｙ−ｈ＋１）〜画素（ｘ−ｈ，ｙ＋ｈ）からなる２ｈ個の画素、それらの上方に隣接する画素（ｘ−ｈ＋１，ｙ−ｈ）〜画素（ｘ＋ｈ，ｙ−ｈ）からなる２ｈ個の画素、およびそれらの左上方に隣接する画素（ｘ−ｈ，ｙ−ｈ）を加えた各画素は、図４に示したような累積値をもつ。 FIG. 4 is a diagram illustrating a relationship between a pixel (x, y) on a gray scale fundus image and a neighboring pixel for calculating an average value Mean (x, y). In order to calculate the average value Mean (x, y) as surrounded by a large thick frame, all 2h × from the upper left pixel (x−h + 1, y−h + 1) to the lower right pixel (x + h, y + h) It is necessary to add 2h pixel values. At this time, a cumulative value S (x, y) of pixel values from the first pixel of the image to the pixel (x, y) is calculated using the first equation of [Equation 4]. Then, 2h × 2h neighboring pixels and 2h pixels composed of pixels (x−h, y−h + 1) to pixels (x−h, y + h) adjacent to the left side thereof are adjacent to each other above them. Each pixel is obtained by adding 2h pixels composed of pixels (x−h + 1, y−h) to pixels (x + h, y−h) to be performed and pixels (x−h, y−h) adjacent to the upper left thereof Has a cumulative value as shown in FIG.
そうすると、平均値Ｍｅａｎ（ｘ，ｙ）は、〔数式４〕の第２式に示すように、４つの画素の累積値を加減算するだけの少ない処理負荷で高速に算出することができる。ここで、累積値を加算する４つの画素とは、図４に、小さい太枠で囲った（ｘ＋ｈ，ｙ＋ｈ）、（ｘ−ｈ，ｙ＋ｈ）、（ｘ＋ｈ，ｙ−ｈ）、（ｘ−ｈ，ｙ−ｈ）の４画素である。グレースケール眼底画像Ｇｒａｙ（ｘ，ｙ）の各画素（ｘ，ｙ）に近傍画素の平均値Ｍｅａｎ（ｘ，ｙ）を所定の値Ｍｉｄから減算した値を加算することにより、平坦化画像Ｇｒａｙ´（ｘ，ｙ）が得られる。 Then, the average value Mean (x, y) can be calculated at high speed with a small processing load by adding and subtracting the accumulated values of the four pixels, as shown in the second formula of [Formula 4]. Here, the four pixels to which the cumulative value is added are (x + h, y + h), (x−h, y + h), (x + h, y−h), (x−h) surrounded by a small thick frame in FIG. , Y−h). By adding a value obtained by subtracting the average value Mean (x, y) of neighboring pixels from a predetermined value Mid to each pixel (x, y) of the grayscale fundus image Gray (x, y), a flattened image Gray ′ is obtained. (X, y) is obtained.
結局、〔数式４〕に従った処理を実行することにより、画像平坦化手段２０は、画像のサイズがＸｓ×Ｙｓである前記グレースケール眼底画像に対して、あらかじめ（０，０）から（Ｘｓ−１，ｙ−１）の範囲のＸｓ×ｙ個、および（０，ｙ）から（ｘ，ｙ）の範囲のｘ＋１個からなる全Ｘｓ×ｙ＋ｘ＋１個の画素値の総和を各画素（ｘ，ｙ）における累積値Ｓ（ｘ，ｙ）として算出する処理を行い、Ｓ（ｘ＋ｈ，ｙ＋ｈ）−Ｓ（ｘ−ｈ，ｙ＋ｈ）−Ｓ（ｘ＋ｈ，ｙ−ｈ）＋Ｓ（ｘ−ｈ，ｙ−ｈ）の値を、２ｈ×２ｈで除算した値を平均値として算出している。各画素（ｘ，ｙ）における累積値Ｓ（ｘ，ｙ）を事前に算出する処理が余分に加わるが、この計算はＸｓ×Ｙｓ回の加算演算だけで行える。これに対して、累積値Ｓ（ｘ，ｙ）を用いずに、各画素（ｘ，ｙ）における平均値Ｍｅａｎ（ｘ，ｙ）を算出しようとすると、各画素ごとに２ｈ×２ｈ回の加算演算が必要となり、トータルＸｓ×Ｙｓ×２ｈ×２ｈ回の加算演算が必要となる。これに対して、累積値Ｓ（ｘ，ｙ）を用いれば、各画素ごとに４回の加減算で済み、事前の画像全体の累積値計算を含めてトータルＸｓ×Ｙｓ×５回の加減算で完結する。 Eventually, by executing the processing according to [Equation 4], the image flattening means 20 applies the (X, 0) to (Xs) in advance for the gray scale fundus image whose image size is Xs × Ys. −1, y−1) in the range of Xs × y, and x + 1 in the range of (0, y) to (x, y), the sum of all Xs × y + x + 1 pixel values is calculated for each pixel (x, A process of calculating as a cumulative value S (x, y) in y) is performed, and S (x + h, y + h) −S (x−h, y + h) −S (x + h, y−h) + S (x−h, y−). The value obtained by dividing the value h) by 2h × 2h is calculated as an average value. Although an extra process for calculating the accumulated value S (x, y) in each pixel (x, y) is added in advance, this calculation can be performed only by Xs × Ys addition operations. On the other hand, if the average value Mean (x, y) at each pixel (x, y) is calculated without using the cumulative value S (x, y), 2h × 2h addition is performed for each pixel. An operation is required, and a total of Xs × Ys × 2h × 2h addition operations is required. On the other hand, if the cumulative value S (x, y) is used, four additions / subtractions are required for each pixel, and a total of Xs × Ys × 5 additions / subtractions including the cumulative value calculation for the entire image in advance is completed. To do.
平坦化画像が得られたら、次に、線状成分強調手段３０が、平坦化画像に対して、オープニング処理（収縮・膨張処理）を行って線状成分の強調を行い、線状成分強調画像を得る（ステップＳ３００）。図５は、ステップＳ３００における線状成分強調の処理動作を示すフローチャートである。 Once the flattened image is obtained, the linear component enhancement means 30 performs an opening process (shrinkage / expansion process) on the flattened image to emphasize the linear component, and the linear component emphasized image. Is obtained (step S300). FIG. 5 is a flowchart showing the linear component enhancement processing operation in step S300.
まず、線状成分強調手段３０は、画像平坦化手段２０により得られた平坦化画像に対して、８種の線形構造要素によるオープニング処理を行う（ステップＳ３０１）。ステップＳ３０１のオープニング処理では、線形構造要素を複数個用いて、複数の線形オープニング画像を作成する。本実施形態では、指定構造要素として８個の線形構造要素を用いる。これは、方向が８方向に異なる線形の構造要素である線形構造要素である。図６は、本実施形態で用いる線形構造要素の一例を示す図である。 First, the linear component emphasizing unit 30 performs an opening process with eight types of linear structural elements on the flattened image obtained by the image flattening unit 20 (step S301). In the opening process of step S301, a plurality of linear opening images are created using a plurality of linear structural elements. In the present embodiment, eight linear structural elements are used as designated structural elements. This is a linear structural element that is a linear structural element whose direction is different in eight directions. FIG. 6 is a diagram illustrating an example of a linear structural element used in the present embodiment.
図６に示す線形構造要素は、マスクとしての役割を果たすものであるため、二値画像である。そのため、図６において、“０”と表記された画素の値は“０”であるが、“０”以外の数値が表記された画素の値は、８種類の各方向ｄに応じて“１”となり、他の方向のとき“０”である。図６における“０”以外の数字は方向を示している。“１”は水平方向（図面左右方向）であり、以後数字が１増えるに従って２２．５度間隔で方向が変化する。“２” “４”“６”“８”については、画素の格子状配置の関係から、同一数字の列が直線上に配列することができないため、近傍の区画に配置されている。“２３４”や“６７８”などの３桁の数字は、それぞれ“２” “３”“４”の３方向、“６”“７”“８”の３方向のいずれかの方向の場合に、画素値が“１”となることを示している。なお、“９”は中心となる画素を示しており、中心となる画素の値は常に“１”である。 Since the linear structural element shown in FIG. 6 serves as a mask, it is a binary image. Therefore, in FIG. 6, the value of the pixel indicated as “0” is “0”, but the value of the pixel indicated as a numerical value other than “0” is “1” according to each of the eight types of directions d. ”And“ 0 ”in the other direction. Numbers other than “0” in FIG. 6 indicate directions. “1” is the horizontal direction (the horizontal direction in the drawing), and thereafter the direction changes at intervals of 22.5 degrees as the number increases by one. “2”, “4”, “6”, and “8” are arranged in adjacent sections because columns of the same number cannot be arranged on a straight line because of the lattice arrangement of pixels. Three-digit numbers such as “234” and “678” are in the three directions “2” “3” “4” and “6” “7” “8”, respectively. It shows that the pixel value is “1”. Note that “9” indicates the center pixel, and the value of the center pixel is always “1”.
図６に示すように、線形構造要素は、円形構造要素の半径Ｒの２倍の長さで画素幅が１画素であって、２２．５度間隔の直線の少なくとも近傍に配置され、８方向を定義したものとなる。実際には、各方向において画素値“１”が与えられる連続する画素は、直線となることが好ましいが、線形構造要素の全体画素数が少ない場合は、必ずしも直線にならない。そのため、図６の例では、“２” “４”“６”“８”で示す方向については、直線ではなく、画素値“１”となる画素は、２２．５度間隔の直線の近傍に配置されることになる。 As shown in FIG. 6, the linear structuring element is twice as long as the radius R of the circular structuring element, has a pixel width of 1 pixel, and is arranged at least in the vicinity of straight lines with an interval of 22.5 degrees, and has eight directions. Is defined. Actually, it is preferable that the continuous pixels to which the pixel value “1” is given in each direction be a straight line, but it is not always a straight line when the total number of pixels of the linear structural element is small. Therefore, in the example of FIG. 6, the direction indicated by “2”, “4”, “6”, and “8” is not a straight line, but the pixel having the pixel value “1” is in the vicinity of a straight line having an interval of 22.5 degrees. Will be placed.
実際に用いる線形構造要素は、中心から半径７画素の条件を追加したものとなる。すなわち、図６に示した線形構造要素と、図７に示した円形構造要素の論理積（ＡＮＤ）をとったものとなる。図７は、本実施形態で用いる円形構造要素の一例を示す図である。図７に示すように、本実施形態では、半径７画素、すなわち中心から距離７画素以下を有効とした１５×１５のマスク画像の形態である円形構造要素を用いる。図７に示すように、１５×１５の画素のうち、中心から距離７画素以下の画素値は“１”、その他の中心から距離７を超える画素の画素値は“０”である。図６に示した線形構造要素と、図７に示した円形構造要素の論理積（ＡＮＤ）をとることにより、例えば、方向ｄ＝１の場合は、図８に示したような二値のマスク画像が得られる。また、方向ｄ＝２の場合は、図９に示したような二値のマスク画像が得られる。図８、図９において、“１”と示されている画素が参照画素である。すなわち、オープニング処理の際に参照される参照画素が定義された（２Ｒ＋１）×（２Ｒ＋１）画素の２値画像で、半径Ｒの円形内部に参照画素が定義され、２Ｒ＋１の長さで画素幅が１画素であって、２２．５度間隔の直線の少なくとも近傍に配置されることにより、８方向が定義されることになる。 The actually used linear structural element is obtained by adding a condition of a radius of 7 pixels from the center. That is, the logical product (AND) of the linear structural element shown in FIG. 6 and the circular structural element shown in FIG. 7 is obtained. FIG. 7 is a diagram illustrating an example of a circular structural element used in the present embodiment. As shown in FIG. 7, in the present embodiment, a circular structural element that is a form of a 15 × 15 mask image in which a radius of 7 pixels, that is, a distance of 7 pixels or less from the center is effective is used. As shown in FIG. 7, among the 15 × 15 pixels, the pixel value at a distance of 7 pixels or less from the center is “1”, and the pixel value of a pixel exceeding the distance 7 from the other center is “0”. By taking the logical product (AND) of the linear structural element shown in FIG. 6 and the circular structural element shown in FIG. 7, for example, in the case of direction d = 1, a binary mask as shown in FIG. An image is obtained. When the direction d = 2, a binary mask image as shown in FIG. 9 is obtained. In FIG. 8 and FIG. 9, a pixel indicated as “1” is a reference pixel. That is, in the binary image of (2R + 1) × (2R + 1) pixels in which the reference pixel to be referred to in the opening process is defined, the reference pixel is defined inside the circle with the radius R, and the pixel width is 2R + 1 in length. Eight directions are defined by arranging one pixel at least in the vicinity of straight lines having an interval of 22.5 degrees.
図６に示した線形構造要素はＭ（ｄ，ｕ，ｖ）＝｛０，１｝（ｄ＝１，・・・，８；ｕ＝−Ｒ，・・・，０，・・・，Ｒ；ｖ＝−Ｒ，・・・，０，・・・，Ｒ）と定義することができる。なお、Ｒは有効とする半径を示しており、図６の例では、Ｒ＝７である。また、ｕは図６における横軸、ｖは図６における縦軸を、それぞれ示す。線状成分強調手段３０は、線形構造要素Ｍ（ｄ，ｕ，ｖ）を用いて、上記〔数式３〕に従った処理を実行して得られた平坦化画像Ｇｒａｙ´（ｘ，ｙ）に対して、以下の〔数式５〕に従った処理を実行し、収縮画像Ｅｒａｙ（ｘ，ｙ）を得る。 6 are M (d, u, v) = {0, 1} (d = 1,..., 8; u = −R,..., 0,. V = −R,..., 0,. Note that R indicates a valid radius, and R = 7 in the example of FIG. U represents the horizontal axis in FIG. 6, and v represents the vertical axis in FIG. The linear component emphasizing means 30 uses the linear structural element M (d, u, v) on the flattened image Gray ′ (x, y) obtained by executing the process according to [Formula 3]. On the other hand, processing according to the following [Equation 5] is executed to obtain a contracted image Eray (x, y).
〔数式５〕
Ｅｒａｙ（ｄ，ｘ，ｙ）＝ＭＩＮu=-R,R;v=-R,R［（２５５−Ｍ（ｄ，ｕ，ｖ）×２５４）×（Ｇｒａｙ´（ｘ＋ｕ，ｙ＋ｖ）＋１）−１］
[Formula 5]
Eray (d, x, y) = MIN u = −R, R; v = −R, R [(255−M (d, u, v) × 254) × (Gray ′ (x + u, y + v) +1) − 1]
上記〔数式５〕において、ＭＩＮは最小値をとることを示しており、ＭＩＮの添え字の“ｕ＝−Ｒ，Ｒ；ｖ＝−Ｒ，Ｒ”は、ｕ，ｖが−ＲからＲの範囲における演算を行うことを示している。すなわち、“ｘ＝Ｒ，・・・，Ｘｓ−Ｒ−１；ｙ＝Ｒ，・・・，Ｙｓ−Ｒ−１“の各画素Ｇｒａｙ´（ｘ，ｙ）に対して、“ｕ＝−Ｒ，Ｒ；ｖ＝−Ｒ，Ｒ”の隣接画素内でＭ（ｕ，ｖ）＝１である画素値の最小値に変換を行っている。したがって、図６の例では、線形構造要素の（２Ｒ＋１）×（２Ｒ＋１）画素でＲ＝７として２２５画素を用いて演算を行い、その最小値がＥｒａｙ（ｘ，ｙ）として与えられることになる。 In the above [Equation 5], MIN indicates that it takes the minimum value, and the subscript “u = −R, R; v = −R, R” of MIN indicates that u and v are from −R to R. It shows performing an operation on a range. That is, for each pixel Gray ′ (x, y) of “x = R,..., Xs−R−1; y = R,. , R; v = −R, R ″ is converted into the minimum pixel value of M (u, v) = 1 in the adjacent pixels. Therefore, in the example of FIG. 6, the calculation is performed using 225 pixels with R = 7 for (2R + 1) × (2R + 1) pixels of the linear structure element, and the minimum value is given as Ray (x, y). .
上記〔数式５〕に従った処理を実行して収縮画像Ｅｒａｙ（ｄ，ｘ，ｙ）が得られたら、このＥｒａｙ（ｄ，ｘ，ｙ）をＧｒａｙ´（ｘ，ｙ）に置き換えて、上記〔数式５〕に従った処理を繰り返し実行することもできる。繰り返しの回数は、適宜設定することが可能である。ただし、通常は画質劣化を抑えるため、１回に設定し繰り返しは行わない。８つの各方向ｄについて行うことにより、ｄ＝１〜８の８種の収縮画像Ｅｒａｙ（ｄ，ｘ，ｙ）が得られる。 When the contracted image Eray (d, x, y) is obtained by executing the processing according to the above [Equation 5], this Eray (d, x, y) is replaced with Gray ′ (x, y), It is also possible to repeatedly execute the process according to [Formula 5]. The number of repetitions can be set as appropriate. However, it is normally set once and not repeated in order to suppress image quality deterioration. By performing for each of the eight directions d, eight kinds of contracted images Eray (d, x, y) of d = 1 to 8 are obtained.
収縮処理を繰り返し実行して８種の収縮画像Ｅｒａｙ（ｄ，ｘ，ｙ）が得られたら、次に、線状成分強調手段３０は、収縮処理に用いた線形構造要素を指定構造要素として用いて膨張処理を行う。具体的には、線形構造要素Ｍ（ｄ，ｕ，ｖ）を用いて、収縮画像Ｅｒａｙ（ｄ，ｘ，ｙ）に対して、以下の〔数式６〕に従った処理を実行し、膨張後の画像Ｄｒａｙ（ｄ，ｘ，ｙ）を得る。 If the contraction process is repeatedly executed and eight kinds of contraction images Eray (d, x, y) are obtained, then the linear component emphasizing means 30 uses the linear structural element used for the contraction process as the designated structural element. The expansion process is performed. Specifically, using the linear structural element M (d, u, v), the contracted image Eray (d, x, y) is subjected to processing according to the following [Equation 6], and after expansion Image Dray (d, x, y) is obtained.
〔数式６〕
Ｄｒａｙ（ｄ，ｘ，ｙ）＝ＭＡＸu=-R,R;v=-R,R［Ｍ（ｄ，ｕ，ｖ）×Ｅｒａｙ（ｄ，ｘ＋ｕ，ｙ＋ｖ）］
[Formula 6]
Dray (d, x, y) = MAX u = −R, R; v = −R, R [M (d, u, v) × Eray (d, x + u, y + v)]
上記〔数式６〕において、ＭＡＸは最大値をとることを示しており、ＭＡＸの添え字の“ｕ＝−Ｒ，Ｒ；ｖ＝−Ｒ，Ｒ”は、ｕ，ｖが−ＲからＲの範囲における演算を行うことを示している。すなわち、“ｘ＝Ｒ，・・・，Ｘｓ−Ｒ−１；ｙ＝Ｒ，・・・，Ｙｓ−Ｒ−１“の各画素Ｅｒａｙ（ｄ，ｘ，ｙ）に対して、“ｕ＝−Ｒ，Ｒ；ｖ＝−Ｒ，Ｒ”の隣接画素内でＭ（ｄ，ｕ，ｖ）＝１である画素値の最大値に変換を行っている。したがって、図６の例では、線形構造要素の（２Ｒ＋１）×（２Ｒ＋１）画素として２２５画素を用いて演算を行い、その最大値がＤｒａｙ（ｄ，ｘ，ｙ）として与えられることになる。 In the above [Expression 6], MAX indicates the maximum value, and the subscript “u = −R, R; v = −R, R” of MAX indicates that u and v are from −R to R. It shows performing an operation on a range. That is, for each pixel Eray (d, x, y) of “x = R,..., Xs−R−1; y = R,. R, R; v = −R, R ″ is converted into the maximum pixel value of M (d, u, v) = 1 in the adjacent pixels. Therefore, in the example of FIG. 6, the calculation is performed using 225 pixels as (2R + 1) × (2R + 1) pixels of the linear structure element, and the maximum value is given as Dray (d, x, y).
上記〔数式６〕に従った処理を実行して膨張後の画像Ｄｒａｙ（ｄ，ｘ，ｙ）が得られたら、このＤｒａｙ（ｄ，ｘ，ｙ）をＥｒａｙ（ｄ，ｘ，ｙ）に置き換えて、上記〔数式６〕に従った処理を繰り返し実行することもできる。繰り返しの回数は、収縮処理の繰り返しの回数と同じ回数にする必要があり、通常は収縮処理とも１回に設定し繰り返しは行わない。８つの各方向ｄについて行うことにより、ｄ＝１〜８の８種の膨張後の画像Ｄｒａｙ（ｄ，ｘ，ｙ）が得られる。収縮および膨張を行った結果得られる画像は、線形オープニング画像Ｄｒａｙ（ｄ，ｘ，ｙ）として得られる。 When the processing according to the above [Equation 6] is executed to obtain an expanded image Ray (d, x, y), this Ray (d, x, y) is replaced with Ray (d, x, y). Thus, the process according to [Formula 6] can be repeatedly executed. The number of repetitions needs to be the same as the number of repetitions of the contraction process. Normally, the contraction process is set to one and no repetition is performed. By performing for each of the eight directions d, eight kinds of post-expansion images Dray (d, x, y) of d = 1 to 8 are obtained. An image obtained as a result of contraction and expansion is obtained as a linear opening image Dray (d, x, y).
次に、線状成分強調手段３０は、８種の線形オープニング画像の最大値の画像を作成する処理を行う（ステップＳ３０２）。具体的には、以下の〔数式７〕に従った処理を実行し、最大値の画像である線状成分強調画像Ｌｒａｙ（ｘ，ｙ）を得る。 Next, the linear component emphasizing unit 30 performs a process of creating an image of the maximum value of the eight types of linear opening images (step S302). Specifically, processing according to the following [Equation 7] is executed to obtain a linear component emphasized image Lray (x, y) which is an image of the maximum value.
〔数式７〕
Ｌｒａｙ（ｘ，ｙ）＝ＭＡＸd=1,8Ｄｒａｙ（ｄ，ｘ，ｙ）
[Formula 7]
Lray (x, y) = MAX d = 1,8 Dray (d, x, y)
上記〔数式７〕において、ＭＡＸは最大値をとることを示しており、ＭＡＸの添え字の“ｄ＝１，８”は、８種の全ての線形オープニング画像Ｄｒａｙ（ｄ，ｘ，ｙ）における演算を行うことを示している。すなわち、各画素（ｘ，ｙ）について、８種の線形オープニング画像Ｄｒａｙ（ｄ，ｘ，ｙ）の最大値を取得する処理を行っている。この結果、最大値の画像である線状成分強調画像Ｌｒａｙ（ｘ，ｙ）が得られる。 In the above [Equation 7], MAX indicates that it takes the maximum value, and the subscript “d = 1, 8” of MAX is in all eight types of linear opening images Dray (d, x, y). It shows performing an operation. That is, for each pixel (x, y), a process of acquiring the maximum value of eight types of linear opening images Dray (d, x, y) is performed. As a result, a linear component emphasized image Lray (x, y) that is an image of the maximum value is obtained.
線状成分強調画像が得られたら、次に、画素階調変換手段４０が、線状成分強調画像に対して、階調変換（コントラスト補正）を行い、血管強調画像を得る（ステップＳ４００）。具体的には、まず、画素階調変換手段４０は、０〜２５５の値をもつ、線状成分強調画像Ｌｒａｙ（ｘ，ｙ）のＸｓ×Ｙｓ個の全画素について、画素値ｖの度数分布Ｈ（ｖ）（ｖ＝０，・・・，２５５）を求める。そして、以下の〔数式８〕に示す条件を満たす最小値ｖｍｉｎを求める。 Once the linear component enhanced image is obtained, the pixel gradation conversion means 40 performs gradation conversion (contrast correction) on the linear component enhanced image to obtain a blood vessel enhanced image (step S400). Specifically, first, the pixel gradation conversion means 40 has a frequency distribution of pixel values v for all Xs × Ys pixels of the linear component emphasized image Lray (x, y) having a value of 0 to 255. H (v) (v = 0,..., 255) is obtained. Then, the minimum value vmin that satisfies the condition shown in the following [Equation 8] is obtained.
〔数式８〕
Σv=0,vminＨ（ｖ）≧（Ｘｓ×Ｙｓ）×α
[Formula 8]
Σ v = 0, vmin H (v) ≧ (Xs × Ys) × α
上記〔数式８〕において、Σの添え字の“ｖ＝０，ｖｍｉｎ”は、ｖが０からｖｍｉｎまでの総和を求めることを示している。したがって、上記〔数式８〕に示す条件とは、全画素数（Ｘｓ×Ｙｓ）のうち、およそ比率α×１００％の画素が、画素値ｖｍｉｎ以下の画素値となることを示している。比率αとしては、眼底画像中に含まれる血管以外の領域の比率を与える必要があり、この比率は取得された眼底画像ごとに変動するが、平均的には０．７〜０．９、典型的な例として０．８と設定することが好ましい。結局、〔数式８〕を用いることにより、線状成分強調画像に含まれる非血管候補領域と血管候補領域とを判別する画素値のしきい値として、線状成分強調画像の最小画素値ｖ＝０から数えて画素数の総和が線状成分強調画像の全画素数の所定の比率αを超える画素値のうち最小の画素値ｖｍｉｎを特定することができる。 In the above [Equation 8], the subscript “v = 0, vmin” of Σ indicates that the sum of v from 0 to vmin is obtained. Therefore, the condition shown in the above [Expression 8] indicates that, of the total number of pixels (Xs × Ys), pixels having a ratio of α × 100% have pixel values equal to or less than the pixel value vmin. As the ratio α, it is necessary to give a ratio of a region other than the blood vessel included in the fundus image, and this ratio varies for each acquired fundus image, but on average 0.7 to 0.9, typically As a specific example, it is preferable to set 0.8. Eventually, by using [Equation 8], the minimum pixel value v = of the linear component emphasized image is used as the threshold value of the pixel value for discriminating between the non-blood vessel candidate region and the blood vessel candidate region included in the linear component emphasized image. It is possible to specify the minimum pixel value vmin among pixel values in which the sum of the pixels counted from 0 exceeds a predetermined ratio α of the total number of pixels of the linear component emphasized image.
上記〔数式８〕に示す条件を満たす最小値ｖｍｉｎが求められたら、次に、画素階調変換手段４０は、ｘ＝０，・・・，Ｘｓ−１；ｙ＝０，・・・，Ｙｓ−１の全画素に対して、以下の〔数式９〕に従った処理を実行し、コントラスト補正を行い、血管強調画像Ｔｒａｙ（ｘ，ｙ）を得る。 When the minimum value vmin that satisfies the condition shown in the above [Equation 8] is obtained, the pixel gradation conversion means 40 then selects x = 0,..., Xs−1; y = 0,. The processing according to the following [Equation 9] is performed on all the pixels of −1 to perform contrast correction, and a blood vessel emphasized image Ray (x, y) is obtained.
〔数式９〕
Ｔｒａｙ（ｘ，ｙ）＝｛Ｌｒａｙ（ｘ，ｙ）−ｖｍｉｎ｝×２５５×β／（２５５−ｖｍｉｎ）
[Formula 9]
Tray (x, y) = {Lray (x, y) −vmin} × 255 × β / (255−vmin)
上記〔数式９〕において、βは輝度スケーリング値である。輝度スケーリング値βとしては、任意に設定することができるが、設定された比率αに依存するため、α＝０．８に設定した場合、好ましくは７０〜９０、特に好ましい例として８０とすることができる。すなわち、βはαの１００倍程度に設定することが好ましい。 In the above [Equation 9], β is a luminance scaling value. The luminance scaling value β can be set arbitrarily, but depends on the set ratio α, so when α = 0.8, it is preferably 70 to 90, and particularly preferably 80. Can do. That is, β is preferably set to about 100 times α.
Ｔｒａｙ（ｘ，ｙ）は画素値であるため、〔数式９〕の結果が負の値となった場合には、Ｔｒａｙ（ｘ，ｙ）＝０と置き換える。したがって、所定の条件Ｌｒａｙ（ｘ，ｙ）＞ｖｍｉｎを満たさない画素は、最小値“０”に置き換えられ、所定の条件Ｌｒａｙ（ｘ，ｙ）＞ｖｍｉｎを満たす画素は、最小値“０”より大きい値“１”から最大値の範囲になるようにＴｒａｙ（ｘ，ｙ）の画素値が設定される。Ｔｒａｙ（ｘ，ｙ）においては、階調の最小値である“０”が血管候補領域外を示し、血管候補領域は“１”以上、“２５５”以下となる。血管候補領域の最小値は、階調の最小値付近の値が設定される。本実施形態では、階調の最小値付近の値として、階調の最小値＋１を設定しているが、それ以上であってもよい。もちろん、血管領域のコントラストを高くするため、階調の最小値＋１であることが好ましい。 Since Ray (x, y) is a pixel value, when the result of [Equation 9] becomes a negative value, it is replaced with Ray (x, y) = 0. Therefore, pixels that do not satisfy the predetermined condition Lray (x, y)> vmin are replaced with the minimum value “0”, and pixels that satisfy the predetermined condition Lray (x, y)> vmin are from the minimum value “0”. The pixel value of Tray (x, y) is set so as to be in the range from the large value “1” to the maximum value. In Tray (x, y), “0”, which is the minimum value of the gradation, indicates the outside of the blood vessel candidate region, and the blood vessel candidate region is “1” or more and “255” or less. As the minimum value of the blood vessel candidate region, a value near the minimum value of the gradation is set. In the present embodiment, the minimum gradation value + 1 is set as the value near the minimum gradation value, but it may be more than that. Of course, in order to increase the contrast of the blood vessel region, it is preferable that the minimum value of the gradation is +1.
所定の条件Ｌｒａｙ（ｘ，ｙ）＞ｖｍｉｎを満たさない画素を最小値に設定する場合、上述のように“０”とすることが好ましいが、“０”以外の値であってもよい。眼底領域は一般に円形をしているため、矩形形状の眼底画像には非眼底領域も含まれるため、非眼底領域を“０”に設定し、眼底領域内の非血管候補領域を“１”に設定し、眼底領域内の血管候補領域を“２”〜“２５５”に設定することもできる。コントラストを高くすることが目的であるため、当然のことながら、血管候補領域における最小値は“０”に近い値にすることが好ましい。 When a pixel that does not satisfy the predetermined condition Lray (x, y)> vmin is set to the minimum value, it is preferably set to “0” as described above, but may be a value other than “0”. Since the fundus region is generally circular, the non-fundus region is also included in the rectangular fundus image. Therefore, the non-fundus region is set to “0” and the non-blood vessel candidate region in the fundus region is set to “1”. It is also possible to set the blood vessel candidate region in the fundus region to “2” to “255”. Since the purpose is to increase the contrast, as a matter of course, the minimum value in the blood vessel candidate region is preferably set to a value close to “0”.
本実施形態では、８種類の方向に従って８種の線形オープニング画像に対して処理を行うため、２２．５度の均等間隔で変更させた各方向に均等に粒状成分の抽出を抑えることができる。作成する画像の数も方向に応じた８個だけであるため、演算処理の負荷を抑えることができる。 In this embodiment, since processing is performed on eight types of linear opening images according to eight types of directions, extraction of granular components can be suppressed evenly in each direction changed at an equal interval of 22.5 degrees. Since the number of images to be created is only eight according to the direction, it is possible to reduce the load of the arithmetic processing.
＜３．画像変換事例＞
図１０〜図１５を用いて画像変換事例について説明する。図１０、図１１は、症例１である。図１０（ａ）は、健常者の眼底を撮影することにより得られたフルカラー眼底画像である。図１０（ｂ）、図１０（ｃ）、図１０（ｄ）、図１１（ａ）は比較例、図１１（ｂ）は本発明による実施例である。図１０（ｂ）は、ＧＢの相乗平均を反映させてグレースケール化（色変換）を行い、トップハット変換を行い、本願と同様な画素階調変換を行った比較例である。ＧＢの相乗平均とは、フルカラー眼底画像の各画素のＧ成分とＢ成分を反転させた成分との積の平方根をとることである。トップハット変換とは、一般にオープニング処理により得られたオープニング画像を元画像から減じる処理を指すが、図１０・１２・１４の例では、グレースケール変換した画像に対して、本願と同様に８種の線形構造要素を用いてオープニング処理を行い線状成分抽出画像を作成し、線状成分抽出画像に対して図７に示される円形構造要素を用いてオープニング処理を行い非線状成分平滑化画像を作成し、線状成分抽出画像から非線状成分平滑化画像を減算する処理を行ったものである。画素階調変換は本願と同様で輝度スケーリング値βを２０に設定したものである。図１０（ｃ）は、本願と同様にＧ成分のみを反映させてグレースケール化を行い、トップハット変換を行い、画素階調変換を行った比較例である。画素階調変換は本願と同様で輝度スケーリング値βを２０に設定したものである。健常者の眼底では、図１０（ｃ）に比べ図１０（ｂ）のようにＧＢの相乗平均を反映させてグレースケール化を行った方が、比較的良好に血管を抽出できることがわかる。図１０（ｄ）は、図１０（ｂ）と同様な処理を行い、画素階調変換の輝度スケーリング値βを８０に上げた比較例である。図１０（ｂ）に比べ血管抽出率は向上しているが、併せて粒状成分も増大し不鮮明になっている。図１１（ａ）は、Ｇ成分のみを反映させてグレースケール化を行い、画像平坦化を行い、輝度スケーリング値βを８０にして画素階調変換を行った比較例である。図１１（ｂ）は、Ｇ成分のみを反映させてグレースケール化を行い、画像平坦化およびオープニング処理を行い、輝度スケーリング値βを８０にして画素階調変換を行った本発明の実施例である。
<3. Image conversion example>
An example of image conversion will be described with reference to FIGS. 10 and 11 are case 1. FIG. FIG. 10A is a full-color fundus image obtained by photographing the fundus of a healthy person. 10 (b), 10 (c), 10 (d) and 11 (a) are comparative examples, and FIG. 11 (b) is an embodiment according to the present invention. FIG. 10B is a comparative example in which gray scale conversion (color conversion) is performed by reflecting the geometric mean of GB, top hat conversion is performed, and pixel gradation conversion similar to the present application is performed. The geometric mean of GB is to take the square root of the product of the G component and the component obtained by inverting the B component of each pixel of the full-color fundus image. Top-hat conversion generally refers to processing for subtracting the opening image obtained by the opening processing from the original image. In the examples of FIGS. A linear component extraction image is created by performing an opening process using the linear structuring element, and a non-linear component smoothed image is created by performing an opening process on the linear component extraction image using the circular structuring element shown in FIG. And a process of subtracting the non-linear component smoothed image from the linear component extracted image. Pixel gradation conversion is the same as in the present application, in which the luminance scaling value β is set to 20. FIG. 10C is a comparative example in which only the G component is reflected and gray scale conversion is performed, top hat conversion is performed, and pixel gradation conversion is performed as in the present application. Pixel gradation conversion is the same as in the present application, in which the luminance scaling value β is set to 20. In the fundus of a healthy person, it can be seen that blood vessels can be extracted relatively well when grayscale is performed by reflecting the geometric mean of GB as shown in FIG. 10 (b) compared to FIG. 10 (c). FIG. 10D is a comparative example in which the same processing as in FIG. 10B is performed and the luminance scaling value β of pixel gradation conversion is increased to 80. Although the blood vessel extraction rate is improved as compared with FIG. 10 (b), the granular component also increases and becomes unclear. FIG. 11A is a comparative example in which only the G component is reflected, grayscale is performed, image flattening is performed, and pixel gradation conversion is performed with the luminance scaling value β set to 80. FIG. 11B shows an embodiment of the present invention in which only the G component is reflected, grayscale processing is performed, image flattening and opening processing are performed, and pixel gradation conversion is performed with a luminance scaling value β of 80. is there.
図１０（ｂ）〜（ｄ）の各比較例と比較すると、画像平坦化を行った図１１（ａ）（ｂ）の例では、眼底全体に渡って血管が均一に抽出されていることがわかる。特に、画像平坦化とオープニング処理を行った図１１（ｂ）に示す本発明の実施例では、図１１（ａ）に示したオープニング処理を行わない比較例に比べて粒状成分を抑圧できることがわかる。 Compared with the comparative examples of FIGS. 10B to 10D, in the example of FIGS. 11A and 11B in which the image is flattened, blood vessels are uniformly extracted over the entire fundus. Recognize. In particular, it can be seen that the embodiment of the present invention shown in FIG. 11B in which the image flattening and the opening process are performed can suppress the granular component as compared with the comparative example in which the opening process shown in FIG. 11A is not performed. .
図１２、図１３は、症例２である。図１２（ａ）は、白内障患者の眼底を撮影することにより得られたフルカラー眼底画像である。図１２（ｂ）、図１２（ｃ）、図１２（ｄ）、図１３（ａ）は比較例、図１３（ｂ）は本発明による実施例である。図１２（ｂ）は、ＧＢの相乗平均を反映させてグレースケール化（色変換）を行い、トップハット変換を行い、輝度スケーリング値βを２０にして画素階調変換を行った比較例である。図１２（ｃ）は、Ｇ成分のみを反映させてグレースケール化を行い、トップハット変換を行い、輝度スケーリング値βを２０にして画素階調変換を行った比較例である。白内障の眼底では、図１２（ｂ）に比べ図１２（ｃ）のようにＧ成分のみを反映させてグレースケール化を行った方が、比較的良好に血管を抽出できることがわかる。図１２（ｄ）は、図１２（ｃ）と同様な処理を行い、画素階調変換の輝度スケーリング値βを８０に上げた比較例である。図１２（ｃ）に比べ血管抽出率は向上しているが、併せて粒状成分も増大し不鮮明になっている。図１３（ａ）は、Ｇ成分のみを反映させてグレースケール化を行い、画像平坦化を行い、輝度スケーリング値βを８０にして画素階調変換を行った比較例である。図１３（ｂ）は、Ｇ成分のみを反映させてグレースケール化を行い、画像平坦化およびオープニング処理を行い、輝度スケーリング値βを８０にして画素階調変換を行った本発明の実施例である。 12 and 13 show case 2. FIG. 12A is a full-color fundus image obtained by photographing the fundus of a cataract patient. 12 (b), 12 (c), 12 (d) and 13 (a) are comparative examples, and FIG. 13 (b) is an embodiment according to the present invention. FIG. 12B is a comparative example in which gray scale conversion (color conversion) is performed by reflecting the geometric mean of GB, top hat conversion is performed, and pixel gradation conversion is performed with a luminance scaling value β of 20. . FIG. 12C shows a comparative example in which only the G component is reflected, the gray scale is converted, the top hat conversion is performed, and the pixel gradation conversion is performed with the luminance scaling value β set to 20. It can be seen that in the fundus of cataract, blood vessels can be extracted relatively well when grayscale is applied by reflecting only the G component as shown in FIG. 12C compared to FIG. FIG. 12D is a comparative example in which the same processing as in FIG. 12C is performed and the luminance scaling value β of pixel gradation conversion is increased to 80. Although the blood vessel extraction rate is improved as compared with FIG. 12 (c), the granular component also increases and becomes unclear. FIG. 13A shows a comparative example in which only the G component is reflected, grayscale is performed, image flattening is performed, and pixel gradation conversion is performed with the luminance scaling value β set to 80. FIG. 13B shows an embodiment of the present invention in which only the G component is reflected, gray scale processing is performed, image flattening and opening processing are performed, and pixel gradation conversion is performed with a luminance scaling value β of 80. is there.
図１２（ｂ）〜（ｄ）の各比較例と比較すると、画像平坦化を行った図１３（ａ）（ｂ）の例では、眼底全体に渡って血管が均一に抽出されていることがわかる。特に、画像平坦化とオープニング処理を行った図１３（ｂ）に示す本発明の実施例では、図１３（ａ）に示したオープニング処理を行わない比較例に比べて粒状成分を抑圧できることがわかる。 Compared with the comparative examples of FIGS. 12B to 12D, in the examples of FIGS. 13A and 13B in which image flattening is performed, blood vessels are uniformly extracted over the entire fundus. Recognize. In particular, it can be seen that the embodiment of the present invention shown in FIG. 13B in which the image flattening and the opening processing are performed can suppress the granular component as compared with the comparative example in which the opening processing shown in FIG. 13A is not performed. .
図１４、図１５は、症例３である。図１４（ａ）は、図１２（ａ）よりもさらに進行した白内障患者の眼底を撮影することにより得られたフルカラー眼底画像である。図１４（ｂ）、図１４（ｃ）、図１４（ｄ）、図１５（ａ）は比較例、図１５（ｂ）は本発明による実施例である。図１４（ｂ）は、ＧＢの相乗平均を反映させてグレースケール化（色変換）を行い、トップハット変換を行い、輝度スケーリング値βを２０にして画素階調変換を行った比較例である。図１４（ｃ）は、Ｇ成分のみを反映させてグレースケール化を行い、トップハット変換を行い、輝度スケーリング値βを２０にして画素階調変換を行った比較例である。進行した白内障の眼底でも、図１４（ｂ）に比べ図１４（ｃ）のようにＧ成分のみを反映させてグレースケール化を行った方が、比較的良好に血管を抽出できることがわかる。図１４（ｄ）は、図１４（ｃ）と同様な処理を行い、画素階調変換の輝度スケーリング値βを８０に上げた比較例である。図１４（ｃ）に比べ血管抽出率は向上しているが、併せて粒状成分も増大し不鮮明になっている。図１５（ａ）は、Ｇ成分のみを反映させてグレースケール化を行い、画像平坦化を行い、輝度スケーリング値βを８０にして画素階調変換を行った比較例である。図１５（ｂ）は、Ｇの成分みを反映させてグレースケール化を行い、画像平坦化およびオープニング処理を行い、輝度スケーリング値βを８０にして画素階調変換を行った本発明の実施例である。 14 and 15 are case 3. FIG. FIG. 14A is a full-color fundus image obtained by photographing the fundus of a cataract patient that has progressed further than in FIG. 14 (b), 14 (c), 14 (d) and 15 (a) are comparative examples, and FIG. 15 (b) is an embodiment according to the present invention. FIG. 14B is a comparative example in which gray scale conversion (color conversion) is performed by reflecting the geometric mean of GB, top hat conversion is performed, and pixel gradation conversion is performed with a luminance scaling value β of 20. . FIG. 14C shows a comparative example in which only the G component is reflected, grayscale conversion is performed, top hat conversion is performed, and the pixel gradation conversion is performed with the luminance scaling value β set to 20. It can be seen that even in the fundus of a cataract that has progressed, blood vessels can be extracted relatively well when grayscale is applied by reflecting only the G component as shown in FIG. 14C, compared to FIG. 14B. FIG. 14D is a comparative example in which the same processing as in FIG. 14C is performed and the luminance scaling value β of pixel gradation conversion is increased to 80. Although the blood vessel extraction rate is improved as compared with FIG. 14 (c), the granular component also increases and becomes unclear. FIG. 15A is a comparative example in which only the G component is reflected, grayscale is performed, image flattening is performed, and pixel gradation conversion is performed with the luminance scaling value β set to 80. FIG. 15B shows an embodiment of the present invention in which gray scale conversion is performed by reflecting only the G component, image flattening and opening processing are performed, and pixel gradation conversion is performed with a luminance scaling value β of 80. It is.
図１４（ｂ）〜（ｄ）の各比較例と比較すると、画像平坦化を行った図１５（ａ）（ｂ）の例では、眼底全体に渡って血管が均一に抽出されていることがわかる。特に、画像平坦化とオープニング処理を行った図１５（ｂ）に示す本発明の実施例では、図１５（ａ）に示したオープニング処理を行わない比較例に比べて粒状成分を抑圧できることがわかる。図１０、図１２、図１４の比較例においては、トップハット変換と呼ばれる処理を行っている。トップハット変換は、撮影時の照明ムラ（光源ムラ）の均一化などに利用される。球体に近い眼球を撮影する際には、照明ムラの発生は避けて通れないものである。しかし、健常者と白内障の色成分の相違による影響を受け、前段でのグレースケール変換において、健常者ではＧＢの相乗平均を反映させる方法、白内障ではＧ成分のみを反映させる方法を使い分ける必要があった。本発明のように、画像平坦化とオープニング処理を組み合わせることにより、健常者と白内障の色成分の相違による影響を吸収することができ、前段でのグレースケール変換においては、健常者であるか白内障であるかを問わず、Ｇ成分のみを反映させる方法に固定化できる。 Compared with the comparative examples of FIGS. 14B to 14D, in the examples of FIGS. 15A and 15B in which the image is flattened, blood vessels are uniformly extracted over the entire fundus. Recognize. In particular, in the embodiment of the present invention shown in FIG. 15B in which image flattening and opening processing are performed, it can be seen that the granular component can be suppressed compared to the comparative example in which opening processing is not performed shown in FIG. . In the comparative example of FIG. 10, FIG. 12, and FIG. 14, a process called top hat conversion is performed. The top hat conversion is used for uniforming illumination unevenness (light source unevenness) during photographing. When shooting an eyeball close to a sphere, uneven illumination is unavoidable. However, under the influence of differences in color components between healthy and cataracts, it is necessary to use different methods for reflecting the geometric mean of GB for healthy subjects and for reflecting only the G component for cataracts in the previous grayscale conversion. It was. As in the present invention, by combining image flattening and opening processing, it is possible to absorb the influence due to the difference in color components between the healthy person and the cataract. In the gray scale conversion in the previous stage, the normal person or the cataract Regardless of whether it is, it can be fixed to a method of reflecting only the G component.
＜４．変形例等＞
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、線形構造要素においてｄ＝１・・・８として８方向を設定したが、図６に示す線形構造要素の半径Ｒを６以下にし、方向の種類を７方向以下に削減するか、線形構造要素の半径Ｒを８以上にし、方向の種類を９方向以上に拡充し、より粗いまたは細かい角度ステップで線形オープニング画像を作成するようにしてもよい。
<4. Modified example>
The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above embodiments, and various modifications can be made. For example, in the above embodiment, eight directions are set with d = 1... 8 in the linear structural element. However, the radius R of the linear structural element shown in FIG. Alternatively, the radius R of the linear structural element may be set to 8 or more, the types of directions may be expanded to 9 or more directions, and the linear opening image may be generated with coarser or finer angular steps.
また、上記実施形態では、撮影により得られた眼底画像としてフルカラー画像を用いたが、近年業務用のデジタルカメラの階調は１０ビット以上に拡大しており、各色１０２４階調等のフルカラー画像を取得することも可能になっており、より階調数の多いカラー画像を用いてもよい。 In the above embodiment, a full-color image is used as a fundus image obtained by photographing. However, in recent years, the gradation of a commercial digital camera has been expanded to 10 bits or more, and a full-color image such as 1024 gradations for each color is used. It is also possible to obtain a color image having a larger number of gradations.
また、上記実施形態では、グレースケール変換を行う際、カラー眼底画像から単一の色成分を抽出するようにしたが、上記実施形態に限定されず、公知の様々な手法を用いてグレースケール変換するようにしてもよい。例えば、各画素のＧ成分と、Ｂ成分をネガポジ反転したものの相乗平均値を求め、この値を反映させたグレースケール画像を得るようにしても良い。この場合、カラー眼底画像から１以上の色成分を抽出し、抽出した色成分のうち少なくとも１つの色成分が大きい程、画素値が小さくなるように変換してグレースケール眼底画像を得る。ただし、上記実施形態のように、単一の色成分としてＧ成分を用いたグレースケール変換を行うことにより、健常者、白内障患者の区別を行うことなく、的確な血管強調画像を得ることが可能となるため、単一の色成分としてＧ成分を用いることが好ましい。 In the above embodiment, when performing grayscale conversion, a single color component is extracted from a color fundus image. However, the present invention is not limited to the above embodiment, and grayscale conversion is performed using various known methods. You may make it do. For example, a geometric mean value of negative and positive inversion of the G component and B component of each pixel may be obtained, and a grayscale image reflecting this value may be obtained. In this case, one or more color components are extracted from the color fundus image, and the grayscale fundus image is obtained by converting the pixel value to be smaller as at least one of the extracted color components is larger. However, as in the above embodiment, by performing grayscale conversion using the G component as a single color component, it is possible to obtain an accurate blood vessel-enhanced image without distinguishing between healthy subjects and cataract patients Therefore, it is preferable to use the G component as a single color component.
また、上記実施形態では、グレースケール変換の際、ネガポジ反転することにより、グレースケール眼底画像を得るようにしたが、ネガポジ反転を行わない状態のものをグレースケール眼底画像としてもよい。ネガポジ反転を行わない状態のものをグレースケール眼底画像とした場合、ステップＳ４００における血管強調の際、画素値の大小を逆転したものを用いる。すなわち、画素値の度数分布を算出し、線状成分強調画像の最大画素値から数えて画素数の総和が線状成分強調画像の全画素数の所定の比率を超える画素値のうち最大の画素値を、線状成分強調画像に含まれる非血管候補領域と血管候補領域とを判別する画素値のしきい値として設定し、前記しきい値以上の画素値が最大値になるように置き換え、線状成分強調画像においてこの条件にあてはばらない画素値が、階調の最大値付近の値から最小値の範囲になるように画素の階調を補正する。 In the above-described embodiment, the gray scale fundus image is obtained by performing the negative / positive inversion at the time of gray scale conversion. However, the gray scale fundus image may be obtained without negative / positive inversion. When the image without negative / positive reversal is a grayscale fundus image, the image with the pixel value reversed is used in the blood vessel enhancement in step S400. That is, the frequency distribution of the pixel values is calculated, and the maximum pixel among the pixel values in which the total number of pixels exceeds the predetermined ratio of the total number of pixels of the linear component emphasized image counted from the maximum pixel value of the linear component emphasized image The value is set as a threshold value of the pixel value for discriminating between the non-blood vessel candidate region and the blood vessel candidate region included in the linear component emphasized image, and the pixel value equal to or higher than the threshold value is replaced so as to become the maximum value. In the linear component emphasized image, the gradation of the pixel is corrected so that the pixel value not satisfying this condition is in the range from the value near the maximum gradation value to the minimum value.
１・・・ＣＰＵ（Central Processing Unit）
２・・・ＲＡＭ（Random Access Memory）
３・・・記憶装置
４・・・キー入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・表示部
１０・・・グレースケール変換手段
２０・・・画像平坦化手段
３０・・・線状成分強調手段
４０・・・画素階調変換手段
５０・・・眼底画像記憶手段
６０・・・血管強調画像記憶手段
１００・・・眼底画像処理装置
1 ... CPU (Central Processing Unit)
2 ... RAM (Random Access Memory)
3 ... Storage device 4 ... Key input I / F
5. Data input / output I / F
6 ... Display unit 10 ... Gray scale conversion means 20 ... Image flattening means 30 ... Linear component emphasis means 40 ... Pixel gradation conversion means 50 ... Fundus image storage means 60 ..Vessel-enhanced image storage means 100 ... fundus image processing apparatus
Claims (8)
前記カラー眼底画像が有する色成分のうち少なくとも１つの色成分に基づいてグレースケール眼底画像を得るグレースケール変換手段と、
前記グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、当該画素の画素値に所定の値から前記平均値を減算した値を加算することにより、平坦化画像を作成する画像平坦化手段と、
前記平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段と、
前記線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、前記所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段と、
を有することを特徴とする眼底画像処理装置。 A device for processing a color fundus image to enhance a blood vessel region,
Grayscale conversion means for obtaining a grayscale fundus image based on at least one of the color components of the color fundus image;
For each pixel of the grayscale fundus image, an average value of pixel values of neighboring pixels included in a predetermined range is calculated, and a value obtained by subtracting the average value from the predetermined value is added to the pixel value of the pixel. Image flattening means for creating a flattened image,
Linear component enhancement means for performing an opening process on the flattened image using a predetermined structural element and creating a linear component enhanced image in which the luminance of the blood vessel candidate region is equal to or higher than a certain level;
In the linear component emphasized image, a pixel value that does not satisfy the predetermined condition is replaced with the minimum gradation value of the converted blood vessel emphasized image, and the pixel value that satisfies the predetermined condition is the minimum gradation value. Pixel gradation conversion means for correcting the gradation of the pixel so as to be in the range of the maximum value from the value near the value, and creating a blood vessel emphasized image;
A fundus image processing apparatus comprising:
前記所定の条件を満たす画素値として所定のしきい値を超える画素値とし、前記線状成分強調画像に対して、画素値の度数分布を算出し、前記線状成分強調画像の最小画素値から数えて画素数の総和が前記線状成分強調画像の全画素数の所定の比率を超える画素値のうち最小の画素値を前記所定のしきい値に設定することを特徴とする請求項１から請求項６のいずれか一項に記載の眼底画像処理装置。 The pixel gradation conversion means includes
The pixel value satisfying the predetermined condition is set to a pixel value exceeding a predetermined threshold value, a frequency distribution of pixel values is calculated for the linear component emphasized image, and the minimum pixel value of the linear component emphasized image is calculated. 2. The minimum pixel value is set as the predetermined threshold value among pixel values whose total number of pixels exceeds a predetermined ratio of the total number of pixels of the linear component emphasized image. The fundus image processing apparatus according to claim 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016157402A JP2018023602A (en) | 2016-08-10 | 2016-08-10 | Fundus image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016157402A JP2018023602A (en) | 2016-08-10 | 2016-08-10 | Fundus image processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018023602A true JP2018023602A (en) | 2018-02-15 |
Family
ID=61193742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016157402A Pending JP2018023602A (en) | 2016-08-10 | 2016-08-10 | Fundus image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018023602A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111064861A (en) * | 2018-10-17 | 2020-04-24 | 夏普株式会社 | Document reading apparatus and image forming apparatus including the same |
| WO2022270291A1 (en) * | 2021-06-21 | 2022-12-29 | パナソニックＩｐマネジメント株式会社 | Image processing device, and image processing method |
| JP2023501624A (en) * | 2020-02-10 | 2023-01-18 | メディピクセル インコーポレイテッド | Method and apparatus for extracting main blood vessel region based on blood vessel image |
| JP7553935B2 (en) | 2020-07-10 | 2024-09-19 | 株式会社カワタ | Mixture ratio determination method and device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0362179A (en) * | 1989-07-28 | 1991-03-18 | Canon Inc | Picture processor |
| JP2010200940A (en) * | 2009-03-03 | 2010-09-16 | Hoya Corp | Image processor and endoscope apparatus |
| JP2010279439A (en) * | 2009-06-02 | 2010-12-16 | Canon Inc | Image processor, method for controlling the same and computer program |
| JP2011248479A (en) * | 2010-05-24 | 2011-12-08 | Canon Inc | Image processing device, image processing method and program |
| JP2016107097A (en) * | 2014-12-05 | 2016-06-20 | 株式会社リコー | Method, program and system for retinal vessel extraction |
| JP2016140518A (en) * | 2015-01-30 | 2016-08-08 | キヤノン株式会社 | Tomographic imaging device, tomographic imaging method, and program |
-
2016
- 2016-08-10 JP JP2016157402A patent/JP2018023602A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0362179A (en) * | 1989-07-28 | 1991-03-18 | Canon Inc | Picture processor |
| JP2010200940A (en) * | 2009-03-03 | 2010-09-16 | Hoya Corp | Image processor and endoscope apparatus |
| JP2010279439A (en) * | 2009-06-02 | 2010-12-16 | Canon Inc | Image processor, method for controlling the same and computer program |
| JP2011248479A (en) * | 2010-05-24 | 2011-12-08 | Canon Inc | Image processing device, image processing method and program |
| JP2016107097A (en) * | 2014-12-05 | 2016-06-20 | 株式会社リコー | Method, program and system for retinal vessel extraction |
| JP2016140518A (en) * | 2015-01-30 | 2016-08-08 | キヤノン株式会社 | Tomographic imaging device, tomographic imaging method, and program |
Non-Patent Citations (2)
| Title |
|---|
| MODEGI TOSHIO ET AL.: ""Comparative Analysis of Retinal Fundus Images with the Distant Past Images Using a Vessel Extractio", INNOVATION IN MEDICINE AND HEALTHCARE 2015, JPN6020019052, 12 August 2015 (2015-08-12), pages 565 - 574, ISSN: 0004405615 * |
| SHAMI FOROOGH ET AL.: ""Better detection of retinal abnormalities by accurate detection of blood vessels in retina"", 2014 22ND IRANIAN CONFERENCE ON ELECTRICAL ENGINEERING (ICEE), JPN6020019053, 22 May 2014 (2014-05-22), pages 1493 - 1496, XP032699703, ISSN: 0004405616, DOI: 10.1109/IranianCEE.2014.6999770 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111064861A (en) * | 2018-10-17 | 2020-04-24 | 夏普株式会社 | Document reading apparatus and image forming apparatus including the same |
| CN111064861B (en) * | 2018-10-17 | 2022-03-04 | 夏普株式会社 | Document reading apparatus and image forming apparatus including the same |
| JP2023501624A (en) * | 2020-02-10 | 2023-01-18 | メディピクセル インコーポレイテッド | Method and apparatus for extracting main blood vessel region based on blood vessel image |
| US11756195B2 (en) | 2020-02-10 | 2023-09-12 | Medipixel, Inc. | Method and device for extracting major vessel region on basis of vessel image |
| JP7362167B2 (en) | 2020-02-10 | 2023-10-17 | メディピクセル インコーポレイテッド | Main blood vessel region extraction method and device based on blood vessel images |
| JP7553935B2 (en) | 2020-07-10 | 2024-09-19 | 株式会社カワタ | Mixture ratio determination method and device |
| WO2022270291A1 (en) * | 2021-06-21 | 2022-12-29 | パナソニックＩｐマネジメント株式会社 | Image processing device, and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210045627A1 (en) | Image processing apparatus and method | |
| WO2020199593A1 (en) | Image segmentation model training method and apparatus, image segmentation method and apparatus, and device and medium | |
| JP2018171177A (en) | Fundus image processing device | |
| Luo et al. | Dehaze of cataractous retinal images using an unpaired generative adversarial network | |
| Odstrcilik et al. | Thickness related textural properties of retinal nerve fiber layer in color fundus images | |
| CN109816666B (en) | Symmetrical full convolution neural network model construction method, fundus image blood vessel segmentation device, computer equipment and storage medium | |
| JP2018023602A (en) | Fundus image processing device | |
| Hsu et al. | Medical image enhancement using modified color histogram equalization | |
| Cheong et al. | DeshadowGAN: a deep learning approach to remove shadows from optical coherence tomography images | |
| JP2018114031A (en) | Fundus image processing device | |
| Gao et al. | An open-source deep learning network for reconstruction of high-resolution oct angiograms of retinal intermediate and deep capillary plexuses | |
| CN113870270B (en) | Fundus image cup and optic disc segmentation method under unified frame | |
| CN109215039B (en) | Method for processing fundus picture based on neural network | |
| Wan Mustapa et al. | Conversion of the retinal image using gray world technique | |
| JP2008284005A (en) | Image processor, image processing system, and image processing method | |
| JP2018102586A (en) | Fundus image processing device | |
| KR20200046775A (en) | Surgical assist device and method for 3D analysis based on liver cancer area in CT image | |
| Naveen et al. | Diabetic retinopathy detection using image processing | |
| JP2018201629A (en) | Fundus image processing device | |
| Zhang et al. | A fundus image enhancer based on illumination-guided attention and optic disc perception GAN | |
| Devi et al. | Dehazing buried tissues in retinal fundus images using a multiple radiance pre-processing with deep learning based multiple feature-fusion | |
| JP6439515B2 (en) | Fundus image processing device | |
| JP2001344601A (en) | Picture processor and picture processing program | |
| CN115908274A (en) | Device, equipment and medium for detecting focus | |
| CN110415231A (en) | A kind of CNV dividing method based on attention pro-active network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190626 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201215 |