JP2007252707A - Image analysis apparatus and program - Google Patents
Image analysis apparatus and program Download PDFInfo
- Publication number
- JP2007252707A JP2007252707A JP2006082323A JP2006082323A JP2007252707A JP 2007252707 A JP2007252707 A JP 2007252707A JP 2006082323 A JP2006082323 A JP 2006082323A JP 2006082323 A JP2006082323 A JP 2006082323A JP 2007252707 A JP2007252707 A JP 2007252707A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- pixel data
- area
- optic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
本発明は、異なる位置から測定対象物を撮影して得られるステレオ画像に基づいて、測定対象物の３次元形状を再現するための画像解析装置と画像解析プログラムに関する。特に、眼底を撮影したステレオ画像の情報を解析し、視神経乳頭の３次元形状を正確に再現する３次元情報を得るための画像解析装置と画像解析プログラムに関する。 The present invention relates to an image analysis apparatus and an image analysis program for reproducing a three-dimensional shape of a measurement object based on a stereo image obtained by photographing the measurement object from different positions. In particular, the present invention relates to an image analysis apparatus and an image analysis program for analyzing information of a stereo image obtained by photographing a fundus and obtaining three-dimensional information for accurately reproducing the three-dimensional shape of the optic nerve head.
眼底を撮影して得られる眼底画像は、眼の検査や疾病の診断に広く用いられている。特に、眼底画像から視神経乳頭の形状の観察を行うことは、緑内障の有無やその進行度を確認する上で非常に有益である。このため、視神経乳頭の正確な３次元形状を観察できる技術が求められている。視神経乳頭の３次元形状を観察する一つの手段として、眼底を異なる位置から撮影して得られるステレオ画像に基づいて、視神経乳頭の３次元形状を再現する試みが種々行われている。 Fundus images obtained by photographing the fundus are widely used for eye examination and disease diagnosis. In particular, observing the shape of the optic disc from the fundus image is very useful in confirming the presence or absence of glaucoma and its progress. For this reason, the technique which can observe the exact three-dimensional shape of an optic nerve head is calculated | required. As one means for observing the three-dimensional shape of the optic disc, various attempts have been made to reproduce the three-dimensional shape of the optic disc based on stereo images obtained by photographing the fundus from different positions.
眼底の３次元形状を示す情報を得ることを目的として、被験者の眼底のステレオ画像を撮影する場合の、基本的な撮影位置を図１に模式的に示す。撮影は、基線長Ｌとなる位置２２と位置２４において、光軸が互いに平行になるようになされる。位置２２での撮影によって第１の眼底画像２６が撮影され、位置２４のカメラによって第２の眼底画像２８が撮影される。位置２２のカメラと位置２４のカメラの焦点距離は、眼底画像２６によって決定される平面と眼底画像２８によって定義される平面とが同一となるように調整されている。 For the purpose of obtaining information indicating the three-dimensional shape of the fundus, FIG. 1 schematically shows a basic shooting position when shooting a stereo image of the fundus of the subject. Shooting is performed so that the optical axes are parallel to each other at the position 22 and the position 24 where the base line length L is obtained. The first fundus image 26 is captured by photographing at the position 22, and the second fundus image 28 is photographed by the camera at the position 24. The focal lengths of the camera at the position 22 and the camera at the position 24 are adjusted so that the plane determined by the fundus image 26 and the plane defined by the fundus image 28 are the same.
画像２６と画像２８を解析して、眼底の形状を示す３次元の座標値を得る方法について、簡単に説明する。ステレオ画像の解析では、最初に、第１の画像２６の点ＰＬと、第２の画像２８の点ＰＲのように、実空間で同一の位置にある測定対象点Ｐが撮影されている画像上の点の位置を決定する必要がある。このような点は、対応点と称される。通常、画像上の対応点を探索するために、画素ごとの画素値の特性を比較するマッチングが行われる。そしてマッチングの結果、最も画素値の特性が類似している箇所が、対応点に決定される。 A method of analyzing the images 26 and 28 and obtaining a three-dimensional coordinate value indicating the shape of the fundus will be briefly described. In the analysis of the stereo image, first, the P L point of the first image 26, as the point P R of the second image 28, the measurement target point P located at the same position in the real space being filmed It is necessary to determine the position of the point on the image. Such a point is called a corresponding point. Usually, in order to search for corresponding points on the image, matching is performed to compare the characteristics of pixel values for each pixel. Then, as a result of matching, a portion having the most similar pixel value characteristics is determined as a corresponding point.
対応点である点ＰＬと点ＰＲの画像内の位置が決定されると、点ＰＬの画像の座標系で示される座標値ＰＬ（ｘＬ，ｙＬ）と、点ＰＲの画像の座標系で示される座標値ＰＲ（ｘＲ，ｙＲ）を用いて、実空間の全体座標系で示される点Ｐの座標（ｘ，ｙ，ｚ）を求めることができる。点Ｐの座標値は、以下に示す既知の式（１）（２）（３）に、座標値ＰＬ（ｘＬ，ｙＬ）と座標値ＰＲ（ｘＲ，ｙＲ）を代入して方程式を解くことによって得られる。特に、測定対象点の奥行き情報であるｚの値は、カメラの基線長Ｌと、カメラの焦点距離ｆと、第１の画像と第２の画像間の撮影位置の違いに起因する対応点のずれ量ｘＬ−ｘＲとから、容易に計算することができる。尚、ｘＬ−ｘＲの値のように、第１の画像と第２の画像間の撮影位置の違いに起因する対応点のずれ量は、視差と称される。 When the position within the image of the P L and the point P R points are corresponding points are determined, coordinate value P L (x L, y L ) represented by the coordinate system of the point P L image and, at the point P R By using the coordinate value P R (x R , y R ) indicated in the image coordinate system, the coordinates (x, y, z) of the point P indicated in the entire coordinate system of the real space can be obtained. The coordinate value of the point P is obtained by substituting the coordinate value P L (x L , y L ) and the coordinate value P R (x R , y R ) into the following known equations (1), (2), and (3). It is obtained by solving the equation. In particular, the value of z, which is the depth information of the measurement target point, corresponds to the base point length L of the camera, the focal length f of the camera, and the corresponding point due to the difference in the shooting position between the first image and the second image. It can be easily calculated from the deviation amount x L -x R. In addition, like the value of x L -x R , the shift amount of the corresponding point due to the difference in the shooting position between the first image and the second image is referred to as parallax.
ステレオ画像は、カメラのレンズを通して画像が得られているために、測定対象物はレンズの光学的な特性に由来する歪みを含んだ形状で画像に記録されている。このため、正確な対応点の位置を計測し、視差を求めるためには、画像の歪みの補正が必要となる。特に、眼底のステレオ画像は、眼底が眼球の水晶体レンズや角膜を通して撮影されるために、これらの影響が加わってより多くの要因からなる歪みを含んだ画像が撮影されることになる。眼球の水晶体レンズや角膜の形状には個人差があるために、一般的な光学計算による補正だけでは正確な眼底の形状を知ることができず、対応点を正確に求めることが困難であった。 Since the stereo image is obtained through the lens of the camera, the measurement object is recorded on the image in a shape including distortion derived from the optical characteristics of the lens. For this reason, in order to measure the position of the corresponding point accurately and obtain the parallax, it is necessary to correct image distortion. In particular, since the fundus is photographed through the crystalline lens or cornea of the eyeball, a stereo image of the fundus is photographed as an image including distortion due to these factors in addition to these effects. Because there are individual differences in the shape of the lens and cornea of the eyeball, it is difficult to accurately determine the corresponding point because it is not possible to know the exact fundus shape only by correction using general optical calculations. .
このため、眼底のステレオ画像に含まれる歪みを補正したうえで対応点を決定し、正確な３次元形状を決定しようとする試みが種々なされている。例えば、ステレオ画像の上下三分の一の赤、青、緑の情報を用いて画像の位置の補正を行って対応点を決定する技術が、特許文献１に開示されている。又、特許文献２には、眼球を楕円球面と仮定し、２次曲面を当てはめて画像の補正を行う技術が、開示されている。
しかしながら、これら従来の技術は、画像間の位置の補正を行うために、画像全体、あるいは画像の三分の二の領域を対象として画素データの解析を行って補正を行うものであり、補正のための画像処理に非常に時間を要していた。 However, these conventional techniques perform correction by analyzing pixel data for the entire image or two-thirds of the image in order to correct the position between images. Therefore, it took a very long time for image processing.
また眼底のステレオ画像に固有の事例として、水晶体や角膜を通過する光量や光の波長が照明条件や撮影方向によって変化し、測定対象物の同一箇所を撮影しているはずの箇所の画素値が、画像によって異なることがある。このような画素値の変化量は、特に撮影領域の周辺部である網膜領域において大きくなっており、網膜領域では対応点の抽出が正確に行われないことがあった。そして、このような誤った対応点の情報を元に眼底の３次元形状を解析したために、実際には凹凸がないなめらかな平面であっても、凹凸が大きな構造として認識して結果を表示してしまうことが屡々あり、その改善が求められていた。 In addition, as a case specific to a stereo image of the fundus, the amount of light that passes through the lens or cornea and the wavelength of the light vary depending on the illumination conditions and the shooting direction, and the pixel value of the spot where the same part of the measurement object should be shot , May vary from image to image. Such a change amount of the pixel value is particularly large in the retinal region that is the peripheral portion of the imaging region, and the corresponding point may not be accurately extracted in the retinal region. And since the three-dimensional shape of the fundus was analyzed based on the information of such incorrect corresponding points, even if it is a smooth flat surface that does not actually have unevenness, it is recognized as a structure with large unevenness and the result is displayed. In many cases, improvements were required.
本発明は上記の問題点に鑑みてなされたものであって、眼底のステレオ画像から、正確な視差の値を求めて視神経乳頭の３次元形状を効率よく、しかも正確に解析する画像解析装置と画像解析プログラムを提供することを課題としてなされたものである。 The present invention has been made in view of the above problems, and an image analysis apparatus that efficiently and accurately analyzes the three-dimensional shape of the optic nerve head by obtaining an accurate parallax value from a stereo image of the fundus The object is to provide an image analysis program.
更に本発明は、眼底のステレオ画像間に、照明条件などに起因する画素値の変化が存在した場合であっても、視神経乳頭の３次元形状を正確に解析する画像解析装置と画像解析プログラムを提供することを課題としてなされたものである。 Furthermore, the present invention provides an image analysis apparatus and an image analysis program for accurately analyzing the three-dimensional shape of the optic nerve head even when there is a change in pixel value due to illumination conditions between stereo images of the fundus. It was made as an issue to provide.
請求項１の発明は、被験者の眼底を撮影したステレオ画像から、視神経乳頭の３次元形状を解析する画像解析装置に関する。本発明の画像解析装置は、ステレオ画像の画素データを入力する画像入力手段と、ステレオ画像毎に視神経乳頭の領域と視神経乳頭以外の領域とを識別する領域識別手段と、ステレオ画像の視神経乳頭以外の領域の画素データを解析して、視神経乳頭の領域を含む画像全体の位置合わせを行う画像補正手段と、画像補正手段によって位置合わせをされたステレオ画像の視神経乳頭の領域の画素データを解析して、視神経乳頭の中の同一箇所を撮影している対応点を決定する対応点決定手段と、対応点決定手段によって決定された対応点の各画像における位置情報から、視神経乳頭の奥行き情報を計算する奥行き情報決定手段とを含んでいることを特徴とする。 The invention of claim 1 relates to an image analysis apparatus for analyzing a three-dimensional shape of an optic nerve head from a stereo image obtained by photographing a fundus of a subject. An image analysis apparatus according to the present invention includes an image input unit that inputs pixel data of a stereo image, a region identification unit that identifies a region of the optic disc and a region other than the optic disc for each stereo image, and other than the optic disc of the stereo image The pixel data of the optic nerve head area is analyzed, and the image correction means for aligning the entire image including the optic nerve head area and the pixel data of the optic nerve head area of the stereo image aligned by the image correction means are analyzed. The corresponding point determination means for determining the corresponding point photographing the same part in the optic nerve head, and the depth information of the optic nerve head from the position information in each image of the corresponding point determined by the corresponding point determination means. And depth information determining means.
眼底のステレオ画像には、主に、視神経乳頭と、網膜と、網膜上を走行する複数の血管が撮影される。種々の検討の結果、発明者は、眼底のステレオ画像を、視神経乳頭以外の領域、即ち網膜と網膜上を走行する複数の血管とが撮影されている領域の画素データを解析して画像の位置の補正を行うことにより、視神経乳頭の３次元形状を効率よく、しかも正確に解析できることを見いだした。視神経乳頭は、中心部が陥凹した円錐型になっており、その円錐の頂点は、画像の奥側に位置している。網膜は、眼球の形状に沿って湾曲しているが、その径が比較的大きいために、画像とほぼ平行な略平面として撮影される。発明者は、このような視神経乳頭と網膜の形状の違いに着目し、視神経乳頭以外の領域を解析することで、画像全体の位置合わせを効率よく行うことができることを見いだし、更に位置合わせ後のステレオ画像を用いて視神経乳頭の領域の対応点を決定して解析を行うことにより、視神経乳頭の奥行き情報を正確に計算することを可能とした。 In the stereo image of the fundus, mainly the optic disc, the retina, and a plurality of blood vessels running on the retina are photographed. As a result of various studies, the inventor analyzed the pixel position of the fundus stereo image by analyzing pixel data of a region other than the optic disc, that is, a region where the retina and a plurality of blood vessels running on the retina are imaged. It was found that the three-dimensional shape of the optic nerve head can be efficiently and accurately analyzed by correcting the above. The optic nerve head has a conical shape with a recessed central part, and the apex of the cone is located on the back side of the image. The retina is curved along the shape of the eyeball, but since the diameter is relatively large, the retina is photographed as a substantially flat surface substantially parallel to the image. The inventor pays attention to the difference between the shape of the optic disc and the retina, finds that the entire image can be efficiently aligned by analyzing the region other than the optic disc, and further after the alignment. By determining the corresponding points of the optic disc area using a stereo image and performing analysis, depth information of the optic disc can be accurately calculated.
請求項２の発明の画像補正手段は、ステレオ画像間における同位置の画素値の差分の合計値を評価して、画像間の縦方向の移動量と、横方向の移動量と、横方向の拡大縮小率を求めることによって画像の位置補正を行うことを特徴とする。 The image correction means of the invention of claim 2 evaluates the total value of the difference between the pixel values at the same position between the stereo images, and the vertical movement amount, the horizontal movement amount, and the horizontal movement amount between the images. Image position correction is performed by obtaining an enlargement / reduction ratio.
発明者は、多くの画像を解析して補正方法を検討した結果、眼底のステレオ画像の位置の補正が、画像の縦方向及び横方向の移動と、横方向の拡大縮小を行うことで可能となることを見いだした。画像の移動量と拡大縮小率は、ステレオ画像間における同位置の画素値の差分の合計値を求めて、この値に基づいて計算することが可能であるので、補正は効率的で迅速に行われる。 As a result of examining the correction method by analyzing many images, the inventor can correct the position of the stereo image of the fundus by moving the image in the vertical direction and the horizontal direction, and by performing enlargement / reduction in the horizontal direction. I found out. The amount of image movement and the enlargement / reduction ratio can be calculated based on the total difference of pixel values at the same position between stereo images, so that correction can be performed efficiently and quickly. Is called.
請求項３の対応点決定手段は、基準とする画像の視神経乳頭の領域中に基準点を設定し、この基準点の周囲の特定の範囲に関心領域を設定し、他の画像の視神経乳頭の領域から、関心領域の画素データに最も類似する画素データの配列を有する領域を検索し、他の画像の視神経乳頭の領域に、関心領域と充分に類似する画素データの配列が得られない場合には、他の画像の視神経乳頭の領域の横方向の拡大若しくは縮小を行って、関心領域の画素データに最も類似する画素データの配列を有する領域を検索し、検索の結果に基づいて基準とする画像と他の画像の対応点を決定することを特徴とする。 The corresponding point determination means according to claim 3 sets a reference point in a region of the optic nerve head of the reference image, sets a region of interest in a specific range around the reference point, and sets the optic nerve head of another image. When the region having the pixel data arrangement most similar to the pixel data of the region of interest is searched from the region, and the pixel data arrangement sufficiently similar to the region of interest is not obtained in the optic nerve head region of another image Performs lateral enlargement or reduction of the optic disc area of other images to search for an area having an array of pixel data that is most similar to the pixel data of the area of interest, and uses the result as a reference A feature is that a corresponding point between an image and another image is determined.
本発明の対応点決定手段は、視神経乳頭の領域で対応点を抽出する際に、基準とする画像の視神経乳頭の領域に関心領域を定め、他の画像の視神経乳頭の領域から、関心領域の画素データと類似する画素データの配列を検索する。そして、類似する画素データの配列が得られない場合には、他の画像の視神経乳頭の領域の横方向の拡大若しくは縮小を行って、類似する画素データの配列を有する領域を検索することができる。視神経乳頭の領域の画像には、周辺部の領域外の画像とは異なる横方向の歪みが生じることがあるが、本発明の対応点決定手段は、この歪みにも対応することができるため、より精度高く画像内に対応点を設定することができる。 The corresponding point determination means of the present invention determines a region of interest in the optic disc region of the reference image when extracting the corresponding point in the optic disc region, and from the optic disc region of other images, An array of pixel data similar to the pixel data is searched. If a similar pixel data array cannot be obtained, a region having a similar pixel data array can be searched by performing lateral enlargement or reduction of the optic papilla region of another image. . In the image of the optic disc area, there may be a lateral distortion different from the image outside the peripheral area, but the corresponding point determination means of the present invention can also cope with this distortion, Corresponding points can be set in the image with higher accuracy.
請求項４の発明は、被験者の眼底を撮影したステレオ画像の画素データから、視神経乳頭の３次元形状を解析する画像解析プログラムに関する。本発明の画像解析プログラムは、ステレオ画像毎に視神経乳頭の領域と視神経乳頭以外の領域の各画素データを識別し、
ステレオ画像の視神経乳頭以外の領域の画素データを解析して、視神経乳頭の領域を含む画像全体の位置合わせを行い、位置合わせされたステレオ画像の視神経乳頭の領域の画素データを解析して、視神経乳頭の中の同一箇所を撮影している対応点を決定し、対応点の各画像における位置情報から、視神経乳頭の奥行き情報を計算する処理をコンピュータに実行させるものである。
The invention of claim 4 relates to an image analysis program for analyzing the three-dimensional shape of the optic nerve head from pixel data of a stereo image obtained by photographing the fundus of a subject. The image analysis program of the present invention identifies each pixel data of an area of the optic nerve head and an area other than the optic nerve head for each stereo image,
Analyze the pixel data of the area other than the optic disc in the stereo image, align the entire image including the optic disc area, analyze the pixel data in the optic disc area of the aligned stereo image, and analyze the optic nerve Corresponding points at which the same portion of the nipple is photographed are determined, and the computer is caused to execute a process of calculating depth information of the optic disc from position information in each image of the corresponding points.
本発明の画像解析装置及び画像解析プログラムによって、眼底を撮影したステレオ画像の画素データを効率よく解析し、乳頭視神経の３次元形状を正確に再現可能な３次元情報を得ることができる。 With the image analysis device and the image analysis program of the present invention, it is possible to efficiently analyze pixel data of a stereo image obtained by photographing the fundus and obtain three-dimensional information that can accurately reproduce the three-dimensional shape of the papillary optic nerve.
本発明の画像解析装置及び画像解析プログラムによって、ステレオ画像間に照明条件などに起因する画素値の変化が存在する場合であっても、視神経乳頭の３次元形状を正確に解析することができる。 The image analysis apparatus and the image analysis program of the present invention can accurately analyze the three-dimensional shape of the optic nerve head even when there is a change in pixel value due to illumination conditions or the like between stereo images.
以下、本発明の画像解析装置の好ましい実施の形態の一例として、眼底を撮影したステレオ画像から視神経乳頭の三次元形状を再現する画像解析装置について、図面を参照しつつ詳細に説明する。 Hereinafter, as an example of a preferred embodiment of an image analysis apparatus of the present invention, an image analysis apparatus that reproduces a three-dimensional shape of an optic nerve head from a stereo image obtained by photographing a fundus will be described in detail with reference to the drawings.
本実施形態における画像解析装置は１台のコンピュータで構成されている。画像解析装置のステレオ画像の画素データを入力する画像入力手段と、ステレオ画像毎に視神経乳頭の領域と視神経乳頭以外の領域を識別する領域識別手段と、ステレオ画像の視神経乳頭以外の領域の画素データを解析して、視神経乳頭の領域を含む画像全体の位置合わせを行う画像補正手段と、位置合わせをされたステレオ画像の視神経乳頭の領域の画素データを解析して、視神経乳頭の中の同一箇所を撮影している対応点を決定する対応点決定手段と、決定された対応点の各画像における位置情報から、視神経乳頭の奥行き情報を計算する奥行き情報決定手段とは、コンピュータの記憶部（ＲＯＭ，ＲＡＭ等）に記憶されている。これらの手段が、コンピュータのＣＰＵを用いてステレオ画像の画素データの演算を適宜行うことにより、解析が進められる。 The image analysis apparatus in the present embodiment is composed of one computer. Image input means for inputting pixel data of stereo image of image analysis apparatus, area identification means for identifying area of optic nerve head and area other than optic nerve head for each stereo image, and pixel data of area other than optic nerve head of stereo image And image correction means for aligning the entire image including the optic disc area, and analyzing the pixel data of the optic disc area of the stereo image that has been aligned, and the same location in the optic disc A corresponding point determining means for determining a corresponding point for photographing the image, and a depth information determining means for calculating depth information of the optic nerve head from position information of the determined corresponding point in each image. , RAM, etc.). Analysis is advanced by these means by appropriately calculating the pixel data of the stereo image using the CPU of the computer.
本実施形態の画像解析装置によって解析される視神経乳頭と網膜について、その形状の一般的な特徴を説明する。網膜は眼球の一番奥にある膜であり、眼球の表面に沿って湾曲した形状となっている。視神経乳頭は眼球の奥の中心窩からやや離れた位置にあり、中央の円錐型の陥凹部と、陥凹部の周囲の乳頭辺縁部からなる。すなわち、陥凹部の円錐の頂点は、最も奥側に位置している。視神経乳頭の陥凹部の大きさは個人差が大きく、又疾患の有無等によってもその大きさが変わるが、一般的にその径は、眼球の径の数パーセントである。 The general features of the shape of the optic disc and retina analyzed by the image analysis apparatus of this embodiment will be described. The retina is the innermost film of the eyeball, and has a shape curved along the surface of the eyeball. The optic papilla is located slightly away from the central fovea at the back of the eyeball, and consists of a central conical depression and a nipple margin around the depression. That is, the apex of the cone of the recessed portion is located on the innermost side. The size of the depression of the optic nerve head varies greatly depending on the individual, and the size varies depending on the presence or absence of a disease, but the diameter is generally several percent of the diameter of the eyeball.
眼底のステレオ画像は、眼球の正面から光を眼球に通し、画像毎にわずかに異なる撮影位置から撮影される。本実施形態で解析するステレオ画像は、図２（ａ）に示される眼底を左側から撮影した画像２（以下、左画像とも言う）と、図２（ｂ）に示される眼底を右側から撮影した画像４（以下、右画像とも言う）の２枚で構成されている。眼底のステレオ画像には、視神経乳頭領域６と、網膜領域８と、網膜上を走行する複数の血管１０が撮影される。 A stereo image of the fundus is taken from a slightly different shooting position for each image by passing light through the eyeball from the front of the eyeball. The stereo image analyzed in this embodiment is an image 2 (hereinafter also referred to as a left image) obtained by photographing the fundus shown in FIG. 2A from the left side, and a fundus shown in FIG. 2B from the right side. It is composed of two images 4 (hereinafter also referred to as right images). In the stereo image of the fundus, the optic disc region 6, the retina region 8, and a plurality of blood vessels 10 running on the retina are photographed.
眼底のステレオ画像２，４は、本実施形態では視神経乳頭領域６が画像のほぼ中央に配置されるように撮影される。図２のステレオ画像の中で、視神経乳頭領域６の乳頭辺縁部１２は、明るいオレンジ色で撮影されており、陥凹部１４は乳頭辺縁部１２よりも更に輝度の高い薄いオレンジ色で撮影されている。図２のステレオ画像に褐色から暗褐色の色調で撮影されている網膜領域８は、実際には画像に対して奥行き方向に凸となるように湾曲しているが、湾曲の曲率が大きい一方で撮影範囲が相対的に狭いために、撮影範囲における奥行き方向の変化量は非常に少なく、画像の面とほぼ平行な平面として取り扱うことができる。 In this embodiment, the fundus stereo images 2 and 4 are photographed so that the optic disc region 6 is arranged at substantially the center of the image. In the stereo image of FIG. 2, the nipple margin 12 of the optic nerve head region 6 is photographed in a bright orange color, and the depressed portion 14 is photographed in a light orange with a higher brightness than the nipple margin 12. Has been. The retinal region 8 captured in the tone of brown to dark brown in the stereo image of FIG. 2 is actually curved so as to be convex in the depth direction with respect to the image, but has a large curvature of curvature. Since the shooting range is relatively narrow, the amount of change in the depth direction in the shooting range is very small and can be handled as a plane substantially parallel to the plane of the image.
このような２枚の眼底のステレオ画像２，４から視神経乳頭領域６の３次元形状を解析するために、画像解析装置が実施する解析のフローを図３に示し、詳細な解析内容の説明を行う。画像解析装置の画像入力手段は、まず最初にステップｓ２において、２枚のステレオ画像２，４の画素データを入力する。本実施形態におけるステレオ画像の画素データは、画素毎にＲ（赤）、Ｇ（緑）、Ｂ（青）のデータを含んでいる。 In order to analyze the three-dimensional shape of the optic disc region 6 from the two stereo images 2 and 4 of the fundus, FIG. 3 shows a flow of analysis performed by the image analysis apparatus, and a detailed explanation of the analysis contents is given. Do. First, in step s2, the image input unit of the image analysis apparatus inputs the pixel data of the two stereo images 2 and 4. The pixel data of the stereo image in the present embodiment includes R (red), G (green), and B (blue) data for each pixel.
次に画像解析装置は、ステップｓ４において、領域識別手段を用いて、ステレオ画像ごとに視神経乳頭領域６の輪郭抽出を行う。ステレオ画像２，４において、視神経乳頭領域６の乳頭辺縁部１２は、網膜領域８と比較すると、Ｒ、Ｇ、Ｂ値に基づいて算出される輝度値が高くなる。又、視神経乳頭領域６と網膜領域８が隣りあう部分では輝度値の変化量が大きく、その境界（以下、エッジともいう）は明瞭である。そこで、輝度値の変化が大きい領域の画素毎の画素データを評価し、所定のしきい値以上の輝度を有する画素を選択して、この画素の閉じた列を連ねることにより、視神経乳頭領域６の輪郭を決定することができる。この輪郭の決定は、動的輪郭抽出法を適用することによって、精度良く行うことができる。 Next, in step s4, the image analysis apparatus extracts an outline of the optic disc region 6 for each stereo image using the region identification unit. In the stereo images 2 and 4, the nipple margin 12 of the optic disc region 6 has a higher luminance value calculated based on the R, G, and B values than the retinal region 8. Further, in the portion where the optic disc region 6 and the retina region 8 are adjacent to each other, the amount of change in luminance value is large, and the boundary (hereinafter also referred to as an edge) is clear. Therefore, the pixel data for each pixel in the region where the change in the luminance value is large is evaluated, the pixel having the luminance equal to or higher than the predetermined threshold is selected, and the closed column of the pixels is connected to connect the optic disc region 6. Can be determined. The contour can be determined with high accuracy by applying the dynamic contour extraction method.
領域識別手段が、動的輪郭抽出法によって視神経乳頭領域６の輪郭を抽出する方法を、更に詳細に説明する。まず前処理として、ステレオ画像２，４の中に撮影されている複数の血管１０を、一旦画像から消去する処理を行う。これは、輝度値の変化量即ちエッジ強度が高くなる血管１０と網膜領域８の境界が、誤って視神経乳頭領域６の境界であると誤抽出されることを避けるための処理である。この処理は、血管１０の画素値が周囲の網膜領域８の画素値よりも輝度の低いことを利用し、周囲よりも輝度の低い画素値を持つ画素を、周囲の画素値で塗りつぶすというモルフォロジ演算に基づく処理を適用することにより実行することができる。 A method in which the region identifying means extracts the contour of the optic disc region 6 by the dynamic contour extraction method will be described in more detail. First, as preprocessing, a process of once deleting a plurality of blood vessels 10 photographed in the stereo images 2 and 4 from the image is performed. This is a process for avoiding erroneous extraction of the boundary between the blood vessel 10 and the retina region 8 where the amount of change in luminance value, that is, the edge strength is high, as the boundary between the optic disc region 6 by mistake. This processing uses the fact that the pixel value of the blood vessel 10 is lower in luminance than the pixel value of the surrounding retinal region 8, and a morphological operation in which pixels having a pixel value lower than the surrounding are filled with the surrounding pixel values. It can be executed by applying a process based on.
領域識別手段が、血管１０の画素値が網膜領域８の画素値で置き換えられたステレオ画像２，４から視神経乳頭領域６の輪郭を抽出するために行う次の処理は、大まかな視神経乳頭領域６の輪郭の初期値を定めるために、複数の画像上の制御点で構成される初期輪郭を定義する処理である。ここで初期輪郭を構成する制御点は、以下の処理によって決定することができる。即ち、ステレオ画像２，４の画素値のヒストグラムを作成し、ステレオ画像２，４に対して所定の輝度値をしきい値とするしきい値処理を施し、しきい値処理によって２値化された領域のうち視神経乳頭領域６に相当する領域の中心点を求め、中心点から所定の距離にある円上に等間隔で配置されるように決定する。 The next processing performed by the region identifying means to extract the contour of the optic nerve head region 6 from the stereo images 2 and 4 in which the pixel values of the blood vessels 10 are replaced with the pixel values of the retinal region 8 is as follows. This is a process for defining an initial contour composed of control points on a plurality of images in order to determine an initial value of the contour. Here, the control points constituting the initial contour can be determined by the following processing. That is, a histogram of the pixel values of the stereo images 2 and 4 is created, threshold processing is performed on the stereo images 2 and 4 with a predetermined luminance value as a threshold value, and binarization is performed by the threshold processing. The center point of the area corresponding to the optic nerve head area 6 is obtained, and determined so as to be arranged at equal intervals on a circle at a predetermined distance from the center point.
最初の制御点によって視神経乳頭領域６の初期輪郭を定義すると、領域識別手段は、制御点の周囲のエッジ強度の値と、制御点間の距離と、制御点間の傾きを項とし、各項にステレオ画像のエッジ強度の特性を考慮した重み付けがなされている条件式を適用して、この条件式の値を最小化する制御点の最適な位置を求めるための演算を行う。制御点の位置は、繰り返し演算を行う間に移動しつつ収束し、最終的な制御点の配置が輪郭抽出結果となる。こうして決定された視神経乳頭領域６の輪郭を適用し、視神経乳頭領域６を白色で示し、視神経乳頭領域６以外の網膜領域８と血管１０を黒色で示した眼底のステレオ画像を、図４に示す。 When the initial contour of the optic papilla region 6 is defined by the first control point, the region identification means uses the value of the edge strength around the control point, the distance between the control points, and the slope between the control points as terms, and each term Then, a conditional expression that is weighted in consideration of the edge intensity characteristics of the stereo image is applied to perform an operation for obtaining an optimal position of the control point that minimizes the value of the conditional expression. The position of the control point converges while moving while repeatedly performing the calculation, and the final control point arrangement becomes the contour extraction result. FIG. 4 shows a stereo image of the fundus in which the contour of the optic disc region 6 determined in this way is applied, the optic disc region 6 is shown in white, and the retinal region 8 and blood vessels 10 other than the optic disc region 6 are shown in black. .
次に画像解析装置は、ステップｓ６において、画像補正手段を用いて、ステレオ画像２，４の網膜領域８と血管１０の画素データを解析し、ステレオ画像２，４全体の位置合わせを行う。図２の左画像２と右画像４の比較から明らかであるように、ステレオ画像には視神経乳頭領域６の位置と形状が画像毎に大きく異なるように撮影される一方で、網膜領域８と網膜上の血管１０は、ほぼ同じ位置に撮影される。画像解析装置の画像補正手段は、網膜領域８と血管１０の画素データを解析することで、非常に精度高く位置あわせの補正を進めることができる。 Next, in step s6, the image analysis apparatus analyzes the pixel data of the retinal region 8 and the blood vessel 10 of the stereo images 2 and 4 by using the image correction unit, and aligns the stereo images 2 and 4 as a whole. As is clear from the comparison between the left image 2 and the right image 4 in FIG. 2, the stereo image is photographed so that the position and shape of the optic nerve head region 6 are greatly different for each image, while the retinal region 8 and the retina The upper blood vessel 10 is photographed at substantially the same position. The image correction means of the image analysis apparatus can advance the alignment correction with extremely high accuracy by analyzing the pixel data of the retinal region 8 and the blood vessel 10.
画像補正手段は、左画像２に対して右画像４を垂直方向に一画素ずつ十数画素の範囲で平行移動して重ね合わせ、網膜領域８と血管１０における２枚の画像間の画素値の相互相関特徴量を計算する。同様に、水平方向に一画素ずつ十数画素の範囲で平行移動して重ね合わせ、網膜領域８と血管１０における２枚の画像間の画素値の相互相関特徴量を計算する。ここで、相互相関特徴量は、ＲＧＢ値やＲＧＢ値に基づいて算出される輝度、彩度、明度などの色情報、若しくはエッジ強度を用いた相互相関関数を計算することで求められる。相互相関特徴量が、所定の基準値よりも高い値をとるとき、２枚のステレオ画像の位置あわせの補正が達成できたとみなすことができる。画像補正手段は、位置あわせの補正が達成されたときの水平方向と垂直方向の移動量を補正値として平行移動させる。 The image correcting means translates and superimposes the right image 4 on the left image 2 in the vertical direction within a range of dozens of pixels one pixel at a time, and calculates the pixel value between the two images in the retinal region 8 and the blood vessel 10. Calculate cross-correlation features. Similarly, the cross-correlation feature amount of the pixel value between the two images in the retinal region 8 and the blood vessel 10 is calculated by translating and overlapping each other in the horizontal direction within a range of dozens of pixels one by one. Here, the cross-correlation feature amount is obtained by calculating a cross-correlation function using the RGB value, color information such as luminance, saturation, and lightness calculated based on the RGB value, or edge strength. When the cross-correlation feature value is higher than a predetermined reference value, it can be considered that the correction of the alignment of the two stereo images has been achieved. The image correction means translates the movement amount in the horizontal direction and the vertical direction when the alignment correction is achieved as a correction value.
画像補正手段は、画像の平行移動によって得られた相互相関特徴量を評価した上で、より好ましい位置あわせが必要であると判断される場合には、ステレオ画像の右画像４を所定の倍率で水平方向に拡大又は縮小した後に平行移動を行って、左画像２との相互相関特徴量を計算することもできる。一方の画像に横方向の拡大又は縮小を行うことで、相互相関特徴量の高い値を得ることができる場合があるからである。右画像４の拡大縮小率は、領域識別手段によって識別された視神経乳頭領域６の大きさを指標することができる。画像補正手段は、右画像４を横方向に拡大する場合には、画像を構成する画素の水平方向の列の間に所定の間隔で新たな画素の列を挿入し、挿入された新たな画素の列に対して、隣り合う既存の画素値を線形補間して定義する。又、右画像４を縮小する場合には、所定の間隔で水平方向の画素の列を削除する。 The image correcting means evaluates the cross-correlation feature obtained by the parallel movement of the image, and if it is determined that more preferable alignment is necessary, the right image 4 of the stereo image is multiplied by a predetermined magnification. It is also possible to calculate the cross-correlation feature quantity with the left image 2 by performing parallel movement after enlarging or reducing in the horizontal direction. This is because it is sometimes possible to obtain a high value of the cross-correlation feature amount by enlarging or reducing one image in the horizontal direction. The enlargement / reduction ratio of the right image 4 can indicate the size of the optic disc region 6 identified by the region identifying means. When enlarging the right image 4 in the horizontal direction, the image correction means inserts a new pixel column at a predetermined interval between the horizontal columns of pixels constituting the image, and the inserted new pixel Next, existing pixel values adjacent to each other are defined by linear interpolation. When the right image 4 is reduced, the horizontal pixel columns are deleted at predetermined intervals.
このように、本実施形態の画像補正手段は、ステレオ画像２，４の網膜領域８と血管１０の画素値を用いて、２枚の画像間の画素値の相互相関特徴量を計算し、画像の位置あわせを実施することができる。ステレオ画像２，４に占める網膜領域８と血管１０の範囲は、約２分の１から約３分の２であるため、画像全体を解析して補正を行う従来の場合と比較すると、非常に効率よく解析が進められる。図５に、位置あわせの補正が行われた右画像１６を示す。 As described above, the image correction unit of the present embodiment calculates the cross-correlation feature amount of the pixel value between the two images using the pixel values of the retinal region 8 and the blood vessel 10 of the stereo images 2 and 4, and the image Can be aligned. Since the range of the retinal region 8 and the blood vessel 10 occupying the stereo images 2 and 4 is about one-half to about two-thirds, compared to the conventional case where the entire image is analyzed and corrected, Analysis can proceed efficiently. FIG. 5 shows the right image 16 on which the alignment correction has been performed.
本実施形態で使用した相互相関関数によって計算される相互相関特徴量は、２枚のステレオ画像２，４の間で輝度が線形変換されているような場合であっても値の変化がないため、照明条件の違いなどに由来してコントラストが異なるような画像であっても位置あわせの補正が可能となる。 The cross-correlation feature amount calculated by the cross-correlation function used in the present embodiment does not change even when the luminance is linearly converted between the two stereo images 2 and 4. Even if the images have different contrasts due to differences in illumination conditions, the alignment can be corrected.
次に、画像解析装置は、ステップｓ８において、対応点決定手段によって、位置合わせされたステレオ画像２，１６の各々の視神経乳頭領域６の画素データを解析して、視神経乳頭領域６の中の同一箇所を撮影している対応点を抽出し、決定する。対応点決定手段は、左画像２の視神経乳頭領域６の全域に亘って基準点１８を設定し、右画像４の中の基準点１８に対応する点を検索する。図６（ａ）に、視神経乳頭領域６に設定された基準点の一例を示す。 Next, in step s8, the image analysis apparatus analyzes the pixel data of each optic papilla region 6 of the stereo images 2 and 16 that have been aligned by the corresponding point determination unit, and the same in the optic papilla region 6 is analyzed. Extract and determine the corresponding points shooting the location. Corresponding point determination means sets a reference point 18 over the entire optic disc region 6 of the left image 2 and searches for a point corresponding to the reference point 18 in the right image 4. FIG. 6A shows an example of reference points set in the optic disc region 6.
対応点決定手段は、基準点１８に対応する点を検索するために、左画像２の中の基準点１８を中心として、一辺が数十画素の矩形領域を関心領域１９として設定する。次に、図６（ｂ）に示すように、右画像１６の視神経乳頭領域６の中に、左画像２の関心領域１９の近辺に同じ大きさの対応領域２０を設定する。そして、対応領域２０と関心領域１９の画素値との画素値のパターンの類似度を評価する。最初に設定した対応領域２０の画素値のパターンが、関心領域１９の画素値のパターンと充分に類似していない場合には、対応領域２０を画像１６上で移動させて、再度類似度を評価する。そして、関心領域１９と充分に類似する画素値のパターンを有する対応領域２０を検索し、対応領域２０の中心を対応点２１として決定する。対応点決定手段は、最小２乗マッチングの手法を用いて関心領域１９の画素値と対応領域２０の画素値の相互相関特徴量を計算して類似度を評価することができ、ステレオ画像間で色調の線形変化がある場合にも、妥当なマッチングが可能である。 In order to search for a point corresponding to the reference point 18, the corresponding point determination unit sets a rectangular region having a side of several tens of pixels as the region of interest 19 around the reference point 18 in the left image 2. Next, as shown in FIG. 6B, a corresponding region 20 having the same size is set in the vicinity of the region of interest 19 of the left image 2 in the optic disc region 6 of the right image 16. Then, the similarity of the pixel value pattern between the corresponding region 20 and the pixel value of the region of interest 19 is evaluated. When the pixel value pattern of the corresponding region 20 set first is not sufficiently similar to the pixel value pattern of the region of interest 19, the corresponding region 20 is moved on the image 16 and the similarity is evaluated again. To do. Then, the corresponding area 20 having a pixel value pattern sufficiently similar to the area of interest 19 is searched, and the center of the corresponding area 20 is determined as the corresponding point 21. The corresponding point determining means can calculate the cross-correlation feature amount between the pixel value of the region of interest 19 and the pixel value of the corresponding region 20 by using a least square matching method, and can evaluate the similarity between stereo images. Reasonable matching is possible even when there is a linear change in color tone.
対応点決定手段は、ステップｓ１０において画像１６上で対応領域２０を移動させて、関心領域１９と対応領域２０の画素値の相互相関特徴量を評価する。しかし、このような移動によっても、相互相関特徴量が充分に大きな対応領域２０が得られない場合には、処理はステップｓ１２に進み、右画像１６の視神経乳頭６の領域の補正を更に行う。対応点決定手段は、右画像１６の視神経乳頭６の横方向の拡大若しくは縮小を行った後に、再度関心領域１９と類似する画素データのパターンを有する対応領域２０を検索する。視神経乳頭領域６の画像には、横方向の歪みが生じることがある。このような歪みに対応するために、対応点決定手段は、右画像１６の視神経乳頭領域６の横方向の拡大又は縮小を行うことにより、より精度高く対応点を決定することができる。視神経乳頭領域６を横方向に拡大する場合には、画像を構成する画素の水平方向の列の間に所定の間隔で新たな画素の列を挿入し、挿入された新たな画素の列に対して、隣り合う既存の画素値を線形補間して定義する。又、視神経乳頭領域６を縮小する場合には、所定の間隔で水平方向の画素の列を削除する。 The corresponding point determining means moves the corresponding region 20 on the image 16 in step s10, and evaluates the cross-correlation feature amount of the pixel values of the region of interest 19 and the corresponding region 20. However, if the corresponding region 20 having a sufficiently large cross-correlation feature amount cannot be obtained even by such movement, the process proceeds to step s12, and the region of the optic nerve head 6 in the right image 16 is further corrected. The corresponding point determining means searches the corresponding region 20 having a pixel data pattern similar to the region of interest 19 again after performing the horizontal enlargement or reduction of the optic nerve head 6 of the right image 16. In the image of the optic nerve head region 6, lateral distortion may occur. In order to deal with such a distortion, the corresponding point determination means can determine the corresponding point with higher accuracy by performing enlargement or reduction in the lateral direction of the optic papilla region 6 of the right image 16. When the optic disc region 6 is expanded in the horizontal direction, a new pixel row is inserted at a predetermined interval between the horizontal columns of the pixels constituting the image, and the new pixel row is inserted. Thus, adjacent existing pixel values are defined by linear interpolation. When the optic disc area 6 is reduced, horizontal pixel rows are deleted at predetermined intervals.
このように、対応点決定手段は、必要に応じて右画像１６の視神経乳頭領域６の補正を行って、左画像２に設定した基準点１８の関心領域１９について、右画像１６から相互相関特徴量が充分に高い対応領域２０を検索し、対応点２１を決定する（ステップｓ１４）。対応点決定手段は、視神経乳頭領域６の全域に亘って左画像２の基準点１８と右画像１６の対応点２１の組を決定して記憶する。 In this way, the corresponding point determination means corrects the optic disc region 6 of the right image 16 as necessary, and the cross-correlation feature from the right image 16 for the region of interest 19 of the reference point 18 set in the left image 2. The corresponding area 20 having a sufficiently high amount is searched to determine the corresponding point 21 (step s14). The corresponding point determining means determines and stores a set of the reference point 18 of the left image 2 and the corresponding point 21 of the right image 16 over the entire optic disc region 6.
次に画像解析装置は、ステップｓ１６において、奥行き情報決定手段を用いて、記憶された基準点と対応点の組の各画像における位置情報から、視神経乳頭の奥行き情報を計算する。奥行き情報の計算には、三角測量法の原理を適用した計測方法が最も一般的に適用される。 Next, in step s16, the image analysis apparatus calculates depth information of the optic nerve head from position information in each image of the set of reference points and corresponding points stored using the depth information determination means. For the calculation of depth information, the measurement method applying the principle of triangulation is most commonly applied.
図７に、奥行き情報決定手段によって計算された奥行き情報に基づいて、画像解析装置が構築した視神経乳頭領域６の３次元画像の出力例を示す。図７の３次元画像では、視神経乳頭領域６の周囲の網膜領域８と血管１０の画像に左画像２の画像を適用している。網膜領域８と血管１０では、対応点の抽出と奥行き情報の計算を行っていないために、正確な視神経乳頭領域６の形状を含む眼底画像の出力が非常に迅速に行われる。又、網膜領域８の表示においては、従来対応点が正確に行われないことに由来して、実際には凹凸がないなめらかな平面であっても、凹凸が大きな構造が表示されることがあったが、一方の画像を適用して効率よくなめらかな表示を行うことが可能となっている。 FIG. 7 shows an output example of a three-dimensional image of the optic nerve head region 6 constructed by the image analysis device based on the depth information calculated by the depth information determination means. In the three-dimensional image of FIG. 7, the image of the left image 2 is applied to the images of the retinal region 8 and the blood vessel 10 around the optic disc region 6. In the retinal region 8 and the blood vessel 10, since the corresponding points are not extracted and the depth information is not calculated, the fundus image including the accurate shape of the optic disc region 6 is output very quickly. Also, in the display of the retinal region 8, a structure with large unevenness may be displayed even if it is a smooth flat surface that does not actually have unevenness due to the fact that corresponding points are not accurately performed in the past. However, it is possible to display one image efficiently and smoothly.
このように、本実施形態の画像解析装置によれば、眼底を撮影したステレオ画像２，４の画素データを解析することにより、乳頭視神経領域６の３次元形状を正確に、しかも効率よく迅速に再現可能な３次元情報を得ることができる。また、本実施形態の画像解析装置は、解析するステレオ画像２，４に照明条件などに起因する画素値の変化が存在する場合であっても、視神経乳頭領域６の３次元形状を正確に解析することができる。 As described above, according to the image analysis apparatus of the present embodiment, by analyzing the pixel data of the stereo images 2 and 4 obtained by photographing the fundus, the three-dimensional shape of the papillary optic nerve region 6 can be accurately and efficiently quickly. Reproducible three-dimensional information can be obtained. In addition, the image analysis apparatus according to the present embodiment accurately analyzes the three-dimensional shape of the optic nerve head region 6 even when the stereo images 2 and 4 to be analyzed have a change in pixel value due to illumination conditions or the like. can do.
更に、ステレオ画像の位置合わせを行う場合には、画像の平行移動と拡大縮小に加えて、画像全体の回転あるいは変形処理を行うことにより、充分な水準の相互相関特徴量を得ることもできる。また、３枚以上のステレオ画像を用いて、３次元形状を示す情報をより正確に信頼性高く求めることも可能である。 Furthermore, when aligning stereo images, a sufficient level of cross-correlation feature can be obtained by rotating or transforming the entire image in addition to parallel movement and enlargement / reduction of the image. It is also possible to obtain information indicating a three-dimensional shape more accurately and reliably using three or more stereo images.
以上、実施形態において本発明の一実施形態を詳細に説明したが、これは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、本実施形態における画像解析装置は、同一の工程をコンピュータに実行させることのできる画像解析プログラムに置き換えることが可能である。また、本実施形態の画像解析装置のそれぞれの手段は、それぞれモジュール化されてコンピュータに接続される外部装置として構成することができる。更に、画像解析装置の領域識別手段と、画像補正手段と、対応点決定手段と、奥行き情報決定手段が採用している画像解析の幾何学的な手法は、画像の内容と測定対象物の特性等に合わせて、適宜選択と変更が可能である。 As mentioned above, although one Embodiment of this invention was described in detail in embodiment, this is only an illustration and does not limit a claim. The technology described in the claims includes various modifications and changes of the specific examples illustrated above. For example, the image analysis apparatus in the present embodiment can be replaced with an image analysis program that can cause a computer to execute the same process. In addition, each unit of the image analysis apparatus according to the present embodiment can be configured as an external apparatus that is modularized and connected to a computer. Furthermore, the geometrical method of image analysis employed by the area identification unit, image correction unit, corresponding point determination unit, and depth information determination unit of the image analysis apparatus is the characteristics of the image content and the measurement object. It is possible to appropriately select and change according to the above.
２ 左画像
４，１６ 右画像
６ 視神経乳頭領域
８ 網膜領域
１０ 血管
１２ 乳頭辺縁部
１４ 陥凹部
１８ 基準点
１９ 関心領域
２０ 対応領域
２１ 対応点
２２，２４ 撮影位置
２６，２８ 画像
2 Left image 4,16 Right image 6 Optic nerve head region 8 Retina region 10 Blood vessel 12 Papillary margin 14 Depression recess 18 Reference point 19 Region of interest 20 Corresponding region 21 Corresponding point
22, 24 Shooting position 26, 28 images
Claims (4)
前記ステレオ画像の画素データを入力する画像入力手段と、
前記ステレオ画像毎に視神経乳頭の領域と視神経乳頭以外の領域とを識別する領域識別手段と、
前記ステレオ画像の視神経乳頭以外の領域の画素データを解析して、視神経乳頭の領域を含む画像全体の位置合わせを行う画像補正手段と、
前記画像補正手段によって位置合わせをされたステレオ画像の視神経乳頭の領域の画素データを解析して、視神経乳頭の中の同一箇所を撮影している対応点を決定する対応点決定手段と、
前記対応点決定手段によって決定された対応点の各画像における位置情報から、視神経乳頭の奥行き情報を計算する奥行き情報決定手段とを含んでいることを特徴とする画像解析装置。 An image analysis device that analyzes a three-dimensional shape of an optic disc from a stereo image obtained by photographing a fundus of a subject,
Image input means for inputting pixel data of the stereo image;
An area identifying means for identifying an area of the optic disc and an area other than the optic disc for each stereo image;
Image correction means for analyzing pixel data of an area other than the optic disc of the stereo image and aligning the entire image including the optic disc area;
Analyzing pixel data of the region of the optic nerve head of the stereo image aligned by the image correcting means, corresponding point determining means for determining corresponding points photographing the same portion in the optic nerve head,
An image analysis apparatus comprising: depth information determining means for calculating depth information of the optic disc from position information of each corresponding point determined by the corresponding point determining means in each image.
他の画像の視神経乳頭の領域に、関心領域と充分に類似する画素データの配列が得られない場合には、他の画像の視神経乳頭の領域の横方向の拡大若しくは縮小を行って、前記関心領域の画素データに最も類似する画素データの配列を有する領域を検索し、
検索の結果に基づいて基準とする画像と他の画像の対応点を決定することを特徴とする請求項１又は２に記載の画像解析装置。 Corresponding point determination means sets a reference point in the optic disc area of the reference image, sets a region of interest in a specific range around the reference point, and from the optic disc area of other images, Search for a region having an array of pixel data that is most similar to the pixel data of the region of interest;
When an array of pixel data sufficiently similar to the region of interest cannot be obtained in the optic disc region of another image, the optic disc region of the other image is laterally enlarged or reduced to perform the above-mentioned interest. Search for an area having an array of pixel data that is most similar to the pixel data of the area;
The image analysis apparatus according to claim 1, wherein a corresponding point between the reference image and another image is determined based on a search result.
前記ステレオ画像毎に視神経乳頭の領域と視神経乳頭以外の領域の各画素データを識別し、
前記ステレオ画像の視神経乳頭以外の領域の画素データを解析して、視神経乳頭の領域を含む画像全体の位置合わせを行い、
前記位置合わせされたステレオ画像の視神経乳頭の領域の画素データを解析して、視神経乳頭の中の同一箇所を撮影している対応点を決定し、
前記対応点の各画像における位置情報から、視神経乳頭の奥行き情報を計算する処理をコンピュータに実行させるための画像解析プログラム。 An image analysis program for analyzing the three-dimensional shape of the optic nerve head from pixel data of a stereo image obtained by photographing the fundus of the subject,
Identify each pixel data of the area of the optic nerve head and the area other than the optic nerve head for each stereo image,
Analyzing the pixel data of the region other than the optic disc of the stereo image, and performing alignment of the entire image including the region of the optic disc,
Analyzing the pixel data of the region of the optic nerve head of the aligned stereo image to determine the corresponding point photographing the same location in the optic nerve head,
An image analysis program for causing a computer to execute processing for calculating depth information of the optic nerve head from position information in each image of the corresponding points.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006082323A JP5278984B2 (en) | 2006-03-24 | 2006-03-24 | Image analysis apparatus and image analysis program |
| PCT/JP2006/318912 WO2007110982A1 (en) | 2006-03-24 | 2006-09-25 | Image analyzer and program for stereo eye fundus image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006082323A JP5278984B2 (en) | 2006-03-24 | 2006-03-24 | Image analysis apparatus and image analysis program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007252707A true JP2007252707A (en) | 2007-10-04 |
| JP5278984B2 JP5278984B2 (en) | 2013-09-04 |
Family
ID=38540921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006082323A Expired - Fee Related JP5278984B2 (en) | 2006-03-24 | 2006-03-24 | Image analysis apparatus and image analysis program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5278984B2 (en) |
| WO (1) | WO2007110982A1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009213519A (en) * | 2008-03-07 | 2009-09-24 | Kowa Co | Image processing method and image processing apparatus |
| EP2420182A1 (en) * | 2009-04-15 | 2012-02-22 | Kowa Company, Ltd. | Image processing method and image processing apparatus |
| US8752961B2 (en) | 2009-05-22 | 2014-06-17 | Canon Kabushiki Kaisha | Fundus photographing apparatus |
| JP2017118919A (en) * | 2015-12-28 | 2017-07-06 | キヤノン株式会社 | Image forming apparatus, image forming method and program therefor |
| US10765316B2 (en) | 2017-06-27 | 2020-09-08 | Topcon Corporation | Ophthalmic information processing system, ophthalmic information processing method, and recording medium |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5278984B2 (en) * | 2006-03-24 | 2013-09-04 | 興和株式会社 | Image analysis apparatus and image analysis program |
| JP4915737B2 (en) * | 2007-03-13 | 2012-04-11 | 興和株式会社 | Image analysis system and image analysis program |
| US11950969B2 (en) | 2021-02-22 | 2024-04-09 | Alcon Inc. | Tracking of retinal traction through digital image correlation |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04166708A (en) * | 1990-10-31 | 1992-06-12 | Canon Inc | Image processing apparatus |
| JP2000126134A (en) * | 1998-10-29 | 2000-05-09 | Nidek Co Ltd | Fundus oculi measuring device, and recording medium on which fundus oculi measurement program is recorded |
| JP2000245700A (en) * | 1999-03-01 | 2000-09-12 | Nidek Co Ltd | Instrument for measuring eyeground and recording medium for recording measurement program |
| JP2003024279A (en) * | 2001-07-18 | 2003-01-28 | Kowa Co | Eyeground image acquisition display device |
| JP2006271739A (en) * | 2005-03-29 | 2006-10-12 | Nidek Co Ltd | Three-dimensional fundus image-processing method and apparatus |
| WO2007110982A1 (en) * | 2006-03-24 | 2007-10-04 | Tak Co., Ltd. | Image analyzer and program for stereo eye fundus image |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04276232A (en) * | 1991-03-04 | 1992-10-01 | Canon Inc | Image processing method and system therefor |
-
2006
- 2006-03-24 JP JP2006082323A patent/JP5278984B2/en not_active Expired - Fee Related
- 2006-09-25 WO PCT/JP2006/318912 patent/WO2007110982A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04166708A (en) * | 1990-10-31 | 1992-06-12 | Canon Inc | Image processing apparatus |
| JP2000126134A (en) * | 1998-10-29 | 2000-05-09 | Nidek Co Ltd | Fundus oculi measuring device, and recording medium on which fundus oculi measurement program is recorded |
| JP2000245700A (en) * | 1999-03-01 | 2000-09-12 | Nidek Co Ltd | Instrument for measuring eyeground and recording medium for recording measurement program |
| JP2003024279A (en) * | 2001-07-18 | 2003-01-28 | Kowa Co | Eyeground image acquisition display device |
| JP2006271739A (en) * | 2005-03-29 | 2006-10-12 | Nidek Co Ltd | Three-dimensional fundus image-processing method and apparatus |
| WO2007110982A1 (en) * | 2006-03-24 | 2007-10-04 | Tak Co., Ltd. | Image analyzer and program for stereo eye fundus image |
Non-Patent Citations (2)
| Title |
|---|
| JPN6012015092; ＳＣＨＷＡＲＴＺ Ｂ （Ｎｅｗ Ｅｎｇｌａｎｄ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ）: 'Ｃｈａｎｇｅｓ ｉｎ ｏｐｔｉｃ ｄｉｓｃ ｉｎ ｏｃｕｌａｒ ｈｙｐｅｒｔｅｎｓｉｏｎ ａｎｄ ｇｌａｕｃｏｍａ．' Ｊｐｎ Ｊ Ｏｐｈｔｈａｌｍｏｌ Ｖｏｌ．３０， Ｎｏ．２, 1986, Ｐａｇｅ．１４３-１５３ * |
| JPN6012028258; ＳＣＨＷＡＲＴＺ Ｂ （Ｎｅｗ Ｅｎｇｌａｎｄ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ）: 'Ｃｈａｎｇｅｓ ｉｎ ｏｐ ｔｉｃ ｄｉｓｃ ｉｎ ｏｃｕｌａｒ ｈｙｐｅｒｔｅｎｓｉｏｎ ａｎｄ ｇｌａｕｃｏｍａ' Ｊｐｎ Ｊ Ｏｐｈｔｈａｌｍｏｌ Ｖｏｌ．３０， Ｎｏ．２, 1986, Ｐａｇｅ．１４３-１５３ * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009213519A (en) * | 2008-03-07 | 2009-09-24 | Kowa Co | Image processing method and image processing apparatus |
| EP2420182A1 (en) * | 2009-04-15 | 2012-02-22 | Kowa Company, Ltd. | Image processing method and image processing apparatus |
| EP2420182A4 (en) * | 2009-04-15 | 2013-02-27 | Kowa Co | Image processing method and image processing apparatus |
| US8752961B2 (en) | 2009-05-22 | 2014-06-17 | Canon Kabushiki Kaisha | Fundus photographing apparatus |
| JP2017118919A (en) * | 2015-12-28 | 2017-07-06 | キヤノン株式会社 | Image forming apparatus, image forming method and program therefor |
| US10765316B2 (en) | 2017-06-27 | 2020-09-08 | Topcon Corporation | Ophthalmic information processing system, ophthalmic information processing method, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5278984B2 (en) | 2013-09-04 |
| WO2007110982A1 (en) | 2007-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5278984B2 (en) | Image analysis apparatus and image analysis program | |
| US6714672B1 (en) | Automated stereo fundus evaluation | |
| EP2188779B1 (en) | Extraction method of tongue region using graph-based approach and geometric properties | |
| KR0158038B1 (en) | Apparatus for identifying person | |
| EP2888718B1 (en) | Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation | |
| US8855386B2 (en) | Registration method for multispectral retinal images | |
| US20110103655A1 (en) | Fundus information processing apparatus and fundus information processing method | |
| EP2402907B1 (en) | Information processing apparatus, three-dimensional position calculation method, and program | |
| US20140049750A1 (en) | Eye position registering and tracking | |
| US6698885B2 (en) | Judging changes in images of the eye | |
| JP4915737B2 (en) | Image analysis system and image analysis program | |
| Aquino | Establishing the macular grading grid by means of fovea centre detection using anatomical-based and visual-based features | |
| EP2772185A1 (en) | Image processing apparatus and image processing method | |
| US20070188705A1 (en) | Ocular fundus portion analyzer and ocular fundus portion analyzing method | |
| CN102670168A (en) | Ophthalmologic apparatus and control method of same | |
| Joshi et al. | Vessel bend-based cup segmentation in retinal images | |
| JP5583980B2 (en) | Image processing method and image processing apparatus | |
| JP2008022928A (en) | Image analysis apparatus and image analysis program | |
| JP6207225B2 (en) | Image processing apparatus and image processing method | |
| KR101700887B1 (en) | Device and method for counting cells using image processing and computer-readable recording medium storing program to implement the method | |
| CN112164043A (en) | Method and system for splicing multiple fundus images | |
| US10573007B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2007068928A (en) | Eyeball surface analyzing system | |
| US11562505B2 (en) | System and method for representing and displaying color accuracy in pattern matching by a vision system | |
| JP5636550B2 (en) | Lens image analyzer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080222 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080222 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080229 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090121 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20091013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
| AA92 | Notification that decision to refuse application was cancelled |
Free format text: JAPANESE INTERMEDIATE CODE: A971092 Effective date: 20120515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120725 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130516 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5278984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |