CN117372284B - 眼底图像处理方法及系统 - Google Patents
眼底图像处理方法及系统 Download PDFInfo
- Publication number
- CN117372284B CN117372284B CN202311638456.6A CN202311638456A CN117372284B CN 117372284 B CN117372284 B CN 117372284B CN 202311638456 A CN202311638456 A CN 202311638456A CN 117372284 B CN117372284 B CN 117372284B
- Authority
- CN
- China
- Prior art keywords
- image
- fundus
- processed
- processed image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013136 deep learning model Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 210000004204 blood vessel Anatomy 0.000 description 31
- 210000001525 retina Anatomy 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 210000003462 vein Anatomy 0.000 description 6
- 210000001367 artery Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 208000032843 Hemorrhage Diseases 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000001927 retinal artery Anatomy 0.000 description 3
- 230000004256 retinal image Effects 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 208000022873 Ocular disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
本申请涉及医学图像处理技术领域；本申请提供一种眼底图像处理方法及系统，所述方法包括：首先获取彩色眼底图像的亮部信息以及暗部信息，以得到亮部图像以及暗部图像；再利用亮部图像减去暗部图像，再与彩色眼底图像的像素相加，得到第一处理图像；对第一处理图像执行模糊处理；在第一处理图像中获取高频信息；然后利用高频信息对模糊处理后的第一处理图像执行高频信息增强，以得到第二处理图像；最后利用目标检测和图像分割网络模型对第二处理图像去噪，以得到清晰眼底图像，目标检测和图像分割网络模型是根据眼底样本图像训练获得的深度学习模型，以解决利用其他图像处理方法使眼底图像清晰化存在低纹理、高噪声，并且无法实时去噪的问题。
Description
技术领域
本申请涉及医学图像处理技术领域，尤其涉及一种眼底图像处理方法及系统。
背景技术
眼底视网膜图像是用来帮助诊断眼部疾病，视网膜是人体中唯一可通过无创方式直接观测到血管和神经的部位。通过视网膜图像，可以判断患者是否患有眼疾，乃至全身性疾病的情况。清晰的视网膜图像可以将眼底结构清晰地展示出来，医生可以通过观察视网膜、视神经、血管等部位的形态、颜色、纹理等特征，判断病变的部位、程度和性质，从而进行精准诊断和治疗。
眼底视网膜图像的清晰化已经涉及多种方法，例如：图像增强、滤波、去噪、超分辨率、深度学习等。图像增强可通过对比度调整、直方图均衡化等方法突显细节。滤波技术如高通滤波可增强边缘，中值滤波和小波变换用于去噪。超分辨率技术可从低分辨率图像恢复细节。深度学习利用深度神经网络进行图像增强和超分辨率恢复。除此之外，还有物理模型和自适应方法来使眼底视网膜图像的更清晰化，物理模型利用光学成像原理，自适应方法根据图像特性调整处理。还可以根据图像特点、噪声水平和应用需求，常结合多种方法以达到清晰化目标。
但上述方法仍存在低纹理、高噪声的问题，并且上述方法运行时间较长，无法实现实时去噪。
发明内容
本申请提供一种眼底图像处理方法及系统，以解决利用图像增强、滤波、去噪、超分辨率、深度学习等方法使眼底视网膜图像清晰化仍存在低纹理、高噪声，并且运行时间较长，无法实现实时去噪的问题。
本申请第一方面提供一种眼底图像处理方法，包括：
获取彩色眼底图像的亮部信息以及暗部信息，以得到亮部图像以及暗部图像；
利用所述亮部图像减去所述暗部图像，再与所述彩色眼底图像的像素相加，得到第一处理图像；
对所述第一处理图像执行模糊处理；
在所述第一处理图像中获取高频信息；
利用所述高频信息对模糊处理后的所述第一处理图像执行高频信息增强，以得到第二处理图像；
利用目标检测和图像分割网络模型对所述第二处理图像去噪，以得到清晰眼底图像，所述目标检测和图像分割网络模型是根据眼底样本图像训练获得的深度学习模型。
可选的，所述方法还包括：
对所述彩色眼底图像执行灰色变换，以获得灰度眼底图像；
将所述彩色眼底图像减去所述灰度眼底图像的开运算，得到亮部图像；
将所述灰度眼底图像的闭运算减去所述彩色眼底图像，得到暗部图像。
可选的，利用所述高频信息计算模糊处理后的所述第一处理图像，以得到第二处理图像，包括：
利用下式计算所述高频信息增强后的图像：
；
其中，为彩色眼底图像，/>为模糊处理后的所述第一处理图像，/>为大于0且小于15的整数；
所述高频信息增强后的图像包括低频增强区域和高频区域；
利用所述低频增强区域的像素值与所述高频区域的像素值对应，以得到第二处理图像。
可选的，在所述第一处理图像中获取高频信息，还包括：
利用低通滤波器对所述第一处理图像执行滤波处理，以得到低频分量图像；
利用所述第一处理图像减去所述低频分量图像，以得到高频分量图像；
将所述高频分量图像与所述第一处理图像叠加，以得到锐化图像；
从所述锐化图像中提取高频信息。
可选的，利用目标检测和图像分割网络模型对所述第二处理图像去噪，以得到清晰眼底图像，包括：
将所述第二处理图像输入至目标检测和图像分割网络模型中；
利用卷积层提取所述第二处理图像的低级特征，以得到低级特征图；
使所述低级特征图经过N层递归残差组运算后得到深层特征；
将所述深层特征经过卷积层，输出残差图；
将所述残差图与所述第二处理图像叠加，得到清晰眼底图像。
可选的，每个所述卷积层包括多个滤波器，所述滤波器用于检测所述第二处理图像中不同的低级特征；所述方法还包括：
在所述第二处理图像上滑动所述滤波器；
将滤波器与所述第二处理图像区域相乘，并求和，以得到低级特征图。
可选的，所述方法还包括：
利用多尺度残差块对所述低级特征图执行下采样，以提取不同尺度的特征信息；
根据不同尺度的所述特征信息，得到下采样后的特征图。
可选的，所述方法还包括：
将不同尺度的所述特征信息根据预设条件分类，以将同一类的所述特征信息融合。
本申请第二方面提供一种眼底图像处理系统，用于执行第一方面所述的眼底图像处理方法，所述系统包括：获取模块、计算模块、增强模块、去噪模块，其中，所述获取模块用于获取彩色眼底图像的亮部信息以及暗部信息，以得到亮部图像以及暗部图像；
所述获取模块还用于在所述第一处理图像中获取高频信息；
所述计算模块用于利用所述亮部图像减去所述暗部图像，再与所述彩色眼底图像的像素相加，得到第一处理图像；
所述增强模块用于对所述第一处理图像执行模糊处理；以及用于利用所述高频信息对模糊处理后的所述第一处理图像执行高频信息增强，以得到第二处理图像；
所述去噪模块用于利用目标检测和图像分割网络模型对所述第二处理图像去噪，以得到清晰眼底图像，所述目标检测和图像分割网络模型是根据眼底样本图像训练获得的深度学习模型。
由以上技术方案可知，本申请提供一种眼底图像处理方法及系统，所述方法包括：首先获取彩色眼底图像的亮部信息以及暗部信息，以得到亮部图像以及暗部图像；再利用所述亮部图像减去所述暗部图像，再与所述彩色眼底图像的像素相加，得到第一处理图像；对所述第一处理图像执行模糊处理；在所述第一处理图像中获取高频信息；然后利用所述高频信息对模糊处理后的所述第一处理图像执行高频信息增强，以得到第二处理图像；最后利用目标检测和图像分割网络模型对所述第二处理图像去噪，以得到清晰眼底图像，所述目标检测和图像分割网络模型是根据眼底样本图像训练获得的深度学习模型，以解决利用图像增强、滤波、去噪、超分辨率、深度学习等方法使眼底视网膜图像清晰化仍存在低纹理、高噪声，并且无法实时去噪的问题。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为眼底图像处理方法流程示意图；
图2为一实施例示出的彩色眼底图像的示意图；
图3为一实施例示出的第一处理图像示意图；
图4为一实施例示出的第二处理图像示意图；
图5为一实施例示出的清晰眼底图像示意图；
图6为一实施例示出的对第二处理图像去噪的流程示意图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
为解决图像存在低纹理、高噪声的问题，还可以利用其他数字图像处理方法，例如，中值滤波，但中值滤波会造成图像细节信息丢失，无法提取到模糊图像中的多尺度信息，影响视觉质量。并且由于拍摄手法等原因，不同图像的参数也有所不同，选择合适的参数也成为每张图片变清晰过程中必不可少的步骤。还可以利用基于深度学习的数字图像处理方法，例如：GAN或扩散模型等，这类方法的盲去噪算法会破坏外源数据的空间信息，不适合用于医学图像变清晰。
参见图1，本申请部分实施例提供一种眼底图像处理方法，包括：
S100：获取彩色眼底图像的亮部信息以及暗部信息，以得到亮部图像以及暗部图像。
为获得亮部图像以及暗部图像，在一些实施例中，首先对彩色眼底图像执行灰色变换，以获得灰度眼底图像；再将彩色眼底图像减去灰度眼底图像的开运算，得到亮部图像；将灰度眼底图像的闭运算减去彩色眼底图像，得到暗部图像。
示例性的，在本实施例中将彩色眼底图像定义为A，参见图2，图2为一实施例示出的彩色眼底图像的示意图，灰度眼底图像定位为B，A减去A与B的开运算，利用下式得到亮部图像TT：
；
彩色眼底图像A减去原图像的灰度图像B的开运算，即将图像的每个像素值取相反数。对于彩色眼底图像，这会将彩色眼底图像转换为负片效果，对于开运算，首先会减小图像中较小的对象，例如，噪声，然后通过膨胀恢复原始大小。得到的亮部图像TT相对于彩色眼底图像A中的亮部区域更亮，而暗部区域更暗，即亮部图像TT主要呈现了彩色眼底图像的亮部信息。
再利用A与B的闭运算减去A，利用下式得到暗部图像TF：
；
彩色眼底图像A与灰度图像B的闭运算减去彩色眼底图像A。对于闭运算，首先会先对图像进行膨胀操作，这可能会导致一些小的孔洞被填充。然后，腐蚀操作会减小图像中的对象。得到的暗部图像TF相对于彩色眼底图像A中的孔洞被填充，而较小的明亮区域被去除，即暗部图像TF主要呈现了彩色眼底图像的暗部信息。
其中，亮部图像TT可用来提取图像的灰度峰值信息，灰度峰值信息即图像中像素灰度级别出现频率最高的值，灰度峰值信息用于表示图像的主要亮度分布。暗部图像TF可用来提取图像的灰度谷值信息，灰度谷值信息即图像中像素灰度级别出现频率最低的值，灰度谷值信息用于表示图像中较暗或较量部分的细节信息。灰度峰值信息减去灰度谷值信息可得到图像的对比度，对比度可以用来衡量图像的明暗程度。
S200：利用亮部图像减去暗部图像，再与彩色眼底图像的像素相加，得到第一处理图像。
参见图3，利用下式得到第一处理图像：
；
其中，根据上述可知亮部图像TT主要呈现了彩色眼底图像的亮部信息、暗部图像TF主要呈现了彩色眼底图像的暗部信息，而得到第一处理图像的步骤实际上是将彩色眼底图像中的亮部信息和暗部信息进行分离，然后将它们各自增强。具体来说，得到第一处理图像的过程会使亮部信息更亮，暗部信息更暗，从而更好地显示眼底图像的细节和对比度。可增强眼底图像的对比度和清晰度，以便更好地观察和分析眼底病变。
S300：对第一处理图像执行模糊处理。
将第一处理图像EA执行模糊处理，图像模糊又称为图像平滑，模糊处理为给第一处理图像降低噪音。在一些实施例中，模糊处理可使用高斯模糊、均值滤波、中值滤波、双边滤波中的一种或多种，以高斯模糊为例，将第一图像执行模糊处理后的图像定义为EA_G。
在对第一处理图像执行高斯模糊时，在Open cv跨平台计算机视觉和机器学习软件库下使用高斯模糊处理时，高斯滤波器模板的生成参数高斯分布的标准差，可根据不同的彩色眼底图像选择不同值的标准差，标准差越大，平滑效果越明显。
S400：在第一处理图像中获取高频信息。
为获取高频信息，在一些实施例中，首先利用低通滤波器对第一处理图像执行滤波处理，以得到低频分量图像；再利用第一处理图像减去低频分量图像，以得到高频分量图像；然后将高频分量图像与第一处理图像叠加，以得到锐化图像；从锐化图像中提取高频信息。
S500：利用高频信息对模糊处理后的第一处理图像执行高频信息增强，以得到第二处理图像。
利用下式计算高频信息增强后的图像：
；
其中，为彩色眼底图像，/>为模糊处理后的第一处理图像，/>为大于0且小于15的整数；
高频信息增强后的图像包括低频增强区域和高频区域；
利用低频增强区域的像素值与高频区域的像素值对应，以得到第二处理图像。
可以理解的是，参见图4，得到的第二处理图像为彩色图像，在利用高频信息增强后，与图3对比，图像中的血管更加清晰。
高频信息是眼底图像中的细节和边缘等变化频率比较高的部分。在眼底图像中，细节和边缘等变化频率比较高的部分指的是血管部分，尤其是血管的边缘末梢，需将图像锐化后以提高对比度后，才能便于观察。
S600：利用目标检测和图像分割网络模型对第二处理图像去噪，以得到清晰眼底图像。
其中，目标检测和图像分割网络模型是根据眼底样本图像训练获得的深度学习模型。
在本实施例中，目标检测和图像分割网络模型为MIRNET-V2网络模型，在对第二处理图像去噪前，需要对MIRNET-V2网络执行训练，以获得最终权重。
S610：参见图6，将第二处理图像输入至目标检测和图像分割网络模型中；利用卷积层提取第二处理图像的低级特征，以得到低级特征图。
每个卷积层包括多个滤波器，滤波器用于检测第二处理图像中不同的低级特征；在一些实施例中，还包括：在第二处理图像上滑动滤波器；将滤波器与第二处理图像区域相乘，并求和，以得到低级特征图。其中，在卷积操作中的最后一个卷积层获取低级特征图。
卷积层的每个神经元与输入层的一小部分神经元相连，并对这些神经元的输出进行加权和，再通过激活函数进行非线性转换。在MIRNET-V2网络的前馈传播过程中，输入信号会经过一系列的加权和和求导运算，然后传递给下一层神经元。但是，这种线性组合无法学习并处理复杂的非线性关系。因此，在神经元的输出端，引入激活函数，激活函数可以将神经元的输出映射到一个新的值，这个值可以更好地表示该神经元的状态。通过这种方式，可以利用激活函数引入非线性特性，使得神经网络可以更好地学习和处理复杂的非线性关系，非线性更接近事物性质本身。
其中，眼底图像中的低级特征包括：视盘、视杯、视网膜中央动脉、静脉、黄斑部、视网膜，医生根据眼底图像的低级特征诊断眼部疾病。
为提取眼底图像的视盘特征，在一些实施例中，首先建立深度学习模型，对清晰眼底图像中的视盘区域执行粗定位；再根据视盘区域的粗定位结果，提取包含视盘区域，除去眼周区域；最后通过活动轮廓模型Snake模型交互式分割视盘区域。示例性的，可以计算视盘区域的面积，以及检测视盘区域内有无线状出血部位，来为医生诊断提供更好的帮助。
为提取眼底图像的视杯特征，在一些实施例中，可利用C-means聚类方法在去除血管后的图像上，由模糊C均值小波变换提取视杯特征。在提取视盘特征以及视杯特征后，示例性的，还可以计算杯盘比，即视杯与视盘的比值，可将杯盘比的预设值设置为0.3-0.4，若超出预设值，可将此眼底图像的视盘特征定义为异常，若未超出预设值，则定义为正常。
为提取眼底图像的视网膜中央动脉特征，在一些实施例中，在提取包含视盘区域，除去眼周区域后，通过活动轮廓模型Snake模型交互式分割中央动脉，以得到视网膜中央动脉特征。
S620：使低级特征图经过N层递归残差组运算后得到深层特征。
其中，递归残差组(Recursive Residual Group RRG)包括多个多尺度残差块(Multi-scale Residual Block MRB)。
为提取图像中的不同尺度特征，可以应用池化操作或跳跃连接，将低级特征图下采样，以降低分辨率，从而提取不同尺度的信息。在一些实施例中，方法还包括：利用多尺度残差块对低级特征图执行下采样，以提取不同尺度的特征信息；根据不同尺度的特征信息，得到下采样后的特征图。
低级特征图的大小沿卷积流保持不变，而跨流方向，低级特征图的大小根据输入分辨率索引和输出分辨率索引变化，即下采样或上采样，还可以通过设置下采样的倍数来缩小图像的面积，即降低图像的分辨率。
其中，MRB中包括多个并行的卷积流，每个卷积流以不同尺度处理特征。卷积流内部进行特征提取和通道交换。不同尺度的流之间交换信息，允许高分辨率特征与丰富的低分辨率上下文融合。
在一些实施例中，方法还包括：将不同尺度的特征信息根据预设条件分类，以将同一类的特征信息融合。其中，预设信息可以为根据某一诊断疾病涉及的特征，将此类特征设置为同一类特征；或者还可以将预设信息设置为不影响诊断的特征，将此类特征信息融合后，可减少其对诊断的影响。
眼底图像中的深层特征包括：血管形态、微血管瘤、出血以及硬性渗出等。
其中，眼底图像中的血管形态可根据静脉与动脉的比例来判断是否出现异常，眼底图像中红色一条为眼底的血管，其中，定义为较粗的血管是静脉，较细的血管是动脉，正常情况下动脉静脉管径的比例为2:3。
在一些实施例中，在得到不同的深层特征后，首先对图像中的血管识别，在识别过程中，可利用颜色识别，在识别到血管后，计算血管的宽度后，比较血管的宽度，定义图像中的动脉血管和静脉血管，再计算动脉静脉管径的比例是否等于2:3，若比例不等于2:3，则将此特征定义为异常特征。
为考虑到识别血管的过程出错导致误诊的问题，在上述过程中，可输出血管形态数据，数据包括将识别到的血管图像标记、显示动脉血管、显示静脉血管、两者的血管宽度，以便对上述过程起到验证作用。
在一些实施例中，在得到不同的深层特征后，还可以对图像中的血管识别，通过动静脉在视乳头的分叉来识别血管的位置，在识别完成后，判断血管周侧是否存在海绵状组织或蔓状组织，在检测到海绵状组织或蔓状组织后，再识别血管的颜色，可通过存在海绵状组织或蔓状组织判断为异常特征，还可以通过血管颜色非红色判断为异常特征。
同理，也可输出数据，数据包括海绵状组织以及蔓状组织的图像、血管颜色。
在一些实施例中，在得到不同的深层特征后，还可以对图像中的颜色识别，筛选出除血管外的红色出现的区域，将此区域单独输出，可用于检测眼底是否有出血状况。
在一些实施例中，识别图像中是否存在边界清晰的圆形或椭圆形乳白色病灶，若存在，自动绘制病灶分布图，以及计算密度，可用于检测是否出现硬性渗出现象。
S630：将深层特征经过卷积层，输出残差图。
S640：将残差图与第二处理图像叠加，得到清晰眼底图像。
参见图5，通过去噪过程，使图5较比图4更加清晰，以解决利用其他图像方法使眼底视网膜图像清晰化存在低纹理、高噪声的问题，还可以实时去噪，提高图像处理效率。
本实施例中原始数据集中每轮随机抽取1000张作为每次的训练集。在训练时，为达成训练和性能均衡，本实施例的MIRNET-V2网络，先在小图像块上进行训练，在训练过程中阶段性的将图像块的尺寸调大地渐进式的学习方法，还可伴随训练周期提升图像块尺寸。混合尺寸的学习机制不仅可加速训练，还可以提高模型的性能。
基于上述眼底图像处理方法，本申请部分实施例还提供一种眼底图像处理系统，用于执行眼底图像处理方法，系统包括：获取模块、计算模块、增强模块、去噪模块，其中，获取模块用于获取彩色眼底图像的亮部信息以及暗部信息，以得到亮部图像以及暗部图像；
获取模块还用于在第一处理图像中获取高频信息；
计算模块用于利用亮部图像减去暗部图像，再与彩色眼底图像的像素相加，得到第一处理图像；
增强模块用于对第一处理图像执行模糊处理；以及用于利用高频信息对模糊处理后的第一处理图像执行高频信息增强，以得到第二处理图像；
去噪模块用于利用目标检测和图像分割网络模型对第二处理图像去噪，以得到清晰眼底图像，目标检测和图像分割网络模型是根据眼底样本图像训练获得的深度学习模型。
由以上技术方案可知，本申请提供一种眼底图像处理方法及系统，方法包括：首先获取彩色眼底图像的亮部信息以及暗部信息，以得到亮部图像以及暗部图像；再利用亮部图像减去所述暗部图像，再与彩色眼底图像的像素相加，得到第一处理图像；对第一处理图像执行模糊处理；在第一处理图像中获取高频信息；然后利用高频信息对模糊处理后的第一处理图像执行高频信息增强，以得到第二处理图像；最后利用目标检测和图像分割网络模型对第二处理图像去噪，以得到清晰眼底图像，目标检测和图像分割网络模型是根据眼底样本图像训练获得的深度学习模型，以解决利用图像增强、滤波、去噪、超分辨率、深度学习等方法使眼底视网膜图像清晰化仍存在低纹理、高噪声，并且无法实时去噪的问题。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (8)
1.一种眼底图像处理方法，其特征在于，包括：
获取彩色眼底图像的亮部信息以及暗部信息，以得到亮部图像以及暗部图像；
利用所述亮部图像减去所述暗部图像，再与所述彩色眼底图像的像素相加，得到第一处理图像；
对所述第一处理图像执行模糊处理，所述模糊处理包括高斯模糊、均值滤波、中值滤波、双边滤波中的一种或多种；
在所述第一处理图像中获取高频信息；
利用所述高频信息对模糊处理后的所述第一处理图像执行高频信息增强，以得到第二处理图像；
将所述第二处理图像输入至目标检测和图像分割MIRNET-V2网络模型中；
利用卷积层提取所述第二处理图像的低级特征，以得到低级特征图；
使所述低级特征图经过N层递归残差组运算后得到深层特征；
将所述深层特征经过卷积层，输出残差图；
将所述残差图与所述第二处理图像叠加，以得到清晰眼底图像，所述目标检测和图像分割网络模型是根据眼底样本图像训练获得的深度学习模型。
2.根据权利要求1所述的眼底图像处理方法，其特征在于，所述方法还包括：
对所述彩色眼底图像执行灰色变换，以获得灰度眼底图像；
将所述彩色眼底图像减去所述灰度眼底图像的开运算，得到亮部图像；
将所述灰度眼底图像的闭运算减去所述彩色眼底图像，得到暗部图像。
3.根据权利要求1所述的眼底图像处理方法，其特征在于，利用所述高频信息计算模糊处理后的所述第一处理图像，以得到第二处理图像，包括：
利用下式计算所述高频信息增强后的图像：
；
其中，为彩色眼底图像，/>为模糊处理后的所述第一处理图像，/>为大于0且小于15的整数；
所述高频信息增强后的图像包括低频增强区域和高频区域；
利用所述低频增强区域的像素值与所述高频区域的像素值对应，以得到第二处理图像。
4.根据权利要求1所述的眼底图像处理方法，其特征在于，在所述第一处理图像中获取高频信息，还包括：
利用低通滤波器对所述第一处理图像执行滤波处理，以得到低频分量图像；
利用所述第一处理图像减去所述低频分量图像，以得到高频分量图像；
将所述高频分量图像与所述第一处理图像叠加，以得到锐化图像；
从所述锐化图像中提取高频信息。
5.根据权利要求1所述的眼底图像处理方法，其特征在于，每个所述卷积层包括多个滤波器，所述滤波器用于检测所述第二处理图像中不同的低级特征；所述方法还包括：
在所述第二处理图像上滑动所述滤波器；
将滤波器与所述第二处理图像区域相乘，并求和，以得到低级特征图。
6.根据权利要求5所述的眼底图像处理方法，其特征在于，所述方法还包括：
利用多尺度残差块对所述低级特征图执行下采样，以提取不同尺度的特征信息；
根据不同尺度的所述特征信息，得到下采样后的特征图。
7.根据权利要求6所述的眼底图像处理方法，其特征在于，所述方法还包括：
将不同尺度的所述特征信息根据预设条件分类，以将同一类的所述特征信息融合。
8.一种眼底图像处理系统，其特征在于，用于执行权利要求1-7任一项所述的眼底图像处理方法，所述系统包括：获取模块、计算模块、增强模块、去噪模块，其中，所述获取模块用于获取彩色眼底图像的亮部信息以及暗部信息，以得到亮部图像以及暗部图像；
所述获取模块还用于在第一处理图像中获取高频信息；
所述计算模块用于利用所述亮部图像减去所述暗部图像，再与所述彩色眼底图像的像素相加，得到第一处理图像；
所述增强模块用于对所述第一处理图像执行模糊处理，所述模糊处理包括高斯模糊、均值滤波、中值滤波、双边滤波中的一种或多种；以及用于利用所述高频信息对模糊处理后的所述第一处理图像执行高频信息增强，以得到第二处理图像；
所述去噪模块用于将所述第二处理图像输入至目标检测和图像分割MIRNET-V2网络模型中；利用卷积层提取所述第二处理图像的低级特征，以得到低级特征图；使所述低级特征图经过N层递归残差组运算后得到深层特征；将所述深层特征经过卷积层，输出残差图；将所述残差图与所述第二处理图像叠加，以得到清晰眼底图像，所述目标检测和图像分割网络模型是根据眼底样本图像训练获得的深度学习模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311638456.6A CN117372284B (zh) | 2023-12-04 | 2023-12-04 | 眼底图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311638456.6A CN117372284B (zh) | 2023-12-04 | 2023-12-04 | 眼底图像处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117372284A CN117372284A (zh) | 2024-01-09 |
| CN117372284B true CN117372284B (zh) | 2024-02-23 |
Family
ID=89396861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311638456.6A Active CN117372284B (zh) | 2023-12-04 | 2023-12-04 | 眼底图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372284B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893529B (zh) * | 2024-03-14 | 2024-07-09 | 江苏富翰医疗产业发展有限公司 | 一种眼底智能拍摄方法 |
| CN118196218B (zh) * | 2024-05-13 | 2024-09-17 | 北京大学第三医院（北京大学第三临床医学院） | 一种眼底图像处理方法、装置及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019206209A1 (zh) * | 2018-04-26 | 2019-10-31 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN111612856A (zh) * | 2020-05-25 | 2020-09-01 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN111815574A (zh) * | 2020-06-18 | 2020-10-23 | 南通大学 | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 |
| CN112598633A (zh) * | 2020-12-17 | 2021-04-02 | 中南大学 | 基于暗通道和亮通道的眼底图像质量评估方法 |
| CN113888412A (zh) * | 2021-11-23 | 2022-01-04 | 钟家兴 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
| CN114708187A (zh) * | 2021-12-06 | 2022-07-05 | 电子科技大学成都学院 | 一种基于改进神经网络的眼底oct图像识别方法 |
| CN116309633A (zh) * | 2023-02-06 | 2023-06-23 | 华南师范大学 | 一种基于核直觉模糊c均值聚类的视网膜血管分割方法 |
| CN117058676A (zh) * | 2023-10-12 | 2023-11-14 | 首都医科大学附属北京同仁医院 | 一种基于眼底检查影像的血管分割方法、装置和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2609853A4 (en) * | 2010-08-27 | 2016-03-09 | Sony Corp | APPARATUS AND METHOD FOR IMAGE PROCESSING |
-
2023
- 2023-12-04 CN CN202311638456.6A patent/CN117372284B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019206209A1 (zh) * | 2018-04-26 | 2019-10-31 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN111612856A (zh) * | 2020-05-25 | 2020-09-01 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN111815574A (zh) * | 2020-06-18 | 2020-10-23 | 南通大学 | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 |
| CN112598633A (zh) * | 2020-12-17 | 2021-04-02 | 中南大学 | 基于暗通道和亮通道的眼底图像质量评估方法 |
| CN113888412A (zh) * | 2021-11-23 | 2022-01-04 | 钟家兴 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
| CN114708187A (zh) * | 2021-12-06 | 2022-07-05 | 电子科技大学成都学院 | 一种基于改进神经网络的眼底oct图像识别方法 |
| CN116309633A (zh) * | 2023-02-06 | 2023-06-23 | 华南师范大学 | 一种基于核直觉模糊c均值聚类的视网膜血管分割方法 |
| CN117058676A (zh) * | 2023-10-12 | 2023-11-14 | 首都医科大学附属北京同仁医院 | 一种基于眼底检查影像的血管分割方法、装置和系统 |
Non-Patent Citations (5)
| Title |
|---|
| Learning Enriched Features for Fast Image Restoration and Enhancement;Syed Waqas Zamir等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;第45卷(第2期);1934-1948 * |
| Modeling and Enhancing Low-Quality Retinal Fundus Images;Ziyi Shen等;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;第40卷(第3期);996-1006 * |
| Research and Comparison of OCT Image Speckle Denoising Algorithm;Song, D等;《PROCEEDINGS OF 2019 IEEE 8TH JOINT INTERNATIONAL INFORMATION TECHNOLOGY AND ARTIFICIAL INTELLIGENCE CONFERENCE》;1554-1558 * |
| 基于深度学习的低光照眼底图像增强;贾佳;《CNKI中国优秀硕士毕业论文全文库（医药卫生科技辑）》(第01期);E073-149 * |
| 基于生成对抗网络的视网膜OCT图像去噪与超分辨率方法研究;贺玉华;《CNKI中国优秀硕士毕业论文全文库（医药卫生科技辑）》(第02期);E073-94 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117372284A (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117372284B (zh) | 眼底图像处理方法及系统 | |
| CN110276356B (zh) | 基于r-cnn的眼底图像微动脉瘤识别方法 | |
| Figueiredo et al. | Automated lesion detectors in retinal fundus images | |
| Soomro et al. | Role of image contrast enhancement technique for ophthalmologist as diagnostic tool for diabetic retinopathy | |
| Qureshi et al. | Detection of glaucoma based on cup-to-disc ratio using fundus images | |
| CN107292835B (zh) | 一种眼底图像视网膜血管自动矢量化的方法及装置 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| Pal et al. | Morphological operations with iterative rotation of structuring elements for segmentation of retinal vessel structures | |
| Kumari et al. | Blood vessel extraction using wiener filter and morphological operation | |
| Rodrigues et al. | Retinal vessel segmentation using parallel grayscale skeletonization algorithm and mathematical morphology | |
| Dikkala et al. | A comprehensive analysis of morphological process dependent retinal blood vessel segmentation | |
| CN110610480B (zh) | 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型 | |
| Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
| CN115205315A (zh) | 一种眼科体征保持的眼底图像增强方法 | |
| Kumar et al. | Detection of microaneurysms and exudates from color fundus images by using SBGFRLS algorithm | |
| Samawi et al. | Optic disc segmentation in retinal fundus images using morphological techniques and intensity thresholding | |
| CN111292285B (zh) | 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法 | |
| CN116452571A (zh) | 一种基于深度神经网络的图像识别方法 | |
| CN116228781A (zh) | 冠脉血管分割方法、装置、电子设备及存储介质 | |
| CN108154512A (zh) | 一种基于多重去趋势分析的视网膜图像血管分割系统 | |
| Sharma et al. | An automatic segmentation & detection of blood vessels and optic disc in retinal images | |
| Kabir | A rule based segmentation approaches to extract retinal blood vessels in fundus image | |
| Bansal et al. | An efficient automatic intensity based method for detection of macula in retinal images | |
| Akram et al. | Gabor wavelet based vessel segmentation in retinal images | |
| Al-Thahab et al. | Automated detection of retinal hard exudates using triple circular segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Fundus image processing methods and systems Granted publication date: 20240223 Pledgee: Bank of China Limited Nanjing Jiangbei New Area Branch Pledgor: Jiangsu Fuhan Medical Industry Development Co.,Ltd. Registration number: Y2024980013490 |