CN114445364A - 眼底图像微动脉瘤区域检测方法及其成像方法 - Google Patents

眼底图像微动脉瘤区域检测方法及其成像方法 Download PDF

Info

Publication number
CN114445364A
CN114445364A CN202210088787.6A CN202210088787A CN114445364A CN 114445364 A CN114445364 A CN 114445364A CN 202210088787 A CN202210088787 A CN 202210088787A CN 114445364 A CN114445364 A CN 114445364A
Authority
CN
China
Prior art keywords
image
microaneurysm
training
images
fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210088787.6A
Other languages
English (en)
Other versions
CN114445364B (zh
Inventor
邹北骥
杜婧瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210088787.6A priority Critical patent/CN114445364B/zh
Publication of CN114445364A publication Critical patent/CN114445364A/zh
Application granted granted Critical
Publication of CN114445364B publication Critical patent/CN114445364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种眼底图像微动脉瘤区域检测方法，包括获取历史彩色眼底图像、进行处理和对比度增强得到增强处理图像，进行两次滤波得到第一和第二滤波图像；提取微动脉瘤候选点并筛选得到筛选后的微动脉瘤候选点；在增强处理图像、第一和第二滤波图像中截取图像窗口作为截取图像并处理得到用于训练的图像，进行局部横截面变换生成局部横截面变换图像，进行大小调整和缝合拼接得到训练图像数据集；构建微动脉瘤候选图像原始分类模型并训练得到眼底图像微动脉瘤区域检测模型；采用眼底图像微动脉瘤区域检测模型对实际的眼底图像进行检测。本发明还公开了一种包括所述眼底图像微动脉瘤区域检测方法的成像方法。本发明可靠性高、精确性好且性能优异。

Description

眼底图像微动脉瘤区域检测方法及其成像方法
技术领域
本发明属于图像处理领域，具体涉及一种眼底图像微动脉瘤区域检测方法及其成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人们对于健康的关注也越来越高。
眼底图像是医学图像中的重要组成部分，在医学领域具有重大意义。眼底图像中微动脉瘤区域的检测，则是眼底图像检测领域的重要分支。
在目前的临床实践中，眼底图像中微动脉瘤区域的检测，主要还是依赖于人工检测：具有专业背景的从业人员通过手工的方式在眼底图像中对微动脉瘤区域进行检测。但是，人工标记的方式明显费时费力，且检测准确性严重依赖于从业人员自身的技术水平；此外，人工标记的方式非常容易漏掉眼底图像中一些对比度微弱、不太明显的微动脉瘤区域。因此，目前的人工标记的方式，可靠性和精确性都不高。
随着人工智能技术的广泛应用，研究人员也提出了基于机器学习的眼底图像微动脉瘤区域检测方法。但是，现有的检测方法，通常需要利用临床先验知识，手工设计并提取出大量的诸如几何、强度、梯度等特征；这些特征通常是冗余和复杂的，而且特征的重要性分析、冗余特征的去除(即特征选择)又将成为另一项具有挑战的工程任务。此外，许多现有方法需要事先去除干扰区域，如视盘、血管和硬性渗出等区域；而这些干扰区域的分割并不是微动脉瘤区域检测的重点，却严重影响了微动脉瘤区域检测算法的最终性能。
虽然，现有算法中已经存在无需手工提取特征就能自动学习图像特征的基于深度学习的微动脉瘤区域检测方法，然而由于微动脉瘤区域在整个眼底图像中所占比例很小、对比度差异明显，且带标注的微动脉瘤区域图像数量有限，现有方法不能充分学习微动脉瘤区域的图像特征，因此经常出现过拟合现象，方法的可靠性和精确性大打折扣。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性好且性能优异的眼底图像微动脉瘤区域检测方法。
本发明的目的之二在于提供一种包括所述眼底图像微动脉瘤区域检测方法的成像方法。
本发明提供的这种眼底图像微动脉瘤区域检测方法，包括如下步骤：
S1.获取历史彩色眼底图像；
S2.提取步骤S1获取的彩色眼底图像在RGB色彩空间中的绿色通道图像，得到输入图像；
S3.对步骤S2得到的输入图像进行处理，生成处理图像；
S4.对步骤S3得到的处理图像进行对比度增强，从而得到增强处理图像；
S5.对步骤S4得到的增强处理图像进行两次滤波，得到第一滤波图像和第二滤波图像；
S6.在增强处理图像中提取微动脉瘤候选点；
S7.对步骤S6得到的微动脉瘤候选点进行筛选，得到筛选后的微动脉瘤候选点；
S8.以步骤S7得到的微动脉瘤候选点为中心，在增强处理图像、第一滤波图像和第二滤波图像中截取图像窗口分别作为截取图像；
S9.对步骤S8得到的截取图像进行正负样本均衡处理，从而得到用于训练的图像；
S10.对步骤S9得到的用于训练的图像进行局部横截面变换，生成局部横截面变换图像；
S11.将用于训练的图像与各自对应的局部横截面变换图像进行大小调整和缝合拼接，从而得到训练图像数据集；
S12.构建微动脉瘤候选图像原始分类模型；
S13.利用步骤S11得到的训练图像数据集，对步骤S12构建的微动脉瘤候选图像原始分类模型进行训练，从而得到最终的眼底图像微动脉瘤区域检测模型；
S14.采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对实际的眼底图像进行检测，从而完成实际眼底图像的微动脉瘤区域检测。
步骤S2所述的提取步骤S1获取的彩色眼底图像在RGB色彩空间中的绿色通道图像，得到输入图像，具体包括如下步骤：
以公式G＝r×0+g×1+b×0对彩色眼底图像中的各个像素点的RGB值进行计算，即可得到最终的输入图像；G为输入图像的像素点的RGB值，r为彩色眼底图像的像素点的R(红色)值，g为彩色眼底图像的像素点的G(绿色)值，b为彩色眼底图像的像素点的B(蓝色)值。
步骤S3所述的对步骤S2得到的输入图像进行处理，生成处理图像，具体为对步骤S2得到的输入图像I进行归一化处理和光照均衡处理，从而得到处理图像I'。
所述的归一化处理，具体为采用双线性插值算法，将所有眼底图像的有效区域的最大直径统一为900像素。
所述的光照均衡处理，具体为采用算式I'＝G+μ-Gm光照均衡处理；式中G为输入图像，μ为输入图像G中有效区域的平均光照强度；Gm为输入图像G经过均值滤波后的图像，均值滤波器的大小为
Figure BDA0003488337790000041
d为眼底图像的有效区域的最大直径；本步骤的目的在于克服不均匀光照和暗区域的影响。
步骤S4所述的对步骤S3得到的处理图像进行对比度增强，从而得到增强处理图像，具体为为对步骤S3得到的处理图像I'进行限制对比度自适应直方图均衡化处理，从而得到增强处理图像Ip。
所述的限制对比度自适应直方图均衡化处理，具体为采用如下算式进行处理：
Figure BDA0003488337790000042
式中S为处理后的对比度；Hist(t)为局部块内的直方图；M×M为局部块的大小。
步骤S5所述的对步骤S4得到的增强处理图像进行两次滤波，得到第一滤波图像和第二滤波图像，具体为对步骤S4得到的增强处理图像Ip进行高斯滤波，得到第一滤波图像Ig；然后对步骤S4得到的增强处理图像Ip进行双边滤波，得到第二滤波图像Ib，从而为后续图像的变换拼接做准备。
步骤S6所述的在增强处理图像中提取微动脉瘤候选点，具体为对增强处理图像Ip进行3×3的中值滤波，提取中值滤波后图像中的最小极值连通区域的质心作为微动脉瘤候选点。
所述的在增强处理图像中提取微动脉瘤候选点，具体为对增强处理图像Ip进行3×3的中值滤波，提取中值滤波后图像中的最小极值连通区域，并剔除面积大于50个像素的连通区域，并将剩余的最小极值连通区域的质心作为微动脉瘤候选点。
步骤S7所述的对步骤S6得到的微动脉瘤候选点进行筛选，得到筛选后的微动脉瘤候选点，具体包括如下步骤：
A.以步骤S6得到的微动脉瘤候选点为中心，截取15×15的图像窗口，并划分为9个5×5的小窗口；具体如图3所示；
B.依次计算中心小窗口与周围8个小窗口之间的平均灰度差，得到灰度差序列{d1,...,d8}；
C.设定第一阈值为
Figure BDA0003488337790000051
第二阈值为
Figure BDA0003488337790000052
第三阈值为
Figure BDA0003488337790000053
σ为增强处理图像Ip的眼底有效区域的灰度标准差；
D.统计灰度差序列{d1,...,d8}中大于第一阈值的数量count1、灰度差序列{d1,...,d8}中大于第二阈值的数量count2和灰度差序列{d1,...,d8}中大于第三阈值的数量count3；
E.计算步骤A中的图像窗口默认9个方向上的梯度方向直方图的标准差stdhog；
F.若微动脉瘤候选点所对应的图像窗口满足如下两个条件中的一个，则认定该微动脉瘤候选点为筛选后的微动脉瘤候选点：
条件1：stdhog＜0.17且count1≥7且count2≥6且count3≥5；
条件2：stdhog＜0.15且count1≥6且count2≥6且count3≥6。
步骤S8所述的以步骤S7得到的微动脉瘤候选点为中心，在增强处理图像、第一滤波图像和第二滤波图像中截取图像窗口分别作为截取图像，具体为以步骤S7得到的微动脉瘤候选点为中心，分别在增强处理图像Ip、第一滤波图像Ig和第二滤波图像Ib中截取31×31的图像窗口作为截取图像，并依次记录为增强处理截取图像
Figure BDA0003488337790000061
第一截取图像
Figure BDA0003488337790000062
和第二截取图像
Figure BDA0003488337790000063
i表示为第i个微动脉瘤候选点。
步骤S9所述的对步骤S8得到的截取图像进行正负样本均衡处理，从而得到用于训练的图像，具体为将确定存在微动脉瘤的候选图像作为正样本，将不存在微动脉瘤的候选图像作为负样本，并对确定存在微动脉瘤的候选图像进行扩充变换，将正样本数量扩充至原来的若干倍(比如3倍)；同时随机选取若干个负样本数量，优选为负样本数量为扩充后正样本的5倍；最终得到用于训练的图像，包括增强处理训练图像
Figure BDA0003488337790000064
第一训练图像
Figure BDA0003488337790000065
和第二训练图像
Figure BDA0003488337790000066
其中j表示第j个用于训练的图像；本步骤的目的在于进行正负样本的均衡。
所述的扩充变换包括上下翻转、左右翻转和旋转设定角度(比如旋转90°)等操作。
步骤S10所述的对步骤S9得到的用于训练的图像进行局部横截面变换，生成局部横截面变换图像，具体包括如下步骤：
a.以用于训练的图像的中心为垂直横截面线段的旋转中心，以固定角度6°往同一方向旋转该线段，每次旋转前依次提取横截面线段上的所有像素，并将转换为新图像的一列；
b.总共提取30条横截面线段，每条横截面线段包含31个等距离像素值；最终生成大小为30×31的局部横截面变换图像；具体如图4所示；本步骤的目的在于重新平衡了微动脉瘤在图像中的占比并显著放大了困难样本(微动脉瘤和微小血管)的特征。
步骤S11所述的将用于训练的图像与各自对应的局部横截面变换图像进行大小调整和缝合拼接，从而得到训练图像数据集，具体包括如下步骤：
(1)将用于训练的图像(包括增强处理训练图像
Figure BDA0003488337790000071
第一训练图像
Figure BDA0003488337790000072
和第二训练图像
Figure BDA0003488337790000073
)和对应的局部横截面变换图像(包括增强处理横截面变换图像
Figure BDA0003488337790000074
第一横截面变换图像
Figure BDA0003488337790000075
和第二横截面变换图像
Figure BDA0003488337790000076
)，采用双线性差值放大至64×64的图像大小；
(2)将放大后的图像
Figure BDA0003488337790000077
和
Figure BDA0003488337790000078
分别与
Figure BDA0003488337790000079
和
Figure BDA00034883377900000710
和
Figure BDA00034883377900000711
进行组合拼接，从而生成两组拼接图像作为双输入训练图像数据集；具体为采用如下公式进行拼接：
Figure BDA00034883377900000712
Figure BDA00034883377900000713
式中
Figure BDA00034883377900000714
表示来自增强处理图像Ip和第一滤波图像Ig的第一组第j个拼接图像；
Figure BDA00034883377900000715
表示来自增强处理图像Ip和第二滤波图像Ib的第二组第j个拼接图像。
步骤S12所述的构建微动脉瘤候选图像原始分类模型，具体为以ResNet34为基础网络，引入轻量级的注意力模块CBAM，构建具有相同分支结构ResNet34+CBAM的双分支多上下文深度集成学习模型。
所述的构建微动脉瘤候选图像原始分类模型，具体包括如下步骤：
模型包括两个相同分支结构；
每个分支结构由经典模型ResNet34和轻量级注意力模块CBAM组成；其中，ResNet34由4层不同大小的基础模块BasicBlock搭建，4层基础模块包含的残差模块ResBlock的数量分别为3、4、6和3；轻量级注意力模块包括通道注意力模块和空间注意力模块，依次将两种注意力模块接入每个残差模块ResBlock的卷积输出之后。
步骤S13所述的训练，具体为在训练过程中，采用如下的二元交叉熵损失函数进行训练：
Figure BDA0003488337790000081
式中L为损失函数的值；N为训练图像数据集中拼接图像对的总数；yj为训练图像数据集中第j对训练图像的标签；p(yj)为第j对训练图像预测是微动脉瘤区域的概率值。
步骤S14所述的采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对实际的眼底图像进行检测，具体为检测时，先对实际的眼底图像依次采用步骤S1～S8、S10和S11的技术步骤进行处理，得到两组微动脉瘤候选拼接图像，再采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对微动脉瘤候选拼接图像对分类，完成实际眼底图像的微动脉瘤区域检测。
本发明还公开了一种包括了上述眼底图像微动脉瘤区域检测方法的成像方法，还包括如下步骤：
S15.将步骤S14得到的检测结果，在被检测的实际眼底图像上进行标注和二次成像，从而输出带有微动脉瘤区域检测结果的实际眼底图像。
本发明提供的这种眼底图像微动脉瘤区域检测方法及其成像方法，通过创新性的图像处理和创造性的模型构建，不仅实现了眼底图像微动脉瘤区域检测，而且可靠性高、精确性好且性能优异。
附图说明
图1为本发明的检测方法的方法流程示意图。
图2为本发明的检测方法的彩色眼底图像及放大后的微动脉瘤示意图。
图3为本发明的检测方法的筛选微动脉瘤候选点采用的局部块状滤波方法示意图。
图4为本发明的检测方法的局部横截面变换示意图。
图5为本发明的检测方法的微动脉瘤候选图像及其对应的局部横截面变换图像拼接过程示意图。
图6为本发明的检测方法的检测模型的结构示意图。
图7为本发明的检测方法的检测效果示意图。
图8为本发明的成像方法的方法流程示意图。
具体实施方式
如图1所示为本发明的检测方法的方法流程示意图：本发明提供的这种眼底图像微动脉瘤区域检测方法，包括如下步骤：
S1.获取历史彩色眼底图像；具体如图2所示；图2中右侧的四张小图为放大后的微动脉瘤示意图；
S2.提取步骤S1获取的彩色眼底图像在RGB色彩空间中的绿色通道图像，得到输入图像；
具体实施时，以公式G＝r×0+g×1+b×0对彩色眼底图像中的各个像素点的RGB值进行计算，即可得到最终的输入图像；G为输入图像的像素点的RGB值，r为彩色眼底图像的像素点的R(红色)值，g为彩色眼底图像的像素点的G(绿色)值，b为彩色眼底图像的像素点的B(蓝色)值；
S3.对步骤S2得到的输入图像进行处理，生成处理图像；具体为对步骤S2得到的输入图像I进行归一化处理和光照均衡处理，从而得到处理图像I'；
具体实施时，归一化处理为采用双线性插值算法，将所有眼底图像的有效区域的最大直径统一为900像素；该步骤能够使得本发明方法能够适用于各种不同尺寸的眼底图像；
光照均衡处理为采用算式I'＝G+μ-Gm光照均衡处理；式中G为输入图像，μ为输入图像G中有效区域的平均光照强度；Gm为输入图像G经过均值滤波后的图像，均值滤波器的大小为
Figure BDA0003488337790000101
d为眼底图像的有效区域的最大直径；本步骤的目的在于克服不均匀光照和暗区域的影响；
S4.对步骤S3得到的处理图像进行对比度增强，从而得到增强处理图像；具体为对步骤S3得到的处理图像I'进行限制对比度自适应直方图均衡化处理，从而得到增强处理图像Ip；
具体实施时，限制对比度自适应直方图均衡化处理为采用如下算式进行处理：
Figure BDA0003488337790000102
式中S为处理后的对比度；Hist(t)为局部块内的直方图；M×M为局部块的大小；
S5.对步骤S4得到的增强处理图像进行两次滤波，得到第一滤波图像和第二滤波图像；具体为对步骤S4得到的增强处理图像Ip进行高斯滤波，得到第一滤波图像Ig；然后对步骤S4得到的增强处理图像Ip进行双边滤波，得到第二滤波图像Ib，从而为后续图像的变换拼接做准备；
本步骤的目的在于分别对图像中的微动脉瘤区域进行模糊和增强，让后续分类网络能同时学习到同一微动脉瘤候选区域模糊和增强后图像的上下文特征；
S6.在增强处理图像中提取微动脉瘤候选点；具体为对增强处理图像Ip进行3×3的中值滤波，提取中值滤波后图像中的最小极值连通区域的质心作为微动脉瘤候选点；
具体实施时，对增强处理图像Ip进行3×3的中值滤波，提取中值滤波后图像中的最小极值连通区域，并剔除面积大于50个像素的连通区域，并将剩余的最小极值连通区域的质心作为微动脉瘤候选点；
依据先验知识，微动脉瘤属于图像中的暗色区域，且大小通常大于3×3个像素，最大的微动脉瘤的像素面积一般不超过50个像素，剔除面积大于50的连通区域，并将剩余的连通区域的质心作为微动脉瘤候选点；
S7.对步骤S6得到的微动脉瘤候选点进行筛选，得到筛选后的微动脉瘤候选点；具体包括如下步骤：
A.以步骤S6得到的微动脉瘤候选点为中心，截取15×15的图像窗口，并划分为9个5×5的小窗口；具体如图3所示；
B.依次计算中心小窗口与周围8个小窗口之间的平均灰度差，得到灰度差序列{d1,...,d8}；
C.设定第一阈值为
Figure BDA0003488337790000111
第二阈值为
Figure BDA0003488337790000112
第三阈值为
Figure BDA0003488337790000113
σ为增强处理图像Ip的眼底有效区域的灰度标准差；
D.统计灰度差序列{d1,...,d8}中大于第一阈值的数量count1、灰度差序列{d1,...,d8}中大于第二阈值的数量count2和灰度差序列{d1,...,d8}中大于第三阈值的数量count3；
E.计算步骤A中的图像窗口默认9个方向上的梯度方向直方图的标准差stdhog；
F.若微动脉瘤候选点所对应的图像窗口满足如下两个条件中的一个，则认定该微动脉瘤候选点为筛选后的微动脉瘤候选点：
条件1：stdhog＜0.17且count1≥7且count2≥6且count3≥5；
条件2：stdhog＜0.15且count1≥6且count2≥6且count3≥6；
S8.以步骤S7得到的微动脉瘤候选点为中心，在增强处理图像、第一滤波图像和第二滤波图像中截取图像窗口分别作为微动脉瘤候选图像；具体为以步骤S7得到的微动脉瘤候选点为中心，分别在增强处理图像Ip、第一滤波图像Ig和第二滤波图像Ib中截取31×31的图像窗口作为微动脉瘤候选图像，并依次记录为增强处理截取图像
Figure BDA0003488337790000121
第一截取图像
Figure BDA0003488337790000122
和第二截取图像
Figure BDA0003488337790000123
i表示为第i个微动脉瘤候选点；
S9.对步骤S8得到的增强处理截取图像
Figure BDA0003488337790000124
第一截取图像
Figure BDA0003488337790000125
和第二截取图像
Figure BDA0003488337790000126
进行正负样本均衡处理，从而得到用于训练的图像，记为增强处理训练图像
Figure BDA0003488337790000127
第一训练图像
Figure BDA0003488337790000128
和第二训练图像
Figure BDA0003488337790000129
具体为将确定存在微动脉瘤的候选图像作为正样本，将不存在微动脉瘤的候选图像作为负样本，并对确定存在微动脉瘤的候选图像进行扩充变换，将正样本数量扩充至原来的若干倍(比如3倍)；同时随机选取若干个负样本数量，优选为负样本数量为扩充后正样本的5倍；最终得到用于训练的图像，包括增强处理训练图像
Figure BDA00034883377900001210
第一训练图像
Figure BDA0003488337790000131
和第二训练图像
Figure BDA0003488337790000132
其中j表示第j个用于训练的图像；本步骤的目的在于进行正负样本的均衡；
具体实施时，扩充变换变换包括上下翻转、左右翻转和旋转设定角度(比如旋转90°)等操作；
S10.对步骤S9得到的用于训练的图像(包括增强处理训练图像
Figure BDA0003488337790000133
第一训练图像
Figure BDA0003488337790000134
和第二训练图像
Figure BDA0003488337790000135
)进行局部横截面变换，生成局部横截面变换图像(包括增强处理横截面变换图像
Figure BDA0003488337790000136
第一横截面变换图像
Figure BDA0003488337790000137
和第二横截面变换图像
Figure BDA0003488337790000138
)；具体包括如下步骤：
a.以用于训练的图像的中心为垂直横截面线段的旋转中心，以固定角度6°往同一方向旋转该线段，每次旋转前依次提取横截面线段上的所有像素，并将转换为新图像的一列；
b.总共提取30条横截面线段，每条横截面线段包含31个等距离像素值；最终生成大小为30×31的局部横截面变换图像；具体如图4所示；本步骤的目的在于重新平衡了微动脉瘤在图像中的占比并显著放大了困难样本(微动脉瘤和微小血管)的特征；
S11.将用于训练的图像(包括增强处理训练图像
Figure BDA0003488337790000139
第一训练图像
Figure BDA00034883377900001310
和第二训练图像
Figure BDA00034883377900001311
)与各自对应的局部横截面变换图像(包括增强处理横截面变换图像
Figure BDA00034883377900001312
第一横截面变换图像
Figure BDA00034883377900001313
和第二横截面变换图像
Figure BDA00034883377900001314
)进行大小调整和缝合拼接，从而得到训练图像数据集；本步骤的目的在于让后续分类网络能够从一幅图像上同时学习多种图像上下文，具体如图5所示；
具体实施时，大小调整和缝合拼接具体包括如下步骤：
(1)将用于训练的图像(包括增强处理训练图像
Figure BDA00034883377900001315
第一训练图像
Figure BDA00034883377900001316
和第二训练图像
Figure BDA0003488337790000141
)和对应的局部横截面变换图像(包括增强处理横截面变换图像
Figure BDA0003488337790000142
第一横截面变换图像
Figure BDA0003488337790000143
和第二横截面变换图像
Figure BDA0003488337790000144
)，采用双线性差值放大至64×64的图像大小；
(2)将放大后的图像
Figure BDA0003488337790000145
和
Figure BDA0003488337790000146
分别与
Figure BDA0003488337790000147
和
Figure BDA0003488337790000148
和
Figure BDA0003488337790000149
进行组合拼接，从而生成两组拼接图像作为双输入训练图像数据集；具体为采用如下公式进行拼接：
Figure BDA00034883377900001410
Figure BDA00034883377900001411
式中
Figure BDA00034883377900001412
表示来自增强处理图像Ip和第一滤波图像Ig的第一组第j个拼接图像；
Figure BDA00034883377900001413
表示来自增强处理图像Ip和第二滤波图像Ib的第二组第j个拼接图像。
S12.构建微动脉瘤候选图像原始分类模型；具体为以ResNet34为基础网络，引入轻量级的注意力模块CBAM，构建具有相同分支结构ResNet34+CBAM的双分支多上下文深度集成学习模型；本发明构建的模型一视同仁地从两组拼接图像中分别学习多个图像上下文，并最终将分类结果整合在一起；双边滤波(增强)后的图像上下文、高斯滤波(模糊)后的图像上下文、原预处理图像上下文，及他们对应的局部横截面变换图像均能够被模型有效学习，大幅提高了分类与检测的准确性；具体如图6所示；
具体实施时，眼底图像微动脉瘤区域检测原始模型具体如下：
模型包括两个相同分支结构；
每个分支结构由经典模型ResNet34和轻量级注意力模块CBAM组成；其中，ResNet34由4层不同大小的基础模块BasicBlock搭建，4层基础模块包含的残差模块ResBlock的数量分别为3、4、6和3；轻量级注意力模块包括通道注意力模块和空间注意力模块，依次将两种注意力模块接入每个残差模块ResBlock的卷积输出之后；具体结构如图6所示；
S13.利用步骤S11得到的训练图像数据集，对步骤S12构建的微动脉瘤候选图像原始分类模型进行训练，从而得到最终的眼底图像微动脉瘤区域检测模型；
在训练过程中，采用如下的二元交叉熵损失函数进行训练：
Figure BDA0003488337790000151
式中L为损失函数的值；N为训练图像数据集中拼接图像对的总数；yj为训练图像数据集中第j对训练图像的标签(标签为1表示是微动脉瘤区域；标签为0表示非微动脉瘤区域)；p(yj)为第j对训练图像预测是微动脉瘤区域的概率值；
S14.采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对实际的眼底图像进行检测，从而完成实际眼底图像的微动脉瘤区域检测；具体为检测时，先对实际的眼底图像依次采用步骤S1～S8、S10和S11的技术步骤进行处理，得到两组微动脉瘤候选拼接图像，再采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对微动脉瘤候选拼接图像对分类，完成实际眼底图像的微动脉瘤区域检测。
以下结合实施例，对本发明方法的效果进行说明：
根据在e-ophtha-MA数据集上五折交叉验证的检测结果，绘制了本发明所提出方法的ROC和FROC曲线，并分别计算了ROC曲线下面积(AUC)和FROC曲线下的1/8至8FPI之间的面积(FAUC)。(FPI是平均每幅眼底图像的假阳性个数)。ROC曲线用于评估微动脉瘤候选图像分类模型对微动脉瘤候选图像的分类性能，FROC曲线用于评微动脉瘤的检测性能。根据五折交叉验证的结果绘制了五组ROC和FROC曲线，如图7所示。5条ROC曲线的AUC分别为0.985、0.979、0.967、0.984，和0.969，表明本发明方法具有很高的分类准确率，即可以准确地从微动脉瘤候选图像中识别出微动脉瘤。此外，5条FROC曲线的FAUC分别为0.739、0.707、0.672、0.693和0.644，表明本发明所提出的方法在误检较低的情况下(小于8FPI)，可以检测出大部分的微动脉瘤。在大多数交叉验证中，当FPI＝2时(平均每张图像只有2个误报)，微动脉瘤的检测灵敏度达到60％，达到了眼底图像上微动脉瘤检测最先进的性能。
如图8所示为本发明的成像方法的方法流程示意图：本发明提供的这种包括了上述眼底图像微动脉瘤区域检测方法的成像方法，包括如下步骤：
S1.获取历史彩色眼底图像；具体如图2所示；图2中右侧的四张小图为放大后的微动脉瘤示意图；
S2.提取步骤S1获取的彩色眼底图像在RGB色彩空间中的绿色通道图像，得到输入图像；
具体实施时，以公式G＝r×0+g×1+b×0对彩色眼底图像中的各个像素点的RGB值进行计算，即可得到最终的输入图像；G为输入图像的像素点的RGB值，r为彩色眼底图像的像素点的R(红色)值，g为彩色眼底图像的像素点的G(绿色)值，b为彩色眼底图像的像素点的B(蓝色)值；
S3.对步骤S2得到的输入图像进行处理，生成处理图像；具体为对步骤S2得到的输入图像I进行归一化处理和光照均衡处理，从而得到处理图像I'；
具体实施时，归一化处理为采用双线性插值算法，将所有眼底图像的有效区域的最大直径统一为900像素；该步骤能够使得本发明方法能够适用于各种不同尺寸的眼底图像；
光照均衡处理为采用算式I'＝G+μ-Gm光照均衡处理；式中G为输入图像，μ为输入图像G中有效区域的平均光照强度；Gm为输入图像G经过均值滤波后的图像，均值滤波器的大小为
Figure BDA0003488337790000171
d为眼底图像的有效区域的最大直径；本步骤的目的在于克服不均匀光照和暗区域的影响；
S4.对步骤S3得到的处理图像进行对比度增强，从而得到增强处理图像；具体为对步骤S3得到的处理图像I'进行限制对比度自适应直方图均衡化处理，从而得到增强处理图像Ip；
具体实施时，限制对比度自适应直方图均衡化处理为采用如下算式进行处理：
Figure BDA0003488337790000172
式中S为处理后的对比度；Hist(t)为局部块内的直方图；M×M为局部块的大小；
S5.对步骤S4得到的增强处理图像进行两次滤波，得到第一滤波图像和第二滤波图像；具体为对步骤S4得到的增强处理图像Ip进行高斯滤波，得到第一滤波图像Ig；然后对步骤S4得到的增强处理图像Ip进行双边滤波，得到第二滤波图像Ib，从而为后续图像的变换拼接做准备；
本步骤的目的在于分别对图像中的微动脉瘤区域进行模糊和增强，让后续分类网络能同时学习到同一微动脉瘤候选区域模糊和增强后图像的上下文特征；
S6.在增强处理图像中提取微动脉瘤候选点；具体为对增强处理图像Ip进行3×3的中值滤波，提取中值滤波后图像中的最小极值连通区域的质心作为微动脉瘤候选点；
具体实施时，对增强处理图像Ip进行3×3的中值滤波，提取中值滤波后图像中的最小极值连通区域，并剔除面积大于50个像素的连通区域，并将剩余的最小极值连通区域的质心作为微动脉瘤候选点；
依据先验知识，微动脉瘤属于图像中的暗色区域，且大小通常大于3×3个像素，最大的微动脉瘤的像素面积一般不超过50个像素，剔除面积大于50的连通区域，并将剩余的连通区域的质心作为微动脉瘤候选点；
S7.对步骤S6得到的微动脉瘤候选点进行筛选，得到筛选后的微动脉瘤候选点；具体包括如下步骤：
A.以步骤S6得到的微动脉瘤候选点为中心，截取15×15的图像窗口，并划分为9个5×5的小窗口；具体如图3所示；
B.依次计算中心小窗口与周围8个小窗口之间的平均灰度差，得到灰度差序列{d1,...,d8}；
C.设定第一阈值为
Figure BDA0003488337790000181
第二阈值为
Figure BDA0003488337790000182
第三阈值为
Figure BDA0003488337790000183
σ为增强处理图像Ip的眼底有效区域的灰度标准差；
D.统计灰度差序列{d1,...,d8}中大于第一阈值的数量count1、灰度差序列{d1,...,d8}中大于第二阈值的数量count2和灰度差序列{d1,...,d8}中大于第三阈值的数量count3；
E.计算步骤A中的图像窗口默认9个方向上的梯度方向直方图的标准差stdhog；
F.若微动脉瘤候选点所对应的图像窗口满足如下两个条件中的一个，则认定该微动脉瘤候选点为筛选后的微动脉瘤候选点：
条件1：stdhog＜0.17且count1≥7且count2≥6且count3≥5；
条件2：stdhog＜0.15且count1≥6且count2≥6且count3≥6；
S8.以步骤S7得到的微动脉瘤候选点为中心，在增强处理图像、第一滤波图像和第二滤波图像中截取图像窗口分别作为微动脉瘤候选图像；具体为以步骤S7得到的微动脉瘤候选点为中心，分别在增强处理图像Ip、第一滤波图像Ig和第二滤波图像Ib中截取31×31的图像窗口作为微动脉瘤候选图像，并依次记录为增强处理截取图像
Figure BDA0003488337790000191
第一截取图像
Figure BDA0003488337790000192
和第二截取图像
Figure BDA0003488337790000193
i表示为第i个微动脉瘤候选点；
S9.对步骤S8得到的增强处理截取图像
Figure BDA0003488337790000194
第一截取图像
Figure BDA0003488337790000195
和第二截取图像
Figure BDA0003488337790000196
进行正负样本均衡处理，从而得到用于训练的图像，记为增强处理训练图像
Figure BDA0003488337790000197
第一训练图像
Figure BDA0003488337790000198
和第二训练图像
Figure BDA0003488337790000199
具体为将确定存在微动脉瘤的候选图像作为正样本，将不存在微动脉瘤的候选图像作为负样本，并对确定存在微动脉瘤的候选图像进行扩充变换，将正样本数量扩充至原来的若干倍(比如3倍)；同时随机选取若干个负样本数量，优选为负样本数量为扩充后正样本的5倍；最终得到用于训练的图像，包括增强处理训练图像
Figure BDA00034883377900001910
第一训练图像
Figure BDA00034883377900001911
和第二训练图像
Figure BDA00034883377900001912
其中j表示第j个用于训练的图像；本步骤的目的在于进行正负样本的均衡；
具体实施时，扩充变换变换包括上下翻转、左右翻转和旋转设定角度(比如旋转90°)等操作；
S10.对步骤S9得到的用于训练的图像(包括增强处理训练图像
Figure BDA0003488337790000201
第一训练图像
Figure BDA0003488337790000202
和第二训练图像
Figure BDA0003488337790000203
)进行局部横截面变换，生成局部横截面变换图像(包括增强处理横截面变换图像
Figure BDA0003488337790000204
第一横截面变换图像
Figure BDA0003488337790000205
和第二横截面变换图像
Figure BDA0003488337790000206
)；具体包括如下步骤：
a.以用于训练的图像的中心为垂直横截面线段的旋转中心，以固定角度6°往同一方向旋转该线段，每次旋转前依次提取横截面线段上的所有像素，并将转换为新图像的一列；
b.总共提取30条横截面线段，每条横截面线段包含31个等距离像素值；最终生成大小为30×31的局部横截面变换图像；具体如图4所示；本步骤的目的在于重新平衡了微动脉瘤在图像中的占比并显著放大了困难样本(微动脉瘤和微小血管)的特征；
S11.将用于训练的图像(包括增强处理训练图像
Figure BDA0003488337790000207
第一训练图像
Figure BDA0003488337790000208
和第二训练图像
Figure BDA0003488337790000209
)与各自对应的局部横截面变换图像(包括增强处理横截面变换图像
Figure BDA00034883377900002010
第一横截面变换图像
Figure BDA00034883377900002011
和第二横截面变换图像
Figure BDA00034883377900002012
)进行大小调整和缝合拼接，从而得到训练图像数据集；本步骤的目的在于让后续分类网络能够从一幅图像上同时学习多种图像上下文，具体如图5所示；
具体实施时，大小调整和缝合拼接具体包括如下步骤：
(1)将用于训练的图像(包括增强处理训练图像
Figure BDA00034883377900002013
第一训练图像
Figure BDA00034883377900002014
和第二训练图像
Figure BDA00034883377900002015
)和对应的局部横截面变换图像(包括增强处理横截面变换图像
Figure BDA00034883377900002016
第一横截面变换图像
Figure BDA00034883377900002017
和第二横截面变换图像
Figure BDA00034883377900002018
)，采用双线性差值放大至64×64的图像大小；
(2)将放大后的图像
Figure BDA00034883377900002019
和
Figure BDA00034883377900002020
分别与
Figure BDA00034883377900002021
和
Figure BDA00034883377900002022
和
Figure BDA00034883377900002023
进行组合拼接，从而生成两组拼接图像作为双输入训练图像数据集；具体为采用如下公式进行拼接：
Figure BDA0003488337790000211
Figure BDA0003488337790000212
式中
Figure BDA0003488337790000213
表示来自增强处理图像Ip和第一滤波图像Ig的第一组第j个拼接图像；
Figure BDA0003488337790000214
表示来自增强处理图像Ip和第二滤波图像Ib的第二组第j个拼接图像。
S12.构建微动脉瘤候选图像原始分类模型；具体为以ResNet34为基础网络，引入轻量级的注意力模块CBAM，构建具有相同分支结构ResNet34+CBAM的双分支多上下文深度集成学习模型；本发明构建的模型一视同仁地从两组拼接图像中分别学习多个图像上下文，并最终将分类结果整合在一起；双边滤波(增强)后的图像上下文、高斯滤波(模糊)后的图像上下文、原预处理图像上下文，及他们对应的局部横截面变换图像均能够被模型有效学习，大幅提高了分类与检测的准确性；具体如图6所示；
具体实施时，眼底图像微动脉瘤区域检测原始模型具体如下：
模型包括两个相同分支结构；
每个分支结构由经典模型ResNet34和轻量级注意力模块CBAM组成；其中，ResNet34由4层不同大小的基础模块BasicBlock搭建，4层基础模块包含的残差模块ResBlock的数量分别为3、4、6和3；轻量级注意力模块包括通道注意力模块和空间注意力模块，依次将两种注意力模块接入每个残差模块ResBlock的卷积输出之后；具体结构如图6所示；
S13.利用步骤S11得到的训练图像数据集，对步骤S12构建的微动脉瘤候选图像原始分类模型进行训练，从而得到最终的眼底图像微动脉瘤区域检测模型；
在训练过程中，采用如下的二元交叉熵损失函数进行训练：
Figure BDA0003488337790000221
式中L为损失函数的值；N为训练图像数据集中拼接图像对的总数；yj为训练图像数据集中第j对训练图像的标签(标签为1表示是微动脉瘤区域；标签为0表示非微动脉瘤区域)；p(yj)为第j对训练图像预测是微动脉瘤区域的概率值；
S14.采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对实际的眼底图像进行检测，从而完成实际眼底图像的微动脉瘤区域检测；具体为检测时，先对实际的眼底图像依次采用步骤S1～S8、S10和S11的技术步骤进行处理，得到两组微动脉瘤候选拼接图像，再采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对微动脉瘤候选拼接图像对分类，完成实际眼底图像的微动脉瘤区域检测；
S15.将步骤S14得到的检测结果，在被检测的实际眼底图像上进行标注和二次成像，从而输出带有微动脉瘤区域检测结果的实际眼底图像。
具体实施时，本发明提供的这种成像方法，可以直接应用于现有的眼底图像成像系统和仪器；使用时，将本发明提供的成像方法集成到现有的成像系统的控制系统中；然后，采用现有技术和系统获取眼底图像，然后将获取的眼底图像输入到本发明提供的检测模型中，得到眼底图像微动脉瘤区域检测结果，然后再将得到的检测结果被检测的实际眼底图像上进行标注和二次成像，从而输出带有微动脉瘤区域检测结果的实际眼底图像。

Claims (10)

1.一种眼底图像微动脉瘤区域检测方法，包括如下步骤：
S1.获取历史彩色眼底图像；
S2.提取步骤S1获取的彩色眼底图像在RGB色彩空间中的绿色通道图像，得到输入图像；
S3.对步骤S2得到的输入图像进行处理，生成处理图像；
S4.对步骤S3得到的处理图像进行对比度增强，从而得到增强处理图像；
S5.对步骤S4得到的增强处理图像进行两次滤波，得到第一滤波图像和第二滤波图像；
S6.在增强处理图像中提取微动脉瘤候选点；
S7.对步骤S6得到的微动脉瘤候选点进行筛选，得到筛选后的微动脉瘤候选点；
S8.以步骤S7得到的微动脉瘤候选点为中心，在增强处理图像、第一滤波图像和第二滤波图像中截取图像窗口分别作为截取图像；
S9.对步骤S8得到的截取图像进行正负样本均衡处理，从而得到用于训练的图像；
S10.对步骤S9得到的用于训练的图像进行局部横截面变换，生成局部横截面变换图像；
S11.将用于训练的图像与各自对应的局部横截面变换图像进行大小调整和缝合拼接，从而得到训练图像数据集；
S12.构建微动脉瘤候选图像原始分类模型；
S13.利用步骤S11得到的训练图像数据集，对步骤S12构建的微动脉瘤候选图像原始分类模型进行训练，从而得到最终的眼底图像微动脉瘤区域检测模型；
S14.采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对实际的眼底图像进行检测，从而完成实际眼底图像的微动脉瘤区域检测。
2.根据权利要求1所述的眼底图像微动脉瘤区域检测方法，其特征在于步骤S2所述的提取步骤S1获取的彩色眼底图像在RGB色彩空间中的绿色通道图像，得到输入图像，具体包括如下步骤：
以公式G＝r×0+g×1+b×0对彩色眼底图像中的各个像素点的RGB值进行计算，即可得到最终的输入图像；G为输入图像的像素点的RGB值，r为彩色眼底图像的像素点的R值，g为彩色眼底图像的像素点的G值，b为彩色眼底图像的像素点的B值；
步骤S3所述的对步骤S2得到的输入图像进行处理，生成处理图像，具体为对步骤S2得到的输入图像I进行归一化处理和光照均衡处理，从而得到处理图像I'；归一化处理具体为采用双线性插值算法，将所有眼底图像的有效区域的最大直径统一为900像素；光照均衡处理具体为采用算式I'＝G+μ-Gm光照均衡处理；式中G为输入图像，μ为输入图像G中有效区域的平均光照强度；Gm为输入图像G经过均值滤波后的图像，均值滤波器的大小为
Figure FDA0003488337780000021
d为眼底图像的有效区域的最大直径；本步骤的目的在于克服不均匀光照和暗区域的影响；
步骤S4所述的对步骤S3得到的处理图像进行对比度增强，从而得到增强处理图像，具体为为对步骤S3得到的处理图像I'进行限制对比度自适应直方图均衡化处理，从而得到增强处理图像Ip；限制对比度自适应直方图均衡化处理，具体为采用如下算式进行处理：
Figure FDA0003488337780000031
式中S为处理后的对比度；Hist(t)为局部块内的直方图；M×M为局部块的大小；
步骤S5所述的对步骤S4得到的增强处理图像进行两次滤波，得到第一滤波图像和第二滤波图像，具体为对步骤S4得到的增强处理图像Ip进行高斯滤波，得到第一滤波图像Ig；然后对步骤S4得到的增强处理图像Ip进行双边滤波，得到第二滤波图像Ib，从而为后续图像的变换拼接做准备；
步骤S6所述的在增强处理图像中提取微动脉瘤候选点，具体为对增强处理图像Ip进行3×3的中值滤波，提取中值滤波后图像中的最小极值连通区域的质心作为微动脉瘤候选点；所述的在增强处理图像中提取微动脉瘤候选点，具体为对增强处理图像Ip进行3×3的中值滤波，提取中值滤波后图像中的最小极值连通区域，并剔除面积大于设定像素面积的连通区域，并将剩余的最小极值连通区域的质心作为微动脉瘤候选点。
3.根据权利要求2所述的眼底图像微动脉瘤区域检测方法，其特征在于步骤S7所述的对步骤S6得到的微动脉瘤候选点进行筛选，得到筛选后的微动脉瘤候选点，具体包括如下步骤：
A.以步骤S6得到的微动脉瘤候选点为中心，截取15×15的图像窗口，并划分为9个5×5的小窗口；
B.依次计算中心小窗口与周围8个小窗口之间的平均灰度差，得到灰度差序列{d1,...,d8}；
C.设定第一阈值为
Figure FDA0003488337780000032
第二阈值为
Figure FDA0003488337780000033
第三阈值为
Figure FDA0003488337780000034
σ为增强处理图像Ip的眼底有效区域的灰度标准差；
D.统计灰度差序列{d1,...,d8}中大于第一阈值的数量count1、灰度差序列{d1,...,d8}中大于第二阈值的数量count2和灰度差序列{d1,...,d8}中大于第三阈值的数量count3；
E.计算步骤A中的图像窗口默认9个方向上的梯度方向直方图的标准差stdhog；
F.若微动脉瘤候选点所对应的图像窗口满足如下两个条件中的一个，则认定该微动脉瘤候选点为筛选后的微动脉瘤候选点：
条件1：stdhog＜0.17且count1≥7且count2≥6且count3≥5；
条件2：stdhog＜0.15且count1≥6且count2≥6且count3≥6。
4.根据权利要求3所述的眼底图像微动脉瘤区域检测方法，其特征在于步骤S8所述的以步骤S7得到的微动脉瘤候选点为中心，在增强处理图像、第一滤波图像和第二滤波图像中截取图像窗口分别作为截取图像，具体为以步骤S7得到的微动脉瘤候选点为中心，分别在增强处理图像Ip、第一滤波图像Ig和第二滤波图像Ib中截取31×31的图像窗口作为截取图像，并依次记录为增强处理截取图像
Figure FDA0003488337780000041
第一截取图像
Figure FDA0003488337780000042
和第二截取图像
Figure FDA0003488337780000043
i表示为第i个微动脉瘤候选点。
5.根据权利要求4所述的眼底图像微动脉瘤区域检测方法，其特征在于步骤S9所述的对步骤S8得到的截取图像进行正负样本均衡处理，从而得到用于训练的图像，具体为将确定存在微动脉瘤的候选图像作为正样本，将不存在微动脉瘤的候选图像作为负样本，并对确定存在微动脉瘤的候选图像进行扩充变换，将正样本数量扩充至原来的若干倍；同时随机选取若干个负样本数量；最终得到用于训练的图像，包括增强处理训练图像
Figure FDA0003488337780000051
第一训练图像
Figure FDA0003488337780000052
和第二训练图像
Figure FDA0003488337780000053
其中j表示第j个用于训练的图像；本步骤的目的在于进行正负样本的均衡；所述的扩充变换包括上下翻转、左右翻转和旋转设定角度。
6.根据权利要求5所述的眼底图像微动脉瘤区域检测方法，其特征在于步骤S10所述的对步骤S9得到的用于训练的图像进行局部横截面变换，生成局部横截面变换图像，具体包括如下步骤：
a.以用于训练的图像的中心为垂直横截面线段的旋转中心，以固定角度6°往同一方向旋转该线段，每次旋转前依次提取横截面线段上的所有像素，并将转换为新图像的一列；
b.总共提取30条横截面线段，每条横截面线段包含31个等距离像素值；最终生成大小为30×31的局部横截面变换图像。
7.根据权利要求6所述的眼底图像微动脉瘤区域检测方法，其特征在于步骤S11所述的将用于训练的图像与各自对应的局部横截面变换图像进行大小调整和缝合拼接，从而得到训练图像数据集，具体包括如下步骤：
(1)将用于训练的图像和对应的局部横截面变换图像，采用双线性差值放大至64×64的图像大小；
(2)将放大后的图像
Figure FDA0003488337780000054
和
Figure FDA0003488337780000055
分别与
Figure FDA0003488337780000056
和
Figure FDA0003488337780000057
和
Figure FDA0003488337780000058
进行组合拼接，从而生成两组拼接图像作为双输入训练图像数据集；具体为采用如下公式进行拼接：
Figure FDA0003488337780000059
Figure FDA0003488337780000061
式中
Figure FDA0003488337780000062
表示来自增强处理图像Ip和第一滤波图像Ig的第一组第j个拼接图像；
Figure FDA0003488337780000063
表示来自增强处理图像Ip和第二滤波图像Ib的第二组第j个拼接图像。
8.根据权利要求7所述的眼底图像微动脉瘤区域检测方法，其特征在于步骤S12所述的构建微动脉瘤候选图像原始分类模型，具体为以ResNet34为基础网络，引入轻量级的注意力模块CBAM，构建具有相同分支结构ResNet34+CBAM的双分支多上下文深度集成学习模型；
所述的构建微动脉瘤候选图像原始分类模型，具体包括如下步骤：
模型包括两个相同分支结构；
每个分支结构由经典模型ResNet34和轻量级注意力模块CBAM组成；其中，ResNet34由4层不同大小的基础模块BasicBlock搭建，4层基础模块包含的残差模块ResBlock的数量分别为3、4、6和3；轻量级注意力模块包括通道注意力模块和空间注意力模块，依次将两种注意力模块接入每个残差模块ResBlock的卷积输出之后；
步骤S13所述的训练，具体为在训练过程中，采用如下的二元交叉熵损失函数进行训练：
Figure FDA0003488337780000064
式中L为损失函数的值；N为训练图像数据集中拼接图像对的总数；yj为训练图像数据集中第j对训练图像的标签；p(yj)为第j对训练图像预测是微动脉瘤区域的概率值。
9.根据权利要求8所述的眼底图像微动脉瘤区域检测方法，其特征在于步骤S14所述的采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对实际的眼底图像进行检测，具体为检测时，先对实际的眼底图像依次采用步骤S1～S8、S10和S11的技术步骤进行处理，得到两组微动脉瘤候选拼接图像，再采用步骤S13得到的眼底图像微动脉瘤区域检测模型，对微动脉瘤候选拼接图像对分类，完成实际眼底图像的微动脉瘤区域检测。
10.一种包括了权利要求1～9之一所述的眼底图像微动脉瘤区域检测方法的成像方法，其特征在于还包括如下步骤：
S15.将步骤S14得到的检测结果，在被检测的实际眼底图像上进行标注和二次成像，从而输出带有微动脉瘤区域检测结果的实际眼底图像。
CN202210088787.6A 2022-01-25 2022-01-25 眼底图像微动脉瘤区域检测方法及其成像方法 Active CN114445364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210088787.6A CN114445364B (zh) 2022-01-25 2022-01-25 眼底图像微动脉瘤区域检测方法及其成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210088787.6A CN114445364B (zh) 2022-01-25 2022-01-25 眼底图像微动脉瘤区域检测方法及其成像方法

Publications (2)

Publication Number Publication Date
CN114445364A true CN114445364A (zh) 2022-05-06
CN114445364B CN114445364B (zh) 2024-05-07

Family

ID=81369888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210088787.6A Active CN114445364B (zh) 2022-01-25 2022-01-25 眼底图像微动脉瘤区域检测方法及其成像方法

Country Status (1)

Country Link
CN (1) CN114445364B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070002275A1 (en) * 2005-07-01 2007-01-04 Siemens Corporate Research Inc. Method and System For Local Adaptive Detection Of Microaneurysms In Digital Fundus Images
CN110276356A (zh) * 2019-06-18 2019-09-24 南京邮电大学 基于r-cnn的眼底图像微动脉瘤识别方法
CN111292285A (zh) * 2018-11-21 2020-06-16 中南大学 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法
WO2020151149A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 微动脉瘤自动检测方法、装置及计算机可读存储介质
WO2021061543A1 (en) * 2019-09-24 2021-04-01 W&wsens Devices Inc. Microstructure enhanced absorption photosensitive devices
CN112700409A (zh) * 2020-12-28 2021-04-23 中南大学 视网膜微动脉瘤自动检测方法及成像方法
CN113838153A (zh) * 2020-06-23 2021-12-24 北京大学 一种基于血管造影图像的血管管径分析系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070002275A1 (en) * 2005-07-01 2007-01-04 Siemens Corporate Research Inc. Method and System For Local Adaptive Detection Of Microaneurysms In Digital Fundus Images
CN111292285A (zh) * 2018-11-21 2020-06-16 中南大学 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法
WO2020151149A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 微动脉瘤自动检测方法、装置及计算机可读存储介质
CN110276356A (zh) * 2019-06-18 2019-09-24 南京邮电大学 基于r-cnn的眼底图像微动脉瘤识别方法
WO2021061543A1 (en) * 2019-09-24 2021-04-01 W&wsens Devices Inc. Microstructure enhanced absorption photosensitive devices
CN113838153A (zh) * 2020-06-23 2021-12-24 北京大学 一种基于血管造影图像的血管管径分析系统
CN112700409A (zh) * 2020-12-28 2021-04-23 中南大学 视网膜微动脉瘤自动检测方法及成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINGYU DU: "Automatic microaneurysm detection in fundus image based on local corss-section transformation and multi-feature fusion", COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE, vol. 196, 30 November 2020 (2020-11-30), pages 1 - 15 *
邹北骥: "一种基于改进U 形网络的 眼底图像视网膜新生血管检测方法", 湖南大学学报, vol. 48, no. 4, 30 April 2021 (2021-04-30), pages 1 - 7 *

Also Published As

Publication number Publication date
CN114445364B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
Tan et al. Automated segmentation of exudates, haemorrhages, microaneurysms using single convolutional neural network
Dash et al. A thresholding based technique to extract retinal blood vessels from fundus images
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN111815574B (zh) 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法
Chanwimaluang et al. An efficient blood vessel detection algorithm for retinal images using local entropy thresholding
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN110288597B (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
CN110766643A (zh) 一种面向眼底图像的微动脉瘤检测方法
TWI696145B (zh) 大腸鏡影像電腦輔助辨識系統及方法
US20090154792A1 (en) Linear Feature Detection Method and Apparatus
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
Garifullin et al. Deep Bayesian baseline for segmenting diabetic retinopathy lesions: Advances and challenges
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测系统
Shahin et al. A novel white blood cells segmentation algorithm based on adaptive neutrosophic similarity score
CN106355584A (zh) 基于局部熵确定阈值的眼底图像微动脉瘤自动检测方法
JP7305046B2 (ja) 画像分類方法及び装置並びに機器
CN115797352B (zh) 一种用于中医保健体质检测的舌象图像处理系统
CN114565620B (zh) 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN112465842A (zh) 基于U-net网络的多通道视网膜血管图像分割方法
Zhao et al. Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation
CN115393283A (zh) 一种基于浅层监督和反馈注意力的息肉图像分割方法
Shambhu et al. Edge-based segmentation for accurate detection of malaria parasites in microscopic blood smear images: a novel approach using FCM and MPP algorithms
CN112700409A (zh) 视网膜微动脉瘤自动检测方法及成像方法
KR102430946B1 (ko) 소장 정결도를 진단하는 시스템 및 방법
CN117132487A (zh) 一种显微镜图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant