CN111815574B - 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 - Google Patents

一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 Download PDF

Info

Publication number
CN111815574B
CN111815574B CN202010558465.4A CN202010558465A CN111815574B CN 111815574 B CN111815574 B CN 111815574B CN 202010558465 A CN202010558465 A CN 202010558465A CN 111815574 B CN111815574 B CN 111815574B
Authority
CN
China
Prior art keywords
image
blood vessel
fundus
neural network
vessel image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010558465.4A
Other languages
English (en)
Other versions
CN111815574A (zh
Inventor
丁卫平
孙颖
鞠恒荣
张毅
冯志豪
李铭
万杰
曹金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202010558465.4A priority Critical patent/CN111815574B/zh
Publication of CN111815574A publication Critical patent/CN111815574A/zh
Priority to PCT/CN2021/086437 priority patent/WO2021253939A1/zh
Priority to LU500959A priority patent/LU500959B1/en
Application granted granted Critical
Publication of CN111815574B publication Critical patent/CN111815574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种用于眼底视网膜血管图像分割的粗糙集神经网络方法,包括如下步骤:S10图像预处理,获得基于粗糙集增强眼底视网膜血管图像;S20构建U‑net神经网络模型;S30利用粒子群优化算法(PSO)对所述U‑net神经网络模型进行优化训练,获得PSO‑U‑net神经网络模型;以及S40将待测彩色眼底视网膜血管图像采用粗糙集理论进行图像增强预处理后使用所述PSO‑U‑net神经网络模型对所述待测彩色眼底视网膜血管图像分割。本发明的一种用于眼底视网膜血管图像分割的粗糙集神经网络方法,减少了医护人员的工作量,避免了医护人员经验和技能的差别对同一幅眼底图像分割结果存在的差异,有效的进行彩色眼底视网膜血管图像分割,获得更高的分割精度和效率。

Description

一种基于粗糙集神经网络的眼底视网膜血管图像分割方法
技术领域
本发明涉及医学图像处理技术领域,具体涉及一种用于眼底视网膜血管图像分割的粗糙集神经网络方法。
背景技术
眼底图像中视网膜血管的健康状况对于医生早期诊断糖尿病心脑血管疾病及其多种眼科疾病具有重要的意义与价值,但由于视网膜血管自身结构复杂,同时易受采集环境中光照因素的影响,使得临床上手动分割视网膜血管不仅工作量巨大而且对医疗人员的经验和技能要求颇高。另外不同的医疗人员对同一幅眼底图像的分割结果可能存在差异,手动分割已不能满足临床的需要。
随着计算机技术的不断发展,利用人工智能技术对眼底视网膜血管图像进行自动分割,可有效对眼科疾病进行早期的辅助诊断和决策。深度学习中的卷积神经网络模型凭借其局部感知、参数共享的特殊结构在医学图像处理方面有着独特的优越性。由于图像信息具有较强的空间复杂性、相关性,以及图像处理过程中会遇到不完整性和不确定性等问题,因此将粗糙集理论应用到图像处理中,在很多场合具有比传统方法更好的效果。
发明内容
为了解决上述问题,本发明提供一种用于眼底视网膜血管图像分割的粗糙集神经网络方法,减少了医护人员的工作量,避免了医护人员经验和技能的差别对同一幅眼底图像分割结果存在的差异,有效的进行彩色眼底视网膜血管图像分割,获得更高的分割精度和效率。
为了实现以上目的,本发明采取的一种技术方案是:
一种用于眼底视网膜血管图像分割的粗糙集神经网络方法,包括如下步骤:S10图像预处理,将每一张大小为M×M×3的标准RGB彩色眼底视网膜血管图像采用粗糙集理论进行图像增强预处理,获得基于粗糙集增强眼底视网膜血管图像;S20构建U-net神经网络模型,对所述基于粗糙集增强眼底视网膜血管图像进行分割获得分割图,将所述分割图与所述标准RGB彩色眼底视网膜血管图像所对应的标准分割标签图之间的误差作为所构U-net神经网络的误差函数,获得所述U-net神经网络模型;S30利用粒子群优化算法(PSO)对所述U-net神经网络模型进行优化训练,将所述基于粗糙集增强的眼底视网膜血管图像作为粒子,通过粒子群不断迭代,得到最优种群粒子,利用梯度下降对所述U-net神经网络参数进行调整,获得PSO-U-net神经网络模型;以及S40 将待测彩色眼底视网膜血管图像采用粗糙集理论进行图像增强预处理后使用所述PSO-U-net神经网络模型对所述待测彩色眼底视网膜血管图像分割。
进一步地,所述U-net神经网络模型包括输入层、卷积层、ReLU非线性层、池化层、反卷积层以及输出层。
进一步地,所述步骤S10包括如下步骤:S11将每一张大小为M×M×3的标准RGB彩色眼底视网膜血管图像存储为三个大小均为M×M的矩阵,分别记为R*、G*以及B*,矩阵中的每个值表示三通道的每个像素点的每个颜色的分量值;通过矩阵R*、G*以及B*建立HSI模型,其中H表示色调,S表示饱和度,I表示亮度:
Figure GDA0002630988600000024
其中
Figure GDA0002630988600000021
Figure GDA0002630988600000022
Figure GDA0002630988600000023
S12所述亮度I分量相当于眼底视网膜血管图像的灰度化图,将其看作一个图像信息系统,利用粗糙集理论进行图像预处理,大小为M×M的二维眼底视网膜图像作为论域U,眼底视网膜图像中的每个像素点x表示U中的一个对象,像素点x的灰度值记为f(m,n),,其中,(m,n)表示像素点x的位置为第m 行第n列确定眼底视网膜血管灰度图像的两个条件属性为c1和c2,即C={c1,c2},其中c1表示像素点的灰度值属性,属性值为c1={0,1},c2记为噪声属性,表示两个相邻子块的平均灰度之差的绝对值,属性值为c2={0,1};决策属性D表示像素点的分类,D={d1,d2,d3,d4},其中d1表示较亮无噪声区域,d2表示亮区边缘噪声区,d3表示较暗无噪声区,d4表示暗区边缘噪声区,从而构造一个眼底视网膜血管图像信息系统(U,C∪D);S13确定灰度值阈值α,对于U中第m行第n列像素点x的灰度值表示为
Figure GDA00026309886000000314
如果
Figure GDA0002630988600000031
满足
Figure GDA0002630988600000032
那么c1=1,表示像素点x的灰度值为[α+1,255]之间,归为
Figure GDA0002630988600000033
这个等价类,表示该像素点属于眼底视网膜血管图像中的较亮集合;否则c1=0,表示像素点x的灰度值为[0,α]之间,归为
Figure GDA0002630988600000034
这个等价类,表示该像素点属于眼底视网膜血管图像中较暗集合;S14确定噪声阈值β,将眼底视网膜血管图像按照2×2像素划分子块,
Figure GDA0002630988600000035
表示子块与相邻子块像素灰度平均值之差的绝对值,即
Figure GDA0002630988600000036
其中avg(Si,j)表示子块Si,j的像素平均值,
Figure GDA0002630988600000037
Figure GDA0002630988600000038
如果
Figure GDA0002630988600000039
满足
Figure GDA00026309886000000310
则c2=1,表示像素点x有噪声,归为
Figure GDA00026309886000000311
等价类,即该像素属于边缘噪声集合;否则c2=0,表示像素点x 无噪声,归为
Figure GDA00026309886000000312
等价类,即该像素属于无噪声集合;S15根据以上两个条件属性c1和c2,判断像素点所属于的集合,作为决策依据,对像素点进行决策分类,对原眼底视网膜血管图像P进行子图划分,根据灰度值属性c1和噪声属性c2,根据条件属性c2将原图划分为较亮无噪声子图P1、亮区边缘噪声子图P2、较暗无噪声子图P3和暗区边缘噪声子图P4;将较亮无噪声子图P1补全,即在所有较暗和噪声像素位置处,分别用灰度阈值α和噪声阈值β对其进行填充,构成P1′;将较暗无噪声子图P3补全,即在所有较亮和噪声像素位置处,分别用灰度阈值α和噪声阈值β对其进行填充,构成P3′;以及S16分别对P1′和P3′进行增强变换:对P1′作直方图均衡变换,对P3′作直方图指数变换,并对P1′和P3′直方图变换后的图像进行重叠,获得增强的眼底视网膜血管图像P′,并对增强眼底视网膜血管图像P′根据公式(4)进行归一化操作如下:
Figure GDA00026309886000000313
获得基于粗糙集增强眼底视网膜血管图像,其中xi表示眼底视网膜血管图像的第i个像素点值,min(x)和max(x)分别表示眼底视网膜血管图像像素的最小值和最大值。
进一步地,所述步骤S20包括如下步骤:S21采用下采样对所述粗糙集增眼底视网膜血管图像行特征提取,利用大小为3×3的卷积核对输入眼底视网膜血管图像进行2次卷积操作,并且选用ReLU激活函数进行非线性变换,然后进行2×2池化操作,重复4次,在每进行一次池化之后的第一个3×3卷积操作, 3×3卷积核数量成倍增加;之后再进行2次3×3的卷积操作,继续完成上述下采样特征提取相关操作;对于卷积层的计算,表示如下:
Figure GDA0002630988600000041
其中Mj表示输入的特征图集合,
Figure GDA0002630988600000042
表示第n层的第j个特征图,
Figure GDA0002630988600000043
表示卷积核函数,f()表示激活函数,使用ReLU函数作为激活函数,bj n是偏置参数;对于池化层的计算,表示如下:
Figure GDA0002630988600000044
其中β是下采样层特征图的权值常数,down()是下采样函数;S22采用上采样进行操作,首先进行2次3×3的反卷积操作,对最大池化层的图像进行复制和剪裁,并与反卷积所得图像进行拼接;然后进行3×3的卷积操作,重复4次,在每进行一次拼接之后的第一个3×3卷积操作,3×3卷积核数量成倍减少;最后进行2次3×3的卷积操作和1次1×1的卷积操作,此时完成上采样过程;以及 S23经过上采样和下采样过程,通过前向计算出U-net神经网络得到的分割图,与所述标准RGB彩色眼底视网膜血管图像所对应的标准分割标签图进行误差运算,误差函数表示如下:
Figure GDA0002630988600000045
其中T表示输入U-net神经网络的眼底图像样本数量,y_outt(i)表示U-net神经网络输出的第t个眼底视网膜图像样本中第i个像素点灰度值,y_truet(i)表示第 i个眼底视网膜图像标签中第i个像素点灰度值。
进一步地,所述步骤S23设置误差阈值,所述误差阈值为0.1,当所述误差不大于所述误差阈值时,获得所需的U-net神经网络模型;当所述误差大于所述误差阈值时,根据梯度下降算法进行反向传播来调整网络权值,然后重复S21~S22步骤进行前向计算,直至所述误差不大于所述误差阈值为止。
进一步地,所述步骤S30包括如下步骤:S31从所述基于粗糙集增强眼底视网膜血管图像训练集中随机选取少量H张眼底图像作为参照图像,将粒子群 Q表示为Q=(Q1,Q2,...,QH),H表示粒子群Q中的粒子个数,其数量与选取的眼底图像的张数保持一致,每个粒子的每一位表示一位连接权值或者阈值,第i个粒子Qi的编码方式为Qi={Qi1,Qi2,...,Qin},其中n表示连接权值或者阈值的总个数,初始化加速常数σ1,σ2和惯性权重w的初始值,将每个粒子位置向量 Yi={yi1,yi2,...,yin}和粒子速度向量Vi={vi1,vi2,...,vin}初始化为区间[0,1]范围之内的随机数,其中n表示U-net模型中参数的个数;S32对每一个粒子,在U-net 模型中分别完成下采样和上采样过程,将U-net神经网络误差函数作为粒子群适应度函数,计算每个粒子的适应度,并对其按照升序排列,得到每个粒子的最佳位置pbest和整个粒子群的最佳位置gbest;S33如果已经达到误差阈值范围的极小值,表示训练已经收敛,则停止运行;否则按照公式(8)和(9)继续更新每个粒子的位置和速度;
v′in=wv′in1·rand()·(pbestin-x′in)+σ2·rand()·(gbestin-x′in) (8)
x′in=xin+v′in (9)
其中vin和xin表示粒子i当前的位置和速度,v′in和x′in分别表示粒子i更新后速度和位置,w为惯性权重,σ1和σ2为加速常数,rand()是区间[0,1]范围之内的随机函数;S34将更新后的粒子传回U-net神经网路,更新需要训练的连接权值,再次进行上采样和下采样过程,并计算其误差;以及S35将得到的粒子群的最佳位置gbest进行拆分,将其映射到U-net神经网络模型的权值和阈值,则完成粒子群优化算法PSO对U-net神经网络权值优化的全过程。
本发明的上述技术方案相比现有技术具有以下优点:
本发明的一种用于眼底视网膜血管图像分割的粗糙集神经网络方法,减少了医护人员的工作量,避免了医护人员经验和技能的差别对同一幅眼底图像分割结果存在的差异,有效的进行彩色眼底视网膜血管图像分割,获得更高的分割精度和效率。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其有益效果显而易见。
图1所示为本发明一实施例的用于眼底视网膜血管图像分割的粗糙集神经网络方法的流程图;
图2所示为本发明一实施例的用于眼底视网膜血管图像分割的粗糙集神经网络方法详细流程图;
图3所示为本发明一实施例的U-net神经网络模型结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提供了一种用于眼底视网膜血管图像分割的粗糙集神经网络方法,如图1~2所示,包括如下步骤:S10图像预处理,将每一张大小为M×M×3 的标准RGB彩色眼底视网膜血管图像采用粗糙集理论进行图像增强预处理,获得基于粗糙集增强眼底视网膜血管图像。S20构建U-net神经网络模型,对所述基于粗糙集增强眼底视网膜血管图像进行分割获得分割图,将所述分割图与所述标准RGB彩色眼底视网膜血管图像所对应的标准分割标签图之间的误差作为所构U-net神经网络的误差函数,获得所述U-net神经网络模型。S30利用粒子群优化算法(PSO)对所述U-net神经网络模型进行优化训练,将所述基于粗糙集增强的眼底视网膜血管图像作为粒子,通过粒子群不断迭代,得到最优种群粒子,利用梯度下降对所述U-net神经网络参数进行调整,获得 PSO-U-net神经网络模型。以及S40将待测彩色眼底视网膜血管图像采用粗糙集理论进行图像增强预处理后使用所述PSO-U-net神经网络模型对所述待测彩色眼底视网膜血管图像分割。
所述步骤S10包括如下步骤:S11将每一张大小为M×M×3的标准RGB彩色眼底视网膜血管图像存储为三个大小均为M×M的矩阵,分别记为R*、G*以及B*,矩阵中的每个值表示三通道的每个像素点的每个颜色的分量值;通过矩阵R*、G*以及B*建立HSI模型,其中H表示色调,S表示饱和度,I表示亮度:
Figure GDA0002630988600000079
其中
Figure GDA0002630988600000071
Figure GDA0002630988600000072
Figure GDA0002630988600000073
S12所述亮度I分量相当于眼底视网膜血管图像的灰度化图,将其看作一个图像信息系统,利用粗糙集理论进行图像预处理,大小为M×M的二维眼底视网膜图像作为论域U,眼底视网膜图像中的每个像素点x表示U中的一个对象,像素点x的灰度值记为f(m,n),,其中,(m,n)表示像素点x的位置为第m 行第n列确定眼底视网膜血管灰度图像的两个条件属性为c1和c2,即C={c1,c2},其中c1表示像素点的灰度值属性,属性值为c1={0,1},c2记为噪声属性,表示两个相邻子块的平均灰度之差的绝对值,属性值为c2={0,1};决策属性D表示像素点的分类,D={d1,d2,d3,d4},其中d1表示较亮无噪声区域,d2表示亮区边缘噪声区,d3表示较暗无噪声区,d4表示暗区边缘噪声区,从而构造一个眼底视网膜血管图像信息系统(U,C∪D)。
S13确定灰度值阈值α,对于U中第m行第n列像素点x的灰度值表示为
Figure GDA0002630988600000074
如果
Figure GDA0002630988600000075
满足
Figure GDA0002630988600000076
那么c1=1,表示像素点x的灰度值为[α+1,255]之间,归为
Figure GDA0002630988600000077
这个等价类,表示该像素点属于眼底视网膜血管图像中的较亮集合;否则c1=0,表示像素点x的灰度值为[0,α]之间,归为
Figure GDA0002630988600000078
这个等价类,表示该像素点属于眼底视网膜血管图像中较暗集合。
S14确定噪声阈值β,将眼底视网膜血管图像按照2×2像素划分子块,
Figure GDA0002630988600000081
表示子块与相邻子块像素灰度平均值之差的绝对值,即
Figure GDA0002630988600000082
其中avg(Si,j)表示子块Si,j的像素平均值,
Figure GDA0002630988600000083
Figure GDA0002630988600000084
如果
Figure GDA0002630988600000085
满足
Figure GDA0002630988600000086
则c2=1,表示像素点x有噪声,归为
Figure GDA0002630988600000087
等价类,即该像素属于边缘噪声集合;否则c2=0,表示像素点x 无噪声,归为
Figure GDA0002630988600000088
等价类,即该像素属于无噪声集合。
S15根据以上两个条件属性c1和c2,判断像素点所属于的集合,作为决策依据,对像素点进行决策分类,对原眼底视网膜血管图像P进行子图划分,根据灰度值属性c1和噪声属性c2,将原图划分为较亮无噪声子图P1、亮区边缘噪声子图P2、较暗无噪声子图P3和暗区边缘噪声子图P4;将较亮无噪声子图P1补全,即在所有较暗和噪声像素位置处,分别用灰度阈值α和噪声阈值β对其进行填充,构成P1′;将较暗无噪声子图P3补全,即在所有较亮和噪声像素位置处,分别用灰度阈值α和噪声阈值β对其进行填充,构成P3′。以及
S16分别对P1′和P3′进行增强变换:对P1′作直方图均衡变换,对P3′作直方图指数变换,并对P1′和P3′直方图变换后的图像进行重叠,获得增强的眼底视网膜血管图像P′,并对增强眼底视网膜血管图像P′根据公式(4)进行归一化操作如下:
Figure GDA0002630988600000089
获得基于粗糙集增强眼底视网膜血管图像,其中xi表示眼底视网膜血管图像的第i个像素点值,min(x)和max(x)分别表示眼底视网膜血管图像像素的最小值和最大值。
如图3所示,所述U-net神经网络模型包括输入层、卷积层、ReLU非线性层、池化层、反卷积层以及输出层。所述步骤S20包括如下步骤:S21采用下采样对所述粗糙集增眼底视网膜血管图像行特征提取,利用大小为3×3的卷积核对输入眼底视网膜血管图像进行2次卷积操作,并且选用ReLU激活函数进行非线性变换,然后进行2×2池化操作,重复4次,在每进行一次池化之后的第一个3×3卷积操作,3×3卷积核数量成倍增加;之后再进行2次3×3的卷积操作,继续完成上述下采样特征提取相关操作;
对于卷积层的计算,表示如下:
Figure GDA0002630988600000091
其中Mj表示输入的特征图集合,
Figure GDA0002630988600000092
表示第n层的第j个特征图,
Figure GDA0002630988600000093
表示卷积核函数,f()表示激活函数,使用ReLU函数作为激活函数,
Figure GDA0002630988600000094
是偏置参数;
对于池化层的计算,表示如下:
Figure GDA0002630988600000095
其中β是下采样层特征图的权值常数,down()是下采样函数。
S22采用上采样进行操作,首先进行2次3×3的反卷积操作,对最大池化层的图像进行复制和剪裁,并与反卷积所得图像进行拼接;然后进行3×3的卷积操作,重复4次,在每进行一次拼接之后的第一个3×3卷积操作,3×3卷积核数量成倍减少;最后进行2次3×3的卷积操作和1次1×1的卷积操作,此时完成上采样过程。以及
S23经过上采样和下采样过程,通过前向计算出U-net神经网络得到的分割图,与所述标准RGB彩色眼底视网膜血管图像所对应的标准分割标签图进行误差运算,误差函数表示如下:
Figure GDA0002630988600000096
其中T表示输入U-net神经网络的眼底图像样本数量,y_outt(i)表示U-net神经网络输出的第t个眼底视网膜图像样本中第i个像素点灰度值,y_truet(i)表示第 i个眼底视网膜图像标签中第i个像素点灰度值。
所述步骤S30包括如下步骤:S31从所述基于粗糙集增强眼底视网膜血管图像训练集中随机选取少量H张眼底图像作为参照图像,将粒子群Q表示为 Q=(Q1,Q2,...,QH),H表示粒子群Q中的粒子个数,其数量与选取的眼底图像的张数保持一致,每个粒子的每一位表示一位连接权值或者阈值,第i个粒子Qi的编码方式为Qi={Qi1,Qi2,...,Qin},其中n表示连接权值或者阈值的总个数,初始化加速常数σ1,σ2和惯性权重w的初始值,将每个粒子位置向量Yi={yi1,yi2,...,yin}和粒子速度向量Vi={vi1,vi2,...,vin}初始化为区间[0,1]范围之内的随机数,其中n表示 U-net模型中参数的个数;S32对每一个粒子,在U-net模型中分别完成下采样和上采样过程,将U-net神经网络误差函数作为粒子群适应度函数,计算每个粒子的适应度,并对其按照升序排列,得到每个粒子的最佳位置pbest和整个粒子群的最佳位置gbest;S33如果已经达到误差阈值范围的极小值,表示训练已经收敛,则停止运行;否则按照公式(8)和(9)继续更新每个粒子的位置和速度;
v′in=wv′in1·rand()·(pbestin-x′in)+σ2·rand()·(gbestin-x′in) (8)
x′in=xin+v′in (9)
其中vin和xin表示粒子i当前的位置和速度,v′in和x′in分别表示粒子i更新后速度和位置,w为惯性权重,σ1和σ2为加速常数,rand()是区间[0,1]范围之内的随机函数;S34将更新后的粒子传回U-net神经网路,更新需要训练的连接权值,再次进行上采样和下采样过程,并计算其误差;以及S35将得到的粒子群的最佳位置gbest进行拆分,将其映射到U-net神经网络模型的权值和阈值,则完成粒子群优化算法PSO对U-net神经网络权值优化的全过程。
以上所述仅为本发明的示例性实施例,并非因此限制本发明专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种基于粗糙集神经网络的眼底视网膜血管图像分割方法,其特征在于,包括如下步骤:
S10图像预处理,将每一张大小为M×M×3的标准RGB彩色眼底视网膜血管图像采用粗糙集理论进行图像增强预处理,获得基于粗糙集增强眼底视网膜血管图像,其具体步骤如下:
S11将每一张大小为M×M×3的标准RGB彩色眼底视网膜血管图像存储为三个大小均为M×M的矩阵,分别记为R*、G*以及B*,矩阵中的每个值表示三通道的每个像素点的每个颜色的分量值;通过矩阵R*、G*以及B*建立HSI模型,其中H表示色调,S表示饱和度,I表示亮度:
Figure FDA0003696286490000011
其中
Figure FDA0003696286490000012
Figure FDA0003696286490000013
Figure FDA0003696286490000014
S12所述亮度I分量相当于眼底视网膜血管图像的灰度化图,将其看作一个图像信息系统,利用粗糙集理论进行图像预处理,大小为M×M的二维眼底视网膜图像作为论域U,眼底视网膜图像中的每个像素点x表示U中的一个对象,像素点x的灰度值记为f(m,n),其中,(m,n)表示像素点x的位置为第m行第n列,确定眼底视网膜血管灰度图像的两个条件属性为c1和c2,即C={c1,c2},其中c1表示像素点的灰度值属性,属性值为c1={0,1},c2记为噪声属性,表示两个相邻子块的平均灰度之差的绝对值,属性值为c2={0,1};决策属性D表示像素点的分类,D={d1,d2,d3,d4},其中d1表示较亮无噪声区域,d2表示亮区边缘噪声区,d3表示较暗无噪声区,d4表示暗区边缘噪声区,从而构造一个眼底视网膜血管图像信息系统(U,C∪D);
S13确定灰度值阈值α,对于U中第m行第n列像素点x的灰度值表示为
Figure FDA0003696286490000015
如果
Figure FDA0003696286490000016
满足
Figure FDA0003696286490000017
那么c1=1,表示像素点x的灰度值为[α+1,255]之间,归为
Figure FDA0003696286490000021
这个等价类,表示该像素点属于眼底视网膜血管图像中的较亮集合;否则c1=0,表示像素点x的灰度值为[0,α]之间,归为
Figure FDA0003696286490000022
这个等价类,表示该像素点属于眼底视网膜血管图像中较暗集合;
S14确定噪声阈值β,将眼底视网膜血管图像按照2×2像素划分子块,
Figure FDA0003696286490000023
表示子块与相邻子块像素灰度平均值之差的绝对值,即
Figure FDA0003696286490000024
其中avg(Si,j)表示子块Si,j的像素平均值,
Figure FDA0003696286490000025
如果
Figure FDA0003696286490000026
满足
Figure FDA0003696286490000027
则c2=1,表示像素点x有噪声,归为
Figure FDA0003696286490000028
等价类,即该像素属于边缘噪声集合;否则c2=0,表示像素点x无噪声,归为
Figure FDA0003696286490000029
等价类,即该像素属于无噪声集合;
S15根据以上两个条件属性c1和c2,判断像素点所属于的集合,作为决策依据,对像素点进行决策分类,对原眼底视网膜血管图像P进行子图划分,根据灰度值属性c1和噪声属性c2,将原图划分为较亮无噪声子图P1、亮区边缘噪声子图P2、较暗无噪声子图P3和暗区边缘噪声子图P4;将较亮无噪声子图P1补全,即在所有较暗和噪声像素位置处,分别用灰度阈值α和噪声阈值β对其进行填充,构成P′1;将较暗无噪声子图P3补全,即在所有较亮和噪声像素位置处,分别用灰度阈值α和噪声阈值β对其进行填充,构成P′3;以及
S16分别对P′1和P′3进行增强变换:对P′1作直方图均衡变换,对P′3作直方图指数变换,并对P′1和P′3直方图变换后的图像进行重叠,获得增强的眼底视网膜血管图像P′,并对增强眼底视网膜血管图像P′根据公式(4)进行归一化操作如下:
Figure FDA00036962864900000210
获得所述基于粗糙集增强眼底视网膜血管图像,其中xi表示眼底视网膜血管图像的第i个像素点值,min(x)和max(x)分别表示眼底视网膜血管图像像素的最小值和最大值;
S20构建U-net神经网络模型,所述U-net神经网络模型包括输入层、卷积层、ReLU非线性层、池化层、反卷积层以及输出层;对所述基于粗糙集增强眼底视网膜血管图像进行分割获得分割图,将所述分割图与所述标准RGB彩色眼底视网膜血管图像所对应的标准分割标签图之间的误差作为所构U-net神经网络的误差函数,获得所述U-net神经网络模型,具体步骤如下:
S21采用下采样对所述粗糙集增强眼底视网膜血管图像进行特征提取,利用大小为3×3的卷积核对输入眼底视网膜血管图像进行2次卷积操作,并且选用ReLU激活函数进行非线性变换,然后进行2×2池化操作,重复4次,在每进行一次池化之后的第一个3×3卷积操作,3×3卷积核数量成倍增加;之后再进行2次3×3的卷积操作,继续完成上述下采样特征提取相关操作;
对卷积层的计算,表示如下:
Figure FDA0003696286490000031
其中Featureq表示输入的特征图集合,
Figure FDA0003696286490000032
表示第l层的第q个特征图,
Figure FDA0003696286490000033
表示卷积核函数,f()表示激活函数,使用ReLU函数作为激活函数,
Figure FDA0003696286490000034
是偏置参数;
对于池化层的计算,表示如下:
Figure FDA0003696286490000035
其中
Figure FDA0003696286490000036
表示第l+1层的第q个池化特征图,β是下采样层特征图的权值常数,down()是下采样函数;
S22采用上采样进行操作,首先进行2次3×3的反卷积操作,对最大池化层的图像进行复制和剪裁,并与反卷积所得图像进行拼接;然后进行3×3的卷积操作,重复4次,在每进行一次拼接之后的第一个3×3卷积操作,3×3卷积核数量成倍减少;最后进行2次3×3的卷积操作和1次1×1的卷积操作,此时完成上采样过程;以及
S23经过上采样和下采样过程,通过前向计算出U-net神经网络得到的分割图,与所述标准RGB彩色眼底视网膜血管图像所对应的标准分割标签图进行误差运算,误差函数表示如下:
Figure FDA0003696286490000037
其中T表示输入U-net神经网络的眼底图像样本数量,y_outt(x)表示U-net神经网络输出的第t个眼底视网膜图像样本中第x个像素点灰度值,y_truet(x)表示第t个眼底视网膜图像标签中第x个像素点灰度值;设置误差阈值,所述误差阈值为0.1,当所述误差不大于所述误差阈值时,获得所需的U-net神经网络模型;当所述误差大于所述误差阈值时,根据梯度下降算法进行反向传播来调整网络权值,然后重复S21~S22步骤进行前向计算,直至所述误差不大于所述误差阈值为止;
S30利用粒子群优化算法(PSO)对所述U-net神经网络模型进行优化训练,将所述基于粗糙集增强的眼底视网膜血管图像作为粒子,通过粒子群不断迭代,得到最优种群粒子,利用梯度下降对所述U-net神经网络参数进行调整,获得PSO-U-net神经网络模型;
S40将待测彩色眼底视网膜血管图像采用粗糙集理论进行图像增强预处理后使用所述PSO-U-net神经网络模型对所述待测彩色眼底视网膜血管图像分割。
2.根据权利要求1所述的一种基于粗糙集神经网络的眼底视网膜血管图像分割方法,其特征在于,所述步骤S30包括如下步骤:
S31从所述基于粗糙集增强眼底视网膜血管图像训练集中随机选取少量Z张眼底图像作为参照图像,将粒子群Q表示为Q=(Q1,Q2,...,QZ),Z表示粒子群Q中的粒子个数,其数量与选取的眼底图像的张数保持一致,每个粒子的每一位表示一位连接权值或者阈值,第a个粒子Qa的编码方式为Qa={Qa1,Qa2,...,QaN},其中N表示连接权值或者阈值的总个数,初始化加速常数σ1,σ2和惯性权重w的初始值,将每个粒子位置向量Ya={ya1,ya2,...,yaA}和粒子速度向量Va={va1,va2,...,vaA}初始化为区间[0,1]范围之内的随机数,其中A表示U-net模型中参数的个数;
S32对每一个粒子,在U-net模型中分别完成下采样和上采样过程,将U-net神经网络误差函数作为粒子群适应度函数,计算每个粒子的适应度,并对其按照升序排列,得到每个粒子的最佳位置pbest和整个粒子群的最佳位置gbest;
S33如果已经达到误差阈值范围的极小值,表示训练已经收敛,则停止运行;否则按照公式(8)和(9)继续更新每个粒子的位置和速度;
V′e=wV′e1·rand()·(pbeste-Y′e)+σ2·rand()·(gbeste-Y′e) (8)
Y′e=Ye+V′e (9)
其中Ve和Ye表示粒子e当前的位置和速度,V′e和Y′e分别表示粒子i更新后速度和位置,w为惯性权重,σ1和σ2为加速常数,rand()是区间[0,1]范围之内的随机函数;
S34将更新后的粒子传回U-net神经网路,更新需要训练的连接权值,再次进行上采样和下采样过程,并计算其误差;以及
S35将得到的粒子群的最佳位置gbest进行拆分,将其映射到U-net神经网络模型的权值和阈值,则完成粒子群优化算法PSO对U-net神经网络初始化权值优化的全过程。
CN202010558465.4A 2020-06-18 2020-06-18 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 Active CN111815574B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010558465.4A CN111815574B (zh) 2020-06-18 2020-06-18 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法
PCT/CN2021/086437 WO2021253939A1 (zh) 2020-06-18 2021-04-12 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法
LU500959A LU500959B1 (en) 2020-06-18 2021-04-12 Rough set neural network method for segmentation of fundus retinal blood vessel images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010558465.4A CN111815574B (zh) 2020-06-18 2020-06-18 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法

Publications (2)

Publication Number Publication Date
CN111815574A CN111815574A (zh) 2020-10-23
CN111815574B true CN111815574B (zh) 2022-08-12

Family

ID=72844725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010558465.4A Active CN111815574B (zh) 2020-06-18 2020-06-18 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法

Country Status (3)

Country Link
CN (1) CN111815574B (zh)
LU (1) LU500959B1 (zh)
WO (1) WO2021253939A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815574B (zh) * 2020-06-18 2022-08-12 南通大学 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法
CN115409765B (zh) * 2021-05-28 2024-01-09 南京博视医疗科技有限公司 一种基于眼底视网膜图像的血管提取方法及装置
CN114359104A (zh) * 2022-01-10 2022-04-15 北京理工大学 一种基于分级生成的白内障眼底图像增强方法
CN114494196B (zh) * 2022-01-26 2023-11-17 南通大学 基于遗传模糊树的视网膜糖尿病变深度网络检测方法
CN114612484B (zh) * 2022-03-07 2023-07-07 中国科学院苏州生物医学工程技术研究所 基于无监督学习的视网膜oct图像分割方法
CN115187609A (zh) * 2022-09-14 2022-10-14 合肥安杰特光电科技有限公司 一种大米黄粒检测方法和系统
CN115829883B (zh) * 2023-02-16 2023-06-16 汶上县恒安钢结构有限公司 一种异性金属结构件表面图像去噪方法
CN116228545B (zh) * 2023-04-04 2023-10-03 深圳市眼科医院(深圳市眼病防治研究所) 基于视网膜特征点的眼底彩色照相图像拼接方法及系统
CN116580008B (zh) * 2023-05-16 2024-01-26 山东省人工智能研究院 基于局部增广空间测地线生物医学标记方法
CN116342588B (zh) * 2023-05-22 2023-08-11 徕兄健康科技(威海)有限责任公司 一种脑血管图像增强方法
CN116740203B (zh) * 2023-08-15 2023-11-28 山东理工职业学院 用于眼底相机数据的安全存储方法
CN117437350B (zh) * 2023-09-12 2024-05-03 南京诺源医疗器械有限公司 一种用于手术术前规划的三维重建系统及方法
CN117058468B (zh) * 2023-10-11 2023-12-19 青岛金诺德科技有限公司 用于新能源汽车锂电池回收的图像识别与分类系统
CN117372284B (zh) * 2023-12-04 2024-02-23 江苏富翰医疗产业发展有限公司 眼底图像处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013155301A1 (en) * 2012-04-11 2013-10-17 University Of Florida Research Foundation, Inc. System and method for analyzing random patterns
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
WO2020056454A1 (en) * 2018-09-18 2020-03-26 MacuJect Pty Ltd A method and system for analysing images of a retina
CN111091916A (zh) * 2019-12-24 2020-05-01 郑州科技学院 人工智能中基于改进粒子群算法的数据分析处理方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254224A (zh) * 2011-07-06 2011-11-23 无锡泛太科技有限公司 一种基于粗糙集神经网络的图像识别的物联网电动汽车充电桩系统
CN110232372B (zh) * 2019-06-26 2021-09-24 电子科技大学成都学院 基于粒子群优化bp神经网络的步态识别方法
CN111815574B (zh) * 2020-06-18 2022-08-12 南通大学 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013155301A1 (en) * 2012-04-11 2013-10-17 University Of Florida Research Foundation, Inc. System and method for analyzing random patterns
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
WO2020056454A1 (en) * 2018-09-18 2020-03-26 MacuJect Pty Ltd A method and system for analysing images of a retina
CN111091916A (zh) * 2019-12-24 2020-05-01 郑州科技学院 人工智能中基于改进粒子群算法的数据分析处理方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Semantic Segmentation for Remote Sensing based on RGB Images and Lidar Data using Model-Agnostic Meta-Learning and Partical Swarm Optimization;Kai Zhang 等;《IFAC PapersOnLine》;20200131;第53卷(第5期);第387-402页 *
基于密集注意力网络的视网膜血管图像分割;梅旭璋 等;《计算机工程》;20200315;第46卷(第3期);第267-272、279页 *
基于粗糙集和改进遗传算法优化BP神经网络的算法研究;李伟 等;《西北工业大学学报》;20120831;第30卷(第4期);第601-606页 *
基于粗糙集理论的图像增强算法研究;吴谭;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20140415(第04期);第I138-1092页 *
眼底照相机图像处理与分析关键技术研究;顾晶龙;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20110615(第06期);第I138-485页 *

Also Published As

Publication number Publication date
WO2021253939A1 (zh) 2021-12-23
CN111815574A (zh) 2020-10-23
LU500959A1 (en) 2022-01-04
LU500959B1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
CN111815574B (zh) 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法
US11295178B2 (en) Image classification method, server, and computer-readable storage medium
US20200250491A1 (en) Image classification method, computer device, and computer-readable storage medium
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN108021916B (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN106920227B (zh) 基于深度学习与传统方法相结合的视网膜血管分割方法
CN108198184B (zh) 造影图像中血管分割的方法和系统
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN111815562B (zh) 一种U-Net与自适应PCNN相结合的视网膜血管分割方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN112508864A (zh) 基于改进UNet++的视网膜血管图像分割方法
Li et al. Vessel recognition of retinal fundus images based on fully convolutional network
Kumar et al. Image processing in diabetic related causes
CN114648806A (zh) 一种多机制自适应的眼底图像分割方法
CN114581434A (zh) 基于深度学习分割模型的病理图像处理方法、电子设备
CN104867151B (zh) 一种基于延展性主动轮廓模型的眼底图像血管分割方法
CN110610480B (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
Acharya et al. Swarm intelligence based adaptive gamma corrected (SIAGC) retinal image enhancement technique for early detection of diabetic retinopathy
CN109829931B (zh) 一种基于区域增长pcnn的视网膜血管分割方法
Dong et al. Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network
Bhuvaneswari et al. Contrast enhancement of retinal images using green plan masking and whale optimization algorithm
CN116092667A (zh) 基于多模态影像的疾病检测方法、系统、装置及存储介质
CN115661185A (zh) 一种眼底图像血管分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant