CN110473188A - 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 - Google Patents
一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 Download PDFInfo
- Publication number
- CN110473188A CN110473188A CN201910731986.2A CN201910731986A CN110473188A CN 110473188 A CN110473188 A CN 110473188A CN 201910731986 A CN201910731986 A CN 201910731986A CN 110473188 A CN110473188 A CN 110473188A
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- image
- frangi
- layer
- enhancing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 69
- 230000011218 segmentation Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 29
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 230000004044 response Effects 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000010606 normalization Methods 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 24
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims description 2
- 230000008602 contraction Effects 0.000 claims 1
- 239000000203 mixture Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 206010020772 Hypertension Diseases 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002759 z-score normalization Methods 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 206010029164 Nephrotic syndrome Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 230000001594 aberrant effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 208000009928 nephrosis Diseases 0.000 description 1
- 231100001027 nephrosis Toxicity 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 108010080213 vascular factor Proteins 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，首先，对输入图像提取绿色分量，并利用对比度受限直方图均衡化方法在提取绿色分量后的基础上进行对比度调整；计算出调整对比度后的图像中每个像素点的Hessian矩阵；利用Hessian矩阵的特征值，在尺度因子为的条件下构造Frangi血管相似性函数，并得到最大响应；将输入图像的每个像素点的RGB三个同道的像素值分别减去最大响应值与增强因子factor的乘积；然后，将经过frangi增强的图像进行灰度变换，将每个像素值进行零均值归一化操作到[0,1]之间。最后，将得到的训练图像块和标签图像块输入到注意力机制UNet网络中，进行训练。并通过测试获得分割结果。本发明，提高了模型的泛化能力。
Description
技术领域
本发明涉及图像分析和深度学习技术领域，特别是一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法。
背景技术
眼底血管是人体血液循环系统中唯一可以非侵入直接观察的部分。研究表明眼底血管异常与冠心病、高血压、糖尿病，动脉粥样硬化和肾病等的存在和严重程度相关，如局限性视网膜动脉缩窄好转率与高血压控制程度密切相关。眼底图像中血管的提取和测量对于与之相关疾病的辅助检测和量化分析具有重要的临床意义，而血管的精确分割是上述工作的前提。由于存在个体的差异，眼底成像之后眼底图像亮度和色彩上存在差别，血管在末端与背景难以区分，使得整个眼底血管网络难以完成分割；而且在眼底血管异常的图像上伴有视网膜病变，除了新生血管之外，还伴微动脉瘤，硬性渗出、出血等小动脉病变，这些病变有的临近血管网络，有的在颜色与形状上和血管相似，给血管网络的分割带来较大的干扰。因此眼底图像中的血管分割技术一直以来都是图像分析领域的难点和热点。
近年来眼底图像中的血管分割的研究主要集中在监督学习方法领域。监督学习的方法总体上要优于无监督的方法，但在分割精度、效率等问题上仍然有待改进。随着深度学习方法的发展，在血管特征分析中，可以直接从输入数据中自动学习复杂的特征层次，许多深度学习模型应用到眼底图像血管分割中，比如FCN，UNet，ResNet(残差网络)，GANs(生成对抗网络)等。但目前方法依然存在以下几个局限性：(1)容易受到眼底图像当中存在的非血管因素的影响，如噪声、病变和光照，导致血管分割效果不佳；(2)血管分割模型泛化能力不佳，一些模型在单个数据集有较好表现，但在多个数据集或者不同数据集之间进行测试时分割效果不佳。
对于眼底图像的血管分割而言，主要存在两个方面的问题：一方面，由于图像中往往存在眼底成像时因光线不足造成的各种成像伪像，例如模糊，噪声，不均匀照明等，另外还有眼底图像的病理性因素的影响，造成了血管分割的困难，尤其使细小血管的分割难度增加；另一方面，现有深度模型大多仅在单个或者两个数据集上进行算法设计，模型泛化能力有限。
发明内容
有鉴于此，本发明的目的是提出一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，通过使用Frangi增强对图像中的血管进行预处理等，有效增强眼底血管，有利于细小血管的分割，提高血管分割的灵敏度；在UNet神经网络中引入注意力模型，既能消除Frangi增强带来的血管误检，又可以较好地抑制了眼底图像中非血管区域的噪声及病变对血管分割的影响，提高了模型的泛化能力。
本发明采用以下方案实现：一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，包括以下步骤：
步骤S1：提供RGB眼底图像作为输入图像，对所述输入图像提取绿色分量，并利用对比度受限直方图均衡化方法在提取绿色分量后的图像上进行对比度调整；
步骤S2：计算出步骤S1调整对比度后的图像中每个像素点的Hessian矩阵，得到Hessian矩阵的特征值；
步骤S3：利用Hessian矩阵的特征值，在尺度因子为σ的条件下构造Frangi血管相似性函数，并得到最大响应；
步骤S4：将步骤S1中的输入图像的每个像素点的RGB三个同道的像素值分别减去最大响应值与增强因子factor的乘积，用以获得最终的血管增强并得到经过Frangi增强的图像；
步骤S5：将经过Frangi增强的图像进行灰度变换，将每个像素值进行零均值归一化(Z-Score Normalization)操作到[0,1]之间；训练时，采用一个48×48大小的采样框随机选择中心，对归一化后的图像进行重采样，每次采样生成一个训练图像块，共生成1万个训练图像块；并将训练图像的标签进行与训练图像块相同的重采样分块操作，获得标签图像块；测试时，如果测试图像长宽不是48的整数倍，则将其扩充成48的整数倍，扩充部分的像素值为0，并测试图像平均分成多个48x48的测试图像块；
步骤S6：将步骤S5中得到的训练图像块和标签图像块输入到带有注意力模型的注意力机制UNet网络中，进行训练；测试时，将步骤S5中得到的测试图像块输入到带有注意力模型的注意力机制UNet网络中进行像素点预测，网络输出即是测试图像块分割结果；随后将所有预测后的测试图像块进行重新拼接成测试图像，并删除其中扩充的像素，即得到了测试图像的最终分割结果。
进一步地，所述步骤S1提取绿色通道的计算公式定义如下：
I＝a*IR+b*IG+c*IB
其中I表示输入图像，IR、IG、IB分别代表I的三个通道值，a、b、c代表各个通道的权重，其值a＝0,c＝0,b＝1。
进一步地，所述步骤S2的具体内容为：
令步骤S1调整对比度后的图像中的一点为P(x,y)，则该点的Hessian矩阵的表达式为：
其中，fxx、fxy、fyx和fyy分别表示该像素点P的四个高斯二阶偏导数；令矩阵H的两个特征值为λ1，λ2，且|λ1|＜|λ2|则特征值计算如下：
式中
进一步地，所述步骤S3中所述Frangi血管相似性函数为：
上式中，||H||F表示矩阵的范数；C为矩阵最大范数的一半；当尺度因子σ与血管宽度相近时，血管相似性函数获得最大响应。
进一步地，所述获得最大响应的具体内容为：通过调整σ的大小，使σ接近血管宽度时能够获得最大响应；将σ限制在[σmin，σmax]之间，均分为N个不同尺度，σ逐级增大，求出每个σ下的每个像素点的输出响应，最后用最大值法求出最大响应，如下公式：
v(p)为P点处的血管相似性函数最大输出响应。
进一步地，所述步骤S4中获得最终的血管增强的具体公式为：
上式中，lR,G,B为原图每个像素点的RGB三个通道值；L为增强后的像素值，factor为增强因子。
进一步地，所述步骤S5中零均值归一化公式如下：
其中，u和σ分别为数据的平均值与标准差，z为归一化后图像，x为灰度变换后的像素。
进一步地，步骤S6中所述UNet网络包含4层编码层和4层解码层；编码层每一层主要由两个3*3的卷积层，一个BN(Batch Normalization)层以及一个步数为2的2*2的池化层组成；在进行完每一个卷积操作之后，通过Relu函数进行激活，最后进行池化操作；解码层的每一层与收缩网络层次相对应，每一层扩张网络由两个3*3的卷积层，一个BN层以及一个步数为2的2*2的池化层组成，在进行每一层进行卷积之前，需要进行一次跳跃连接(SkipConnection)操作，除第一层外将来自编码层的特征与来自解码层特征传入注意力模型，并将注意力模型的输出与解码层的特征采用特征层拼接(concatenate)方法拼接融合；最后，网络的输出通过一个1×1大小的sigmiod函数进行分类。
进一步地，步骤S6中所述的注意力模型其特征在于：注意力模型的输入分别是门控信号矢量g和特征图为获得输出，定义像素点i的门控系数为通过生成一个注意系数α∈[0,1]重新调整输入特征的大小，即和α，具体公式：
式中，为sigmoid激活函数，Wx、Wg、bg和为线性变换参数；
门控信号g和输入特征图分别卷积后逐点相加；之后，经过非线性变换函数relu、1×1×1的卷积sigmoid函数以及上采样获得每个像素点的注意力系数。
与现有技术相比，本发明有以下有益效果：
本发明准确率高，泛化能力强，能够在不同类型的眼底图像中获得精准的血管分割结果。通过使用Frangi增强算法，提高了血管的对比度，增加了血管之间的连续性和完整性，较大程度上提高血管分割的精度。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例的增强过程示意图，其中(a)为原图，(b)为绿色通道，(c)为CLAHE，(d)为血管最大响应，(e)为增强结果。
图3为本发明实施例的图像分快结果图。
图4为本发明实施例的注意力机制UNet网络结构图。
图5为本发明实施例的注意力模型图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本实施例提供了一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，包括以下步骤：
步骤S1：提供RGB眼底图像作为输入图像，对所述输入图像提取绿色分量，并利用对比度受限直方图均衡化方法(CLAHE)在提取绿色分量后的图像上进行对比度调整；
步骤S2：计算出步骤S1调整对比度后的图像中每个像素点的Hessian矩阵，得到Hessian矩阵的特征值；
步骤S3：利用Hessian矩阵的特征值，在尺度因子为σ的条件下构造Frangi血管相似性函数，并得到最大响应；
步骤S4：将步骤S1中的输入图像每个像素点的RGB三个同道的像素值分别减去最大响应值与增强因子factor的乘积，用以获得最终的血管增强并得到经过Frangi增强的图像；
步骤S5：将经过Frangi增强的图像进行灰度变换，将每个像素值进行零均值归一化(Z-Score Normalization)操作到[0,1]之间；训练时，采用一个48×48大小的采样框随机选择中心，对归一化后的图像进行重采样，每次采样生成一个训练图像块，共生成1万个训练图像块；并将训练图像的标签进行与训练图像块相同的重采样分块操作，获得标签图像块；测试时，如果测试图像长宽不是48的整数倍，则将其扩充成48的整数倍，扩充部分的像素值为0，并测试图像平均分成多个48x48的测试图像块，如图3所示。
随后，将图像块送入注意力机制UNet网络，网络结构如图4。
步骤S6：将步骤S5中得到的训练图像块和标签图像块输入到带有注意力模型的注意力机制UNet网络中，进行训练。测试时，将步骤S5中得到的测试图像块输入到带有注意力模型的注意力机制UNet网络中进行像素点预测，网络输出即是测试图像块的分割结果。随后将预测后的测试图像块进行重新拼接成测试图像，并删除其中扩充的像素，这就得到了测试图像的最终分割结果。
在本实施例中，所述步骤S1中，提取绿色通道的计算公式定义如下：
I＝a*IR+b*IG+c*IB
其中I表示输入图像，IR、IG、IB分别代表I的三个通道值，a、b、c代表各个通道的权重，其值a＝0,c＝0,b＝1。
在本实施例中，所述步骤S2的具体内容为：
令步骤S1调整对比度后的图像中的一点为P(x,y)，则该点的Hessian矩阵的表达式为：
其中，fxx、fxy、fyx和fyy分别表示该像素点P的四个高斯二阶偏导数；令矩阵H的两个特征值为λ1，λ2，且|λ1|＜|λ2|则特征值计算如下：
式中
在本实施例中，所述步骤S3中所述Frangi血管相似性函数为：
上式中，||H||F表示矩阵的范数；C为矩阵最大范数的一半；当尺度因子σ与血管宽度相近时，血管相似性函数获得最大响应。
在本实施例中，所述获得最大响应的具体内容为：通过调整的大小，使接近血管宽度时可获得最大响应。本实施例将限制在[σmin，σmax]之间，均分为N个不同尺度，σ逐级增大，求出每个σ下的每个像素点的输出响应，最后用最大值法求出最大响应，如下公式：
v(p)为P点处的血管相似性函数最大输出响应。
在本实施例中，所述步骤S4中获得最终的血管增强的具体公式为：
上式中，lR,G,B为原图每个像素点的RGB三个通道值；L为增强后的像素值，factor为增强因子。图2结果所使用的参数：σ为[2,6]，N＝9，factor＝128,c＝15，其中(a)原图(b)绿色通道(c)CLAHE(d)血管最大响应(e)增强结果。
在本实施例中，所述步骤S5中零均值归一化公式为：
其中，u和σ分别为数据的平均值与标准差，z为归一化后图像，x为灰度变换后的像素。
在本实施例中，步骤S6中所述UNet网络包含4层编码层和4层解码层；编码层每一层主要由两个3*3的卷积层，一个BN(Batch Normalization)层以及一个步数为2的2*2的池化层组成；在进行完每一个卷积操作之后，通过Relu函数进行激活，最后进行池化操作；解码层的每一层与收缩网络层次相对应，每一层扩张网络由两个3*3的卷积层，一个BN层以及一个步数为2的2*2的池化层组成，在进行每一层进行卷积之前，需要进行一次跳跃连接(Skip Connection)操作，除第一层外将来自编码层的特征与来自解码层特征传入图5的注意力模型，并将注意力模型的输出与解码层的特征采用特征层拼接(concatenate)方法进行拼接融合；最后，网络的输出通过一个1×1大小的sigmiod函数进行分类。
在本实施例中，注意力模型如图5所示，注意力模型的输入分别是门控信号矢量g和特征图为获得输出，定义像素点i的门控系数为通过生成一个注意系数α∈[0,1]重新调整输入特征的大小，即 和α，具体公式：
式中，为sigmoid激活函数，Wx、Wg、bg和为线性变换参数；
门控信号g和输入特征图分别卷积后逐点相加；之后，经过非线性变换函数relu、1×1×1的卷积sigmoid函数以及上采样获得每个像素点的注意力系数。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (9)
1.一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：包括以下步骤：
步骤S1：提供RGB眼底图像作为输入图像，对所述输入图像提取绿色分量，并利用对比度受限直方图均衡化方法在提取绿色分量后的图像上进行对比度调整；
步骤S2：计算出步骤S1调整对比度后的图像中每个像素点的Hessian矩阵，得到Hessian矩阵的特征值；
步骤S3：利用Hessian矩阵的特征值，在尺度因子为σ的条件下构造Frangi血管相似性函数，并得到最大响应；
步骤S4：将步骤S1中的输入图像的每个像素点的RGB三个通道的像素值分别减去最大响应值与增强因子factor的乘积，用以获得最终的血管增强并得到经过frangi增强的图像；
步骤S5：将经过Frangi增强的图像进行灰度变换，将每个像素值进行零均值归一化操作到[0,1]之间；训练时，采用一个48×48大小的采样框随机选择中心，对归一化后的图像进行重采样，每次采样生成一个训练图像块，共生成1万个训练图像块；将训练图像的标签进行与训练图像块相同的重采样分块操作，获得标签图像块；测试时，如果测试图像长宽不是48的整数倍，则将其扩充成48的整数倍，扩充部分的像素值为0，并将测试图像平均分成多个48x48的测试图像块；
步骤S6：将步骤S5中得到的训练图像块和标签图像块输入到带有注意力模型的注意力机制UNet网络中，进行训练；测试时，将步骤S5中得到的测试图像块输入到带有注意力模型的注意力机制UNet网络中进行像素点预测，网络输出即是测试图像块的分割结果；随后将所有预测后的测试图像块进行重新拼接成测试图像，并删除其中扩充的像素，即得到了测试图像的最终分割结果。
2.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S1提取绿色通道的计算公式如下：
I＝a*IR+b*IG+c*IB
其中I表示输入图像，IR、IG、IB分别代表I的三个通道值，a、b、c代表各个通道的权重，其值a＝0,c＝0,b＝1。
3.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S2的具体内容为：
令步骤S1调整对比度后的图像中的一点为P(x,y)，则该点的Hessian矩阵的表达式为：
其中，fxx、fxy、fyx和fyy分别表示该像素点P的四个高斯二阶偏导数；令矩阵H的两个特征值为λ1，λ2，且|λ1|＜|λ2|则特征值计算如下：
式中
4.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S3中所述Frangi血管相似性函数为：
上式中，||H||F表示矩阵的范数；C为矩阵最大范数的一半；当尺度因子σ与血管宽度相近时，血管相似性函数获得最大响应。
5.根据权利要求3所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述获得最大响应的具体内容为：通过调整σ的大小，使σ接近血管宽度时能够获得最大响应；将σ限制在[σmin，σmax]之间，均分为N个不同尺度，σ逐级增大，求出每个σ下的每个像素点的输出响应，最后用最大值法求出最大响应，如下公式：
v(p)为P点处的血管相似性函数最大输出响应。
6.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S4中获得最终的血管增强的具体公式为：
上式中，lR,G,B为原图每个像素点的RGB三个通道值；L为增强后的像素值，factor为增强因子。
7.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S5中零均值归一化公式如下：
其中，u和σ分别为数据的平均值与标准差；z为归一化后图像；x为灰度变换后的像素。
8.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：步骤S6中所述UNet网络包含4层编码层和4层解码层；编码层每一层主要由两个3*3的卷积层，一个BN层以及一个步数为2的2*2的池化层组成；在进行完每一个卷积操作之后，通过Relu函数进行激活，最后进行池化操作；解码层的每一层与收缩网络层次相对应，每一层扩张网络由两个3*3的卷积层，一个BN层以及一个步数为2的2*2的池化层组成，在进行每一层进行卷积之前，需要进行一次跳跃连接操作，除第一层外将来自编码层的特征与来自解码层特征传入注意力模型，并将将注意力模型的输出与解码层的特征采用特征层拼接方法进行拼接融合；最后，网络的输出通过一个1×1大小的sigmiod函数进行分类。
9.根据权利要求6所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：步骤S6中所述注意力模型的输入分别是门控信号矢量g和特征图为获得输出，定义像素点i的门控系数为通过生成一个注意系数α∈[0,1]重新调整输入特征的大小，即 和α，具体公式：
式中，为sigmoid激活函数，Wx、Wg、bg和为线性变换参数；门控信号g和输入特征图分别卷积后逐点相加；之后，经过非线性变换函数relu、1×1×1的卷积sigmoid函数以及上采样获得每个像素点的注意力系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910731986.2A CN110473188B (zh) | 2019-08-08 | 2019-08-08 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910731986.2A CN110473188B (zh) | 2019-08-08 | 2019-08-08 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110473188A true CN110473188A (zh) | 2019-11-19 |
| CN110473188B CN110473188B (zh) | 2022-03-11 |
Family
ID=68511621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910731986.2A Active CN110473188B (zh) | 2019-08-08 | 2019-08-08 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110473188B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110840428A (zh) * | 2019-11-29 | 2020-02-28 | 苏州大学 | 基于一维U-Net网络的无创血压估计方法 |
| CN111047613A (zh) * | 2019-12-30 | 2020-04-21 | 北京小白世纪网络科技有限公司 | 基于分支注意力及多模型融合的眼底血管分割方法 |
| CN111145188A (zh) * | 2019-12-25 | 2020-05-12 | 西安电子科技大学 | 一种基于ResNet与UNet模型的图像分割方法 |
| CN111524142A (zh) * | 2020-03-10 | 2020-08-11 | 浙江工业大学 | 一种脑血管图像自动分割方法 |
| CN111598894A (zh) * | 2020-04-17 | 2020-08-28 | 哈尔滨工业大学 | 基于全局信息卷积神经网络的视网膜血管图像分割系统 |
| CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
| CN111951264A (zh) * | 2020-08-28 | 2020-11-17 | 浙江中烟工业有限责任公司 | 一种基于深度学习的卷烟包装异常检测与定位方法 |
| CN112508864A (zh) * | 2020-11-20 | 2021-03-16 | 昆明理工大学 | 基于改进UNet++的视网膜血管图像分割方法 |
| CN112686849A (zh) * | 2020-12-24 | 2021-04-20 | 山东众阳健康科技集团有限公司 | 一种基于三维卷积神经网络的肺叶分割系统 |
| CN112785617A (zh) * | 2021-02-23 | 2021-05-11 | 青岛科技大学 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
| CN112785598A (zh) * | 2020-11-05 | 2021-05-11 | 南京天智信科技有限公司 | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 |
| CN113012198A (zh) * | 2021-03-22 | 2021-06-22 | 复旦大学 | 颅内外血管吻合术中的血流自动定量分析方法 |
| CN113012093A (zh) * | 2019-12-04 | 2021-06-22 | 深圳硅基智能科技有限公司 | 青光眼图像特征提取的训练方法及训练系统 |
| CN114663421A (zh) * | 2022-04-08 | 2022-06-24 | 皖南医学院第一附属医院（皖南医学院弋矶山医院） | 基于信息迁移和有序分类的视网膜图像智能分析系统及方法 |
| CN115761611A (zh) * | 2022-12-18 | 2023-03-07 | 四川数聚智造科技有限公司 | 基于图像对比异常检测的多阶段多底图图像差异过滤方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488799A (zh) * | 2015-11-27 | 2016-04-13 | 天津工业大学 | 彩色眼底图像微动脉瘤自动检测方法 |
| CN106504199A (zh) * | 2016-09-13 | 2017-03-15 | 深圳大学 | 一种眼底图像增强方法及系统 |
| US20170109880A1 (en) * | 2015-10-16 | 2017-04-20 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
| CN108154519A (zh) * | 2017-12-25 | 2018-06-12 | 吉林大学 | 眼底图像中血管的分割方法、装置及存储介质 |
| CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
| CN109727253A (zh) * | 2018-11-14 | 2019-05-07 | 西安大数据与人工智能研究院 | 基于深度卷积神经网络自动分割肺结节的辅助检测方法 |
| CN109741344A (zh) * | 2018-12-28 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、医疗影像设备及存储介质 |
-
2019
- 2019-08-08 CN CN201910731986.2A patent/CN110473188B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170109880A1 (en) * | 2015-10-16 | 2017-04-20 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
| CN105488799A (zh) * | 2015-11-27 | 2016-04-13 | 天津工业大学 | 彩色眼底图像微动脉瘤自动检测方法 |
| CN106504199A (zh) * | 2016-09-13 | 2017-03-15 | 深圳大学 | 一种眼底图像增强方法及系统 |
| CN108154519A (zh) * | 2017-12-25 | 2018-06-12 | 吉林大学 | 眼底图像中血管的分割方法、装置及存储介质 |
| CN109727253A (zh) * | 2018-11-14 | 2019-05-07 | 西安大数据与人工智能研究院 | 基于深度卷积神经网络自动分割肺结节的辅助检测方法 |
| CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
| CN109741344A (zh) * | 2018-12-28 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、医疗影像设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| JOS´E IGNACIO ORLANDO.ET AL: ""A Discriminatively Trained Fully Connected"", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
| WEILIN FU.ET AL: ""A Divide一and-Conquer Approach Towards"", 《ARXIV:1907.06194V1》 * |
| 张晟钰: ""基于尺度空间分析的眼底图像血管鲁棒检测"", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
| 游嘉等: ""基于Hessian矩阵的多尺度视网膜图像增强方法"", 《计算机应用》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110840428A (zh) * | 2019-11-29 | 2020-02-28 | 苏州大学 | 基于一维U-Net网络的无创血压估计方法 |
| CN110840428B (zh) * | 2019-11-29 | 2022-02-01 | 苏州大学 | 基于一维U-Net网络的无创血压估计方法 |
| CN113012093A (zh) * | 2019-12-04 | 2021-06-22 | 深圳硅基智能科技有限公司 | 青光眼图像特征提取的训练方法及训练系统 |
| CN113012093B (zh) * | 2019-12-04 | 2023-12-12 | 深圳硅基智能科技有限公司 | 青光眼图像特征提取的训练方法及训练系统 |
| CN111145188A (zh) * | 2019-12-25 | 2020-05-12 | 西安电子科技大学 | 一种基于ResNet与UNet模型的图像分割方法 |
| CN111145188B (zh) * | 2019-12-25 | 2023-06-06 | 西安电子科技大学 | 一种基于ResNet与UNet模型的图像分割方法 |
| CN111047613A (zh) * | 2019-12-30 | 2020-04-21 | 北京小白世纪网络科技有限公司 | 基于分支注意力及多模型融合的眼底血管分割方法 |
| CN111047613B (zh) * | 2019-12-30 | 2021-04-27 | 北京小白世纪网络科技有限公司 | 基于分支注意力及多模型融合的眼底血管分割方法 |
| CN111524142A (zh) * | 2020-03-10 | 2020-08-11 | 浙江工业大学 | 一种脑血管图像自动分割方法 |
| CN111524142B (zh) * | 2020-03-10 | 2023-06-30 | 浙江工业大学 | 一种脑血管图像自动分割方法 |
| CN111598894A (zh) * | 2020-04-17 | 2020-08-28 | 哈尔滨工业大学 | 基于全局信息卷积神经网络的视网膜血管图像分割系统 |
| CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
| CN111951264A (zh) * | 2020-08-28 | 2020-11-17 | 浙江中烟工业有限责任公司 | 一种基于深度学习的卷烟包装异常检测与定位方法 |
| CN112785598A (zh) * | 2020-11-05 | 2021-05-11 | 南京天智信科技有限公司 | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 |
| CN112785598B (zh) * | 2020-11-05 | 2022-05-13 | 南京天智信科技有限公司 | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 |
| CN112508864A (zh) * | 2020-11-20 | 2021-03-16 | 昆明理工大学 | 基于改进UNet++的视网膜血管图像分割方法 |
| CN112686849A (zh) * | 2020-12-24 | 2021-04-20 | 山东众阳健康科技集团有限公司 | 一种基于三维卷积神经网络的肺叶分割系统 |
| CN112686849B (zh) * | 2020-12-24 | 2022-08-26 | 山东众阳健康科技集团有限公司 | 一种基于三维卷积神经网络的肺叶分割系统 |
| CN112785617A (zh) * | 2021-02-23 | 2021-05-11 | 青岛科技大学 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
| CN112785617B (zh) * | 2021-02-23 | 2022-04-15 | 青岛科技大学 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
| CN113012198A (zh) * | 2021-03-22 | 2021-06-22 | 复旦大学 | 颅内外血管吻合术中的血流自动定量分析方法 |
| CN114663421A (zh) * | 2022-04-08 | 2022-06-24 | 皖南医学院第一附属医院（皖南医学院弋矶山医院） | 基于信息迁移和有序分类的视网膜图像智能分析系统及方法 |
| CN115761611A (zh) * | 2022-12-18 | 2023-03-07 | 四川数聚智造科技有限公司 | 基于图像对比异常检测的多阶段多底图图像差异过滤方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110473188B (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110473188A (zh) | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 | |
| CN109345538B (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| Sathananthavathi et al. | Encoder enhanced atrous (EEA) unet architecture for retinal blood vessel segmentation | |
| CN111815574B (zh) | 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 | |
| CN108021916B (zh) | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 | |
| CN107016681B (zh) | 基于全卷积网络的脑部mri肿瘤分割方法 | |
| CN109685813A (zh) | 一种自适应尺度信息的u型视网膜血管分割方法 | |
| CN109740413A (zh) | 行人重识别方法、装置、计算机设备及计算机存储介质 | |
| CN109615582A (zh) | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 | |
| Abbasi-Sureshjani et al. | Automatic detection of vascular bifurcations and crossings in retinal images using orientation scores | |
| CN112508864B (zh) | 基于改进UNet++的视网膜血管图像分割方法 | |
| Guo et al. | Retinal vessel segmentation combined with generative adversarial networks and dense U-Net | |
| CN109658422A (zh) | 一种基于多尺度深监督网络的视网膜图像血管分割方法 | |
| CN107506796A (zh) | 一种基于深度森林的阿尔兹海默病分类方法 | |
| CN110288597A (zh) | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 | |
| CN109816666B (zh) | 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| CN112001928B (zh) | 一种视网膜血管分割方法及系统 | |
| CN109919915A (zh) | 基于深度学习的视网膜眼底图像异常区域检测方法及设备 | |
| JP7305046B2 (ja) | 画像分類方法及び装置並びに機器 | |
| CN112085745A (zh) | 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法 | |
| Yuan et al. | A multi-scale convolutional neural network with context for joint segmentation of optic disc and cup | |
| CN115294075A (zh) | 一种基于注意力机制的octa图像视网膜血管分割方法 | |
| CN116797618A (zh) | 基于多模态mri心脏图像的多阶段分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |