CN116630230A - 一种基于眼科超广角图像的病灶区域分割系统 - Google Patents
一种基于眼科超广角图像的病灶区域分割系统 Download PDFInfo
- Publication number
- CN116630230A CN116630230A CN202310343380.8A CN202310343380A CN116630230A CN 116630230 A CN116630230 A CN 116630230A CN 202310343380 A CN202310343380 A CN 202310343380A CN 116630230 A CN116630230 A CN 116630230A
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- layer
- focus
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000010191 image analysis Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000003902 lesion Effects 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 230000008485 antagonism Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012856 packing Methods 0.000 claims description 4
- 210000000130 stem cell Anatomy 0.000 claims 5
- 238000000034 method Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 206010012689 Diabetic retinopathy Diseases 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于眼科超广角图像的病灶区域分割系统，包括：生成器训练模块，用于将带有像素级病灶标注的常规彩色眼底图像作为源域，将无标注的眼科超广角图像作为目标域，训练得到第一病灶生成器；生成器调整模块，用于将多个卷积调制特征融合块添加至第一病灶生成器内中，形成第二病灶生成器；第一图像分析模块，用于将待检测图像输入至第二病灶生成器内得到初步分割病灶区域的第一分割图像；第二图像分析模块，用于将第一分割图像输入至对抗性域判别器中得到进一步分割病灶区域的第二分割图像。有益效果是本发明将卷积调制计算引入到分割网络中，在减少冗余信息的同时可以获得足够的上下文信息，获得更高的分割精度。
Description
技术领域
本发明涉及图像处理的技术领域，具体而言，涉及一种基于眼科超广角图像的病灶区域分割系统。
背景技术
超广角眼底(UWF)成像是一种无创的、非侵入式的全新成像方法，相比于30°-60°的常规彩色眼底图像，UWF图像一次性成像可达180°-200°，约覆盖80％的眼底区域，这允许显示更多与糖尿病视网膜病变相关的临床病理出现，从UWF图像中提取更多的病灶区域在促进糖尿病视网膜的筛查与诊断中起着至关重要的作用，临床实践表明，UWF图像中存在的异常病灶区域，例如微动脉瘤、出血点、渗出等与糖尿病视网病变严重性程度密切相关，精准提取这些病灶，分析其形态与种类可缩短图像评价时间，降低无法对糖尿病视网膜病变分级的发生率，为该疾病的研究提供新的见解。
基于以上原因，从眼底图像中自动、准确地提取这些异常病灶区域对于DR的早期筛查与诊断，探究疾病发病机制具有重要意义，从这一目的出发，研究者们基于常规彩色眼底图像已经提出了许多深度卷积网络并取得了显著的效果，但是这些网络都是致力于从带有标签的数据中学习具有高度代表性的特征，以提高病灶分割性能，基于UWF图像的病灶分割工作却非常少，因为UWF图像标注需要花费大量的时间，这导致病灶分割性能遇到了瓶颈，无法再提高，并且存在较多的冗余信息，会大大影响分割精度。
发明内容
本发明要解决的问题是：提供一种基于眼科超广角图像的病灶区域分割系统，充分利用眼科超广角图像(UWF)，突破传统常规彩色眼底图像病灶分割的瓶颈，提高病灶分割性能和准确性，并能够减少冗余信息以提高分割精度。
为解决上述问题，本发明提供一种基于眼科超广角图像的病灶区域分割系统，包括：
一生成器训练模块，用于将带有像素级病灶标注的常规彩色眼底图像作为源域，将无标注的眼科超广角图像作为目标域，训练得到第一病灶生成器；
一生成器调整模块，连接所述生成器训练模块，用于将多个卷积调制特征融合块添加至所述第一病灶生成器内的分割网络结构中，形成基于卷积调制的第二病灶生成器；
一第一图像分析模块，连接所述生成器调整模块，用于将获取的待检测图像输入至所述第二病灶生成器内得到初步分割病灶区域的第一分割图像；
一第二图像分析模块，连接所述第一图像分析模块，用于将所述第一分割图像输入至预先构建得到的对抗性域判别器中得到进一步分割病灶区域的第二分割图像，并将所述第二分割图像作为病灶区域分割结果进行输出。
优选的，所述第一病灶生成器为U型卷积神经网络。
优选的，所述U型卷积神经网络内包含编码器和解码器，所述编码器用于对当前的输入图像进行特征提取得到对应的第一特征图，所述解码器用于对所述第一特征图进行放大得到对应的第二特征图。
优选的，各所述卷积调制特征融合块包括多个第一卷积调制特征融合块和一个第二卷积调制特征融合块，各所述第一卷积调制特征融合块分别位于所述U型卷积神经网络内相邻的执行上采样操作的卷积层之间，所述第二卷积调制特征融合块位于执行最大池化操作的最后一个卷积层和执行上采样操作的第一个卷积层之间。
优选的，所述第一卷积调制特征融合块包括：
第一处理层，用于对所述编码器提取得到的所述第一特征图进行1×1线性卷积操作，得到对应的第一卷积特征调制值；
第二处理层，与所述第一处理层并行，用于对所述解码器提取得到的所述第二特征图依次进行1×1线性卷积操作、GELU激活函数处理、卷积核大小为11×11且padding为5的深度卷积操作，得到对应的第一相似度矩阵；
第三处理层，运行于所述第一处理层和所述第二处理层的上方，用于对所述第一卷积特征调制值和所述第一相似度矩阵进行阿达玛乘积得到对应的第一交叉特征融合图；
第四处理层，运行于所述第三处理层的上方，用于将所述第一交叉特征融合图和所述第一卷积特征调制值、所述第一相似度矩阵分别做像素相乘与相加操作得到下一所述卷积层的输入图像。
优选的，下一所述卷积层的输入图像的计算公式如下所示：
Z(Xi)＝A1⊙V1
A1＝DConvk×k(W1Xi)
V1＝W2Xi
其中，
Z(Xi)表示下一所述卷积层的输入图像；
Xi表示上一所述卷积层的输出图像；
i表示编码器-解码器的索引；
A1表示所述第一相似度矩阵；
V1表示所述第一卷积特征调制值；
⊙表示阿达玛乘积；
DConvk×k表示核大小为k×k的深度卷积操作；
k×k表示深度卷积操作的卷积核大小；
W1表示预设的第一线性卷积层的权重矩阵；
W2表示预设的第一线性卷积层的权重矩阵。
优选的，所述第二卷积调制特征融合块包括：
第五处理层，用于对所述编码器提取得到的所述第一特征图进行1×1线性卷积操作，得到对应的第二卷积特征调制值；
第六处理层，与所述第五处理层并行，用于对所述第一特征图依次进行1×1线性卷积操作、GELU激活函数处理、卷积核大小为11×11且padding为5的深度卷积操作，得到对应的第二相似度矩阵；
第七处理层，运行于所述第五处理层和所述第六处理层的上方，用于对所述第二卷积特征调制值和所述第二相似度矩阵进行阿达玛乘积得到对应的第二交叉特征融合图，作为下一所述卷积层的输入图像。
优选的，下一所述卷积层的输入图像的计算公式如下所示：
Z(Xi)＝A2⊙V2
A2＝DConvk×k(W1Xi)
V2＝W2Xi
其中，
Z(Xi)表示下一所述卷积层的输入图像；
Xi表示上一所述卷积层的输出图像；
i表示编码器-解码器的索引；
A2表示所述第二相似度矩阵；
V2表示所述第二卷积特征调制值；
⊙表示阿达玛乘积；
DConvk×k表示核大小为k×k的深度卷积操作；
k×k表示深度卷积操作的卷积核大小；
W1表示预设的第一线性卷积层的权重矩阵；
W2表示预设的第一线性卷积层的权重矩阵。
优选的，所述对抗性域判别器包括层叠的四个卷积映射元祖，第一个所述卷积映射元祖用于执行卷积核大小为7×7且padding为3的卷积运算，第二个所述卷积映射元祖和第三个所述卷积映射元祖用于执行卷积核大小为5×5且padding为2的卷积运算，第四个所述卷积映射元祖用于执行卷积核大小为3×2且padding为1的卷积运算。
优选的，各所述卷积映射元祖的步长均为2。
本发明具有以下有益效果：
1)本发明中将带有像素级病灶标注的常规彩色眼底图像作为源域，将无标注的眼科超广角图像作为目标域，训练得到第一病灶生成器用作病灶区域分割，突破传统常规彩色眼底图像病灶分割的瓶颈，并且基于超广角图像对于眼底区域的优越覆盖率，提高病灶分割性能和准确性；
2)本发明中引入对抗性域判别器，使用对抗性域迁移的学习方法，将源域丰富特征知识迁移到目标域中，有效缓解超广角图像缺乏像素级标注的现状；
3)本发明中将卷积调制特征融合块引入至分割网络结构中，在减少冗余信息的同时可以获得足够的上下文信息，进而获得更高的分割精度。
附图说明
图1为本发明的结构原理图；
图2为本发明的第二病灶生成器和对抗性域判别器的结构示意图；
图3为本发明的卷积调制特征融合块的结构示意图；
图4为本发明的第一卷积调制特征融合块的结构原理图；
图5为本发明的第二卷积调制特征融合块的结构原理图；
附图标记说明：1、生成器训练模块；2、生成器调整模块；3、第一图像分析模块；4、第二图像分析模块；5、第一卷积调制特征融合块；51、第一处理层；52、第二处理层；53、第三处理层；54、第四处理层；6、第二卷积调制特征融合块；61、第五处理层；62、第六处理层；63、第七处理层。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种基于眼科超广角图像的病灶区域分割系统，如图1-3所示，包括：
一生成器训练模块1，用于将带有像素级病灶标注的常规彩色眼底图像作为源域，将无标注的眼科超广角图像作为目标域，训练得到第一病灶生成器；
一生成器调整模块2，连接生成器训练模块1，用于将多个卷积调制特征融合块添加至第一病灶生成器内的分割网络结构中，形成基于卷积调制的第二病灶生成器；
一第一图像分析模块3，连接生成器调整模块2，用于将获取的待检测图像输入至第二病灶生成器内得到初步分割病灶区域的第一分割图像；
一第二图像分析模块4，连接第一图像分析模块3，用于将第一分割图像输入至预先构建得到的对抗性域判别器中得到进一步分割病灶区域的第二分割图像，并将第二分割图像作为病灶区域分割结果进行输出。
具体地，本实施例中，基于大量公开可用的常规彩色眼底图像数据资源及良好的模型分割性能，搭建得到病灶区域分割系统，首先，将带有像素级病灶标注的常规彩色眼底图像作为源域，无标注的UWF图像作为目标域，在融入卷积调制特征融合块的情况下，两者作为输入训练得到一个基于卷积调制的第二病灶生成器G·，以自动获取眼底图像中的多种病灶区域，将此分割结果视为包含源域和目标域之间特征相似性的结构化输出，在输出空间通过添加一个对抗性域判别器D·进一步完成UWF图像病灶的精确分割，最后，依赖于提取到的先验病灶知识进一步辅助糖尿病视网膜病变的筛查与诊断。
具体地，本实施例中，当在大量可用的源域数据上训练时，病灶生成器可以学习到与任务相关的有用信息，然而，由于源域与目标域数据存在的数据偏差或者域偏移的现象，导致在源域上训练的分割模型并不能直接应用到目标域上，为了使丰富的源域特征知识迁移到UWF特征空间中，本发明提出加入一个域判别器的方法，该判别器与传统的GAN网络中的判别器有着相似的作用，传统的Gan网由生成器和判别器组成，通过生成器从随机变量生成新的数据，然后由判别器分辨生成样本与真实数据的差别，最终的目标是令生成样本的数据分布尽可能的收敛于真实的数据分布。在本发明中，输入不是服从某一分布的随机变量，而是将病变生成器从像素级注释数据预测的源域病变分割结果作为真实的数据分支，并将来自无像素标注的目标域病变分割结果作为假样本分支。通过对抗学习促进源域与目标域可迁移特征的学习，进一步减少领域间的差异，实现利用源域病变分割图辅助UWF生成更精细病灶图的目的。
本发明的较佳的实施例中，第一病灶生成器为U型卷积神经网络。
具体地，本实施例中，用于分割的U型卷积神经网络中，大多都是通过跳跃连接将编码器的高分辨率特征图与解码器特征组合在一起，从而将细节信息引入到解码器，但是，当处理UWF图像中外围视野、低对比度病理区域时，很难通过具有有限感受野的U型卷积神经网络获取获得足够的信息，这主要是因为U型卷积神经网络无法对长距离的上下文交互和空间依赖性进行建模，导致缺乏足够的信息而无法处理复杂的医学图像分割任务，为了缓解这个问题，本实施例中在U型卷积神经网络中加入了一个新的组件即卷积调制特征融合块(CMFF)，该模块能够在减少冗余信息的同时，为解码器提供足够的细节，从而获得更加准确的分割结果。
本发明的较佳的实施例中，U型卷积神经网络内包含编码器和解码器，编码器用于对当前的输入图像进行特征提取得到对应的第一特征图，解码器用于对第一特征图进行放大得到对应的第二特征图。
具体地，本实施例中，使用更深层次的基础模块拓展了Res-Unet，并将其修改为病灶生成器，编码器和解码器共由九个特征映射元组组成，使用在ImageNet上预训练的Resnet50作为基础卷积模块，除了编码器的第一个元组继承其第一层卷积核大小为3×3卷积操作，BN层、ReLU激活层、最大池化层，用以对输入图像进行特征提取，除此之外，编码器的其他四个特征映射元组均由Resnet50中不同深度的编码器组成。
本发明的较佳的实施例中，各卷积调制特征融合块包括多个第一卷积调制特征融合块5和一个第二卷积调制特征融合块6，各第一卷积调制特征融合块6分别位于U型卷积神经网络内相邻的执行上采样操作的卷积层之间，第二卷积调制特征融合块5位于执行最大池化操作的最后一个卷积层和执行上采样操作的第一个卷积层之间。
本发明的较佳的实施例中，如图4所示，第一卷积调制特征融合块5包括：
第一处理层51，用于对编码器提取得到的第一特征图进行1×1线性卷积操作，得到对应的第一卷积特征调制值；
第二处理层52，与第一处理层51并行，用于对解码器提取得到的第二特征图依次进行1×1线性卷积操作、GELU激活函数处理、卷积核大小为11×11且padding为5的深度卷积操作，得到对应的第一相似度矩阵；
第三处理层53，运行于第一处理层51和第二处理层52的上方，用于对第一卷积特征调制值和第一相似度矩阵进行阿达玛乘积得到对应的第一交叉特征融合图；
第四处理层54，运行于第三处理层53的上方，用于将第一交叉特征融合图和第一卷积特征调制值、第一相似度矩阵分别做像素相乘与相加操作得到下一卷积层的输入图像。
具体地，本实施例中，第一卷积调制特征融合块5即图3(a)结构，为了获取足够的上下文信息，将图3(a)所示的结构代替传统的跳跃链接来连接同一级别的编码-解码结构，实现对编码器特征之间的全局信息的充分融合，具体为，当任意编码器的第一特征图X1、解码器的第二特征图X2作为输入时，首先对编码器的第一特征图X1进行一个1×1的线性卷积操作，得到其卷积特征调制值V1，然后对解码器的第二特征图X2进行一个1×1的线性卷积操作，后接一个GELU激活函数，以及一个卷积核大小为11×11、padding为5的深度卷积操作，获得该输入的第一相似度矩阵1。最后将V1、A1做阿达玛乘积求得两输入的交叉特征融合图Z，再与第一特征图X1、第二特征图X2分别做像素相乘与相加得到下一级新的输入图像。
本发明的较佳的实施例中，下一卷积层的输入图像的计算公式如下所示：
Z(Xi)＝A1⊙V1
A1＝DConvk×k(W1Xi)
V1＝W2Xi
其中，
Z(Xi)表示下一卷积层的输入图像；
Xi表示上一卷积层的输出图像；
i表示编码器-解码器的索引；
A1表示第一相似度矩阵；
V1表示第一卷积特征调制值；
⊙表示阿达玛乘积；
DConvk×k表示核大小为k×k的深度卷积操作；
k×k表示深度卷积操作的卷积核大小；
W1表示预设的第一线性卷积层的权重矩阵；
W2表示预设的第一线性卷积层的权重矩阵。
具体地，本实施例中，在卷积调制的计算中，通过利用深度卷积特征调制值Vi来简化不同输入间的相关性，当给定输入入 可以使用核大小为k×k的深度卷积和阿达玛乘积来计算输出值Z。
优选的，该计算更节省存储空间，且使得在空间维度H×W范围内所有位置都与以(h，w)为中心的k×k正方形区域范围内像素相关。
本发明的较佳的实施例中，如图5所示，第二卷积调制特征融合块6包括：
第五处理层61，用于对编码器提取得到的第一特征图进行1×1线性卷积操作，得到对应的第二卷积特征调制值；
第六处理层62，与第五处理层61并行，用于对第一特征图依次进行1×1线性卷积操作、GELU激活函数处理、卷积核大小为11×11且padding为5的深度卷积操作，得到对应的第二相似度矩阵；
第七处理层63，运行于第五处理层61和第六处理层62的上方，用于对第二卷积特征调制值和第二相似度矩阵进行阿达玛乘积得到对应的第二交叉特征融合图，作为下一卷积层的输入图像。
具体地，本实施例中，第二卷积调制特征融合块6即图3(b)结构，图3(b)的结构只有单个输入，求解过程与图3(a)中相似，它被引入最后一个编码器处以从输入图像学习远程知识，并将编码器所学的高级语义特征中每一个像素相关联，从而获得整个图像的感受野，实现对UWF关键病灶的精准分割。
本发明的较佳的实施例中，下一卷积层的输入图像的计算公式如下所示：
Z(Xi)＝A2⊙V2
A2＝DConvk×k(W1Xi)
V2＝W2Xi
其中，
Z(Xi)表示下一卷积层的输入图像；
Xi表示上一卷积层的输出图像；
i表示编码器一解码器的索引；
A2表示第二相似度矩阵；
V2表示第二卷积特征调制值；
⊙表示阿达玛乘积；
DConvk×k表示核大小为k×k的深度卷积操作；
k×k表示深度卷积操作的卷积核大小；
W1表示预设的第一线性卷积层的权重矩阵；
W2表示预设的第一线性卷积层的权重矩阵。
本发明的较佳的实施例中，对抗性域判别器包括层叠的四个卷积映射元祖，第一个卷积映射元祖用于执行卷积核大小为7×7且padding为3的卷积运算，第二个卷积映射元祖和第三个卷积映射元祖用于执行卷积核大小为5×5且padding为2的卷积运算，第四个卷积映射元祖用于执行卷积核大小为3×2且padding为1的卷积运算。
具体地，本实施例中，最后一个卷积映射元祖的输出通过一个自适应平均池化层来减少特征图的空间维度，然后通过一个全连接层和Sigmoid激活函数产生一个二进制输出，用以区别输出预测的病变图来自源域还是目标域。
本发明的较佳的实施例中，各卷积映射元祖的步长均为2。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员，在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (10)
1.一种基于眼科超广角图像的病灶区域分割系统，其特征在于，包括：
一生成器训练模块(1)，用于将带有像素级病灶标注的常规彩色眼底图像作为源域，将无标注的眼科超广角图像作为目标域，训练得到第一病灶生成器；
一生成器调整模块(2)，连接所述生成器训练模块(1)，用于将多个卷积调制特征融合块添加至所述第一病灶生成器内的分割网络结构中，形成基于卷积调制的第二病灶生成器；
一第一图像分析模块(3)，连接所述生成器调整模块(2)，用于将获取的待检测图像输入至所述第二病灶生成器内得到初步分割病灶区域的第一分割图像；
一第二图像分析模块(4)，连接所述第一图像分析模块(3)，用于将所述第一分割图像输入至预先构建得到的对抗性域判别器中得到进一步分割病灶区域的第二分割图像，并将所述第二分割图像作为病灶区域分割结果进行输出。
2.根据权利要求1所述的病灶区域分割系统，其特征在于，所述第一病灶生成器为U型卷积神经网络。
3.根据权利要求2所述的病灶区域分割系统，其特征在于，所述U型卷积神经网络内包含编码器和解码器，所述编码器用于对当前的输入图像进行特征提取得到对应的第一特征图，所述解码器用于对所述第一特征图进行放大得到对应的第二特征图。
4.根据权利要求3所述的病灶区域分割系统，其特征在于，各所述卷积调制特征融合块包括多个第一卷积调制特征融合块(5)和一个第二卷积调制特征融合块(6)，各所述第一卷积调制特征融合块(6)分别位于所述U型卷积神经网络内相邻的执行上采样操作的卷积层之间，所述第二卷积调制特征融合块(5)位于执行最大池化操作的最后一个卷积层和执行上采样操作的第一个卷积层之间。
5.根据权利要求4所述的病灶区域分割系统，其特征在于，所述第一卷积调制特征融合块(51)包括：
第一处理层(51)，用于对所述编码器提取得到的所述第一特征图进行1×1线性卷积操作，得到对应的第一卷积特征调制值；
第二处理层(52)，与所述第一处理层(51)并行，用于对所述解码器提取得到的所述第二特征图依次进行1×1线性卷积操作、GELU激活函数处理、卷积核大小为11×11且padding为5的深度卷积操作，得到对应的第一相似度矩阵；
第三处理层(53)，运行于所述第一处理层(51)和所述第二处理层(52)的上方，用于对所述第一卷积特征调制值和所述第一相似度矩阵进行阿达玛乘积得到对应的第一交叉特征融合图；
第四处理层(54)，运行于所述第三处理层(53)的上方，用于将所述第一交叉特征融合图和所述第一卷积特征调制值、所述第一相似度矩阵分别做像素相乘与相加操作得到下一所述卷积层的输入图像。
6.根据权利要求5所述的病灶区域分割系统，其特征在于，下一所述卷积层的输入图像的计算公式如下所示：
Z(Xi)＝A1⊙V1
A1＝DConvk×k(W1Xi)
V1＝W2Xi
其中，
Z(Xi)表示下一所述卷积层的输入图像；
Xi表示上一所述卷积层的输出图像；
i表示编码器-解码器的索引；
A1表示所述第一相似度矩阵；
V1表示所述第一卷积特征调制值；
⊙表示阿达玛乘积；
DConvk×k表示核大小为k×k的深度卷积操作；
k×k表示深度卷积操作的卷积核大小；
W1表示预设的第一线性卷积层的权重矩阵；
W2表示预设的第一线性卷积层的权重矩阵。
7.根据权利要求4所述的病灶区域分割系统，其特征在于，所述第二卷积调制特征融合块(6)包括：
第五处理层(61)，用于对所述编码器提取得到的所述第一特征图进行1×1线性卷积操作，得到对应的第二卷积特征调制值；
第六处理层(62)，与所述第五处理层(61)并行，用于对所述第一特征图依次进行1×1线性卷积操作、GELU激活函数处理、卷积核大小为11×11且padding为5的深度卷积操作，得到对应的第二相似度矩阵；
第七处理层(63)，运行于所述第五处理层(61)和所述第六处理层(62)的上方，用于对所述第二卷积特征调制值和所述第二相似度矩阵进行阿达玛乘积得到对应的第二交叉特征融合图，作为下一所述卷积层的输入图像。
8.根据权利要求7所述的病灶区域分割系统，其特征在于，下一所述卷积层的输入图像的计算公式如下所示：
Z(Xi)＝A2⊙V2
A2＝DConvk×k(W1Xi)
V2＝W2Xi
其中，
Z(Xi)表示下一所述卷积层的输入图像；
Xi表示上一所述卷积层的输出图像；
i表示编码器一解码器的索引；
A2表示所述第二相似度矩阵；
V2表示所述第二卷积特征调制值；
⊙表示阿达玛乘积；
DConvk×k表示核大小为k×k的深度卷积操作；
k×k表示深度卷积操作的卷积核大小；
W1表示预设的第一线性卷积层的权重矩阵；
W2表示预设的第一线性卷积层的权重矩阵。
9.根据权利要求1所述的病灶区域分割系统，其特征在于，所述对抗性域判别器包括层叠的四个卷积映射元祖，第一个所述卷积映射元祖用于执行卷积核大小为7×7且padding为3的卷积运算，第二个所述卷积映射元祖和第三个所述卷积映射元祖用于执行卷积核大小为5×5且padding为2的卷积运算，第四个所述卷积映射元祖用于执行卷积核大小为3×2且padding为1的卷积运算。
10.根据权利要求9所述的病灶区域分割系统，其特征在于，各所述卷积映射元组的步长均为2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343380.8A CN116630230A (zh) | 2023-04-03 | 2023-04-03 | 一种基于眼科超广角图像的病灶区域分割系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343380.8A CN116630230A (zh) | 2023-04-03 | 2023-04-03 | 一种基于眼科超广角图像的病灶区域分割系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116630230A true CN116630230A (zh) | 2023-08-22 |
Family
ID=87640613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310343380.8A Pending CN116630230A (zh) | 2023-04-03 | 2023-04-03 | 一种基于眼科超广角图像的病灶区域分割系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630230A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726642A (zh) * | 2024-02-07 | 2024-03-19 | 中国科学院宁波材料技术与工程研究所 | 一种用于光学相干断层扫描图像的高反射病灶分割方法和装置 |
| CN117726642B (zh) * | 2024-02-07 | 2024-05-31 | 中国科学院宁波材料技术与工程研究所 | 一种用于光学相干断层扫描图像的高反射病灶分割方法和装置 |
-
2023
- 2023-04-03 CN CN202310343380.8A patent/CN116630230A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726642A (zh) * | 2024-02-07 | 2024-03-19 | 中国科学院宁波材料技术与工程研究所 | 一种用于光学相干断层扫描图像的高反射病灶分割方法和装置 |
| CN117726642B (zh) * | 2024-02-07 | 2024-05-31 | 中国科学院宁波材料技术与工程研究所 | 一种用于光学相干断层扫描图像的高反射病灶分割方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020215985A1 (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
| CN110211087B (zh) | 可分享的半自动糖尿病眼底病变标注方法 | |
| CN110501278B (zh) | 一种基于YOLOv3和密度估计的细胞计数方法 | |
| He et al. | Automated model design and benchmarking of deep learning models for covid-19 detection with chest ct scans | |
| CN112465752A (zh) | 一种基于改进的Faster R-CNN小目标检测方法 | |
| CN105139385A (zh) | 基于深层自动编码器重构的图像视觉显著性区域检测方法 | |
| CN112102259A (zh) | 一种基于边界引导深度学习的图像分割算法 | |
| Yauney et al. | Convolutional neural network for combined classification of fluorescent biomarkers and expert annotations using white light images | |
| Sanagavarapu et al. | COVID-19 identification in CLAHE enhanced CT scans with class imbalance using ensembled resnets | |
| CN111222453B (zh) | 基于密集连接和几何结构约束的遥感影像变化检测方法 | |
| CN113435474A (zh) | 一种基于双生成对抗网络的遥感图像融合方法 | |
| Lyu et al. | Fundus image based retinal vessel segmentation utilizing a fast and accurate fully convolutional network | |
| CN115526829A (zh) | 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络 | |
| CN115035127A (zh) | 一种基于生成式对抗网络的视网膜血管分割方法 | |
| CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
| Zaylaa et al. | Thalassemia Diagnosis Through Medical Imaging: A New Artificial Intelligence-Based Framework | |
| CN116630230A (zh) | 一种基于眼科超广角图像的病灶区域分割系统 | |
| Zhang et al. | Blood vessel segmentation in fundus images based on improved loss function | |
| CN116884036A (zh) | 基于YOLOv5DA的生猪姿态检测方法、装置、设备及介质 | |
| CN113160261B (zh) | 一种用于oct图像角膜层分割的边界增强卷积神经网络 | |
| CN113192089B (zh) | 一种用于图像分割的双向交叉连接的卷积神经网络 | |
| Wan et al. | C2BNet: A Deep Learning Architecture with Coupled Composite Backbone for Parasitic EGG Detection in Microscopic Images | |
| CN114170245A (zh) | 一种基于SAA-Unet网络的蜂窝肺病灶分割方法 | |
| Tiwari et al. | Deep learning-based framework for retinal vasculature segmentation | |
| Zhang et al. | IMAGE DETECTION OF DENTAL DISEASES BASED ON DEEP TRANSFER LEARNING |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |