CN116246067A - 一种基于CoA Unet的医学图像分割方法 - Google Patents
一种基于CoA Unet的医学图像分割方法 Download PDFInfo
- Publication number
- CN116246067A CN116246067A CN202310038986.0A CN202310038986A CN116246067A CN 116246067 A CN116246067 A CN 116246067A CN 202310038986 A CN202310038986 A CN 202310038986A CN 116246067 A CN116246067 A CN 116246067A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- medical image
- image
- dtc
- fcmspcnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 49
- 210000004185 liver Anatomy 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 210000002569 neuron Anatomy 0.000 claims description 48
- 230000000694 effects Effects 0.000 claims description 22
- 238000010304 firing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 210000002856 peripheral neuron Anatomy 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 230000000946 synaptic effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000638 stimulation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 abstract 1
- 238000003745 diagnosis Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000001210 retinal vessel Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 102000010954 Link domains Human genes 0.000 description 1
- 108050001157 Link domains Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009510 drug design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000036279 refractory period Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于CoAUnet的医学图像分割方法，包括以下步骤：在原有实验数据集基础上数据增强处理扩充肝脏分割数据集‑使用DTC‑FCMSPCNN对肝脏分割数据集中的图片进行预处理，确定任务目标区域，并将无用部分进行遮盖处理‑将DTC‑FCMSPCNN处理好的肝脏分割数据集用于CoAUnet的训练和测试‑将CoAUnet的分割结果作为最终分割结果。本发明采用上述一种基于CoAUnet的医学图像分割方法，结合DTC‑FCMSPCNN和CoA Unet的端到端的医学图像分割方法，能显著缩短深度学习模型训练时间，提高分割精度及医学图像诊断速度，给出综合有效的治疗方案，改进临床决策准确性。
Description
技术领域
本发明涉及一种医学图像处理技术，尤其涉及一种基于CoA Unet的医学图像分割方法。
背景技术
每天都产生大量的医学图像信息，有报道显示全世界医学图像信息量占全世界信息总量的1/5以上。由于医学图像普遍结构复杂，采集时易受噪声干扰，使得手动分割图像比较困难且工作量巨大。故在实际应用中，通常采用医学图像自动分割算法分割病灶目标，为自动化分析提供重要的参考信息，减轻医生工作量。即医学图像分割对降低医生工作量、提升工作效率具有重要意义。
图像分割算法可以分为无监督学习和有监督学习两大类。基于无监督学习的分割方法包括基于匹配滤波、形态学的方法。基于有监督学习的分割方法通常将其视为像素级图像分类问题。无监督和浅学习的监督学习需要人为制定学习规则，结果的好坏完全取决于规则的制定，难以应对复杂多变的现实情况。
深度学习技术在图像处理领域表现出强大优势，被广泛应用于图像分割任务中。深度学习网络模型在图像自动分割任务中通常优于无监督学习和一般的监督学习方法。
其中，脉冲耦合神经网络(PCNN)中的链接域模型是Eckhorn于20世纪90年代提出的一种基于猫的视觉原理构建的简化神经网络模型。随后，Johnson等人对模型进行了改进，并命名为脉冲耦合神经网络(PCNN)，被称为第三代人工神经网络。PCNN具有的阈值衰减很好地模拟了生物神经元随着阈值改变释放神经冲动的特性，而且其仿生结构与视皮层机制有着异曲同工之妙，符合人眼视觉特性的数学机制，处理后的图像具有更好的视觉效果。1996年，Kinser等提出了简化版PCNN，这种模型和简化前的模型相比性能极其接近，但参数设置更为简单。此后，一系列改进PCNN模型先后提出。如为增强图像特征而提出的交叉皮层模型。Zhan等提出的一种介于ICM和PCNN之间的发放皮层模型，此模型在数学表达式上做了极大简化，同时保持了PCNN固有的生物学属性。Yang等为提高离散模型精度提出了非整数步长指数模型等，此模型在处理乳腺钼靶X线图像钙化点方面有独特优势。为模拟动物视觉的图像多层次识别特性，Yang提出采用不同参数且连接方式各异的SPCNN并行耦合代表视觉皮层的不同区域，实现了图像的多级分割，结果更加准确。经过近三十年的发展，以PCNN为主导的图像处理研究已经取得了丰硕的成果。
同时，2015年，Ronneberger等在卷积神经网络基础上提出Unet。Unet中最主要的创新是下采样编码层和上采样解码层以及跳跃连接的合理设计。跳跃连接能够将下采样路径和上采样路径连接起来。从训练的角度来看，这意味着整个图像可以通过Unet处理一次向前通过，直接对图像进行分割，使得Unet能够考虑到整张图像的信息。此后Unet成为大多医疗影像语义分割任务的baseline，也启发了大量研究者去思考U型语义分割网络。
但是目前缺少将两者结合的研究。
发明内容
为解决上述问题，本发明提供一种基于CoA Unet的医学图像分割方法，与目前流行的图像分割算法相比，该算法的性能有了明显改进，不仅通过DTC-FCMSPCNN算法与CoAUnet算法的结合应用得以实现医学图像分割，并进一步展现出PCNN在图像处理中的独特优势，U型网络模型训练时间更短，分割精度更高，实现了已有方法的优化和已有技术的升级。
为实现上述目的，本发明提供了一种基于CoA Unet的医学图像分割方法，包括以下步骤：
S1、在原有实验数据集基础上使用Keras的数据增强处理扩充肝脏分割数据集；
S2、使用DTC-FCMSPCNN对肝脏分割数据集中的图片进行预处理，确定任务目标区域，并将无用部分进行遮盖处理，减少U型网络训练时间；
S3、将DTC-FCMSPCNN处理好的肝脏分割数据集用于CoA Unet的训练和测试；
S4、将CoA Unet的分割结果作为最终分割结果。
优选的，步骤S2具体包括以下步骤：
S21、采用归一化的图像处理方法，通过调整原始图像的像素值，重新确定DTC-FCMSPCNN模型的外部输入刺激；
S22、对图像进行高斯滤波处理，平滑图像，去除噪声；
S23、设定DTC-FCMSPCNN的预定义迭代次数T的值和其它自适应参数；
S24、设定DTC-FCMSPCNN模型的馈送输入、链接输入、内部活动项、点火条件和动态阈值，并将每次的迭代结果根据迭代次数合并为一个最终结果Sac；
S25、对最终结果Sac执行膨胀腐蚀运算，去除噪声，保留完整任务目标，并绘制目标的最小外接矩形，使用掩码遮盖矩形区域以外的非目标区域，保存图像，作为U型网络的训练输入。
优选的，步骤S21中所述归一化图像处理方法的计算公式如下：
其中，Sij(norm)是归一化的彩色图像，Sij是外部激励，Smax是整幅图像的最大像素值，L是整幅图像的灰度级；
根据公式1，重新设定彩色图像的像素值分布范围S为1≥S≥1/L。
优选的，步骤S23中所述的DTC-FCMSPCNN的其它自适应参数，表达式如下：
α＝S' (3)
V＝α (5)
R＝αe-α (6)
B＝α (8)
Q＝e—2α (9)
其中，Wijkl是突触权重矩阵；α是内部活动项的衰减参数，其值越大，内部活动项衰减速度越快；S`是整幅图像的大津阈值；β是某一神经元与其周围神经元的连接强度，其值越大神经元之间的联系越紧密；V是动态阈值幅值的控制参数，其在神经元点火时被使用，其值越大，已点火的神经元再次点火的可能性越小；R是点火神经元的控制参数，避免每个已点火神经元再次点火；A是动态阈值衰减因子；B和Q均是可变阈值参数。
优选的，步骤S24的具体算法如下：
Fij[n]＝Sij (10)
Eij[n]＝AEij[n-1]+BQ+(V+R)Yij[n] (14)
其中，Fij[n]是神经元Nij在位置(i,j)处的馈送输入，其通过外部因素作用产生，表示为外部激励Sij；Lij[n]为神经元Nij在位置(i,j)处的链接输入，表示为突触权重矩阵Wijkl和前一次迭代邻近神经元的输出Ykl[n-1]的乘积，其由周围神经元作用产生；Uij[n]为神经元Nij的内部活动项，其由两部分组成：一部分是内部活动项前一次迭代的结果Uij[n-1]与指数衰减因子e-α的乘积，由该神经元前一次迭代的状态决定；另一部分是由简化的链接输入Lij[n]与馈送输入Fij[n]经过调制形成的结果，由周围神经元以及外部激励决定；Yij[n]为点火条件，神经元只有在内部活动项Uij[n]大于动态阈值Eij[n-1]时才会点火，否则不点火；Eij[n]是动态阈值，其变化主要受到动态阈值衰减因子A以及可变阈值参数B和Q的影响，动态阈值在每次迭代中的数值越大，点火神经元的数量越少。
优选的，步骤S3中所述的CoA Unet模型的Convblock由级联的三层卷积、归一化和非线性映射构成，三层卷积之间经ResNet跨层连接，且在相邻卷积层之间加入1×1卷积的快捷连接。
优选的，为避免CoA Unet中连续的跨步卷积和池化运算会导致图像空间信息的丢失，采用并联的空洞卷积模块DAC和不同尺度的池化模块RMP组成的上下文提取器模块；DAC模块通过串联3×3卷积构成不同尺度的感受野代替空洞卷积，并且前置1×1卷积，降低运算量；RMP模块采用四个不同大小的感受野编码全局上下文信息，然后将特征输入到1×1卷积中，降低特征映射的维数，最后，将上采样特征与原始特征串联；
四个感受野分别为2×2、3×3、5×5和6×6。
优选的，使用Attention gate模块代替CoA Unet架构中的跳跃连接，从而降低计算费用，提升模型的精度与准确性。
本发明相比于现有技术具有以下有益效果：
①CoA Unet算法融合了多种图像分割相关算法，实现了复杂医学图像的分割。
②DTC-FCMSPCNN算法仅需计算参数α的值，算法简明度提高，计算公式和运算过程简化。
③DTC-FCMSPCNN算法迭代次数仅由预定义迭代次数决定，迭代过程收敛，图像分割效率提高。
④DTC-FCMSPCNN算法进一步发挥出PCNN模型较传统模型精确度高、复杂性低的优点，既保留了PCNN捕获和同步点火等特性，又与CoA Unet算法相结合，具有更好的分割效果和准确率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的分割算法流程图；
图2为本发明的CoA Unet模型改进图；
图3为传统原卷积块结构图；
图4为本发明的卷积块结构图；
图5为本发明的上下文提取器模块结构图；
图6为本发明的AG模块结构图；
图7为实验例分割效果对比图；
图8为利用本发明的处理肝脏图像对比图一；
图9为利用本发明的处理肝脏图像对比图二；
图10为利用本发明的处理肝脏图像对比图三。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
首先需要说明的是，DTC-FCMSPCNN是英文Dynamic-threshold-changed fire-controlled modified simplified pulse-coupled neural network的缩写，中文表称为“动态阈值可变的点火可控简化改进的脉冲耦合神经网络”。目前学界普遍以PCNN称谓脉冲耦合神经网络。DTC为Dynamic-threshold-changed(动态阈值可变的)的缩写。FC为fire-controlled(点火可控的)的缩写。M为modified(改进的)的缩写。S为simplified(简化的)的缩写。
CoA Unet是英文Context attention Unet的缩写，中文表称为“上下文注意力U型网络”。目前学界普遍以Unet称谓U型网络。Co为Context(上下文)的缩写。A为attention(注意力机制)的缩写。
图1为本发明的分割算法流程图，如图1所示，一种基于CoA Unet的医学图像分割方法，包括以下步骤：
S1、在原有实验数据集基础上使用Keras的数据增强处理扩充肝脏分割数据集；
S2、使用DTC-FCMSPCNN对肝脏分割数据集中的图片进行预处理，确定任务目标区域，并将无用部分进行遮盖处理，减少U型网络训练时间；
优选的，步骤S2具体包括以下步骤：
S21、采用归一化的图像处理方法，通过调整原始图像的像素值，重新确定DTC-FCMSPCNN模型的外部输入刺激；
优选的，步骤S21中所述归一化图像处理方法的计算公式如下：
其中，Sij(norm)是归一化的彩色图像，Sij是外部激励，Smax是整幅图像的最大像素值，L是整幅图像的灰度级；
根据公式1，重新设定彩色图像的像素值分布范围S为1≥S≥1/L。
S22、对图像进行高斯滤波处理，平滑图像，去除噪声；
S23、设定DTC-FCMSPCNN的预定义迭代次数T的值((该值通常设定为算法想要的迭代次数，比如进行128次迭代，则T值设定为128))和其它自适应参数；
优选的，步骤S23中所述的DTC-FCMSPCNN的其它自适应参数，表达式如下：
α＝S' (3)
V＝α (5)
R＝αe-α (6)
B＝α (8)
Q＝e—2α (9)
其中，Wijkl是突触权重矩阵；α是内部活动项的衰减参数，其值越大，内部活动项衰减速度越快；S`是整幅图像的大津阈值；β是某一神经元与其周围神经元的连接强度，其值越大神经元之间的联系越紧密；V是动态阈值幅值的控制参数，其在神经元点火时被使用，其值越大，已点火的神经元再次点火的可能性越小；R是点火神经元的控制参数，避免每个已点火神经元再次点火；A是动态阈值衰减因子；B和Q均是可变阈值参数。
可知本算法对其设置方法进行了简化。同时，参数R的设置也进行了简化。将传统PCNN模型中的权重矩阵参数Wijkl调整设置为基于高斯分布的参数形式，通过该参数控制邻域神经元和中心神经元之间作用力的大小。同时重新调整了动态阈值衰减因子A的大小，传统PCNN模型动态阈值的衰减因子数值较大，这表明神经元在点火之后，动态阈值快速下降，神经元的不应期间隔时间较短，故不具有较好的生物可解释性。加入了可变阈值参数B和Q，这两个参数可根据具体情况来调节神经元动态阈值的大小。
S24、设定DTC-FCMSPCNN模型的馈送输入、链接输入、内部活动项、点火条件和动态阈值，并将每次的迭代结果根据迭代次数合并为一个最终结果Sac；
优选的，步骤S24的具体算法如下：
Fij[n]＝Sij (10)
Eij[n]＝AEij[n-1]+BQ+(V+R)Yij[n] (14)
其中，Fij[n]是神经元Nij在位置(i,j)处的馈送输入，其通过外部因素作用产生，表示为外部激励Sij；Lij[n]为神经元Nij在位置(i,j)处的链接输入，表示为突触权重矩阵Wijkl和前一次迭代邻近神经元的输出Ykl[n-1]的乘积，其由周围神经元作用产生；Uij[n]为神经元Nij的内部活动项，其由两部分组成：一部分是内部活动项前一次迭代的结果Uij[n-1]与指数衰减因子e-α的乘积，由该神经元前一次迭代的状态决定；另一部分是由简化的链接输入Lij[n]与馈送输入Fij[n]经过调制形成的结果，由周围神经元以及外部激励决定；Yij[n]为点火条件，神经元只有在内部活动项Uij[n]大于动态阈值Eij[n-1]时才会点火，否则不点火；Eij[n]是动态阈值，其变化主要受到动态阈值衰减因子A以及可变阈值参数B和Q的影响，动态阈值在每次迭代中的数值越大，点火神经元的数量越少。
S25、对最终结果Sac执行膨胀腐蚀运算，去除噪声，保留完整任务目标，并绘制目标的最小外接矩形，使用掩码遮盖矩形区域以外的非目标区域，保存图像，作为U型网络的训练输入。
S3、将DTC-FCMSPCNN处理好的肝脏分割数据集用于CoA Unet的训练和测试；
图2为本发明的CoA Unet模型改进图，图3为传统原卷积块结构图；图4为本发明的卷积块结构图，如图2-图4所示，步骤S3中所述的CoA Unet模型的Convblock由级联的三层卷积、归一化和非线性映射构成，三层卷积之间经ResNet跨层连接，且在相邻卷积层之间加入1×1卷积的快捷连接。
图5为本发明的上下文提取器模块结构图，如图5所示，为避免CoA Unet中连续的跨步卷积和池化运算会导致图像空间信息的丢失，采用并联的空洞卷积模块DAC和不同尺度的池化模块RMP组成的上下文提取器模块；由于传统Context Encoder Network(CE-Net)在实验过程中发现DAC模块的使用会导致分割结果填充不完全和评价指标Miou全0等问题，故进行以下改进：DAC模块通过串联3×3卷积构成不同尺度的感受野代替空洞卷积，并且前置1×1卷积，降低运算量；RMP模块采用四个不同大小的感受野编码全局上下文信息，然后将特征输入到1×1卷积中，降低特征映射的维数，最后，将上采样特征与原始特征串联；
四个感受野分别为2×2、3×3、5×5和6×6。
图6为本发明的AG模块结构图，如图6所示，使用Attention gate模块(AG模块)代替CoA Unet架构中的跳跃连接，从而降低计算费用，提升模型的精度与准确性。
S4、将CoA Unet的分割结果作为最终分割结果。
实验例
本实验肝脏分割图像数据集来自公共LiTs数据集子集，共有420幅原图像和420幅人工分割标记图像，眼底血管神经分割数据集来自公共数据集DRIVE，共有40幅原图像和40幅人工分割标记图像。
在对比实验中采用六个评价指标：交并比(IoU)、Dice系数(Dice)、豪斯多夫距离(HD)、准确率(Acc)、灵敏度(Sens)和特异度(Spec)对分割效果进行比较评价，由于测试集含有多张图片，所以各评价指标均取平均值。其中评价指标IoU、HD、Acc、Sens和Spec用来评价算法分割图像和人工标记图像之间的相似性，数值越大，两幅图像的相似性越高，而Dice值越小，两类图像的相似性越高。T用来评价模型训练时间的长短(单位为分钟)，T值越小，训练时间越短，反之亦然。
实验采用的电脑型号为惠普暗夜精灵Ⅱ，处理器采用Intel(R)Core(TM)i5-6300HQ CPU@2.30GHz，Pycharm的版本为2019.3.3专业版。
本实验将是否使用DTC-FCMSPCNN对肝脏图像预处理作为变量进行控制，采用本发明图像分割算法、Unet++2、Unet3+、Recurrent residual U-Net(R2U-Net)、Attentiongated networks(Attention-Unet)、CE-Net，来验证本发明图像分割算法的有效性，实验数据如表1所示：
表1为肝脏分割评价指标比较表
由表1可知，除Attention-Unet外其他模型使用DTC-FCMSPCNN预先分割肝脏目标矩形区域都能实现更好的分割效果，其中R2U-Net的提升最为明显，这得益于DTC-FCMSPCNN对于目标区域的准确定位，配合掩码遮盖非目标区域使分割模型能够快速学习到有用特征，加快了模型收敛速度，显著缩短了模型训练时间。而Attention-Unet表现更差与模型结构有关，非任务区域的学习提供其所需的空间和纹理信息，对模型训练同样重要。即可知本发明算法在评价指标Miou和Aver_dice方面为六种算法中最好的，这主要因为CoA Unet在更深层卷积块中加入快捷连接促进特征交叉融合，使用注意力门替换跳跃连接突出目标特征，并在编解码器最底层加入改进多尺度上下文提取器模块以保留更多图像信息。
表2为视网膜血管分割的定量结果表
由表2可知，在视网膜血管分割任务中，添加了三个新的指标对分割效果做出评价，本发明提出的算法整体表现优于其他算法，充分结合Attention-Unet和CE-Net设计优点，在特征信息利用和多尺度感知方面更加优秀，在四个指标方面优于其他架构。虽然Unet3+和R2U-Net在Aver_HD或Aver_spec方面处于领先，但是更高的特异性代表了更好的背景分割(真阴性)，这不如更好的视网膜血管分割(真阳性)来得重要。
由图7可知，本发明算法图像分割结果相比其他算法有明显提升，且本发明分割算法的客观评价指标明显强于其他算法，表明本分割算法具有较好的客观评价效果，即本发明算法在整体表现优于其他对比算法。
同时由图8-图10可知，本发明在周围器官灰度相近的复杂情况下能够准确定位肝脏位置并分割出来。
因此，本发明采用上述一种基于CoA Unet的医学图像分割方法，结合DTC-FCMSPCNN和CoA Unet的端到端的医学图像分割方法，通过对原有PCNN算法加以改进，进一步显现出PCNN所具有的变阈值特性、非线性调制特性、同步脉冲发放现象、捕获特性、动态脉冲发放现象，并与CoA Unet算法相结合，实现了复杂情况的医学图像分割。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于CoAUnet的医学图像分割方法，其特征在于：包括以下步骤：
S1、在原有实验数据集基础上使用Keras的数据增强处理扩充肝脏分割数据集；
S2、使用DTC-FCMSPCNN对肝脏分割数据集中的图片进行预处理，确定任务目标区域，并将无用部分进行遮盖处理，减少U型网络训练时间；
S3、将DTC-FCMSPCNN处理好的肝脏分割数据集用于CoAUnet的训练和测试；
S4、将CoAUnet的分割结果作为最终分割结果。
2.根据权利要求1所述的一种基于CoAUnet的医学图像分割方法，其特征在于：步骤S2具体包括以下步骤：
S21、采用归一化的图像处理方法，通过调整原始图像的像素值，重新确定DTC-FCMSPCNN模型的外部输入刺激；
S22、对图像进行高斯滤波处理，平滑图像，去除噪声；
S23、设定DTC-FCMSPCNN的预定义迭代次数T的值和其它自适应参数；
S24、设定DTC-FCMSPCNN模型的馈送输入、链接输入、内部活动项、点火条件和动态阈值，并将每次的迭代结果根据迭代次数合并为一个最终结果Sac；
S25、对最终结果Sac执行膨胀腐蚀运算，去除噪声，保留完整任务目标，并绘制目标的最小外接矩形，使用掩码遮盖矩形区域以外的非目标区域，保存图像，作为U型网络的训练输入。
3.根据权利要求2所述的一种基于CoAUnet的医学图像分割方法，其特征在于：步骤S21中所述归一化图像处理方法的计算公式如下：
其中，Sij(norm)是归一化的彩色图像，Sij是外部激励，Smax是整幅图像的最大像素值，L是整幅图像的灰度级；
根据公式1，重新设定彩色图像的像素值分布范围S为1≥S≥1/L。
4.根据权利要求3所述的一种基于CoAUnet的医学图像分割方法，其特征在于：步骤S23中所述的DTC-FCMSPCNN的其它自适应参数，表达式如下：
α＝S' (3)
V＝α (5)
R＝αe-α (6)
B＝α (8)
Q＝e—2α (9)
其中，Wijkl是突触权重矩阵；α是内部活动项的衰减参数，其值越大，内部活动项衰减速度越快；S`是整幅图像的大津阈值；β是某一神经元与其周围神经元的连接强度，其值越大神经元之间的联系越紧密；V是动态阈值幅值的控制参数，其在神经元点火时被使用，其值越大，已点火的神经元再次点火的可能性越小；R是点火神经元的控制参数，避免每个已点火神经元再次点火；A是动态阈值衰减因子；B和Q均是可变阈值参数。
5.根据权利要求4所述的一种基于CoA Unet的医学图像分割方法，其特征在于：步骤S24的具体算法如下：
Fij[n]＝Sij (10)
Eij[n]＝AEij[n-1]+BQ+(V+R)Yij[n] (14)
其中，Fij[n]是神经元Nij在位置(i,j)处的馈送输入，其通过外部因素作用产生，表示为外部激励Sij；Lij[n]为神经元Nij在位置(i,j)处的链接输入，表示为突触权重矩阵Wijkl和前一次迭代邻近神经元的输出Ykl[n-1]的乘积，其由周围神经元作用产生；Uij[n]为神经元Nij的内部活动项，其由两部分组成：一部分是内部活动项前一次迭代的结果Uij[n-1]与指数衰减因子e-α的乘积，由该神经元前一次迭代的状态决定；另一部分是由简化的链接输入Lij[n]与馈送输入Fij[n]经过调制形成的结果，由周围神经元以及外部激励决定；Yij[n]为点火条件，神经元只有在内部活动项Uij[n]大于动态阈值Eij[n-1]时才会点火，否则不点火；Eij[n]是动态阈值，其变化主要受到动态阈值衰减因子A以及可变阈值参数B和Q的影响，动态阈值在每次迭代中的数值越大，点火神经元的数量越少。
6.根据权利要求5所述的一种基于CoA Unet的医学图像分割方法，其特征在于：步骤S3中所述的CoA Unet模型的Convblock由级联的三层卷积、归一化和非线性映射构成，三层卷积之间经ResNet跨层连接，且在相邻卷积层之间加入1×1卷积的快捷连接。
7.根据权利要求6所述的一种基于CoA Unet的医学图像分割方法，其特征在于：为避免CoA Unet中连续的跨步卷积和池化运算会导致图像空间信息的丢失，采用并联的空洞卷积模块DAC和不同尺度的池化模块RMP组成的上下文提取器模块；DAC模块通过串联3×3卷积构成不同尺度的感受野代替空洞卷积，并且前置1×1卷积，降低运算量；RMP模块采用四个不同大小的感受野编码全局上下文信息，然后将特征输入到1×1卷积中，降低特征映射的维数，最后，将上采样特征与原始特征串联；
四个感受野分别为2×2、3×3、5×5和6×6。
8.根据权利要求7所述的一种基于CoAUnet的医学图像分割方法，其特征在于：使用Attentiongate模块代替CoAUnet架构中的跳跃连接，从而降低计算费用，提升模型的精度与准确性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310038986.0A CN116246067B (zh) | 2023-01-12 | 2023-01-12 | 一种基于CoA Unet的医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310038986.0A CN116246067B (zh) | 2023-01-12 | 2023-01-12 | 一种基于CoA Unet的医学图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116246067A true CN116246067A (zh) | 2023-06-09 |
| CN116246067B CN116246067B (zh) | 2023-10-27 |
Family
ID=86632364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310038986.0A Active CN116246067B (zh) | 2023-01-12 | 2023-01-12 | 一种基于CoA Unet的医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116246067B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815562A (zh) * | 2020-06-10 | 2020-10-23 | 三峡大学 | 一种U-Net与自适应PCNN相结合的视网膜血管分割方法 |
| CN112927255A (zh) * | 2021-02-22 | 2021-06-08 | 武汉科技大学 | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 |
| CN113362310A (zh) * | 2021-06-09 | 2021-09-07 | 西安智诊智能科技有限公司 | 一种基于无监督学习的医学图像肝脏分割方法 |
| CN114627137A (zh) * | 2022-03-14 | 2022-06-14 | 重庆理工大学 | 基于轻量化网络模型和反向注意力模块的息肉分割方法 |
-
2023
- 2023-01-12 CN CN202310038986.0A patent/CN116246067B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815562A (zh) * | 2020-06-10 | 2020-10-23 | 三峡大学 | 一种U-Net与自适应PCNN相结合的视网膜血管分割方法 |
| CN112927255A (zh) * | 2021-02-22 | 2021-06-08 | 武汉科技大学 | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 |
| CN113362310A (zh) * | 2021-06-09 | 2021-09-07 | 西安智诊智能科技有限公司 | 一种基于无监督学习的医学图像肝脏分割方法 |
| CN114627137A (zh) * | 2022-03-14 | 2022-06-14 | 重庆理工大学 | 基于轻量化网络模型和反向注意力模块的息肉分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| XIAOLONG LI 等: "An image defogging algorithm of a designed-FCMSPCNN for natural image", 2022 7TH INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTING AND SIGNAL PROCESSING, pages 1 - 6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116246067B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3674968B1 (en) | Image classification method, server and computer readable storage medium | |
| CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN108021916B (zh) | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 | |
| WO2021253939A1 (zh) | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 | |
| Li et al. | Accurate retinal vessel segmentation in color fundus images via fully attention-based networks | |
| Feng et al. | Patch-based fully convolutional neural network with skip connections for retinal blood vessel segmentation | |
| CN108717869B (zh) | 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统 | |
| CN113205538A (zh) | 基于CRDNet的血管图像分割方法及装置 | |
| CN113205537B (zh) | 基于深度学习的血管图像分割方法、装置、设备及介质 | |
| CN112150476B (zh) | 基于时空判别性特征学习的冠状动脉序列血管分割方法 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| CN111626969B (zh) | 一种基于注意力机制的玉米病害图像处理方法 | |
| Li et al. | Nui-go: Recursive non-local encoder-decoder network for retinal image non-uniform illumination removal | |
| Akkar et al. | Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm | |
| CN114943721A (zh) | 一种建立基于改进U-Net网络的颈部超声图像分割方法 | |
| Luo et al. | Multi-Task Learning Using Attention-Based Convolutional Encoder-Decoder for Dilated Cardiomyopathy CMR Segmentation and Classification. | |
| Qin et al. | A review of retinal vessel segmentation for fundus image analysis | |
| Prabhakar et al. | Exponential gannet firefly optimization algorithm enabled deep learning for diabetic retinopathy detection | |
| CN116246067B (zh) | 一种基于CoA Unet的医学图像分割方法 | |
| Aguirre Nilsson et al. | Classification of ulcer images using convolutional neural networks | |
| CN109829931B (zh) | 一种基于区域增长pcnn的视网膜血管分割方法 | |
| Ingle et al. | Efficient segmentation and classification of the tumor using improved encoder-decoder architecture in brain MRI images | |
| Xiao et al. | SE-MIDNet Based on Deep Learning for Diabetic Retinopathy Classification | |
| CN116092667A (zh) | 基于多模态影像的疾病检测方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |