CN117351488A - 基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法 - Google Patents
基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法 Download PDFInfo
- Publication number
- CN117351488A CN117351488A CN202311372144.5A CN202311372144A CN117351488A CN 117351488 A CN117351488 A CN 117351488A CN 202311372144 A CN202311372144 A CN 202311372144A CN 117351488 A CN117351488 A CN 117351488A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- segmentation
- unet
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012549 training Methods 0.000 title claims abstract description 63
- 238000003709 image segmentation Methods 0.000 title claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 30
- 238000005457 optimization Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 12
- 230000008485 antagonism Effects 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 239000000428 dust Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 12
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，且公开了基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，包括以下步骤：S1、UNet网络生成器:(1)UNet网络生成器UNet网络是一种语义分割卷积神经网络，区别于一般卷积神经网络，UNet网络加入上采样同时进行反卷积。该基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，通过采用GAN–UNet相结合的分割训练方法，本方法有效减少了因医学图像分割错误，相较于传统分水岭分割方法，使用像素级的图像分割方法，根据医学图像中语义较少，加入生成对抗方法，构建生成器与判别器，优化网络训练，减少了图像中的边缘未闭合、过分割、欠分割等问题，提高图像分割处理的准确性。
Description
技术领域
本发明涉及图像处理技术领域，具体为基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法。
背景技术
医学图像是疾病诊断的重要依据，传统的医学图像分割通常由医学专家手动完成，耗时长，分割精确度要求高且受主观和环境等多种因素影响，非常依赖医生的经验，随着日益增加的阅片量，出现了结合深度学习方法的自动分割方法，来缓解医生的图像分割压力。
随着图像处理技术的发展，半监督学习框架能够直接从有限的带标签数据和大量的未带标签数据中学习，得到高质量的分割结果，当前半监督医学图像分割方法可以分为三类：对抗性学习方法、一致性正则化方法和协同训练方法，对抗性学习方法利用鉴别器对齐嵌入空间中已标记和未标记数据的分布，需要数据满足分布假设，而很多对抗性学习模型难以训练。
且现有分割网络模型在完成训练的过程中，需要较大的训练集，而为了保证训练的效果，训练集需要由相关的医学专家手动制作，所以对于图像分割处理的精度不佳，影响图像处理准确性，故而提出基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法来解决上述问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，具备提高图像处理精度等优点，解决了图像处理精度不佳的问题。
(二)技术方案
为实现上述提高图像处理精度目的，本发明提供如下技术方案：基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，包括以下步骤：
S1、UNet网络生成器:(1)UNet网络生成器UNet网络是一种语义分割卷积神经网络，区别于一般卷积神经网络，UNet网络加入上采样同时进行反卷积，得到基于像素点级的分割图像，且网络对训练数据量要求较小，所以图像输入UNet网络后，采用一定的卷积核对其卷积，提升图像深度并提取图像特征，之后进行池化操作，用于减小图像面积并压缩图像；
(2)对图像进行4层卷积池化后，进行图像全连接，与传统卷积神经网络的1×1不同，UNet网络保留了最小图像特征，因图像分割结果需要与输入图像相匹配，进行最小图像面积扩充，将图像通过反卷积操作进行上采样，并将上方相同层次的图像合并，保留图像原始特征，再使用一定的卷积核进行图像卷积，提取图像特征，各层操作类似，在最后一层输出分割图像；
(3)通过采用UNet结构作为网络生成器，将医学图像采用3×3的卷积核进行卷积，并使用drop-out优化运算，提升图像精度，在池化过程中采用2×2的滑窗，并选取滑窗内最大值，进行最大池化，在上采样中对图像采用2×2的卷积核进行反卷积操作，再加入3×3的卷积核进行图像卷积，使用交叉熵函数作为损失函数：
S2、对抗网络GAN生成：首先给出原始GAN的目标函数(损失函数)，损失函数如公式：
其中，G代表生成器，D代表判别器，x代表真实数据，Pdata代表真实数据概率密度分布，Z代表了随机输入数据，该数据是随机高斯噪声；
S3、对抗网络GAN生成：将生成器输出图像和标签图像分别作为输入，使用适应输入图像的卷积核对图像进行卷积，减小图像面积，提取图像特征，采用全连接卷积分别求出生成器分割图像和分割标签图像对应的判别器值，并使用交叉熵计算判别器网络损失值，并采用Aadm方法进行网络学习优化，通过在四层卷积网络中选择步长为2，长宽为4×4的卷积核生成对抗网络中，判别器将生成图像的分割结果判别为假的能力不断提升，同时生成器不断优化以拟合标签图像使得判别器将其判别为真，二者在训练过程中不断博弈，形成对抗，经过网络训练，生成器图像分割结果精度提升，能够在测试与实际使用中获得精确的图像分割结果；
S4、由于医学图像堆叠的问题，通过摆脱基于图像特征的传统分割方法，利用UNet像素点级图像分割方法的优点，结合生成对抗网络的优化方法，解决分割图像中存在的边缘缺失问题，提升图像分割精确性，在生成对抗网络的生成器与判别器构建中，通过使用UNet作为生成器，将分割标签图像与生成器分割结果图像，在判别网络进行判别，并根据前述方法进行判别器模型优化，生成器输出在判别器中判别为真实值，表现了生成器网络的有效性，采用交叉熵的形式，获得lOssuD(z)用于模型优化，判别器网络中提取了生成器分割结果与分割标签图像特征，根据特征图像计算二者差别，有助于整体模型梯度优化，提取判别器网络最后一层大小为32×32的图像，计算分割标签图像和生成器分割结果图像对应数据的交叉熵lOssDc(z)，模型损失函数为lOssuD(z)，对模型损失采用Adam方法进行模型优化；
S5、因采集图像中存在皮带等不相关元素，对影像图片进行裁剪，使用65张影像图片作为训练集，每个样本大小为512×512像素，由于工业现场存在灰尘等影响因素因此需要先对图像进行图像去噪，直方图均衡等图像预处理，采用人工对医学图像进行2像素宽度的边缘标定，在GAN–UNet网络训练过程中，对预处理后的图像采取翻转等形式扩充训练集多样性，每个训练队列使用16个样例，进行最大50000次迭代训练，对整体网络采用0.0005学习率，为了减少网络过拟合采用0.4的丢弃率，并使用Adam梯度下降法进行网络训练，训练时间为20～24h。
优选的，所述步骤S1中损失函数的输入图像大小为mn，g(χij)为UNet网络对图像的分割结果，为对应的正确分割结果。
优选的，所述步骤S2的由公式可以看出，从判别器D的角度来看，判别器D希望尽可能区分真实样本x和虚假样本G(Z)，因此D(x)必须尽可能大而D(G(z))则尽可能小，即V(D，G)整体的值尽可能大。
优选的，所述步骤S2公式生成器G的角度来看，生成器G希望自己生成的虚假数据G(Z)尽可能骗过判别器D，使D(G(z))尽可能大，即V(D，G)整体的值尽可能小，GAN的两个模块在训练相互对抗，最后达到全局最优。
优选的，所述步骤S4在生成器与判别器进行对抗学习的过程中，计算出判别器损失函数、特征损失函数、UNet损失函数，基于判别器与生成器模型的对抗更新形成整个网络的更新，最终在训练结束的生成器中得到最终分割图像，对分割后的图像采用中值滤波的方法除去部分多余棱线，使图像得到平滑。
(三)有益效果
与现有技术相比，本发明提供了基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，具备以下有益效果：
该基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，通过采用GAN–UNet相结合的分割训练方法，本方法有效减少了因医学图像分割错误，获得正确的影像图片边缘，提升了医学图像分割精度，并能够对影像图片区域准确识别，针对图片存在的重叠、自相似性等问题，因此相较于传统分水岭分割方法，使用像素级的图像分割方法，根据医学图像中语义较少，加入生成对抗方法，构建生成器与判别器，优化网络训练，减少了图像中的边缘未闭合、过分割、欠分割等问题，提高图像分割处理的准确性。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
旨在提高图像分割处理精度，故提出基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，包括以下步骤：
S1、UNet网络生成器:(1)UNet网络生成器UNet网络是一种语义分割卷积神经网络，区别于一般卷积神经网络，UNet网络加入上采样同时进行反卷积，得到基于像素点级的分割图像，且网络对训练数据量要求较小，所以图像输入UNet网络后，采用一定的卷积核对其卷积，提升图像深度并提取图像特征，之后进行池化操作，用于减小图像面积并压缩图像；
(2)对图像进行4层卷积池化后，进行图像全连接，与传统卷积神经网络的1×1不同，UNet网络保留了最小图像特征，因图像分割结果需要与输入图像相匹配，进行最小图像面积扩充，将图像通过反卷积操作进行上采样，并将上方相同层次的图像合并，保留图像原始特征，再使用一定的卷积核进行图像卷积，提取图像特征，各层操作类似，在最后一层输出分割图像；
(3)通过采用UNet结构作为网络生成器，将医学图像采用3×3的卷积核进行卷积，并使用drop-out优化运算，提升图像精度，在池化过程中采用2×2的滑窗，并选取滑窗内最大值，进行最大池化，在上采样中对图像采用2×2的卷积核进行反卷积操作，再加入3×3的卷积核进行图像卷积，使用交叉熵函数作为损失函数：
其中，损失函数的输入图像大小为mn，g(χij)为UNet网络对图像的分割结果，yij为对应的正确分割结果；
S2、对抗网络GAN生成：首先给出原始GAN的目标函数(损失函数)，损失函数如公式：
其中，G代表生成器，D代表判别器，x代表真实数据，Pdata代表真实数据概率密度分布，Z代表了随机输入数据，该数据是随机高斯噪声，由公式可以看出，从判别器D的角度来看，判别器D希望尽可能区分真实样本x和虚假样本G(Z)，因此D(x)必须尽可能大而D(G(z))则尽可能小，即V(D，G)整体的值尽可能大，生成器G的角度来看，生成器G希望自己生成的虚假数据G(Z)尽可能骗过判别器D，使D(G(z))尽可能大，即V(D，G)整体的值尽可能小，GAN的两个模块在训练相互对抗，最后达到全局最优；
S3、对抗网络GAN生成：将生成器输出图像和标签图像分别作为输入，使用适应输入图像的卷积核对图像进行卷积，减小图像面积，提取图像特征，采用全连接卷积分别求出生成器分割图像和分割标签图像对应的判别器值，并使用交叉熵计算判别器网络损失值，并采用Aadm方法进行网络学习优化，通过在四层卷积网络中选择步长为2，长宽为4×4的卷积核生成对抗网络中，判别器将生成图像的分割结果判别为假的能力不断提升，同时生成器不断优化以拟合标签图像使得判别器将其判别为真，二者在训练过程中不断博弈，形成对抗，经过网络训练，生成器图像分割结果精度提升，能够在测试与实际使用中获得精确的图像分割结果；
S4、由于医学图像堆叠的问题，通过摆脱基于图像特征的传统分割方法，利用UNet像素点级图像分割方法的优点，结合生成对抗网络的优化方法，解决分割图像中存在的边缘缺失问题，提升图像分割精确性，在生成对抗网络的生成器与判别器构建中，通过使用UNet作为生成器，将分割标签图像与生成器分割结果图像，在判别网络进行判别，并根据前述方法进行判别器模型优化，生成器输出在判别器中判别为真实值，表现了生成器网络的有效性，采用交叉熵的形式，获得lOssuD(z)用于模型优化，判别器网络中提取了生成器分割结果与分割标签图像特征，根据特征图像计算二者差别，有助于整体模型梯度优化，提取判别器网络最后一层大小为32×32的图像，计算分割标签图像和生成器分割结果图像对应数据的交叉熵lOssDc(z)，模型损失函数为lOssuD(z)，对模型损失采用Adam方法进行模型优化，在生成器与判别器进行对抗学习的过程中，计算出判别器损失函数、特征损失函数、UNet损失函数，基于判别器与生成器模型的对抗更新形成整个网络的更新，最终在训练结束的生成器中得到最终分割图像，对分割后的图像采用中值滤波的方法除去部分多余棱线，使图像得到平滑；
S5、因采集图像中存在皮带等不相关元素，对影像图片进行裁剪，使用65张影像图片作为训练集，每个样本大小为512×512像素，由于工业现场存在灰尘等影响因素因此需要先对图像进行图像去噪，直方图均衡等图像预处理，采用人工对医学图像进行2像素宽度的边缘标定，在GAN–UNet网络训练过程中，对预处理后的图像采取翻转等形式扩充训练集多样性，每个训练队列使用16个样例，进行最大50000次迭代训练，对整体网络采用0.0005学习率，为了减少网络过拟合采用0.4的丢弃率，并使用Adam梯度下降法进行网络训练，训练时间为20～24h。
本发明的有益效果是：通过采用GAN–UNet相结合的分割训练方法，本方法有效减少了因医学图像分割错误，获得正确的影像图片边缘，提升了医学图像分割精度，并能够对影像图片区域准确识别，针对图片存在的重叠、自相似性等问题，因此相较于传统分水岭分割方法，使用像素级的图像分割方法，根据医学图像中语义较少，加入生成对抗方法，构建生成器与判别器，优化网络训练，减少了图像中的边缘未闭合、过分割、欠分割等问题，提高图像分割处理的准确性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，其特征在于，包括以下步骤：
S1、UNet网络生成器:(1)UNet网络生成器UNet网络是一种语义分割卷积神经网络，区别于一般卷积神经网络，UNet网络加入上采样同时进行反卷积，得到基于像素点级的分割图像，且网络对训练数据量要求较小，所以图像输入UNet网络后，采用一定的卷积核对其卷积，提升图像深度并提取图像特征，之后进行池化操作，用于减小图像面积并压缩图像；
(2)对图像进行4层卷积池化后，进行图像全连接，与传统卷积神经网络的1×1不同，UNet网络保留了最小图像特征，因图像分割结果需要与输入图像相匹配，进行最小图像面积扩充，将图像通过反卷积操作进行上采样，并将上方相同层次的图像合并，保留图像原始特征，再使用一定的卷积核进行图像卷积，提取图像特征，各层操作类似，在最后一层输出分割图像；
(3)通过采用UNet结构作为网络生成器，将医学图像采用3×3的卷积核进行卷积，并使用drop-out优化运算，提升图像精度，在池化过程中采用2×2的滑窗，并选取滑窗内最大值，进行最大池化，在上采样中对图像采用2×2的卷积核进行反卷积操作，再加入3×3的卷积核进行图像卷积，使用交叉熵函数作为损失函数：
S2、对抗网络GAN生成：首先给出原始GAN的目标函数(损失函数)，损失函数如公式：
其中，G代表生成器，D代表判别器，x代表真实数据，Pdata代表真实数据概率密度分布，Z代表了随机输入数据，该数据是随机高斯噪声；
S3、对抗网络GAN生成：将生成器输出图像和标签图像分别作为输入，使用适应输入图像的卷积核对图像进行卷积，减小图像面积，提取图像特征，采用全连接卷积分别求出生成器分割图像和分割标签图像对应的判别器值，并使用交叉熵计算判别器网络损失值，并采用Aadm方法进行网络学习优化，通过在四层卷积网络中选择步长为2，长宽为4×4的卷积核生成对抗网络中，判别器将生成图像的分割结果判别为假的能力不断提升，同时生成器不断优化以拟合标签图像使得判别器将其判别为真，二者在训练过程中不断博弈，形成对抗，经过网络训练，生成器图像分割结果精度提升，能够在测试与实际使用中获得精确的图像分割结果；
S4、由于医学图像堆叠的问题，通过摆脱基于图像特征的传统分割方法，利用UNet像素点级图像分割方法的优点，结合生成对抗网络的优化方法，解决分割图像中存在的边缘缺失问题，提升图像分割精确性，在生成对抗网络的生成器与判别器构建中，通过使用UNet作为生成器，将分割标签图像与生成器分割结果图像，在判别网络进行判别，并根据前述方法进行判别器模型优化，生成器输出在判别器中判别为真实值，表现了生成器网络的有效性，采用交叉熵的形式，获得lOssuD(z)用于模型优化，判别器网络中提取了生成器分割结果与分割标签图像特征，根据特征图像计算二者差别，有助于整体模型梯度优化，提取判别器网络最后一层大小为32×32的图像，计算分割标签图像和生成器分割结果图像对应数据的交叉熵lOssDc(z)，模型损失函数为lOssuD(z)，对模型损失采用Adam方法进行模型优化；
S5、因采集图像中存在皮带等不相关元素，对影像图片进行裁剪，使用65张影像图片作为训练集，每个样本大小为512×512像素，由于工业现场存在灰尘等影响因素因此需要先对图像进行图像去噪，直方图均衡等图像预处理，采用人工对医学图像进行2像素宽度的边缘标定，在GAN–UNet网络训练过程中，对预处理后的图像采取翻转等形式扩充训练集多样性，每个训练队列使用16个样例，进行最大50000次迭代训练，对整体网络采用0.0005学习率，为了减少网络过拟合采用0.4的丢弃率，并使用Adam梯度下降法进行网络训练，训练时间为20～24h。
2.根据权利要求1所述的基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，其特征在于：所述步骤S1中损失函数的输入图像大小为mn，g(χij)为UNet网络对图像的分割结果，为对应的正确分割结果。
3.根据权利要求1所述的基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，其特征在于：所述步骤S2的由公式(1)可以看出，从判别器D的角度来看，判别器D希望尽可能区分真实样本x和虚假样本G(Z)，因此D(x)必须尽可能大而D(G(z))则尽可能小，即V(D，G)整体的值尽可能大。
4.根据权利要求3所述的基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，其特征在于：所述步骤S2公式生成器G的角度来看，生成器G希望自己生成的虚假数据G(Z)尽可能骗过判别器D，使D(G(D))尽可能大，即V(D，G)整体的值尽可能小，GAN的两个模块在训练相互对抗，最后达到全局最优。
5.根据权利要求1所述的基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法，其特征在于：所述步骤S4在生成器与判别器进行对抗学习的过程中，计算出判别器损失函数、特征损失函数、UNet损失函数，基于判别器与生成器模型的对抗更新形成整个网络的更新，最终在训练结束的生成器中得到最终分割图像，对分割后的图像采用中值滤波的方法除去部分多余棱线，使图像得到平滑。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311372144.5A CN117351488A (zh) | 2023-10-23 | 2023-10-23 | 基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311372144.5A CN117351488A (zh) | 2023-10-23 | 2023-10-23 | 基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117351488A true CN117351488A (zh) | 2024-01-05 |
Family
ID=89364643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311372144.5A Pending CN117351488A (zh) | 2023-10-23 | 2023-10-23 | 基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351488A (zh) |
-
2023
- 2023-10-23 CN CN202311372144.5A patent/CN117351488A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
| CN111369563B (zh) | 一种基于金字塔空洞卷积网络的语义分割方法 | |
| CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
| CN111161273B (zh) | 一种基于深度学习的医学超声图像分割方法 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统 | |
| CN110070531B (zh) | 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置 | |
| US20090252429A1 (en) | System and method for displaying results of an image processing system that has multiple results to allow selection for subsequent image processing | |
| Gao et al. | Single image dehazing via self-constructing image fusion | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN110675411A (zh) | 基于深度学习的宫颈鳞状上皮内病变识别算法 | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| WO2021057395A1 (zh) | 一种鞋跟型号识别方法、装置及存储介质 | |
| CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
| CN113191968B (zh) | 三维超声图像盲去噪模型的建立方法及其应用 | |
| CN107945122A (zh) | 基于自适应直方图分段的红外图像增强方法及系统 | |
| CN112580661A (zh) | 一种深度监督下的多尺度边缘检测方法 | |
| Khordehchi et al. | Automatic lung nodule detection based on statistical region merging and support vector machines | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN115661029A (zh) | 基于YOLOv5的肺结节检测与识别系统 | |
| CN114897782B (zh) | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 | |
| CN113793357A (zh) | 一种基于深度学习的支气管肺段图像分割方法及系统 | |
| CN113920421A (zh) | 一种快速分类的全卷积神经网络模型 | |
| CN117495882A (zh) | 一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |