CN116152250A - 病灶掩膜图像生成方法及装置 - Google Patents
病灶掩膜图像生成方法及装置 Download PDFInfo
- Publication number
- CN116152250A CN116152250A CN202310425702.3A CN202310425702A CN116152250A CN 116152250 A CN116152250 A CN 116152250A CN 202310425702 A CN202310425702 A CN 202310425702A CN 116152250 A CN116152250 A CN 116152250A
- Authority
- CN
- China
- Prior art keywords
- image
- focus
- network
- background
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003902 lesion Effects 0.000 claims abstract description 72
- 239000013598 vector Substances 0.000 claims description 205
- 230000015572 biosynthetic process Effects 0.000 claims description 84
- 238000003786 synthesis reaction Methods 0.000 claims description 84
- 230000006870 function Effects 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 abstract description 26
- 238000002372 labelling Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种病灶掩膜图像生成方法及装置，涉及人工智能技术领域，该方法包括：获取至少一个包括病灶的第一图像；将各第一图像分别输入病灶掩膜图像生成网络，得到病灶掩膜图像生成网络输出的各第一图像对应的至少一个病灶掩膜图像；病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，病灶掩膜图像生成网络用于生成各第一图像对应的至少一个病灶掩膜图像。由于病灶掩膜生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，提升病灶掩膜图像生成网络的泛化性和多样性。进而通过病灶掩膜图像生成网络实现病灶掩膜图像的生成，无需人工手动进行标注，提升了病灶掩膜图像的生成效率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种病灶掩膜图像生成方法及装置。
背景技术
随着计算机技术的发展，影像设备逐渐数字化，数字化影像传输和电子胶片应运而生，众多传统医院已纷纷向数字化转型，在加快就诊效率的同时也加大了医生对医学影像数据的审核量。因此，利用深度学习技术实现医学影像的智能诊辅来减轻医生的工作量，已成为当前的研究热点。深度学习技术是通过网络模型自主学习数据特征的方式实现对模型的训练，模型性能的优劣与训练所使用的标注样本量成正比，标注样本量越大而且样本越具有多样性，训练所得的网络模型的性能就越好。
然而，并非所有的疾病都能在短期内累积出足以训练高精度模型的样本数据量，而且在实际场景中，样本图像的背景差异比较大，病灶类型多样。以胶囊内窥镜图像为例，收集样本，尤其是不同类型带病灶的样本图像有限，而且只能由专业医生进行图像标注，需花费较多的时间、人力和物力成本。因此，如何大量生成用于模型训练的高质量病灶图像，是亟需解决的结束问题。
发明内容
本发明提供一种病灶掩膜图像生成方法及装置，用以解决如何大量生成用于模型训练的高质量病灶图像的问题。
本发明提供一种病灶掩膜图像生成方法，包括：
获取至少一个包括病灶的第一图像；
将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。
根据本发明提供的一种病灶掩膜图像生成方法，所述病灶掩膜图像生成网络包括图像生成网络和背景编码器；所述图像生成网络包括图像合成网络；
所述将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像，包括：
将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量；
将各所述第一隐向量输入至所述图像合成网络，得到所述图像合成网络输出的第一生成图像；
基于所述第一生成图像，重复迭代执行所述得到所述图像合成网络输出的第一生成图像的步骤，得到至少一个第二生成图像；
计算最后一次所述图像合成网络输出的各所述第二生成图像和各所述第一图像之间的差值；
基于各所述差值，确定各所述第一图像对应的至少一个病灶掩膜图像。
根据本发明提供的一种病灶掩膜图像生成方法，所述病灶掩膜图像生成网络还包括背景分类网络，所述背景编码器包括骨干网络、特征金字塔模块和至少一个风格生成模块；
所述将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量，包括：
针对每个第一图像，将所述第一图像输入至所述骨干网络，得到所述骨干网络输出的至少一个不同尺度的第一特征图像；
将尺度最小的第一特征图像输入至所述背景分类网络，得到所述背景分类网络输出的背景向量；
将各所述不同尺度的第一特征图像输入至所述特征金字塔模块，得到所述特征金字塔模块输出的至少一个不同尺度的第二特征图像；
基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量。
根据本发明提供的一种病灶掩膜图像生成方法，所述基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量，包括：
将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量；
将除所述预设尺度的多个第二特征图像之外的多个第二特征图像分别输入各所述风格生成模块中除各所述第一风格生成模块之外的多个第二风格生成模块，得到各所述第二风格生成模块分别输出的所述第一隐向量。
根据本发明提供的一种病灶掩膜图像生成方法，所述风格生成模块包括多个卷积层、压平层和第一全连接层；
所述将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量，包括：
针对每个预设尺度的第二特征图像，将所述第二特征图像依次输入至所述第一风格生成模块中的多个卷积层，得到最后一个卷积层输出的第三特征图；
将所述第三特征图输入至所述压平层，得到所述压平层输出的第一特征向量；
将所述背景向量输入至第二全连接层，得到所述第二全连接层输出的第二特征向量；
将所述第一特征向量和所述第二特征向量进行拼接，得到第一拼接向量；
将所述第一拼接向量输入至所述第一全连接层，得到所述第一全连接层输出的所述第一隐向量。
根据本发明提供的一种病灶掩膜图像生成方法，所述图像生成网络还包括映射网络和判别器，所述图像生成网络是基于以下步骤训练得到：
获取病灶图像数据集；所述病灶图像数据集包括多个所述不包括病灶的样本图像、各所述不包括病灶的样本图像对应的背景类型、以及多个所述包括病灶的样本图像；
将各所述不包括病灶的样本图像对应的样本背景向量和预设的随机向量输入至初始图像生成网络中的所述映射网络，得到所述映射网络输出的各所述不包括病灶的样本图像对应的第二隐向量；所述样本背景向量是基于所述背景类型确定的；
对所述第二隐向量进行多次复制，得到多个第二隐向量；
将各所述第二隐向量输入至所述初始图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第一无病灶图像；
将各所述第一无病灶图像和各所述不包括病灶的样本图像分别输入至所述初始图像生成网络中的所述判别器，得到所述判别器输出的判别结果；所述判别结果用于更新所述初始图像生成网络的参数；
基于最终更新的初始图像生成网络的参数，确定所述图像生成网络。
根据本发明提供的一种病灶掩膜图像生成方法，
所述背景编码器是基于以下步骤训练得到：
将各所述不包括病灶的样本图像输入初始背景编码器，得到所述初始背景编码器输出的各所述不包括病灶的样本图像分别对应的至少一个第三隐向量；
将各所述第三隐向量输入至所述图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第二无病灶图像；
基于各所述第二无病灶图像和各所述不包括病灶的样本图像，分别计算背景分类损失函数和合成损失函数；
基于所述背景分类损失函数和所述合成损失函数，更新所述初始背景编码器的参数，得到第一背景编码器；
基于所述第一背景编码器和多个包括病灶的样本图像，更新所述第一背景编码器的参数，得到所述背景编码器。
本发明还提供一种病灶掩膜图像生成装置，包括：
获取模块，用于获取至少一个包括病灶的第一图像；
掩膜图像生成模块，用于将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述病灶掩膜图像生成方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述病灶掩膜图像生成方法。
本发明提供的病灶掩膜图像生成方法及装置，通过获取至少一个包括病灶的第一图像；将各第一图像分别输入病灶掩膜图像生成网络，得到病灶掩膜图像生成网络输出的各第一图像对应的至少一个病灶掩膜图像；病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，病灶掩膜图像生成网络用于生成各第一图像对应的至少一个病灶掩膜图像；病灶掩膜图像表示病灶所在区域的图像。由于病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，提升了病灶掩膜图像生成网络的泛化性和多样性。因此，可以通过病灶掩膜图像生成网络实现包括病灶的第一图像对应的多个病灶掩膜图像的生成，进而得到大量只有病灶的图像，不包括背景图像，无需人工手动对包括病灶的图像进行标注，提升了病灶掩膜图像的生成效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的病灶掩膜图像生成方法的流程示意图；
图2是本发明提供的病灶掩膜图像生成网络的结构示意图之一；
图3是本发明提供的病灶掩膜图像生成网络的结构示意图之二；
图4是本发明提供的风格生成模块的结构示意图；
图5是本发明提供的图像生成网络的结构示意图；
图6是本发明提供的病灶分类网络的结构示意图；
图7是本发明提供的病灶掩膜图像生成装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于更加清晰地理解本申请各实施例，首先对一些相关的背景知识进行如下介绍。
针对上述训练样本采集困难、标注量不足、成本较高的问题，现有技术的解决方案主要是采用迁移学习的方法，迁移学习是一种用于探索有限标注数据潜力的技术，一般遵循预训练-微调框架，即在大型有监督或无监督但与目标域无关的数据集上进行预训练，将学到的与目标域无关的特征表征转移至下游的具体任务模型中。用有限数量的目标域数据集对模型进行微调，以提高网络模型的泛化性和鲁棒性。然而，迁移学习的方法存在局限性，往往将与医学图像无关的图像中学习到的知识迁移至医学图像上，使得模型的鲁棒性和泛化性无法满足现实需求。此外，在一些模型的微调过程中，如医学图像分割中常用的生成模型，由于生成模型的多样性不足，限制了医学图像的分割精度。
因此，亟需一种能够生成大量用于模型训练的高质量病灶图像，进而使用大量的高质量病灶图像对模型进行训练，提升模型的泛化性和多样性，从而提升包括病灶的图像的分割精度。
下面结合图1-图6描述本发明的病灶掩膜图像生成方法。
图1是本发明提供的病灶掩膜图像生成方法的流程示意图，如图1所示，方法包括步骤101-步骤102；其中，
步骤101，获取至少一个包括病灶的第一图像。
需要说明的是，本发明提供的病灶掩膜图像生成方法适用于医学影像的分割场景中，该方法的执行主体可以为病灶掩膜图像生成装置，例如电子设备、或者该病灶掩膜图像生成装置中的用于执行病灶掩膜图像生成方法的控制模块。
具体地，第一图像可以为内窥镜图像，第一图像中包括至少一个病灶。
步骤102，将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。
具体地，将每个第一图像分别输入病灶掩膜图像生成网络，可以得到病灶掩膜图像生成网络输出的每个第一图像对应的至少一个病灶掩膜图像，其中，病灶掩膜图像表示病灶所在区域的图像，即病灶图像。
需要说明的是，病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，病灶掩膜图像生成网络用于生成各第一图像对应的至少一个病灶掩膜图像，在病灶掩膜图像生成网络训练完成之后，就可以通过病灶掩膜图像生成网络得到包括病灶的第一图像对应的至少一个病灶掩膜图像。
本发明提供的病灶掩膜图像生成方法，通过获取至少一个包括病灶的第一图像；将各第一图像分别输入病灶掩膜图像生成网络，得到病灶掩膜图像生成网络输出的各第一图像对应的至少一个病灶掩膜图像；病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，病灶掩膜图像生成网络用于生成各第一图像对应的至少一个病灶掩膜图像；病灶掩膜图像表示病灶所在区域的图像。由于病灶掩膜生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，提升病灶掩膜图像生成网络的泛化性和多样性。因此，可以通过病灶掩膜图像生成网络实现包括病灶的第一图像对应的多个病灶掩膜图像的生成，进而得到大量只有病灶的图像，不包括背景图像，无需人工手动对包括病灶的图像进行标注，提升了病灶掩膜图像的生成效率。
可选地，所述病灶掩膜图像生成网络包括图像生成网络和背景编码器；所述图像生成网络包括图像合成网络；上述步骤102的具体实现方式包括：
1）将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量。
具体地，背景编码器用于提取第一图像对应的至少一个隐向量，即获取包括病灶的第一图像的背景。将各第一图像分别输入至背景编码器，可以得到背景编码器输出的各第一图像分别对应的至少一个第一隐向量。第一隐向量的数量可以根据实际情况进行设置，例如，设置第一隐向量的数量为18个，即可以得到每个第一图像分别对应的18个第一隐向量。
2）将各所述第一隐向量输入至所述图像合成网络，得到所述图像合成网络输出的第一生成图像。
具体地，图像合成网络用于合成与第一图像背景相同的不包括病灶的图像，即第一生成图像为与第一图像背景相同的不包括病灶的图像。将各第一隐向量输入至图像合成网络，可以得到图像合成网络输出的第一生成图像。
3）基于所述第一生成图像，重复迭代执行所述得到所述图像合成网络输出的第一生成图像的步骤，得到至少一个第二生成图像；
具体地，将第一生成图像输入至背景编码器，得到背景编码器输出的第一生成图像对应的至少一个第一隐向量，再将各第一隐向量输入至图像合成网络，得到图像合成网络输出的第二生成图像。按照上述实现方式多次重复执行，例如重复执行的次数为5次，最终可以得到最后一次执行时图像合成网络输出的至少一个第二生成图像。
4）计算最后一次所述图像合成网络输出的各所述第二生成图像和各所述第一图像之间的差值。
具体地，针对每个第一图像，最后一次图像合成网络输出一个第二生成图像，将该第二生成图像和第一图像之间求差，得到第二生成图像和第一图像之间的差值。
5）基于各所述差值，确定各所述第一图像对应的至少一个病灶掩膜图像。
具体地，根据得到的第二生成图像和第一图像之间的差值，将该差值进行二值化处理，可以得到每个第一图像对应的至少一个病灶掩膜图像。
本发明提供的病灶掩膜图像生成方法，通过背景编码器得到各第一图像分别对应的至少一个第一隐向量，将各第一隐向量输入至图像合成网络，得到图像合成网络输出的第一生成图像；基于第一生成图像，重复执行上述步骤得到至少一个第二生成图像；计算最后一次图像合成网络输出的至少一个第二生成图像和各第一图像之间的差值；再根据差值确定各第一图像对应的至少一个病灶掩膜图像。通过背景编码器和图像合成网络克服了内窥镜等场景背景差异大，难以重建的问题，而且，由于第一生成图像为与第一图像背景相同的图像，通过计算最后一次图像合成网络输出的至少一个第二生成图像和各第一图像之间的差值，有效地实现无监督的病灶掩膜图像生成，无需人工标注，大大节省人力成本，并且可以多次迭代输入，提高病灶掩膜图像的精度，以及提升了病灶掩膜图像和病灶图像的生成效率。
图2是病灶掩膜图像生成网络的结构示意图之一，如图2所示，病灶掩膜图像生成网络包括图像生成网络和背景编码器；其中，图像生成网络包括图像合成网络。将各第一图像分别输入至背景编码器，可以得到背景编码器输出的各第一图像分别对应的至少一个第一隐向量；再将各第一隐向量输入至图像合成网络，得到图像合成网络输出的第一生成图像；基于第一生成图像，重复执行上述步骤得到至少一个第二生成图像，即将第一生成图像输入至背景编码器，得到背景编码器输出的第一生成图像对应的至少一个第一隐向量，再将各第一隐向量输入至图像合成网络，得到图像合成网络输出的第二生成图像。按照上述实现方式多次重复执行，例如重复执行的次数为5次，最终可以得到最后一次执行时图像合成网络输出的第二生成图像；计算最后一次图像合成网络输出的至少一个第二生成图像和各所述第一图像之间的差值；基于各差值，采用二值化确定各第一图像对应的至少一个病灶掩膜图像。
可选地，所述病灶掩膜图像生成网络还包括背景分类网络，所述背景编码器包括骨干网络、特征金字塔模块和至少一个风格生成模块；上述步骤1）的具体实现方式包括：
1-1）针对每个第一图像，将所述第一图像输入至所述骨干网络，得到所述骨干网络输出的至少一个不同尺度的第一特征图像。
具体地，骨干网络可以采用残差网络（ResNet50）或者ResNeXt-50，也可以采用其他网络。骨干网络用于提取不同尺度或者分辨率的图像特征。针对每个第一图像，将第一图像输入至骨干网络，可以得到骨干网络输出的多个不同尺度的第一特征图像。
1-2）将尺度最小的第一特征图像输入至所述背景分类网络，得到所述背景分类网络输出的背景向量。
具体地，病灶掩膜图像生成网络还包括背景分类网络，背景分类网络用于提取特征图像的背景向量。背景分类网络由两层全连接层组成，将骨干网络输出的尺度最小的第一特征图输入背景分类网络，可以得到背景分类网络输出的背景向量。
1-3）将各所述不同尺度的第一特征图像输入至所述特征金字塔模块，得到所述特征金字塔模块输出的至少一个不同尺度的第二特征图像。
具体地，特征金字塔模块用于将小尺度或低分辨率的特征图逐步经过卷积和上采样、以及叠加上一级大尺度的特征图，得到不同尺度的第二图像。将各不同尺度的第一特征图像输入至特征金字塔模块，可以得到特征金字塔模块输出的至少一个不同尺度的第二特征图像。
1-4）基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量。
具体地，风格生成模块用于提取第一图像对应的特征图像的隐向量，风格生成模块的数量根据实际情况进行设置，例如，设置风格生成模块的数量为18个，第一隐向量的数量也为18个，即第一隐向量的数量和风格生成模块的数量相同。根据至少一个不同尺度的第二特征图像、背景向量和各风格生成模块，可以进一步确定各风格生成模块分别输出的第一隐向量。
本发明提供的病灶掩膜图像生成方法，通过骨干网络得到第一图像对应的至少一个不同尺度的第一特征图像，再通过背景分类网络得到尺度最小的第一特征图像的背景向量，再通过特征金字塔模块得到至少一个不同尺度的第二特征图像，进而可以根据多个不同尺度的第一特征图像和多个不同尺度的第二特征图像以及尺度最小的第一特征图像的背景向量，确定第一图像对应的多个隐向量。通过骨干网络和特征金字塔模块提取第一图像中不同深度的特征，以及通过背景分类网络提取特征图像的背景向量，进而能够根据风格生成模块确定第一图像的隐向量，进一步确定各第一图像对应的至少一个病灶掩膜图像。通过背景编码器克服了内窥镜等场景背景差异大，难以重建的问题，能够有效地实现无监督的病灶掩膜图像生成，无需人工标注，大大节省人力成本，并且可以多次迭代输入，提高病灶掩膜图像的精度，以及提升了病灶掩膜图像的生成效率。
可选地，所述基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量，包括：
a）将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量。
需要说明的是，将多个风格生成模块划分成粗糙层、中间层和精细层，根据预设的尺度，将预设尺度的第二特征图和背景向量分别输入粗糙层的多个第一风格生成模块，可以得到各第一风格生成模块分别输出的第一隐向量。
b）将除所述预设尺度的多个第二特征图像之外的多个第二特征图像分别输入各所述风格生成模块中除各所述第一风格生成模块之外的多个第二风格生成模块，得到各所述第二风格生成模块分别输出的所述第一隐向量。
具体地，第二风格生成模块与第一风格生成模块的结构相同，第一风格生成模块位于粗糙层，第二风格生成模块位于中间层和精细层。将除预设尺度的多个第二特征图像之外的多个第二特征图像分别输入各风格生成模块中除各第一风格生成模块之外的多个第二风格生成模块，可以得到各第二风格生成模块分别输出的第一隐向量。
图3是病灶掩膜图像生成网络的结构示意图之二，如图3所示，病灶掩膜图像生成网络还包括的背景分类网络，背景编码器包括骨干网络、特征金字塔模块和至少一个风格生成模块。针对每个第一图像，将第一图像输入至骨干网络，可以得到骨干网络输出的至少一个不同尺度的第一特征图像；将尺度最小的第一特征图像输入至背景分类网络，可以得到背景分类网络输出的背景向量；将各不同尺度的第一特征图像输入至特征金字塔模块，可以得到特征金字塔模块输出的至少一个不同尺度的第二特征图像；将预设尺度的多个第二特征图像和背景向量分别输入各风格生成模块中的多个第一风格生成模块，得到各第一风格生成模块分别输出的第一隐向量；将除预设尺度的多个第二特征图像之外的多个第二特征图像分别输入各风格生成模块中除各第一风格生成模块之外的多个第二风格生成模块，得到各第二风格生成模块分别输出的第一隐向量。
可选地，所述风格生成模块包括多个卷积层、压平层和第一全连接层；上述步骤a）的具体实现方式包括：
a-1）针对每个预设尺度的第二特征图像，将所述第二特征图像依次输入至所述第一风格生成模块中的多个卷积层，得到最后一个卷积层输出的第三特征图。
具体地，卷积层的数量与输入的预设长度的第二特征图像的尺寸有关，例如，预设长度的第二特征图像的尺寸为S×S，则卷积层的数量
，卷积层的卷积核大小为3×3，步长为2。
将第二特征图像依次输入至第一风格生成模块中的多个卷积层，每个卷积层中包括激励函数（LeakyRelu），每一个卷积层的输出作为下一个卷积层的输入，可以得到最后一个卷积层输出的第三特征图。
b-1）将所述第三特征图输入至所述压平层，得到所述压平层输出的第一特征向量。
具体地，压平层用于将第三特征图压平成向量。将第三特征图输入至压平层，可以得到压平层输出的第一特征向量。例如，第三特征图的尺寸是N×C×H×W，则经过压平层后为N×（CHW），其中，N表示批量的大小（Batch Size），C表示通道数，H表示第三特征图的高度，W表示第三特征图宽度。
c-1）将所述背景向量输入至第二全连接层，得到所述第二全连接层输出的第二特征向量。
具体地，在粗糙层，首先将背景向量输入至第二全连接层，可以得到第二全连接层输出的第二特征向量。其中，第二全连接层的卷积核大小为1×1。
d-1）将所述第一特征向量和所述第二特征向量进行拼接，得到第一拼接向量。
具体地，将第一特征向量和第二特征向量进行拼接，可以得到第一拼接向量。
e-1）将所述第一拼接向量输入至所述第一全连接层，得到所述第一全连接层输出的所述第一隐向量。
具体地，将第一拼接向量输入至第一全连接层，可以得到第一全连接层输出的第一隐向量。第一隐向量为512维的风格向量。
图4是本发明提供的风格生成模块的结构示意图，如图4所示，风格生成模块包括多个卷积层、压平层和第一全连接层；其中，卷积层的数量为L，卷积层的数量与输入的第二特征图像的尺寸有关，例如，第二特征图像的尺寸为S×S，则卷积层的数量
，卷积层的卷积核大小为3×3，步长为2。每个卷积层中包括激励函数（LeakyRelu）。以粗糙层的第一风格生成模块为例，将第二特征图像依次输入至第一风格生成模块中的多个卷积层，得到最后一个卷积层输出的第三特征图，将第三特征图输入至压平层，得到压平层输出的第一特征向量，将背景向量输入至第二全连接层，得到第二全连接层输出的第二特征向量；将背景向量输入至第二全连接层，得到第二全连接层输出的第二特征向量；将第一特征向量和第二特征向量进行拼接，得到第一拼接向量；将第一拼接向量输入至第一全连接层，得到第一全连接层输出的所述第一隐向量。
接下来，分别对图像生成网络和背景编码器的训练过程进行进一步说明。
可选地，所述图像生成网络还包括映射网络和判别器，所述图像生成网络是基于以下步骤训练得到：
步骤1，获取病灶图像数据集；所述病灶图像数据集包括多个所述不包括病灶的样本图像、各所述不包括病灶的样本图像对应的背景类型、以及多个所述包括病灶的样本图像。
具体地，样本图像可以为内窥镜图像。获取多个不包括病灶的样本图像，通过图像哈希算法和K均值（Kmeans）等聚类方法得到m种不包括病灶的样本图像对应的背景类型。同时，也可以获取多个包括病灶的样本图像。
步骤2，将各所述不包括病灶的样本图像对应的样本背景向量和预设的随机向量输入至初始图像生成网络中的所述映射网络，得到所述映射网络输出的各所述不包括病灶的样本图像对应的第二隐向量；所述样本背景向量是基于所述背景类型确定的。
需要说明的是，预设的随机向量为512维向量，根据不包括病灶的样本图像对应的背景类型，并转化为独热编码可以得到各不包括病灶的样本图像对应的样本背景向量，并将样本背景向量作为映射网络的输入，可以提高图像生成网络的生成质量。映射网络包括多个全连接层。初始图像生成网络是基于风格的生成器架构（StyleGAN）的强大的生成能力，训练过程与StyleGAN基本一致。
具体地，将各不包括病灶的样本图像对应的样本背景向量和预设的随机向量输入至初始图像生成网络中的映射网络，可以得到映射网络输出的各不包括病灶的样本图像对应的第二隐向量。第二隐向量为512维隐向量。
步骤3，对所述第二隐向量进行多次复制，得到多个第二隐向量。
具体地，对第二隐向量进行多次复制，例如，复制17次，得到18个第二隐向量。
步骤4，将各所述第二隐向量输入至所述初始图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第一无病灶图像。
具体地，将各第二隐向量输入至初始图像生成网络中的图像合成网络，可以得到图像合成网络输出的第一无病灶图像。第一无病灶图像和不包括病灶的样本图像的背景相同。
步骤5，将各所述第一无病灶图像和各所述不包括病灶的样本图像分别输入至所述初始图像生成网络中的所述判别器，得到所述判别器输出的判别结果；所述判别结果用于更新所述初始图像生成网络的参数。
具体地，判别器用于判断第一无病灶图像和不包括病灶的样本图像的真假。将各第一无病灶图像和各不包括病灶的样本图像分别输入至初始图像生成网络中的判别器，不包括病灶的样本图像对应的标签是-1，第一无病灶图像对应的标签是1，可以得到判别器分别输出的各第一无病灶图像和各不包括病灶的样本图像对应的判别结果，判别器输出的判别结果为-1至1之间的浮点数，数值越大代表输入判别器的图像的真实性越高。当判断结果为1时，表示图像合成网络输出的第一无病灶图像和不包括病灶的样本图像相似，即图像合成网络输出的第一无病灶图像的真实性越高；当判断结果为-1时，表示图像合成网络输出的第一无病灶图像和不包括病灶的样本图像不相似，即图像合成网络输出的第一无病灶图像的真实性越低。
进一步地，更新初始图像生成网络中图像合成网络和判别器的参数，经过200个轮次（epoch）之后初始图像生成网络训练结束，得到图像生成网络。其中，判别器更新参数，目的提高辨别真假能力；图像合成网络更新参数，目的是提高图像合成网络输出的合成图像的逼真程度。图像合成网络和判别器二者同时优化，最终达到纳什均衡。
对于图像合成网络的损失函数采用公式（1）表示，其中：
对于判别器的损失函数采用公式（2）表示，其中：
其中，z表示随机向量，c表示样本背景向量，G表示图像合成网络，D表示判别器。
步骤6，基于最终更新的初始图像生成网络的参数，确定所述图像生成网络。
具体地，基于最终更新的初始图像生成网络的参数，即初始图像生成网络训练结束时图像合成网络和判别器的参数，作为图像生成网络的参数，从而得到图像生成网络。
本发明提供的病灶掩膜图像生成方法，通过不包括病灶的样本图像对应的样本背景向量和预设的随机向量，对初始图像生成网络进行训练，通过初始图像生成网络中的图像合成网络输出的第一无病灶图像，采用判别器分别对第一无病灶图像和不包括病灶的样本图像进行判别，可以提升图像生成网络在生成无病灶图像时的精度，使得生成的无病灶图像与真实的不包括病灶的图像更相似，即图像合成网络输出的第一无病灶图像的真实性越高，能够有效地实现无监督的病灶掩膜图像生成，无需人工标注，大大节省人力成本，并且可以多次迭代输入，提高病灶掩膜图像的精度，以及提升了病灶掩膜图像的生成效率。
图5是本发明提供的图像生成网络的结构示意图，如图5所示，将不包括病灶的样本图像对应的样本背景向量和预设的随机向量输入至初始图像生成网络中的映射网络，得到映射网络输出的各不包括病灶的样本图像对应的第二隐向量；对第二隐向量进行多次复制，得到多个第二隐向量；将各第二隐向量输入至初始图像生成网络中的图像合成网络，得到图像合成网络输出的第一无病灶图像；将第一无病灶图像和不包括病灶的样本图像分别输入至初始图像生成网络中的判别器，得到判别器分别输出的判别结果；当判断结果为1时，表示图像合成网络输出的第一无病灶图像和不包括病灶的样本图像相似，即图像合成网络输出的第一无病灶图像的真实性越高；当判断结果为-1时，表示图像合成网络输出的第一无病灶图像和不包括病灶的样本图像不相似，更新初始图像生成网络中图像合成网络和判别器的参数；基于最终更新的初始图像生成网络的参数，确定图像生成网络。
可选地，所述背景编码器是基于以下步骤训练得到：
（a）将各所述不包括病灶的样本图像输入初始背景编码器，得到所述初始背景编码器输出的各所述不包括病灶的样本图像分别对应的至少一个第三隐向量。
具体地，将各不包括病灶的样本图像输入初始背景编码器，可以得到初始背景编码器输出的各不包括病灶的样本图像分别对应的至少一个第三隐向量。
（b）将各所述第三隐向量输入至所述图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第二无病灶图像。
具体地，将各第三隐向量输入至训练完成后的图像生成网络中的图像合成网络，可以得到图像合成网络输出的第二无病灶图像。
（c）基于各所述第二无病灶图像和各所述不包括病灶的样本图像，分别计算背景分类损失函数和合成损失函数。
具体地，采用公式（3）和公式（4）分别计算背景分类损失函数和合成损失函数；其中，
其中，
表示背景分类损失函数，/>
表示合成损失函数，N表示不包括病灶的样本图像总数，c表示不包括病灶的样本图像对应的背景类型，m表示背景类型的类型总数，i表示第i个不包括病灶的样本图像，y ic 表示第i个不包括病灶的样本图像对应的类型（标签值），p ic 表示第i个不包括病灶的样本图像对应的第二无病灶图像为c类别的概率，x表示输入的不包括病灶的样本图像，E表示背景编码器，G表示图像合成网络；F表示特征提取器，用于对第二无病灶图像和不包括病灶的样本图像进行特征提取，可选用预训练过的ResNet50；/>
、/>
和/>
表示可调节参数，一般/>
取值为1，一般/>
取值为10，一般/>
取值为10。
（d）基于所述背景分类损失函数和所述合成损失函数，更新所述初始背景编码器的参数，得到第一背景编码器。
具体地，根据背景分类损失函数和合成损失函数，可以得到总损失函数，总损失函数
采用公式（5）表示：
通过总损失函数使得生成的第二无病灶图像和输入的不包括病灶的样本图像的差距尽可能小，使得背景编码器具有实现图像到隐向量的反向映射能力。通过总损失函数的损失值判断训练是否满足预设条件，其中，预设条件可以为迭代次数达到最大值或者总损失函数的损失值趋于稳定。在训练未满足预设条件的情况下，更新初始背景编码器的参数，直到训练满足预设条件，背景编码器训练结束，可以得到第一背景编码器。
需要说明的是，训练背景编码器的同时还通过骨干网络输出的特征图像，再通过背景分类网络实现样本图像的背景分类，将背景分类网络的输出转为独热编码，作为背景向量。
（e）基于所述第一背景编码器和多个包括病灶的样本图像，更新所述第一背景编码器的参数，得到所述背景编码器。
具体地，根据第一背景编码器和多个包括病灶的样本图像，对第一背景编码器进行训练，将包括病灶的图像输入第一背景编码器，得到第一背景编码器输出的第四隐向量，将第四隐向量复制多次，得到多个第四隐向量，再将多个第四隐向量输入至图像合成网络，得到图像合成网络输出的第三无病灶图像，再根据第三无病灶图像和包括病灶的样本图像计算背景分类损失函数和合成损失函数，得到总损失函数，再通过总损失函数的函数值判断第一背景编码器是否满足预设条件，在第一背景编码器未满足预设条件的情况下，更新第一背景编码器的参数，直到训练满足预设条件，第一背景编码器训练结束，从而得到背景编码器。
需要说明的是，在对第一背景编码器训练的过程中，采用公式（6）计算合成损失函数，公式（6）表示为：
其中，
表示可调节参数，一般/>
取值为1，/>
表示将第二无病灶图像输入第一背景编码器后获取的背景概率值。
需要说明的是，训练初始背景编码器时，训练300个轮次（epoch），训练第一背景编码器时，训练150个轮次（epoch）。
本发明提供的方法，通过对第一背景编码器的训练，使得输入至第一背景编码器的包括病灶的样本图像和图像合成网络输出的第三无病灶图像尽可能相似，从而得到更多的包括病灶的样本图像，无需人工标注，节省时间和人力成本。
可选地，在得到病灶掩膜图像之后，方法还包括：
（1）采用各所述病灶掩膜图像的最小外接矩形框截取各所述第一图像，得到病灶图像块数据集；所述病灶图像块数据集包括多个病灶图像块。
具体地，采用各病灶掩膜图像的最小外接矩形框截取各第一图像，可以得到病灶图像块数据集；其中，病灶图像块数据集包括多个病灶图像块。
（2）基于各所述病灶图像块和病灶分类网络，确定各所述病灶图像块对应的病灶类型；所述病灶分类网络用于确定各所述病灶图像块对应的病灶类型，所述病灶类型表示各所述病灶图像块对应的病灶。
具体地，病灶分类网络是孪生网络，病灶分类网络是采用经过ImageNet等大数据集预训练过的模型，具有强大的特征表征能力，病灶分类网络可以是ResNet50或者视觉几何群网络（Visual Geometry Group Network，VGG）等模型。首先，医生辨别各病灶图像块中少量病灶图像块的类型，得到已知类型的病灶图像支撑集；再采用病灶分类网络和已知类型的病灶图像支撑集，确定各病灶图像块中除已知类型的病灶图像块之外的病灶图像块对应的病灶类型。
可选地，所述病灶分类网络包括至少一个特征提取网络和第三全连接层；所述基于各所述病灶图像块和病灶分类网络，确定各所述病灶图像块对应的病灶类型，包括：
将各所述病灶图像块分别输入至各所述特征提取网络，得到各所述特征提取网络分别输出的第一特征向量；将各所述第一特征向量输入至所述第三全连接层，得到所述第三全连接层输出的至少一个第一类型概率；所述第一类型概率表示各所述病灶图像块的类型相同的概率；基于各所述第一类型概率，计算各所述第一类型概率对应的平均值；将最大平均值对应的类型确定为各所述病灶图像块对应的病灶类型。
具体地，特征提取网络可以采用预训练的残差网络（ResNet50），全连接层的激活函数是Sigmoid，各特征提取网络进行权重共享。将各病灶图像块中至少两个病灶图像块为一组，其中，每一组中至少有一个病灶图像块为已知类型的病灶图像块。将各所述病灶图像块分别输入至各特征提取网络，可以得到各特征提取网络分别输出的第一特征向量；将各第一特征向量合并输入至第三全连接层，可以得到第三全连接层输出的至少一个第一类型概率；第一类型概率表示各病灶图像块的类型相同的概率；再基于各第一类型概率，计算各所述第一类型概率对应的平均值；将最大平均值对应的类型确定为各所述病灶图像块对应的病灶类型。病灶图像块对应的病灶类型可以采用公式（7）表示：
其中，Q表示未知类型的病灶图像块，CQ表示未知类型的病灶图像块对应的病灶类型，Kj表示病灶图像块支撑集中第j类病灶图像块的总数，pjl 表示第j类的第l个未知类型的病灶图像块和已知类型的病灶图像块是相同类型的病灶的概率，即第一类型概率。
本发明提供的方法，通过病灶分类网络实现病灶图像块对应的病灶类型的分类，从而可以得到病灶掩膜图像对应的类型，无需人工手动对病灶掩膜图像进行标注，从而能够实现大量的病灶掩膜图像对应的类型的分类，提升了病灶掩膜图像的分类准确性。
可选地，在得到病灶图像块对应的病灶类型之后，所述方法还包括：
基于各所述第一图像、各所述病灶图像块、各所述病灶图像块对应的病灶类型和所述病灶分类网络，确定各所述第一图像分别对应的病灶类型。
具体地，将第一图像和各病灶图像块分别输入至各特征提取网络，可以得到各特征提取网络分别输出的第二特征向量，再将各第二特征向量合并输入至第三全连接层，可以得到第三全连接层输出的至少一个第二类型概率，即第一图像和病灶图像块属于同一类型的病灶的概率；根据各第二类型概率，可以计算各第二类型概率对应的平均值。将最大平均值对应的病灶类型确定为第一图像对应的病灶类型。第一图像对应的病灶类型也可以采用上述公式（7）进行计算得到。
图6是本发明提供的病灶分类网络的结构示意图，如图6所示，病灶分类网络包括两个特征提取网络和第三全连接层；其中，两个特征提取网络进行权重共享。将第一图像和各病灶图像块分别输入至两个特征提取网络，得到两个特征提取网络分别输出的第二特征向量；将各第二特征向量输入至第三全连接层，得到第三全连接层输出的至少一个第二类型概率；再计算各第二类型概率对应的平均值，将最大平均值对应的病灶类型确定为第一图像对应的病灶类型。
下面对本发明提供的病灶掩膜图像生成装置进行描述，下文描述的病灶掩膜图像生成装置与上文描述的病灶掩膜图像生成方法可相互对应参照。
图7是本发明提供的病灶掩膜图像生成装置的结构示意图，如图7所示，病灶掩膜图像生成装置700包括：获取模块701和掩膜图像生成模块702；其中，
获取模块701，用于获取至少一个包括病灶的第一图像；
掩膜图像生成模块702，用于将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。
本发明提供的病灶掩膜图像生成装置，通过获取至少一个包括病灶的第一图像；将各第一图像分别输入病灶掩膜图像生成网络，得到病灶掩膜图像生成网络输出的各第一图像对应的至少一个病灶掩膜图像；病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，病灶掩膜图像生成网络用于生成各第一图像对应的至少一个病灶掩膜图像；病灶掩膜图像表示病灶所在区域的图像。由于病灶掩膜生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，提升模型的泛化性和多样性。因此，可以通过病灶掩膜图像生成网络实现包括病灶的第一图像对应的多个病灶掩膜图像的生成，进而得到大量只有病灶的图像，不包括背景图像，无需人工手动对包括病灶的图像进行标注，提升了病灶掩膜图像的生成效率。
可选地，所述病灶掩膜图像生成网络包括图像生成网络和背景编码器；所述图像生成网络包括图像合成网络；
所述掩膜图像生成模块702，具体用于：
将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量；
将各所述第一隐向量输入至所述图像合成网络，得到所述图像合成网络输出的第一生成图像；
基于所述第一生成图像，重复迭代执行所述得到所述图像合成网络输出的第一生成图像的步骤，得到至少一个第二生成图像；
计算最后一次所述图像合成网络输出的各所述第二生成图像和各所述第一图像之间的差值；
基于各所述差值，确定各所述第一图像对应的至少一个病灶掩膜图像。
可选地，所述病灶掩膜图像生成网络还包括背景分类网络，所述背景编码器包括骨干网络、特征金字塔模块和至少一个风格生成模块；
所述掩膜图像生成模块702，具体用于：
针对每个第一图像，将所述第一图像输入至所述骨干网络，得到所述骨干网络输出的至少一个不同尺度的第一特征图像；
将尺度最小的第一特征图像输入至所述背景分类网络，得到所述背景分类网络输出的背景向量；
将各所述不同尺度的第一特征图像输入至所述特征金字塔模块，得到所述特征金字塔模块输出的至少一个不同尺度的第二特征图像；
基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量。
可选地，所述掩膜图像生成模块702，具体用于：
将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量；
将除所述预设尺度的多个第二特征图像之外的多个第二特征图像分别输入各所述风格生成模块中除各所述第一风格生成模块之外的多个第二风格生成模块，得到各所述第二风格生成模块分别输出的所述第一隐向量。
可选地，所述风格生成模块包括多个卷积层、压平层和第一全连接层；
所述掩膜图像生成模块702，具体用于：
针对每个预设尺度的第二特征图像，将所述第二特征图像依次输入至所述第一风格生成模块中的多个卷积层，得到最后一个卷积层输出的第三特征图；
将所述第三特征图输入至所述压平层，得到所述压平层输出的第一特征向量；
将所述背景向量输入至第二全连接层，得到所述第二全连接层输出的第二特征向量；
将所述第一特征向量和所述第二特征向量进行拼接，得到第一拼接向量；
将所述第一拼接向量输入至所述第一全连接层，得到所述第一全连接层输出的所述第一隐向量。
可选地，所述图像生成网络还包括映射网络和判别器，所述图像生成网络是基于以下步骤训练得到：
获取病灶图像数据集；所述病灶图像数据集包括多个所述不包括病灶的样本图像、各所述不包括病灶的样本图像对应的背景类型、以及多个所述包括病灶的样本图像；
将各所述不包括病灶的样本图像对应的样本背景向量和预设的随机向量输入至初始图像生成网络中的所述映射网络，得到所述映射网络输出的各所述不包括病灶的样本图像对应的第二隐向量；所述样本背景向量是基于所述背景类型确定的；
对所述第二隐向量进行多次复制，得到多个第二隐向量；
将各所述第二隐向量输入至所述初始图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第一无病灶图像；
将各所述第一无病灶图像和各所述不包括病灶的样本图像分别输入至所述初始图像生成网络中的所述判别器，得到所述判别器输出的判别结果；所述判别结果用于更新所述初始图像生成网络的参数；
基于最终更新的初始图像生成网络的参数，确定所述图像生成网络。
可选地，所述背景编码器是基于以下步骤训练得到：
将各所述不包括病灶的样本图像输入初始背景编码器，得到所述初始背景编码器输出的各所述不包括病灶的样本图像分别对应的至少一个第三隐向量；
将各所述第三隐向量输入至所述图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第二无病灶图像；
基于各所述第二无病灶图像和各所述不包括病灶的样本图像，分别计算背景分类损失函数和合成损失函数；
基于所述背景分类损失函数和所述合成损失函数，更新所述初始背景编码器的参数，得到第一背景编码器；
基于所述第一背景编码器和多个包括病灶的样本图像，更新所述第一背景编码器的参数，得到所述背景编码器。
图8是本发明提供的一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行病灶掩膜图像生成方法，该方法包括：获取至少一个包括病灶的第一图像；将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的病灶掩膜图像生成方法，该方法包括：获取至少一个包括病灶的第一图像；将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种病灶掩膜图像生成方法，其特征在于，包括：
获取至少一个包括病灶的第一图像；
将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。
2.根据权利要求1所述的病灶掩膜图像生成方法，其特征在于，所述病灶掩膜图像生成网络包括图像生成网络和背景编码器；所述图像生成网络包括图像合成网络；
所述将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像，包括：
将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量；
将各所述第一隐向量输入至所述图像合成网络，得到所述图像合成网络输出的第一生成图像；
基于所述第一生成图像，重复迭代执行所述得到所述图像合成网络输出的第一生成图像的步骤，得到至少一个第二生成图像；
计算最后一次所述图像合成网络输出的各所述第二生成图像和各所述第一图像之间的差值；
基于各所述差值，确定各所述第一图像对应的至少一个病灶掩膜图像。
3.根据权利要求2所述的病灶掩膜图像生成方法，其特征在于，所述病灶掩膜图像生成网络还包括背景分类网络，所述背景编码器包括骨干网络、特征金字塔模块和至少一个风格生成模块；
所述将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量，包括：
针对每个第一图像，将所述第一图像输入至所述骨干网络，得到所述骨干网络输出的至少一个不同尺度的第一特征图像；
将尺度最小的第一特征图像输入至所述背景分类网络，得到所述背景分类网络输出的背景向量；
将各所述不同尺度的第一特征图像输入至所述特征金字塔模块，得到所述特征金字塔模块输出的至少一个不同尺度的第二特征图像；
基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量。
4.根据权利要求3所述的病灶掩膜图像生成方法，其特征在于，所述基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量，包括：
将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量；
将除所述预设尺度的多个第二特征图像之外的多个第二特征图像分别输入各所述风格生成模块中除各所述第一风格生成模块之外的多个第二风格生成模块，得到各所述第二风格生成模块分别输出的所述第一隐向量。
5.根据权利要求4所述的病灶掩膜图像生成方法，其特征在于，所述风格生成模块包括多个卷积层、压平层和第一全连接层；
所述将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量，包括：
针对每个预设尺度的第二特征图像，将所述第二特征图像依次输入至所述第一风格生成模块中的多个卷积层，得到最后一个卷积层输出的第三特征图；
将所述第三特征图输入至所述压平层，得到所述压平层输出的第一特征向量；
将所述背景向量输入至第二全连接层，得到所述第二全连接层输出的第二特征向量；
将所述第一特征向量和所述第二特征向量进行拼接，得到第一拼接向量；
将所述第一拼接向量输入至所述第一全连接层，得到所述第一全连接层输出的所述第一隐向量。
6.根据权利要求2-5任一项所述的病灶掩膜图像生成方法，其特征在于，所述图像生成网络还包括映射网络和判别器，所述图像生成网络是基于以下步骤训练得到：
获取病灶图像数据集；所述病灶图像数据集包括多个所述不包括病灶的样本图像、各所述不包括病灶的样本图像对应的背景类型、以及多个所述包括病灶的样本图像；
将各所述不包括病灶的样本图像对应的样本背景向量和预设的随机向量输入至初始图像生成网络中的所述映射网络，得到所述映射网络输出的各所述不包括病灶的样本图像对应的第二隐向量；所述样本背景向量是基于所述背景类型确定的；
对所述第二隐向量进行多次复制，得到多个第二隐向量；
将各所述第二隐向量输入至所述初始图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第一无病灶图像；
将各所述第一无病灶图像和各所述不包括病灶的样本图像分别输入至所述初始图像生成网络中的所述判别器，得到所述判别器输出的判别结果；所述判别结果用于更新所述初始图像生成网络的参数；
基于最终更新的初始图像生成网络的参数，确定所述图像生成网络。
7.根据权利要求6所述的病灶掩膜图像生成方法，其特征在于，所述背景编码器是基于以下步骤训练得到：
将各所述不包括病灶的样本图像输入初始背景编码器，得到所述初始背景编码器输出的各所述不包括病灶的样本图像分别对应的至少一个第三隐向量；
将各所述第三隐向量输入至所述图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第二无病灶图像；
基于各所述第二无病灶图像和各所述不包括病灶的样本图像，分别计算背景分类损失函数和合成损失函数；
基于所述背景分类损失函数和所述合成损失函数，更新所述初始背景编码器的参数，得到第一背景编码器；
基于所述第一背景编码器和多个包括病灶的样本图像，更新所述第一背景编码器的参数，得到所述背景编码器。
8.一种病灶掩膜图像生成装置，其特征在于，包括：
获取模块，用于获取至少一个包括病灶的第一图像；
掩膜图像生成模块，用于将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述病灶掩膜图像生成方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述病灶掩膜图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310425702.3A CN116152250B (zh) | 2023-04-20 | 2023-04-20 | 病灶掩膜图像生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310425702.3A CN116152250B (zh) | 2023-04-20 | 2023-04-20 | 病灶掩膜图像生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116152250A true CN116152250A (zh) | 2023-05-23 |
| CN116152250B CN116152250B (zh) | 2023-09-08 |
Family
ID=86341056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310425702.3A Active CN116152250B (zh) | 2023-04-20 | 2023-04-20 | 病灶掩膜图像生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152250B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097559A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像病灶区域标注方法 |
| WO2020259209A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 眼底图像识别方法、装置、设备和存储介质 |
| CN112418249A (zh) * | 2020-11-18 | 2021-02-26 | 北京字跳网络技术有限公司 | 掩膜图像生成方法、装置、电子设备和计算机可读介质 |
| CN112541924A (zh) * | 2020-12-08 | 2021-03-23 | 北京百度网讯科技有限公司 | 眼底图像生成方法、装置、设备以及存储介质 |
| CN114155190A (zh) * | 2021-10-25 | 2022-03-08 | 深圳大学 | 基于病灶注意条件生成对抗网络的视网膜图像合成方法 |
| CN114399814A (zh) * | 2021-12-23 | 2022-04-26 | 北京航空航天大学 | 一种基于深度学习的遮挡物移除和三维重建方法 |
| CN114419087A (zh) * | 2022-01-22 | 2022-04-29 | 平安科技（深圳）有限公司 | 病灶图像生成方法、装置、电子设备及存储介质 |
-
2023
- 2023-04-20 CN CN202310425702.3A patent/CN116152250B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097559A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像病灶区域标注方法 |
| WO2020259209A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 眼底图像识别方法、装置、设备和存储介质 |
| CN112418249A (zh) * | 2020-11-18 | 2021-02-26 | 北京字跳网络技术有限公司 | 掩膜图像生成方法、装置、电子设备和计算机可读介质 |
| CN112541924A (zh) * | 2020-12-08 | 2021-03-23 | 北京百度网讯科技有限公司 | 眼底图像生成方法、装置、设备以及存储介质 |
| CN114155190A (zh) * | 2021-10-25 | 2022-03-08 | 深圳大学 | 基于病灶注意条件生成对抗网络的视网膜图像合成方法 |
| CN114399814A (zh) * | 2021-12-23 | 2022-04-26 | 北京航空航天大学 | 一种基于深度学习的遮挡物移除和三维重建方法 |
| CN114419087A (zh) * | 2022-01-22 | 2022-04-29 | 平安科技（深圳）有限公司 | 病灶图像生成方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王伟;黄兴鸿;丁偕;刘全祥;王培军;: "不同弥散加权成像对基于生成对抗网络的前列腺癌检测的影响", 同济大学学报(医学版), no. 04, pages 61 - 67 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116152250B (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503654B (zh) | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 | |
| Srinidhi et al. | Self-supervised driven consistency training for annotation efficient histopathology image analysis | |
| CN111401480B (zh) | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 | |
| CN109118495B (zh) | 一种视网膜血管分割方法和装置 | |
| CN110276745B (zh) | 一种基于生成对抗网络的病理图像检测算法 | |
| Nguyen et al. | Evaluating transformer-based semantic segmentation networks for pathological image segmentation | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN114066729B (zh) | 一种可恢复身份信息的人脸超分辨率重建方法 | |
| CN114581701A (zh) | 一种t2加权影像特征生成动态增强影像特征的方法 | |
| Kitrungrotsakul et al. | Interactive deep refinement network for medical image segmentation | |
| CN118430790A (zh) | 一种基于多模态图神经网络的乳腺肿瘤bi-rads分级方法 | |
| CN115147640A (zh) | 一种基于改进胶囊网络的脑肿瘤图像分类方法 | |
| Wang et al. | Single neuron segmentation using graph-based global reasoning with auxiliary skeleton loss from 3D optical microscope images | |
| CN116030158B (zh) | 基于风格生成对抗网络模型的病灶图像生成方法及装置 | |
| CN117726872A (zh) | 基于多视图多任务特征学习的肺部ct图像分类方法 | |
| CN116152250B (zh) | 病灶掩膜图像生成方法及装置 | |
| CN116030063B (zh) | Mri图像的分类诊断系统、方法、电子设备及介质 | |
| CN117649657A (zh) | 基于改进Mask R-CNN的骨髓细胞检测系统 | |
| Xing et al. | The Beauty or the Beast: Which Aspect of Synthetic Medical Images Deserves Our Focus? | |
| Kolarik et al. | Planar 3D transfer learning for end to end unimodal MRI unbalanced data segmentation | |
| CN113327221B (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
| CN115937083A (zh) | 一种融合先验信息的前列腺磁共振图像区域分割方法 | |
| Zhang et al. | Weakly Supervised Segmentation by Tensor Graph Learning for Whole Slide Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |