CN113327221A - 融合roi区域的图像合成方法、装置、电子设备及介质 - Google Patents
融合roi区域的图像合成方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113327221A CN113327221A CN202110735504.8A CN202110735504A CN113327221A CN 113327221 A CN113327221 A CN 113327221A CN 202110735504 A CN202110735504 A CN 202110735504A CN 113327221 A CN113327221 A CN 113327221A
- Authority
- CN
- China
- Prior art keywords
- image
- diseased sample
- diseased
- original image
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 22
- 201000010099 disease Diseases 0.000 claims abstract description 33
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000004913 activation Effects 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 19
- 238000003786 synthesis reaction Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 230000003902 lesion Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000002591 computed tomography Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims 3
- 239000002131 composite material Substances 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- NQBKFULMFQMZBE-UHFFFAOYSA-N n-bz-3-benzanthronylpyrazolanthron Chemical compound C12=CC=CC(C(=O)C=3C4=CC=CC=3)=C2C4=NN1C1=CC=C2C3=C1C1=CC=CC=C1C(=O)C3=CC=C2 NQBKFULMFQMZBE-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种融合ROI区域的图像合成方法、装置、电子设备及介质，该方法包括获取具有对应类别信息的有病和无病原始图像；使用弱监督定位网络获取有病原始图像的感兴趣区域，得到有病掩膜图像；通过相似度计算获取与无病原始图像对应的相似有病图像，得到无病掩膜图像；分别使用有病和无病掩膜图像对有病和无病原始图像进行遮挡，得到被掩膜遮挡的图像；设计基于条件生成对抗性网络模型，并使用有病和无病掩膜图像、被掩膜遮挡的图像以及对应类别信息对该网络模型进行训练，从而得到合成医疗图像。本发明通过获取医疗图像中的感兴趣区域以及使用基于条件生成对抗性网络模型，能够高效合成指定种类的医疗图像，提高图像质量。
Description
技术领域
本发明涉及计算机视觉中的图像合成领域，尤其涉及一种融合ROI区域的图像合成方法、装置、电子设备及介质。
背景技术
近年来，基于深度学习的疾病诊断方法被广泛应用到医疗领域。这些基于深度学习网络的模型可以大批量地处理医疗图像、减少医生阅片时间，辅助医生进行诊断。但深度学习模型一般依赖大量的训练数据，可用的、高质量的、标注好的医疗图像数据明显不足，并且医疗图像存在不均衡性，有疾病的医疗图像十分匮乏，与无疾病图像的数量严重不匹配，制约了医疗诊断模型的性能。目前，生成对抗网络(Generative AdversarialNetworks，简称GAN网络)被用来解决图像数据不足与不均衡的问题，它是人工合成所需图像的重要手段。
许多研究基于深度卷积生成对抗性网络(Deep Convolutional GAN，简称DCGAN)和周期一致对抗性网络(Cycle-Consistent Adversarial Networks，简称cycleGAN)等完成图像合成。然而，大多数研究都是以整张图片作为输入，考虑全局信息，这种方法较适用于病灶区域面积较大的疾病，如果是针对病灶区域集中到某局部区域，这样会导致浪费计算机资源，并且大多数方法通过模型中合成一种类别标签的图像，造成了合成图像关注性差，重点部分的迁移和生成能力不足，生成图像的质量不够优质等问题，限制了图像的合成能力和对医疗诊断的有效辅助能力。故研究如何有效地提供高质量合成的图像，缓解医疗影像数据饥饿和不均衡的问题，具有十分重要的意义。
发明内容
本发明的目的是提供一种融合ROI区域的图像合成方法、装置、电子设备及介质，用以解决现有技术中存在的问题。
第一方面，本发明提供一种融合ROI区域的图像合成方法，包括：
获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；
使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；
设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。
进一步地，所述使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域包括：
使用概率类激活网络对病变区域在整个图像中面积占比大于或等于预定值的所述有病样本原始图像进行处理以获取感兴趣区域；以及
使用金字塔定位网络对病变区域在整个图像中面积占比小于预定值的所述有病样本原始图像进行处理以获取感兴趣区域。
进一步地，所述通过相似度计算获取与所述无病样本原始图像相似的所述有病样本原始图像包括：
使用感知哈希算法获取与所述无病样本原始图像相似的所述有病样本原始图像。
进一步地，所述基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像包括：
通过图像配准的方式获得仿射变换，再将所述仿射变换应用于与所述相似有病样本图像对应的掩膜上，获取所述无病样本原始图像的感兴趣区域，从而得到所述无病样本掩膜图像。
进一步地，所述设计基于条件生成对抗性网络模型包括：
设计包括输入层、隐藏层和输出层的生成器网络，所述生成器网络的输入包括所述有病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息。
进一步地，所述设计基于条件生成对抗性网络模型还包括：
设计包括第一分支和第二分支的判别器，其中所述第一分支用于判别所述生成器网络输出的图片的真实程度，所述第二分支用于判别所述生成器网络输出的图片是否包括病变区域。
进一步地，所述医疗图像为具有关于病变区域的标签信息的计算机断层扫描图像。
第二方面，本发明提供一种融合ROI区域的图像合成装置，包括：
图像获取模块，用于获取医疗图像，将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；
图像掩膜模块，用于使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；
网络训练模块，用于设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现根据第一方面所述融合ROI区域的图像合成方法的步骤。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现根据第一方面所述融合ROI区域的图像合成方法的步骤。
由上面技术方案可知，本发明提供的融合ROI区域的图像合成方法、装置、电子设备及介质，通过获取医疗图像中的感兴趣区域以及使用基于条件生成对抗性网络模型，能够高效地合成指定种类的医疗图像，提高了合成图像的质量，缓解了医疗图像不足和不均衡的问题。
附图说明
图1是根据本发明实施例的融合ROI区域的图像合成方法的流程图；
图2是根据本发明实施例的融合ROIs和条件生成对抗网络的图像合成方法的流程图；
图3是根据本发明实施例的融合ROI区域的图像合成装置的结构示意图；
图4是根据本发明实施例的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种融合ROIs区域的新型图像合成方法，针对实践生活中图像数据不足和不均衡的现状，在图像合成过程中，提取感兴趣区域(Region of Interest，简称ROI或ROIs)，重点关注图像的局部信息，建立局部迁移部分，并且基于条件生成对抗性网络，将ROIs和标签信息共同融合作为输入，在图像重建过程中添加反转标签，进行属性编辑。利用已有图像数据与类别等监督信息，指定合成相应类别的医疗影像，保证了医疗图像的重点关注性能以及数量扩充的效率，达到了提供更高质量的合成图像以及增广不平衡类别医疗数据的目的。
图1是根据本发明实施例的融合ROI区域的图像合成方法的流程图，参考图1，根据本发明实施例的融合ROI区域的图像合成方法包括：
步骤110：获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；
步骤120：使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；
步骤130：设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。
具体地，本发明实施例提供的融合ROIs区域和条件生成对抗网络对图像进行补全增广的方法，用于合成高质量并且带有固定标签的医学图像。图2是根据本发明实施例的融合ROIs和条件生成对抗网络的图像合成方法的流程图，参考图2，本发明涉及的图像合成方案的整体流程分为两个阶段。第一阶段，使用基于类激活映射的方法来获得弱监督的病变区域，即所关注的局部信息。第二阶段采用条件生成对抗网络，重建特定类型的医学图像。根据本发明实施例的融合ROIs和条件生成对抗网络的图像合成方法的具体流程包括：
S1：根据专业放射科医生对计算机断层扫描(Computed Tomography，简称CT)图像的种类标签，对CT图像按照有病和无病进行数据分类，提取病变的ROIs，并在提取的病变ROIs进行上采样和可视化操作；
S11：首先根据放射科医生对CT图像的标签信息，将数据分类为有病样本和无病样本。
S12：对于有病样本，根据病变区域面积的大小，来分别送入不同的定位网络。如果图像中病变区域较大或者整个器官都需要重新合成，我们使用概率类激活网络(Probabilistic-Class Activation Map，简称PCAM)方法进行弱监督定位，即获取ROIs区域。PCAM是一个弱监督病变区域定位网络，该阶段包括一个全卷积基础网络首先处理输入的有病样本并生成特征图。然后，对于有病样本给定一个特定的标签，其次构建基于1*1卷积层实现的全连通层，将嵌入在特征图中的每个特征都通过全连通层，并生成类激活分数，测量每次嵌入的疾病可能性。对于疾病信息集中在图像的局部区域的样本，我们使用金字塔定位网络(Pyramid Localization Network，简称Pylon)进行定位。Pylon网络是一种高精度弱监督病变定位的模型，适用于病变区域面积占整个图像面积比例较小或者异常组织样式通常被大范围的正常组织而包裹的情形。该模型由两个部分组成：一个编码器和一个解码器。编码器利用ResNet、DenseNet或其他模型，用于分割疾病。设置输入大小为256*256。每个通道对应于不同的类，利用1*1卷积层和Relu函数调整最终的通道数目，匹配类的数量，然后每个通道通过全局最大化，获取分类的对数值，最后输出类激活映射图。最大的池化量设为0.5X。
S13：对于无病的图像，使用感知哈希算法(Perceptual hash algorithm，简称pHash算法)获取与其最为相似的有病图像，通过图像配准的方式获得仿射变换，再将仿射变换应用于有病图像的掩膜上，获得ROIs区域。pHash算法，即感知Hash算法，用于计算图片的相似度，寻找出与无病图片较高相似度的有病图片的遮罩，是通过离散余弦变换(Discrete Cosine Transform，简称DCT)获得图片哈希值从而进行比较的。首先将图像分割成32*32的小块，缩小图像尺寸，并将图片转化成灰度图像，然后分别对每个小块进行DCT变换，如下公式：
其中f(i)为原始的信号，F(u)是DCT变换后的系数，N为原始信号的点数，c(u)是补偿系数。其次计算DCT平均值，构造64位的长整型哈希值，最后通过哈希值序列，检索出与无病图片相似度较高的有病图片。根据Phash匹配的特征点对，可得到有病图像的遮罩坐标变换参数；最后基于仿射变换的方式由坐标变换参数进行将遮罩配准到无病图像上，保存为无病样本的正常遮罩。仿射变化可以保持原来的线共点、点供线的不变关系。公式如下所示：
其中，(t_x,t_y)表示平移量，参数a_i(i＝1,2,3,4)反映了图像旋转、缩放等变化，共同计算，则可得到有病图像和无病图像以及对应遮罩的坐标变换关系。
S2：设计基于条件生成对抗性网络(Conditional Generative AdversarialNetwork，简称CGAN)模型中，使用步骤S1得到的可视化图像进行训练，在指定位置上生成特定类型的合理医疗图像。
S21：设计生成器。
生成器网络设计为输入层、隐藏层和输出层。输入层部分，生成器部分采用了一层全连接的神经网络，重点关注病灶区域，学习有病和无病图像对应特征，获取数据分布。隐藏层部分，把输入图像和条件变量同时送进生成器，生成跨域向量，再通过非线性函数映射到数据空间。本发明涉及的生成网络隐藏层为3层反卷积，卷积核的大小选择3*3，选取RELU做激活函数。输出层部分，使用Tanh激活函数，对特征图进行加权挑选，最终输出合成图像。通过融入辅助信息可以使条件对抗生成网络重点关注发生异常的病灶区域，而不去直接处理整张图片，避免合成不必要的区域。
S22：设计判别器，包括两个分支。第一个分支用于预测图片是合成的还是真实的，检测生成图片的真实程度，通过真实与否的判别对抗生成网络，增强网络生成的图片的质量；第二个分支是一个多标签二分类的鉴别器，预测图片是否包含疾病，迫使网学习生成图片与疾病标签之间的对应关系，从而完成指定类别的补全。网络采用多层卷积进行堆叠提取特征，确保判别器判别真实图片和合成图片之间的性能。层与层之间使用Leaky_Relu激活函数。
S23：网络训练。
定义原始图像为Ia，被掩膜遮挡的图像为Im，设定Cm为掩膜，用于表示所关注的病变区域，输入还包括图像标签，即是否包含疾病。设定原始图像疾病类型为a，待生成的特定疾病类型为b，生成图片为Ib，将生成器定义为G，将判别器定义为D。则预测过程为：
判别器的第一分支为分类分支Dcls，第二分支为对抗生成分支Dgan。我们使用用二元交叉熵损失来训练D的两个分支，并且利用谱归一化来稳定训练过程。
对于Dcls,损失函数如下：
Lclsd(Ia,a)＝-alogDcls(Ia)-(1-a)log(1-Dcls(Ia))
对于Dgan，损失函数如下：
生成器的训练主要针对以下损失函数：
LG＝λl1Ll1+λadvLadv+λpLperc+λsLstyle+λcLclsg
其中Lperc为感知损失，为了提高合成图像的质量，其定义如下：
其中
为判别器第i层提取的特征图。
其中Lstyle为样式损失，用于减少转置卷积层引起的上采样过程中的伪影，其定义如下:
其中Gram是一个由从预先训练好的网络中提取的特征图构造的Gram矩阵。我们将在图像网分类任务上训练的VGG-19网络调整为预先训练的网络。将Gram与这些损失函数一起进行训练。l1为L1正则项，λ为对应损失的系数。
基于步骤S21-S23,在训练过程中，完成了图像的重建，使遮罩图片尽可能恢复，获得到和基础数据数量同倍的生成图像。在测试时生成对抗网络的过程中，添加反转标签，也就是将原有的标签中有病图片的标签1置为0，将原有的无病标签0置为1。通过更改标签，则可指定生成固定种类的合成图像。综合，本发明基于ROIs区域，完成了高质量的图像增广扩充。
图3为本发明实施例提供的融合ROI区域的图像合成装置的示意图，如图3所示，本发明实施例提供的融合ROI区域的图像合成装置包括：
图像获取模块310，用于获取医疗图像，将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；
图像掩膜模块320，用于使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；
网络训练模块330，用于设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。
由于本发明实施例提供的融合ROI区域的图像合成装置，可以用于执行上述实施例所述的融合ROI区域的图像合成方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行融合ROI区域的图像合成方法，该方法包括获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的融合ROI区域的图像合成方法，该方法包括：获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的融合ROI区域的图像合成方法，该方法包括：获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种融合ROI区域的图像合成方法，其特征在于，包括：
获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；
使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；
设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。
2.根据权利要求1所述的融合ROI区域的图像合成方法，其特征在于，所述使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域包括：
使用概率类激活网络对病变区域在整个图像中面积占比大于或等于预定值的所述有病样本原始图像进行处理以获取感兴趣区域；以及
使用金字塔定位网络对病变区域在整个图像中面积占比小于预定值的所述有病样本原始图像进行处理以获取感兴趣区域。
3.根据权利要求1所述的融合ROI区域的图像合成方法，其特征在于，所述通过相似度计算获取与所述无病样本原始图像相似的所述有病样本原始图像包括：
使用感知哈希算法获取与所述无病样本原始图像相似的所述有病样本原始图像。
4.根据权利要求3所述的融合ROI区域的图像合成方法，其特征在于，所述基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像包括：
通过图像配准的方式获得仿射变换，再将所述仿射变换应用于与所述相似有病样本图像对应的掩膜上，获取所述无病样本原始图像的感兴趣区域，从而得到所述无病样本掩膜图像。
5.根据权利要求1所述的融合ROI区域的图像合成方法，其特征在于，所述设计基于条件生成对抗性网络模型包括：
设计包括输入层、隐藏层和输出层的生成器网络，所述生成器网络的输入包括所述有病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息。
6.根据权利要求5所述的融合ROI区域的图像合成方法，其特征在于，所述设计基于条件生成对抗性网络模型还包括：
设计包括第一分支和第二分支的判别器，其中所述第一分支用于判别所述生成器网络输出的图片的真实程度，所述第二分支用于判别所述生成器网络输出的图片是否包括病变区域。
7.根据权利要求1所述的融合ROI区域的图像合成方法，其特征在于，所述医疗图像为具有关于病变区域的标签信息的计算机断层扫描图像。
8.一种融合ROI区域的图像合成装置，其特征在于，包括：
图像获取模块，用于获取医疗图像，将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；
图像掩膜模块，用于使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；
网络训练模块，用于设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据权利要求1至7任一项所述融合ROI区域的图像合成方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1至7任一项所述融合ROI区域的图像合成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735504.8A CN113327221B (zh) | 2021-06-30 | 2021-06-30 | 融合roi区域的图像合成方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735504.8A CN113327221B (zh) | 2021-06-30 | 2021-06-30 | 融合roi区域的图像合成方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113327221A true CN113327221A (zh) | 2021-08-31 |
| CN113327221B CN113327221B (zh) | 2024-07-16 |
Family
ID=77423531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110735504.8A Active CN113327221B (zh) | 2021-06-30 | 2021-06-30 | 融合roi区域的图像合成方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327221B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393183A (zh) * | 2022-10-28 | 2022-11-25 | 腾讯科技（深圳）有限公司 | 图像编辑方法、装置、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493308A (zh) * | 2018-11-14 | 2019-03-19 | 吉林大学 | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 |
| CN111666994A (zh) * | 2020-05-28 | 2020-09-15 | 平安科技（深圳）有限公司 | 样本图像数据增强方法、装置、电子设备及存储介质 |
| CN112614119A (zh) * | 2020-12-28 | 2021-04-06 | 上海市精神卫生中心（上海市心理咨询培训中心） | 医学图像感兴趣区域可视化方法、装置、存储介质和设备 |
-
2021
- 2021-06-30 CN CN202110735504.8A patent/CN113327221B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493308A (zh) * | 2018-11-14 | 2019-03-19 | 吉林大学 | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 |
| CN111666994A (zh) * | 2020-05-28 | 2020-09-15 | 平安科技（深圳）有限公司 | 样本图像数据增强方法、装置、电子设备及存储介质 |
| CN112614119A (zh) * | 2020-12-28 | 2021-04-06 | 上海市精神卫生中心（上海市心理咨询培训中心） | 医学图像感兴趣区域可视化方法、装置、存储介质和设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393183A (zh) * | 2022-10-28 | 2022-11-25 | 腾讯科技（深圳）有限公司 | 图像编辑方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113327221B (zh) | 2024-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | An adversarial learning approach to medical image synthesis for lesion detection | |
| Zhou et al. | Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method | |
| Pinaya et al. | Unsupervised brain imaging 3D anomaly detection and segmentation with transformers | |
| Khouloud et al. | W-net and inception residual network for skin lesion segmentation and classification | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| Punn et al. | Multi-modality encoded fusion with 3D inception U-net and decoder model for brain tumor segmentation | |
| Chang et al. | Exploiting the self-organizing map for medical image segmentation | |
| CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
| ShanmugaPriya et al. | Efficient fuzzy c-means based multilevel image segmentation for brain tumor detection in MR images | |
| CN111291825A (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| Hesamian et al. | Synthetic CT images for semi-sequential detection and segmentation of lung nodules | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| CN112348819A (zh) | 模型训练方法、图像处理及配准方法以及相关装置、设备 | |
| CN113421240A (zh) | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 | |
| Huang et al. | Style-invariant cardiac image segmentation with test-time augmentation | |
| Guo et al. | Salient object detection from low contrast images based on local contrast enhancing and non-local feature learning | |
| Li et al. | S 3 egANet: 3D spinal structures segmentation via adversarial nets | |
| Jerbi et al. | Automatic classification of ultrasound thyroids images using vision transformers and generative adversarial networks | |
| Dinh et al. | Medical image fusion based on transfer learning techniques and coupled neural P systems | |
| Sharma et al. | Retrospective Study of Convolutional Neural Network for Medical Image Analysis and a Deep Insight Through Histopathological Dataset | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| CN113327221B (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
| CN116129184A (zh) | 多期相病灶分类方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |