CN110910351A - 基于生成对抗网络的超声图像模态迁移、分类方法及终端 - Google Patents

基于生成对抗网络的超声图像模态迁移、分类方法及终端 Download PDF

Info

Publication number
CN110910351A
CN110910351A CN201911052663.7A CN201911052663A CN110910351A CN 110910351 A CN110910351 A CN 110910351A CN 201911052663 A CN201911052663 A CN 201911052663A CN 110910351 A CN110910351 A CN 110910351A
Authority
CN
China
Prior art keywords
elastic
ultrasonic image
image
network
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911052663.7A
Other languages
English (en)
Other versions
CN110910351B (zh
Inventor
徐奕
陈坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911052663.7A priority Critical patent/CN110910351B/zh
Publication of CN110910351A publication Critical patent/CN110910351A/zh
Application granted granted Critical
Publication of CN110910351B publication Critical patent/CN110910351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明提供了一种基于生成对抗网络的超声图像模态迁移、分类方法及终端，包括：S1，对原始超声图像进行处理得到纯净的弹性超声图像，将所有弹性超声图像标注对应的良恶性类别，得到像素级对齐的多组灰阶‑弹性超声图像对；S2，使用深度残差网络的单模态灰阶超声分类网络给定灰阶超声图像一个不准确的良恶性类别；采用条件双循环生成对抗网络作为超声图像模态迁移网络，实现从灰阶超声图像生成弹性超声图像；进一步利用密集卷积网络对灰阶图像和生成的弹性图像分别提取出特征并拼接以用于分类。本发明考虑了良恶性类别对弹性图像的影响，以及弹性图像固有的随机性，能够对每张灰阶图像生成多张同一类别且具有随机性的弹性图像。

Description

基于生成对抗网络的超声图像模态迁移、分类方法及终端
技术领域
本发明涉及的是一种超声图像模态迁移系统，具体是一种基于生成对抗网络的超声图像模态迁移方法，以及基于该图像模态迁移方法实现的图像分类方法、实现该方法的终端。
背景技术
乳腺癌是全球女性癌症相关死亡的首要原因，而乳腺癌是为数不多被国际公认的可以通过早期发现、早期诊断和早期治疗--“三早预防”降低死亡率的肿瘤之一。超声检查因其便捷直观、费用低廉、可重复和无创等优势，在乳腺诊断中发挥着越来越重要的作用。《中国女性乳腺癌筛查现状及适宜模式探索》指出，结合中国国情及研究表明，目前超声是乳腺首选筛查手段，对于“三早”的肿瘤预防策略的实现意义重大。常规灰阶超声检查由于图像的高噪音和低空间分辨率，存在较高的误诊率和漏诊率。当医生不能通过灰阶超声判断肿块类型时，则需要进一步检查，增加了患者和医生的负担。超声检查的顺序是灰阶超声-弹性超声-超声造影，部分患者还需要做穿刺活检以最终确定肿块的良恶性。但医生经常跳过弹性超声检查，仅根据灰阶超声的检查结果判断是否需要做超声造影和穿刺活检。
2014年Goodfellow等人在《International Conference on LearningRepresentations》(国际学习表征会议)上发表的“Generative adversarial nets”论文中提出了生成对抗网络，即通过对抗的方式，去学习数据分布的生成式模型。其中生成网络和判别网络互相对抗，生成网络尽可能生成逼真样本，判别网络则尽可能去判别该样本是真实样本还是生成的假样本。随着生成对抗网络技术的蓬勃发展，出现了以下几种典型的图像模态迁移方法：
对于有监督的任务，Isola等人于2016年在《IEEE Conference on ComputerVision and Pattern Recognition》(IEEE国际计算机视觉与模式识别会议)发表的“Image-to-image translation with conditional adversarial networks”一文中提出了一个统一的图像模态迁移框架Pix2pix，基于条件生成对抗网络(ConditionalGenerative Adversarial Networks,CGAN)，在目标函数中增加L1正则化损失，来保证输入和输出的内容一致性。同时使用U-Net的结构，用跳跃连接(skip connection)的方式把图片的底层特征也保留下来，这些底层特征对图像的细节信息有很重要的指导作用。Pix2pix把生成器的输入和输出一起作为判别器的输入，建立起了对应关系，解决了模式崩溃的问题。
Dumoulin等人于2017年在国际学习表征会议发表的“A learned representationfor artistic style”一文中提出了条件实例正则化(Conditional InstanceNormalization)，其核心思想是，对于模态迁移任务，多种模态之间可以共享卷积层和全连接层的参数，只需修改正则化层仿射变换的参数即可。如果指定模型学习N组仿射变换的参数，模型一次前向传播就能生成N幅不同模态的图像。对于图像多模态迁移任务而言，这一改进能够极大地减少模型参数，加快模型运行速度。
综上所述，Pix2pix，CycleGAN，Pix2pixHD等方法对单一输入只能产生唯一确定的输出，但考虑到弹性超声图像由于病人呼吸，探头位移，探头压力变化等外界原因导致的像素颜色和形态结构上的随机性，超声图像模态迁移算法应当对输入的随机性分布建模，并对每个输入产生多个符合随机性分布的输出。双循环生成对抗网络解决了以上问题，但并没有考虑到超声图像本身的类别信息，对每一张输入的灰阶超声图像，会同时生成良性和恶性的弹性图像，这会误导后续的良恶性分类。
发明内容
针对现有技术中存在的上述不足，本发明提出一种基于生成对抗网络的超声图像模态迁移、分类方法及终端，基于生成对抗网络和深度卷积神经网络实现，能够从灰阶超声图像生成弹性超声图像，并用生成的弹性超声图像辅助灰阶超声单模态的良恶性分类。
根据本发明的第一方面，提供一种基于生成对抗网络的超声图像模态迁移方法，包括：
S1，对原始超声图像进行处理得到纯净的弹性超声图像，将所有所述弹性超声图像标注对应的良恶性类别，得到像素级对齐的多组灰阶-弹性超声图像对；
S2，使用深度残差网络的单模态灰阶超声分类网络给定灰阶超声图像一个不准确的良恶性类别；采用条件双循环生成对抗网络作为超声图像模态迁移网络，以灰阶超声图像和该灰阶超声图像通过所述单模态灰阶超声分类网络得到的良恶性类别为所述超声图像模态迁移网络的输入，实现从灰阶超声图像生成弹性超声图像。
优选地，所述S1，包括：
S11，从原始超声图像中标注出病变区域；
S12，根据标注结果从所述原始超声图像中裁剪出感兴趣区域，在所述原始弹性超声图像中减去对应灰阶超声图像得到纯净的弹性超声图像；所述感兴趣区域即病变区域；
S13，对上述图像进行整理，得到像素级对齐的多组灰阶-弹性超声图像对。
上述S1，对原始超声图像进行必要的数据预处理工作，保证了灰阶超声图像和弹性超声图像是像素级对齐的，构建了超声多模态乳腺肿瘤影像数据库。
优选地，在S2中，
利用灰阶超声图像预训练得到使用深度残差网络的所述单模态灰阶超声分类网络；
使用灰阶-弹性超声图像对训练得到条件双循环生成对抗网络，利用所述条件双循环生成对抗网络从每一张所述灰阶超声图像生成任意多张同一类别且具有随机性的弹性超声图像。
优选地，所述S2中，进一步包括：
针对所述灰阶超声图像、所述灰阶-弹性超声图像对，引入一组生成对抗网络和两个训练循环，两个循环共享生成器G、判别器D和编码器E，在弹性超声图像和隐变量之间建立双向映射，让隐变量得到表达，在测试阶段输入符合高斯分布的随机噪声作为隐变量，并由所述单模态灰阶超声分类网络给定一个不准确的良恶性类别，实现多样化的弹性超声图像的生成，其中：
第一个循环实现从灰阶超声图像a、由真实弹性超声图像b编码得到的隐变量E(b)和真实弹性超声图像b的良恶性类别creal生成弹性超声图像
Figure BDA0002255705070000031
第二个循环实现从灰阶超声图像a、高斯随机噪声zrandom和真实弹性超声图像b的良恶性类别creal生成弹性超声图像
Figure BDA0002255705070000032
再将
Figure BDA0002255705070000033
编码得到隐变量
Figure BDA0002255705070000034
应该尽量接近zrandom。
优选地，所述条件双循环生成对抗网络，还包括：
采用谱归一化以稳定训练过程：训练过程中，对生成器和判别器的所有卷积层和全连接层的参数都除以该层参数矩阵的谱范数。
优选地，所述条件双循环生成对抗网络，还包括：
采用两个尺度的判别器以增强判别器的判别能力：训练两个尺度的判别器，分别对大小为256和128的生成弹性超声图像判断真假。
优选地，在所述S2中，使用的条件双循环生成对抗网络结构的目标方程包括三个部分：对抗损失、重建损失以及编码损失，综合这三个部分的损失，得到最终的目标方程：
Figure BDA0002255705070000041
Figure BDA0002255705070000042
和
Figure BDA0002255705070000043
分别表示第一个循环的判别器损失和生成器损失，
Figure BDA0002255705070000044
和
Figure BDA0002255705070000045
分别表示第二个循环的判别器损失和生成器损失，
Figure BDA0002255705070000046
为第一个循环生成的弹性超声图像
Figure BDA0002255705070000047
与原图b之间的误差；
Figure BDA0002255705070000048
为第二个循环恢复出的隐变量
Figure BDA0002255705070000049
与输入的高斯随机噪声zrandom之间的误差，
Figure BDA00022557050700000410
为编码损失。
此时的优化目标为：
Figure BDA00022557050700000411
根据本发明的第二方面，提供一种辅助超声图像分类方法，包括：
特征提取：使用两个密集卷积网络分别对灰阶超声图像和上述基于生成对抗网络的超声图像模态迁移方法生成的弹性超声图像提取特征，得到全连接层之前的特征图；
特征拼接与分类：将提取出的特征图沿通道维度拼接得到扩充的特征图，再通过全连接层做分类。
根据本发明的第三方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的基于生成对抗网络的超声图像模态迁移方法。
根据本发明的第四方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的辅助超声图像的分类方法。
本发明提出的条件双循环生成对抗网络模型结合了双循环生成对抗网络和条件实例正则化的思想，能够利用图像本身的类别信息，且节省模型参数，实现让模型生成的弹性超声图像只具有每一类别内的随机性，不具有跨类别的随机性，且使用谱归一化和合页损失函数代替双循环生成对抗网络的均方损失函数，稳定训练过程并提高生成图像的质量。本发明实现从灰阶超声图像到弹性超声图像的模态迁移，使得仅对患者做灰阶超声检查即可得到近似的弹性超声图像，有利于更精准的诊断与预后评估，减轻患者和医生的负担。
本发明提供的基于生成对抗网络的超声图像模态迁移方法，综合了超声图像模态迁移和双模态良恶性分类两个功能模块，是一种系统辅助诊断算法，并在每个模块中都引入了深度神经网络进行深度学习，提高模型性能。整个框架包含了数据预处理、模态迁移、良恶性分类三个部分，针对各个模块的功能需求，分别利用深度残差网络、条件双循环生成对抗网络和密集卷积网络三种不同的网络结构，实现高质量的超声图像模态迁移和相比单模态灰阶超声更高的良恶性分类准确率。
与现有技术相比，本发明具有如下有益效果：
本发明超声图像模态迁移方法以及终端，采用了条件双循环生成对抗网络，在训练阶段输入灰阶-弹性超声图像对的良恶性类别，在测试阶段输入灰阶超声图像通过预训练的单模态灰阶超声良恶性分类网络得到的不一定准确的良恶性类别，可以保证对每一张输入的灰阶超声图像生成同一类别的弹性超声图像，还可以从标准高斯分布采样多次得到任意多的隐变量，生成任意多张像素颜色和形态结构具有随机性的弹性超声图像。条件双循环生成对抗网络能够学习到灰阶超声图像和弹性超声图像之间的内在关系，对每张灰阶超声图像生成任意多张同一类别且具有随机性的弹性超声图像，辅助单模态灰阶超声的诊断。
本发明辅助超声图像分类方法以及终端，利用密集卷积网络进行良恶性分类，密集块的引入增强了每个块内部的层级联系，可以在增加网络深度的同时，不增加训练难度，从而提高了分类网络的准确性。分类结果证明，结合灰阶超声图像和生成的弹性超声图像做双模态良恶性分类，将单模态灰阶超声的良恶性分类准确率提高了5.7％。
本发明上述超声图像模态迁移方法、分类方法以及终端，在数据预处理、模态迁移、良恶性分类中都引入了深度网络进行训练，使得每个部分均到达较为理想的性能，从而使得整个方法性能优异。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明一实施例中基于生成对抗网络的超声图像模态迁移、分类方法的总体流程图；
图2是本发明一实施例中超声多模态乳腺肿瘤影像数据库的构建流程图；
图3是本发明一实施例中乳腺病变感兴趣区域标注及裁剪流程图；
图4是本发明一实施例中深度残差网络的单模态灰阶超声分类网络结构图；
图5是本发明一实施例中条件双循环生成对抗网络的网络结构图，其中(a)和(b)为训练阶段的两个循环的示意图，(c)为测试阶段的示意图，(d)为生成器结构的递归展开图；
图6是本发明一实施例中密集卷积网络双模态分类模型的网络框架图；
图7是本发明一实施例中密集卷积网络的密集块的结构图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，本发明实施例提供的基于生成对抗网络的超声图像模态迁移方法，包括：S1，对原始超声图像进行处理得到纯净的弹性超声图像，将所有所述弹性超声图像标注对应的良恶性类别，得到像素级对齐的多组灰阶-弹性超声图像对；S2，使用深度残差网络的单模态灰阶超声分类网络给定灰阶超声图像一个不准确的良恶性类别；采用条件双循环生成对抗网络(Conditional Bicycle Generative Adversarial Network,ConditionalBicycleGAN)作为超声图像模态迁移网络，以灰阶超声图像和该图像通过所述单模态灰阶超声分类网络得到的良恶性类别为输入，实现从灰阶超声图像生成弹性超声图像。
在上述S1、S2生成的弹性超声图像基础上，图1中还进一步包括了辅助超声图像分类方法的流程，即S3：利用密集卷积网络(DenseNet)对灰阶图像和生成的弹性图像分别提取出特征并拼接以用于良恶性分类。
以上三个步骤结合，实现更高质量的弹性超声图像生成和更高的超声图像良恶性分类的准确率。
由图1可以看出，S1中，首先对数据预处理，标注并裁剪出感兴趣区域，使用图像减法得到纯净的弹性超声图像，在一实施例中，可以采用以下步骤：
步骤S11，从原始超声图像中标注出医生给定的感兴趣区域，即病变区域；
步骤S12，根据标注结果从原始超声图像中裁剪出感兴趣区域，在原始弹性超声图像中减去对应灰阶超声图像从而得到纯净的弹性超声图像；
步骤S13，经过整理后，得到像素级对齐的多组灰阶-弹性超声图像对。
参照图2、3所示，在一优选实施例中，使用开源的图片标注工具LabelImg，标注并导出包含医生给定的感兴趣区域的位置信息的XML文件。对于一组灰阶-弹性超声图像对，上方的弹性超声图像与下方的灰阶超声图像间隔距离一定，且两者模态间完全对齐，因此只需针对其中一种模态图像中的病变区域进行标注，另一种模态图像中的病变区域标注结果可通过上下平移获得。标注得到的XML文件可以通过Python解析，然后利用Python脚本自动地在原始超声图像中分割出感兴趣区域图像并保存。原图中的弹性超声图像是叠加在灰阶超声图像上的，因此使用OpenCV库的cv2.subtract函数对分割出的弹性超声图像减去对应的灰阶超声图像，就得到了纯净的弹性超声图像。经过数据后处理及信息整理后，最终本实施例的超声多模态乳腺肿瘤影像数据库中包含525个病例，其中良性395例，恶性130例；共2967组灰阶-弹性超声图像对，其中良性2008组，恶性959组。
参照图1所示，S2的模态迁移部分，可以：利用灰阶超声图像预训练得到使用深度残差网络的所述单模态灰阶超声分类网络；使用灰阶-弹性超声图像对训练得到条件双循环生成对抗网络，利用所述条件双循环生成对抗网络从每一张所述灰阶超声图像生成任意多张同一类别且具有随机性的弹性超声图像。
在一具体实施例中，如图4、5所示，针对不同模态的超声图像，引入一组生成对抗网络和两个训练循环，两个循环共享生成器G、判别器D和编码器E，在弹性超声图像和隐变量之间建立双向映射，让隐变量得到表达，在测试阶段输入符合高斯分布的随机噪声作为隐变量，并由预训练的深度残差网络单模态灰阶超声分类网络给定一个不准确的良恶性类别，即可实现多样化的弹性超声图像的生成。第一个循环实现从灰阶超声图像a、由真实弹性超声图像b编码得到的隐变量E(b)和真实弹性超声图像b的类别creal生成弹性超声图像
Figure BDA0002255705070000071
第二个循环实现从灰阶超声图像a、高斯随机噪声zrandom和真实弹性超声图像b的类别creal生成弹性超声图像
Figure BDA0002255705070000072
再将
Figure BDA0002255705070000073
编码得到隐变量
Figure BDA0002255705070000074
应该尽量接近zrandom。
如图4所示，是本发明一实施例中深度残差网络的单模态灰阶超声分类网络结构图。图5是本发明一实施例中条件双循环生成对抗网络的网络结构图，其中(a)和(b)为训练阶段的两个循环的示意图，(c)为测试阶段的示意图，(d)为生成器结构的递归展开图；
为了实现超声图像的模态迁移，首先使用一半的灰阶超声图像预训练一个使用深度残差网络的单模态灰阶超声良恶性分类网络，再使用同一部分灰阶-弹性超声图像对训练条件条件双循环生成对抗网络，从每一张灰阶超声图像生成任意多张同一类别且具有随机性的弹性超声图像，其目标方程包括三个部分：
a.对抗损失
对一组生成对抗网络和两个训练循环，灰阶超声模态A和弹性超声模态B，给定的灰阶-弹性超声图像对
Figure BDA0002255705070000081
和
Figure BDA0002255705070000082
(N为灰阶-弹性超声图像对的总数)，弹性超声图像的良恶性类别creal，弹性超声图像编码得到的隐变量E(b)或高斯随机噪声zrandom，需要学习从灰阶超声图像到弹性超声图像的映射函数G：A→B。
图5中(a)和(b)所示，训练过程中，生成器G的任务是拟合弹性超声模态B的数据分布，使得合成图片G(ai)与bi的模态尽可能相同，足以迷惑判别器D，第一个循环的对抗损失可以表示为：
Figure BDA0002255705070000083
Figure BDA0002255705070000084
其中
Figure BDA0002255705070000085
和
Figure BDA0002255705070000086
分别表示第一个循环的判别器损失和生成器损失，～符号表示随机变量遵循的分布，
Figure BDA00022557050700000811
表示求期望值，pc表示真实弹性超声图像的良恶性类别的分布，D(a，b)表示判别器的输入是a和b，G(a，E(b)，creal)表示生成器的输入是a、E(b)和creal，min()表示取最小值操作，则条件双循环生成对抗网络的优化目标为：
Figure BDA0002255705070000087
Figure BDA0002255705070000088
其中*表示参数最优。
相对应的，第二个循环的对抗损失可以表示为：
Figure BDA0002255705070000089
Figure BDA00022557050700000810
其中
Figure BDA0002255705070000091
和
Figure BDA0002255705070000092
分别表示第二个循环的判别器损失和生成器损失，
Figure BDA0002255705070000093
表示均值为0，方差为1的高斯分布，G(a，zrandom，creal)表示生成器的输入是a，zrandom和creal，则条件双循环生成对抗网络的优化目标为：
Figure BDA0002255705070000094
Figure BDA0002255705070000095
b.重建损失
第一个循环生成的弹性超声图像
Figure BDA0002255705070000096
应该与原图b相同，此时，则可以利用距离函数计算两张图像之间的误差
Figure BDA0002255705070000097
Figure BDA0002255705070000098
其中，|| ||1是计算L1损失。
第二个循环恢复出的隐变量
Figure BDA0002255705070000099
应该与输入的高斯随机噪声zrandom相同，此时，则可以利用距离函数计算两个隐变量之间的误差：
Figure BDA00022557050700000910
c.编码损失
为了便于测试阶段隐变量的采样，编码器E对真实弹性超声图像b编码得到的隐变量E(b)应该尽量接近标准高斯分布
Figure BDA00022557050700000911
损失方程为：
Figure BDA00022557050700000912
其中，KL()是计算KL散度。
d.最终的目标方程
综合三个部分的损失，得到最终的目标方程为：
Figure BDA00022557050700000913
此时的优化目标为：
Figure BDA00022557050700000914
作为优选方式，条件双循环生成对抗网络还可以进一步采用谱归一化以稳定训练过程，和/或，采用两个尺度的判别器以增强判别器的判别能力。训练过程中，对生成器和判别器的所有卷积层和全连接层的参数都除以该层参数矩阵的谱范数；训练两个尺度的判别器，分别对大小为256和128的生成弹性超声图像判断真假。
在本发明另一实施例中，基于上述生成的弹性超声图像，进行辅助超声图像分类。参照图1的右边部分以及图6所示，S3中，利用密集卷积网络(DenseNet)对灰阶超声图像和S2中生成的弹性超声图像进行分类，引入密集块增强了网络结构的紧致度，提升了网络的分类性能。具体的，训练过程中，首先使用两个密集卷积网络分别对灰阶超声图像和生成的弹性超声图像提取特征，得到全连接层之前的特征图，随后将提取出的特征图沿通道维度拼接得到扩充的特征图，再通过全连接层做良恶性分类。
图7所示为密集卷积网络的密集块示意图。密集块的引入增强了每个块内部的层级联系，可以在增加网络深度的同时，不增加训练难度，从而提高了分类网络的准确性。
在本发明另一实施例中，以上述模态迁移方法为基础，提供一种模态迁移终端，该终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的基于生成对抗网络的超声图像模态迁移方法。
在本发明另一实施例中，以上述模态迁移方法和分类方法为基础，提供一种超声图像分类终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的辅助超声图像的分类方法。
目前暂无技术实现从灰阶超声图像到弹性超声图像的模态迁移。与双循环生成对抗网络相比，本发明上述实施例中的条件双循环生成对抗网络在训练阶段多加了一项灰阶-弹性超声图像对的良恶性类别作为输入，在测试阶段多加了一项输入灰阶超声图像通过预训练的单模态灰阶超声良恶性分类网络得到的不一定准确的良恶性类别作为输入，可以保证对每一张输入的灰阶超声图像生成同一类别的弹性超声图像，还可以从标准高斯分布采样多次得到任意多的隐变量，生成任意多张像素颜色和形态结构具有随机性的弹性超声图像。结合灰阶超声图像和生成的弹性超声图像做双模态良恶性分类，将单模态灰阶超声的良恶性分类准确率提高了5.7％，可见生成的弹性超声图像有利于更精准的诊断与预后评估，减轻患者和医生的负担。
下面结合具体应用实例对本发明上述实施例进一步描述。
本实例中采用的数据集为自行整理的上海第一人民医院数据集，共包含525个病例，其中良性395例，恶性130例；共2967组灰阶-弹性超声图像对，其中良性2008组，恶性959组。数据集提供了所有超声图像的良恶性类别信息和医生给定的感兴趣区域(弹性超声图像中的白色方框)。感兴趣区域的宽度和高度的均值分别为367和262个像素。
数据集划分为子集1～5，每个子集分别含有总数据的40％，10％，30％，10％和10％。每个子集中良性图像和恶性图像的比例相等。深度残差网络单模态分类模型的训练过程中，以子集1为训练集，子集2为验证集，子集3～5为测试集。条件双循环生成对抗网络模型的训练过程中，以子集1和2为训练集，子集3～5为测试集。密集卷积网络双模态分类模型的训练过程中，以子集3为训练集，子集4为验证集，子集5为测试集。
实施效果
以下表1是实例中基准模型和本发明实施例中采用条件双循环生成对抗网络生成弹性超声图像的质量对比，粗体表示指标最优：
表1
Figure BDA0002255705070000111
表2是实例中密集卷积网络单/双模态分类模型的良恶性分类结果对比，粗体表示指标最优：
表2
Figure BDA0002255705070000112
可见，本发明上述实例的模态迁移方法生成的弹性超声图像在平均绝对误差、峰值信噪比和结构相似性等指标上均超越了作为基准模型的双循环生成对抗网络。在生成的弹性超声图像的辅助下，良恶性分类的准确率达到了76.7％，相比使用单模态灰阶超声提高了5.7％。
本发明考虑了良恶性类别对弹性图像的影响，以及弹性图像固有的随机性，能够对每张灰阶图像生成多张同一类别且具有随机性的弹性图像。本发明提出的模态迁移可以学习到灰阶图像和弹性图像之间的内在关系，辅助单模态灰阶超声的分类，且分类准确率大大提高。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于生成对抗网络的超声图像模态迁移方法，其特征在于，包括：
S1，对原始超声图像进行处理得到纯净的弹性超声图像，将所有所述弹性超声图像标注对应的良恶性类别，得到像素级对齐的多组灰阶-弹性超声图像对；
S2，使用深度残差网络的单模态灰阶超声分类网络给定灰阶超声图像一个不准确的良恶性类别；采用条件双循环生成对抗网络作为超声图像模态迁移网络，以灰阶超声图像和该灰阶超声图像通过所述单模态灰阶超声分类网络得到的良恶性类别为所述超声图像模态迁移网络的输入，实现从灰阶超声图像生成弹性超声图像。
2.根据权利要求1所述的基于生成对抗网络的超声图像模态迁移方法，其特征在于，所述S1，包括：
S11，从原始超声图像中标注出病变区域；
S12，根据标注结果从所述原始超声图像中裁剪出感兴趣区域，在所述原始弹性超声图像中减去对应灰阶超声图像得到纯净的弹性超声图像；所述感兴趣区域即病变区域；
S13，对上述图像进行整理，得到像素级对齐的多组灰阶-弹性超声图像对。
3.根据权利要求1所述的基于生成对抗网络的超声图像模态迁移方法，其特征在于，在S2中，
利用灰阶超声图像预训练得到使用深度残差网络的所述单模态灰阶超声分类网络；
使用灰阶-弹性超声图像对训练得到条件双循环生成对抗网络，利用所述条件双循环生成对抗网络从每一张所述灰阶超声图像生成任意多张同一类别且具有随机性的弹性超声图像。
4.根据权利要求3所述的基于生成对抗网络的超声图像模态迁移方法，其特征在于，所述S2中，进一步包括：
针对所述灰阶超声图像、所述灰阶-弹性超声图像对，引入一组生成对抗网络和两个训练循环，两个循环共享生成器G、判别器D和编码器E，在弹性超声图像和隐变量之间建立双向映射，让隐变量得到表达，在测试阶段输入符合高斯分布的随机噪声作为隐变量，并由所述单模态灰阶超声分类网络给定一个不准确的良恶性类别，实现多样化的弹性超声图像的生成，其中：
第一个循环实现从灰阶超声图像a、由真实弹性超声图像b编码得到的隐变量E(b)和真实弹性超声图像b的良恶性类别creal生成弹性超声图像
Figure FDA0002255705060000021
第二个循环实现从灰阶超声图像a、高斯随机噪声zrandom和真实弹性超声图像b的良恶性类别creal生成弹性超声图像
Figure FDA0002255705060000022
再将
Figure FDA0002255705060000023
编码得到隐变量
Figure FDA0002255705060000024
应该尽量接近zrandom。
5.根据权利要求4所述的基于生成对抗网络的超声图像模态迁移方法，其特征在于，所述S2中使用的条件双循环生成对抗网络，其目标方程包括三个部分：
a.对抗损失
对一组生成对抗网络和两个训练循环，灰阶超声模态A和弹性超声模态B，给定的灰阶-弹性超声图像对
Figure FDA0002255705060000025
和
Figure FDA0002255705060000026
N为灰阶-弹性超声图像对的总数，弹性超声图像的良恶性类别creal，弹性超声图像编码得到的隐变量E(b)或高斯随机噪声zrandom，需要学习从灰阶超声图像到弹性超声图像的映射函数G：A→B；训练过程中，生成器G的任务是拟合弹性超声模态B的数据分布，使得合成图片G(ai)与bi的模态尽可能相同，足以迷惑判别器D，第一个循环的对抗损失表示为：
Figure FDA0002255705060000027
Figure FDA0002255705060000028
其中
Figure FDA0002255705060000029
和
Figure FDA00022557050600000210
分别表示第一个循环的判别器损失和生成器损失，～符号表示随机变量遵循的分布，
Figure FDA00022557050600000218
表示求期望值，pc表示真实弹性超声图像的良恶性类别的分布，D(a，b)表示判别器的输入是a和b，G(a，E(b)，creal)表示生成器的输入是a，E(b)和creal，min()是指取较小值操作，则条件双循环生成对抗网络的优化目标为：
Figure FDA00022557050600000211
Figure FDA00022557050600000212
其中*表示参数最优；
相对应的，第二个循环的对抗损失表示为：
Figure FDA00022557050600000213
Figure FDA00022557050600000214
其中
Figure FDA00022557050600000215
和
Figure FDA00022557050600000216
分别表示第二个循环的判别器损失和生成器损失，
Figure FDA00022557050600000217
表示均值为0，方差为1的高斯分布，G(a，zrandom，creal)表示生成器的输入是a，zrandom和creal，则条件双循环生成对抗网络的优化目标为：
Figure FDA0002255705060000031
Figure FDA0002255705060000032
b.重建损失
第一个循环生成的弹性超声图像
Figure FDA00022557050600000313
应该与原图b相同，此时，则利用距离函数计算两张图像之间的误差
Figure FDA0002255705060000033
Figure FDA0002255705060000034
其中，|| ||1是计算L1损失；
第二个循环恢复出的隐变量
Figure FDA0002255705060000035
应该与输入的高斯随机噪声zrandom相同，此时，则利用距离函数计算两个隐变量之间的误差
Figure FDA0002255705060000036
Figure FDA0002255705060000037
c.编码损失
为了便于测试阶段隐变量的采样，编码器E对真实弹性超声图像b编码得到的隐变量E(b)应该尽量接近标准高斯分布
Figure FDA0002255705060000038
损失方程
Figure FDA0002255705060000039
为：
Figure FDA00022557050600000310
其中，KL()是计算KL散度；
d.最终的目标方程
综合三个部分的损失，得到最终的目标方程为：
Figure FDA00022557050600000311
此时的优化目标为：
Figure FDA00022557050600000312
6.根据权利要求5所述的基于生成对抗网络的超声图像模态迁移方法，其特征在于，所述条件双循环生成对抗网络，还包括：
采用谱归一化以稳定训练过程：训练过程中，对生成器和判别器的所有卷积层和全连接层的参数都除以该层参数矩阵的谱范数。
7.根据权利要求6所述的基于生成对抗网络的超声图像模态迁移方法，其特征在于，所述条件双循环生成对抗网络，还包括：
采用两个尺度的判别器以增强判别器的判别能力：训练两个尺度的判别器，分别对大小为256和128的生成弹性超声图像判断真假。
8.一种辅助超声图像分类方法，其特征在于，包括：
特征提取：使用两个密集卷积网络分别对灰阶超声图像和权利要求1-7任一项方法生成的弹性超声图像提取特征，得到全连接层之前的特征图；
特征拼接与分类：将提取出的特征图沿通道维度拼接得到扩充的特征图，再通过全连接层做分类。
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7任一所述的基于生成对抗网络的超声图像模态迁移方法。
10.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求8所述的辅助超声图像分类方法。
CN201911052663.7A 2019-10-31 2019-10-31 基于生成对抗网络的超声图像模态迁移、分类方法及终端 Active CN110910351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911052663.7A CN110910351B (zh) 2019-10-31 2019-10-31 基于生成对抗网络的超声图像模态迁移、分类方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911052663.7A CN110910351B (zh) 2019-10-31 2019-10-31 基于生成对抗网络的超声图像模态迁移、分类方法及终端

Publications (2)

Publication Number Publication Date
CN110910351A true CN110910351A (zh) 2020-03-24
CN110910351B CN110910351B (zh) 2022-07-29

Family

ID=69814933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911052663.7A Active CN110910351B (zh) 2019-10-31 2019-10-31 基于生成对抗网络的超声图像模态迁移、分类方法及终端

Country Status (1)

Country Link
CN (1) CN110910351B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612071A (zh) * 2020-05-21 2020-09-01 北京华睿盛德科技有限公司 一种从曲面零件阴影图生成深度图的深度学习方法
CN111626917A (zh) * 2020-04-13 2020-09-04 上海交通大学 一种基于深度学习的双向图像转换系统及方法
CN112151153A (zh) * 2020-10-23 2020-12-29 脉得智能科技(无锡)有限公司 一种基于生成对抗网络的胃镜图像生成方法
CN113205521A (zh) * 2021-04-23 2021-08-03 复旦大学 一种医学影像数据的图像分割方法
CN113657272A (zh) * 2021-08-17 2021-11-16 山东建筑大学 一种基于缺失数据补全的微视频分类方法及系统
CN113744175A (zh) * 2021-09-16 2021-12-03 中国人民解放军火箭军工程大学 一种基于双向约束生成对抗网络的图像生成方法及系统
CN116681790A (zh) * 2023-07-18 2023-09-01 脉得智能科技(无锡)有限公司 一种超声造影图像生成模型的训练方法及图像的生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
US20170301077A1 (en) * 2016-04-14 2017-10-19 Linkedln Corporation Optimal image transformation based on professionalism score of subject
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301077A1 (en) * 2016-04-14 2017-10-19 Linkedln Corporation Optimal image transformation based on professionalism score of subject
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626917A (zh) * 2020-04-13 2020-09-04 上海交通大学 一种基于深度学习的双向图像转换系统及方法
CN111626917B (zh) * 2020-04-13 2024-02-20 上海交通大学 一种基于深度学习的双向图像转换系统及方法
CN111612071A (zh) * 2020-05-21 2020-09-01 北京华睿盛德科技有限公司 一种从曲面零件阴影图生成深度图的深度学习方法
CN111612071B (zh) * 2020-05-21 2024-02-02 北京华睿盛德科技有限公司 一种从曲面零件阴影图生成深度图的深度学习方法
CN112151153A (zh) * 2020-10-23 2020-12-29 脉得智能科技(无锡)有限公司 一种基于生成对抗网络的胃镜图像生成方法
CN113205521A (zh) * 2021-04-23 2021-08-03 复旦大学 一种医学影像数据的图像分割方法
CN113657272A (zh) * 2021-08-17 2021-11-16 山东建筑大学 一种基于缺失数据补全的微视频分类方法及系统
CN113744175A (zh) * 2021-09-16 2021-12-03 中国人民解放军火箭军工程大学 一种基于双向约束生成对抗网络的图像生成方法及系统
CN113744175B (zh) * 2021-09-16 2024-01-19 中国人民解放军火箭军工程大学 一种基于双向约束生成对抗网络的图像生成方法及系统
CN116681790A (zh) * 2023-07-18 2023-09-01 脉得智能科技(无锡)有限公司 一种超声造影图像生成模型的训练方法及图像的生成方法
CN116681790B (zh) * 2023-07-18 2024-03-22 脉得智能科技(无锡)有限公司 一种超声造影图像生成模型的训练方法及图像的生成方法

Also Published As

Publication number Publication date
CN110910351B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN110910351B (zh) 基于生成对抗网络的超声图像模态迁移、分类方法及终端
CN109493308B (zh) 基于条件多判别生成对抗网络的医疗图像合成与分类方法
Pacal et al. A robust real-time deep learning based automatic polyp detection system
Zhou et al. GAN review: Models and medical image fusion applications
WO2020183230A1 (en) Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
CN109523535B (zh) 一种病变图像的预处理方法
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN106777953A (zh) 医学影像数据的分析方法及系统
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN111242953A (zh) 一种基于条件生成对抗网络的mr图像分割方法及装置
CN115731178A (zh) 一种跨模态的无监督域自适应医学图像分割方法
Qiao et al. A pseudo-siamese feature fusion generative adversarial network for synthesizing high-quality fetal four-chamber views
Sun et al. Semi-supervised multimodal image translation for missing modality imputation
Ji et al. Lung nodule detection in medical images based on improved YOLOv5s
CN112541566B (zh) 一种基于重构损失的图像翻译方法
CN113538363A (zh) 一种基于改进U-Net的肺部医学影像分割方法及装置
WO2021184195A1 (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
Yang et al. Lesion classification of wireless capsule endoscopy images
Shavlokhova et al. Finetuning of GLIDE stable diffusion model for AI-based text-conditional image synthesis of dermoscopic images
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
Adjei et al. Gan-based synthetic gastrointestinal image generation
Li et al. CAGAN: Classifier‐augmented generative adversarial networks for weakly‐supervised COVID‐19 lung lesion localisation
Carvalho et al. Holistic modeling in medical image segmentation using spatial recurrence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant