CN112687391A - 一种乳腺超声图像病灶智能识别防漏判系统的构建方法 - Google Patents

一种乳腺超声图像病灶智能识别防漏判系统的构建方法 Download PDF

Info

Publication number
CN112687391A
CN112687391A CN202110273723.9A CN202110273723A CN112687391A CN 112687391 A CN112687391 A CN 112687391A CN 202110273723 A CN202110273723 A CN 202110273723A CN 112687391 A CN112687391 A CN 112687391A
Authority
CN
China
Prior art keywords
data
training
network
diagnosis
ultrasound image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110273723.9A
Other languages
English (en)
Inventor
章毅
郭泉
戚晓峰
刘文杰
周尧
张蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110273723.9A priority Critical patent/CN112687391A/zh
Publication of CN112687391A publication Critical patent/CN112687391A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种乳腺超声图像病灶智能识别防漏判系统的构建方法,包括S1.数据准备,S2.深度神经网络模型设计,S3.防漏诊数据一致性设计,S4.防漏诊模型训练,S5.防漏诊模型测试。本发明乳腺超声图像病灶智能识别防漏判系统的构建方法,构建的系统添加了一个防漏诊模型模块,防漏诊模型模块使用生成对抗神经网络来设计,能够降低原有的计算机智能诊断系统的漏诊率,以此来提升辅助诊断的效果和精度,减少医院医生的工人看片成本,提高效率。

Description

一种乳腺超声图像病灶智能识别防漏判系统的构建方法
技术领域
本发明涉及超声影像技术领域,尤其是涉及一种乳腺超声图像病灶智能识别防漏判系统的构建方法。
背景技术
乳腺癌是发生在乳腺腺上皮组织的恶性肿瘤。乳腺癌中99%发生在女性,男性仅占1%。女性乳腺是由皮肤、纤维组织、乳腺腺体和脂肪组成的,乳腺并不是维持人体生命活动的重要器官,原位乳腺癌并不致命;但由于乳腺癌细胞丧失了正常细胞的特性,细胞之间连接松散,容易脱落。癌细胞一旦脱落,游离的癌细胞可以随血液或淋巴液播散全身,形成转移,危及生命。目前乳腺癌已成为威胁女性身心健康的常见肿瘤并已成为当前社会的重大公共卫生问题。据世界卫生组织国际癌症研究机构(IARC)发布的2020最新全球癌症数据显示,乳腺癌已经取代肺癌成为全球第一大癌。乳腺癌发病人数增加,根本原因之一是乳腺癌风险因素的不断变化,比如推迟生育、生育次数减少,这在正经历社会和经济转型的国家中最为明显,超重和肥胖,以及缺乏运动,也是造成全世界乳腺癌发病率上升的原因。中国不是乳腺癌的高发病国家,但情况依旧不宜乐观,乳腺癌的早发现,早治疗,是提升患者存活率的关键。
对于乳腺癌的诊断,影像学检查中的彩超检查能有效检测病变部位。乳腺超声技术应用于乳腺癌诊断始于20世纪50年代,具有无创、快捷、重复性强等优点,能清楚地显示乳腺各层软组织及其中肿块的形态、内部结构及相邻组织的改变。由于无放射性,可适用于任何年龄,尤其是妊娠及哺乳期女性的乳腺检查。能较好地显示乳腺肿块的位置、形态、结构等。对较致密乳腺、肿块可能难以分辨,超声可利用声波界面反射的差别,清晰显示病灶的轮廓和形态。目前,在部分医疗较好的医院,每位患者先通过彩超检查获得彩超图像数据,之后再由专业放射科技师对每一张图片进行人工诊断,最后得到患者的病例报告。同时,计算机辅助技术(CAD)能够智能诊断乳腺彩超图片,辅助医生更好的做出决策。
现有的乳腺彩超识别需要人工进行诊断,这种诊断效果极大程度取决于专业医师的专业水平,人工读片成本大,但由于医生水平参差不齐,同时优秀的医生的个数又不能满足与日增长的患者数量,所以病人需要等待多日以后才能拿到自己的病例报告结果。同时,现有的计算机辅助诊断设备准确率较低,不能满足临床的实际需求,而且这些辅助设备存在漏诊的可能,这会对患者的生命造成严重危害。对于现有的基于深度神经网络的计算机辅助治疗模型,训练数据将直接放入卷积神经网络(CNN)模型进行训练,之后再通过系统返回的阴性或者阳性结果来判断图片是否存在恶性肿瘤。该方法可能存在极高的漏诊率,对一些本来为阳性的患者,如果诊断成阴性,那么就可能严重拖延患者的治疗时机。
发明内容
有鉴于此,本发明的目的是针对现有技术的不足,提供一种乳腺超声图像病灶智能识别防漏判系统的构建方法,添加了一个防漏诊模型模块,能够降低原有的计算机智能诊断系统的漏诊率,以此来提升辅助诊断的效果和精度,减少医院医生的工人看片成本,提高效率。
为达到上述目的,本发明采用以下技术方案:一种乳腺超声图像病灶智能识别防漏判系统的构建方法,包括S1.数据准备,S2.深度神经网络模型设计,S3.防漏诊数据一致性设计,S4.防漏诊模型训练,S5.防漏诊模型测试。
进一步地,数据准备包括以下步骤:
S1.1.数据标注:对于彩超图像中发生乳腺癌病变的确切位置进行标注,以获取对应图像的标签,每一张彩超图像对应一个标签,0代表正常乳腺或者良性肿瘤,1代表恶性肿瘤;
S1.2.数据预处理:对于每个彩超报告,裁减掉除了彩超图像以外的其他信息以防止额外信息的干扰;将每张彩超图像重新拉伸或缩减至相同大小以适应网络输入大小;
S1.3.数据集划分:将预处理过后的彩超图像数据按照4:1的比例划分为训练集、测试集。
进一步地,深度神经网络模型设计包括以下步骤:
S2.1.训练数据增强:待训练彩超图像将进行随机角度旋转、随机中心剪裁、随机垂直翻转和随机水平翻转这几种方法叠加来扩充训练集;
S2.2.数据编码:将彩超图像数据转化为计算机模型能够识别的模式,对于每一张彩超图像,采用RGB三通道编码方式将其转化为对应的数值,同时压缩每张图片为同一大小以适应网络输入;每张图片
Figure 263826DEST_PATH_IMAGE001
的输入维度为3×图片长度×图片宽度;其对应标签
Figure 187919DEST_PATH_IMAGE002
,其中0代表正常乳腺或良性肿瘤,1代表恶性肿瘤;
S2.3.特征提取:将编码后的彩超图像数据输入到神经网络用于训练,整个神经网络包括多个不同尺度的卷积层,多个不同尺度的最大池化层,非线性激活函数ReLu函数,一个全局平均池化层;
S2.4.分类模块处理:将提取到的特征输入到该分类模块用于整合所有特征以获得最终的分类结果;该分类模块采用softmax函数,将对是否属于0类和是否属于1类分别给出概率值,最后选取给定概率最高的为预测结果;
S2.5.误差反向传播:分类模块输出结果后,将预测值与真实标签相减得到预测误差;运用BP算法将误差反向传播以更新网络中每一层的权值,最终通过不断地迭代训练出稳定的分类网络。
进一步地,防漏诊数据一致性设计基于以下两种一致性:空间一致性和分布一致性;
空间一致性,保证图像在空间上的一致性,每张图像在进入防漏诊模型训练之前将放入自编码网络进行图像复原;自编码网络的输入为通过各种方式获取的图像数据,输出为该图像对应的原始彩超图像;对于输入数据
Figure 228688DEST_PATH_IMAGE003
,自编码器将自动学习一种对应的映射关系,使得输出数据满足
Figure 529219DEST_PATH_IMAGE004
;其中编码器负责将输入压缩至中间特征,解码器负责将中间特征解码到对应数据分布;
分布一致性,采用生成对抗网络来实现分布一致性,对于阳性样本,其分布虽然与阴性样本相似,但是也一定会存在区别,原始训练数据集
Figure 175095DEST_PATH_IMAGE005
将被分为
Figure 535669DEST_PATH_IMAGE006
Figure 719526DEST_PATH_IMAGE007
两个子集,其中
Figure 89328DEST_PATH_IMAGE006
表示所有为阴性的乳腺彩超图像,
Figure 448765DEST_PATH_IMAGE007
表示所有为阳性的乳腺彩超图像;将随机生成的特征
Figure 855606DEST_PATH_IMAGE008
作为生成器
Figure 933284DEST_PATH_IMAGE009
的输入,生成器将自动学习生成分类器的输出特征,该特征在训练鉴别器
Figure 903514DEST_PATH_IMAGE005
时将赋予标签0,即假的特征;同时再将真正的分类网络输出的特征赋值为1,即真的特征;之后两种标签一齐放入鉴别器
Figure 914195DEST_PATH_IMAGE005
来训练它,通过生成器与鉴别器不断地对抗学习。
进一步地,防漏诊模型训练为训练每一个分布的生成对抗网络,即将数据输入到网络进行学习,其目标是找到一组权值使得这个对抗学习中生成器和鉴别器能够达到一种相对稳定的状态,具体步骤包括:
S4.1.数据划分:对于每一个单独类别的防漏诊器,其训练需要的数据不同,即将标签为0的划分为一类,将标签为1的划分为一类;两类数据分开训练,从而产生两个针对性不同的生成对抗网络;
S4.2.性能函数设计:性能函数用于在训练过程中计算预测误差值,从而用于权值的调整,本方法中对于训练生成器和鉴别器,均采用交叉熵来作为性能函数;
S4.3.生成对抗训练:对于训练过程,其应当满足下列条件:
Figure 226359DEST_PATH_IMAGE010
其中,
Figure 56912DEST_PATH_IMAGE011
表示真实图片,
Figure 768516DEST_PATH_IMAGE012
表示输入生成网络的噪声,
Figure 430441DEST_PATH_IMAGE013
则表示生成网络生成的虚假图片,
Figure 569299DEST_PATH_IMAGE014
表示鉴别网络判断真实图片是否真实的概率;
Figure 496934DEST_PATH_IMAGE015
表示
Figure 481071DEST_PATH_IMAGE016
的训练目的是最小化后面的函数,
Figure 59820DEST_PATH_IMAGE017
表示
Figure 369578DEST_PATH_IMAGE018
的训练目的是最大化后面的函数,以此达到对抗的目的;
Figure 987773DEST_PATH_IMAGE019
Figure 510021DEST_PATH_IMAGE020
分别表示真实数据和生成的假数据的期望;
每次迭代将分别对生成器和鉴别器各自训练一次,在训练生成器时,鉴别器将被固定住不更新权值,生成器采用BP算法回传计算的误差值以更新生成器权值;在训练鉴别器时,生成器将被固定住不更新权值;鉴别器的误差为:
Figure 349801DEST_PATH_IMAGE021
其中,
Figure 689515DEST_PATH_IMAGE011
表示真实图片,
Figure 981957DEST_PATH_IMAGE012
表示输入生成网络的噪声,
Figure 307896DEST_PATH_IMAGE013
则表示生成网络生成的虚假图片,
Figure 2182DEST_PATH_IMAGE014
表示鉴别网络判断真实图片是否真实的概率;
Figure 189495DEST_PATH_IMAGE022
表示损失函数,这里用到的是BCELoss函数;
将该误差反向传播以训练鉴别器;不断重复迭代这个过程,最终使得生成器
Figure 234811DEST_PATH_IMAGE023
和鉴别器
Figure 489075DEST_PATH_IMAGE024
达到一种相对稳定的状态则结束训练。
进一步地,防漏诊模型的测试使用划分好的测试集;对于每一张测试图片,先通过分类网络获得其对应的特征以及预测的分类结果,对于每一个在分类网络预测为阴性的样本,防漏诊模型都会重新检查其是否符合阴性样本的特征,即其数据一致性是否符合阴性样本分布;分类特征
Figure 37868DEST_PATH_IMAGE008
将被输入至其标签对应的生成器
Figure 594751DEST_PATH_IMAGE025
或者
Figure 861785DEST_PATH_IMAGE026
来生成一个真实的分布特征,之后鉴别器
Figure 608155DEST_PATH_IMAGE027
或者
Figure 11454DEST_PATH_IMAGE028
判断该分布特征是否属于该分布;如果属于该分布,那么预测值将会靠近0.5,如果不属于该分布,那么预测值将会远离0.5而偏向0或者1,通过设定一个给定的阈值就能判断该特征是否属于鉴别器的特征空间从而判断数据一致性,如果两者的分布相同,则输出分类模型预测的结果,如果两者分布不一致,则输出相反的结果。
本发明的有益效果是:
本发明构建的乳腺超声图像病灶智能识别防漏判系统添加了一个防漏诊模型模块,防漏诊模型模块使用生成对抗神经网络(GAN)来设计,能够降低原有的计算机智能诊断系统的漏诊率,以此来提升辅助诊断的效果和精度,减少医院医生的工人看片成本,提高效率。
本发明乳腺超声图像病灶智能识别防漏判系统构建方法的深度神经网络模型设计中,隐藏层由多层神经元构成形成深层的神经网络,从而学习到更加深层的特征以获得输入数据到其特征之间的映射关系,使得模型更加稳定,预测效果更好。
本发明乳腺超声图像病灶智能识别防漏判系统构建方法采用了自编码还原图像,所以获取拍照数据时能够适应部分环境因素造成的影响,如拍摄角度、拍摄光线等;能够在现有模型的基础之上降低模型的漏诊率,降低将阳性样本预测为阴性样本的概率;辅助医生诊断彩超报告,节约时间与人力成本,提高诊断效率;防漏诊模型模块能够小幅度提升原有模型的准确率,使得模型更加健壮稳定。
附图说明
附图1为本发明乳腺超声图像病灶智能识别防漏判系统构建方法整体设计思路图;
附图2为本发明防漏诊数据一致性设计中空间一致性实现方式图;
附图3为本发明防漏诊数据一致性设计中分布一致性实现方式图;
附图4为本发明防漏诊模型测试数据预测过程图。
具体实施方式
以下是本发明的具体实施例,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
实施例1
一种乳腺超声图像病灶智能识别防漏判系统的构建方法,如图1所示,包括S1.数据准备,S2.深度神经网络模型设计,S3.防漏诊数据一致性设计,S4.防漏诊模型训练,S5.防漏诊模型测试。
实施例2
本实施例与实施例1的不同之处在于:数据准备包括以下步骤:S1.1.数据标注:对于彩超图像中发生乳腺癌病变的确切位置进行标注,以获取对应图像的标签,每一张彩超图像对应一个标签,0代表正常乳腺或者良性肿瘤,1代表恶性肿瘤。
S1.2.数据预处理:对于每个彩超报告,裁减掉除了彩超图像以外的其他信息以防止额外信息的干扰。将每张彩超图像重新拉伸或缩减至相同大小以适应网络输入大小。
S1.3.数据集划分:将预处理过后的彩超图像数据按照4:1的比例划分为训练集、测试集,来评估模型的预测结果以及测试模型的预测性能。
实施例3
本实施例与实施例1的不同之处在于:神经网络主要由输入层、隐藏层、输出层三个部分构成。其中隐藏层由多个神经元相互连接组成,通过各种非线性变换来拟合数据之间的非线性关系,从而达到预测图像类别的功能。在本发明中,隐藏层由多层神经元构成形成深层的神经网络,从而学习到更加深层的特征以获得输入数据到其特征之间的映射关系,使得模型更加稳定,预测效果更好。
深度神经网络模型设计包括以下步骤:S2.1.训练数据增强:待训练彩超图像将进行随机角度旋转、随机中心剪裁、随机垂直翻转和随机水平翻转这几种方法叠加来扩充训练集,防止训练过程中的过拟合现象,增强模型的健壮性;
S2.2.数据编码:将彩超图像数据转化为计算机模型能够识别的模式,对于每一张彩超图像,采用RGB三通道编码方式将其转化为对应的数值,同时压缩每张图片为同一大小以适应网络输入。每张图片
Figure 863873DEST_PATH_IMAGE001
的输入维度为3×图片长度×图片宽度。其对应标签
Figure 618202DEST_PATH_IMAGE002
,其中0代表正常乳腺或良性肿瘤,1代表恶性肿瘤。
S2.3.特征提取:将编码后的彩超图像数据输入到神经网络用于训练,整个神经网络包括多个不同尺度的卷积层,多个不同尺度的最大池化层,非线性激活函数ReLu函数,一个全局平均池化层。
S2.4.分类模块处理:将提取到的特征输入到该分类模块用于整合所有特征以获得最终的分类结果。该分类模块采用softmax函数,将对是否属于0类和是否属于1类分别给出概率值,最后选取给定概率最高的为预测结果。
S2.5.误差反向传播:分类模块输出结果后,将预测值与真实标签相减得到预测误差。运用BP算法将误差反向传播以更新网络中每一层的权值,最终通过不断地迭代训练出稳定的分类网络。
实施例4
本实施例与实施例1的不同之处在于:分类网络预测出的结果可能存在漏诊的可能性,该部分的目标是最大程度降低原分类网络的漏诊率,即降低阳性样本被预测为阴性样本的概率。
防漏诊数据一致性设计基于以下两种一致性:空间一致性和分布一致性。
在获取图片时,对于同一张图片,采用不同的获取方式可能会让图片在数值上发生变化。例如不同的手机拍摄出来的同一张图片肯定会有细微差别,不同光线或者拍摄角度也会影响图像质量。空间一致性,保证图像在空间上的一致性,每张图像在进入防漏诊模型训练之前将放入自编码网络(AutoEncoder)进行图像复原。自编码网络的输入为通过各种方式获取的图像数据,输出为该图像对应的原始彩超图像。各种方式获取的图像数据包括不同手机型号及像素拍摄的图片。整个过程如图2所示。对于输入数据
Figure 89635DEST_PATH_IMAGE003
,自编码器将自动学习一种对应的映射关系,使得输出数据满足
Figure 957228DEST_PATH_IMAGE004
。其中编码器(Encoder)负责将输入压缩至中间特征,解码器负责将中间特征解码到对应数据分布。
对于常规的分类神经网络,其对两个或者两个以上的分布较为敏感,但在该漏诊器的设计中,需要一种对单分布敏感的网络。分布一致性,采用生成对抗网络来实现分布一致性,对于阳性样本,其分布虽然与阴性样本相似,但是也一定会存在区别,原始训练数据集
Figure 387072DEST_PATH_IMAGE005
将被分为
Figure 159856DEST_PATH_IMAGE006
Figure 700559DEST_PATH_IMAGE007
两个子集,其中
Figure 78450DEST_PATH_IMAGE006
表示所有为阴性的乳腺彩超图像,
Figure 413617DEST_PATH_IMAGE007
表示所有为阳性的乳腺彩超图像。每一个样本漏诊器的设计如图3所示。将随机生成的特征
Figure 486746DEST_PATH_IMAGE008
作为生成器
Figure 565561DEST_PATH_IMAGE009
的输入,生成器将自动学习生成分类器的输出特征,该特征在训练鉴别器
Figure 860276DEST_PATH_IMAGE005
时将赋予标签0,即假的特征。同时再将真正的分类网络输出的特征赋值为1,即真的特征。之后两种标签一齐放入鉴别器
Figure 366343DEST_PATH_IMAGE005
来训练它,通过生成器与鉴别器不断地对抗学习。生成器的目标是尽可能的生成假的特征以糊弄鉴别器。鉴别器则尽可能的区分真实的特征与生成的假的特征。
实施例5
本实施例与实施例1的不同之处在于:防漏诊模型训练为训练每一个分布的生成对抗网络,即将数据输入到网络进行学习,其目标是找到一组权值使得这个对抗学习中生成器和鉴别器能够达到一种相对稳定的状态,具体步骤包括:
S4.1.数据划分
对于每一个单独类别的防漏诊器,其训练需要的数据不同,即将标签为0的划分为一类,将标签为1的划分为一类。两类数据分开训练,从而产生两个针对性不同的生成对抗网络。
S4.2.性能函数设计
性能函数用于在训练过程中计算预测误差值,从而用于权值的调整,本方法中对于训练生成器和鉴别器,均采用交叉熵(CrossEntropy)来作为性能函数。
S4.3.生成对抗训练
对于训练过程,其应当满足下列条件:
Figure 51403DEST_PATH_IMAGE010
其中,
Figure 933908DEST_PATH_IMAGE011
表示真实图片,
Figure 896179DEST_PATH_IMAGE012
表示输入生成网络的噪声,
Figure 838727DEST_PATH_IMAGE013
则表示生成网络生成的虚假图片,
Figure 745503DEST_PATH_IMAGE014
表示鉴别网络判断真实图片是否真实的概率;
Figure 166120DEST_PATH_IMAGE015
表示
Figure 435428DEST_PATH_IMAGE016
的训练目的是最小化后面的函数,
Figure 627506DEST_PATH_IMAGE017
表示
Figure 552736DEST_PATH_IMAGE018
的训练目的是最大化后面的函数,以此达到对抗的目的;
Figure 511465DEST_PATH_IMAGE019
Figure 838541DEST_PATH_IMAGE020
分别表示真实数据和生成的假数据的期望;
每次迭代将分别对生成器和鉴别器各自训练一次,在训练生成器时,鉴别器将被固定住不更新权值,生成器采用BP算法回传计算的误差值以更新生成器权值;在训练鉴别器时,生成器将被固定住不更新权值;鉴别器的误差为:
Figure 919630DEST_PATH_IMAGE021
其中,
Figure 332156DEST_PATH_IMAGE011
表示真实图片,
Figure 438784DEST_PATH_IMAGE012
表示输入生成网络的噪声,
Figure 620367DEST_PATH_IMAGE013
则表示生成网络生成的虚假图片,
Figure 810039DEST_PATH_IMAGE014
表示鉴别网络判断真实图片是否真实的概率;
Figure 709862DEST_PATH_IMAGE022
表示损失函数,这里用到的是BCELoss函数;
将该误差反向传播以训练鉴别器。不断重复迭代这个过程,最终使得生成器
Figure 869448DEST_PATH_IMAGE009
和鉴别器
Figure 905537DEST_PATH_IMAGE005
达到一种相对稳定的状态则结束训练。
实施例6
本实施例与实施例1的不同之处在于:防漏诊模型的测试使用划分好的测试集。整个测试过程如图4所示。对于每一张测试图片,先通过分类网络获得其对应的特征以及预测的分类结果,由于防漏诊模型是为了降低阳性样本预测为阴性样本的可能性,所以对于每一个在分类网络预测为阴性的样本,防漏诊模型都会重新检查其是否符合阴性样本的特征,即其数据一致性是否符合阴性样本分布。分类特征
Figure 79161DEST_PATH_IMAGE008
将被输入至其标签对应的生成器
Figure 466280DEST_PATH_IMAGE025
或者
Figure 39344DEST_PATH_IMAGE026
来生成一个真实的分布特征,之后鉴别器
Figure 195518DEST_PATH_IMAGE027
或者
Figure 851628DEST_PATH_IMAGE028
判断该分布特征是否属于该分布。如果属于该分布,那么预测值将会靠近0.5,如果不属于该分布,那么预测值将会远离0.5而偏向0或者1,通过设定一个给定的阈值就能判断该特征是否属于鉴别器的特征空间从而判断数据一致性,如果两者的分布相同,则输出分类模型预测的结果,如果两者分布不一致,则输出相反的结果。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换,只要不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种乳腺超声图像病灶智能识别防漏判系统的构建方法,其特征在于:包括S1.数据准备,S2.深度神经网络模型设计,S3.防漏诊数据一致性设计,S4.防漏诊模型训练,S5.防漏诊模型测试。
2.根据权利要求1所述的乳腺超声图像病灶智能识别防漏判系统的构建方法,其特征在于:数据准备包括以下步骤:
S1.1.数据标注:对于彩超图像中发生乳腺癌病变的确切位置进行标注,以获取对应图像的标签,每一张彩超图像对应一个标签,0代表正常乳腺或者良性肿瘤,1代表恶性肿瘤;
S1.2.数据预处理:对于每个彩超报告,裁减掉除了彩超图像以外的其他信息以防止额外信息的干扰;将每张彩超图像重新拉伸或缩减至相同大小以适应网络输入大小;
S1.3.数据集划分:将预处理过后的彩超图像数据按照4:1的比例划分为训练集、测试集。
3.根据权利要求1所述的乳腺超声图像病灶智能识别防漏判系统的构建方法,其特征在于:深度神经网络模型设计包括以下步骤:
S2.1.训练数据增强:待训练彩超图像将进行随机角度旋转、随机中心剪裁、随机垂直翻转和随机水平翻转这几种方法叠加来扩充训练集;
S2.2.数据编码:将彩超图像数据转化为计算机模型能够识别的模式,对于每一张彩超图像,采用RGB三通道编码方式将其转化为对应的数值,同时压缩每张图片为同一大小以适应网络输入;每张图片
Figure 657528DEST_PATH_IMAGE001
的输入维度为3×图片长度×图片宽度;其对应标签
Figure 699302DEST_PATH_IMAGE002
,其中0代表正常乳腺或良性肿瘤,1代表恶性肿瘤;
S2.3.特征提取:将编码后的彩超图像数据输入到神经网络用于训练,整个神经网络包括多个不同尺度的卷积层,多个不同尺度的最大池化层,非线性激活函数ReLu函数,一个全局平均池化层;
S2.4.分类模块处理:将提取到的特征输入到该分类模块用于整合所有特征以获得最终的分类结果;该分类模块采用softmax函数,将对是否属于0类和是否属于1类分别给出概率值,最后选取给定概率最高的为预测结果;
S2.5.误差反向传播:分类模块输出结果后,将预测值与真实标签相减得到预测误差;运用BP算法将误差反向传播以更新网络中每一层的权值,最终通过不断地迭代训练出稳定的分类网络。
4.根据权利要求1所述的乳腺超声图像病灶智能识别防漏判系统的构建方法,其特征在于:防漏诊数据一致性设计基于以下两种一致性:空间一致性和分布一致性;
空间一致性,保证图像在空间上的一致性,每张图像在进入防漏诊模型训练之前将放入自编码网络进行图像复原;自编码网络的输入为通过各种方式获取的图像数据,输出为该图像对应的原始彩超图像;对于输入数据
Figure 869253DEST_PATH_IMAGE003
,自编码器将自动学习一种对应的映射关系,使得输出数据满足
Figure 654675DEST_PATH_IMAGE004
;其中编码器负责将输入压缩至中间特征,解码器负责将中间特征解码到对应数据分布;
分布一致性,采用生成对抗网络来实现分布一致性,原始训练数据集
Figure 655998DEST_PATH_IMAGE005
将被分为
Figure 71936DEST_PATH_IMAGE006
Figure 807810DEST_PATH_IMAGE007
两个子集,其中
Figure 334607DEST_PATH_IMAGE006
表示所有为阴性的乳腺彩超图像,
Figure 987174DEST_PATH_IMAGE007
表示所有为阳性的乳腺彩超图像;将随机生成的特征
Figure 918221DEST_PATH_IMAGE008
作为生成器
Figure 593921DEST_PATH_IMAGE009
的输入,生成器将自动学习生成分类器的输出特征,该特征在训练鉴别器
Figure 924409DEST_PATH_IMAGE005
时将赋予标签0,即假的特征;同时再将真正的分类网络输出的特征赋值为1,即真的特征;之后两种标签一齐放入鉴别器
Figure 385477DEST_PATH_IMAGE005
来训练它,通过生成器与鉴别器不断地对抗学习。
5.根据权利要求1所述的乳腺超声图像病灶智能识别防漏判系统的构建方法,其特征在于:防漏诊模型训练为训练每一个分布的生成对抗网络,即将数据输入到网络进行学习,其目标是找到一组权值使得这个对抗学习中生成器和鉴别器能够达到一种稳定的状态,具体步骤包括:
S4.1.数据划分:对于每一个单独类别的防漏诊器,其训练需要的数据不同,即将标签为0的划分为一类,将标签为1的划分为一类;两类数据分开训练,从而产生两个针对性不同的生成对抗网络;
S4.2.性能函数设计:性能函数用于在训练过程中计算预测误差值,从而用于权值的调整,本方法中对于训练生成器和鉴别器,均采用交叉熵来作为性能函数;
S4.3.生成对抗训练:对于训练过程,其应当满足下列条件:
Figure 799010DEST_PATH_IMAGE010
其中,
Figure 571794DEST_PATH_IMAGE011
表示真实图片,
Figure 299447DEST_PATH_IMAGE012
表示输入生成网络的噪声,
Figure 536393DEST_PATH_IMAGE013
则表示生成网络生成的虚假图片,
Figure 340401DEST_PATH_IMAGE014
表示鉴别网络判断真实图片是否真实的概率;
Figure 256274DEST_PATH_IMAGE015
表示
Figure 272771DEST_PATH_IMAGE016
的训练目的是最小化后面的函数,
Figure 223278DEST_PATH_IMAGE017
表示
Figure 932608DEST_PATH_IMAGE018
的训练目的是最大化后面的函数,以此达到对抗的目的;
Figure 70198DEST_PATH_IMAGE019
Figure 93648DEST_PATH_IMAGE020
分别表示真实数据和生成的假数据的期望;
每次迭代将分别对生成器和鉴别器各自训练一次,在训练生成器时,鉴别器将被固定住不更新权值,生成器采用BP算法回传计算的误差值以更新生成器权值;在训练鉴别器时,生成器将被固定住不更新权值;鉴别器的误差为:
Figure 633083DEST_PATH_IMAGE021
其中,
Figure 513314DEST_PATH_IMAGE011
表示真实图片,
Figure 138200DEST_PATH_IMAGE012
表示输入生成网络的噪声,
Figure 27658DEST_PATH_IMAGE013
则表示生成网络生成的虚假图片,
Figure 687179DEST_PATH_IMAGE014
表示鉴别网络判断真实图片是否真实的概率;
Figure 659683DEST_PATH_IMAGE022
表示损失函数,这里用到的是BCELoss函数;
将该误差反向传播以训练鉴别器;不断重复迭代这个过程,最终使得生成器
Figure 53755DEST_PATH_IMAGE009
和鉴别器
Figure 199434DEST_PATH_IMAGE005
达到一种稳定的状态则结束训练。
6.根据权利要求1所述的乳腺超声图像病灶智能识别防漏判系统的构建方法,其特征在于:防漏诊模型的测试使用划分好的测试集;对于每一张测试图片,先通过分类网络获得其对应的特征以及预测的分类结果,对于每一个在分类网络预测为阴性的样本,防漏诊模型都会重新检查其是否符合阴性样本的特征,即其数据一致性是否符合阴性样本分布;分类特征
Figure 198614DEST_PATH_IMAGE023
将被输入至其标签对应的生成器
Figure 466653DEST_PATH_IMAGE024
或者
Figure 597289DEST_PATH_IMAGE025
来生成一个真实的分布特征,之后鉴别器
Figure 687605DEST_PATH_IMAGE026
或者
Figure 649614DEST_PATH_IMAGE027
判断该分布特征是否属于该分布;如果属于该分布,那么预测值将会靠近0.5,如果不属于该分布,那么预测值将会远离0.5而偏向0或者1,通过设定一个给定的阈值就能判断该特征是否属于鉴别器的特征空间从而判断数据一致性,如果两者的分布相同,则输出分类模型预测的结果,如果两者分布不一致,则输出相反的结果。
CN202110273723.9A 2021-03-15 2021-03-15 一种乳腺超声图像病灶智能识别防漏判系统的构建方法 Pending CN112687391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110273723.9A CN112687391A (zh) 2021-03-15 2021-03-15 一种乳腺超声图像病灶智能识别防漏判系统的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110273723.9A CN112687391A (zh) 2021-03-15 2021-03-15 一种乳腺超声图像病灶智能识别防漏判系统的构建方法

Publications (1)

Publication Number Publication Date
CN112687391A true CN112687391A (zh) 2021-04-20

Family

ID=75455545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110273723.9A Pending CN112687391A (zh) 2021-03-15 2021-03-15 一种乳腺超声图像病灶智能识别防漏判系统的构建方法

Country Status (1)

Country Link
CN (1) CN112687391A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108230311A (zh) * 2018-01-03 2018-06-29 四川大学 一种乳腺癌检测方法及装置
CN111415728A (zh) * 2019-11-25 2020-07-14 刘雷 基于cnn和gan的ct图像数据自动分类方法及设备
CN111932520A (zh) * 2018-08-31 2020-11-13 上海联影智能医疗科技有限公司 医学图像显示方法、查看设备以及计算机设备
US20200364860A1 (en) * 2019-05-16 2020-11-19 Retrace Labs Artificial Intelligence Architecture For Identification Of Periodontal Features
CN111990989A (zh) * 2020-08-31 2020-11-27 武汉大学 一种基于生成对抗及卷积循环网络的心电信号识别方法
CN112101451A (zh) * 2020-09-14 2020-12-18 北京联合大学 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN112365464A (zh) * 2020-11-09 2021-02-12 成都信息工程大学 一种基于gan的医学图像病变区域弱监督定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108230311A (zh) * 2018-01-03 2018-06-29 四川大学 一种乳腺癌检测方法及装置
CN111932520A (zh) * 2018-08-31 2020-11-13 上海联影智能医疗科技有限公司 医学图像显示方法、查看设备以及计算机设备
US20200364860A1 (en) * 2019-05-16 2020-11-19 Retrace Labs Artificial Intelligence Architecture For Identification Of Periodontal Features
CN111415728A (zh) * 2019-11-25 2020-07-14 刘雷 基于cnn和gan的ct图像数据自动分类方法及设备
CN111990989A (zh) * 2020-08-31 2020-11-27 武汉大学 一种基于生成对抗及卷积循环网络的心电信号识别方法
CN112101451A (zh) * 2020-09-14 2020-12-18 北京联合大学 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN112365464A (zh) * 2020-11-09 2021-02-12 成都信息工程大学 一种基于gan的医学图像病变区域弱监督定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘海东 等: "基于生成对抗网络的乳腺癌病理图像可疑区域标记", 《科研信息化技术与应用》 *
陈敏: "《认知计算导论》", 31 May 2017, 华中科技大学出版社 *
马慧彬: "《基于机器学习的乳腺图像辅助诊断算法研究》", 31 August 2016, 湖南师范大学出版社 *

Similar Documents

Publication Publication Date Title
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
Sun et al. An adversarial learning approach to medical image synthesis for lesion detection
CN106372390B (zh) 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN108268870A (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN110473186B (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN109363698A (zh) 一种乳腺影像征象识别的方法及装置
CN111402254B (zh) 一种ct图像肺结节高性能自动检测方法及装置
CN111709446B (zh) 基于改进的密集连接网络的x线胸片分类装置
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN110010229A (zh) 一种基于生成对抗网络的超声影像模拟方法
CN111260639A (zh) 多视角信息协作的乳腺良恶性肿瘤分类方法
CN109003651A (zh) 病灶报告生成装置和方法
CN113989551A (zh) 一种基于改进ResNet网络的阿尔茨海默病分类方法
Guo et al. Msanet: multiscale aggregation network integrating spatial and channel information for lung nodule detection
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
Shao et al. Deep learning and radiomics analysis for prediction of placenta invasion based on T2WI
CN111275103A (zh) 多视角信息协作的肾脏良恶性肿瘤分类方法
Wang et al. Deep transfer learning-based multi-modal digital twins for enhancement and diagnostic analysis of brain mri image
CN110246143A (zh) 肺部ct图像辅助检测处理装置
Gu et al. COVID-19 Imaging Detection in the Context of Artificial Intelligence and the Internet of Things.
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
Guo et al. Classification and diagnosis of residual thyroid tissue in SPECT images based on fine-tuning deep convolutional neural network
Zeng et al. Progressive feature fusion attention dense network for speckle noise removal in OCT images
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210420

RJ01 Rejection of invention patent application after publication