CN112465750A - 一种基于乳腺癌分子分型超声多模态自动识别方法和装置 - Google Patents
一种基于乳腺癌分子分型超声多模态自动识别方法和装置 Download PDFInfo
- Publication number
- CN112465750A CN112465750A CN202011271926.6A CN202011271926A CN112465750A CN 112465750 A CN112465750 A CN 112465750A CN 202011271926 A CN202011271926 A CN 202011271926A CN 112465750 A CN112465750 A CN 112465750A
- Authority
- CN
- China
- Prior art keywords
- breast cancer
- ultrasonic
- image
- elastic
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 60
- 208000026310 Breast neoplasm Diseases 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000002604 ultrasonography Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000009467 reduction Effects 0.000 claims abstract description 17
- 230000010354 integration Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 230000003211 malignant effect Effects 0.000 claims description 8
- 238000010008 shearing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000004083 survival effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，对乳腺癌分子分型的灰阶、彩超和弹性超声图像进行降噪预处理；将预处理后的三种超声图像进行数据增强；将增强后的三种超声图像进行模态模型训练；最后对训练形成的灰阶、彩超、弹性模型进行集成。本发明提升自动识别效果，模型集成效果好，可辅助医生完成对乳腺癌的检测。
Description
技术领域
本发明涉及人工智能领域，尤其是涉及一种基于乳腺癌分子分型超声多模态自动识别方法和装置。
背景技术
乳腺癌是女性中最常见的癌症，女性在一生中患上病风险高达12％，死亡风险高达5％，乳腺癌的发病率一直在上升，但在许多工业化国家，经过一段时间的持续上升后，乳腺癌死亡率在过去10-15年保持稳定。乳腺X线筛查方案的大规模引入，使的小肿瘤和侵袭性较低的肿瘤得到了更早的发现和诊断，使得乳腺癌患病风险有所下降。在过去的几十年里，治疗技术的进步也使乳腺癌死亡风险率大幅下降，导致了乳腺癌存活率的大量增加。但是，确诊后5年和 10年的相对生存率分别为88％和77％，均显著高于所有癌症的5年内相对生存率之和。因此，寻找预测乳腺癌患者5年生存期内能够生存的重要作用因素，并分析这些因素对诊断后10年甚至更长时间生存期的所起的作用是必要的。近年来在乳腺癌分子分型上的预后价值方面取得了重大进展，但是乳腺癌的分子分型的确定仍是十分困难的，依赖专家的水平及经验，在医疗水平较低的地区，乳腺癌的筛查更显困难。
近年来，超声成像技术大为发展，是临床实践中检测疾病的最常见方案之一。超声成像具有许多优点，超声成像的时候，超声波是属于一种机械波，所以它没有放射性的损伤，所以这种检查的安全性非常的高。超声检查可以动态的显示器官的运动以及血流状况，所以可以同时获取功能和形态学方面的信息，这样就更有利于病变的检出了。超声检查不仅非常的便捷易于操作，而且他的检查费用也比其他的检查方式低廉。因此超声具有安全性，实时和低成本优点。在超声系统搭建的自动诊疗系统也为近年来迅速崛起深度学习的应用提供了基础。在深度学习之前，往往通过人工提取特征，然后使用支持向量机、决策树、逻辑回归等机器学习方法进行自动识别，但提取特征的过程往往耗费十分巨大的人力，特征的好坏往往依赖提取特征专家的经验。而深度学习则可以自动提取图像高层特征，进行端对端的学习。在2012年Imagenet比赛表现出的优异效果后，深度学习卷积神经网络的开始统治图像识别领域，广泛应用在图像识别、定位、分割、目标跟踪、人脸识别等各个领域。
然而用深度学习方法对乳腺癌超声图像进行分子分型预测相对缺失，故提出了一种基于乳腺癌分子分型超声多模态自动识别方法。
发明内容
本发明实施例提供了本发明的目的在于提供一种基于乳腺癌分子分型超声多模态自动识别方法，旨在解决解决在乳腺癌分子分型自动识别问题。
一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，包括如下步骤，
S1、对乳腺癌分子分型的灰阶、彩超和弹性超声图像进行降噪预处理；
S2、将预处理后的三种超声图像进行数据增强；
S3、将增强后的三种超声图像进行模态模型训练；
S4、对训练形成的灰阶、彩超、弹性模型进行集成。
所述S1包括，
S11、从原始的乳腺癌超声图像的影像区域中，取左上和右下为两端截取图像；
S12、对截取的图像进行灰度化；
S13、以零为阈值剪去灰度化后图像像素最低值；
S14、对S13得到图像进行开运算，腐蚀图像噪音区域；
S15、采用找寻最大值连通区域算法，确定最大噪音区域后进行矩形拟合；
S16、获取矩形拟合图像与截取图像的交集，完成图像的降噪预处理。
所述S2包括，
S21、将降噪后的三种超声图像的数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致。
S22、对S21得到的超声图像采用mixup数据增强方式进行数据增强。
所述S3包括，
S31、采用三个参数不共享的ResNet对增强后的三种超声图像进行特征抽取，对抽取到三个不同模态的图像特征通过不同的卷积网络进行训练。
S4包括，
S41、根据公式1对训练形成的灰阶、彩超、弹性模型进行集成：
Score＝a*Gray+b*Color+c*Elastic 公式1；
其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
S42、通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
本发明实施例提供了基于乳腺癌分子分型超声多模态自动识别模型的生成装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述基于乳腺癌分子分型超声多模态自动识别模型的生成方法的步骤。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至5 中任一项所述基于乳腺癌分子分型超声多模态自动识别模型的生成方法的步骤。
本发明实施例提供了一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法装置，其特征在于，包括，
数据预处理模块，用于对乳腺癌分子分型的灰阶、彩超和弹性超声图像降噪预处理。
数据增强模块，用于将预处理后的三种超声图像进行数据增强。
训练模块，将增强后的三种超声图像进行模态模型训练。
集成模块，对训练形成的灰阶、彩超、弹性模型进行集成。
优选地，所述装置的截取位置为左上和右下，数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致，采用mixup数据增强方式进行数据增强。
优选地，所述装置特征抽取采用三个参数不共享的ResNet，装置集成方法为
Score＝a*Gray+b*Color+c*Elastic 公式1；
其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
借助于本发明实施例的技术方案，降低了模型拟合难度，并且使得本发明提出一种数据预处理方法，降低模型拟合难度。数据增强使模型效果变好，模型训练使不同的卷积网络学到不同的网络特征。而模型集成可以得到更鲁棒的模型。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的基于乳腺癌分子分型超声图像多模态自动识别流程图；
图2是本发明实施例的基于乳腺癌分子分型超声图像多模态自动识别具体流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
根据本发明实施例，提供了基于乳腺癌分子分型超声图像多模态自动识别方法和装置，图1是本发明实施例的基于乳腺癌分子分型超声图像多模态自动识别方法流程图，如图1所示，包括如下步骤，
S1、乳腺癌分子分型的灰阶、彩超和弹性超声图像预处理，即降噪；
S2、将预处理后的三种超声图像进行数据增强；
S3、将增强后的三种超声图像进行模态模型训练；
S4、对训练形成的灰阶、彩超、弹性模型进行集成。
S1具体包括，
S11、从原始的乳腺癌超声图像的影像区域中，取左上和右下为两端截取图像；
S12、对截取的图像进行灰度化；
S13、以零为阈值剪去灰度化后图像像素最低值；
S14、对S13得到图像进行开运算，腐蚀图像噪音区域；
S15、采用找寻最大值连通区域算法，确定最大噪音区域后进行矩形拟合；
S16、获取矩形拟合图像与截取图像的交集，完成图像的降噪预处理。
S2具体包括，
S21、将降噪后的三种超声图像的数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致。
S22、对S21得到的超声图像采用mixup数据增强方式进行数据增强。
S3具体包括，
S31、采用三个参数不共享的ResNet对增强后的三种超声图像进行特征抽取，对抽取到三个不同模态的图像特征通过不同的卷积网络进行训练。
S4具体包括，
S41、根据公式1对训练形成的灰阶、彩超、弹性模型进行集成：
Score＝a*Gray+b*Color+c*Elastic 公式1；
其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
S42、通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
以下对本发明实施例的上述技术方案进行详细说明。
获得原始的乳腺癌超声图像，由于原始的乳腺癌超声图像的影像区域四周有相当多的噪音，需要数据预处理，即在降噪时可以取影像区域的左上、右下为两端截取图像；再对截取图像进行灰度化，以零为阈值剪去像素最低值，进行图像开运算，腐蚀图像中噪音区域，采用找寻最大值连通区域算法，找出最大区域后进行矩形拟合，获取与截取图像的交集，完成图像降噪工作。
降噪完成的超声图像需要进行数据预处理，乳腺癌超声图像数据有灰阶、彩超、弹性三种类型数据，为了保证三种影像数据增强后能保持对齐，因此在做数据增强时关于方位变化需保持一致，即三种图像的数据增强旋转角度、翻转方向、随机剪切位置、缩放大小需要保持一致，而颜色随机抖动则各自选用不同参数，保持样本多样性。同时采用mixup数据增强方式，mixup采用对不同类别之间进行建模的方式实现数据增强。
数据增强后，由于乳腺癌分子分型超声图像含有灰阶、彩超、弹性的数据，三种数据中两两差异明显，尤其弹性数据与彩超、灰阶数据相差甚远，三种图像不似CT三维数据，不存在空间结构，不能使用3D卷积搭建进行特征抽取，完成模型搭建训练；也不是时间序列图像，三种之间不存在序列关系，故 CNN+LSTM、GRU+LSTM也不适用；基于该三种图像是一个病灶三种不同的表现方式，是一种多模态的表现方式，故使用多模态的方式搭建模型是合理的。本研究采用三个参数不共享的ResNet抽取特征抽取到三个不同模态的数据进行训练，不同的卷积网络学到不同图像的特征，从而完成网络的训练。
集成学习是一种机器学习范式。将用ResNet抽取到的图像特征集成，在集成学习中，往往会训练多个模型解决相同的问题，并将它们结合起来以获得更好的结果，当模型以合适的方法进行组合时，就可以得到更鲁棒的模型。
因此上述灰阶、彩超、弹性模型可用作设计更复杂模型的构件，这些模型本身的泛化并不是非常好，因为它们可能存在较高的偏差或者方差。集成方法的思想是通过将这些模型的偏差和方差结合起来，从而获得更好一个更为鲁棒的模型，本发明实施例的集成方法如下：
Score＝a*Gray+b*Color+c*Elastic 公式1；
其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。
本发明实施例提出了采用相同的角度、尺度变化，采用不同的颜色抖动，使用mixup作用三种乳腺癌图像的数据增强方法，增强了模型效果。
此外，本发明实施例还提出了一种多模态模型乳腺癌分子分型超声模型训练方法，该方法适用于一个病灶三种不同的表现方式。
将灰阶、彩超、弹性模型的方差和偏差结合起来，对不同模态图像分配不同的权重，找出最佳的权重参数，从而获得更好一个更为鲁棒的模型，提出采用参数搜索方法集成乳腺癌超声模型，有更好的鲁棒性。
装置实施例一
根据本发明实施例，提供了一种基于乳腺癌分子分型超声图像多模态自动识别装置，包括，
数据预处理模块，用于对乳腺癌分子分型的灰阶、彩超和弹性超声图像降噪预处理。
数据增强模块，用于将预处理后的三种超声图像进行数据增强。
训练模块，将增强后的三种超声图像进行模态模型训练。
集成模块，对训练形成的灰阶、彩超、弹性模型进行集成。
装置的截取位置为左上和右下，数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致，采用mixup数据增强方式进行数据增强。
装置特征抽取采用三个参数不共享的ResNet，装置集成方法为
Score＝a*Gray+b*Color+c*Elastic 公式1；
其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
本发明实施例是与上述方法实施例对应的装置实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
装置实施例二
本发明实施例提供一种基于乳腺癌分子分型超声图像多模态自动识别装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如下方法步骤：
S1、对乳腺癌分子分型的灰阶、彩超和弹性超声图像进行降噪预处理；
S2、将预处理后的三种超声图像进行数据增强；
S3、将增强后的三种超声图像进行模态模型训练；
S4、对训练形成的灰阶、彩超、弹性模型进行集成。
S1具体包括，
S11、从原始的乳腺癌超声图像的影像区域中，取左上和右下为两端截取图像；
S12、对截取的图像进行灰度化；
S13、以零为阈值剪去灰度化后图像像素最低值；
S14、对S13得到图像进行开运算，腐蚀图像噪音区域；
S15、采用找寻最大值连通区域算法，确定最大噪音区域后进行矩形拟合；
S16、获取矩形拟合图像与截取图像的交集，完成图像的降噪预处理。
S2具体包括，
S21、将降噪后的三种超声图像的数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致。
S22、对S21得到的超声图像采用mixup数据增强方式进行数据增强。
S3具体包括，
S31、采用三个参数不共享的ResNet对增强后的三种超声图像进行特征抽取，对抽取到三个不同模态的图像特征通过不同的卷积网络进行训练。
S4具体包括，
S41、根据公式1对训练形成的灰阶、彩超、弹性模型进行集成：
Score＝a*Gray+b*Color+c*Elastic 公式1；
其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
S42、通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
最后得到乳腺癌超声图像自动识别结果。
装置实施例三
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器执行时实现上述装置实施例二中所述的步骤。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，包括如下步骤，
S1、对乳腺癌分子分型的灰阶、彩超和弹性超声图像进行降噪预处理；
S2、将预处理后的三种超声图像进行数据增强；
S3、将增强后的三种超声图像进行模态模型训练；
S4、对训练形成的灰阶、彩超、弹性模型进行集成。
2.根据权利要求1所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，所述S1包括，
S11、从原始的乳腺癌超声图像的影像区域中，取左上和右下为两端截取图像；
S12、对截取的图像进行灰度化；
S13、以零为阈值剪去灰度化后图像像素最低值；
S14、对S13得到图像进行开运算，腐蚀图像噪音区域；
S15、采用找寻最大值连通区域算法，确定最大噪音区域后进行矩形拟合；
S16、获取矩形拟合图像与截取图像的交集，完成图像的降噪预处理。
3.根据权利要求1所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，所述S2包括，
S21、将降噪后的三种超声图像的数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致。
S22、对S21得到的超声图像采用mixup数据增强方式进行数据增强。
4.根据权利要求1所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，所述S3包括，
S31、采用三个参数不共享的ResNet对增强后的三种超声图像进行特征抽取，对抽取到三个不同模态的图像特征通过不同的卷积网络进行训练。
5.根据权利要求1所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，S4包括，
S41、根据公式1对训练形成的灰阶、彩超、弹性模型进行集成：
Score＝a*Gray+b*Color+c*Elastic 公式1；
其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
S42、通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、1.00，b,c也是如此。
6.一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法装置，其特征在于，包括，
数据预处理模块，用于对乳腺癌分子分型的灰阶、彩超和弹性超声图像降噪预处理。
数据增强模块，用于将预处理后的三种超声图像进行数据增强。
训练模块，将增强后的三种超声图像进行模态模型训练。
集成模块，对训练形成的灰阶、彩超、弹性模型进行集成。
7.根据权利要求6所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法装置，其特征在于，包括，所述装置的截取位置为左上和右下，数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致，采用mixup数据增强方式进行数据增强。
8.根据权利要求6所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法装置，其特征在于，包括，所述装置特征抽取采用三个参数不共享的ResNet，装置集成方法为
Score＝a*Gray+b*Color+c*Elastic 公式1；
其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、1.00，b,c也是如此。
9.一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述基于乳腺癌分子分型超声多模态自动识别模型的生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至5中任一项所述基于乳腺癌分子分型超声多模态自动识别模型的生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011271926.6A CN112465750A (zh) | 2020-11-13 | 2020-11-13 | 一种基于乳腺癌分子分型超声多模态自动识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011271926.6A CN112465750A (zh) | 2020-11-13 | 2020-11-13 | 一种基于乳腺癌分子分型超声多模态自动识别方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465750A true CN112465750A (zh) | 2021-03-09 |
Family
ID=74836128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011271926.6A Pending CN112465750A (zh) | 2020-11-13 | 2020-11-13 | 一种基于乳腺癌分子分型超声多模态自动识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465750A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120256920A1 (en) * | 2011-04-05 | 2012-10-11 | Julian Marshall | System and Method for Fusing Computer Assisted Detection in a Multi-Modality, Multi-Dimensional Breast Imaging Environment |
| CN108268897A (zh) * | 2018-01-19 | 2018-07-10 | 北京工业大学 | 一种乳腺肿瘤多模态超声多层次计算机辅助诊断方法 |
| CN109544517A (zh) * | 2018-11-06 | 2019-03-29 | 中山大学附属第医院 | 基于深度学习的多模态超声组学分析方法及系统 |
| CN109671054A (zh) * | 2018-11-26 | 2019-04-23 | 西北工业大学 | 多模态脑肿瘤mri的无监督分割方法 |
| CN109858540A (zh) * | 2019-01-24 | 2019-06-07 | 青岛中科智康医疗科技有限公司 | 一种基于多模态融合的医学图像识别系统及方法 |
| CN110516595A (zh) * | 2019-08-27 | 2019-11-29 | 中国民航大学 | 基于卷积神经网络的手指多模态融合识别方法 |
| CN110930367A (zh) * | 2019-10-31 | 2020-03-27 | 上海交通大学 | 多模态超声影像分类方法以及乳腺癌诊断装置 |
| CN111583210A (zh) * | 2020-04-29 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 基于卷积神经网络模型集成的乳腺癌图像自动识别方法 |
| CN111598876A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动识别模型构建方法、系统及设备 |
-
2020
- 2020-11-13 CN CN202011271926.6A patent/CN112465750A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120256920A1 (en) * | 2011-04-05 | 2012-10-11 | Julian Marshall | System and Method for Fusing Computer Assisted Detection in a Multi-Modality, Multi-Dimensional Breast Imaging Environment |
| CN108268897A (zh) * | 2018-01-19 | 2018-07-10 | 北京工业大学 | 一种乳腺肿瘤多模态超声多层次计算机辅助诊断方法 |
| CN109544517A (zh) * | 2018-11-06 | 2019-03-29 | 中山大学附属第医院 | 基于深度学习的多模态超声组学分析方法及系统 |
| CN109671054A (zh) * | 2018-11-26 | 2019-04-23 | 西北工业大学 | 多模态脑肿瘤mri的无监督分割方法 |
| CN109858540A (zh) * | 2019-01-24 | 2019-06-07 | 青岛中科智康医疗科技有限公司 | 一种基于多模态融合的医学图像识别系统及方法 |
| CN110516595A (zh) * | 2019-08-27 | 2019-11-29 | 中国民航大学 | 基于卷积神经网络的手指多模态融合识别方法 |
| CN110930367A (zh) * | 2019-10-31 | 2020-03-27 | 上海交通大学 | 多模态超声影像分类方法以及乳腺癌诊断装置 |
| CN111583210A (zh) * | 2020-04-29 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 基于卷积神经网络模型集成的乳腺癌图像自动识别方法 |
| CN111598876A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动识别模型构建方法、系统及设备 |
Non-Patent Citations (7)
| Title |
|---|
| MOON W K 等: "Computer‐aided diagnosis of breast ultrasound images using ensemble learning from convolutional neural networks", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, vol. 190, pages 1 - 12 * |
| WANG JIAN 等: "Auto-weighting for breast cancer classification in multimodal ultrasound", 《MICCAI 2020: MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION – MICCAI 2020》, vol. 12266, pages 190 - 199 * |
| 何俊等: "面向深度学习多模态融合技术研究综述", 《计算机工程》, vol. 46, no. 05, pages 2 * |
| 崔文举 等: "基于超声的影像组学在乳腺癌诊断中的研究进展", 《肿瘤影像学》, vol. 29, no. 04, pages 406 - 409 * |
| 巩睿: "基于多模态超声图像的甲状腺肿瘤的分类", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 03, pages 138 - 860 * |
| 王媛媛 等: "基于卷积神经网络的PET/CT多模态图像识别研究", 《电视技术》, vol. 41, no. 03, pages 88 - 94 * |
| 黄军豪 等: "基于深度学习的乳腺癌分子亚型分类研究", 《现代计算机》, no. 22, pages 3 - 8 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393229B2 (en) | Method and system for artificial intelligence based medical image segmentation | |
| CN110598782B (zh) | 一种训练用于医学影像的分类网络的方法与装置 | |
| Tang et al. | High-resolution 3D abdominal segmentation with random patch network fusion | |
| EP4177828A1 (en) | Method and system for domain knowledge augmented multi-head attention based robust universal lesion detection | |
| CN113012173A (zh) | 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| Sirjani et al. | Automatic cardiac evaluations using a deep video object segmentation network | |
| CN115082493A (zh) | 基于形状引导对偶一致性的3d心房图像分割方法及系统 | |
| Dong et al. | Learning from dermoscopic images in association with clinical metadata for skin lesion segmentation and classification | |
| Chatterjee et al. | A survey on techniques used in medical imaging processing | |
| CN112164447B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112465750A (zh) | 一种基于乳腺癌分子分型超声多模态自动识别方法和装置 | |
| Kumari et al. | Data efficient deep learning for medical image analysis: A survey | |
| Hsu et al. | Simple 2D Convolutional Neural Network-based Approach for COVID-19 Detection | |
| CN111598870B (zh) | 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法 | |
| de Melo et al. | Gradient boosting decision trees for echocardiogram images | |
| Mahanty et al. | SRGAN Assisted Encoder-Decoder Deep Neural Network for Colorectal Polyp Semantic Segmentation. | |
| Yang et al. | Not All Areas Are Equal: Detecting Thoracic Disease With ChestWNet | |
| Zhang et al. | MAEF-Net: MLP Attention for Feature Enhancement in U-Net based Medical Image Segmentation Networks | |
| US20240144469A1 (en) | Systems and methods for automatic cardiac image analysis | |
| Huang et al. | Si-MSPDNet: A multiscale Siamese network with parallel partial decoders for the 3-D measurement of spines in 3D ultrasonic images | |
| CN112766333B (zh) | 医学影像处理模型训练方法、医学影像处理方法及装置 | |
| Zhao et al. | Med-DualNet: Enhancing Medical Image Segmentation with Hard-Patch Mining and Joint Error Adjustment | |
| Sallam | Deep Structure Base On Convolutional Neural Networks For Identificatio Of Chest Diesases | |
| Parvatham et al. | Detection and Categorization of Breast Cancer Using Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |