CN112884759A - 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 - Google Patents
一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 Download PDFInfo
- Publication number
- CN112884759A CN112884759A CN202110271312.6A CN202110271312A CN112884759A CN 112884759 A CN112884759 A CN 112884759A CN 202110271312 A CN202110271312 A CN 202110271312A CN 112884759 A CN112884759 A CN 112884759A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- deep learning
- ultrasonic image
- breast cancer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001165 lymph node Anatomy 0.000 title claims abstract description 84
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 66
- 208000026310 Breast neoplasm Diseases 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 40
- 206010027476 Metastases Diseases 0.000 title claims abstract description 39
- 230000009401 metastasis Effects 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000013136 deep learning model Methods 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims description 53
- 238000013135 deep learning Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 33
- 230000001394 metastastic effect Effects 0.000 claims description 15
- 206010061289 metastatic neoplasm Diseases 0.000 claims description 15
- 208000007433 Lymphatic Metastasis Diseases 0.000 claims description 13
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 abstract description 16
- 210000001099 axilla Anatomy 0.000 abstract 1
- 238000002604 ultrasonography Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000002099 shear wave elastography Methods 0.000 description 3
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 229910052750 molybdenum Inorganic materials 0.000 description 2
- 239000011733 molybdenum Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010025282 Lymphoedema Diseases 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 206010040102 Seroma Diseases 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012977 invasive surgical procedure Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000002502 lymphedema Diseases 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000001119 neuropathy Diseases 0.000 description 1
- 230000007823 neuropathy Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000033808 peripheral neuropathy Diseases 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请公开了一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置，方法包括：获取病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像；将B型超声图像和剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果。本申请解决了现有技术通过机器学习方法进行乳腺癌腋窝淋巴结转移状态的检测，由于数据样本较少，导致机器学习模型的预测性能不佳的技术问题。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置。
背景技术
乳腺癌的发病率在女性癌症中位居首位，占所有新诊断癌症的29％。腋窝淋巴结的状态是乳腺癌最重要的预后决定因素之一，及时、准确地检测腋窝淋巴结转移状态对指导乳腺癌的临床治疗至关重要。淋巴结活检是临床判定淋巴结转移状态的金标准。然而，淋巴结活检是一种有创的手术方式，会导致诸多术后并发症，例如淋巴水肿、血清瘤和感染性神经病变等。并且，对于乳腺癌早期患者而言，淋巴结活检会让患者承担不必要的术后风险与医疗费用，导致过度治疗。
现有的腋窝淋巴结无创术前影像学评价方法主要有乳腺钼靶摄影、CT(ComputerTomography，计算机断层成像)、MRI(Magnetic Resonance Imaging，核磁共振成像)、PET/CT(Positron Emission Tomography，正电子发射断层成像)和超声检查。乳腺钼靶摄影不能完全覆盖腋窝区域，诊断价值有限。PET或PET/CT对于鉴别转移性淋巴结的敏感性与特异性都不高。MRI的优点是取图时对操作者的依赖性小，并且可以比较双侧腋窝淋巴结，但是MRI检测范围有限，不能检测到所有腋窝淋巴结。腋窝超声检查是一种无创、无辐射且广泛应用于乳腺病变患者腋窝淋巴结评估的方法。然而，超声图像的判读依赖于放射科医生的主观评价，这导致了不同观察者之间存在差异。而通过机器学习方法进行乳腺癌腋窝淋巴结转移状态的检测，由于数据样本较少，导致机器学习模型的预测性能不佳。
发明内容
本申请提供了一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置，用于解决现有技术通过机器学习方法进行乳腺癌腋窝淋巴结转移状态的检测，由于数据样本较少，导致机器学习模型的预测性能不佳的技术问题。
有鉴于此，本申请第一方面提供了一种乳腺癌腋窝淋巴结转移状态的检测方法，包括：
获取病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像；
将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果。
可选的，所述深度学习模型包括：影像组学特征模块、B型超声图像深度学习图像特征模块、剪切波弹性超声深度学习图像特征模块、特征融合模块和Softmax层；
所述将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果，包括：
将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中，通过所述影像组学特征模块和所述B型超声图像深度学习图像特征模块分别对所述B型超声图像进行特征提取，得到第一特征向量和第二特征向量，通过所述剪切波弹性超声深度学习图像特征模块对所述剪切波弹性超声图像进行特征提取，得到第三特征向量；
通过所述特征融合模块对所述第一特征向量、所述第二特征向量和所述第三特征向量进行特征拼接，得到融合特征；
通过所述Softmax层对所述融合特征进行分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果。
可选的，所述影像组学特征模块为由输入层、隐藏层和输出层构成的多层感知器网络。
可选的，所述深度学习模型还包括目标特征提取模块；
将所述B型超声图像输入到深度学习模型中，通过所述影像组学特征模块对所述B型超声图像进行特征提取，得到第一特征向量，具体包括：
将所述B型超声图像输入到深度学习模型中，通过所述目标特征提取模块对所述B型超声图像进行特征提取，得到目标特征，所述目标特征包括形态特征、直方图特征和灰度纹理特征；
通过所述所述影像组学特征模块对所述目标特征进行特征提取，得到第一特征向量。
可选的，所述深度学习模型的配置过程为：
获取B型超声训练图像和剪切波弹性超声训练图像；
将所述B型超声训练图像和所述剪切波弹性超声训练图像输入到深度学习网络中进行训练，得到所述深度学习模型。
本申请第二方面提供了一种乳腺癌腋窝淋巴结转移状态的检测装置，包括：
获取单元，用于获取病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像；
输入单元，用于将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果。
可选的，所述深度学习模型包括：影像组学特征模块、B型超声图像深度学习图像特征模块、剪切波弹性超声深度学习图像特征模块、特征融合模块和Softmax层；
所述输入单元具体用于：
将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中，通过所述影像组学特征模块和所述B型超声图像深度学习图像特征模块分别对所述B型超声图像进行特征提取，得到第一特征向量和第二特征向量，通过所述剪切波弹性超声深度学习图像特征模块对所述剪切波弹性超声图像进行特征提取，得到第三特征向量；
通过所述特征融合模块对所述第一特征向量、所述第二特征向量和所述第三特征向量进行特征拼接，得到融合特征；
通过所述Softmax层对所述融合特征进行分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果。
可选的，所述深度学习模型的配置过程为：
获取B型超声训练图像和剪切波弹性超声训练图像；
将所述B型超声训练图像和所述剪切波弹性超声训练图像输入到深度学习网络中进行训练，得到所述深度学习模型。
本申请第三方面提供了一种乳腺癌腋窝淋巴结转移状态的检测设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的乳腺癌腋窝淋巴结转移状态的检测方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的乳腺癌腋窝淋巴结转移状态的检测方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种乳腺癌腋窝淋巴结转移状态的检测方法，包括：获取病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像；将B型超声图像和剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果。
本申请中，在获取到病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像后，通过深度学习模型对其进行特征提取、特征融合和分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果，充分挖掘不同模态超声影的多维度、高通量的病灶特征，弥补了传统影像组学所忽略的病灶区边缘特征信息，并且使用多源异构数据的组合，可以解决在小样本的情况下，特征信息量不足而导致机器学习模型预测性能不佳的问题，从而解决了现有技术通过机器学习方法进行乳腺癌腋窝淋巴结转移状态的检测，由于数据样本较少，导致机器学习模型的预测性能不佳的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种乳腺癌腋窝淋巴结转移状态的检测方法的一个流程示意图；
图2为本申请实施例提供的深度学习模型的结构示意图；
图3为本申请实施例提供的影像组学特征模块的结构示意图；
图4为本申请实施例提供的B型超声图像深度学习图像特征模块和剪切波弹性超声深度学习图像特征模块的结构示意图；
图5为本申请实施例提供的一种乳腺癌腋窝淋巴结转移状态的检测装置的一个结构示意图。
具体实施方式
本申请提供了一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置，用于解决现有技术通过机器学习方法进行乳腺癌腋窝淋巴结转移状态的检测，由于数据样本较少，导致机器学习模型的预测性能不佳的技术问题。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种乳腺癌腋窝淋巴结转移状态的检测方法的一个实施例，包括：
步骤101、获取病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像。
超声检测分为两种方式：一种是B型超声，其主要依据形态学特征来检测恶性淋巴结；另一种超声是剪切波弹性成像(SWE)技术，它基于健康淋巴结和转移淋巴结在硬度上的显著差异，通过剪切波弹性成像技术测量淋巴结组织硬度，在淋巴结形态变化不明显的情况下，定量评估淋巴结转移状态。
由于对样本质量要求较高，医学图像的相关研究通常在小样本数据集的条件下开展。卷积神经网络在数据量不多的情况下，只能通过加深网络层来学习更多的特征，然而网络深度的增加不仅使模型更容易过拟合，而且对提升分类准确性收效甚微。基于此，本申请实施例采用多源异构数据的组合来解决小样本导致的分类准确性低的问题。
步骤102、将B型超声图像和剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果。
本申请实施例中的深度学习模型包括：影像组学特征模块、B型超声图像深度学习图像特征模块、剪切波弹性超声深度学习图像特征模块、特征融合模块和Softmax层。请参考图2，将B型超声图像和剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果的具体过程为：
S1、将B型超声图像和剪切波弹性超声图像输入到深度学习模型中，通过影像组学特征模块和B型超声图像深度学习图像特征模块分别对B型超声图像进行特征提取，得到第一特征向量和第二特征向量，通过剪切波弹性超声深度学习图像特征模块对剪切波弹性超声图像进行特征提取，得到第三特征向量；
在提取传统的影像组学特征时，需要先由医生勾画腋窝淋巴结的轮廓，但是由于主观因素的制约，很容易忽略掉淋巴结边缘与周围组织的在图像上反映的信息。然而正是这些信息，反映了病变的淋巴结实际对周围组织的浸润和侵犯程度。除此之外，在提取剪切波弹性超声图像特征时，现有技术通常将剪切波弹性超声彩色图像转化为灰度图像后，计算图像的一阶统计、灰度共生矩阵等特征。对于剪切波弹性超声图像而言，图像中颜色的深浅变化是体现病灶区与正常组织差异的最显著的特征信息，因此将彩色的弹性超声图像转化为灰度图像再提取的特征，降低了弹性超声图像的诊断价值。因此，本申请实施例中，将初始的将B型超声图像和剪切波弹性超声图像输入到深度学习模型中进行特征提取，通过目标特征提取模块对输入的B型超声图像进行目标特征提取，并且不对剪切波弹性超声图像进行灰度变换，以保证分类预测的准确性。
进一步，本申请实施例中的深度学习模型还包括目标特征提取模块；将B型超声图像输入到深度学习模型中，通过影像组学特征模块对B型超声图像进行特征提取，得到第一特征向量，具体包括：
将B型超声图像输入到深度学习模型中，通过目标特征提取模块对B型超声图像进行特征提取，得到目标特征，目标特征包括形态特征、直方图特征和灰度纹理特征；通过影像组学特征模块对目标特征进行特征提取，得到第一特征向量。
在影像组学特征模块中，需要从464个传统影像组学数值特征中提取出与淋巴结转移状态相关的共性特征。如图3所示，本申请实施例中的影像组学特征模块为由输入层、隐藏层和输出层构成的多层感知器网络。给定一个大小为n的输入数据X(即目标特征)，输入个数为d，多层感知器隐藏单元数为h，隐藏层的输出为H∈Rn*h。隐藏层和输出层均是全连接层，设隐藏层的权重参数和偏差参数分别为Wh∈Rd*h和bh∈R1*h，输出层的权重和偏差参数分别为Wo∈Rh*q和bo∈R1*q。隐藏层的输出通过激活函数进行变换，其输出的第一特征向量O∈Rn*q的计算过程为：
H＝σ(XWh+bh)；
O＝HW0+b0；
式中，σ(·)为激活函数，优选为ReLU函数。
本申请实施例中的B型超声图像深度学习图像特征模块和剪切波弹性超声深度学习图像特征模块的网络结构一样，均由输入层、卷积层和池化层构成，可以参考图4，网络中共有8个卷积层，均使用3*3相同大小且步长均为1的卷积核，每个卷积层中使用ReLu函数作为激活函数。网络的输入为224*224大小的图像，卷积核在图像上滑动滤波采样，提取图像特征并输出图像的特征图，然后经由池化层进行下采样，对特征进行降维，最后一个池化层使用的是全局平均池化去除冗余信息，为了减少过拟合，整合全局空间信息。最终通过B型超声图像深度学习图像特征模块对B型超声图像进行特征提取，得到第二特征向量，通过剪切波弹性超声深度学习图像特征模块对剪切波弹性超声图像进行特征提取，得到第三特征向量。
本申请实施例通过影像组学特征模块、B型超声图像深度学习图像特征模块和剪切波弹性超声深度学习图像特征模块提取不同类型特征。影像组学特征模块通过多层感知器进行特征提取，而B型超声与剪切波弹性超声模块是两个结构相同且共享权重参数的卷积神经网络，用于对多源异构数据进行特征提取。本申请实施例提出一种多源异构数据融合的深度学习模型，在图像特征提取阶段，设计两个相同架构且共享权重的卷积神经网络，分别提取B型超声图像与剪切波弹性超声图像的特征，卷积神经网络要求的输入图像是矩形大小的感兴趣区域，这个感兴趣区域既可包括淋巴结的个体形状，同时又能包含淋巴结周围的组织，所以卷积神经网络从B型超声图像中不仅可以提取淋巴结个体特征，还可以获取其边缘与周围组织的特征信息。除此之外，卷积神经网络可以直接从彩色的剪切波弹性超声图像中提取全局的颜色变化特征。两个网络通过权重的共享促进了图像信息的互补，使得网络在简洁高效的同时又可以提取充分的图像特征信息。
S2、通过特征融合模块对第一特征向量、第二特征向量和第三特征向量进行特征拼接，得到融合特征；
通过各模块进行特征提取后，对得到的第一、第二、第三特征向量进行特征融合，主要通过特征拼接来实现特征融合，得到融合特征，以融合多源异构数据的特征信息。本申请实施例中特征融合模块通过特征融合网络对各特征进行特征融合，特征融合网络可以采用现有的卷积神经网络结构。
深度学习模型采用如下公式进行随机初始化，并采用梯度下降法进行优化训练，得到一维数据交替优化的网络参数Trfusion1，0：
式中，Wfusion,1为特征融合网络的输入层与第一个隐含层之间的权值，Wfusion,2为第一个隐含层与第二个隐含层之间的权值，Wfusion,3为第二个隐含层与第三隐含层之间的权值，bfusion,1、bfusion,2、bfusion，3分别为第一个隐含层、第二个隐含层、第三个隐含层的偏置，hfusion,1、hfusion，2、hfusion，3分别为第一个隐含层、第二个隐含层、第三个隐含层的神经元个数，Q为特征融合模块输入层的神经元个数。
特征融合模块通过特征融合网络抽取基于一维数值数据的特征融合，得到融合特征Ffusion1，1D：
Ffusion1，1D＝Gfusion1(Netfusion，Trfusion1，0，Trfusion1，1D,FDNN)；
式中，Gfusion1为特征融合网络的非线性函数，Trfusion1,0为初始网络参数，Trfusion1,1D为训练好的网络参数，FDNN为提取到的待融合的特征向量，Netfusion为特征融合网络。
对于二维图像数据输入，用上一步保存的隐藏层网络参数作为交替优化网络训练的初始值，经过迭代计算后得到交替优化的融合特征。
进一步，本申请实施例中的深度学习模型的配置过程具体为：获取B型超声训练图像和剪切波弹性超声训练图像；将B型超声训练图像和剪切波弹性超声训练图像输入到深度学习网络中进行训练，得到深度学习模型。
本申请实施例，在模型的训练阶段，通过设计一种交替迭代算法优化网络的权重参数，抽取出与分类结果最相关的共性特征，训练出诊断性能最优的深度学习模型。
S3、通过Softmax层对融合特征进行分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果。
通过特征融合模块得到融合特征后，通过Softmax层对融合特征进行分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果，从而确定病人是否有乳腺癌。
本申请实施例中，在获取到病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像后，通过深度学习模型对其进行特征提取、特征融合和分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果，充分挖掘不同模态超声影的多维度、高通量的病灶特征，弥补了传统影像组学所忽略的病灶区边缘特征信息，并且使用多源异构数据的组合，可以解决在小样本的情况下，特征信息量不足而导致机器学习模型预测性能不佳的问题，从而解决了现有技术通过机器学习方法进行乳腺癌腋窝淋巴结转移状态的检测，由于数据样本较少，导致机器学习模型的预测性能不佳的技术问题。
以上为本申请通过的一种乳腺癌腋窝淋巴结转移状态的检测方法的一个实施例以下为本申请提供的一种乳腺癌腋窝淋巴结转移状态的检测装置的一个实施例。
请参考图5，本申请实施例提供的一种乳腺癌腋窝淋巴结转移状态的检测装置，包括：
获取单元，用于获取病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像；
输入单元，用于将B型超声图像和剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果。
作为进一步地改进，深度学习模型包括：影像组学特征模块、B型超声图像深度学习图像特征模块、剪切波弹性超声深度学习图像特征模块、特征融合模块和Softmax层；
输入单元具体用于：
将B型超声图像和剪切波弹性超声图像输入到深度学习模型中，通过影像组学特征模块和B型超声图像深度学习图像特征模块分别对B型超声图像进行特征提取，得到第一特征向量和第二特征向量，通过剪切波弹性超声深度学习图像特征模块对剪切波弹性超声图像进行特征提取，得到第三特征向量；
通过特征融合模块对第一特征向量、第二特征向量和第三特征向量进行特征拼接，得到融合特征；
通过Softmax层对融合特征进行分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果。
作为进一步地改进，深度学习模型还包括目标特征提取模块；
将B型超声图像输入到深度学习模型中，通过影像组学特征模块对B型超声图像进行特征提取，得到第一特征向量，具体包括：
将B型超声图像输入到深度学习模型中，通过目标特征提取模块对B型超声图像进行特征提取，得到目标特征，目标特征包括形态特征、直方图特征和灰度纹理特征；
通过影像组学特征模块对目标特征进行特征提取，得到第一特征向量。
作为进一步地改进，深度学习模型的配置过程为：
获取B型超声训练图像和剪切波弹性超声训练图像；
将B型超声训练图像和剪切波弹性超声训练图像输入到深度学习网络中进行训练，得到深度学习模型。
本申请实施例中，在获取到病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像后，通过深度学习模型对其进行特征提取、特征融合和分类预测，得到病人的乳腺癌腋窝淋巴结转移状态检测结果，充分挖掘不同模态超声影的多维度、高通量的病灶特征，弥补了传统影像组学所忽略的病灶区边缘特征信息，并且使用多源异构数据的组合，可以解决在小样本的情况下，特征信息量不足而导致机器学习模型预测性能不佳的问题，从而解决了现有技术通过机器学习方法进行乳腺癌腋窝淋巴结转移状态的检测，由于数据样本较少，导致机器学习模型的预测性能不佳的技术问题。
本申请实施例还提供了一种乳腺癌腋窝淋巴结转移状态的检测设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述方法实施例中的乳腺癌腋窝淋巴结转移状态的检测方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述方法实施例中的乳腺癌腋窝淋巴结转移状态的检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种乳腺癌腋窝淋巴结转移状态的检测方法，其特征在于，包括：
获取病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像；
将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果。
2.根据权利要求1所述的乳腺癌腋窝淋巴结转移状态的检测方法，其特征在于，所述深度学习模型包括：影像组学特征模块、B型超声图像深度学习图像特征模块、剪切波弹性超声深度学习图像特征模块、特征融合模块和Softmax层；
所述将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果，包括：
将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中，通过所述影像组学特征模块和所述B型超声图像深度学习图像特征模块分别对所述B型超声图像进行特征提取，得到第一特征向量和第二特征向量，通过所述剪切波弹性超声深度学习图像特征模块对所述剪切波弹性超声图像进行特征提取，得到第三特征向量；
通过所述特征融合模块对所述第一特征向量、所述第二特征向量和所述第三特征向量进行特征拼接，得到融合特征；
通过所述Softmax层对所述融合特征进行分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果。
3.根据权利要求2所述的乳腺癌腋窝淋巴结转移状态的检测方法，其特征在于，所述影像组学特征模块为由输入层、隐藏层和输出层构成的多层感知器网络。
4.根据权利要求2所述的乳腺癌腋窝淋巴结转移状态的检测方法，其特征在于，所述深度学习模型还包括目标特征提取模块；
将所述B型超声图像输入到深度学习模型中，通过所述影像组学特征模块对所述B型超声图像进行特征提取，得到第一特征向量，具体包括：
将所述B型超声图像输入到深度学习模型中，通过所述目标特征提取模块对所述B型超声图像进行特征提取，得到目标特征，所述目标特征包括形态特征、直方图特征和灰度纹理特征；
通过所述所述影像组学特征模块对所述目标特征进行特征提取，得到第一特征向量。
5.根据权利要求1所述的乳腺癌腋窝淋巴结转移状态的检测方法，其特征在于，所述深度学习模型的配置过程为：
获取B型超声训练图像和剪切波弹性超声训练图像；
将所述B型超声训练图像和所述剪切波弹性超声训练图像输入到深度学习网络中进行训练，得到所述深度学习模型。
6.一种乳腺癌腋窝淋巴结转移状态的检测装置，其特征在于，包括：
获取单元，用于获取病人的腋窝淋巴结部位的B型超声图像和剪切波弹性超声图像；
输入单元，用于将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中进行特征提取、特征融合和分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果。
7.根据权利要求6所述的乳腺癌腋窝淋巴结转移状态的检测装置，其特征在于，所述深度学习模型包括：影像组学特征模块、B型超声图像深度学习图像特征模块、剪切波弹性超声深度学习图像特征模块、特征融合模块和Softmax层；
所述输入单元具体用于：
将所述B型超声图像和所述剪切波弹性超声图像输入到深度学习模型中，通过所述影像组学特征模块和所述B型超声图像深度学习图像特征模块分别对所述B型超声图像进行特征提取，得到第一特征向量和第二特征向量，通过所述剪切波弹性超声深度学习图像特征模块对所述剪切波弹性超声图像进行特征提取，得到第三特征向量；
通过所述特征融合模块对所述第一特征向量、所述第二特征向量和所述第三特征向量进行特征拼接，得到融合特征；
通过所述Softmax层对所述融合特征进行分类预测，得到所述病人的乳腺癌腋窝淋巴结转移状态检测结果。
8.根据权利要求6所述的乳腺癌腋窝淋巴结转移状态的检测装置，其特征在于，所述深度学习模型的配置过程为：
获取B型超声训练图像和剪切波弹性超声训练图像；
将所述B型超声训练图像和所述剪切波弹性超声训练图像输入到深度学习网络中进行训练，得到所述深度学习模型。
9.一种乳腺癌腋窝淋巴结转移状态的检测设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的乳腺癌腋窝淋巴结转移状态的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-5任一项所述的乳腺癌腋窝淋巴结转移状态的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110271312.6A CN112884759B (zh) | 2021-03-12 | 2021-03-12 | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110271312.6A CN112884759B (zh) | 2021-03-12 | 2021-03-12 | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884759A true CN112884759A (zh) | 2021-06-01 |
| CN112884759B CN112884759B (zh) | 2023-04-07 |
Family
ID=76041409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110271312.6A Active CN112884759B (zh) | 2021-03-12 | 2021-03-12 | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884759B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117764972A (zh) * | 2023-12-26 | 2024-03-26 | 广东工业大学 | 一种乳腺癌早期患者的无创腋窝转移负荷预测方法与系统 |
| CN117911775A (zh) * | 2024-01-22 | 2024-04-19 | 重庆大学 | 双模态融合可解释乳腺癌自动化智能诊断方法 |
| CN118644485A (zh) * | 2024-08-15 | 2024-09-13 | 吉林大学第一医院 | 基于超声造影图像的乳腺癌腋窝淋巴结转移状态分析系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961207A (zh) * | 2018-05-02 | 2018-12-07 | 上海大学 | 基于多模态超声图像的淋巴结良恶性病变辅助诊断方法 |
| AU2020101581A4 (en) * | 2020-07-31 | 2020-09-17 | Ampavathi, Anusha MS | Lymph node metastases detection from ct images using deep learning |
| CN111681210A (zh) * | 2020-05-16 | 2020-09-18 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法 |
| CN111815610A (zh) * | 2020-07-13 | 2020-10-23 | 广东工业大学 | 一种病变图像的病灶检测方法及装置 |
| CN111932541A (zh) * | 2020-10-14 | 2020-11-13 | 北京信诺卫康科技有限公司 | 一种用于预测新冠肺炎预后的ct影像图像处理方法 |
| CN112132917A (zh) * | 2020-08-27 | 2020-12-25 | 盐城工学院 | 一种直肠癌淋巴结转移的智能诊断方法 |
-
2021
- 2021-03-12 CN CN202110271312.6A patent/CN112884759B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961207A (zh) * | 2018-05-02 | 2018-12-07 | 上海大学 | 基于多模态超声图像的淋巴结良恶性病变辅助诊断方法 |
| CN111681210A (zh) * | 2020-05-16 | 2020-09-18 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法 |
| CN111815610A (zh) * | 2020-07-13 | 2020-10-23 | 广东工业大学 | 一种病变图像的病灶检测方法及装置 |
| AU2020101581A4 (en) * | 2020-07-31 | 2020-09-17 | Ampavathi, Anusha MS | Lymph node metastases detection from ct images using deep learning |
| CN112132917A (zh) * | 2020-08-27 | 2020-12-25 | 盐城工学院 | 一种直肠癌淋巴结转移的智能诊断方法 |
| CN111932541A (zh) * | 2020-10-14 | 2020-11-13 | 北京信诺卫康科技有限公司 | 一种用于预测新冠肺炎预后的ct影像图像处理方法 |
Non-Patent Citations (3)
| Title |
|---|
| 王中一: "乳腺癌MRI 影像组学的研究进展", 《磁共振成像》 * |
| 石颉 等: "面向淋巴结病变多分类鉴别的弹性和 B 型", 《生物医学工程学杂志》 * |
| 索静峰 等: "依托弹性与B型双模态超声影像组学的", 《中国医疗器械杂志》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117764972A (zh) * | 2023-12-26 | 2024-03-26 | 广东工业大学 | 一种乳腺癌早期患者的无创腋窝转移负荷预测方法与系统 |
| CN117911775A (zh) * | 2024-01-22 | 2024-04-19 | 重庆大学 | 双模态融合可解释乳腺癌自动化智能诊断方法 |
| CN118644485A (zh) * | 2024-08-15 | 2024-09-13 | 吉林大学第一医院 | 基于超声造影图像的乳腺癌腋窝淋巴结转移状态分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112884759B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh et al. | Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors | |
| Tariq et al. | Medical image based breast cancer diagnosis: State of the art and future directions | |
| Yousef et al. | A holistic overview of deep learning approach in medical imaging | |
| CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| Chen et al. | Computer-aided diagnosis applied to US of solid breast nodules by using neural networks | |
| CN112884759B (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
| EP3046478B1 (en) | Image analysis techniques for diagnosing diseases | |
| US8335359B2 (en) | Systems, apparatus and processes for automated medical image segmentation | |
| CN112529834A (zh) | 病理图像模式在3d图像数据中的空间分布 | |
| Bhadoria et al. | Comparison of segmentation tools for multiple modalities in medical imaging | |
| JP7333132B1 (ja) | マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム | |
| Dutande et al. | Deep residual separable convolutional neural network for lung tumor segmentation | |
| Zhou et al. | Interpreting medical images | |
| CN118262875A (zh) | 一种医学影像诊断对比阅片方法 | |
| Shi et al. | Automatic detection of pulmonary nodules in CT images based on 3D Res-I network | |
| Al-Tam et al. | Breast cancer detection and diagnosis using machine learning: a survey | |
| Kaliyugarasan et al. | Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI | |
| OK et al. | Mammogram pectoral muscle removal and classification using histo-sigmoid based ROI clustering and SDNN | |
| Sharma et al. | Generous approach for diagnosis and detection of gastrointestinal tract disease with application of deep neural network | |
| Lamrani et al. | U-Net-based Artificial Intelligence for Accurate and Robust Brain Tumor Diagnosis using Magnetic Resonance Imaging | |
| Salehi et al. | Investigation and simulation of different medical image processing algorithms to improve image quality using simulink matlab | |
| Amritha et al. | Liver tumor segmentation and classification using deep learning | |
| Wang | Assisted diagnosis system for brain diseases with imbalanced category distribution based on medical images | |
| KR20210069250A (ko) | 의료 영상에서 듀얼 윈도우 설정에 기반한 딥러닝을 이용한 종양 자동 분할 방법 | |
| Hsu et al. | A comprehensive study of age-related macular degeneration detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240904 Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Patentee after: Shenzhen Hongyue Enterprise Management Consulting Co.,Ltd. Country or region after: China Address before: No.729, Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province 510060 Patentee before: GUANGDONG University OF TECHNOLOGY Country or region before: China |
|
| TR01 | Transfer of patent right |