CN116958094A - 一种动态增强磁共振影像特征生成病理图像特征的方法 - Google Patents
一种动态增强磁共振影像特征生成病理图像特征的方法 Download PDFInfo
- Publication number
- CN116958094A CN116958094A CN202310923521.3A CN202310923521A CN116958094A CN 116958094 A CN116958094 A CN 116958094A CN 202310923521 A CN202310923521 A CN 202310923521A CN 116958094 A CN116958094 A CN 116958094A
- Authority
- CN
- China
- Prior art keywords
- dce
- mri
- pathological
- features
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 15
- 230000007170 pathology Effects 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 24
- 206010006187 Breast cancer Diseases 0.000 claims description 14
- 208000026310 Breast neoplasm Diseases 0.000 claims description 14
- 210000000481 breast Anatomy 0.000 claims description 9
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 9
- 238000002512 chemotherapy Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000001574 biopsy Methods 0.000 claims description 3
- 210000000038 chest Anatomy 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004043 dyeing Methods 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000012952 Resampling Methods 0.000 claims 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 abstract description 90
- 238000012217 deletion Methods 0.000 abstract description 2
- 230000037430 deletion Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011226 adjuvant chemotherapy Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013101 initial test Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
- G06T2207/10096—Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种动态增强磁共振影像特征生成病理图像特征的方法，该方法首先获取乳腺癌的DCE‑MRI数据以及相应的病理图像数据，构建乳腺癌数据集，并进行数据预处理。其次构建基于视觉自注意力模型和交叉注意力机制的特征提取网络，提取DCE‑MRI特征和病理图像特征。然后基于对抗生成网络，利用DCE‑MRI特征生成病理图像特征。最后利用DCE‑MRI数据，通过训练好的特征提取网络的DCE‑MRI分支和训练好的特征生成网络生成病理图像特征。本发明更好的利用图像的全局信息，并且使模型在没有病理图像的情况下通过DCE‑MRI影像也能生成病理图像特征，解决病理图像缺失的问题。
Description
技术领域
本发明属于医学图像和智慧医疗领域，具体涉及一种动态增强磁共振影像特征生成病理图像特征的方法。
背景技术
通过人工智能的方法，提取和生成不同影像的特征，为医生提供辅助信息，对患者的治疗有着及其重要的意义。磁共振成像(Magnetic Resonance Imaging，MRI)无需侵入人体并且不涉及电离辐射，在检测乳房病变方面具有较高的灵敏度，可以帮助乳腺外科医生规划保乳手术的术前局部分期和评估治疗预后。
影像学检查是目前乳腺癌检查的首选方式，MRI检查具有敏感度高、检查过程无核辐射、影像组织对比度高的优势，其中动态增强磁共振影像(Dynamic ContrastEnhancement Magnetic Resonance Imaging，DCE-MRI)具有较高的时间分辨率，对致密性较高乳腺检查效果较好，适应于我国女性。现有的医学影像特征提取模型和方法大多需要手工定义特征，基于深度学习的特征提取模型更多是针对单一模态影像的特征提取，所提取的特征无法含带其他模态的影像信息，多模态的影像特征包含了更加丰富的疾病信息，但需要病人做多种影像学检查，这需要耗费更多的时间和金钱成本，并且一些检查具有侵入性，如病理学检查。由于方法的限制，很少有研究关注如何利用不同影像之间的信息相互引导从而提取不同影像的特征，并且当一种模态的影像缺失时，很难从其他模态数据得到其影像信息。
发明内容
本发明提出一种动态增强磁共振影像特征生成病理图像特征的方法，基于乳腺癌的DCE-MRI和病理图像，通过交叉注意力的方式引导不同模态之间的信息相互引导提取特征，通过特征生成模块，利用DCE-MRI特征生成病理图像特征，通过使用真实病理特征和模拟病理特征交叉训练的方式使得DCE-MRI特征生成的模拟病理图像特征可以替代真实病理图像特征，为乳腺癌的诊疗提供额外的辅助信息。通过病理图像信息引导模型提取DCE-MRI的影像特征，之后利用具有病理图像信息的DCE-MRI特征生成病理图像特征，模型经过训练之后，通过DCE-MRI数据提取DCE-MRI特征并生成模拟的病理图像特征。
一种动态增强磁共振影像特征生成病理图像特征的方法，包括如下步骤：
步骤一：获取乳腺癌的DCE-MRI数据以及相应的病理图像数据，构建乳腺癌数据集；
乳腺癌数据集采自于医院临床数据。所有患者DCE-MRI数据应采集自同一磁共振影像采集设备，磁共振扫描仪场强应为3.0T，从乳腺癌患者新辅助化疗前的病理报告采集病理图像，保证DCE-MRI和病理图像均在患者接受检查时间的相近，通过患者病理报告和住院报告得到患者新辅助化疗疗效等信息。
步骤二：对DCE-MRI数据和病理图像数据进行预处理；
对于DCE-MRI数据，将所有患者DCE-MRI体素重采样为同一大小。对于病理图像，使用预训练的分割网络上下文金字塔融合网络CPFNet去除胸腔、乳房外侧皮肤，只保留病理活检的一侧乳房，病理图像染色归一化等。
步骤三：构建基于视觉自注意力模型(Vision Transformer，ViT)和交叉注意力(Cross-Attention，CA)机制的特征提取网络，提取动态增强磁共振影像特征和病理图像特征，并训练特征提取网络；
基于视觉自注意力模型和交叉注意力机制的特征提取网络包含DCE-MRI分支和病理图像分支：
DCE-MRI分支由DCE-MRI数据作为输入，首先将DCE-MRI划分相同大小的DCE-MRI块，之后将DCE-MRI块输入到3D卷积层后添加位置编码得到DCE-MRI块标记PatchMR，随后与加入随机初始化的DCE-MRI分类标记CLSMR一起作为DCE-MRI分支中的Transformer编码器的输入。
病理图像分支由病理图像作为输入，先将病理图像划分为大小相同的病理图像块，之后通过2D卷积层和位置编码得到病理图像块标记Patchpath，随后与随机初始化的病理图像分类标记CLSpat一起作为病理图像分支的Transformer编码器的输入。
进一步在DCE-MRI分支和病理图像分支相应的Transformer编码器之间添加交叉注意力模块，引导DCE-MRI分支和病理图像分支相互学习另一分支的信息。交叉注意力模块具体为，在DCE-MRI分支中，使用病理分支的CLSpath与DCE-MRI分支的PatchMR组合做多头自注意力操作，同理在病理分支中使用DCE-MRI分支的CLSMR与病理分支的Patchpath组合做多头自注意力操作。DCE-MRI分支和病理分支中的若干个Transformer编码器和交叉注意力模块堆叠而成，提取各种影像的深层特征。最终得到的CLSMR作为DCE-MRI特征，CLSpath作为病理图像特征。
步骤四：基于对抗生成网络，利用DCE-MRI特征生成病理图像特征，并训练对抗生成网络；
首先使用步骤三DCE-MRI分支中提取的出DCE-MRI特征先通过编码器将特征编码为隐变量，再将隐变量作为生成器的输入生成模拟病理图像特征，再利用步骤三的病理图像分支提取的病理图像特征和模拟病理图像特征一起训练鉴别器，当鉴别器无法正确分类模拟病理图像特征和病理图像分支提取的病理图像特征时训练完成。
步骤五：利用DCE-MRI数据，通过训练好的特征提取网络的DCE-MRI分支和训练好的特征生成网络生成病理图像特征。
首先将DCE-MRI数据，输入到步骤三训练好的特征提取网络中，只使用DCE-MRI分支提取出DCE-MRI特征，之后提取的DCE-MRI特征输入到步骤四中训练好的编码器得到隐变量，随后利用生成器生成病理图像特征。
进一步的，可以在特征提取网络和生成网络后面添加全连接层作为分类头，对乳腺癌化疗信息进行分类。模型可以实现端到端训练。在训练的过程中，各个模块同时训练，为了模型能够更好的生成病理特征预测疾病信息，可以采用模拟病理特征与病理图像分支病理特征交叉训练的方式，使用优化器(Optimizer)和调度器(Scheduler)优化模型参数和调整学习率。
与现有技术相比，本发明的有益效果在于：
采用上述技术方案，使用基于Transformer的模型可以更好的利用图像的全局信息，并且Transformer在特征提取的过程中不依赖卷积层，相较于传统的CNN模型更容易对齐3维的DCE-MRI和2维的病理图像的之间特征。此外，相较于直接拼接特征，使用交叉注意力融合DCE-MRI特征和病理图像特征可以在特征提取的过程中两种模态影像得到交互，从而提取到更深层次的融合特征，使两个模态的影像能相互学习到对方的信息，使得DCE-MRI特征能生成病理特征。
针对病理图像难获取且有侵入性的问题，设计了基于DCE-MRI特征生成病理图像特征的模块，并通过设定超参数，使用生成的模拟病理特征和真实病理特征交叉训练模型，使模型在没有病理图像的情况下也能生成病理图像特征，可以弥补病理图像缺失的问题。
此方案相比于现有的医学图像特征提取方法，提取到的特征可以包含DCE-MRI的肿瘤全局信息以及病理图像的局部病理信息。通过特征生成模块和交叉训练的方式，使用DCE-MRI特征生成病理图像特征，解决病理图像缺失的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的结构框图；
图2为本发明基于Transformer和交叉注意力的特征提取网络结构图；
图3为本发明步骤三中DCE-MRI分支中交叉注意力模块的流程图；
图4为本发明步骤四中的对抗生成网络结构图；
图5为本发明步骤五中利用DCE-MRI生成病理图像特征的数据流图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种动态增强磁共振影像特征生成病理图像特征的方法的结构如图1所示，具体的实施方式说明如下。
所述步骤一，具体内容如下：
从医院采集乳腺癌临床数据。所有患者DCE-MRI数据采集自同一磁共振影像采集设备，磁共振扫描仪场强为3.0T，从乳腺癌患者的病理报告采集病理图像，保证DCE-MRI和病理图像均在患者接受检查时间的相近。通过患者的病理报告和住院报告得到患者新辅助化疗疗效等信息作为标签。将数据集按照7：3的比例划分为训练集、验证集。
所述步骤二，具体内容如下：
使用SimpleITK工具包对DCE-MRI数据做预处理。首先将所有患者的DCE-MRI体素大小重采样到0.65mm×0.65mm×2mm。使用预训练的UNet得到分割去掉胸腔、乳房外侧皮肤，只留下病理活检的一侧乳房，保存为256*256*48大小的npy文件。将DCE-MRI的开始序列、中间序列、结束序列构成三通道的3D图像作为步骤三种DCE-MRI分支的输入。对于病理图像使用vahadane算法进行染色归一化，保存为png文件，作为步骤三中病理图像分支的输入。
在训练阶段对影像做数据增强处理。对DCE-MRI数据增强包括：水平镜像、垂直镜像、旋转和添加随机偏置场等。对病理图像数据增强包括：水平镜像、垂直镜像、旋转和随机裁剪等。
所述步骤三，具体内容如下：
基于ViT模型特征提取网络包含DCE-MRI分支和病理图像分支。如图2所示，对于DCE-MRI分支，首先将输入的DCE-MRI数据划分成16×16×16大小的DCE-MRI块，将其输入3D卷积得到DCE-MRI的块嵌入(PatchEmbedding)，在PatchEmbedding中添加相应的位置编码得到DCE-MRI块标记(PatchToken)，记为PatchMR，每个PatchMR的向量长度为96，随机初始化一个和PatchMR的向量长度相同的分类标记(Classification Token)，记为CLSMR；将CLSMR和PatchMR组合为FMR，共同描述DCE-MRI，其中CLSMR表示DCE-MRI的全局信息，PatchMR表示DCE-MRI的局部信息。
对于病理图像分支，将输入的病理图像数据划分成16×16大小的图像块，使通过2D卷积层得到病理图像的Patch Embedding并添加位置编码得到病理图像Patch Token，记为Patchpath，每个Patchpath的向量长度为192，随机初始化一个和Patchpath的向量长度相同的分类标记CLSpath；将CLSpath和Patchpath组合为Fpath，共同描述病理图像，其中CLSpath表示病理图像的全局信息，Patchpath表示DCE-MRI的局部信息。
FMR作为DCE-MRI分支Transformer编码器的输入，Fpath作为病理图像分支的Transformer编码器的输入。
进一步在两个分支相应的Transformer块之间添加交叉注意力模块，引导DCE-MRI分支和病理图像分支相互学习另一分支的信息。DCE-MRI分支中交叉注意力模块如图3所示，首先全连接层构成的投影层将DCE-MRI的CLSMR投影到病理图像CLSpath的维度，记为将/>与病理分支的Patchpath组合，记为/>随后在/>和/>之间做交叉注意力操作(Cross-Attention，CA)。即，
其中为可训练参数，C为Token向量的长度，h为注意力的头数，设置为6。最后将得到CLS′MR与PatchMR组合作为DCE-MRI分支下个Transformer编码器的输入。同理，在病理分支中使用病理分支的CLSpath与DCE-MRI分支的PatchMR做交叉注意力操作。
特征提取网络每个分支分布共包含9个Transformer编码器，在每3个Transformer块之间添加交叉注意力模块。最终DCE-MRI分支得到F′MR中的CLSMR作为DCE-MRI特征，病理图像分支得到F′path中的CLSpath作为病理图像特征。
所述步骤四，具体内容如下：
如附图4所示，病理图像特征对抗生成网络一共包含三个模块，分别是编码器，生成器和鉴别器，整个网络的具体步骤如下：
1.随机初始化生成器G和和鉴别器D的参数；
2.对于步骤3中的DCE-MRI分支输出的DCE-MRI特征，将其输入编码器进行编码，得到隐变量z；
3.将隐变量z输入生成器中，生成模拟病理图像特征Xf；
4.将提取的真实的病理图像特征Xr(病理图像分支提取的病理图像特征)和基于DCE-MRI特征生成的模拟病理图像特征输入到判别器中，计算损失函数：
LD＝D(Xf)-D(Xr)
其中D为鉴别器，根据损失函数LD，利用Adamw优化器对鉴别器的参数进行更新，优化器的初试学习率为5e-4，参数β1＝0.9，参数β2＝0.999；
5.固定鉴别器D的参数，将隐变量z输入到生成器中生成模拟病理图像特征Xf，计算损失函数：
LG＝-D(G(z))
其中G为生成器，根据损失函数LG，利用Adamw优化器对鉴别器的参数进行更新，优化器的初试学习率为5e-4，参数β1＝0.9，参数β2＝0.999；
重复上述步骤进行训练，对病理图像特征生成模块的编码器、生成器、鉴别器的参数更新直到收敛。
所述步骤五，具体内容如下：
按照附图5的结构，基于DCE-MRI生成病理图像特征。对于一个样本的DCE-MRI，先通过步骤3中的特征提取网络的DCE-MRI分支提取DCE-MRI影像特征，再将DCE-MRI特征输入到编码器得到隐变量z，最后将隐变量输入到生成器得到模拟病理图像特征Xf。
进一步的，基于生成的模拟病理图像特征对新辅助化疗信息中的病理完全缓解情况进行分类(Pathologic complete response，pCR)，验证病理图像特征生成方法的有效性。利用ViT网络的分类头分类器，使用DCE-MRI特征和DCE-MRI数据生成的病理图像特征作为输入。使用训练集训练分类器，训练100个批次，利用Adamw优化器对鉴别器的参数进行更新，优化器的初试学习率为5e-4，参数β_1＝0.9，参数β_2＝0.999。作为对比，使用DCE-MRI特征和真实病理图像特征也分别训练一个分类器。
以AUC为模型的评价指标，AUC的计算方式为：
其中M为负样本的数量，N正样本的数量，i表示其中一个负样本，ranki表示将测试集中的所有样本的概率按照从高到低进行排序。
最终，在验证集上，使用DCE-MRI特征和DCE-MRI数据生成的病理图像特征训练的分类器AUC为0.829，相较于只使用DCE-MRI特征训练的分类器(AUC为0.695)和只使用病理图像特征训练的分类器(AUC为0.744)分别提上了0.134和0.085。
本发明提出了一种DCE-MRI特征生成病理图像特征的方法，需要说明的是，本文公开的仅是具有代表性的实施例，本发明并不局限于本文所描述的具体方法，也可以具有其他实施方式或者其他实施方式的组合。
Claims (8)
1.一种动态增强磁共振影像特征生成病理图像特征的方法，其特征在于，包括如下步骤：
步骤一：获取乳腺癌的动态增强磁共振影像DCE-MRI数据以及相应的病理图像数据，构建乳腺癌数据集；
步骤二：对DCE-MRI数据和病理图像数据进行预处理；
步骤三：构建基于视觉自注意力模型和交叉注意力机制的特征提取网络，提取动态增强磁共振影像特征和病理图像特征，并训练特征提取网络；
步骤四：基于对抗生成网络，利用DCE-MRI特征生成病理图像特征，并训练对抗生成网络；
步骤五：利用DCE-MRI数据，通过训练好的特征提取网络和对抗生成网络生成病理图像特征。
2.根据权利要求1所述的动态增强磁共振影像特征生成病理图像特征的方法，其特征在于，在所述步骤一中包括：所有患者DCE-MRI数据采集自同一磁共振影像采集设备，并从乳腺癌患者新辅助化疗前的病理报告采集病理图像，通过患者病理报告和住院报告得到患者新辅助化疗疗效信息。
3.根据权利要求2所述的动态增强磁共振影像特征生成病理图像特征的方法，其特征在于，步骤二所述数据预处理具体操作为：
2.1、对于DCE-MRI数据，将所有患者DCE-MRI体素重采样为同一大小；
2.2、对于病理图像，使用预训练的分割网络CPFNet去除胸腔、乳房外侧皮肤，只保留病理活检的一侧乳房，并对病理图像进行染色归一化。
4.根据权利要求3所述的动态增强磁共振影像特征生成病理图像特征的方法，其特征在于，在步骤三中，所述基于视觉自注意力模型，包含DCE-MRI分支和病理图像分支；
所述DCE-MRI分支由DCE-MRI数据作为输入，首先将DCE-MRI划分相同大小的DCE-MRI块；其次将DCE-MRI块输入到3D卷积层后添加位置编码得到DCE-MRI块标记PatchMR，随后与加入随机初始化的DCE-MRI分类标记CLSMR一起作为DCE-MRI分支中的Transformer编码器的输入；
所述病理图像分支由病理图像作为输入，首先将病理图像划分为大小相同的病理图像块；其次通过2D卷积层和位置编码得到病理图像块标记Patchpath，随后与随机初始化的病理图像分类标记CLSpath一起作为病理图像分支的Transformer编码器的输入。
5.根据权利要求4所述的动态增强磁共振影像特征生成病理图像特征的方法，其特征在于，步骤三中还包括：在DCE-MRI分支和病理图像分支相应的Transformer编码器之间添加交叉注意力模块；
所述交叉注意力模块具体为：在DCE-MRI分支中，使用病理分支的CLSpath与DCE-MRI分支的PatchMR组合做多头自注意力操作，同理在病理分支中使用DCE-MRI分支的CLSMR与病理分支的Patchpat组合做多头自注意力操作；
DCE-MRI分支和病理分支中的若干个Transformer编码器和交叉注意力模块堆叠而成，提取各种影像的深层特征；最终得到的CLSMR作为DCE-MRI特征，CLSpath作为病理图像特征。
6.根据权利要求5所述的动态增强磁共振影像特征生成病理图像特征的方法，其特征在于，步骤四具体过程为；
4.1、使用步骤三DCE-MRI分支中提取的出DCE-MRI特征，通过编码器将DCE-MRI特征编码为隐变量；
4.2、将隐变量作为生成器的输入生成模拟病理图像特征，再利用步骤三的病理图像分支提取的病理图像特征和模拟病理图像特征一起训练鉴别器，当鉴别器无法正确分类模拟病理图像特征和病理图像分支提取的病理图像特征时，训练完成。
7.根据权利要求6所述的动态增强磁共振影像特征生成病理图像特征的方法，其特征在于，所述步骤五具体过程如下：
5.1、将DCE-MRI数据，输入到步骤三训练好的特征提取网络中，使用DCE-MRI分支提取出DCE-MRI特征；
5.2、提取的DCE-MRI特征输入到步骤四中训练好的编码器得到隐变量，再利用生成器生成病理图像特征。
8.根据权利要求7所述的动态增强磁共振影像特征生成病理图像特征的方法，其特征在于，还包括，在特征提取网络和生成网络后面添加全连接层作为分类头，对乳腺癌化疗信息进行分类；
在训练的过程中，采用模拟病理特征与病理图像分支提取的病理特征交叉训练的方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310923521.3A CN116958094A (zh) | 2023-07-26 | 2023-07-26 | 一种动态增强磁共振影像特征生成病理图像特征的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310923521.3A CN116958094A (zh) | 2023-07-26 | 2023-07-26 | 一种动态增强磁共振影像特征生成病理图像特征的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116958094A true CN116958094A (zh) | 2023-10-27 |
Family
ID=88459996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310923521.3A Pending CN116958094A (zh) | 2023-07-26 | 2023-07-26 | 一种动态增强磁共振影像特征生成病理图像特征的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958094A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522877A (zh) * | 2024-01-08 | 2024-02-06 | 吉林大学 | 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法 |
-
2023
- 2023-07-26 CN CN202310923521.3A patent/CN116958094A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522877A (zh) * | 2024-01-08 | 2024-02-06 | 吉林大学 | 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法 |
| CN117522877B (zh) * | 2024-01-08 | 2024-04-05 | 吉林大学 | 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047594B (zh) | 肿瘤mri弱监督学习分析建模方法及其模型 | |
| CN109978850B (zh) | 一种多模态医学影像半监督深度学习分割系统 | |
| US10842445B2 (en) | System and method for unsupervised deep learning for deformable image registration | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN110310281A (zh) | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 | |
| WO2021030629A1 (en) | Three dimensional object segmentation of medical images localized with object detection | |
| CN102737250B (zh) | 3d医学图像数据中对脊椎骨损伤自动检测的方法和系统 | |
| ES2914387T3 (es) | Estudio inmediato | |
| Li et al. | When medical images meet generative adversarial network: recent development and research opportunities | |
| CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
| Wang et al. | Annotation-efficient learning for medical image segmentation based on noisy pseudo labels and adversarial learning | |
| CN111260705A (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
| CN116958094A (zh) | 一种动态增强磁共振影像特征生成病理图像特征的方法 | |
| CN117274599A (zh) | 一种基于组合双任务自编码器的脑磁共振分割方法及系统 | |
| CN116645380A (zh) | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 | |
| Sun et al. | Hierarchical amortized training for memory-efficient high resolution 3D GAN | |
| Zhuang et al. | APRNet: A 3D anisotropic pyramidal reversible network with multi-modal cross-dimension attention for brain tissue segmentation in MR images | |
| Du et al. | Segmentation and visualization of left atrium through a unified deep learning framework | |
| CN117422788B (zh) | 一种基于ct脑梗图像生成dwi图像的方法 | |
| Wang et al. | Multi-view fusion segmentation for brain glioma on CT images | |
| CN109741439A (zh) | 一种二维mri胎儿图像的三维重建方法 | |
| Matic et al. | Tumor segmentation in breast MRI using deep learning | |
| CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
| Li et al. | Multi-view unet for automated gi tract segmentation | |
| CN116797519A (zh) | 脑胶质瘤分割和三维可视化模型训练方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |