CN116309604B - 动态分析时序mr图像的方法、系统、设备和存储介质 - Google Patents
动态分析时序mr图像的方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN116309604B CN116309604B CN202310588143.8A CN202310588143A CN116309604B CN 116309604 B CN116309604 B CN 116309604B CN 202310588143 A CN202310588143 A CN 202310588143A CN 116309604 B CN116309604 B CN 116309604B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- original
- feature
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004458 analytical method Methods 0.000 title claims description 17
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 206010061306 Nasopharyngeal cancer Diseases 0.000 description 7
- 230000000306 recurrent effect Effects 0.000 description 7
- 208000002454 Nasopharyngeal Carcinoma Diseases 0.000 description 6
- 201000011216 nasopharynx carcinoma Diseases 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000001894 Nasopharyngeal Neoplasms Diseases 0.000 description 1
- 206010028851 Necrosis Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010234 longitudinal analysis Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及医学影像处理技术领域，公开了动态分析时序MR图像的方法、系统、设备和存储介质，包括获取待测样本的时序MR图像，对所述时序MR图像进行图像融合，得到第一MR图像，所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像；将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取，得到图像特征图；将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像；将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测，得到对应的分类结果。本发明能够挖掘时间序列MR图像的图像特征，充分分析图像特征动态演变规律及整合全局图像信息。
Description
技术领域
本发明涉及医学影像处理技术领域，特别是涉及一种动态分析时序MR图像的方法、系统、设备和存储介质。
背景技术
临床上主要采用磁共振成像（MagneticResonanceImaging,MRI）对鼻咽癌患者进行局部区域复发监测。然而，由于复发病灶早期体积小、影像特征不典型，且当前MRI诊断复发依赖主观经验判断，待病灶可识别时多为晚期，导致复发患者错过早诊、早治时机。
虽然近年来人工智能(AI)得到了迅速的发展，在医学图像中正常解剖结构或病变的识别和自动分割方面表现出了良好的性能，从而能够给医生的诊断提供准确的数据支持，但是由于鼻咽癌复发病灶早期体积小、影像特征不典型，复发位置隐匿，并且在放疗结束后，射线仍持续作用一段时间，随之肿瘤细胞产生炎症、坏死、萎缩及正常细胞退变反应、修复不断变化、发展，影像上表现为信号强度混合、变化，产生了复杂性、多样性、多变性的影像特征，而目前并没有专门针对鼻咽癌的这种复杂的MR图像进行深度学习分析的方法。
发明内容
为了解决上述技术问题，本发明提供了一种动态分析时序MR图像的方法、系统、设备和存储介质，采用联合CNN和transformer序列深度学习模型的端到端架构，能够纵向分析时间序列MR影像，明确复发肿瘤区域数字化特征动态演变规律，从而给医生的后续诊断提供数据支持。
第一方面，本发明提供了一种动态分析时序MR图像的方法，所述方法包括：
获取待测样本的时序MR图像，对所述时序MR图像进行图像融合，得到第一MR图像，所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像；
将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取，得到图像特征图；
将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像；
将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测，得到对应的分类结果。
进一步地，所述对所述时序MR图像进行图像融合，得到第一MR图像的步骤包括：
将多个所述原始MR图像由三维图像转变为二维图像，将各个所述原始MR图像在相同层面上的二维图像组合成三通道图像，并将所述三通道图像作为第一MR图像。
进一步地，所述将多个所述原始MR图像由三维图像转变为二维图像的步骤包括：
对多个所述原始MR图像的三维图像进行深度切片，得到二维图像，所述二维图像的数量与所述三维图像的深度尺寸相对应，且在同一层面上的所述二维图像的数量与所述原始MR图像的数量一致。
进一步地，所述三通道图像中各个通道图像的随访点均不相同，且每个所述通道图像由按照预设规则从所述时序MR图像中选择出的多个不同时间的所述原始MR图像构成。
进一步地，所述将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像的步骤包括：
将所述图像特征图按照最近邻原则划分为若干个特征块，并将所述特征块拉平为一维向量；
通过全连接层将所述一维向量映射为可嵌入Transformer网络模型的Patchtoken；
获取与所述Patch token相同维度的Class token，将所述Class token和所述Patch token进行拼接，生成第二MR图像。
进一步地，所述Transformer网络模型的分类器由所述Class token和全连接层构建得到。
进一步地，所述卷积神经网络模型为残差网络模型。
第二方面，本发明提供了一种动态分析时序MR图像的系统，所述系统包括：
图像融合模块，用于获取待测样本的时序MR图像，对所述时序MR图像进行图像融合，得到第一MR图像，所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像；
特征提取模块，用于将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取，得到图像特征图；
特征融合模块，用于将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像；
预测分类模块，用于将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测，得到对应的分类结果。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述本发明提供了一种动态分析时序MR图像的方法、系统、设备和存储介质。通过所述方法对影像特征不明显的时序MR图像进行纵向分析，能够预测MR影像数字化特征的动态演变规律，实现MR图像的动态监测，具有较高预测准确性和稳定性。
附图说明
图1是本发明实施例中动态分析时序MR图像方法的流程示意图；
图2是本发明实施例中动态分析时序MR图像方法的另一种流程流程图；
图3是本发明实施例在不同数据集上的分析结果的性能指标示意图；
图4是本发明实施例对时序MR图像进行动态分析的分析效果示意图；
图5是本发明实施例中动态分析时序MR图像系统的结构示意图；
图6是本发明实施例中计算机设备的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提出的一种动态分析时序MR图像的方法，包括步骤S10~S40：
步骤S10，获取待测样本的时序MR图像，对所述时序MR图像进行图像融合，得到第一MR图像，所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像。
由于鼻咽癌复发监测的MR图像具有复发病灶早期体积小、影像特征不典型，复发位置隐匿等影响特征，通过人工难以准确的对MR图像进行分析，为了更好的从MR图像中分析出肿瘤区域数字化特征的动态演变规律，本发明利用深度学习模型对时序MR图像进行动态分析，能够适用于平扫以及增强的多个MR序列。
本发明采用的深度学习模型为TSNet模型，该TSNet模型采用联合卷积神经网络CNN和Transformer序列深度学习模型的端到端的架构，其中CNN作为特征提取器，用于提取MR图像的图像特征，而Transformer则采用了标准的vit结构，用于整合和挖掘不同时空的MR图像的表征特征，本实施例的TSNet模型集成了CNN强大的自学习和特征提取能力，以及具备Transformer处理长序列能力及并行计算优势，具体的数据处理流程请参阅图2。
如图2所示，为了能够挖掘时间序列3D MR图像的图像特征，处分分析数字化特征动态演变规则以及整个全局信息，本发明重新设计了时间序列3D图像融合方式。
首先，从MR图像样本库中获取同一样本在不同时期内的原始MR图像，比如顺序选取采样时间与当前时间最接近的多个原始MR图像，构成时序MR图像。
假设选取的时序MR图像为最近三次的原始MR图像，那么TSNet模型的输入为当前以及前两次的3D MR图像即3个3D MR图像，TSNet模型会对输入的时序MR图像进行图像融合，即将三维图像转变为二维图像，并对二维图像进行组合得到第一MR图像，具体的图像融合方式为：
将输入的每个原始MR图像的三维图像进行深度切片，假设每个三维图像的尺寸均为D*H*W，即深度为D、高度为H、宽度为W，那么进行深度切片后就可以得到D个尺寸为H*W的slice图像，即二维图像，而在同一层面上的二维图像的数量与输入的原始MR图像的数量一致，即如果输入的原始MR图像有三个，在对三个三维图像进行深度切片，其在相同层面上的二维图像就有三个，如果输入的原始MR图像有五个，那么在相同层面上的二维图像就有五个，以此类推，输入的MR图像数量根据实际情况确定，在此不做过多的限制。
由于对三维图像进行深度切分后应当产生D个层面的二维图像，而根据同一层面上的二维图像组成三通道图像，因此得到的三通道图像的数量也应当与三维图像的深度尺寸一致，即三通道图像的数量为D个。由于本发明是针对鼻咽癌复发的随访过程进行的动态监测，因此其融合后的图像数据即三通道图像应当具有连续且不同的随访点，在本实施例中，每个通道图像都应具有不同的随访点，且每个通道图像都是根据预设规则从同一层面上的多个二维图像中选择出特定的二维图像组合构成，假设输入的原始MR图像的数量为N，最近一次的原始MR图像作为第N次的原始MR图像，按照时间倒序分别为第N-1次、第N-2次至第1次的原始MR图像，一种优选的预设规则是将第1次至第N-1次的原始MR图像作为第一个通道图像的来源，将第2次至第N-1次的原始MR图像作为第一个通道图像的来源，而将第N次的原始MR图像作为第三个通道图像的来源，在该规则下，假设输入的原始MR图像数量为3，那么第一个通道图像来源于前两次的原始MR图像，第二个通道图像来源于前1次即第2次的原始MR图像，而第三个通道图像则来源于最近一次即第3次的原始MR图像。另一种优选的预设规则是将第1次至第N-2次的原始MR图像作为第一个通道图像的来源，将第2次至第N-1次的原始MR图像作为第二个通道图像的来源，而将3次至第N次的原始MR图像作为第三个通道图像的来源，在该规则下，同样假设输入的原始MR图像数量为3，那么第一个通道图像来源于第1次的原始MR图像，第二个通道图像来源于第2次的原始MR图像，而第三个通道图像则来源于第3次的原始MR图像。当然还可以有其他的选择二维图像进行组合的规则，在此不再详细论述。
在本实施例中不管是按照上述哪种规则生成的三通道图像，都包含了输入的时序MR图像的所有随访点，每个三通道图像包含了3个不同随访点的图像，通过这种将历次的同一个层面二维图像组合成三通道图像的方式，可以确保在每个三通道图像上都融入动态演变信息，从而为后续使用CNN神经网络模型精确提取图像特征提供了良好的数据基础。
步骤S20，将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取，得到图像特征图。
在经过图像融合得到D个三通道图像后，将三通道图像输入预先训练好的卷积神经网络模型进行特征提取，本实施例中优选的使用的残差网络ResNet对每个三通道图像进行图像特征的自动学习和提取，以生成相应的图像特征图。并且为了使后续的Transformer网络模型能够充分挖掘图像特征之间的联系及影响，在本实施例中以ResNet最后一层卷积层的输出为Transformer模型的输入图像的特征图feas，以保证不同空间位置的特征信息并没完全融合在一起，为特征图按空间位置拆分为特征块铺垫。关于残差网络ResNet的结构和训练过程参考常规方式即可，在此不再赘述。
步骤S30，将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像。
在使用Transformer模型进行分类预测之前，还需要对CNN神经网络模型提取出的特征图进行特征融合以得到Transformer模型的输入数据，具体的特征融合方式为：
首先，将D个三通道图像的特征图按照最近邻原则划分为d*h*w个特征块bkij，其中k=1,2,3,…,d；i=1,2,3,…,h；j=1,2,3,…,w；d、h、w的具体数值可以根据经验进行设定，比如可以设定为d=2，h=12，w=12，当然也可以根据情况设置其他的数值，在此不做过多限制。
然后将各个特征块bkij拉平为一维向量，接着用全连接层将其映射为可嵌入Transformer模型的Patch token，即将特征块拉平为线性的Patch embedding，然后添加预训练的Position embedding，得到一个由Patch token组成的Sequence，为了分类任务，还需要在Sequence加入一个额外的Class token，Calss token是一组与Patch token相同维度可以学习的参数，用于集成高层次的图像特征，将Calss token和所有patch token进行拼接形成了Transformer的输入。
步骤S40，将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测，得到对应的分类结果。
在生成第二MR图像之后，就可以输入到预先训练好的Transformer网络模型进行图像分类预测，在本实施例的Transformer网络模型中用于token的位置编码是采用模型自学习的方式进行的，并且使用了多头注意力机制（Multi-Head Attention）进一步分析及整合token之间的图像特征信息及其相关性，最后则利用融合了图像特征的Calss token与全连接层FC构建分类器，来输出分类结果。
进一步地，在本实施例中对TSNet模型进行训练时使用了RandomAfine即旋转、缩放、平移来增强图像。此外，使用了ImageNet预训练的权重用于初始化ResNet18，利用训练集来训练模型的参数，验证集来指导选择模型的超参数，测试集及外部测试集评估模型的泛化性能，从而提高了模型预测的准确性。
为了更好的验证本发明的预测准确度，我们使用TSNet模型在训练集、验证集和测试集上分析进行时序MR图像动态分析，其结果如图3所示，可以看到TSNet模型在三个数据集上的性能指标AUC均大于0.97，这说明本发明提供的TSNet模型具有出色强大的学习能力，以及良好的鲁棒性和泛化性能，并且相比于基于单次检查的分析模型，TSNet模型具有更好的分析性能和更准确的预测结果，即如下表1所示：
| Single scan model | TSNet(sequential scan model) | |
| 测试集(n=778) | ||
| ROC-AUC* | 0.8601 (0.8345, 0.8858) | 0.9899 (0.9837, 0.996) |
| Accuracy | 0.7506 (0.7202, 0.781) | 0.9293 (0.9113, 0.9473) |
| Sensitivity | 0.7848 (0.6942, 0.8754) | 0.9747 (0.94, 1.0) |
| Specificity | 0.7468 (0.7145, 0.779) | 0.9242 (0.9046, 0.9438) |
| PPV | 0.2594 (0.2038, 0.315) | 0.5923 (0.5078, 0.6768) |
| NPV | 0.9685 (0.9537, 0.9832) | 0.9969 (0.9926, 1.0) |
表1 单次检查与序列检查的性能比较结果
请参阅图4，从图像数据库中获取图像a)、b)、c)和d)，其分别为鼻咽癌T3N2M0III期在经过根治疗同时期放化疗后，在第三个月、第24个月、第28个月和第35个月的鼻咽和颈部随访检查的MRI图像，可以看到从特征热图和实际MR影像的融合图中依次出现了模型决策相关特征高亮区，即根据不同时段的原始MR图像构成的时序MR图像使用TSNet模型进行动态分析，可以看到，根据不同随访点的原始MR图像，TSNet模型可以捕捉肿瘤特征动态演变规律，从而达到动态监测的效果。
本实施例提供的一种动态分析实现MR图像的方法，相比传统方法无法对影像特征不明显的MR图像进行动态分析的问题，本发明的TSNet模型采用联合CNN和transformer序列深度学习模型的端到端架构，能够挖掘鼻咽癌时间序列MR图像的图像特征，并且能够充分分析图像特征动态演变规律及整合全局图像信息，本发明适用于平扫及增强多个MR序列，且每个序列都能获得出色且稳定的预测性能，也能够为医学影像领域提供数据支持。
请参阅图5，基于同一发明构思，本发明第二实施例提出的一种动态分析时序MR图像的系统，包括：
图像融合模块10，用于获取待测样本的时序MR图像，对所述时序MR图像进行图像融合，得到第一MR图像，所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像；
特征提取模块20，用于将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取，得到图像特征图；
特征融合模块30，用于将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像；
预测分类模块40，用于将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测，得到对应的分类结果。
本发明实施例提出的动态分析时序MR图像系统的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。上述动态分析时序MR图像系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图6，一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现动态分析时序MR图像方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比途中所示更多或更少的部件，或者组合某些部件，或者具有相同的部件布置。
此外，本发明实施例还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提出的动态分析时序MR图像的方法、系统、设备和存储介质，所述方法通过获取待测样本的时序MR图像，对所述时序MR图像进行图像融合，得到第一MR图像，所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像；将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取，得到图像特征图；将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像；将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测，得到对应的分类结果。本发明能够挖掘时间序列MR图像的图像特征，并且能够充分分析图像特征动态演变规律及整合全局图像信息，本发明适用于平扫及增强多个MR序列，且每个序列都能获得出色且稳定的预测性能，也能够为医学影像领域提供数据支持。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种动态分析时序MR图像的方法，其特征在于，包括：
获取待测样本的时序MR图像，对所述时序MR图像进行图像融合，得到第一MR图像，所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像；具体为：
将多个所述原始MR图像由三维图像转变为二维图像，将各个所述原始MR图像在相同层面上的二维图像组合成三通道图像，并将所述三通道图像作为第一MR图像；
所述三通道图像中各个通道图像的随访点均不相同，且每个所述通道图像由按照预设规则从所述时序MR图像中选择出的多个不同时间的所述原始MR图像构成；
其中，所述将多个所述原始MR图像由三维图像转变为二维图像的步骤包括：
对多个所述原始MR图像的三维图像进行深度切片，得到二维图像，所述二维图像的数量与所述三维图像的深度尺寸相对应，且在同一层面上的所述二维图像的数量与所述原始MR图像的数量一致；
将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取，得到图像特征图；
将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像；
将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测，得到对应的分类结果。
2.根据权利要求1所述的动态分析时序MR图像的方法，其特征在于，所述将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像的步骤包括：
将所述图像特征图按照最近邻原则划分为若干个特征块，并将所述特征块拉平为一维向量；
通过全连接层将所述一维向量映射为可嵌入Transformer网络模型的Patch token；
获取与所述Patch token相同维度的Class token，将所述Class token和所述Patchtoken进行拼接，生成第二MR图像。
3.根据权利要求2所述的动态分析时序MR图像的方法，其特征在于，所述Transformer网络模型的分类器由所述Class token和全连接层构建得到。
4.根据权利要求1所述的动态分析时序MR图像的方法，其特征在于，所述卷积神经网络模型为残差网络模型。
5.一种动态分析时序MR图像的系统，其特征在于，包括：
图像融合模块，用于获取待测样本的时序MR图像，对所述时序MR图像进行图像融合，得到第一MR图像，所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像；具体为：
将多个所述原始MR图像由三维图像转变为二维图像，将各个所述原始MR图像在相同层面上的二维图像组合成三通道图像，并将所述三通道图像作为第一MR图像；
所述三通道图像中各个通道图像的随访点均不相同，且每个所述通道图像由按照预设规则从所述时序MR图像中选择出的多个不同时间的所述原始MR图像构成；
其中，所述将多个所述原始MR图像由三维图像转变为二维图像的步骤包括：
对多个所述原始MR图像的三维图像进行深度切片，得到二维图像，所述二维图像的数量与所述三维图像的深度尺寸相对应，且在同一层面上的所述二维图像的数量与所述原始MR图像的数量一致；
特征提取模块，用于将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取，得到图像特征图；
特征融合模块，用于将所述图像特征图按照最近邻原则划分为若干个特征块，对所述特征块进行特征融合，得到第二MR图像；
预测分类模块，用于将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测，得到对应的分类结果。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310588143.8A CN116309604B (zh) | 2023-05-24 | 2023-05-24 | 动态分析时序mr图像的方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310588143.8A CN116309604B (zh) | 2023-05-24 | 2023-05-24 | 动态分析时序mr图像的方法、系统、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309604A CN116309604A (zh) | 2023-06-23 |
| CN116309604B true CN116309604B (zh) | 2023-08-22 |
Family
ID=86796396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310588143.8A Active CN116309604B (zh) | 2023-05-24 | 2023-05-24 | 动态分析时序mr图像的方法、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309604B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091560A (zh) * | 2019-12-19 | 2020-05-01 | 广州柏视医疗科技有限公司 | 鼻咽癌原发肿瘤图像识别方法及系统 |
| WO2022148216A1 (zh) * | 2021-01-06 | 2022-07-14 | 安翰科技(武汉)股份有限公司 | 基于深度学习的胶囊内窥镜影像识别方法、设备及介质 |
| CN114748053A (zh) * | 2022-03-07 | 2022-07-15 | 东北大学 | 一种基于fMRI高维时间序列的信号分类方法及装置 |
| CN114882135A (zh) * | 2022-04-22 | 2022-08-09 | 南方医科大学 | 基于mr图像的ct图像合成方法、装置、设备及介质 |
| CN115147600A (zh) * | 2022-06-17 | 2022-10-04 | 浙江中医药大学 | 基于分类器权重转换器的gbm多模态mr图像分割方法 |
-
2023
- 2023-05-24 CN CN202310588143.8A patent/CN116309604B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091560A (zh) * | 2019-12-19 | 2020-05-01 | 广州柏视医疗科技有限公司 | 鼻咽癌原发肿瘤图像识别方法及系统 |
| WO2022148216A1 (zh) * | 2021-01-06 | 2022-07-14 | 安翰科技(武汉)股份有限公司 | 基于深度学习的胶囊内窥镜影像识别方法、设备及介质 |
| CN114748053A (zh) * | 2022-03-07 | 2022-07-15 | 东北大学 | 一种基于fMRI高维时间序列的信号分类方法及装置 |
| CN114882135A (zh) * | 2022-04-22 | 2022-08-09 | 南方医科大学 | 基于mr图像的ct图像合成方法、装置、设备及介质 |
| CN115147600A (zh) * | 2022-06-17 | 2022-10-04 | 浙江中医药大学 | 基于分类器权重转换器的gbm多模态mr图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| Xing Lv et al.Deep learning for the precise detection of recurrence in nasopharyngeal carcinoma from time-series medical imaging.《research square》.2023,第1-18页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309604A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610308B2 (en) | Localization and classification of abnormalities in medical images | |
| US10810735B2 (en) | Method and apparatus for analyzing medical image | |
| CN109754447A (zh) | 图像生成方法、装置、设备和存储介质 | |
| Zhang et al. | DDTNet: A dense dual-task network for tumor-infiltrating lymphocyte detection and segmentation in histopathological images of breast cancer | |
| CN108846829B (zh) | 病变部位识别装置、计算机装置及可读存储介质 | |
| CN114022718B (zh) | 消化系统病理图像识别方法、系统及计算机存储介质 | |
| CN111028212B (zh) | 关键点检测方法、装置、计算机设备和存储介质 | |
| US9317926B2 (en) | Automatic spinal canal segmentation using cascaded random walks | |
| FR2942669A1 (fr) | Methodes de segmentation d'images et de detection de structures particulieres. | |
| CN112419306B (zh) | 一种基于nas-fpn的肺结节检测方法 | |
| CN111325714A (zh) | 感兴趣区域的处理方法、计算机设备和可读存储介质 | |
| CN115298702A (zh) | 用于哺乳动物迁移学习的系统和方法 | |
| CN112367905A (zh) | 基于脉管化模式的诊断、预测、确定预后、监测或分期疾病的方法 | |
| CN111128348B (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
| CN115330669A (zh) | 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质 | |
| CN113192031B (zh) | 血管分析方法、装置、计算机设备和存储介质 | |
| Wu et al. | 3d centroidnet: nuclei centroid detection with vector flow voting | |
| Liu et al. | Learning multi-modal brain tumor segmentation from privileged semi-paired MRI images with curriculum disentanglement learning | |
| CN111681297B (zh) | 图像重建方法、计算机设备和存储介质 | |
| Molchanova et al. | Novel structural-scale uncertainty measures and error retention curves: application to multiple sclerosis | |
| CN116309604B (zh) | 动态分析时序mr图像的方法、系统、设备和存储介质 | |
| CN115830317A (zh) | 基于极坐标转换的U-Net增强注意模块的皮肤癌图像分割方法及装置 | |
| Karimipourfard et al. | Synthesis of prospective multiple time points F-18 FDG PET images from a single scan using a supervised generative adversarial network | |
| US11830622B2 (en) | Processing multimodal images of tissue for medical evaluation | |
| Mansour et al. | Kidney segmentations using cnn models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230623 Assignee: SHENZHEN ANNET INNOVATION SYSTEM Co.,Ltd. Assignor: Cancer center of Sun Yat sen University|Institute of oncology, Sun Yat sen University) Contract record no.: X2024980003030 Denomination of invention: Method, system, equipment, and storage medium for dynamic analysis of time-series MR images Granted publication date: 20230822 License type: Common License Record date: 20240319 |
|
| EE01 | Entry into force of recordation of patent licensing contract |