CN117351003B - 一种基于视频动作的多模型集成多相位mri肿瘤分类方法 - Google Patents

一种基于视频动作的多模型集成多相位mri肿瘤分类方法 Download PDF

Info

Publication number
CN117351003B
CN117351003B CN202311579723.7A CN202311579723A CN117351003B CN 117351003 B CN117351003 B CN 117351003B CN 202311579723 A CN202311579723 A CN 202311579723A CN 117351003 B CN117351003 B CN 117351003B
Authority
CN
China
Prior art keywords
model
classification
lpp
mri
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311579723.7A
Other languages
English (en)
Other versions
CN117351003A (zh
Inventor
黄双萍
吴边喆
林梓浩
洪梓楠
钟楚龙
黄森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202311579723.7A priority Critical patent/CN117351003B/zh
Publication of CN117351003A publication Critical patent/CN117351003A/zh
Application granted granted Critical
Publication of CN117351003B publication Critical patent/CN117351003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，包括以下步骤：步骤1，对MRI肿瘤病例数进行划分处理与对MRI三维图像进行预处理；步骤2，通过分类模型获取MRI三维图像的特征图；步骤3，对特征图进行融合并映射到输出类别中得到预测结果；步骤4，重复步骤2和步骤3，获取多个独立且对不同类别具有不同分类能力的模型的预测结果；步骤5，集成多个模型的预测结果从而得到最终的多相位MRI肿瘤分类结果；得到更具鲁棒性和更精准的预测结果，使自动诊断多相位MRI肿瘤分类结果的精准度进一步提高，有效的缓解了医疗数据集中、数据量少、数据集不平衡的问题。

Description

一种基于视频动作的多模型集成多相位MRI肿瘤分类方法
技术领域
本发明属于图像处理与人工智能技术领域，特别是涉及一种基于视频动作分类的多模型集成的多相位MRI肿瘤分类方法。
背景技术
肝脏的肿瘤分类任务一直是人们研究的热点，正确区分良性和恶性肝脏病变可以有效的避免不必要的肝活检，从而避免肝活检所引起的出血，疼痛，感染以及其他器官损伤等。同时，及早发现和准确分类局灶性肝脏病变对于后续的有效治疗极为重要。
以往的相关研究主要集中于CT成像，然而随着影像学技术的不断发展，MRI以其无辐射，软组织对比度高，适用于各类人群的优异特点渐渐开始引起人们的关注，尽管如此，由于MRI上病变的表现范围很广，需要临床经验丰富的医师对病人的MRI影像进行人工分析标注，导致诊断病变类型的效率低、分析过程漫长；因此，自动诊断分类系统可以帮助放射科医生较好的完成这项任务，目前常被用于研究的是t1，t2加权磁共振图像，而随着更多不同相位的图像的出现，仅仅研究单一相位的MRI图像往往会丢失许多重要的信息，从而限制了肝脏病变分类的性能。
传统的机器学习算法需要预先定义特征，将预定义的特征以各种组合的方式应用于有效的诊断，但这些组合通常不全面，导致信息的丢失从而影响准确率，如今基于深度学习的算法由于其自动特征生成和图像分类的能力而被广泛应用，对于MRI，其可以生成多平面成像，因此可以呈现出三维的解剖结构信息，然而以往的一些研究在每个MRI切片上使用二维CNN建模，这忽略了切片之间的空间关联性，导致诊断错误，因此三维方法可能更有利。
综上所述，传统的方法往往只处理单一相位的MRI数据，无法适应当今的多相位MRI数据，同时传统方法仍对每张MRI切片做2D建模，忽略了切片之间的关联性，因此，迫切需要一种3D建模的、鲁棒性强的、能够通过多相位MRI数据正确诊断肝脏病变的方法来进行自动诊断。
发明内容
(1)要解决的技术问题
本发明公开了一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，旨在解决MRI数据病变范围广，导致人工分析标注效率低、分析时间长的问题，同时针对单一相位的MRI数据只进行2D建模，忽略了切片之间的关联性的问题也有进一步的优化。
(2)技术方案
本发明公开了一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，包括以下步骤：
步骤1，对MRI肿瘤病例数进行划分处理与对MRI三维图像进行预处理；
步骤2，通过分类模型获取MRI三维图像的特征图；
步骤3，对特征图进行融合并映射到输出类别中得到预测结果；
步骤4，重复步骤2和步骤3，获取多个独立且对不同类别具有不同分类能力的模型的预测结果；
步骤5，集成多个模型的预测结果从而得到最终的多相位MRI肿瘤分类结果。
进一步地，步骤1具体方法如下：
先采用五倍交叉验证法将MRI肿瘤病例数划分成五份独立的训练验证集，再通过预处理将肿瘤的三维图像感兴趣区域提取出来并缩放至同一尺寸，得到形如N，T，Z，H，W的输入数据，其中，Z代表深度，H代表高度，W代表宽度，共有T个模态，训练的batch为N。
进一步地，五倍交叉验证法如下：
(train，val)i＝CV(k)
其中，k为划分的次数，k＝5，i＝1，2，...，k，train为训练集，val为验证集，CV为交叉验证分组情况；
将数据集划分为k个大小相等的子集，轮流选取k-1个子集用作训练数据，剩下的1个子集用作验证数据，这个过程重复k次，得到k份训练验证数据。
进一步地，缩放方法具体如下：
采用pytorch中的torch.nn.functional.interpolate()实现，即使用三次线性插值，公式如下：
x＝Concat(Interpolate(y1)；Interpolate(y2)...；Interpolate(yT))
其中，x为缩放结果即所述步骤2的输入数据，y∈RT*Z*H*W，T为模态数量，yT为第T个模态的图像数据，Z为三维立方体的深度，H为三维立方体的高度，W为三维立方体的宽度，Interpolate为缩放方法，Concat为连接两个或多个数组的方法。
进一步地，步骤2具体方法如下：
将输入数据送入对应的视频动作分类模型中，通过局部多头关系聚合器进行下采样得到浅层特征图。
进一步地，局部多头关系聚合器包括一个由三维卷积实现的位置编码和一个由三维卷积实现的上下文聚合器，通过局部多头关系聚合器进行下采样，包括以下步骤：
通过一个三维分组卷积实现的位置编码来捕获体素之间的位置关系：
xp＝P(x)+x
其中，xp为整合了位置编码的输入特征，P(x)＝Concat(G1(x)；G2(x)...；GN(x))U，其中，x为所述输入数据，Gn(x)为N个三维分组卷积，U为聚合N个分组卷积的可学习矩阵，U∈RC*C、R为实数集、C为复数集；
进而通过一个可学习的参数矩阵实现的局部关系聚合器LRA，并使用残差连接得到输出特征：
xlp＝LRA(xp)+xp
LRA(xp)＝Conv1(Conv2(Conv3(Norm(xp))))
其中Conv1，Conv3为1x1的三维卷积核，Conv2为5x5且padding＝2的三维卷积核，Norm为pytorch中的nn.layernorm层；
最后输出特征通过一个前馈层得到最终的浅层特征图。
进一步地，前馈层为多层感知机：
x′lp＝Dropout(Linear1(GELU(Linear2(xlp)))
其中Linear1，Linear2为pytorch中的nn.Linear方法，GELU为非线性激活，Dropout为向前传递的过程层，x′lp为浅层特征图。
进一步地，步骤3具体方法如下：
将浅层特征图送入深层全局多头关系聚合器进行特征融合得到融合特征，最终通过全连接层将融合特征映射到输出类别中得到预测结果。
进一步地，全局多头关系聚合器包括一个由三维卷积实现的位置编码和一个自注意力模块，所述特征融合，包括以下步骤：
首先通过一个三维分组卷积实现的位置编码来捕获体素之间的位置关系：
xlpp＝P(x′lp)+x′lp
其中，xlpp为整合了位置编码的浅层特征图，P(x)＝Concat(G1(x)；G2(x)...；GN(x))U，其中，x′lp为浅层特征图，Gn(x)为N个三维分组卷积，U为聚合N个分组卷积的可学习矩阵，U∈RC*C、R为实数集、C为复数集；
然后将整合了位置编码的浅层特征图xlpp∈RC*Z*H*W重塑为xlpp∈RC*L，L＝Z*H*W，全局多头关系聚合器GRA可以表示为：
xgpp＝GRA(xlpp)
GRA(xlpp)＝Concat(H1(xlpp)；H2(xlpp)；...；HN(xlpp))U
HN(xlpp)＝AN(xlpp)VN(xlpp)
其中，xgpp为融合特征，HN(x)表示为多头注意力机制中的第N个头，U表示一个可学习的参数矩阵用于聚合N个头的信息，U∈RC*C，AN(x)代表一个相似性函数，AN∈RL*L，VN(x)是由一个线性变换得到的上下文标记，
进一步地，相似性函数是由自注意力机制实现的，表示为：
其中，xi，xj为任意2个体素点，i不等Tj，xi∈Z*H*W，xj∈Z*H*W，QN(·)，KN(·)为2个独立的线性变换。
进一步地，全连接层计算过程如下：
1.将上一层的所有神经元的输出作为输入，每个输入都与对应的权重相乘；
2.将所有乘积结果进行加权求和，并加上对应的偏置项；
3.对求和结果应用激活函数如Relu，以产生该层的输出。
进一步地，步骤4具体方法如下：
对五份独立的训练验证集分别进行训练验证，得到独立的多个对不同类别具有不同分类能力的模型的预测结果。
进一步地，得到多个对不同类别具有不同分类能力的模型的预测结果，具体方法如下：
Pi＝model((train，val)i)
其中，P为预测结果，所述Pi在实际应用中表达为概率值如99.99％，(train，val)i表示第i份训练验证数据，共有5份，model为视频动作分类领域中的任意模型，通过以F1-score，kappa的平均值作为筛选条件，筛选出model的最佳视频动作分类模型。
进一步地，以F1-score，kappa的平均值作为筛选条件，筛选出model的最佳视频动作分类模型包括以下步骤：
F1-score是精确率和召回率的调和平均值，在以下公式中定义为F1：
Kappa是用于评估分类模型性能一致性的度量：
其中，precision为精确率是预测为正例的项中实际为正例的比例，recall为召回率是实际正例中被正确预测为正例的比例；Areal，Breal表示实际为A，B的样本数量；Apred，Bpred表示预测为A，B的样本数量；N为总样本数；True Positives表示模型正确预测为正例的样本数量，False Positives表示模型错误预测为正例的样本数量，False Negatives表示模型错误预测为负例的样本数量；Po表示为实际协调率，Pe预期协调率；
模型挑选的规则为：
其中，argmax为从目标函数中找到给出最大值的参数的操作。
进一步地，视频动作分类模型model为uniformer的各种变体，包括uniformer-small、uniformer-base，对于每个模型均使用了迁移学习的策略，以对应模型在k-400数据集上预训练的权重作为初始化，训练过程中以F1-score和kappa的平均值作为评判标准挑选最优模型。
进一步地，步骤5具体方法如下：
将多个模型对所述输入数据的预测结果取平均值得到最终的多相位MRI肿瘤分类结果。
进一步地，多个模型对输入数据的预测结果取平均值方法如下：
其中Mk表示第k个模型的预测结果，x为输入数据，共有n个模型，Pf表示最终的输出概率；
通过获取最终的输出概率Pf作为最终的多相位MRI肿瘤分类概率，即可获得对多相位MRI肿瘤分类结果。
与现有技术相比，本发明的有益效果在于：
本发明将视频动作分类模型的建模方式应用于多相位MRI肿瘤分类任务中，利用视频动作分类模型3D建模方式，增强了多相位MRI肿瘤分类切片之间的联系，更好地捕获切片之间的上下文关系，从而提高了预测的准确性；同时采用交叉验证划分数据集的方法得到多个独立的训练验证集，并对不同的训练验证集以F1，Kappa的平均值作为指标挑选出最佳的视频动作分类模型进行集成，得到更具鲁棒性和更精准的预测结果，使自动诊断多相位MRI肿瘤分类结果的精准度进一步提高，有效的缓解了医疗数据集中、数据量少、数据集不平衡的问题。
附图说明
图1为本发明实施例的流程示意图一；
图2为本发明实施例的流程示意图二。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结解释如下：
视频动作分类模型：视频动作分类模型是一种机器学习模型，用于对输入的视频进行动作分类，它可以自动识别视频中的各种动作并进行分类加标签，例如跳舞、打篮球、游泳等。
MRI(Magnetic Resonance Imaging)：即磁共振成像，是一种医学影像技术，通过利用人体组织内的原子核磁共振现象，产生高质量的图像，用于诊断、研究和监测人体内部的结构和功能。
多相位：指通过在不同时间点上进行多次扫描，观察和记录特定器官或组织的动态变化。每个时间点都对应着不同的阶段或相位，从而提供了关于该器官或组织在不同时间点上的功能和代谢信息。
Uniformer：一种视频动作分类模型。
Uniformer-small：uniformer的变体。
Uniformer-base：uniformer的变体。
迁移学习：迁移学习(Transfer Learning)是一种机器学习方法，旨在通过利用已经学习到的知识和模型来改善在目标任务上的学习性能。在迁移学习中，已经在一个或多个相关任务上学习到的知识被转移到新的目标任务，以加速学习过程、提高性能和泛化能力。
Pytorch：是一个开源的机器学习框架，它提供了丰富的工具和函数，用于构建和训练深度学习模型。
k-fold交叉验证方法：是一种常用的交叉验证技术，用于评估机器学习模型的性能和泛化能力，交叉验证的核心思想在于对数据集进行多次划分，对多次评估的结果取平均，从而消除单次划分时数据划分不平衡造成的不良影响，避免固定划分数据集的局限性、特殊性，同时能通过寻找最佳模型的方式来解决过拟合问题。
特征图：指卷积神经网络(Convolutional Neural Network，CNN)中的中间输出结果。
多模型集成：一种机器学习技术，通过组合多个独立的模型来提高预测性能和泛化能力。多个弱模型的集合可能产生一个强大的集成模型。
全连接层：也称为密集连接层(Dense Layer)，是深度学习中常用的一种神经网络层结构。它是一个前向反馈层，其中的每个神经元与上一层的所有神经元都有连接。
输出类别：指输出为多相位MRI肿瘤的7个类别，分别是肝血管瘤，肝内胆管癌，肝脓肿，肝转移，肝囊肿，局灶性结节增生和肝细胞癌。
F1-score：是统计学中用来衡量二分类模型精确度的一种指标，该指标兼顾了分类模型的精确率和召回率，同时综合了Precision与Recall的产出的结果；F1-Score的取值范围从0到1的，1代表模型的输出最好，0代表模型的输出结果最差。
Kappa：是一种统计方法，该方法可以用来衡量两个独立评估者在相同样本时的协调度，该方法可以帮助评估者了解两个评估者之间的一致性，从而改善评估结果的准确性；Kappa的取值范围在0和1之间，1表示完全一致，0表示完全不一致。
参考图1；
如图1所示，一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，包括以下步骤：
步骤1，对MRI肿瘤病例数进行划分处理与对MRI三维图像进行预处理；
步骤2，通过分类模型获取MRI三维图像的特征图；
步骤3，对特征图进行融合并映射到输出类别中得到预测结果；
步骤4，重复步骤2和步骤3，获取多个独立且对不同类别具有不同分类能力的模型的预测结果；
步骤5，集成多个模型的预测结果从而得到最终的多相位MRI肿瘤分类结果。
下面结合实例具体说明基于视频动作分类模型的多模型集成的多相位MRI肿瘤分类方法的过程。
执行步骤1，
先对MRI肿瘤病例数进行划分处理(即分组处理)，方法如下：
先采用五倍交叉验证法将MRI肿瘤病例数划分成五份独立的训练验证集，
即采用k-fold交叉验证法(本发明使用k＝5的五倍交叉验证法)划分，步骤如下；
(train，val)i＝CV(k)
其中，train为训练集，val为验证集，CV为交叉验证分组情况，k为划分的Fold的数量，i＝1，2，...，k，本方法中k＝5；
将数据集划分为k个大小相等的子集，轮流选取k-1个子集用作训练数据，剩下的1个子集用作验证数据，这个过程重复k次，得到k份训练验证数据。
优选的，k＝5时，将MRI肿瘤病例数均分成5组，轮流选择4组作为训练集，剩下的1组作为验证集；本实施例中，多相位MRI肿瘤分类数据集包含394个病例，将多相位MRI肿瘤分类数据集划分成5组数据，通过交叉验证划分方法得到5份独立的训练验证集，其中，每份的训练集数量为315-317例，验证集数量为77-79例。
再对MRI三维图像进行预处理，方法如下：
通过预处理将肿瘤的三维图像感兴趣区域提取出来并缩放至同一尺寸，得到形如N，T，Z，H，W的输入数据，其中，Z代表深度，H代表高度，W代表宽度，共有T个模态，训练的batch为N；
对脑肿瘤三维图像感兴趣区域的8个模态T进行预处理，由于感兴趣区域标注在每个脑肿瘤三维图像中的大小不同，因此需要对其进行缩放至统一尺寸，即对每个模态的脑肿瘤三维图像的感兴趣区域进行线性插值，统一缩放至同一尺寸；
具体的，缩放方法采用pytorch中的torch.nn.functional.interpolate()实现，其mode＝trilinear，即使用三次线性插值，公式如下：
x＝Concat(Interpolate(y1)；Interpolate(y2)...；Interpolate(yT))
其中，x为缩放结果即所述步骤2的输入数据，y∈RT*Z*H*W，T为模态数量，yT为第T个模态的图像数据，Z为三维立方体的深度，H为三维立方体的高度，W为三维立方体的宽度，Interpolate为缩放方法，Concat为连接两个或多个数组的方法。
具体地，每个病例包含八种模态，分别为T2WI(T2-weighted imaging)T2加权成像；DWI(diffusion-weighted imaging)扩散加权成像；ln Phase脂肪和水信号的和谐叠加；Out Phase脂肪和水信号的反相叠加；C+Delay对比增强后的延迟相位图像；C+V对比增强后的静脉相位图像；C+A对比增强后的动脉相位图像；C+pre对比增强前的图像；同时包含不定数量的切片，即不定的Z。
具体地，例如本实施例设置的三维尺寸为深度14，高度112，宽度112。
执行步骤2，通过分类模型获取MRI三维图像的特征图，方法如下：
将输入数据送入对应的分类模型中，通过局部多头关系聚合器进行下采样得到浅层特征图。
所述分类模型具体为视频动作分类模型；
视频动作分类模型uniformer包含多个局部聚合器和多个全局聚合器，uniformer的各类变体与uniformer的区别在于局部聚合器和全局聚合器的数量不同，局部聚合器首先对输入数据进行下采样进行粗略的特征提取，得到的特征图再经过全局聚合器，捕捉特征图像素间的关系。
具体的，局部多头关系聚合器包括一个由三维卷积实现的位置编码和一个由三维卷积实现的上下文聚合器，所述通过局部多头关系聚合器进行下采样，包括以下步骤：
通过一个三维分组卷积实现的位置编码来捕获体素之间的位置关系：
xp＝P(x)+x
其中，xp为整合了位置编码的输入特征，P(x)＝Concat(G1(x)；G2(x)...；GN(x))U，其中，x为输入数据，Gn(x)为N个三维分组卷积，U为聚合N个分组卷积的可学习矩阵，U∈RC *C、R为实数集、C为复数集；
进而通过一个可学习的参数矩阵实现的局部关系聚合器LRA，并使用残差连接得到输出特征：
xlp＝LRA(xp)+xp
LRA(xp)＝Conv1(Conv2(Conv3(Norm(xp))))
其中Conv1，Conv3为1x1的三维卷积核，Conv2为5x5且padding＝2的三维卷积核，Norm为pytorch中的nn.layernorm层；
最后输出特征通过一个前馈层得到最终的浅层特征图。
更进一步地，所述的前馈层为多层感知机：
x′lp＝Dropout(Linear1(GELU(Linear2(xlp)))
其中Linear1，Linear2为pytorch中的nn.Linear，以GELU作非线性激活，最后经过Dropout向前传递的过程层得到x′lp浅层特征图。
执行步骤3，对特征图进行融合并映射到输出类别中得到预测结果，方法如下：
将浅层特征图送入深层全局多头关系聚合器进行特征融合得到融合特征，最终通过全连接层将融合特征映射到输出类别中得到预测结果。
具体的，全局多头关系聚合器包括一个由三维卷积实现的位置编码和一个自注意力模块用于聚合各个体素的特征，所述特征融合包括以下步骤：
首先通过一个三维分组卷积实现的位置编码来捕获体素之间的位置关系：
xlpp＝P(x′lp)+x′lp
其中，xlpp为整合了位置编码的浅层特征图，P(x)＝Concat(G1(x)；G2(x)...；GN(x))U，其中，x′lp为浅层特征图，Gn(x)为N个三维分组卷积，U为聚合N个分组卷积的可学习矩阵，U∈RC*C、R为实数集、C为复数集；
然后将整合了位置编码的浅层特征图xlpp∈RC*Z*H*W重塑为xlpp∈RC*L，L＝Z*H*W，全局多头关系聚合器GRA可以表示为：
xgpp＝GRA(xlpp)
GRA(xlpp)＝Concat(H1(xlpp)；H2(xlpp)；...；HN(xlpp))U
HN(xlpp)＝AN(xlpp)VN(xlpp)
其中，xgpp为融合特征，HN(x)表示为多头注意力机制中的第N个头，U表示一个可学习的参数矩阵用于聚合N个头的信息，U∈RC*C，AN(x)代表一个相似性函数，AN∈RL*L，VN(x)是由一个线性变换得到的上下文标记，
更进一步地，所述的相似性函数是由自注意力机制实现的，表示为：
其中，xi，xj为任意2个体素点，i不等于j，xi∈Z*H*W，xj∈Z*H*W，QN(·)，KN(·)为2个独立的线性变换。
具体的，本实施例中全连接层使用pytorch的nn.Linear实现，全连接层计算过程如下：
1.将上一层的所有神经元的输出作为输入，每个输入都与对应的权重相乘；
2.将所有乘积结果进行加权求和，并加上对应的偏置项；
3.对求和结果应用激活函数如Relu，以产生该层的输出。
具体地，全连接层的每一个结点都与上一层的所有结点相连，主要作用是将上一层计算得到的特征整合成一个值，其优点在于减少特征位置对于分类结果的影响，提高了整个网络的鲁棒性。
执行步骤4，重复步骤2和步骤3，获取多个独立且对不同类别具有不同分类能力的模型的预测结果，方法如下：
对五份独立的训练验证集分别进行训练验证，得到独立的多个对不同类别具有不同分类能力的模型的预测结果，方法如下：
Pi＝model((train，val)i)
其中，P为预测结果，(train，val)i表示第i份训练验证数据，共有5份，model为视频动作分类领域中的任意模型，通过以F1-score，kappa的平均值作为筛选条件，筛选出model的最佳视频动作分类模型；
其中，Pi在实际应用中表达为概率值如99.99％。
具体地，以F1-score，kappa的平均作为筛选条件包括以下步骤：
F1-score是精确率和召回率的调和平均值，在以下公式中定义为F1：
Kappa是用于评估分类模型性能一致性的度量：
其中，precision为精确率是预测为正例的项中实际为正例的比例，recall为召回率是实际正例中被正确预测为正例的比例；Areal，Breal表示实际为A，B的样本数量；Apred，Bpred表示预测为A，B的样本数量；N为总样本数；True Positives表示模型正确预测为正例的样本数量，False Positives表示模型错误预测为正例的样本数量，False Negatives表示模型错误预测为负例的样本数量；Po表示为实际协调率，Pe预期协调率。
模型挑选的规则为：
其中，argmax为从目标函数中找到给出最大值的参数的操作。
优选的，本发明使用的视频动作分类模型为uniformer的各种变体，包括uniformer-small、uniformer-base，对于每个模型均使用了迁移学习的策略，以对应模型在k-400数据集上预训练的权重作为初始化，训练过程中以F1-score和kappa的平均值作为评判标准挑选最优模型。
具体的，如图2所示，通过模型的挑选，对于划分好的fold1，fold3，fold4，采用uniformer-base模型；fold2，fold3，fold5采用uniformer-small模型，由于fold3以三维立方体的深度Z作为验证集且对恶性肿瘤良好的区分能力，因此，并入了2个在fold3上训练的模型，共获得6个模型的预测结果。
执行步骤5，集成多个模型的预测结果从而得到最终的多相位MRI肿瘤分类结果的方法如下：
将多个模型对所述输入数据的预测结果取平均值得到最终的多相位MRI肿瘤分类结果，表示为：
其中Mk表示第k个模型的预测结果,x为输入数据,共有n个模型，Pf表示最终的输出概率。
通过获取最终的输出概率Pf作为最终的多相位MRI肿瘤分类概率，即可获得对多相位MRI肿瘤分类结果。
本发明的技术原理是：先采用五倍交叉验证法将总数据划分成五份独立的训练验证集，通过预处理将肿瘤的三维图像提取出感兴趣区域，并将感兴趣区域的8个模态缩放至同一尺寸(N,T,Z,H,W)作为输入数据，将处理好的输入数据送入对应的视频动作分类模型中，将视频动作分类模型的时间轴序列T作为建模MRI肿瘤分类任务数据中的高度轴Z；通过局部多头关系聚合器的下采样得到浅层特征图，其中，局部多头关系聚合器包括一个由三维卷积实现的位置编码和一个由三维卷积实现的上下文聚合器；再通过深层全局多头关系聚合器进行特征融合和根据全连接层融合特征映射到输出类别中得到预测结果，其中，全局多头关系聚合器包括一个由三维卷积实现的位置编码和一个自注意力模块用于聚合各个体素的特征；再对五份独立的训练验证集分别进行训练验证，得到独立的多个对不同类别具有不同分类能力的模型的预测结果；最后，通过集成多个模型的预测结果从而得到最终的多相位MRI肿瘤分类结果。
本发明将视频动作分类模型的3D建模方式应用于多相位MRI肿瘤分类任务中，利用视频动作分类模型能根据输入对象快速准确的自动识别出肿瘤类型的特性，优化了MRI诊断病变类型效率低、分析过程漫长的问题；同时本发明的3D建模方式相对于传统的2D建模方式增强了多相位MRI肿瘤分类切片之间的联系，更好地捕获切片之间的上下文关系，从而提高了预测的准确性；其次，通过采用交叉验证划分数据集的方法得到多个独立的训练验证集，并对不同的训练验证集以F1-score、Kappa的平均值作为指标挑选出最佳的视频动作分类模型进行集成，得到更具鲁棒性、更精确的MRI肿瘤分类结果，使自动诊断多相位MRI肿瘤分类结果的精准度进一步提高，有效的缓解了医疗数据集中、数据量少、数据集不平衡的问题。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，包括以下步骤：
步骤1，对MRI肿瘤病例数进行划分处理与对MRI三维图像进行预处理；
步骤2，通过分类模型获取所述MRI三维图像的特征图；
步骤3，对所述特征图进行融合并映射到输出类别中得到预测结果；
步骤4，重复步骤2和步骤3，获取多个独立且对不同类别具有不同分类能力的模型的所述预测结果；
步骤5，集成多个所述模型的所述预测结果从而得到最终的多相位MRI肿瘤分类结果；
所述步骤1具体方法如下：
先采用五倍交叉验证法将所述MRI肿瘤病例数划分成五份独立的训练验证集，再通过预处理将所述肿瘤病例的所述MRI三维图像感兴趣区域提取出来，并缩放至同一尺寸，得到形如N,T,Z,H,W的输入数据，其中，Z代表深度，H代表高度，W代表宽度，共有T个模态，训练的批次batch为N；
所述步骤2具体方法如下：
将所述输入数据送入对应的视频动作分类模型中，通过局部多头关系聚合器进行下采样得到浅层特征图；
所述步骤3具体方法如下：
将所述浅层特征图送入深层全局多头关系聚合器进行特征融合得到融合特征，最终通过全连接层将所述融合特征映射到输出类别中得到所述预测结果；
所述步骤4具体方法如下：
对所述五份独立的训练验证集分别进行训练验证，得到独立的多个对不同类别具有不同分类能力的模型的所述预测结果；
所述步骤5具体方法如下：
将多个所述模型对所述输入数据的所述预测结果取平均值得到最终的多相位MRI肿瘤分类结果。
2.根据权利要求1所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述五倍交叉验证法如下：
(train，val)i＝CV(k)
其中，k为划分的次数，k＝5，i＝1，2，...，k；train为训练集，val为验证集，CV为交叉验证分组情况；
将数据集划分为k个大小相等的子集，轮流选取k-1个子集用作训练数据，剩下的1个子集用作验证数据，这个过程重复k次，得到k份训练验证数据。
3.根据权利要求1所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述缩放方法具体如下：
采用pytorch中的torch.nn.functional.interpolate()实现，使用三次线性插值，公式如下：
x＝Concat(Interpolate(y1)；Interpolate(y2)…；Interpolate(yT))
其中，x为缩放结果即所述步骤1中的所述输入数据，y∈RT*Z*H*W，T为模态数量，yT为第T个模态的图像数据，Z为三维立方体的深度，H为三维立方体的高度，W为三维立方体的宽度，Interpolate为缩放方法，Concat为连接两个或多个数组的方法。
4.根据权利要求3所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述局部多头关系聚合器包括一个由三维卷积实现的位置编码和一个由三维卷积实现的上下文聚合器，所述通过局部多头关系聚合器进行下采样，包括以下步骤：
通过一个三维分组卷积实现的位置编码来捕获体素之间的位置关系：
xp＝P(x)+x
其中，xp为整合了位置编码的输入特征，P(x)＝Concat(G1(x)；G2(x)...；GN(x))U，其中，x为所述输入数据，Gn(x)为N个三维分组卷积，U为聚合N个分组卷积的可学习矩阵，U∈RC*C、R为实数集、C为复数集；
进而通过一个可学习的参数矩阵实现的局部关系聚合器LRA，并使用残差连接得到输出特征：
xlp＝LRA(xp)+xp
LRA(xp)＝Conv1(conv2(Conv3(Norm(xp))))
其中Conv1，Conv3为1x1的三维卷积核，Conv2为5x5且padding＝2的三维卷积核，Norm为pytorch中的nn.layernorm层；
最后将所述输出特征通过一个前馈层得到最终的浅层特征图。
5.根据权利要求4所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述前馈层为多层感知机：
x′lp＝Dropout(Linear1(GELU(Linear2(xlp)))
其中Linear1，Linear2为pytorch中的nn.Linear方法，GELU为非线性激活，Dropout为向前传递的过程层，x′lp为浅层特征图。
6.根据权利要求5所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述全局多头关系聚合器包括一个由三维卷积实现的位置编码和一个自注意力模块，所述特征融合，包括以下步骤：
首先通过一个三维分组卷积实现的位置编码来捕获体素之间的位置关系：
xlpp＝P(x′lp)+x′lp
其中，xlpp为整合了位置编码的浅层特征图，P(x)＝Concat(G1(x)；G2(x)...；GN(x))U，其中，x′lp为浅层特征图，Gn(x)为N个三维分组卷积，U为聚合N个分组卷积的可学习矩阵，U∈RC*C、R为实数集、C为复数集；
然后将整合了位置编码的浅层特征图xlpp∈RC*Z*H*W重塑为xlpp∈RC*L，L＝Z*H*W，全局多头关系聚合器GRA表示为：
xgpp＝GRA(xlpp)
GRA(xlpp)＝Concat(H1(xlpp)；H2(xlpp)；...；HN(xlpp))U
HN(xlpp)＝AN(xlpp)VN(xlpp)
其中，xgpp为融合特征，HN(x)表示为多头注意力机制中的第N个头，U表示一个可学习的参数矩阵用于聚合N个头的信息，U∈RC*C，AN(x)代表一个相似性函数，AN∈RL*L，VN(x)是由一个线性变换得到的上下文标记，
7.根据权利要求6所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述相似性函数是由自注意力机制实现的，表示为：
其中，xi，xj为任意2个体素点，i不等于j，xi∈Z*H*W，xj∈Z*H*W，QN(·)，KN(·)为2个独立的线性变换。
8.根据权利要求1所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述全连接层计算过程如下：
1.将上一层的所有神经元的输出作为输入，每个输入都与对应的权重相乘；
2.将所有乘积结果进行加权求和，并加上对应的偏置项；
3.对求和结果应用激活函数，以产生该层的输出。
9.根据权利要求2所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述得到多个对不同类别具有不同分类能力的模型的预测结果，具体方法如下：
Pi＝model((train，val)i)
其中，P为所述预测结果，所述Pi在实际应用中表达为概率值如99.99％，(train，val)i表示第i份训练验证数据，共有5份，model为视频动作分类领域中的任意模型，通过以F1-score，kappa的平均值作为筛选条件，筛选出model的最佳视频动作分类模型。
10.根据权利要求9所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述以F1-score，kappa的平均值作为筛选条件，筛选出model的最佳视频动作分类模型包括以下步骤：
F1-score是精确率和召回率的调和平均值，在以下公式中定义为F1：
Kappa是用于评估分类模型性能一致性的度量：
其中，precision为精确率是预测为正例的项中实际为正例的比例，recall为召回率是实际正例中被正确预测为正例的比例；Areal，Breal表示实际为A，B的样本数量；Apred，Bpred表示预测为A，B的样本数量；N为总样本数；True Positives表示模型正确预测为正例的样本数量，False Positives表示模型错误预测为正例的样本数量，False Negatives表示模型错误预测为负例的样本数量；Po表示为实际协调率，Pe预期协调率；
模型挑选的规则为：
其中，argmax为从目标函数中找到给出最大值的参数的操作。
11.根据权利要求9所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述视频动作分类模型model为uniformer的各种变体，包括uniformer-small、uniformer-base，对于每个模型均使用了迁移学习的策略，以对应模型在k-400的数据集上预训练的权重作为初始化，训练过程中以F1-score和kappa的平均值作为评判标准挑选最优模型。
12.根据权利要求1所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述多个模型对所述输入数据的预测结果取平均值，方法如下：
其中Mk表示第k个模型的预测结果，x为所述输入数据，共有n个模型，Pf表示最终的输出概率；
通过获取最终的输出概率Pf作为最终的多相位MRI肿瘤分类概率，即可获得对多相位MRI肿瘤分类结果。
CN202311579723.7A 2023-11-24 2023-11-24 一种基于视频动作的多模型集成多相位mri肿瘤分类方法 Active CN117351003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311579723.7A CN117351003B (zh) 2023-11-24 2023-11-24 一种基于视频动作的多模型集成多相位mri肿瘤分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311579723.7A CN117351003B (zh) 2023-11-24 2023-11-24 一种基于视频动作的多模型集成多相位mri肿瘤分类方法

Publications (2)

Publication Number Publication Date
CN117351003A CN117351003A (zh) 2024-01-05
CN117351003B true CN117351003B (zh) 2024-02-23

Family

ID=89363393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311579723.7A Active CN117351003B (zh) 2023-11-24 2023-11-24 一种基于视频动作的多模型集成多相位mri肿瘤分类方法

Country Status (1)

Country Link
CN (1) CN117351003B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093042A1 (en) * 2018-11-02 2020-05-07 Deep Lens, Inc. Neural networks for biomedical image analysis
CN112132633A (zh) * 2020-09-30 2020-12-25 哈尔滨工业大学 一种基于消费事理图谱的消费意图识别和预测方法
CN114973049A (zh) * 2022-01-05 2022-08-30 上海人工智能创新中心 一种统一卷积与自注意力的轻量视频分类方法
WO2022212771A2 (en) * 2021-03-31 2022-10-06 Sirona Medical, Inc. Systems and methods for artificial intelligence-assisted image analysis
WO2023150191A1 (en) * 2022-02-04 2023-08-10 Bramen Jennifer Dementia-related neurodegeneration tracking using magnetic resonance imaging (mri)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093042A1 (en) * 2018-11-02 2020-05-07 Deep Lens, Inc. Neural networks for biomedical image analysis
CN112132633A (zh) * 2020-09-30 2020-12-25 哈尔滨工业大学 一种基于消费事理图谱的消费意图识别和预测方法
WO2022212771A2 (en) * 2021-03-31 2022-10-06 Sirona Medical, Inc. Systems and methods for artificial intelligence-assisted image analysis
CN114973049A (zh) * 2022-01-05 2022-08-30 上海人工智能创新中心 一种统一卷积与自注意力的轻量视频分类方法
WO2023150191A1 (en) * 2022-02-04 2023-08-10 Bramen Jennifer Dementia-related neurodegeneration tracking using magnetic resonance imaging (mri)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kunchang Li等.UniFormer: Unifying Convolution and Self-Attention for Visual Recognition.IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE.2023,第45卷12581-12600. *
王浩然.基于深度学习的扫描电镜图像质量评价方法研究.万方.2023,1-66. *

Also Published As

Publication number Publication date
CN117351003A (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
Cao et al. Uncertainty aware temporal-ensembling model for semi-supervised abus mass segmentation
CN109978850B (zh) 一种多模态医学影像半监督深度学习分割系统
Jia et al. Automatic polyp recognition in colonoscopy images using deep learning and two-stage pyramidal feature prediction
Cao et al. Auto-GAN: self-supervised collaborative learning for medical image synthesis
Pu et al. Fetal cardiac cycle detection in multi-resource echocardiograms using hybrid classification framework
Solovyev et al. 3D convolutional neural networks for stalled brain capillary detection
Yang et al. Two-stage selective ensemble of CNN via deep tree training for medical image classification
CN110689543A (zh) 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
Tang et al. Tongue contour tracking in dynamic ultrasound via higher-order MRFs and efficient fusion moves
CN112735570A (zh) 影像驱动的脑图谱构建方法、装置、设备及存储介质
Choi et al. Diffupose: Monocular 3d human pose estimation via denoising diffusion probabilistic model
CN111462146A (zh) 一种基于时空智能体的医学图像多模态配准方法
Qiao et al. FLDS: An intelligent feature learning detection system for visualizing medical images supporting fetal four-chamber views
Awasthi et al. LVNet: Lightweight model for left ventricle segmentation for short axis views in echocardiographic imaging
Yu et al. 3D Medical Image Segmentation based on multi-scale MPU-Net
Zhao et al. The end-to-end fetal head circumference detection and estimation in ultrasound images
Chatterjee et al. A survey on techniques used in medical imaging processing
CN117541586A (zh) 一种基于可变形yolo的甲状腺结节检测方法
Baumgartner et al. Fully convolutional networks in medical imaging: applications to image enhancement and recognition
CN117351003B (zh) 一种基于视频动作的多模型集成多相位mri肿瘤分类方法
Liu et al. MLANet: multi-layer anchor-free network for generic lesion detection
CN116665896A (zh) 预测乳腺癌腋窝淋巴结转移的模型建立方法
CN116580819A (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
Samudrala et al. Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet
CN115937220A (zh) 一种基于双向门控记忆网络的交互式三维医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant