CN113870259B - 多模态医学数据融合的评估方法、装置、设备及存储介质 - Google Patents

多模态医学数据融合的评估方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113870259B
CN113870259B CN202111454543.7A CN202111454543A CN113870259B CN 113870259 B CN113870259 B CN 113870259B CN 202111454543 A CN202111454543 A CN 202111454543A CN 113870259 B CN113870259 B CN 113870259B
Authority
CN
China
Prior art keywords
matrix
fusion
data
modal
medical data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111454543.7A
Other languages
English (en)
Other versions
CN113870259A (zh
Inventor
王玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Yujin Artificial Intelligence Medical Technology Co ltd
Original Assignee
Tianjin Yujin Artificial Intelligence Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Yujin Artificial Intelligence Medical Technology Co ltd filed Critical Tianjin Yujin Artificial Intelligence Medical Technology Co ltd
Priority to CN202111454543.7A priority Critical patent/CN113870259B/zh
Publication of CN113870259A publication Critical patent/CN113870259A/zh
Application granted granted Critical
Publication of CN113870259B publication Critical patent/CN113870259B/zh
Priority to PCT/CN2022/133614 priority patent/WO2023098524A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉医疗技术领域，公开了一种多模态医学数据融合的评估方法、装置、设备及存储介质，该方法包括：获取目标对象的多种模态的待评估医学数据；分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量并进行融合得到融合特征向量；将融合特征向量输入至训练好的多模态融合评估模型，以获取该模型输出的评估结果。本申请基于人工智能对多模态医学数据进行特征提取和特征融合、得到融合特征向量，并基于融合特征向量利用多模态融合评估模型对目标对象的病情缓解程度进行预测和评估，可辅助对病理级别下的病情缓解程度进行精准评估，从而提升判断准确率，减少医疗风险。本申请还公开了一种多模态医学数据融合的评估。

Description

多模态医学数据融合的评估方法、装置、设备及存储介质
技术领域
本申请涉及医疗技术领域，例如涉及一种多模态医学数据融合的评估方法、装置、设备及存储介质。
背景技术
直肠癌是威胁我国居民生命健康的主要癌症之一，造成了严重的社会负担。直肠癌的主要治疗方法包括手术、放疗、化疗、靶向治疗等综合治疗手段。虽有规范的综合治疗手段，但低位直肠癌患者因肿瘤或手术造成的损伤，可能导致肛门功能受损、肛门缺失、结肠造瘘，严重影响患者生存治疗。许多局部进展期直肠癌患者因一期手术不能达到根治目的，不适合行手术治疗。目前，局部进展期直肠癌（≥cT 3 或N+）的标准治疗方式为新辅助放化疗联合全直肠系膜切除术及辅助化疗的综合治疗。新辅助治疗可有效实现肿瘤降期，提高切除率和保肛率。新辅助治疗也为保留低位直肠癌患者的器官功能提供了更好的选择。直肠癌新辅助治疗的疗效评估，即治疗后是否达到临床缓解、达到病理缓解的几率如何，是进行临床决策和评估患者预后的关键环节。
现阶段直肠癌新辅助治疗效果评估，多数临床指南和专家共识建议通过内镜、直肠指检、直肠核磁、血清肿瘤标志物水平及胸腹盆增强CT等多模态数据综合判断患者是否达到临床缓解或接近临床缓解。直肠癌新辅助治疗效果的评估依赖于拥有包括外科、内科、放疗科、影像科、消化内镜、病理科等科室经验丰富专家的肿瘤多学科诊疗团队。由于缺乏某些专业方向的专家，导致许多医疗机构不能很好的开展直肠癌新辅助治疗。对于专家经验的依赖，也导致对直肠癌新辅助治疗疗效的评估可能因人为因素造成判断误差和决策标准不一。临床急需一种能综合多模态医学数据、客观一致的评估直肠癌新辅助治疗疗效的工具和方法。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。该概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种多模态医学数据融合的评估方法、装置、设备及存储介质，以解决相关技术中临床医生通过人工的方式难以准确评估患者病情缓解情况，导致患者的医疗风险较高的技术问题。
在一些实施例中，本公开实施例提供了一种多模态医学数据融合的评估方法，包括：
获取目标对象的多种模态的待评估医学数据；
分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
对所述多个特征向量进行融合，得到融合特征向量；
将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果。
在一些实施例中，将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果，包括：
将所述融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵W(In)，通过第一函数对特征向量第一矩阵W(In)进行位置编码，得到特征向量第二矩阵W(P)，采用的公式如下：
Figure 998201DEST_PATH_IMAGE001
其中，t表示特征向量第一矩阵W(In)中的某一个子向量；p(t)表示t值对应的编码结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵W(In)中的序号位；d表示特征向量第一矩阵W(In)的矩阵水平方向维度数量；
将所述特征向量第二矩阵W(P)输入至第二函数，计算得到在子空间上的高维特征表示矩阵W(M)，采用的公式如下：
Figure 598946DEST_PATH_IMAGE002
其中，CONCAT函数表示第二函数， F(1)、F(2)……F(i)表示对特征向量第二矩阵W(P)中的第i个特征子向量进行公式F计算；
Figure 734392DEST_PATH_IMAGE003
表示特征向量第一矩阵W(In)的转置；
F（i）中的x表示输入的特征向量第二矩阵W(P)中的第i个特征子向量；Q、K、V表示多模态融合评估模型的隐含层的参数n的线性感知层；Q(x)表示对x进行线性回归；
通过多模态融合评估模型的编码器对各个图像的所述特征向量进行编码，将所述编码器的输出 W(Out) 输入至线性回归层，通过线性回归层将W(Out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。
在一些实施例中，获取目标对象的多种模态的待评估医学数据，包括以下方式中的至少三种：
获取目标对象的直肠癌图像数据集作为第一模态数据，其中，所述直肠癌图像数据集至少包括根据肿瘤区域或已退缩肿瘤区域确定的宏观视角图像、近视角图像和微观视角图像；
获取目标对象的直肠癌磁共振影像数据集作为第二模态数据，其中，所述直肠癌磁共振影像数据集包括初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据；分别对所述初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据中的肿瘤区域或已退缩肿瘤区域进行标注，得到若干张包含肿瘤区域或已退缩肿瘤区域的切片图像；
获取目标对象的初始临床数据集和目标临床数据集作为第三模态数据，其中，所述初始临床数据集和目标临床数据集至少包括目标对象的个人信息和病例信息；
获取目标对象的初始肿瘤标志物信息、目标肿瘤标志物信息、初始血液信息以及目标血液信息作为第四模态数据。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将所述第一模态数据、第二模态数据分别输入至预先训练好的神经网络模型；
通过所述神经网络模型的硬连线层分别对所述所述第一模态数据、第二模态数据中的医学图像进行矩阵连接；
通过所述神经网络模型的α个三维卷积模块对矩阵连接后的所述医学图像进行卷积计算和最大池化操作，提取出高维特征图；
通过所述神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，分别得到第一特征向量和第二特征向量。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将所述第三模态数据、第四模态数据中的文字描述特征映射成相应的数值特征；
将所述数值特征映射到二维矩阵中，分别得到第三特征向量和第四特征向量。
在一些实施例中，所述神经网络模型的训练过程包括：
将获取到的预设的待评估医学数据作为训练样本输入至相应的初始神经网络模型，以使所述初始神经网络模型输出相应的初始特征向量；
若所述初始特征向量满足预设要求，则所述初始神经网络模型训练成功，得到所述预先训练好的神经网络模型；
若所述初始特征向量不满足预设要求，则通过调整所述初始神经网络模型中的损失参数，继续对所述初始神经网络模型进行训练，直至所述损失参数拟合并达到预设损失参数阈值，得到所述预先训练好的神经网络模型。
在一些实施例中，所述多模态融合评估模型的训练过程中采用交叉熵损失函数进行参数反向传播与更新，直至所述交叉熵损失函数拟合。
在一些实施例中，本公开实施例提供了一种多模态医学数据融合的评估装置，包括：
医学数据获取模块，被配置为获取目标对象的多种模态的待评估医学数据；
特征向量提取模块，被配置为分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
特征向量融合模块，被配置为对所述多个特征向量进行融合，得到融合特征向量；
多模态融合评估模块，被配置为将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果。
在一些实施例中，本公开实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。
在一些实施例中，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
本公开实施例提供的一种多模态医学数据融合的评估方法、装置、设备及存储介质，可以实现以下技术效果：
本公开实施例基于人工智能对多模态医学数据进行特征提取，得到多个特征向量，对得到的多个特征向量进行融合得到融合特征向量，并基于融合特征向量利用训练好的多模态融合评估模型对目标对象的病情缓解程度进行预测和评估，可辅助对目标对象治疗后的病理级别下的病情缓解程度进行精准评估，从而提升判断准确率，减少目标对象的医疗风险。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
至少一个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种多模态医学数据融合的评估方法的流程示意图；
图2是本公开实施例提供的对多模态医学数据进行特征提取和数据评估的示意图；
图3是本公开实施例提供的一种多模态医学数据融合的评估装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，至少一个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例提供了一种多模态医学数据融合的评估方法，如图1所示，包括以下步骤：
S101、获取目标对象的多种模态的待评估医学数据。
S102、分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量。
S103、对多个特征向量进行融合，得到融合特征向量。
S104、将融合特征向量输入至预先训练好的多模态融合评估模型，以获取预先训练好的多模态融合评估模型输出的多种模态的待评估医学数据的评估结果。
在一些实施例中，获取目标对象的多种模态的待评估医学数据，包括以下方式中的至少三种：
通过内窥镜获取目标对象的直肠癌图像数据集作为第一模态数据，其中，直肠癌图像数据集至少包括根据肿瘤区域或已退缩肿瘤区域确定的宏观视角图像（通常采用1张）、近视角图像（通常采用1张）和微观视角图像（通常采用2张）；宏观视角图像是指距离肿瘤区域或距离已退缩肿瘤区域在第一预设距离区间内且正对肠腔中心的区域的全景图像，例如，将距离“肿瘤区域”或“已退缩肿瘤区域” 0.8mm-20mm远且正对肠腔中心的区域拍摄的全景图像作为宏观视角图像；近视角图像是指肿瘤区域或者已退缩肿瘤区域的最长边界小于视野边界的预设缩放比例的图像，例如，将“肿瘤区域”或“已退缩肿瘤区域” 的最长边界小于视野边界的10%下拍摄的图像作为近视角图像；微观视角图像是指距离肿瘤区域或已退缩区域在预设阈值范围内（例如，在0.8mm范围内）且正对肿瘤表面的局部图像。
获取目标对象的直肠癌磁共振影像数据集作为第二模态数据，其中，直肠癌磁共振影像数据集包括初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据；可以采用自动标注或人工标注的方式分别对初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据中的肿瘤区域或已退缩肿瘤区域进行标注，得到若干张包含肿瘤区域或已退缩肿瘤区域的切片图像。其中，初始直肠癌磁共振影像数据可以是目标对象在接受治疗前的数据，目标直肠癌磁共振影像数据可以是目标对象在接受治疗后的数据。
获取所述目标对象的初始临床数据集和目标临床数据集作为第三模态数据，其中，所述初始临床数据集和目标临床数据集至少包括目标对象的个人信息和病例信息。初始临床数据集可以是目标对象在接受治疗前的数据，目标临床数据集可以是目标对象在接受治疗后的数据。目标对象的个人信息可以包括但不限于年龄、身高、体重等信息，目标对象的病例信息可以包括但不限于恶性肿瘤家族史、肿瘤个人史、治疗方案、肿瘤位置、肿瘤分化程度、治疗前T分期、治疗前N分期、肿瘤浸润深度、肿瘤距肛缘距离等信息。
获取目标对象的初始肿瘤标志物信息、目标肿瘤标志物信息、初始血液信息以及目标血液信息作为第四模态数据。其中，初始肿瘤标志物信息和初始血液信息可以是目标对象在接受治疗前的数据，目标肿瘤标志物信息和目标血液信息可以是目标对象在接受治疗后的数据。可选地，初始肿瘤标志物信息和目标肿瘤标志物信息可以包括但不限于糖类抗原125（CA125）、糖类抗原153（CA153）、糖类抗原199（CA199）、癌胚抗原（CEA）和甲胎蛋白（AFP）的数据；初始血液信息和目标血液信息可以包括但不限于红细胞、血红蛋白、血小板、血小板容积、白细胞、中性粒细胞、淋巴细胞、单核细胞、C反应蛋白、超敏C反应蛋白、总蛋白、白蛋白和前白蛋白等血常规数据。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将第一模态数据输入至预先训练好的第一神经网络模型；
通过第一神经网络模型的硬连线层对宏观视角图像、近视角图像和微观视角图像进行矩阵连接；
通过第一神经网络模型的α个三维卷积模块对矩阵连接后的宏观视角图像、近视角图像和微观视角图像进行卷积计算和最大池化操作，提取出高维特征图；
通过第一神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，得到第一特征向量，其中，α可以取值为7，β可以取值为5。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将第二模态数据输入至预先训练好的第二神经网络模型；
通过第二神经网络模型的硬连线层对第二模态数据中标注的若干张包含肿瘤区域或已退缩肿瘤区域的切片图像进行矩阵连接；
通过第二神经网络模型的α个三维卷积模块对矩阵连接后的切片图像进行卷积计算和最大池化操作，提取出高维特征图；
通过第二神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，得到第二特征向量，其中，α可以取值为5，β可以取值为3。
在一些实施例中，第一神经网络模型、第二神经网络模型的训练过程包括：
将获取到的预设的待评估医学数据作为训练样本输入至相应的初始神经网络模型，以使初始神经网络模型输出相应的初始特征向量；
若初始特征向量满足预设要求，则初始神经网络模型训练成功，得到预先训练好的神经网络模型；
若初始特征向量不满足预设要求，则通过调整初始神经网络模型中的损失参数，继续对初始神经网络模型进行训练，直至损失参数拟合并达到预设损失参数阈值，得到预先训练好的神经网络模型。
可选地，第一神经网络模型、第二神经网络模型可以采用三维卷积网络（3DCNN），本公开实施例对此不做限定。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将第三模态数据、第四模态数据中的文字描述特征映射成相应的数值特征；
将数值特征映射到二维矩阵中，分别得到第三特征向量和第四特征向量。
可选地，在对第三模态数据的进行特征提取过程中，若目标对象没有恶性肿瘤家族史，则映射成数字0；若目标对象由恶性肿瘤家族史，则映射成数字1；同样的，将其它文字描述特征映射成相应的数值特征如下所示：
肿瘤个人史（无0，有1）、复发性肿瘤（是1，否0）、新辅助化疗（是1，否0）、新辅助放疗（是1，否0）、治疗方案(单药1，双药2，三药3)、肿瘤位置（直肠上1、直肠中2、直肠下3）、肿瘤分化程度（分化程度高1、分化程度中2、分化程度低3）、大小（占肠周径1/3为0, 占肠周径2/3为1, 占肠周径1周为2）。
如图2所示，在一些实施例中，将融合特征向量输入至预先训练好的多模态融合评估模型，以获取预先训练好的多模态融合评估模型输出的多种模态的待评估医学数据的评估结果，包括：
将融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵W(In)，通过第一函数对特征向量第一矩阵W(In)进行位置编码，得到特征向量第二矩阵W(P)，采用的公式如下：
Figure 344365DEST_PATH_IMAGE001
其中，t表示特征向量第一矩阵W(In)中的某一个子向量；p(t)表示t值对应的编码结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵W(In)中的序号位；d表示特征向量第一矩阵W(In)的矩阵水平方向维度数量；
将特征向量第二矩阵W(P)输入至第二函数，计算得到在子空间上的高维特征表示矩阵W(M)，采用的公式如下：
Figure 248867DEST_PATH_IMAGE002
其中，CONCAT函数表示第二函数， F(1)、F(2)……F(i)表示对特征向量第二矩阵W(P)中的第i个特征子向量进行公式F计算；
Figure 551673DEST_PATH_IMAGE003
表示特征向量第一矩阵W(In)的转置；
F（i）中的x表示输入的特征向量第二矩阵W(P)中的第i个特征子向量；Q、K、V表示多模态融合评估模型的隐含层的参数n的线性感知层；Q(x)表示对x进行线性回归；
通过多模态融合评估模型的编码器对各个图像特征向量进行编码，将编码器的输出 W(Out) 输入至线性回归层，通过线性回归层将W(Out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。通过将上述的第一、二、三、四特征向量输入至预先训练好的多模态融合评估模型，完成决策，最终得到结果为目标对象的病情完全缓解或非完全缓解的评估结果，以及与评估结果相对应的概率，例如，完全缓解的概率、非完全缓解的概率。
可选地，多模态融合评估模型的训练过程中采用交叉熵损失函数进行参数反向传播与更新，直至交叉熵损失函数拟合。
本公开实施例还提供了一种多模态医学数据融合的评估装置，如图3所示，包括：
医学数据获取模块301，被配置为获取目标对象的多种模态的待评估医学数据；
特征向量提取模块302，被配置为分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
特征向量融合模块303，被配置为对多个特征向量进行融合，得到融合特征向量；
多模态融合评估模块304，被配置为将融合特征向量输入至预先训练好的多模态融合评估模型，以获取预先训练好的多模态融合评估模型输出的多种模态的待评估医学数据的评估结果。
本公开实施例还提供了一种电子设备，其结构如图4所示，包括：
处理器（processor）400和存储器（memory）401，还可以包括通信接口（Communication Interface）402和通信总线403。其中，处理器400、通信接口402、存储器401可以通过通信总线403完成相互间的通信。通信接口402可以用于信息传输。处理器400可以调用存储器401中的逻辑指令，以执行上述实施例的多模态医学数据融合的评估方法。
此外，上述的存储器401中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器401作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器400通过运行存储在存储器401中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的多模态医学数据融合的评估方法。
存储器401可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令设置为执行上述的多模态医学数据融合的评估方法。
本公开实施例提供了一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使上述计算机执行上述的多模态医学数据融合的评估方法
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例提供的一种多模态医学数据融合的评估方法、装置、设备和存储介质，采用三维卷积网络（3DCNN）技术，融合多视角图像，对内窥镜下直肠癌的宏观视角图像、近视角图像与微观视图图像进行融合特征提取。鉴于传统的机器学习预测模型，其输入要求有规范的数据格式，若不满足输入要求则会极大影响其性能，故本申请提出的基于人工智能的多模态融合评估模型，除了拥有出色的性能，还具有自注意权重，可依靠其自我感知能力，在数据存在部分缺失的情况下（本发明四种模态数据应至少输入三种模态数据），仍有着比较优秀的性能，可以快速且精准的输出评估结果，更加贴近临床使用场景。可辅助对目标对象治疗后的病理级别下的病情缓解程度进行精准评估，从而提升判断准确率，减少目标对象的医疗风险。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括至少一个指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开实施例的方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样地，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”（a）、“一个”（an）和“所述”（the）旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”（comprise）及其变型“包括”（comprises）和/或包括（comprising）等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括该要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品（包括但不限于装置、设备等），可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (9)

1.一种多模态医学数据融合的评估方法，其特征在于，包括：
获取目标对象的多种模态的待评估医学数据；
分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
对所述多个特征向量进行融合，得到融合特征向量；
将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果；
所述将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果，包括：
将所述融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵W(In)，通过第一函数对特征向量第一矩阵W(In)进行位置编码，得到特征向量第二矩阵W(P)，采用的公式如下：
Figure 502087DEST_PATH_IMAGE001
其中，t表示特征向量第一矩阵W(In)中的某一个子向量；p(t)表示t值对应的编码结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵W(In)中的序号位；d表示特征向量第一矩阵W(In)的矩阵水平方向维度数量；
将所述特征向量第二矩阵W(P)输入至第二函数，计算得到在子空间上的高维特征表示矩阵W(M)，采用的公式如下：
Figure 742576DEST_PATH_IMAGE002
其中，CONCAT函数表示第二函数， F(1)、F(2)……F(i)表示对特征向量第二矩阵W(P)中的第i个特征子向量进行公式F计算；
Figure 37422DEST_PATH_IMAGE003
表示特征向量第一矩阵W(In)的转置；
F（i）中的x表示输入的特征向量第二矩阵W(P)中的第i个特征子向量；Q、K、V表示多模态融合评估模型的隐含层的参数n的线性感知层；Q(x)表示对x进行线性回归；
通过多模态融合评估模型的编码器对各个图像的所述特征向量进行编码，将所述编码器的输出 W(Out) 输入至线性回归层，通过线性回归层将W(Out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。
2.根据权利要求1所述的方法，其特征在于，所述获取目标对象的多种模态的待评估医学数据，包括以下方式中的至少三种：
获取所述目标对象的直肠癌图像数据集作为第一模态数据，其中，所述直肠癌图像数据集至少包括根据肿瘤区域或已退缩肿瘤区域确定的宏观视角图像、近视角图像和微观视角图像；
获取所述目标对象的直肠癌磁共振影像数据集作为第二模态数据，其中，所述直肠癌磁共振影像数据集包括初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据；分别对所述初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据中的肿瘤区域或已退缩肿瘤区域进行标注，得到若干张包含肿瘤区域或已退缩肿瘤区域的切片图像；
获取所述目标对象的初始临床数据集和目标临床数据集作为第三模态数据，其中，所述初始临床数据集和目标临床数据集至少包括目标对象的个人信息和病例信息；
获取所述目标对象的初始肿瘤标志物信息、目标肿瘤标志物信息、初始血液信息以及目标血液信息作为第四模态数据。
3.根据权利要求2所述的方法，其特征在于，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将所述第一模态数据、第二模态数据分别输入至预先训练好的神经网络模型；
通过所述神经网络模型的硬连线层分别对所述第一模态数据、第二模态数据中的医学图像进行矩阵连接；
通过所述神经网络模型的α个三维卷积模块对矩阵连接后的所述医学图像进行卷积计算和最大池化操作，提取出高维特征图；
通过所述神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，分别得到第一特征向量和第二特征向量。
4.根据权利要求2所述的方法，其特征在于，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将所述第三模态数据、第四模态数据中的文字描述特征映射成相应的数值特征；
将所述数值特征映射到二维矩阵中，分别得到第三特征向量和第四特征向量。
5.根据权利要求3所述的方法，其特征在于，所述神经网络模型的训练过程包括：
将获取到的预设的待评估医学数据作为训练样本输入至相应的初始神经网络模型，以使所述初始神经网络模型输出相应的初始特征向量；
若所述初始特征向量满足预设要求，则所述初始神经网络模型训练成功，得到所述预先训练好的神经网络模型；
若所述初始特征向量不满足预设要求，则通过调整所述初始神经网络模型中的损失参数，继续对所述初始神经网络模型进行训练，直至所述损失参数拟合并达到预设损失参数阈值，得到所述预先训练好的神经网络模型。
6.根据权利要求1所述的方法，其特征在于，所述多模态融合评估模型的训练过程中采用交叉熵损失函数进行参数反向传播与更新，直至所述交叉熵损失函数拟合。
7.一种多模态医学数据融合的评估装置，其特征在于，包括：
医学数据获取模块，被配置为获取目标对象的多种模态的待评估医学数据；
特征向量提取模块，被配置为分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
特征向量融合模块，被配置为对所述多个特征向量进行融合，得到融合特征向量；
多模态融合评估模块，被配置为将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果；被具体配置为：
将所述融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵W(In)，通过第一函数对特征向量第一矩阵W(In)进行位置编码，得到特征向量第二矩阵W(P)，采用的公式如下：
Figure 388769DEST_PATH_IMAGE004
其中，t表示特征向量第一矩阵W(In)中的某一个子向量；p(t)表示t值对应的编码结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵W(In)中的序号位；d表示特征向量第一矩阵W(In)的矩阵水平方向维度数量；
将所述特征向量第二矩阵W(P)输入至第二函数，计算得到在子空间上的高维特征表示矩阵W(M)，采用的公式如下：
Figure 334728DEST_PATH_IMAGE005
其中，CONCAT函数表示第二函数， F(1)、F(2)……F(i)表示对特征向量第二矩阵W(P)中的第i个特征子向量进行公式F计算；
Figure 746118DEST_PATH_IMAGE006
表示特征向量第一矩阵W(In)的转置；
F（i）中的x表示输入的特征向量第二矩阵W(P)中的第i个特征子向量；Q、K、V表示多模态融合评估模型的隐含层的参数n的线性感知层；Q(x)表示对x进行线性回归；
通过多模态融合评估模型的编码器对各个图像的所述特征向量进行编码，将所述编码器的输出 W(Out) 输入至线性回归层，通过线性回归层将W(Out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1至6中任一项所述的方法步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法步骤。
CN202111454543.7A 2021-12-02 2021-12-02 多模态医学数据融合的评估方法、装置、设备及存储介质 Active CN113870259B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111454543.7A CN113870259B (zh) 2021-12-02 2021-12-02 多模态医学数据融合的评估方法、装置、设备及存储介质
PCT/CN2022/133614 WO2023098524A1 (zh) 2021-12-02 2022-11-23 多模态医学数据融合的评估方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111454543.7A CN113870259B (zh) 2021-12-02 2021-12-02 多模态医学数据融合的评估方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113870259A CN113870259A (zh) 2021-12-31
CN113870259B true CN113870259B (zh) 2022-04-01

Family

ID=78985439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111454543.7A Active CN113870259B (zh) 2021-12-02 2021-12-02 多模态医学数据融合的评估方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN113870259B (zh)
WO (1) WO2023098524A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870259B (zh) * 2021-12-02 2022-04-01 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质
CN114358662B (zh) * 2022-03-17 2022-09-13 北京闪马智建科技有限公司 一种数据质量评估方法、装置、存储介质及电子装置
CN114678105B (zh) * 2022-03-21 2023-10-17 南京圣德医疗科技有限公司 一种结合人工智能技术自动计算球囊参数的方法
CN114898155A (zh) * 2022-05-18 2022-08-12 平安科技（深圳）有限公司 车辆定损方法、装置、设备及存储介质
CN115068737B (zh) * 2022-07-27 2022-11-11 深圳市第二人民医院(深圳市转化医学研究院) 化疗输液药物剂量控制方法、装置、系统和存储介质
CN115130623B (zh) * 2022-09-01 2022-11-25 浪潮通信信息系统有限公司 数据融合方法、装置、电子设备及存储介质
CN115564203B (zh) * 2022-09-23 2023-04-25 杭州国辰智企科技有限公司 基于多维数据协同的设备实时性能评估系统及其方法
CN115762796A (zh) * 2022-09-27 2023-03-07 京东方科技集团股份有限公司 目标模型的获取方法、预后评估值确定方法、装置、设备及介质
CN115579130B (zh) * 2022-11-10 2023-03-14 中国中医科学院望京医院(中国中医科学院骨伤科研究所) 一种患者肢体功能的评估方法、装置、设备及介质
CN115830017B (zh) * 2023-02-09 2023-07-25 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
CN116524248B (zh) * 2023-04-17 2024-02-13 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN116228206A (zh) * 2023-04-25 2023-06-06 宏景科技股份有限公司 数据中心运维管理方法、装置、电子设备及运维管理系统
CN116313019B (zh) * 2023-05-19 2023-08-11 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种基于人工智能的医疗护理数据处理方法及系统
CN116504393B (zh) * 2023-06-09 2024-04-26 山东大学 基于多模态数据的脊髓型颈椎病运动功能辅助评估系统
CN116630386B (zh) * 2023-06-12 2024-02-20 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN116452593B (zh) * 2023-06-16 2023-09-05 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN117495693A (zh) * 2023-10-24 2024-02-02 北京仁馨医疗科技有限公司 用于内窥镜的图像融合方法、系统、介质及电子设备
CN117274316B (zh) * 2023-10-31 2024-05-03 广东省水利水电科学研究院 一种河流表面流速的估计方法、装置、设备及存储介质
CN117370933B (zh) * 2023-10-31 2024-05-07 中国人民解放军总医院 多模态统一特征提取方法、装置、设备及介质
CN117422704A (zh) * 2023-11-23 2024-01-19 南华大学附属第一医院 一种基于多模态数据的癌症预测方法、系统及设备
CN117350926B (zh) * 2023-12-04 2024-02-13 北京航空航天大学合肥创新研究院 一种基于目标权重的多模态数据增强方法
CN117391847A (zh) * 2023-12-08 2024-01-12 国任财产保险股份有限公司 一种基于多层多视图学习的用户风险评估方法及系统
CN117524501B (zh) * 2024-01-04 2024-03-19 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法
CN117829098A (zh) * 2024-03-06 2024-04-05 天津创意星球网络科技股份有限公司 多模态作品评审方法、装置、介质和设备
CN117894468A (zh) * 2024-03-18 2024-04-16 天津市肿瘤医院（天津医科大学肿瘤医院） 基于人工智能的乳腺癌复发风险预测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533683A (zh) * 2019-08-30 2019-12-03 东南大学 一种融合传统特征与深度特征的影像组学分析方法
CN110727824A (zh) * 2019-10-11 2020-01-24 浙江大学 利用多重交互注意力机制解决视频中对象关系问答任务的方法
CN111079864A (zh) * 2019-12-31 2020-04-28 杭州趣维科技有限公司 一种基于优化视频关键帧提取的短视频分类方法及系统
CN111145718A (zh) * 2019-12-30 2020-05-12 中国科学院声学研究所 一种基于自注意力机制的中文普通话字音转换方法
CN111931795A (zh) * 2020-09-25 2020-11-13 湖南大学 基于子空间稀疏特征融合的多模态情感识别方法及系统
CN113486395A (zh) * 2021-07-02 2021-10-08 南京大学 一种采用多元信息融合的科研数据匿名化方法及系统
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10602242B2 (en) * 2017-06-14 2020-03-24 GM Global Technology Operations LLC Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备
CN113870259B (zh) * 2021-12-02 2022-04-01 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533683A (zh) * 2019-08-30 2019-12-03 东南大学 一种融合传统特征与深度特征的影像组学分析方法
CN110727824A (zh) * 2019-10-11 2020-01-24 浙江大学 利用多重交互注意力机制解决视频中对象关系问答任务的方法
CN111145718A (zh) * 2019-12-30 2020-05-12 中国科学院声学研究所 一种基于自注意力机制的中文普通话字音转换方法
CN111079864A (zh) * 2019-12-31 2020-04-28 杭州趣维科技有限公司 一种基于优化视频关键帧提取的短视频分类方法及系统
CN111931795A (zh) * 2020-09-25 2020-11-13 湖南大学 基于子空间稀疏特征融合的多模态情感识别方法及系统
CN113486395A (zh) * 2021-07-02 2021-10-08 南京大学 一种采用多元信息融合的科研数据匿名化方法及系统
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法

Also Published As

Publication number Publication date
CN113870259A (zh) 2021-12-31
WO2023098524A1 (zh) 2023-06-08

Similar Documents

Publication Publication Date Title
CN113870259B (zh) 多模态医学数据融合的评估方法、装置、设备及存储介质
Afshar et al. From handcrafted to deep-learning-based cancer radiomics: challenges and opportunities
Mei et al. SANet: A slice-aware network for pulmonary nodule detection
CN112768072B (zh) 基于影像组学定性算法构建癌症临床指标评估系统
Christ et al. SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks
Nomani et al. PSOWNNs-CNN: a computational radiology for breast cancer diagnosis improvement based on image processing using machine learning methods
KR20190105460A (ko) 의료 진단 리포트 생성 장치 및 방법
CN112561869B (zh) 一种胰腺神经内分泌肿瘤术后复发风险预测方法
CN112927246A (zh) 肺部轮廓分割、肿瘤免疫浸润分类系统及方法
Xuan et al. Prenatal prediction and typing of placental invasion using MRI deep and radiomic features
CN113436173A (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
Szentimrey et al. Automated 3D U‐net based segmentation of neonatal cerebral ventricles from 3D ultrasound images
Kuang et al. Towards simultaneous segmentation of liver tumors and intrahepatic vessels via cross-attention mechanism
WO2022059315A1 (ja) 画像符号化装置、方法およびプログラム、画像復号化装置、方法およびプログラム、画像処理装置、学習装置、方法およびプログラム、並びに類似画像検索装置、方法およびプログラム
Hakim et al. Microcalcification detection in mammography image using computer-aided detection based on convolutional neural network
Sailunaz et al. Brain tumor detection and segmentation: Interactive framework with a visual interface and feedback facility for dynamically improved accuracy and trust
Oh et al. PET-based deep-learning model for predicting prognosis of patients with non-small cell lung cancer
Wang et al. Triplanar convolutional neural network for automatic liver and tumor image segmentation
Peng et al. Predicting distant metastases in soft-tissue sarcomas from PET-CT scans using constrained hierarchical multi-modality feature learning
Affan et al. Detecting multi-class kidney abnormalities using Deep learning
Pocė et al. Pancreas segmentation in CT images: state of the art in clinical practice
Ibrahim et al. Liver Multi-class Tumour Segmentation and Detection Based on Hyperion Pre-trained Models.
Zhong et al. Mix Transformer depth-wise separable convolution UNet for breast mass segmentation in mammographic
Chen et al. Deeply supervised vestibule segmentation network for CT images with global context‐aware pyramid feature extraction
Mahmoodian et al. Segmentation of Living and ablated Tumor parts in CT images Using ResLU-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant