CN113313158A - 基于多模态深度学习分类模型的模态贡献度的计算方法 - Google Patents

基于多模态深度学习分类模型的模态贡献度的计算方法 Download PDF

Info

Publication number
CN113313158A
CN113313158A CN202110563034.1A CN202110563034A CN113313158A CN 113313158 A CN113313158 A CN 113313158A CN 202110563034 A CN202110563034 A CN 202110563034A CN 113313158 A CN113313158 A CN 113313158A
Authority
CN
China
Prior art keywords
modal
contribution
feature
deep learning
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110563034.1A
Other languages
English (en)
Inventor
吴兴隆
徐国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202110563034.1A priority Critical patent/CN113313158A/zh
Publication of CN113313158A publication Critical patent/CN113313158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多模态深度学习分类模型的模态贡献度的计算方法，包括以下步骤：基于多模态深度学习的端到端分类模型，获得该模型在对某个多模态数据样本进行推理过程中的模态特征向量；对具有相同大小的模态特征向量进行权重求和并做归一化处理，从而得到该多模态数据样本的模态贡献度。该单独样本的模态贡献度可以进一步推广到给定的多模态数据集中对全体样本进行权重累加，从而最终获得在给定数据集上的模态贡献度。

Description

基于多模态深度学习分类模型的模态贡献度的计算方法
技术领域
本发明属于深度学习领域，具体涉及一种基于多模态深度学习分类模型的模态贡献度的计算方法。
背景技术
基于深度学习的人工智能方法(主要通过卷积神经网络、前馈神经网络和循环神经网络包括长短期记忆网络等)近年来在机器视觉和自然语言处理等应用中取得了巨大成功。比如传统意义上基于医学影像的临床诊断过程中，给定医学超声影像，人工智能方法对于影像中存在的甲状腺肿瘤能够给出该肿瘤是良恶性的判断，对于乳腺淋巴结的影像也能够给出该淋巴结是否转移的判断。
然而，到目前为止，仅基于医学影像的良恶性或者转移性人工智能分类模型的泛化能力和鲁棒性依然存疑。其主要原因在于临床医生在真实的诊断过程中一般会基于各类临床数据(即多种模态数据)来进行综合判断；比如患者的年龄、性别和病史等文本数据，身体各项指标等化验检查数据以及灰度和彩色超声影像甚至CT影像等图像数据。因此，人工智能方法应该能够基于多模态数据进行分析和推理，从而得到更具泛化能力和鲁棒性的分类结果。更重要的是，临床医生对于人工智能方法得到的推理结果在实际应用中极为重视该结果的可解释性，也就是人工智能模型是如何给出良性或者恶性的诊断结果，或者该诊断结果是如何依赖或者相关于多模态的临床数据的。遗憾的是，目前主流的基于各类神经网络的人工智能方法在可解释性上依然存在诟病的地方。因此，基于多模态的人工智能方法还应该能够对于各个模态数据是如何关联或者影响到最终的分类结果上提供量化的指标。
为了更准确且更清晰的分析多模态深度学习模型中最终分类结果是如何依赖或者关联到各个模态数据，需要一种新的量化指标(即模态贡献度)和计算方法来解决多模态深度学习中多模态数据和分类结果之间可解释性的难题。
发明内容
本发明的目的在于，提供一种基于多模态深度学习分类模型的模态贡献度的计算方法，计算得到模态贡献度，解决多模态深度学习中多模态数据和分类结果之间可解释性的难题。
本发明所采用的技术方案如下：
一种基于多模态深度学习分类模型的模态贡献度的计算方法，包括以下步骤：
基于多模态深度学习的端到端分类模型，获得该模型在对某个多模态数据样本进行推理过程中的模态特征向量；
对具有相同大小的模态特征向量进行权重求和并做归一化处理，从而得到该多模态数据样本的模态贡献度，其计算公式如下：
Figure BDA0003079777400000021
MCIm，i＝
满足
Figure BDA0003079777400000022
式中，MCIm，i是第i个样本的第m个模态的贡献度，Fi，m，j是第i个样本的第m个模态特征向量中第j个分量，αm是第m个模态的特征向量权重，FN是模态特征向量的大小，TM是多模态数据中的模态总数量。
优选地，αm为1/TM或作为分类模型的参数进而通过训练得到。
优选地，获取数据集中全体样本的模态贡献度，从而得到该数据集的模态贡献度，其计算公式如下：
Figure BDA0003079777400000023
满足
Figure BDA0003079777400000024
式中，MCIm是该数据集中第m个模态的贡献度，βi是第i个样本的计算权重，N是该数据集的样本总数。
优选地，βi为1/N或根据该样本分类结果的概率值来设置。
优选地，多模态深度学习的端到端分类模型包括特征提取模块、特征融合模块和特征分类输出模块。
优选地，特征提取模块包括多个卷积神经网络、前馈神经网络和循环神经网络，每个神经网络对应于一种模态数据且神经网络输出的一维特征向量具有相同的大小。
优选地，特征融合模块包括长短期记忆网络，用于融合特征提取模块输出的多个模态特征向量，获取不同模态数据之间的依赖关系。
优选地，特征分类输出模块包括前馈神经网络，用于将特征融合模块的输出结果进行基于概率值的分类。
本发明的有益效果为：本发明的基于多模态深度学习分类模型的模态贡献度的计算方法，通过设计一个基于多模态数据集进行端到端训练的多模态深度学习模型，模态贡献度的计算能够利用该多模态深度学习模型在推理过程中得到模态特征向量来完成。对于多模态数据样本，每个不同的模态数据将对应一个模态特征向量；然后该模态特征向量可以加权求和后进行归一化处理，从而得到该多模态数据样本的模态贡献度；将上述计算过程应用到指定数据集中的全体样本，便可以获得该数据集的模态贡献度。
附图说明
图1是本发明的基于多模态深度学习分类模型的模态贡献度的计算方法示意图。
具体实施方式
下面将结合附图对本发明作进一步的说明：
本发明提出一种基于多模态深度学习分类模型的模态贡献度的计算方法，包括一个基于多模态深度学习的端到端分类模型和一个基于模态特征的模态贡献度计算方法。该基于多模态深度学习的端到端分类模型由三个模块组成：一个特征提取模块，一个特征融合模块和一个特征分类输出模块。该计算方法借助在多模态数据集中性能表现良好的多模态深度学习模型，利用该模型推理过程中特征提取模块的输出特征向量，通过对各个模态特征的权重累加获得单独样本的模态贡献度。该单独样本的模态贡献度可以进一步推广到给定的多模态数据集中对全体样本进行权重累加，从而最终获得在给定数据集上的模态贡献度。
计算得到模态贡献度其数值大小位于0到1之间，从而能够支持对不同模态的贡献度进行对比分析。另外，对于二分类问题，本发明提出的模态贡献度计算可以分别应用于真正例(true positive)，真负例(true negative)，假正例(false positive)，假负例(falsenegative)来观察多模态深度学习模型在推理过程中不同模态是如何影响或者关联到正确或者错误的分类结果的。
本发明实施例的基于多模态深度学习分类模型的模态贡献度的计算方法，如图1所示，包括一个基于多模态深度学习的端到端分类模型和一个基于模态特征的模态贡献度计算方法。
基于多模态深度学习的端到端分类模型由三个模块组成：一个特征提取模块，一个特征融合模块和一个特征分类输出模块。特征提取模块由多个卷积神经网络、前馈神经网络和循环神经网络组成。每个神经网络对应于一种模态数据，并确保该神经网络输出的一维特征向量具有相同的大小。特征融合模块由长短期记忆网络构成，用于融合前述特征提取模块输出的多个模态特征向量，探索不同模态数据之间的依赖关系。特征分类输出模块由前馈神经网络构成，用于将前述特征融合模块的输出结果进行基于概率值的分类。该分类模型将基于多模态特征数据集进行训练并进行性能评估，其中性能表现良好的模型及其权重将用于后续模态贡献度的计算。
基于模态特征的模态贡献度计算方法依赖于前述基于多模态深度学习的端到端分类模型，首先获得该分类模型在对某个多模态数据样本进行推理过程中特征提取模块输出的模态特征向量，然后对具有相同大小的模态特征向量进行权重求和并做归一化处理，从而得到该多模态数据样本的模态贡献度；其计算公式如下：
Figure BDA0003079777400000041
满足
Figure BDA0003079777400000042
其中，MCIm，i(Modality Contribution Index)指的是第i个样本的第m个模态的贡献度，Fi，m，j指的是第i个样本的第m个模态的特征向量中第j个分量，αm指的是第m个模态的特征向量权重，FN指的是模态特征向量的大小，TM指的是多模态数据中的模态总数量。其中αm可以人为指定为1/TM，也可以作为该分类模型的参数通过训练得到。
相应的，上述计算方法可以应用到某个数据集中的全体样本以获得该数据集的模态贡献度；其计算公式如下
Figure BDA0003079777400000043
满足
Figure BDA0003079777400000044
其中，MCIm指的是该数据集中第m个模态的贡献度，βi指的是第i个样本的计算权重，N指的是该数据集的样本总数。其中βi可以认为指定为1/N，也可以根据该样本分类结果的概率值来设置。
本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多模态深度学习分类模型的模态贡献度的计算方法，其特征在于，包括以下步骤：
基于多模态深度学习的端到端分类模型，获得该模型在对某个多模态数据样本进行推理过程中的模态特征向量；
对具有相同大小的模态特征向量进行权重求和并做归一化处理，从而得到该多模态数据样本的模态贡献度，其计算公式如下：
Figure FDA0003079777390000011
满足
Figure FDA0003079777390000012
式中，MCIm，i是第i个样本的第m个模态的贡献度，Fi，m，j是第i个样本的第m个模态特征向量中第j个分量，αm是第m个模态的特征向量权重，FN是模态特征向量的大小，TM是多模态数据中的模态总数量。
2.根据权利要求1所述的基于多模态深度学习分类模型的模态贡献度的计算方法，其特征在于，αm为1/TM或作为分类模型的参数进而通过训练得到。
3.根据权利要求1所述的基于多模态深度学习分类模型的模态贡献度的计算方法，其特征在于，获取数据集中全体样本的模态贡献度，从而得到该数据集的模态贡献度，其计算公式如下：
Figure FDA0003079777390000013
满足
Figure FDA0003079777390000014
式中，MCIm是该数据集中第m个模态的贡献度，βi是第i个样本的计算权重，N是该数据集的样本总数。
4.根据权利要求3所述的基于多模态深度学习分类模型的模态贡献度的计算方法，其特征在于，βi为1/N或根据该样本分类结果的概率值来设置。
5.根据权利要求1-4中任意一项所述的基于多模态深度学习分类模型的模态贡献度的计算方法，其特征在于，多模态深度学习的端到端分类模型包括特征提取模块、特征融合模块和特征分类输出模块。
6.根据权利要求5所述的基于多模态深度学习分类模型的模态贡献度的计算方法，其特征在于，特征提取模块包括多个卷积神经网络、前馈神经网络和循环神经网络，每个神经网络对应于一种模态数据且神经网络输出的一维特征向量具有相同的大小。
7.根据权利要求6所述的基于多模态深度学习分类模型的模态贡献度的计算方法，其特征在于，特征融合模块包括长短期记忆网络，用于融合特征提取模块输出的多个模态特征向量，获取不同模态数据之间的依赖关系。
8.根据权利要求7所述的基于多模态深度学习分类模型的模态贡献度的计算方法，其特征在于，特征分类输出模块包括前馈神经网络，用于将特征融合模块的输出结果进行基于概率值的分类。
CN202110563034.1A 2021-05-24 2021-05-24 基于多模态深度学习分类模型的模态贡献度的计算方法 Pending CN113313158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110563034.1A CN113313158A (zh) 2021-05-24 2021-05-24 基于多模态深度学习分类模型的模态贡献度的计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110563034.1A CN113313158A (zh) 2021-05-24 2021-05-24 基于多模态深度学习分类模型的模态贡献度的计算方法

Publications (1)

Publication Number Publication Date
CN113313158A true CN113313158A (zh) 2021-08-27

Family

ID=77374415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110563034.1A Pending CN113313158A (zh) 2021-05-24 2021-05-24 基于多模态深度学习分类模型的模态贡献度的计算方法

Country Status (1)

Country Link
CN (1) CN113313158A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115829028A (zh) * 2023-02-14 2023-03-21 电子科技大学 一种多模态联邦学习任务处理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115829028A (zh) * 2023-02-14 2023-03-21 电子科技大学 一种多模态联邦学习任务处理方法及系统
CN115829028B (zh) * 2023-02-14 2023-04-18 电子科技大学 一种多模态联邦学习任务处理方法及系统

Similar Documents

Publication Publication Date Title
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
US11620487B2 (en) Neural architecture search based on synaptic connectivity graphs
CN107316294B (zh) 一种基于改进的深度玻尔兹曼机肺结节特征提取方法
US20230229891A1 (en) Reservoir computing neural networks based on synaptic connectivity graphs
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
US11625611B2 (en) Training artificial neural networks based on synaptic connectivity graphs
US20230229901A1 (en) Artificial neural network architectures based on synaptic connectivity graphs
US11568201B2 (en) Predicting neuron types based on synaptic connectivity graphs
CN110543916B (zh) 一种缺失多视图数据的分类方法及系统
CN115223715A (zh) 一种基于多模态信息融合的癌症预测方法与系统
US11631000B2 (en) Training artificial neural networks based on synaptic connectivity graphs
CN111709485A (zh) 医学影像处理方法、装置和计算机设备
CN111192660B (zh) 一种影像报告分析方法、设备及计算机存储介质
CN112232407A (zh) 病理图像样本的神经网络模型训练方法、装置
CN111242948A (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN112070760B (zh) 一种基于卷积神经网络的骨量检测方法
CN115147640A (zh) 一种基于改进胶囊网络的脑肿瘤图像分类方法
CN113313158A (zh) 基于多模态深度学习分类模型的模态贡献度的计算方法
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
WO2022125181A1 (en) Recurrent neural network architectures based on synaptic connectivity graphs
CN105809200A (zh) 一种生物启发式自主抽取图像语义信息的方法及装置
CN111798455A (zh) 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法
Fan et al. A medical pre-diagnosis system for histopathological image of breast cancer
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
CN114649092A (zh) 基于半监督学习和多尺度特征融合的辅助诊断方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210827

RJ01 Rejection of invention patent application after publication