CN111916207A - 一种基于多模态融合的疾病识别方法及装置 - Google Patents

一种基于多模态融合的疾病识别方法及装置 Download PDF

Info

Publication number
CN111916207A
CN111916207A CN202010788745.4A CN202010788745A CN111916207A CN 111916207 A CN111916207 A CN 111916207A CN 202010788745 A CN202010788745 A CN 202010788745A CN 111916207 A CN111916207 A CN 111916207A
Authority
CN
China
Prior art keywords
text
features
feature
module
structured data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010788745.4A
Other languages
English (en)
Other versions
CN111916207B (zh
Inventor
史业民
于重之
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010788745.4A priority Critical patent/CN111916207B/zh
Publication of CN111916207A publication Critical patent/CN111916207A/zh
Application granted granted Critical
Publication of CN111916207B publication Critical patent/CN111916207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供了一种基于多模态融合的疾病识别方法及装置，其中方法包括：获取结构化数据，对结构化数据进行特征提取，得到结构化数据特征；获取病例文本，利用权重共享的文本嵌入模块学习病历文本，得到文本特征；利用特征嵌入模块将结构化数据特征与文本特征进行双向特征嵌入，利用特征融合模块将结构化数据特征与文本特征进行双向注意力选择，拼接融合，得到融合后的输出；获取医疗影像，对医疗影像进行特征提取，并进行特征空间转换，得到转换后的输出；将结构化特征、文本特征以及医疗影像特征进行融合，得到影像诊断报告；将结构化特征、融合后的输出、转换后的输出以及影像诊断报告进行全连接特征融合，得到疾病识别结果。

Description

一种基于多模态融合的疾病识别方法及装置
技术领域
本发明涉及计算机领域，尤其涉及一种基于多模态融合的疾病识别方法及装置。
背景技术
随着医院信息化程度的增强，为规范病历书写，便于统计和研究，大量医院对病历进行 了结构化的工作，将病历的文字信息，转换成一系列固定格式的数值编码，这降低了数据分 析和处理的难度，为通过人工智能对结构化病历的分析预测呼吸道疾病提供了便利。基于结 构化病历的呼吸道疾病诊断数据来源较为有限，检验数据和病情的描述较为简单，导致数据 的维度较低，常见采用回归模型，支持向量机，贝叶斯网络等相对简单的机器学习方法。近 年来，随着卷积神经网络的性能提升，简单的网络如浅层卷积神经网络，开始被运用在这一 领域。较为复杂的基于卷积神经网络的算法，由于复杂度较高，容易过拟合，往往难以直接 使用到结构化病历中。
相对于结构化病历，病历中的文字描述包含更丰富的信息。由于病历信息中，数据维度 远高于结构化信息，深度学习算法过拟合的问题在文字病历信息分析中，得到一定缓解。
相对于结构化数据和病历，影像技术为直接观察疾病区域带来可能。然而，仅依赖影像 技术将忽略对病人症状的表达能力，从而导致无法从宏观角度观察病人。
发明内容
本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的基于多模态融合的疾 病识别方法及装置。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明的一个方面提供了一种基于多模态融合的疾病识别方法，包括：获取结构化数据， 对结构化数据进行特征提取，得到结构化数据特征；获取病例文本，利用权重共享的文本 嵌入模块学习病历文本，得到文本特征；利用特征嵌入模块将结构化数据特征与文本特征进 行双向特征嵌入，利用特征融合模块将结构化数据特征与文本特征进行双向注意力选择，拼 接融合，得到融合后的输出；获取医疗影像，对医疗影像进行特征提取，并进行特征空间转 换，得到转换后的输出；将结构化特征、文本特征以及医疗影像特征进行融合，得到影像诊 断报告；将结构化特征、融合后的输出、转换后的输出以及影像诊断报告进行全连接特征融 合，得到疾病识别结果。
其中，获取病例文本，利用权重共享的文本嵌入模块学习病历文本，得到文本信息包括： 将病例文本的句拆分为词，采用预设词嵌入权重将所有词按顺序输入词嵌入算法，利用卷积 神经网络进行特征提取，得到文本特征。
其中，利用特征嵌入模块将结构化数据特征与文本特征进行双向特征嵌入，利用特征融 合模块将结构化数据特征与文本特征进行双向注意力选择，拼接融合，得到融合后的输出包 括：利用如下公式进行双向特征嵌入：
Figure BDA0002622999750000021
Figure BDA0002622999750000022
其中，Wi,W1,Wo和bi,b1,bo代表卷积层的卷积核以及偏置，Softmax代表softmax操 作，LN代表层归一化操作；利用如下公式进行双向注意力选择：
Figure BDA0002622999750000023
Figure BDA0002622999750000024
其中，Si,Ti,So代表2个输入流及一个输出，Wd,We,Ws以及 bd,be,bs分别代表卷积层的卷积核及偏置；其中，Si为文本特征，Ti为结构化数据特征；将两 组So拼接，得到融合后的输出。
其中，将结构化特征、文本特征以及医疗影像特征进行融合，得到影像诊断报告包括： 将医疗影像特征映射为隐空间特征向量，长度为dh，初始化图像描述领域的注意力LSTM模 型的隐状态ht；利用如下公式计算隐状态：
Figure BDA0002622999750000025
其中，
Figure BDA0002622999750000026
为影像诊 断报告的真实结果，f为融合后的输出，αt代表上一步LSTM预测的显著性矩阵，X为转换后 的输出，ht-1为LSTM上一步的隐状态；利用如下公式计算重要性矩阵
Figure BDA0002622999750000027
β＝Softmax(W2 tanh(W1H))；其中，W1是s×dh的矩阵，W2是r×s的矩阵；通过矩阵W1和W2， 模型将原始隐状态转换为r个相似的重要性向量，
Figure BDA0002622999750000028
代表时间步的重要性；通过矩阵β来筛选每个时间步的隐状态，得到文本隐状态编码特征：T＝βH；利用矩阵β融合所有时间步的影像空间特征；
Figure BDA0002622999750000029
得到影像诊断报告。
本发明另一方面提供了一种基于多模态融合的疾病识别装置，包括：第一获取模块， 用于获取结构化数据，对结构化数据进行特征提取，得到结构化数据特征；第二获取模块， 用于获取病例文本，利用权重共享的文本嵌入模块学习病历文本，得到文本特征；融合模块， 用于利用特征嵌入模块将结构化数据特征与文本特征进行双向特征嵌入，利用特征融合模块 将结构化数据特征与文本特征进行双向注意力选择，拼接融合，得到融合后的输出；转换模 块，用于获取医疗影像，对医疗影像进行特征提取，并进行特征空间转换，得到转换后的输 出；影像诊断报告生成模块，用于将结构化特征、文本特征以及医疗影像特征进行融合，得 到影像诊断报告；疾病识别模块，用于将结构化特征、融合后的输出、转换后的输出以及影 像诊断报告进行全连接特征融合，得到疾病识别结果。
其中，第二获取模块通过如下方式获取病例文本，利用权重共享的文本嵌入模块学习病 历文本，得到文本信息：第二获取模块，具体用于将病例文本的句拆分为词，采用预设词嵌 入权重将所有词按顺序输入词嵌入算法，利用卷积神经网络进行特征提取，得到文本特征。
其中，融合模块通过如下方式利用特征嵌入模块将结构化数据特征与文本特征进行双向 特征嵌入，利用特征融合模块将结构化数据特征与文本特征进行双向注意力选择，拼接融合， 得到融合后的输出：融合模块，具体用于利用如下公式进行双向特征嵌入：
Figure BDA0002622999750000031
Figure BDA0002622999750000032
其中，Wi,W1,Wo和bi,b1,bo代表卷积层的 卷积核以及偏置，Softmax代表softmax操作，LN代表层归一化操作；利用如下公式进行双 向注意力选择：
Figure BDA0002622999750000033
其中， Si,Ti,So代表2个输入流及一个输出，Wd,We,Ws以及bd,be,bs分别代表卷积层的卷积核及偏置； 其中，Si为文本特征，Ti为结构化数据特征；将两组So拼接，得到融合后的输出。
其中，影像诊断报告生成模块通过如下方式将结构化特征、文本特征以及医疗影像特征 进行融合，得到影像诊断报告：影像诊断报告生成模块，具体用于将医疗影像特征映射为隐 空间特征向量，长度为dh，初始化图像描述领域的注意力LSTM模型的隐状态ht；利用如下 公式计算隐状态：
Figure BDA0002622999750000034
其中，
Figure BDA0002622999750000035
为影像诊断报告的真实结果，f为 融合后的输出，αt代表上一步LSTM预测的显著性矩阵，X为转换后的输出，ht-1为LSTM 上一步的隐状态；利用如下公式计算重要性矩阵
Figure BDA0002622999750000036
β＝Softmax(W2tanh(W1H))；其 中，W1是s×dh的矩阵，W2是r×s的矩阵；通过矩阵W1和W2，模型将原始隐状态转换为r个 相似的重要性向量，
Figure BDA0002622999750000037
代表时间步的重要性；通过矩阵β来筛选每个时间步的隐状态， 得到文本隐状态编码特征：T＝βH；利用矩阵β融合所有时间步的影像空间特征；
Figure BDA0002622999750000038
得到影像诊断报告。
由此可见，通过本发明提供的基于多模态融合的疾病识别方法及装置，从多模态融合角 度出发，融合结构化数据、病历文本和影像，通过跨模态显著性和多模态特征融合实现疾病 诊断。
本发明通过融合病历、影像等多模态数据进行疾病诊断，可以结合多个角度的信息，实 现更精确地诊断；提出了跨模态显著性提取方法，实现有效的多模态信息筛选；提出多模态 特征融合方法，有效融合信息，用于最终疾病诊断。从而，可融合所有的模态数据，有效提 高识别准确率；可根据当前医院环境调整输入模态数据，训练对应模型，从而适应各种医院 环境；可通过病历引入医生思考过程，从而结合医生经验进行诊断。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图 作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于多模态融合的疾病识别方法的流程图；
图2为本发明实施例提供的基于多模态融合的疾病识别装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例 性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。 相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传 达给本领域的技术人员。
本发明的核心在于：通过学习全局统一的文字嵌入特征，实现对于病历及诊断报告的统 一建模，之后基于注意力机制实现对于结构化数据及文本辨别性特征的学习，进一步利用长 短时记忆网络学习病历、诊断报告与影像在时序上的相关性特征，并学习每个时间步的影像 像素级显著性，最后，通过融合病历、结构化数据、影像、影像诊断报告的多模态特征，实 现对于疾病的精确预测。
图1示出了本发明实施例提供的基于多模态融合的疾病识别方法的流程图，参见图1， 本发明实施例提供的基于多模态融合的疾病识别方法，包括：
S1，获取结构化数据，对结构化数据进行特征提取，得到结构化数据特征。
具体地，本发明中，对于结构化数据的特征提取，可以采用一维卷积神经网络。
S2，获取病例文本，利用权重共享的文本嵌入模块学习病历文本，得到文本特征。
具体地，本发明采用权重共享的文本嵌入模块E(·)来学习对于临床病历和诊断报告中文 字的表示。对于每个词，将其从独热表示的向量映射到高维特征向量空间
Figure BDA0002622999750000041
从而将每 个句子表示为
Figure BDA0002622999750000042
其中ei∈V。为了有效标记句子的开始与结束，本 发明在句子前后加入e0和eend特殊字符。
对于病历文本的特征提取，作为本发明实施例的一个可选实施方式，获取病例文本，利 用权重共享的文本嵌入模块学习病历文本，得到文本信息包括：将病例文本的句拆分为词， 采用预设词嵌入权重将所有词按顺序输入词嵌入算法，利用卷积神经网络进行特征提取，得 到文本特征。
具体地，首先将句拆分为词，将所有词按顺序输入词嵌入算法(英文为wordembedding)， 得到高维特征空间
Figure BDA0002622999750000051
中的表示
Figure BDA0002622999750000052
其中ei∈V。其中，权重共享 的文本嵌入模块E(·)指的是病历文本与报告文本采用相同的词嵌入权重E(·)。
S3，利用特征嵌入模块将结构化数据特征与文本特征进行双向特征嵌入，利用特征融合 模块将结构化数据特征与文本特征进行双向注意力选择，拼接融合，得到融合后的输出。
具体地，为了有效提取病历文本及结构化数据中的信息，本发明首先利用卷积层进行预 处理，学习初始特征。之后，引入多层嵌入模块，从而实现结构化数据与病历文本的双向特 征嵌入和分析。为了进一步融合结构化及文本信息，本发明引入多模态注意力融合层，将两 种信息进行双向注意力选择，保留关键信息，进而进行拼接融合。
本步骤将结构化数据产生的特征与文本特征融合，可以包括两步：特征嵌入(Feature infusion)和特征融合(Feature fuision)。
作为本发明实施例的一个可选实施方式，利用特征嵌入模块将结构化数据特征与文本特 征进行双向特征嵌入，利用特征融合模块将结构化数据特征与文本特征进行双向注意力选择， 拼接融合，得到融合后的输出包括：利用如下公式进行双向特征嵌入：
Figure BDA0002622999750000053
Figure BDA0002622999750000054
其中，Wi,W1,Wo和bi,b1,bo代表卷积层的卷积核以及偏置， Softmax代表softmax操作，LN代表层归一化操作；利用如下公式进行双向注意力选择：
Figure BDA0002622999750000055
其中，Si,Ti,So代表2个输 入流及一个输出，Wd,We,Ws以及bd,be,bs分别代表卷积层的卷积核及偏置；其中，Si为文本 特征，Ti为结构化数据特征；将两组So拼接，得到融合后的输出。
具体地，特征嵌入(Feature infusion)：通过注意力机制，分别将结构化分支和文本分支作 为目标，从另外一个分支选择特征，并进行融合。特征嵌入模块可以表示为：
Figure BDA0002622999750000056
其中，Wi,W1,Wo和bi,b1,bo代表卷积层的卷积核以及偏置，Softmax代表softmax操作， LN代表层归一化操作。
特征融合(Feature fuision)：通过双向注意力机制，从结构划分至和文本分支提取特征， 并进行拼接，得到最后融合后的特征。特征融合模块可表示为：
Figure BDA0002622999750000061
其中，Si,Ti,So代表2个输入流及一个输出，Wd,We,Ws以及bd,be,bs分别代表卷积层的卷 积核及偏置。将文本和结构化数据分别作为Si和Ti，可得到2组So。之后将2组So拼接作为输 出f。
S4，获取医疗影像，对医疗影像进行特征提取，并进行特征空间转换，得到转换后的输 出。
具体地，本步骤用于对医疗影像进行特征提取，其中影像可为CT或X光。本发明利用 CNN网络提取影像的空间特征，比如ResNet-50网络。之后，通过额外的卷积层实现特征空 间的转换，得到输出X，用于后续与文本特征结合。
值得说明的是，上述步骤S1、S2、S4的执行顺序可以不固定，可以同时执行，也可以具有先后顺序，这在本发明中并不做具体限制。
S5，将结构化特征、文本特征以及医疗影像特征进行融合，得到影像诊断报告。
具体地，本步骤融合前述得到的文本/结构化特征以及影像特征，同时生成影像报告。
作为本发明实施例的一个可选实施方式，将结构化特征、文本特征以及医疗影像特征进 行融合，得到影像诊断报告包括：将医疗影像特征映射为隐空间特征向量，长度为dh，初始 化图像描述领域的注意力LSTM模型的隐状态ht；利用如下公式计算隐状态：
Figure BDA0002622999750000062
Figure BDA0002622999750000063
其中，
Figure BDA0002622999750000064
为影像诊断报告的真实结果，f为融合后的输出，αt代表上一步LSTM预测的显著性矩阵，X为转换后的输出，ht-1为LSTM上一步的隐状态；利用 如下公式计算重要性矩阵
Figure BDA0002622999750000065
β＝Softmax(W2tanh(W1H))；其中，W1是s×dh的矩阵， W2是r×s的矩阵；通过矩阵W1和W2，模型将原始隐状态转换为r个相似的重要性向量，
Figure BDA0002622999750000066
代表时间步的重要性；通过矩阵β来筛选每个时间步的隐状态，得到文本隐状态编码 特征：T＝βH；利用矩阵β融合所有时间步的影像空间特征；
Figure BDA0002622999750000067
得到影像诊断 报告。
具体地，本发明可以利用图像描述领域的注意力LSTM模型来实现诊断报告生成。首先 通过全连接层φ(X)将X映射为隐空间特征向量长度dh，并用来初始化LSTM的隐状态ht。为 了学习临床病历与影像的相关性，本发明将特征f作为LSTM在所有时间点的输入，从而保证 LSTM可以不断关注病历信息。同时，通过将影像特征X作为输入来融合文本与图像。LSTM 模型在每个时间步会为X预测显著性矩阵αt，以保留最相关区域。因此，每次将X输入到LSTM 之前，将上一步的显著性矩阵αt通过像素乘法附加到X上，从而实现显著区域的筛选，之后输 入到LSTM中。为了实现理解输出报告上下文，预测诊断报告，LSTM在每个时间步还会以 上一步的预测作为输入。
总体来说，LSTM模块可形式化表示为：
Figure BDA0002622999750000071
其中，
Figure BDA0002622999750000072
代表诊断报告的真实结果，f代表临床病历与结构化数据的融合特征，αt代表上 一步LSTM预测的显著性矩阵，ht-1代表LSTM上一步的隐状态。测试时，使用LSTM预测值
Figure BDA0002622999750000073
的嵌入特征代替
Figure BDA0002622999750000074
表示为：
Figure BDA0002622999750000075
其中，E(·)与临床病历及诊断报告共享文本嵌入模型参数。因此，LSTM通过理解当前的 隐状态、上一步的预测结果和影像特征来实现对于当前状态的推理。当模型训练完成之后， 诊断报告可以通过顺序按照et～p(et|ht)进行生成，并更新隐状态ht。
为了学习语义相关的全局表示，本发明进一步引入时序注意力机制，通过每个时间步的 隐状态学习当前时间步在时间维的重要性，并进一步用于融合时间维的隐状态及影像图像特 征。为了得到时间维重要性,假设时间维所有隐状态为
Figure BDA0002622999750000076
计算重要性矩阵
Figure BDA0002622999750000077
β＝Softmax(W2 tanh(W1H))
其中，W1是一个s×dh的矩阵，而W2是一个r×s的矩阵。通过矩阵W1和W2，模型将原始隐状态转换为r个相似的重要性向量，从而实现类似多头注意力的效果，
Figure BDA0002622999750000078
代表时间 步的重要性。
之后，通过矩阵β来筛选每个时间步的隐状态，得到文本隐状态编码特征：
T＝βH
进一步利用β来融合所有时间步的影像空间特征：
Figure BDA0002622999750000079
由此，可以得到影像诊断报告。
S6，将结构化特征、融合后的输出、转换后的输出以及影像诊断报告进行全连接特征融 合，得到疾病识别结果。
具体地，通过拼接前述文本/结构化融合特征、影像特征、报告特征实现全局特征融合， 并通过全连接实现疾病诊断/预测。
由此可见，本发明实施例提供的基于多模态融合的疾病识别方法，通过融合病历、影像 等多模态数据进行疾病诊断，可以结合多个角度的信息，实现更精确地诊断；提出了跨模态 显著性提取方法，实现有效的多模态信息筛选；提出多模态特征融合方法，有效融合信息， 用于最终疾病诊断。从而，可融合所有的模态数据，有效提高识别准确率；可根据当前医院 环境调整输入模态数据，训练对应模型，从而适应各种医院环境；可通过病历引入医生思考 过程，从而结合医生经验进行诊断。
图2示出了本发明实施例提供的基于多模态融合的疾病识别装置的结构示意图，该基于 多模态融合的疾病识别装置应用上述方法，以下仅对基于多模态融合的疾病识别装置的结构 进行简单说明，其他未尽事宜，请参照上述基于多模态融合的疾病识别方法中的相关描述， 参见图2，本发明实施例提供的基于多模态融合的疾病识别装置，包括：
第一获取模块，用于获取结构化数据，对结构化数据进行特征提取，得到结构化数据特 征；
第二获取模块，用于获取病例文本，利用权重共享的文本嵌入模块学习病历文本，得到 文本特征；
融合模块，用于利用特征嵌入模块将结构化数据特征与文本特征进行双向特征嵌入，利 用特征融合模块将结构化数据特征与文本特征进行双向注意力选择，拼接融合，得到融合后 的输出；
转换模块，用于获取医疗影像，对医疗影像进行特征提取，并进行特征空间转换，得到 转换后的输出；
影像诊断报告生成模块，用于将结构化特征、文本特征以及医疗影像特征进行融合，得 到影像诊断报告；
疾病识别模块，用于将结构化特征、融合后的输出、转换后的输出以及影像诊断报告进 行全连接特征融合，得到疾病识别结果。
作为本发明实施例的一个可选实施方式，第二获取模块通过如下方式获取病例文本，利 用权重共享的文本嵌入模块学习病历文本，得到文本信息：第二获取模块，具体用于将病例 文本的句拆分为词，采用预设词嵌入权重将所有词按顺序输入词嵌入算法，利用卷积神经网 络进行特征提取，得到文本特征。
作为本发明实施例的一个可选实施方式，融合模块通过如下方式利用特征嵌入模块将结 构化数据特征与文本特征进行双向特征嵌入，利用特征融合模块将结构化数据特征与文本特 征进行双向注意力选择，拼接融合，得到融合后的输出：融合模块，具体用于利用如下公式 进行双向特征嵌入：
Figure BDA0002622999750000081
其中，Wi,W1,Wo和bi,b1,bo代表卷积层的卷积核以及偏置，Softmax代表softmax操作，LN代表层 归一化操作；利用如下公式进行双向注意力选择：
Figure BDA0002622999750000091
Figure BDA0002622999750000092
其中，Si,Ti,So代表2个输入流及一个输出，Wd,We,Ws以及bd,be,bs分别代表卷积层的卷积核及偏置；其中，Si为文本特征，Ti为结构化数据特征；将两组So拼接，得到融合后的输出。
作为本发明实施例的一个可选实施方式，影像诊断报告生成模块通过如下方式将结构化 特征、文本特征以及医疗影像特征进行融合，得到影像诊断报告：影像诊断报告生成模块， 具体用于将医疗影像特征映射为隐空间特征向量，长度为dh，初始化图像描述领域的注意力 LSTM模型的隐状态ht；利用如下公式计算隐状态：
Figure BDA0002622999750000093
其中，
Figure BDA0002622999750000094
为 影像诊断报告的真实结果，f为融合后的输出，αt代表上一步LSTM预测的显著性矩阵，X为 转换后的输出，ht-1为LSTM上一步的隐状态；利用如下公式计算重要性矩阵
Figure BDA0002622999750000095
β＝Softmax(W2 tanh(W1H))；其中，W1是s×dh的矩阵，W2是r×s的矩阵；通过矩阵W1和W2， 模型将原始隐状态转换为r个相似的重要性向量，
Figure BDA0002622999750000096
代表时间步的重要性；通过矩阵β来 筛选每个时间步的隐状态，得到文本隐状态编码特征：T＝βH；利用矩阵β融合所有时间步 的影像空间特征；
Figure BDA0002622999750000097
得到影像诊断报告。
由此可见，本发明实施例提供的基于多模态融合的疾病识别方法，通过融合病历、影像 等多模态数据进行疾病诊断，可以结合多个角度的信息，实现更精确地诊断；提出了跨模态 显著性提取方法，实现有效的多模态信息筛选；提出多模态特征融合方法，有效融合信息， 用于最终疾病诊断。从而，可融合所有的模态数据，有效提高识别准确率；可根据当前医院 环境调整输入模态数据，训练对应模型，从而适应各种医院环境；可通过病历引入医生思考 过程，从而结合医生经验进行诊断。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。 因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的 形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储 介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形 式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和 /或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和 /或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指 令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一 个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流 程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工 作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制 造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指 定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或 其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编 程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多 个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接 口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易 失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术 来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机 的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态 随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他 磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中 的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申 请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进 等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种基于多模态融合的疾病识别方法，其特征在于，包括：
获取结构化数据，对所述结构化数据进行特征提取，得到结构化数据特征；
获取病例文本，利用权重共享的文本嵌入模块学习所述病历文本，得到文本特征；
利用特征嵌入模块将所述结构化数据特征与所述文本特征进行双向特征嵌入，利用特征融合模块将所述结构化数据特征与所述文本特征进行双向注意力选择，拼接融合，得到融合后的输出；
获取医疗影像，对所述医疗影像进行特征提取，并进行特征空间转换，得到转换后的输出；
将所述结构化特征、所述文本特征以及所述医疗影像特征进行融合，得到影像诊断报告；
将所述结构化特征、所述融合后的输出、所述转换后的输出以及所述影像诊断报告进行全连接特征融合，得到疾病识别结果。
2.根据权利要求1所述的方法，其特征在于，所述获取病例文本，利用权重共享的文本嵌入模块学习所述病历文本，得到文本信息包括：
将所述病例文本的句拆分为词，采用预设词嵌入权重将所有词按顺序输入词嵌入算法，利用卷积神经网络进行特征提取，得到所述文本特征。
3.根据权利要求1所述的方法，其特征在于，所述利用特征嵌入模块将所述结构化数据特征与所述文本特征进行双向特征嵌入，利用特征融合模块将所述结构化数据特征与所述文本特征进行双向注意力选择，拼接融合，得到融合后的输出包括：
利用如下公式进行双向特征嵌入：
Figure FDA0002622999740000011
其中，Wi，W1，Wo和bi，b1，bo代表卷积层的卷积核以及偏置，Softmax代表softmax操作，LN代表层归一化操作；
利用如下公式进行双向注意力选择：
Figure FDA0002622999740000012
其中，Si，Ti，So代表2个输入流及一个输出，Wd，We，Ws以及bd，be，bs分别代表卷积层的卷积核及偏置；其中，Si为所述文本特征，Ti为所述结构化数据特征；
将两组So拼接，得到所述融合后的输出。
4.根据权利要求1所述的方法，其特征在于，所述将所述结构化特征、所述文本特征以及所述医疗影像特征进行融合，得到影像诊断报告包括：
将所述医疗影像特征映射为隐空间特征向量，长度为dh，初始化图像描述领域的注意力LSTM模型的隐状态ht；
利用如下公式计算隐状态：
Figure FDA0002622999740000021
其中，
Figure FDA0002622999740000022
为影像诊断报告的真实结果，f为所述融合后的输出，αt代表上一步LSTM预测的显著性矩阵，X为所述转换后的输出，ht-1为LSTM上一步的隐状态；
利用如下公式计算重要性矩阵
Figure FDA0002622999740000023
β＝Softmax(W2 tanh(W1H))；
其中，W1是s×dh的矩阵，W2是r×s的矩阵；通过矩阵W1和W2，模型将原始隐状态转换为r个相似的重要性向量，
Figure FDA0002622999740000024
代表时间步的重要性；
通过矩阵β来筛选每个时间步的隐状态，得到文本隐状态编码特征：
T＝βH；
利用矩阵β融合所有时间步的影像空间特征；
Figure FDA0002622999740000025
得到影像诊断报告。
5.一种基于多模态融合的疾病识别装置，其特征在于，包括：
第一获取模块，用于获取结构化数据，对所述结构化数据进行特征提取，得到结构化数据特征；
第二获取模块，用于获取病例文本，利用权重共享的文本嵌入模块学习所述病历文本，得到文本特征；
融合模块，用于利用特征嵌入模块将所述结构化数据特征与所述文本特征进行双向特征嵌入，利用特征融合模块将所述结构化数据特征与所述文本特征进行双向注意力选择，拼接融合，得到融合后的输出；
转换模块，用于获取医疗影像，对所述医疗影像进行特征提取，并进行特征空间转换，得到转换后的输出；
影像诊断报告生成模块，用于将所述结构化特征、所述文本特征以及所述医疗影像特征进行融合，得到影像诊断报告；
疾病识别模块，用于将所述结构化特征、所述融合后的输出、所述转换后的输出以及所述影像诊断报告进行全连接特征融合，得到疾病识别结果。
6.根据权利要求5所述的装置，其特征在于，所述第二获取模块通过如下方式获取病例文本，利用权重共享的文本嵌入模块学习所述病历文本，得到文本信息：
所述第二获取模块，具体用于将所述病例文本的句拆分为词，采用预设词嵌入权重将所有词按顺序输入词嵌入算法，利用卷积神经网络进行特征提取，得到所述文本特征。
7.根据权利要求5所述的装置，其特征在于，所述融合模块通过如下方式利用特征嵌入模块将所述结构化数据特征与所述文本特征进行双向特征嵌入，利用特征融合模块将所述结构化数据特征与所述文本特征进行双向注意力选择，拼接融合，得到融合后的输出：
所述融合模块，具体用于利用如下公式进行双向特征嵌入：
Figure FDA0002622999740000031
Figure FDA0002622999740000032
其中，Wi，W1，Wo和bi，b1，bo代表卷积层的卷积核以及偏置，Softmax代表softmax操作，LN代表层归一化操作；利用如下公式进行双向注意力选择：
Figure FDA0002622999740000033
其中，Si，Ti，So代表2个输入流及一个输出，Wd，We，Ws以及bd，be，bs分别代表卷积层的卷积核及偏置；其中，Si为所述文本特征，Ti为所述结构化数据特征；将两组So拼接，得到所述融合后的输出。
8.根据权利要求5所述的装置，其特征在于，所述影像诊断报告生成模块通过如下方式将所述结构化特征、所述文本特征以及所述医疗影像特征进行融合，得到影像诊断报告：
所述影像诊断报告生成模块，具体用于将所述医疗影像特征映射为隐空间特征向量，长度为dh，初始化图像描述领域的注意力LSTM模型的隐状态ht；利用如下公式计算隐状态：
Figure FDA0002622999740000034
其中，
Figure FDA0002622999740000035
为影像诊断报告的真实结果，f为所述融合后的输出，αt代表上一步LSTM预测的显著性矩阵，X为所述转换后的输出，ht-1为LSTM上一步的隐状态；利用如下公式计算重要性矩阵
Figure FDA0002622999740000036
β＝Softmax(W2tanh(W1H))；其中，W1是s×dh的矩阵，W2是r×s的矩阵；通过矩阵W1和W2，模型将原始隐状态转换为r个相似的重要性向量，
Figure FDA0002622999740000037
代表时间步的重要性；通过矩阵β来筛选每个时间步的隐状态，得到文本隐状态编码特征：T＝βH；利用矩阵β融合所有时间步的影像空间特征；
Figure FDA0002622999740000038
得到影像诊断报告。
CN202010788745.4A 2020-08-07 2020-08-07 一种基于多模态融合的疾病识别方法及装置 Active CN111916207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010788745.4A CN111916207B (zh) 2020-08-07 2020-08-07 一种基于多模态融合的疾病识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010788745.4A CN111916207B (zh) 2020-08-07 2020-08-07 一种基于多模态融合的疾病识别方法及装置

Publications (2)

Publication Number Publication Date
CN111916207A true CN111916207A (zh) 2020-11-10
CN111916207B CN111916207B (zh) 2023-08-08

Family

ID=73283263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010788745.4A Active CN111916207B (zh) 2020-08-07 2020-08-07 一种基于多模态融合的疾病识别方法及装置

Country Status (1)

Country Link
CN (1) CN111916207B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507995A (zh) * 2021-02-05 2021-03-16 成都东方天呈智能科技有限公司 一种跨模型人脸特征向量的转换系统及方法
CN112530578A (zh) * 2020-12-02 2021-03-19 中国科学院大学宁波华美医院 基于多模态信息融合的病毒性肺炎智能诊断系统
CN112784801A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于文本和图片的双模态胃部疾病分类方法及装置
CN112908473A (zh) * 2021-03-24 2021-06-04 平安科技（深圳）有限公司 基于模型的数据处理方法、装置、计算机设备和存储介质
CN112949757A (zh) * 2021-03-30 2021-06-11 太原理工大学 一种多模态的心力衰竭的识别分类方法及装置
CN113380360A (zh) * 2021-06-07 2021-09-10 厦门大学 一种基于多模态病历图的相似病历检索方法及系统
CN113384261A (zh) * 2021-05-28 2021-09-14 华南理工大学 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统
CN113470777A (zh) * 2021-06-04 2021-10-01 江苏大学 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质
CN113707309A (zh) * 2021-08-31 2021-11-26 平安科技（深圳）有限公司 基于机器学习的疾病预测方法及装置
CN113743414A (zh) * 2021-08-02 2021-12-03 清华大学 基于语义编码的病灶识别方法、装置及系统
CN114188021A (zh) * 2021-12-13 2022-03-15 浙江大学 一种基于多模态融合的儿童肠套叠诊断智能分析系统
CN114565826A (zh) * 2022-04-28 2022-05-31 南京绿色科技研究院有限公司 一种农业病虫害识别诊断方法、系统及装置
CN115131642A (zh) * 2022-08-30 2022-09-30 之江实验室 一种基于多视子空间聚类的多模态医学数据融合系统
WO2022227294A1 (zh) * 2021-04-30 2022-11-03 山东大学 一种基于多模态融合的疾病风险预测方法和系统
CN115830017A (zh) * 2023-02-09 2023-03-21 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
CN116543918A (zh) * 2023-07-04 2023-08-04 武汉大学人民医院（湖北省人民医院） 多模态疾病特征的提取方法及装置
WO2023173538A1 (zh) * 2022-03-16 2023-09-21 平安科技（深圳）有限公司 阿尔兹海默症评估方法、系统、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN108717439A (zh) * 2018-05-16 2018-10-30 哈尔滨理工大学 一种基于注意力机制和特征强化融合的中文文本分类方法
CN108961215A (zh) * 2018-06-05 2018-12-07 上海大学 基于多模态医学影像的帕金森病辅助诊断系统和方法
CN109344288A (zh) * 2018-09-19 2019-02-15 电子科技大学 一种基于多模态特征结合多层注意力机制的结合视频描述方法
CN109543719A (zh) * 2018-10-30 2019-03-29 浙江大学 基于多模态注意力模型的宫颈非典型病变诊断模型和装置
CN109785409A (zh) * 2018-12-29 2019-05-21 武汉大学 一种基于注意力机制的图像-文本数据融合方法和系统
CN109858540A (zh) * 2019-01-24 2019-06-07 青岛中科智康医疗科技有限公司 一种基于多模态融合的医学图像识别系统及方法
CN109934415A (zh) * 2019-03-22 2019-06-25 中国科学院重庆绿色智能技术研究院 一种基于跨模态深度学习的围术期危重事件预测方法
CN109992686A (zh) * 2019-02-24 2019-07-09 复旦大学 基于多角度自注意力机制的图像-文本检索系统及方法
CN110298383A (zh) * 2019-05-28 2019-10-01 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
CN110458282A (zh) * 2019-08-06 2019-11-15 齐鲁工业大学 一种融合多角度多模态的图像描述生成方法及系统
CN110866401A (zh) * 2019-11-18 2020-03-06 山东健康医疗大数据有限公司 基于注意力机制的中文电子病历命名实体识别方法及系统
CN110874392A (zh) * 2019-11-20 2020-03-10 中山大学 基于深度双向注意力机制的文本网络信息融合嵌入方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN108717439A (zh) * 2018-05-16 2018-10-30 哈尔滨理工大学 一种基于注意力机制和特征强化融合的中文文本分类方法
CN108961215A (zh) * 2018-06-05 2018-12-07 上海大学 基于多模态医学影像的帕金森病辅助诊断系统和方法
CN109344288A (zh) * 2018-09-19 2019-02-15 电子科技大学 一种基于多模态特征结合多层注意力机制的结合视频描述方法
CN109543719A (zh) * 2018-10-30 2019-03-29 浙江大学 基于多模态注意力模型的宫颈非典型病变诊断模型和装置
CN109785409A (zh) * 2018-12-29 2019-05-21 武汉大学 一种基于注意力机制的图像-文本数据融合方法和系统
CN109858540A (zh) * 2019-01-24 2019-06-07 青岛中科智康医疗科技有限公司 一种基于多模态融合的医学图像识别系统及方法
CN109992686A (zh) * 2019-02-24 2019-07-09 复旦大学 基于多角度自注意力机制的图像-文本检索系统及方法
CN109934415A (zh) * 2019-03-22 2019-06-25 中国科学院重庆绿色智能技术研究院 一种基于跨模态深度学习的围术期危重事件预测方法
CN110298383A (zh) * 2019-05-28 2019-10-01 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
CN110458282A (zh) * 2019-08-06 2019-11-15 齐鲁工业大学 一种融合多角度多模态的图像描述生成方法及系统
CN110866401A (zh) * 2019-11-18 2020-03-06 山东健康医疗大数据有限公司 基于注意力机制的中文电子病历命名实体识别方法及系统
CN110874392A (zh) * 2019-11-20 2020-03-10 中山大学 基于深度双向注意力机制的文本网络信息融合嵌入方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
于玉海等: "跨模态多标签生物医学图像分类建模识别", 《中国图象图形学报》 *
于玉海等: "跨模态多标签生物医学图像分类建模识别", 《中国图象图形学报》, vol. 23, no. 6, 30 June 2018 (2018-06-30), pages 917 - 927 *
张华丽;康晓东;李博;王亚鸽;刘汉卿;白放;: "结合注意力机制的Bi-LSTM-CRF中文电子病历命名实体识别", 计算机应用, no. 1 *
申自强: "一种基于图文融合的跨模态社交媒体情感分析方法", 《软件导刊》 *
申自强: "一种基于图文融合的跨模态社交媒体情感分析方法", 《软件导刊》, vol. 18, no. 1, 31 January 2019 (2019-01-31), pages 9 - 16 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112530578A (zh) * 2020-12-02 2021-03-19 中国科学院大学宁波华美医院 基于多模态信息融合的病毒性肺炎智能诊断系统
CN112784801A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于文本和图片的双模态胃部疾病分类方法及装置
CN112507995A (zh) * 2021-02-05 2021-03-16 成都东方天呈智能科技有限公司 一种跨模型人脸特征向量的转换系统及方法
CN112908473A (zh) * 2021-03-24 2021-06-04 平安科技（深圳）有限公司 基于模型的数据处理方法、装置、计算机设备和存储介质
CN112949757A (zh) * 2021-03-30 2021-06-11 太原理工大学 一种多模态的心力衰竭的识别分类方法及装置
WO2022227294A1 (zh) * 2021-04-30 2022-11-03 山东大学 一种基于多模态融合的疾病风险预测方法和系统
CN113384261A (zh) * 2021-05-28 2021-09-14 华南理工大学 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统
CN113470777A (zh) * 2021-06-04 2021-10-01 江苏大学 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质
CN113470777B (zh) * 2021-06-04 2024-04-09 江苏大学 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质
CN113380360A (zh) * 2021-06-07 2021-09-10 厦门大学 一种基于多模态病历图的相似病历检索方法及系统
CN113743414A (zh) * 2021-08-02 2021-12-03 清华大学 基于语义编码的病灶识别方法、装置及系统
CN113743414B (zh) * 2021-08-02 2022-08-05 清华大学 基于语义编码的病灶识别方法、装置及系统
CN113707309A (zh) * 2021-08-31 2021-11-26 平安科技（深圳）有限公司 基于机器学习的疾病预测方法及装置
CN114188021A (zh) * 2021-12-13 2022-03-15 浙江大学 一种基于多模态融合的儿童肠套叠诊断智能分析系统
CN114188021B (zh) * 2021-12-13 2022-06-10 浙江大学 一种基于多模态融合的儿童肠套叠诊断智能分析系统
WO2023173538A1 (zh) * 2022-03-16 2023-09-21 平安科技（深圳）有限公司 阿尔兹海默症评估方法、系统、设备及存储介质
CN114565826B (zh) * 2022-04-28 2022-07-22 南京绿色科技研究院有限公司 一种农业病虫害识别诊断方法、系统及装置
CN114565826A (zh) * 2022-04-28 2022-05-31 南京绿色科技研究院有限公司 一种农业病虫害识别诊断方法、系统及装置
CN115131642A (zh) * 2022-08-30 2022-09-30 之江实验室 一种基于多视子空间聚类的多模态医学数据融合系统
CN115830017A (zh) * 2023-02-09 2023-03-21 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
CN115830017B (zh) * 2023-02-09 2023-07-25 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
CN116543918A (zh) * 2023-07-04 2023-08-04 武汉大学人民医院（湖北省人民医院） 多模态疾病特征的提取方法及装置
CN116543918B (zh) * 2023-07-04 2023-09-22 武汉大学人民医院（湖北省人民医院） 多模态疾病特征的提取方法及装置

Also Published As

Publication number Publication date
CN111916207B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN111916207B (zh) 一种基于多模态融合的疾病识别方法及装置
Xue et al. Multimodal recurrent model with attention for automated radiology report generation
AU2019200270B2 (en) Concept mask: large-scale segmentation from semantic concepts
US20210335469A1 (en) Systems and Methods for Automatically Tagging Concepts to, and Generating Text Reports for, Medical Images Based On Machine Learning
CN112949786B (zh) 数据分类识别方法、装置、设备及可读存储介质
US11031103B2 (en) Personalized questionnaire for health risk assessment
WO2020016736A1 (en) Knockout autoencoder for detecting anomalies in biomedical images
US11663057B2 (en) Analytics framework for selection and execution of analytics in a distributed environment
US10892056B2 (en) Artificial intelligence based alert system
US20220059200A1 (en) Deep-learning systems and methods for medical report generation and anomaly detection
US11334806B2 (en) Registration, composition, and execution of analytics in a distributed environment
Beddiar et al. Automatic captioning for medical imaging (MIC): a rapid review of literature
US20210406640A1 (en) Neural Network Architecture for Performing Medical Coding
Azad et al. Foundational models in medical imaging: A comprehensive survey and future vision
Kaswan et al. AI-based natural language processing for the generation of meaningful information electronic health record (EHR) data
KR20190139722A (ko) 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법 및 장치
Sirshar et al. Attention based automated radiology report generation using CNN and LSTM
US20200027530A1 (en) Simulating Patients for Developing Artificial Intelligence Based Medical Solutions
CN115271093A (zh) 用于多任务用户界面建模的基于神经网络的多模态变换器
Yan et al. Hierarchical interpretation of neural text classification
Kaur et al. CheXPrune: sparse chest X-ray report generation model using multi-attention and one-shot global pruning
Hartsock et al. Vision-language models for medical report generation and visual question answering: A review
CN116843995A (zh) 细胞影像学预训练模型构建方法和装置
US11809826B2 (en) Assertion detection in multi-labelled clinical text using scope localization
Tang et al. Work like a doctor: Unifying scan localizer and dynamic generator for automated computed tomography report generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant