CN117012370A - 多模态疾病辅助推理系统、方法、终端及存储介质 - Google Patents

多模态疾病辅助推理系统、方法、终端及存储介质 Download PDF

Info

Publication number
CN117012370A
CN117012370A CN202311002225.6A CN202311002225A CN117012370A CN 117012370 A CN117012370 A CN 117012370A CN 202311002225 A CN202311002225 A CN 202311002225A CN 117012370 A CN117012370 A CN 117012370A
Authority
CN
China
Prior art keywords
modal
text
module
entity
vector representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311002225.6A
Other languages
English (en)
Inventor
陈清财
杨扬
褚达文
任鹏宇
刘荣
王斐
张恭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
First Medical Center of PLA General Hospital
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology, First Medical Center of PLA General Hospital filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202311002225.6A priority Critical patent/CN117012370A/zh
Publication of CN117012370A publication Critical patent/CN117012370A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明提供的多模态疾病辅助推理系统、方法、终端及存储介质，具体涉及人工智能技术领域，包括依次连接的多模态信息获取模块、多模态信息预处理模块、实体提取模块、医疗因果知识数据库和多模态分类判别模块，实现了对患者的多种模态信息的预处理、实体提取和模态分类判别，并通过将实体与医疗因果知识数据库中的医疗知识数据进行匹配，然后基于匹配结果，提取各类模态特征，并将各类模态特征按照设定的规则进行拼接，输入分类器获得推理结果。该方案充分利用各类模态特征，提取的实体更准确、全面，能够提高实体与医疗因果知识数据库相匹配的准确率，具有更好的泛化性，推理结果更加精确，有利于提高人工诊断效率。

Description

多模态疾病辅助推理系统、方法、终端及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及的是一种多模态疾病辅助推理系统、方法、终端及存储介质。
背景技术
近年来，由于人工智能尤其是自然语言处理技术的进步，基于深度学习的疾病辅助诊断越系统越来越受到研究界和工业公司的关注。新兴的人工智能技术结合医学数据知识，赋能智慧医疗，可以极大地提升医疗质量和效率。通过学习患者电子病历文本中所蕴含的丰富的临床经验知识，基于深度学习神经网络实现分类预测模型构建疾病辅助诊断系统，能够帮助医生快速准确地作出诊断决策。
目前，基于深度学习的疾病辅助诊断模型多数仅以电子病历文档作为输入，并通过抽取医疗实体，将患者的临床数据，如体征、病征以及检查结果等作为神经网络的输入，输出患者最大概率的推理结果。虽然该方案简单，但是由于仅考虑了文本信息，并没有充分考虑患者的各种形式的检查数据，因而致使对患者的疾病推理结果不够精确。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种多模态疾病辅助推理系统、方法、终端及存储介质，旨在解决现有技术中的基于深度学习的疾病辅助诊断模型存在的推理结果不够精确的问题。
为了实现上述目的，本发明第一方面提供一种多模态疾病辅助推理系统，包括依次连接的多模态信息获取模块、多模态信息预处理模块、实体提取模块、医疗因果知识数据库和多模态分类判别模块，
所述多模态信息获取模块用于获取患者的若干种模态信息，并将所述模态信息中的文本模态信息输入至所述多模态信息预处理模块；
所述多模态信息预处理模块用于对接收到的所述文本模态信息进行预处理，获得预处理后的文本模态信息，并将所述预处理后的文本模态信息输入至所述实体提取模块和所述多模态分类判别模块；
所述实体提取模块用于利用命名实体识别模型提取接收到的所述预处理后的文本模态信息下的实体，并将所述实体输入至所述多模态分类判别模块；
所述医疗因果知识数据库用于存储收集到的目标领域的医疗知识数据；
所述多模态分类判别模块包括多模态分类模型和分类器，用于将接收到的所述实体与所述医疗知识数据进行匹配，若匹配成功，则输出匹配的一阶谓词逻辑规则，否则，调用所述多模态分类模型，将所述预处理后的文本模态信息输入所述多模态分类模型中，提取各类模态特征，并将各类所述模态特征进行拼接，获得拼接后的特征；将所述拼接后的特征输入所述分类器，获得推理结果并输出。
可选的，所述多模态信息预处理模块包括文本清洗单元、文本分词单元和文本切分单元，
所述文本清洗单元用于对所述文本模态信息进行文本清洗，获得清洗后的文本模态信息，并输入至所述文本分词单元；
所述文本分词单元用于基于医学分词库，对所述清洗后的文本模态信息进行分词操作，获得分词后的文本模态信息，并将所述分词后的文本模态信息输入至所述文本切分单元；
所述文本切分单元用于基于预设的窗口，对所述分词后的文本模态信息进行切分，获得所述预处理后的文本模态信息。
可选的，所述实体提取模块包括文本向量表示模块、标签预测模块和实体筛选模块，
所述文本向量表示模块用于将所述预处理后的文本模态信息输入预训练的语言学习模型中，获得文本的向量表示，并将所述文本的向量表示输入至所述标签预测模块；
所述标签预测模块用于将所述文本的向量表示输入所述命名实体识别模型，获得标签序列；并基于所述标签序列中各个标签的概率分布，利用所述命名实体识别模型建立标签之间的约束关系，获得预测标签，并将所述预测标签输入至所述实体筛选模块；
所述实体筛选模块用于根据所述预测标签对文本进行筛选，获得实体。
可选的，构建所述医疗因果知识数据库，包括如下步骤：
收集目标领域的医疗知识数据；
基于一阶谓词逻辑，对收集的所述医疗知识数据进行一阶谓词逻辑转化，获得所述医疗知识数据的一阶谓词逻辑；
利用所述医疗知识数据和所述医疗知识数据的一阶谓词逻辑，构建医疗因果知识数据库。
可选的，所述多模态分类判别模块包括实体及谓词向量表示模块、相似度计算模块和匹配处理模块，
所述实体及谓词向量表示模块用于采用预训练的语言学习模型，对所述实体和所述医疗因果知识数据库中的一阶谓词逻辑进行向量表示，输出实体的向量表示和一阶谓词逻辑的向量表示，并将所述实体的向量表示和所述一阶谓词逻辑的向量表示输入至所述相似度计算模块；
所述相似度计算模块用于计算接收到的所述实体的向量表示和所述一阶谓词逻辑的向量表示的相似度，并将所述相似度输入至所述匹配处理模块；
所述匹配处理模块用于当接收到的所述相似度大于或等于预设的阈值时，将匹配的实体存入所述医疗因果知识数据库中，并输出匹配的一阶谓词逻辑规则。
可选的，所述多模态分类判别模块还包括特征提取单元、特征拼接单元，
所述特征提取单元用于将所述预处理后的文本模态信息输入多模态分类模型中，利用具有滤波作用的卷积层对患者的所述模态信息中的图像模态信息进行特征提取，获得图像特征；采用所述预训练的语言学习模型，获取文本特征及特殊标识符特征；
所述特征拼接单元用于将所述图像特征、所述文本特征及所述特殊标识符特征进行拼接，获得所述拼接后的特征。
可选的，所述将所述图像特征、所述文本特征及所述特殊标识符特征进行拼接，获得拼接后的特征，包括：
所述特殊标识符特征包括用于指示所述图像特征的开始位置的第一向量表示，用于指示图像与文字特征的分割以及输入的结束位置的第二向量表示，以及用于将输入文字补全至预设长度的第三向量表示；
将所述第一向量表示、所述图像特征、所述第二向量表示、所述文本特征、所述第三向量表示和所述第二向量表示依序拼接，获得所述拼接后的特征。
本发明第二方面提供一种多模态疾病辅助推理方法，包括以下步骤：
获取患者的若干种模态信息；
对所述模态信息中的文本模态信息进行预处理，获得预处理后的文本模态信息；
利用命名实体识别模型提取所述预处理后的文本模态信息下的实体，获得实体；
构建医疗因果知识数据库；
将所述实体与所述医疗因果知识数据库中的医疗知识数据进行匹配，若匹配成功，则输出匹配的一阶谓词逻辑规则，否则，调用所述多模态分类模型，将所述预处理后的文本模态信息输入所述多模态分类模型中，提取各类模态特征，并将各类所述模态特征进行拼接，获得拼接后的特征；将所述拼接后的特征输入所述分类器，获得推理结果并输出。
本发明第三方面提供一种智能终端，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的多模态疾病辅助推理程序，所述多模态疾病辅助推理程序被所述处理器执行时实任意一项上述多模态疾病辅助推理系统的功能。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多模态疾病辅助推理程序，所述多模态疾病辅助推理程序被处理器执行时实现任意一项上述多模态疾病辅助推理系统的功能。
与现有技术相比，本方案的有益效果如下：
本发明通过构建依次由多模态信息获取模块、多模态信息预处理模块、实体提取模块、医疗因果知识数据库和多模态分类判别模块连接而成的多模态疾病辅助推理系统，实现了对患者的多种模态信息的预处理、实体提取和模态分类判别，并通过将实体与医疗因果知识数据库中的医疗知识数据进行匹配，然后基于匹配结果，提取各类模态特征，例如图像特征和文本特征，并将各类模态特征按照设定的规则进行拼接，输入分类器获得推理结果。
本发明通过对患者多种模态下的数据进行处理之后，与医疗因果知识数据库中的专家知识数据进行匹配，充分利用各类模态特征，使得提取的实体更准确、全面，从而能够提高实体与医疗因果知识数据库相匹配的准确率，进而使得在新的辅助诊疗环境中的具有更好的泛化性，推理结果更加精确，提高人工诊断效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明多模态疾病辅助推理系统结构示意图；
图2为本发明多模态疾病辅助推理方法流程图；
图3为本发明多模态疾病辅助推理智能终端。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
目前存在的基于深度学习的疾病辅助诊断模型多数是以电子病历文档作为输入，抽取医疗实体，将患者的临床数据，如体征、病征以及检查结果等作为神经网络的输入，给出患者最大概率的推理结果。其过程是纯黑盒过程，结果不具有可解释性，且由于其端到端的性质导致无法充分利用专家知识。而临床诊断中，一般希望能将患者的症状、测试指标等数据与其推理结果之间的推理关系加以体现，同时患者数据不止包含文本模态信息，还包含着大量图像信息。因此，如何融合专家知识与深度学习模型搭建一个具有多样化、多模态功能的疾病辅助诊断系统逐渐成为研究热点。
随着自然语言处理与视觉语言领域的发展，针对上述问题，本发明利用一阶谓词逻辑、命名实体识别方法与多模态分类模型构建了一种多模态肝胆胰疾病辅助推理系统，能够在多模态场景下提供疾病辅助诊断功能，其诊断准确率更高，且应用场景更丰富。我们利用现有一阶谓词逻辑构建方法、命名实体识别方法与多模态分类模型构建了一种多模态肝胆胰疾病辅助推理系统，能够为实际诊疗场景提升诊疗效率和质量。
示例性系统
本发明实施例提供一种多模态疾病辅助推理系统，部署于电脑、服务器等电子设备上，应用领域为医疗诊断等，应用场景为肝胆胰疾病、肺炎疾病、心血管等等各种内、外科疾病的辅助推理。
具体的，本实施例系统的结构示意图，如图1所示，包括依次连接的多模态信息获取模块110、多模态信息预处理模块120、实体提取模块130、医疗因果知识数据库140和多模态分类判别模块150，其中，多模态信息获取模块110用于获取患者的若干种模态信息，并将模态信息中的文本模态信息输入至多模态信息预处理模块120；多模态信息预处理模块120用于对接收到的文本模态信息进行预处理，获得预处理后的文本模态信息，并将预处理后的文本模态信息输入至实体提取模块130；实体提取模块130用于利用命名实体识别模型提取接收到的预处理后的文本模态信息下的实体，获得实体，并将实体输入至多模态分类判别模块150；医疗因果知识数据库140用于存储收集到的患者对应领域的医疗知识数据；多模态分类判别模块150用于将接收到的实体与医疗因果知识数据库140中的医疗知识数据进行匹配，若匹配成功，则输出匹配结果，否则调用多模态分类模型；将预处理后的文本模态信息输入多模态分类模型中，提取各类模态的特征，并将各类模态的特征进行拼接，获得拼接后的特征；将拼接后的特征输入分类器，获得推理结果并输出。
本实施例中的实体指的是在辅助诊疗阶段获得的患者的症状、体征、检查名称、检查指标值等疾病实体。
通过多模态信息获取模块110获取患者多种模态信息，并将模态信息转换为文本模态信息，并将文本模态信息输出至多模态信息预处理模块120。其中，患者多种模态信息包括患者的检查报告、入院病历、影像检查的图像等信息。
通过多模态信息预处理模块120对接收到的文本模态信息进行预处理，获得预处理后的文本模态信息，并将预处理后的文本模态信息输出至实体提取模块130和多模态分类判别模块150。
具体地，多模态信息预处理模块120包括文本清洗单元、文本分词单元和文本切分单元。
文本清洗单元用于采用预设的规则、特定的关键词过滤的方式对患者输入的文本进行过滤，剔除空格、符号、隐私信息等对文本模态信息进行文本清洗，获得清洗后的文本模态信息，并输入至文本分词单元；文本分词单元用于基于医学分词库，利用医学主题词库以及python分词库jieba对接收到的清洗后的文本模态信息进行分词操作，获得分词后的文本模态信息，使得医学主题词尽可能完整，并将分词后的文本模态信息输入至文本切分单元；文本切分单元用于基于预设的窗口，对接收到的分词后的文本模态信息进行切分，获得预处理后的文本模态信息，使得切分后的文本长度满足输入长度。当切分后文本长度小于预设输入窗口大小时，以特殊字符[PAD]补全，其中，[PAD]是一种用于将输入文字补全至规定长度的特殊标识符特征。
实体提取模块130用于利用命名实体识别模型提取接收到的预处理后的文本模态信息下的实体，获得实体，并将实体输出至多模态分类判别模块150。
具体地，实体提取模块130包括文本向量表示模块、标签预测模块和实体筛选模块。
文本向量表示模块用于采用基于BERT预训练的深度学习模型，对预处理后患者文本模态下的信息进行向量表示，输入预先设定长度的文字，输出对应长度的文本的向量表示，其中文字开始位置以[CLS]特殊字符标识，不足部分以特殊字符[PAD]标识，文字结尾以特殊字符[SEP]标识。
标签预测模块用于用于将文本的向量表示输入命名实体识别模型，获得标签序列；并基于标签序列中各个标签的概率分布，利用命名实体识别模型建立标签之间的约束关系，获得预测标签，并将预测标签输入至实体筛选模块。
本实施例采用BIO标注形式，其中B标注代表实体开始位置，I代表实体内部的位置，O代表实体外部，在模型的训练过程中添加标签进行标注，在模型的预测阶段直接预测对应的BIO标签。模型在预测一个字的标签时会返回所有的标签的概率，CRF层用于建立这些概率之间的约束，例如，如果前一个字是O标注(实体外的标注)，那么当前的字就不能是I标注(实体内的标注)。将文本嵌入向量(即文本的向量表示)输入BiLSTM层获得潜在向量表示，其中BiLSTM层为双向的LSTM层，包括一层前向LSTM层和一层反向LSTM层，潜在向量表示如公式(1)-公式(3)所示：
其中，表示前向LSTM层的输出向量表示，/>表示反向LSTM层的输出向量，xi表示输入标签序列中的某个向量，hi表示BiLSTM最终的隐藏状态输出(即潜在向量表示)，由LSTM前向隐藏状态和反向隐藏状态拼接而成。
将获得的所有潜在向量表示hi构成标签序列矩阵h输入CRF层，建立标签之间的约束关系，得到最终的预测结果。具体如公式(4)所示：
其中，γ(h)表示所有可能的标签序列，W和b是两个可学习的权重矩阵，表示给定标签对(yi-1,yi)的权重大小，y′i是当前可能的标签，y′i-1,是上一个文本的可能标签，是两个文本之间可学习的权重矩阵，学到的权重可以用来约束两个标签之间的关系。根据最终输出的标签概率值大小，预测当前位置的标签，n表示标签数量。
实体筛选模块用于根据预测标签对文本进行筛选，获得实体。
本实施例采用的标注标签为BIO形式的标签，选取B和O之间的文字作为完整实体输出，同时输出实体类别。
医疗因果知识数据库140用于存储收集到的目标领域的医疗知识数据。
具体地，构建医疗因果知识数据库140，包括如下步骤：
收集目标领域的医疗知识数据。目标领域的医疗知识数据指的是具体医疗诊断中对应领域中的医疗知识数据，例如专家共识数据、诊疗指南数据等；
构造医疗因果知识数据库。分析收集的医疗领域知识，对医疗领域知识进行一阶谓词逻辑转化，构造医疗因果知识数据的一阶谓词逻辑；利用医疗知识数据和医疗知识数据的一阶谓词逻辑，构建医疗因果知识数据库。其中，一阶谓词逻辑表达式样例如下所示：
ExCo(Biopsy(|LaboratoryExam|),unsure(|Examconclusion|))
→2-3months-VideoFollowUp(|Exam|)
该一阶谓词逻辑表达式含义为：若实验室检查的穿刺活检(Biopsy)的检查结论(ExCo)为不确定(unsure)的情况下，需要做2-3个月的影像随访(VideoFollowUp)，然后根据影像随访的结果进一步判断。
多模态分类判别模块150包括多模态分类模型和分类器，用于将接收到的实体与医疗因果知识数据库140中的医疗知识数据进行匹配，若匹配成功，则输出匹配结果，即匹配的一阶谓词逻辑规则，否则，调用多模态分类模型，将预处理后的文本模态信息输入多模态分类模型中，提取各类模态特征，并将各类模态特征进行拼接，获得拼接后的特征；将拼接后的特征输入分类器，获得推理结果并输出。
具体地，多模态分类判别模块150包括实体及谓词向量表示模块、相似度计算模块、匹配处理模块、特征提取单元和特征拼接单元。
实体及谓词向量表示模块用于采用基于BERT预训练的深度学习模型，对实体和医疗因果知识数据库140中的一阶谓词逻辑进行向量表示，输出实体的向量表示和一阶谓词逻辑的向量表示，并将实体的向量表示和一阶谓词逻辑的向量表示输入至相似度计算模块；
相似度计算模块用于计算接收到的实体的向量表示和一阶谓词逻辑的向量表示的相似度，并将相似度输入至匹配处理模块，相似度的计算具体如公式(5)所示：：
其中，xi和yi分别为模型输出的实体、一阶谓词逻辑的嵌入向量中的元素。
匹配处理模块用于判断余弦相似度与预设的阈值ρx的大小关系，当相似度大于或等于预设的阈值时，即cos(x,y)≥ρx，将匹配的实体存入医疗因果知识数据库140中，并输出匹配的一阶谓词逻辑规则；否则，调用多模态分类模型进行处理。
特征提取单元用于将预处理后的文本模态信息输入多模态分类模型中，利用具有滤波作用的卷积层进行图像特征提取，获得图像特征；采用预训练的语言学习模型，获取文本特征及特殊标识符特征；特征拼接单元用于将图像特征、文本特征及特殊标识符特征进行拼接，获得拼接后的特征。
本实施例中利用具有滤波作用的卷积层进行图像特征提取，通过共享权重卷积核对图像进行卷积运算，提取局部图像特征，同时利用下采样操作将邻近特征合并为一个特征来降低特征的维度，得到图像的高维映射特征，其中，邻近特征指的是图像上指定区域内的特征，下采样是指在该区域内选择值最大的点或区域内值的平均来代表该区域，进而降低图像维度。具体计算如公式(6)所示：：
F＝fcnn(I；θcnn)，F∈RH×W×N (6)
其中，θcnn表示特征提取模块的参数，F表示提取到的特征，N表示特征通道数，I表示给定的图像，其维度为H×W。
采用基于BERT预训练的深度学习模型，将预处理后的文本模态信息输入预训练的语言学习模型中获取对应向量表示，其中包括特殊标识符特征([CLS]，[SEP]，[PAD])的向量表示。将特殊标识符[SEP]位置的向量作为当前文字段的语义表示向量。
其中，[CLS]的向量表示用于指示图像特征的开始，[SEP]的向量表示用于指示图像与文字特征的分割以及输入的结束，[PAD]的向量表示用于将输入文字补全至规定长度。将图像特征、文本特征与特殊标识符特征进行拼接，其拼接以[CLS；图像特征；SEP；文本特征；PAD；SEP]的形式拼接，将拼接后的特征作为输出。
然后，将拼接后的特征输入分类器，输出最后的推理结果。
具体地，将拼接后的特征输入神经网络中的一层全连接层和一层激活层进行疾病预测，且激活层采用Sigmoid函数让预测分数规整到0到1之间，具体计算具体如公式(7)-(8)所示：：
Y＝WmX+bm (7)
其中，X为图像模态特征与文本模态特征拼接后的特征，Wm、bm为可学习权重矩阵，p为最终预测的疾病概率。
若神经网络输出p大于预设的阈值ε(例如0.5或0.7等)，则认为该次预测的结果为正，表示预测结果具备参考价值，否则为负，表示预测结果不具备参考价值。
本实施例中采用的预训练的语言学习模型是基于BERT预训练的深度学习模型，作为其他优选实施例，还可以根据实际应用需要，选择基于BioBERT预训练的深度学习模型等，还可以选择最大正向匹配模型，而不仅限于预训练的语言学习模型。
本方案通过对患者多种模态下的数据进行处理之后，与医疗因果知识数据库中的专家知识数据进行匹配，充分利用各种维度的数据，使得在新的辅助诊疗环境中的具有更好的泛化性，能够适应不同环境下的辅助诊断需求，有利于提升辅助诊断效果。同时，能够为人工诊断提供辅助，提高人工诊断效率，从而提升实际诊疗场景下的诊疗效率和准确性。
示例性方法
如图2所示，对应于上述多模态疾病辅助推理系统，本发明实施例还提供一种多模态疾病辅助推理方法，包括以下步骤：
步骤210：获取患者的若干种模态信息；
步骤220：对模态信息中的文本模态信息进行预处理，获得预处理后的文本模态信息；
步骤230：利用命名实体识别模型提取预处理后的文本模态信息下的实体，获得实体；
步骤240：构建医疗因果知识数据库；
步骤250：将接收到的实体与医疗因果知识数据库中的医疗知识数据进行匹配，若匹配成功，则输出匹配的一阶谓词逻辑规则，否则，调用多模态分类模型，将预处理后的文本模态信息输入多模态分类模型中，提取各类模态特征，并将各类模态特征进行拼接，获得拼接后的特征；将拼接后的特征输入分类器，获得推理结果并输出。
具体的，本实施例中，上述多模态疾病辅助推理系统的具体功能还可以参照上述多模态疾病辅助推理方法中的对应描述，在此不再赘述。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图3所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内部存储器。该非易失性存储介质存储有操作系统和多模态疾病辅助推理程序。该内部存储器为非易失性存储介质中的操作系统和基于多模态疾病辅助推理程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该多模态疾病辅助推理程序被处理器执行时实现上述任意一种多模态疾病辅助推理方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的多模态疾病辅助推理程序，上述多模态疾病辅助推理程序被上述处理器执行时实现本发明实施例提供的任意一种多模态疾病辅助推理系统的功能。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有多模态疾病辅助推理程序，上述多模态疾病辅助推理程序被处理器执行时实现本发明实施例提供的任意一种多模态疾病辅助推理系统的功能。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多模态疾病辅助推理系统，其特征在于，包括依次连接的多模态信息获取模块、多模态信息预处理模块、实体提取模块、医疗因果知识数据库和多模态分类判别模块，
所述多模态信息获取模块用于获取患者的若干种模态信息，并将所述模态信息中的文本模态信息输入至所述多模态信息预处理模块；
所述多模态信息预处理模块用于对接收到的所述文本模态信息进行预处理，获得预处理后的文本模态信息，并将所述预处理后的文本模态信息输入至所述实体提取模块和所述多模态分类判别模块；
所述实体提取模块用于利用命名实体识别模型提取接收到的所述预处理后的文本模态信息下的实体，并将所述实体输入至所述多模态分类判别模块；
所述医疗因果知识数据库用于存储收集到的目标领域的医疗知识数据；
所述多模态分类判别模块包括多模态分类模型和分类器，用于将接收到的所述实体与所述医疗知识数据进行匹配，若匹配成功，则输出匹配的一阶谓词逻辑规则，否则，调用所述多模态分类模型，将所述预处理后的文本模态信息输入所述多模态分类模型中，提取各类模态特征，并将各类所述模态特征进行拼接，获得拼接后的特征；将所述拼接后的特征输入所述分类器，获得推理结果并输出。
2.根据权利要求1所述的多模态疾病辅助推理系统，其特征在于，所述多模态信息预处理模块包括文本清洗单元、文本分词单元和文本切分单元，
所述文本清洗单元用于对所述文本模态信息进行文本清洗，获得清洗后的文本模态信息，并输入至所述文本分词单元；
所述文本分词单元用于基于医学分词库，对所述清洗后的文本模态信息进行分词操作，获得分词后的文本模态信息，并将所述分词后的文本模态信息输入至所述文本切分单元；
所述文本切分单元用于基于预设的窗口，对所述分词后的文本模态信息进行切分，获得所述预处理后的文本模态信息。
3.根据权利要求1所述的多模态疾病辅助推理系统，其特征在于，所述实体提取模块包括文本向量表示模块、标签预测模块和实体筛选模块，
所述文本向量表示模块用于将所述预处理后的文本模态信息输入预训练的语言学习模型中，获得文本的向量表示，并将所述文本的向量表示输入至所述标签预测模块；
所述标签预测模块用于将所述文本的向量表示输入所述命名实体识别模型，获得标签序列；并基于所述标签序列中各个标签的概率分布，利用所述命名实体识别模型建立标签之间的约束关系，获得预测标签，并将所述预测标签输入至所述实体筛选模块；
所述实体筛选模块用于根据所述预测标签对文本进行筛选，获得实体。
4.根据权利要求1所述的多模态疾病辅助推理系统，其特征在于，构建所述医疗因果知识数据库，包括如下步骤：
收集目标领域的医疗知识数据；
基于一阶谓词逻辑，对收集的所述医疗知识数据进行一阶谓词逻辑转化，获得所述医疗知识数据的一阶谓词逻辑；
利用所述医疗知识数据和所述医疗知识数据的一阶谓词逻辑，构建医疗因果知识数据库。
5.根据权利要求1所述的多模态疾病辅助推理系统，其特征在于，所述多模态分类判别模块包括实体及谓词向量表示模块、相似度计算模块和匹配处理模块，
所述实体及谓词向量表示模块用于采用预训练的语言学习模型，对所述实体和所述医疗因果知识数据库中的一阶谓词逻辑进行向量表示，输出实体的向量表示和一阶谓词逻辑的向量表示，并将所述实体的向量表示和所述一阶谓词逻辑的向量表示输入至所述相似度计算模块；
所述相似度计算模块用于计算接收到的所述实体的向量表示和所述一阶谓词逻辑的向量表示的相似度，并将所述相似度输入至所述匹配处理模块；
所述匹配处理模块用于当接收到的所述相似度大于或等于预设的阈值时，将匹配的实体存入所述医疗因果知识数据库中，并输出匹配的一阶谓词逻辑规则。
6.根据权利要求1所述的多模态疾病辅助推理系统，其特征在于，所述多模态分类判别模块包括特征提取单元、特征拼接单元，
所述特征提取单元用于将所述预处理后的文本模态信息输入多模态分类模型中，利用具有滤波作用的卷积层对患者的所述模态信息中的图像模态信息进行特征提取，获得图像特征；采用所述预训练的语言学习模型，获取文本特征及特殊标识符特征；
所述特征拼接单元用于将所述图像特征、所述文本特征及所述特殊标识符特征进行拼接，获得所述拼接后的特征。
7.根据权利要求6所述的多模态疾病辅助推理系统，其特征在于，所述将所述图像特征、所述文本特征及所述特殊标识符特征进行拼接，获得拼接后的特征，包括：
所述特殊标识符特征包括用于指示所述图像特征的开始位置的第一向量表示，用于指示图像与文字特征的分割以及输入的结束位置的第二向量表示，以及用于将输入文字补全至预设长度的第三向量表示；
将所述第一向量表示、所述图像特征、所述第二向量表示、所述文本特征、所述第三向量表示和所述第二向量表示依序拼接，获得所述拼接后的特征。
8.多模态疾病辅助推理方法，其特征在于，包括以下步骤：
获取患者的若干种模态信息；
对所述模态信息中的文本模态信息进行预处理，获得预处理后的文本模态信息；
利用命名实体识别模型提取所述预处理后的文本模态信息下的实体，获得实体；
构建医疗因果知识数据库；
将所述实体与所述医疗因果知识数据库中的医疗知识数据进行匹配，若匹配成功，则输出匹配的一阶谓词逻辑规则，否则，调用所述多模态分类模型，将所述预处理后的文本模态信息输入所述多模态分类模型中，提取各类模态特征，并将各类所述模态特征进行拼接，获得拼接后的特征；将所述拼接后的特征输入所述分类器，获得推理结果并输出。
9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的多模态疾病辅助推理程序，所述多模态疾病辅助推理程序被所述处理器执行时实现如权利要求1-7任意一项所述多模态疾病辅助推理系统的功能。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多模态疾病辅助推理程序，所述多模态疾病辅助推理程序被处理器执行时实现如权利要求1-7任意一项所述多模态疾病辅助推理系统的功能。
CN202311002225.6A 2023-08-09 2023-08-09 多模态疾病辅助推理系统、方法、终端及存储介质 Pending CN117012370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311002225.6A CN117012370A (zh) 2023-08-09 2023-08-09 多模态疾病辅助推理系统、方法、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311002225.6A CN117012370A (zh) 2023-08-09 2023-08-09 多模态疾病辅助推理系统、方法、终端及存储介质

Publications (1)

Publication Number Publication Date
CN117012370A true CN117012370A (zh) 2023-11-07

Family

ID=88565269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311002225.6A Pending CN117012370A (zh) 2023-08-09 2023-08-09 多模态疾病辅助推理系统、方法、终端及存储介质

Country Status (1)

Country Link
CN (1) CN117012370A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289441A (zh) * 2020-11-19 2021-01-29 吾征智能技术(北京)有限公司 一种基于多模态的医学生物特征信息匹配系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289441A (zh) * 2020-11-19 2021-01-29 吾征智能技术(北京)有限公司 一种基于多模态的医学生物特征信息匹配系统
CN112289441B (zh) * 2020-11-19 2024-03-22 吾征智能技术(北京)有限公司 一种基于多模态的医学生物特征信息匹配系统

Similar Documents

Publication Publication Date Title
CN107977361B (zh) 基于深度语义信息表示的中文临床医疗实体识别方法
CN111046668B (zh) 多模态文物数据的命名实体识别方法与装置
CN109165563B (zh) 行人再识别方法和装置、电子设备、存储介质、程序产品
CN112860888B (zh) 一种基于注意力机制的双模态情感分析方法
CN112085012B (zh) 项目名称和类别识别方法及装置
CN109947912A (zh) 一种基于段落内部推理和联合问题答案匹配的模型方法
CN111860193B (zh) 一种基于文本的行人检索自监督视觉表示学习系统及方法
CN113836992B (zh) 识别标签的方法、训练标签识别模型的方法、装置及设备
CN112651940A (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
CN116304984A (zh) 基于对比学习的多模态意图识别方法及系统
CN117012370A (zh) 多模态疾病辅助推理系统、方法、终端及存储介质
Li et al. Adapting clip for phrase localization without further training
CN113255557A (zh) 一种基于深度学习的视频人群情绪分析方法及系统
CN113704396A (zh) 短文本分类方法、装置、设备及存储介质
CN115205880A (zh) 一种医学影像报告生成方法及装置
CN114417836A (zh) 一种基于深度学习的中文电子病历文本语义分割方法
CN112216379A (zh) 一种基于智能联合学习的疾病诊断系统
Wu et al. AGNet: Automatic generation network for skin imaging reports
CN116843995A (zh) 细胞影像学预训练模型构建方法和装置
CN116109980A (zh) 一种基于视频文本匹配的动作识别方法
CN113988274B (zh) 一种基于深度学习的文本智能生成方法
CN114120074B (zh) 基于语义增强的图像识别模型的训练方法和训练装置
CN113887504B (zh) 强泛化性的遥感图像目标识别方法
CN115392474A (zh) 一种基于迭代优化的局部感知图表示学习方法
Hartsock et al. Vision-language models for medical report generation and visual question answering: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination