CN116844717A - 一种基于分层多标签模型的医疗建议推荐方法、系统、设备 - Google Patents

一种基于分层多标签模型的医疗建议推荐方法、系统、设备 Download PDF

Info

Publication number
CN116844717A
CN116844717A CN202311122550.6A CN202311122550A CN116844717A CN 116844717 A CN116844717 A CN 116844717A CN 202311122550 A CN202311122550 A CN 202311122550A CN 116844717 A CN116844717 A CN 116844717A
Authority
CN
China
Prior art keywords
label
model
layered
sub
medical advice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311122550.6A
Other languages
English (en)
Other versions
CN116844717B (zh
Inventor
吴俊嶺
张瀚文
赵志状
孙刚
王淑芳
栾哲
陈俊
李丛勇
张伟
陈怡�
张嘉琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Medical Center of PLA General Hospital
Original Assignee
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Medical Center of PLA General Hospital filed Critical First Medical Center of PLA General Hospital
Priority to CN202311122550.6A priority Critical patent/CN116844717B/zh
Publication of CN116844717A publication Critical patent/CN116844717A/zh
Application granted granted Critical
Publication of CN116844717B publication Critical patent/CN116844717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及智能医疗领域，具体涉及一种基于分层多标签模型的医疗建议推荐方法、系统、设备。包括获取数据样本及样本标签；将所述数据样本及样本标签输至构建好的分层多标签模型中得到分层决策路径；所述分层多标签模型的构建过程包括：获取疾病数据集及分层多标签；将所述疾病数据集及分层多标签输至预训练大模型中进行编码得到编码向量；将所述编码向量输至编码生成器中生成分层多标签，所述分层多标签通过映射至树形结构对应的节点上得到分层决策路径，其中，所述编码生成器通过疾病诊断指南判断所述编码向量的活动性。本申请构建的分层多标签模型不仅能获得医疗决策建议同时能够得到决策的依据，为医师提供初步诊断结果，具有很好临床意义。

Description

一种基于分层多标签模型的医疗建议推荐方法、系统、设备
技术领域
本申请涉及智能医疗领域，具体涉及一种基于分层多标签模型的医疗建议推荐方法、系统、设备、计算机可读存储介质。
背景技术
计算机算法的发展为医疗文本领域的应用提供重要的贡献，医学文本数据包含了大量的医疗报告、病历、研究论文等内容，利用自然语言处理技术，可以有效地处理和分析这些复杂的医疗文本数据，为医生、研究人员和患者提供更好的医疗服务和健康管理。但是在处理医学文本时存在一些问题，比如临床笔记嘈杂，语法容易错误，并且句子较短且不完整，其中包含的上下文语义少。其次，传统临床决策支持系统的构建包括端到端、两阶段（先进行命名实体识别和文本提取，再学习专家共识）方法来预测决策类别。事实证明，这些方法可以在某些场景下提高模型性能，但可能会牺牲模型的可解释性。最后，传统算法或者模型在给出最终计算结果（即推荐的临床建议）时，无法给出该结果的计算依据，是一种黑箱模型，使得患者无法真正相信由算法/模型而非人工提供的建议，很难实际应用。
发明内容
针对上述问题，本发明以端到端的方式构建临床决策系统的角度着手，提出一种基于分层多标签模型的医疗建议推荐方法，该方法使用了多层次、多标签的可解释分类框架，能提高系统可靠性和系统亲和力，具体包括：
获取数据样本及样本标签；
将所述数据样本及样本标签输至构建好的分层多标签模型中得到分层决策路径；
所述分层多标签模型的构建过程包括：
获取疾病数据集及分层多标签；
将所述疾病数据集及分层多标签输至预训练大模型中进行编码得到编码向量；
将所述编码向量输至编码生成器中生成分层多标签，所述分层多标签通过映射至树形结构对应的节点上得到分层决策路径，其中，所述编码生成器通过疾病诊断专家共识判断所述编码向量的活动性。
进一步，所述活动性包含下列的一种或几种：活动状态、非活动状态；所述活动状态是在判断标签为真时的状态，所述非活动状态是在判断标签为假时的状态，相关公式如下：
= = a(h + )
= = a(h + )
其中a、是整体模型表征参数。
进一步，所述活动状态和所述非活动状态通过评分函数得到真实状态：
（ (1 -)）
= +
其中，是在联合空间中处于活动状态的概率，和为参数。
所述树形结构是指根据疾病诊断专家共识生成的分层多标签决策树，所述分层多标签决策树的节点标签分为主标签和子标签；所述主标签包括下列的一种或几种：正常、癌症、息肉、肠道准备不足、其他或无法匹配，所述子标签包括：增生性息肉、锯齿状腺瘤、腺瘤性息肉、炎症、外科就诊、消化内科就诊、直肠或乙状结肠、有蒂、数量＞10或多发息肉、数量：3-10、数量：1-2、带绒毛或高度异型增生、无绒毛且无高度异型增生、最大直径＜10mm且无异型增生、最大直径＜10mm、最大直径≥10mm、1年、1-2年、1-3年、2-3年、5-10年。
进一步，所述子标签中包括第一子标签、第二子标签、第三子标签、第四子标签、第五子标签，所述第一子标签包括：增生性息肉、锯齿状腺瘤、腺瘤性息肉、炎症、5-10年、外科就诊、消化内科就诊；第二子标签包括：直肠或乙状结肠、有蒂、数量＞10或多发息肉、数量：3-10、数量：1-2；第三子标签包括：带绒毛或高度异型增生、无绒毛且无高度异型增生、最大直径＜10mm、最大直径＜10mm且无异型增生；第四子标签包括：最大直径＜10mm、最大直径≥10mm；第五子标签包括：1年、1-2年、1-3年、2-3年、5-10年。
所述预训练大模型采用下列的一种或几种：文心一言、通义千问、ChatGPT、PaLM-E、Meena、LaMDA。
所述方法还包括使用预测器对所述分层多标签进行预测得到预测标签，所述预测标签通过概念概率向量进行概念解释得到最终的医疗建议。
本申请的目的在于提供一种基于分层多标签模型的医疗建议推荐系统，包括：
数据获取模块：数据样本及样本标签；
疾病辅助诊断模块：将所述数据样本及样本标签输至构建好的分层多标签模型中得到分层决策路径；
模型构建模块：所述分层多标签模型的构建过程包括：
获取疾病数据集及分层多标签；
将所述疾病数据集及分层多标签输至预训练大模型中进行编码得到编码向量；
将所述编码向量输至编码生成器中生成分多层标签，所述分层多标签通过映射至树形结构对应的节点上得到分层决策路径，其中，所述编码生成器通过疾病诊断专家共识判断所述编码向量的活动性。
本申请的目的在于提供一种基于分层多标签模型的医疗建议推荐设备，包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现任意一项上述的基于分层多标签模型的医疗建议推荐方法。
本申请的目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项上述的基于分层多标签模型的医疗建议推荐方法。
本申请的优势：
1.本申请采用了分层多标签的模型架构，通过构建分层多标签决策任务树对数据进行分层分类，每一个标签代表一个语义点，作为医学证据评估的节点，使得该模型不仅能在高效准确获得预测结果的同时还给出了预测结果的依据，即决策证据链，这与传统方式完全不同，避免了黑箱问题，提高了模型的可信任度。
2.本申请的模型架构中瓶颈输出层的输出是以人类可以理解的语义进行展现的，具有可解释性，为提供医学决策证据链提供重要基础，提高了模型的可靠性。
2.本申请采用预训练大模型对分层标签进行编码，该方式能将标签划分为不同等级，捕获标签间的依赖性和分层结构，提高模型的理解和预测能力，同时节约模型训练的时间。
4.本申请对模型架构中瓶颈输出层的输出做进一步预测，预测使用的预测器是可解释性预测器，通过预测获得最终的医疗建议，有助于医疗疾病的治疗，为医师的诊断提供参考，具有重要的临床价值。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的基于分层多标签模型的医疗建议推荐方法流程示意图；
图2为本发明实施例提供的基于分层多标签模型的医疗建议推荐系统示意图；
图3为本发明实施例提供的基于分层多标签模型的医疗建议推荐设备示意图；
图4为本发明实施例提供的模型架构图；
图5为本发明实施例提供的研究流程图；
图6为本发明实施例提供的分层多标签任务决策树结构及决策路径图；
图7为本发明实施例提供的肠镜检查报告示例图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图1本发明实施例提供的基于分层多标签模型的医疗建议推荐方法示意图，具体包括：
获取数据样本及样本标签；
将所述数据样本及样本标签输至构建好的分层多标签模型中得到分层决策路径；
在一个具体实施例中，本发明提出一种自然语言处理算法模型，有效解决目前传统算法在中文领域识别准确率低，语义理解容易出现偏差的问题，尤其是医疗文本语义环境复杂，对结果准确度要求高等特点。其中，主要针对肠镜报告文本。
在一个具体实施例中，本发明提出的模型构建了一种新型架构，如图4所示，主要包括四个部分，隐匿编码层，嵌入编码生成器、瓶颈输出层以及结果预测层。
所述分层多标签模型的构建过程包括：
S101：获取疾病数据集及分层多标签；
在一个实施例中，标签之间具有层次结构在很多现实问题中都有表现，其中，一个标签可以被特殊化为子类或者被一个父类所包含，这些类标签以层次结构的形式存储，层次多标签与之前的多标签又称标准平面多标签是不同的，层次的标签是以预定义的层次结构存储的，这带来了不同层级以及相同层级之间的标签之间的内在关系，而对于平面多分类问题不用考虑这种关联关系，层次结构中低的标签受到层级较高的标签的约束。
在一个具体实施例中，本发明使用随机生成的数据集，其中包含2045 名门诊患者在2012年至2016年中国五家三级医院的结肠镜检查记录。数据被随机分为训练集和测试集，每个细粒度类别的比例为7:3。其中包括患者的年龄、性别、结肠镜检查结果、内镜诊断和病理报告。
在一个具体实施例中，数据集在数据提取过程中，可识别的患者信息被删除，每个患者都会获得一个随机生成的唯一序列号。根据以下标准排除不合格数据后：1）息肉/家族性腺瘤性息肉病/遗传性非息肉性结直肠癌综合征的个人或家族史；2）手术切除结肠的任何部分；3）数据不完整；4）同一人多次访问，仅包含2012年至2016年的第一个有效数据。
在一个具体实施例中，本申请搭建了标注平台，由专业的临床医生负责对每个样本进行标注。三名临床医生参与了标签过程，两名医生对每个样本的标签做出了决定。如果存在分歧，第三位医生将决定选择两个注释中的哪一个。
在一个具体实施例中，标签设置是基于研究目标和最新的中国专家共识（中国结直肠癌癌前病变和癌前状态处理策略专家共识，https://rs.yiigle.com/CN321463202201/1349457.htm，中华消化内镜杂志, 2022,39(1) : 1-18. DOI: 10.3760/cma.j.cn321463-20211111-00661）的诊断逻辑制定的5个主标签和21个子标签，如表1所示，每个“候选推荐类别”都由多种医学证据组合激活，每个路径标签代表一个语义点，作为医学证据评估的节点。这些途径的最终结果是为每个类别形成一个全面的证据链。
S102：将所述疾病数据集及分层多标签输至预训练大模型中进行编码得到编码向量；
在一个实施例中，预训练是将大规模低成本获取的训练数据放到一起，通过预训练的方法来学习某种共性，比如达到了高中水平。如果某个领域需要大学生水平的模型，那么就需要根据该领域的特殊标记数据进行微调，从而产生该领域的特殊模型，高中水平的模型即大模型。预训练模型是一种迁移学习的应用，对句子每一个成员的上下文进行相关的表示，通过隐式的方式完成了语法语义知识的学习。预训练模型几乎在所有的自然语言处理任务中都取得了不错的成绩，同时预训练模型通过微调的方式具备很强的扩展性，每次在扩展到新场景时，只需要针对这个场景的特定标注数据进行定向的学习，便可以快速的在这个场景进行应用。
在一个具体实施例中，预训练模型在大量文本上进行训练，使它们能够获得全面的语言知识和语义表示。它们擅长处理与上下文相关的语言任务，包括分词和同音消歧，这对中文至关重要。一些预训练模型在多语言数据上进行训练，增强了跨语言知识迁移和适应中文语言特征的能力，即使存在中英文混合文本。此外，医学文本往往涉及复杂的逻辑关系和上下文依赖，并且包含大量的专业术语和概念。这使得医学领域的自然语言处理和文本挖掘更具挑战性。而利用具有医学知识背景的预训练模型可以缓解这些挑战。本申请的实验结果表明，合并预训练模型可以显着提高模型的整体性能。此外，利用不同的预训练模型参数，特别是那些具有医学知识的模型参数，可以进一步提高模型性能。
在一个实施例中，所述预训练大模型采用下列的一种或几种：文心一言、通义千问、ChatGPT、PaLM-E、Meena、LaMDA。
在一个具体实施例中，本发明通过一个现有模型(X)，它可代表任意一种大语言模型，在本申请中利用了包括百度文心一言等大语言模型作为隐匿编码模型，它能够根据已经学到的知识分析文本中的隐匿关系h，h ∈ nhidden，h是 CEM（Commonsense-awareEmpathetic Chatting Machine） 嵌入生成器的输入，它是一个隐匿变量。
在一个具体实施例中，本申请在具体的实验中除百度的大模型，还选择了两个先进的基于 Transformer 的模型，它们拥有可用的中文预训练资源。值得注意的是，在初步实验阶段，本申请还对各种传统机器学习方法和不同网络结构的替代深度学习模型进行了测试。当模型在分层标签设置下运行时，它们会同时对所有标签进行推理。只有当他们预测的标签与特定决策路径完美契合时，才会被视为正确的预测，如图5所示的研究流程，从输入数据集中获取分层多标签，再将数据集及分层多标签分成训练集和测试集，训练集又分别从专家决策标记、transformer模型+最新的中国专家共识+多个训练参数中得到决策结果、模型输出1，对比这两者输出；在测试集中同样分别输至多层标签编码器+预训练模型、专家决策标记得到模型输出2、决策结果，对比这两者输出；此外，对比模型输出1和模型输出2的结果。
在一个具体实施例中，本申请在具体实验中还对比不同模型在分层标签和平面标签的性能，如表2所示。
在一个具体实施例中，本申请特别引入了分层标签编码方法来解决传统多标签分类的局限性。与平等对待所有标签的传统方法不同，分层标签编码策略允许将标签划分为不同级别，捕获它们的依赖性和分层结构，从而提高模型的理解和预测能力。通过融入标签层次结构的信息，根据不同级别的标签逐层训练模型，模型可以学习标签之间的相关性，增强处理多标签任务的能力。
S103： 将所述编码向量输至编码生成器中生成分层多标签，所述分层多标签通过映射至树形结构对应的节点上得到分层决策路径，其中，所述编码生成器通过疾病诊断专家共识判断所述编码向量的活动性。
在一个实施例中，所述活动性包含下列的一种或几种：活动状态、非活动状态；所述活动状态是在判断标签为真时的状态，所述非活动状态是在判断标签为假时的状态，相关公式如下：
= = a(h + )
= = a(h + )
其中a、是整体模型表征参数。
在一个实施例中，所述活动状态和所述非活动状态通过评分函数得到真实状态：
（ (1 -)）
= +
其中，是在联合空间中处于活动状态的概率，和为参数。
在一个实施例中，所述树形结构是指根据疾病诊断专家共识生成的分层多标签决策树，所述分层多标签决策树的节点标签分为主标签和子标签；所述主标签包括下列的一种或几种：正常、癌症、息肉、肠道准备不足、其他或无法匹配，所述子标签包括：增生性息肉、锯齿状腺瘤、腺瘤性息肉、炎症、外科就诊、消化内科就诊、直肠或乙状结肠、有蒂、数量＞10或多发息肉、数量：3-10、数量：1-2、带绒毛或高度异型增生、无绒毛且无高度异型增生、最大直径＜10mm且无异型增生、最大直径＜10mm、最大直径≥10mm、1年、1-2年、1-3年、2-3年、5-10年。
在一个实施例中，所述子标签中包括第一子标签、第二子标签、第三子标签、第四子标签、第五子标签，所述第一子标签包括：增生性息肉、锯齿状腺瘤、腺瘤性息肉、炎症、5-10年、外科就诊、消化内科就诊；第二子标签包括：直肠或乙状结肠、有蒂、数量＞10或多发息肉、数量：3-10、数量：1-2；第三子标签包括：带绒毛或高度异型增生、无绒毛且无高度异型增生、最大直径＜10mm且无异型增生、最大直径＜10mm；第四子标签包括：最大直径＜10mm、最大直径≥10mm；第五子标签包括：1年、1-2年、1-3年、2-3年、5-10年。
在一个实施例中，所述方法还包括使用预测器对所述分层多标签进行预测得到预测标签，所述预测标签通过概念概率向量进行概念解释得到最终的医疗建议。
在一个实施例中，编码生成器采用下列的一种或几种：CEM、ECM、HGNN、KEMP。
在一个实施例中，随机选择患者病例输至分层多标签模型中，该病例得到主标签为：息肉，第一字标签为：腺瘤性息肉，第二子标签为：数量：1-2，第三子标签为：无高度异型增生，第四子标签为：最大直径≤10mm，第五子标签为：1-2年；得到的决策路径为：息肉-腺瘤性息肉-数量：1-2 -无高度异型增生-最大直径≤10mm-1-2年；根据这些标签进行预测，给患者提出可行性预防或治疗方案。
在一个实施例中，不同的路径有不同的临床意义，比如炎症类，对应的治疗方案为无需特殊处理-定期复查；又比如肿瘤类，则分为三种可能，包括数量＞10个、3-10个、1-2个，那么对应的治疗方案则不同，＞10个需要仔细复查，避免遗漏，需要注意切除策略（是否一次性处理完毕）；3-10个需要仔细复查避免遗漏；1-2个可全部处理。
在一个具体实施例中，本申请将最新的中国专家共识的非结构化文本内容根据医学知识构建成具有层次化多级标签的决策任务树，如图6所示，每一个标签处即为一个判据点。然后将数据库中的数据做一个随机抽取，然后经过专家人工标注，赋予抽取出的数据符合其诊断路径的标签以供模型训练学习。
在一个具体实施例中，在模型在生成分层多标签前，对于每个概念（标签），模型学习了两种嵌入的混合，其中每个嵌入表示该概念的活动性，这样有利于模型判断每个嵌入在输入时的状态；本申请用两个嵌入,∈ m 表示概念 ，每个嵌入都有特定的语义：表示其活动状态（概念或者判据为真），而表示其非活动状态（概念或者判据为假），即判断基于专家共识的证据是否被激活，本任务一共设立26个标签，即共有26组。(X)学习潜在表示h，然后模型将 h 输入两个特定于概念的全连接层，这些层学习 m中的两个概念嵌入，即= = a(h + ) 和= = a(h + )。其中a、是整体模型表征参数。
在一个具体实施例中，本申请选择了一个简单的单层神经网络来约束具有大瓶颈的模型中的参数增长。本申请的架构通过可学习且可微分的评分函数（→[0, 1]）来保证嵌入和与真实概念保持一致，该函数经过训练以预测概念在嵌入的联合空间中处于活动状态的概率 = +。为了参数效率，参数 和在所有概念之间共享。一旦计算出这两个语义嵌入，我们就将的最终概念嵌入构造为,和的加权混合：
（ (1 -)）
最后经过这有两个目的：(i) 当第i个概念处于活动状态时，它强制模型仅依赖于，即 = 1（并且在不活动时仅依赖于），从而导致两个不同语义有意义区别的潜在空间。最后，将所有个混合概念嵌入连接起来，从而产生具有 个单位的瓶颈 g(x) = 。是具有解释意义的一层，即瓶颈输出层，在输出结果Y（即最终医疗建议）的同时可以输出层，使得最终输出具有解释性，层是以人类可以理解的语义进行展现，并且能够映射到我们第一部工作构建的树形结构上相应的证据点，最终连城证据链，即可以展现出做出最终判断Y的证据链，如图6所示，在分层多标签树中高亮部分是一条完整的证据链，这样做完全区别于传统模型只给结果的方式，还给出了得出结果的计算依据，使得计算结果更加符合医学的严谨性，实际应用时不仅可以让患者有更高的可信度和依从度，还可以让医生看到模型给出的报告时能迅速核对是否合理。
在一个具体实施例中，被传递给结果预测器以获得下游结果标签，此为结果输出层。在实践中，我们可以使用但不限于由简单线性层参数化的可解释标签预测器，该模型通过其概念概率向量(x) [, · · · ] 为的输出提供基于概念的解释，指示预测的概念活动，并且能够输出最终结果，即医疗建议。
在一个具体实施例中，本申请通过实验验证，表现最好的模型达到了 90.18% 的准确率和 Macro-F1 分数达 69.14%；与非预训练模型相比，使用预训练模型的准确率提高了30-40%；与常见的平面标签策略相比，采用分层多标签编码策略使 Macro-F1 分数提高了 8%，特别是对于少数类样本。此外，本申请研究了每个子类使用分层多标签编码时最佳预训练模型的可解释性和可靠性，具体如表3所示。
在一个具体实施例中，本申请展现了结肠镜检查报告，如图7所示，对肠镜检查报告进行预测，其中应当注意的是即使模型最终预测了1-2年的正确类别，如果预测路径不正确，则定义为预测错误。换句话说，从预测路径：息肉-腺瘤性息肉-数量：3-10-带绒毛或高度异型增生得到1-2年和从预测路径：息肉-腺瘤性息肉-数量：3-10-无绒毛且无高度异型增生-最大直径＜10mm得到1-2年，虽然都得到相同的预测结果，但这两个预测路径不同，产生的原因是不同的，这对于临床医学具有不同的意义，对应后续的治疗方案也存在差异，所以预测路径不正确则定义为预测错误。
图2本发明实施例提供基于分层多标签模型的医疗建议推荐的系统的示意图，具体包括：
应用模块：获取数据样本及样本标签；
将所述数据样本及样本标签输至构建好的分层多标签模型中得到分层决策路径；
所述分层多标签模型的构建过程包括：
模型构建模块：
获取疾病数据集及分层多标签；
将所述疾病数据集及分层多标签输至预训练大模型中进行编码得到编码向量；
将所述编码向量输至编码生成器中生成分层多标签，所述分层多标签通过映射至树形结构对应的节点上得到分层决策路径，其中，所述编码生成器通过疾病诊断专家共识判断所述编码向量的活动性。
图3本发明实施例提供的基于分层多标签模型的医疗建议推荐设备示意图，具体包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行任意一项上述的基于分层多标签模型的医疗建议推荐方法。
一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行任意一项上述的基于分层多标签模型的医疗建议推荐方法。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以改善本方法的性能。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的介质存储可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于分层多标签模型的医疗建议推荐方法，其特征在于，所述方法包括：
获取数据样本及样本标签；
将所述数据样本及样本标签输至构建好的分层多标签模型中得到分层决策路径；
所述分层多标签模型的构建过程包括：
获取疾病数据集及分层多标签；
将所述疾病数据集及分层多标签输至预训练大模型中进行编码得到编码向量；
将所述编码向量输至编码生成器中生成分层多标签，所述分层多标签通过映射至树形结构对应的节点上得到分层决策路径，其中，所述编码生成器通过疾病诊断专家共识判断所述编码向量的活动性。
2.根据权利要求1所述的基于分层多标签模型的医疗建议推荐方法，其特征在于，所述活动性包含下列的一种或几种：活动状态、非活动状态；所述活动状态是在判断标签为真时的状态，所述非活动状态是在判断标签为假时的状态，相关公式如下：
= = a(h + )
= = a(h + )
其中a、是整体模型表征参数。
3.根据权利要求2所述的基于分层多标签模型的医疗建议推荐方法，其特征在于，所述活动状态和所述非活动状态通过评分函数得到真实状态：
（ (1-)）
= +
其中，是在联合空间中处于活动状态的概率，和为参数。
4.根据权利要求1所述的基于分层多标签模型的医疗建议推荐方法，其特征在于，所述树形结构是指根据疾病诊断专家共识生成的分层多标签决策树，所述分层多标签决策树的节点标签分为主标签和子标签；所述主标签包括下列的一种或几种：正常、癌症、息肉、肠道准备不足、其他或无法匹配，所述子标签包括：增生性息肉、锯齿状腺瘤、腺瘤性息肉、炎症、外科就诊、消化内科就诊、直肠或乙状结肠、有蒂、数量＞10或多发息肉、数量：3-10、数量：1-2、带绒毛或高度异型增生、无绒毛且无高度异型增生、最大直径＜10mm且无异型增生、最大直径＜10mm、最大直径≥10mm、1年、1-2年、1-3年、2-3年、5-10年。
5.根据权利要求4所述的基于分层多标签模型的医疗建议推荐方法，其特征在于，所述子标签中包括第一子标签、第二子标签、第三子标签、第四子标签、第五子标签，所述第一子标签包括：增生性息肉、锯齿状腺瘤、腺瘤性息肉、炎症、5-10年、外科就诊、消化内科就诊；第二子标签包括：直肠或乙状结肠、有蒂、数量＞10或多发息肉、数量：3-10、数量：1-2；第三子标签包括：带绒毛或高度异型增生、无绒毛且无高度异型增生、最大直径＜10mm且无异型增生、最大直径＜10mm；第四子标签包括：最大直径＜10mm、最大直径≥10mm；第五子标签包括：1年、1-2年、1-3年、2-3年、5-10年。
6.根据权利要求1所述的基于分层多标签模型的医疗建议推荐方法，其特征在于，所述预训练大模型采用下列的一种或几种：文心一言、通义千问、ChatGPT、PaLM-E、Meena、LaMDA。
7.根据权利要求1所述的基于分层多标签模型的医疗建议推荐方法，其特征在于，所述方法还包括使用预测器对所述分层多标签进行预测得到预测标签，所述预测标签通过概念概率向量进行概念解释得到最终的医疗建议。
8.一种基于分层多标签模型的医疗建议推荐系统，其特征在于，包括：
数据获取模块：数据样本及样本标签；
疾病辅助诊断模块：将所述数据样本及样本标签输至构建好的分层多标签模型中得到分层决策路径；
模型构建模块：所述分层多标签模型的构建过程包括：
获取疾病数据集及分层多标签；
将所述疾病数据集及分层多标签输至预训练大模型中进行编码得到编码向量；
将所述编码向量输至编码生成器中生成分多层标签，所述分层多标签通过映射至树形结构对应的节点上得到分层决策路径，其中，所述编码生成器通过疾病诊断专家共识判断所述编码向量的活动性。
9.一种基于分层多标签模型的医疗建议推荐设备，其特征在于，包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1-7任意一项上述的基于分层多标签模型的医疗建议推荐方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项上述的基于分层多标签模型的医疗建议推荐方法。
CN202311122550.6A 2023-09-01 2023-09-01 一种基于分层多标签模型的医疗建议推荐方法、系统、设备 Active CN116844717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311122550.6A CN116844717B (zh) 2023-09-01 2023-09-01 一种基于分层多标签模型的医疗建议推荐方法、系统、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311122550.6A CN116844717B (zh) 2023-09-01 2023-09-01 一种基于分层多标签模型的医疗建议推荐方法、系统、设备

Publications (2)

Publication Number Publication Date
CN116844717A true CN116844717A (zh) 2023-10-03
CN116844717B CN116844717B (zh) 2023-12-22

Family

ID=88167467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311122550.6A Active CN116844717B (zh) 2023-09-01 2023-09-01 一种基于分层多标签模型的医疗建议推荐方法、系统、设备

Country Status (1)

Country Link
CN (1) CN116844717B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763728A (zh) * 2018-05-24 2018-11-06 西安交通大学 基于并联型深度神经网络分层特征提取的机械故障诊断方法
US20210319387A1 (en) * 2020-04-02 2021-10-14 The Regents Of The University Of Michigan Artificial intelligence based approach for dynamic prediction of injured patient health-state
CN113761197A (zh) * 2021-07-29 2021-12-07 中国科学院计算机网络信息中心 一种可利用专家知识的申请书多标签层次分类方法
US20210397943A1 (en) * 2020-06-18 2021-12-23 Nvidia Corporation Techniques for classification with neural networks
CN114048320A (zh) * 2022-01-12 2022-02-15 成都信息工程大学 一种基于课程学习的多标签国际疾病分类训练方法
CN115545182A (zh) * 2021-06-30 2022-12-30 辉达公司 用于神经网络的预训练框架
CN116010586A (zh) * 2023-02-06 2023-04-25 汤臣倍健股份有限公司 一种健康建议的生成方法、装置、设备及存储介质
CN116386856A (zh) * 2023-06-05 2023-07-04 之江实验室 基于医生决策模式识别的多标签疾病辅助诊断系统
US20230252282A1 (en) * 2022-02-07 2023-08-10 Electronics And Telecommunications Research Institute Method, server, and system for deep metric learning per hierarchical steps of multi-labels and few-shot inference using the same
CN116597950A (zh) * 2023-06-13 2023-08-15 上海应用技术大学 一种医学图像分层方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763728A (zh) * 2018-05-24 2018-11-06 西安交通大学 基于并联型深度神经网络分层特征提取的机械故障诊断方法
US20210319387A1 (en) * 2020-04-02 2021-10-14 The Regents Of The University Of Michigan Artificial intelligence based approach for dynamic prediction of injured patient health-state
US20210397943A1 (en) * 2020-06-18 2021-12-23 Nvidia Corporation Techniques for classification with neural networks
CN115545182A (zh) * 2021-06-30 2022-12-30 辉达公司 用于神经网络的预训练框架
CN113761197A (zh) * 2021-07-29 2021-12-07 中国科学院计算机网络信息中心 一种可利用专家知识的申请书多标签层次分类方法
CN114048320A (zh) * 2022-01-12 2022-02-15 成都信息工程大学 一种基于课程学习的多标签国际疾病分类训练方法
US20230252282A1 (en) * 2022-02-07 2023-08-10 Electronics And Telecommunications Research Institute Method, server, and system for deep metric learning per hierarchical steps of multi-labels and few-shot inference using the same
CN116010586A (zh) * 2023-02-06 2023-04-25 汤臣倍健股份有限公司 一种健康建议的生成方法、装置、设备及存储介质
CN116386856A (zh) * 2023-06-05 2023-07-04 之江实验室 基于医生决策模式识别的多标签疾病辅助诊断系统
CN116597950A (zh) * 2023-06-13 2023-08-15 上海应用技术大学 一种医学图像分层方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUTONG WANG ETC: ""An interpretable deep neural network for colorectal polyp diagnosis under colonoscopy"", 《KNOWLEDGE-BASEDSYSTEMS》, vol. 234 *
曹渝昆 等: ""深层次标签辅助分类任务的层次标签文本分类方法"", 《计算机工程与应用》 *

Also Published As

Publication number Publication date
CN116844717B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
US10929420B2 (en) Structured report data from a medical text report
Lee et al. Machine learning in relation to emergency medicine clinical and operational scenarios: an overview
McMaster et al. Artificial intelligence and deep learning for rheumatologists
US11495332B2 (en) Automated prediction and answering of medical professional questions directed to patient based on EMR
US10936628B2 (en) Automatic processing of ambiguously labeled data
US11636951B2 (en) Systems and methods for generating a genotypic causal model of a disease state
CN109155152B (zh) 临床报告检索和/或比较
Kaswan et al. AI-based natural language processing for the generation of meaningful information electronic health record (EHR) data
CN113096756A (zh) 病情演变分类方法、装置、电子设备和存储介质
WO2019132686A1 (ru) Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта
Ahmad et al. Lightweight ResGRU: a deep learning-based prediction of SARS-CoV-2 (COVID-19) and its severity classification using multimodal chest radiography images
Lian et al. Predicting health-related quality of life change using natural language processing in thyroid cancer
Zheng et al. Exploring deep learning-based approaches for predicting concept names in SNOMED CT
Zaghir et al. Real-world patient trajectory prediction from clinical notes using artificial neural networks and UMLS-based extraction of concepts
Hasan et al. Predicting the outcome of patient-provider communication sequences using recurrent neural networks and probabilistic models
CN116844717B (zh) 一种基于分层多标签模型的医疗建议推荐方法、系统、设备
CN113948201A (zh) 临床决策辅助方法及系统
Kwok et al. Artificial intelligence in perinatal mental health research: A scoping review
Salama et al. An efficient quantification of COVID‐19 in chest CT images with improved semantic segmentation using U‐Net deep structure
CN118315012B (zh) 基于大语言模型的医疗检查结论生成方法和装置
Jin et al. OrthoDoc: Multimodal Large Language Model for Assisting Diagnosis in Computed Tomography
Tong et al. Interpretable Machine Learning Text Classification for Computed Tomography Reports–A Case Study of Temporal Bone Fracture
Saluja et al. Medical Diagnosis From Health Records Using Natural Language Processing (NLP) With Integration of Explainable Artificial Intelligence (XAI)
Phan et al. SDCANet: Enhancing Symptoms-Driven Disease Prediction with CNN-Attention Networks
YI et al. Visual Question Answer System for Skeletal Image Using Radiology Images in the Healthcare Domain Based on Visual and Textual Feature Extraction Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wu Junling

Inventor after: Chen Yi

Inventor after: Zhang Jiaqi

Inventor after: Zhang Hanwen

Inventor after: Zhao Zhizhuang

Inventor after: Sun Gang

Inventor after: Wang Shufang

Inventor after: Luan Zhe

Inventor after: Chen Jun

Inventor after: Li Congyong

Inventor after: Zhang Wei

Inventor before: Wu Junling

Inventor before: Chen Yi

Inventor before: Zhang Jiaqi

Inventor before: Zhang Hanwen

Inventor before: Zhao Zhizhuang

Inventor before: Sun Gang

Inventor before: Wang Shufang

Inventor before: Luan Zhe

Inventor before: Chen Jun

Inventor before: Li Congyong

Inventor before: Zhang Wei

GR01 Patent grant
GR01 Patent grant