CN117012374A - 一种融合事件图谱和深度强化学习的医疗随访系统及方法 - Google Patents

一种融合事件图谱和深度强化学习的医疗随访系统及方法 Download PDF

Info

Publication number
CN117012374A
CN117012374A CN202311280829.7A CN202311280829A CN117012374A CN 117012374 A CN117012374 A CN 117012374A CN 202311280829 A CN202311280829 A CN 202311280829A CN 117012374 A CN117012374 A CN 117012374A
Authority
CN
China
Prior art keywords
clinical
user
action
event
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311280829.7A
Other languages
English (en)
Other versions
CN117012374B (zh
Inventor
李劲松
包飞飞
杨宗峰
史黎鑫
周天舒
田雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202311280829.7A priority Critical patent/CN117012374B/zh
Publication of CN117012374A publication Critical patent/CN117012374A/zh
Application granted granted Critical
Publication of CN117012374B publication Critical patent/CN117012374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种融合事件图谱和深度强化学习的医疗随访系统及方法,该系统包括:特征事件图谱构建模块用于获取第一用户临床特征数据,以构建临床特征事件图谱;随访推荐模块基于临床特征事件图谱,结合预设的状态预测及动作推荐模型,预测出第一用户当前状态信息以及输出对应诊疗动作策略;风险预警模块根据第一用户当前状态信息,从临床特征事件图谱中搜索出相应风险因素并进行预警提示。与现有技术相比,本发明将强化学习和特征事件图谱相结合,能够利用患者的病情动态信息推导与临床特征事件图谱之中的关系和发展情况,进行疾病发展和治疗方案的推演和预测,能够长期动态推演病情发展,并自动及时预测推荐相应治疗方案及预警风险。

Description

一种融合事件图谱和深度强化学习的医疗随访系统及方法
技术领域
本发明涉及医疗管理平台技术领域,尤其是涉及一种融合事件图谱和深度强化学习的医疗随访系统及方法。
背景技术
目前,在临床诊疗结束后,大部分疾病的后续治疗和观察恢复都是一个漫长的过程。医生和患者双方对患者的院后疾病护理、病情观察、居家健康管理等需求越来越高,患者需要了解复查动态,医生也需要定期跟踪病情变化,进行专业性的康复指导。传统普遍的院后随访工作依赖于电话或短信推送等形式,时效性不够、信息不全面、互动性乏力。为此,现在技术通过建立随访系统,包括患者端、医生端与平台端,能够根据病人的疾病类型,遵照临床指南安排用药提醒和随访计划,该随访系统包含患者基本处方信息、用药情况、健康档案、检查数据、医护患者交互记录以及复查提醒等信息,以供医院医生端、患者端使用。
但在实际应用中,随访康复健康管理时间一般以年为单位,随着就诊患者的增多,医疗资源紧缺,一方面医院或者医生很难全面持续追踪观察记录随访病人多年病情变化,信息多有缺失,另一方面,已经收集的大量随访临床数据并未得到一个很系统的整理和应用。此外,现有随访系统只有单一患者的手术疾病史及随访计划,无法动态观测调整病情发展,针对长期慢病管理,特别是肿瘤术后长期居家观察期等,病情都是会有动态发展的,若是进行电话、短信联系,或者医生定期让患者到医院进行随访检查,则存在时间间隔较长、反馈速度慢的问题,对间隔期间的病情反复、用药反应情况等无法做到密切跟踪,患者的反馈周期也会偏于被动,或者间隔很长,直至身体出现反映才会进行就医。
此外,现有随访系统实时记录患者院后观察数据,往往是单一患者病情收集,并未与实际医疗数据相结合。在实际的临床治疗中,每个患者的病因和临床表现都可能存在个体差异,病情表现复杂多变。在医疗资源有限的情况下,医生临床任务负担重,很难兼顾多年累积的大量随访病人需求。一方面病人实时上传自身随访数据后,如果不能进行医生面诊或线上问诊,则很难有参考地进行简单自行判断是否有病情变化。另一方面医生对随访病人的病情判断更多仅仅利用自身专业知识和经验,并未有效利用历史大量历史临床诊疗数据优化临床决策。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种融合事件图谱和深度强化学习的医疗随访系统及方法,能够长期动态推演病情发展,并自动及时预测推荐相应治疗方案及预警风险。
本发明的目的可以通过以下技术方案来实现:一种融合事件图谱和深度强化学习的医疗随访系统,包括特征事件图谱构建模块、随访推荐模块以及风险预警模块,所述特征事件图谱构建模块用于获取第一用户临床特征数据,以构建临床特征事件图谱;
所述随访推荐模块基于临床特征事件图谱,结合预设的状态预测及动作推荐模型,预测出第一用户当前状态信息以及输出对应诊疗动作策略;
所述风险预警模块根据第一用户当前状态信息,从临床特征事件图谱中搜索出相应风险因素并进行预警提示。
进一步地,所述特征图谱构建模块连接有专病数据库,以从专病数据库提取第一用户临床特征数据。
进一步地,所述随访推荐模块和风险预警模块分别连接至用户终端,以将第一用户当前状态信息、对应诊疗动作策略以及风险因素传输至用户终端进行展示。
一种融合事件图谱和深度强化学习的医疗随访方法,包括以下步骤:
S1、获取第一用户临床特征数据,以构建得到第一用户对应的临床特征事件图谱;
S2、搭建深度强化学习模型,从多个预先构建的不同临床特征事件图谱中提取训练数据,对深度强化学习模型进行训练,得到状态预测及动作推荐模型;
S3、将第一用户实时临床信息输入状态预测及动作推荐模型,输出得到第一用户当前状态信息以及对应的诊疗动作策略;
S4、根据第一用户当前状态信息,判断是否存在恶化风险,若存在,则从第一用户临床特征事件图谱中搜索出对应的风险因素、并进行预警提示。
进一步地,所述步骤S1具体包括以下步骤:
S11、获取第一用户临床特征数据,包括基本信息特征、风险因素特征、主诉症状特征、检验指标特征、辅助检查特征、治疗方案特征;
S12、定义临床特征相关事件关系类型,包括并列关系、顺承关系、因果关系、对比关系和共指关系;
S13、将临床特征数据作为节点,将临床特征相关事件关系作为节点间线条,并利用线条的箭头方向及注释信息表征关系类型,由此构建得到第一用户对应的临床特征事件图谱。
进一步地,所述步骤S12中并列关系具体为:一个患者同时发生的两个或多个特征;
顺承关系具体为:在确定的两个特征之间通过时序相关联,发生时间存在一定的重合情况,但之间有逻辑关系或没有逻辑关系;
因果关系具体为:两个特征之间的前因后果联系,前面一个特征会导致后面一个特征的发生;
对比关系具体为:患者特征之间发生转变,是相反或相对关系;
共指关系具体为:患者的两个或多个临床特征代指了同一个现象。
进一步地,所述步骤S13中,若关系类型为共指或并列关系,则节点间线条为直线;
若关系类型为顺承关系,则节点间线条箭头的出发特征先发生,箭头指向特征后发生;
若关系类型为因果关系,则节点间线条箭头的出发特征是箭头指向特征的原因;
若关系类型为对比关系,则节点间线条箭头的出发特征和指向特征互相相反或相对。
进一步地,所述步骤S2中搭建的深度强化学习模型由个体、环境、状态、动作和奖励组成,其中,个体为第一用户,环境为病情发展过程,状态为第一用户的临床特征事件图谱,动作为诊疗动作策略,奖励为诊疗动作策略相应的实时奖励。
进一步地,所述步骤S2具体包括以下步骤:
S21、将临床特征事件图谱进行向量化处理,得到临床特征事件图谱的向量表示,以作为深度强化学习模型的状态;
S22、确定包含多个不同诊疗措施的动作集合;
S23、基于多个预先构建的不同临床特征事件图谱,得到不同第一用户对应的状态序列以及临床特征事件图谱向量表示,以作为训练数据;
S24、分别构建动作价值模型和动作奖励模型,并结合训练数据进行模型训练,得到状态预测及动作推荐模型,其中,动作价值模型的输入为临床特征事件图谱的向量表示,动作价值模型的输出为归一化的向量,向量中的元素为/>,表示在当前状态/>下采取动作/>的长期价值;
动作奖励模型则包括病情发展阶段聚类单元、当前状态分类单元和实时奖励计算单元,所述病情发展阶段聚类单元用于对临床特征事件图谱向量表示集合进行聚类,将病情发展过程划分为多个不同阶段;
所述当前状态分类单元用于确定第一用户实时状态所属的病情发展阶段;
所述实时奖励计算单元用于计算针对第一用户采取相应诊疗动作策略的实时奖励。
进一步地,所述步骤S4具体是通过计算第一用户当前状态对应整体风险值,并将该整体风险值与预设阈值进行比较,若整体风险值大于或等于预设阈值,则判断存在恶化风险,否则判断不存在恶化风险,其中,整体风险值的计算公式为:
其中,为当前状态/>对应整体风险值,/>为在当前状态/>下采取所有动作能得到的最大长期价值,A为所有动作集合。
与现有技术相比,本发明具有以下优点:
一、本发明设置特征事件图谱构建模块、随访推荐模块以及风险预警模块,利用特征事件图谱构建模块获取第一用户临床特征数据,以构建临床特征事件图谱;利用随访推荐模块基于临床特征事件图谱,结合预设的状态预测及动作推荐模型,预测出第一用户当前状态信息以及输出对应诊疗动作策略;利用风险预警模块根据第一用户当前状态信息,从临床特征事件图谱中搜索出相应风险因素并进行预警提示。由此通过构建的临床特征事件图谱,能够结合临床实际上的诊疗和用药表现,并采用深度学习方式,监测到病情的动态演变过程、预测当前状态同时推荐相应诊疗动作策略、以及实现风险预警。
二、本发明中,特征事件图谱模块与专病数据库连接,能够提取出与患者相关的所有临床表现数据,包括基本信息特征、风险因素特征、主诉症状特征、检验指标特征、辅助检查特征、治疗方案特征,再结合定义的特征之间关系,即针对临床特征事件的演变关系和临床应用,制定了事件与事件之间的关系标准,确保了临床特征事件图谱的准确性,能够充分利用各项临床特征以及不同临床特征之间的关系,使得后续深度强化学习模型学习到的患者状态信息更加全面和准确。
三、本发明中,从多个预先构建的不同临床特征事件图谱中提取训练数据,以对深度强化学习模型进行训练,得到状态预测及动作推荐模型,用于预测第一用户当前状态信息以及推荐对应的诊疗动作策略,能够采用实时的临床特征事件图谱作为深度强化学习的状态,通过聚类算法将患者的实时状态划分为病情发展的多个阶段,用于计算各个诊疗动作的奖励,并基于训练数据中大量患者在多次就诊过程中接受的诊疗动作,以及相邻两次就诊记录的状态转换,训练深度强化学习模型。使用训练完成的深度强化学习模型对患者的实时状态进行预测,从而为患者推荐个性化的诊疗动作策略,使得患者能够及时获知自身状态及对应诊疗方案,使得医生能够及时获知患者随访数据,从而协助分析病情及辅助临床决策。
四、本发明根据状态预测及动作推荐模型输出得到的第一用户当前状态信息,通过计算整体风险值,以进一步判断是否存在恶化风险,并对应从临床特征事件图谱中搜索出对应的风险因素进行预警提示。由此能够实现提前风险预警,可对患者的随访检查数据进行动态模拟和及时预警,从而优化医疗资源利用,实现早预警、早发现、早诊断。
附图说明
图1为本发明的系统结构示意图;
图2为本发明的方法流程示意图;
图3为实施例2中专病数据库提取的特征数据示意;
图4为实施例2中构建的临床特征事件图谱;
图中标记说明:1、特征事件图谱构建模块,2、随访推荐模块,3、风险预警模块,4、专病数据库,5、用户终端。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例1
如图1所示,一种融合事件图谱和深度强化学习的医疗随访系统,包括特征事件图谱构建模块1、随访推荐模块2以及风险预警模块3,特征图谱构建模块1连接有专病数据库4,以从专病数据库4提取第一用户临床特征数据,用于构建临床特征事件图谱;
随访推荐模块2基于临床特征事件图谱,结合预设的状态预测及动作推荐模型,预测出第一用户当前状态信息以及输出对应诊疗动作策略;
风险预警模块3根据第一用户当前状态信息,从临床特征事件图谱中搜索出相应风险因素并进行预警提示;
随访推荐模块2和风险预警模块3分别连接至用户终端5,以将第一用户当前状态信息、对应诊疗动作策略以及风险因素传输至用户终端5进行展示。
实施例2
基于实施例1中的医疗随访系统,实现一种融合事件图谱和深度强化学习的医疗随访方法,如图2所示,包括以下步骤:
S1、获取第一用户临床特征数据,以构建得到第一用户对应的临床特征事件图谱;
S2、搭建深度强化学习模型,从多个预先构建的不同临床特征事件图谱中提取训练数据,对深度强化学习模型进行训练,得到状态预测及动作推荐模型;
S3、将第一用户实时临床信息输入状态预测及动作推荐模型,输出得到第一用户当前状态信息以及对应的诊疗动作策略;
S4、根据第一用户当前状态信息,判断是否存在恶化风险,若存在,则从第一用户临床特征事件图谱中搜索出对应的风险因素、并进行预警提示。
本实施例针对女性盆腔肿块病情,女性盆腔肿块是妇科患者最常见的高频疾病类别,在临床诊疗结束后,大部分的疾病,比如慢性炎症、肌瘤、囊肿、肿瘤等,后续治疗和观察恢复都是一个漫长的过程。医生和患者双方对患者的院后疾病护理、病情观察、居家健康管理等需求越来越高。妇科患者还涉及到生育史、月经期、绝经史等特殊档案数据,患者需要了解复查动态,医生也需要定期跟踪病情变化,进行专业性的康复指导。为此本实施例应用上述技术方案,主要内容包括:
构建基于临床症状体征关系图谱模型的个性化随访推荐和风险预测系统,包括临床患者的特征事件图谱构建模块:从盆腔肿块专病库中提取患者临床特征并构建特征之间的事件图谱,主要包括两个步骤:
特征提取。首先定义与患者相关的所有临床表现,根据临床附件肿块专病库数据分类患者特征类型,包括基本信息特征、风险因素特征、主诉症状特征、检验指标特征、辅助检查特征、治疗方案特征。
构建临床特征事件图谱。首先定义患者临床特征相关的事件关系类型包括并列关系、顺承关系、因果关系、对比关系和共指关系。
个性化随访推荐模块:构建对患者个性化随访的深度强化学习模型。采用患者实时的临床特征事件图谱作为深度强化学习的状态,通过聚类算法将患者的实时状态划分为病情发展的多个阶段,用于计算各个诊疗动作的奖励。基于训练数据中大量患者在多次就诊过程中接受的诊疗动作,以及相邻两次就诊记录的状态转换,训练深度强化学习模型。使用训练完成的深度强化学习模型对患者的实时状态进行预测,为患者推荐个性化的诊疗动作。
风险预测模块:利用患者个性化随访的深度强化学习模型计算患者当前状态的整体风险。当整体风险较高时从患者的临床特征事件图谱中找到与当前风险最相关的临床特征,作为当前状态下的风险因素,为医生提供预警信息,便于向患者提供更有针对性的诊疗动作。
具体的,对于特征事件图谱构建模块,首先进行临床特征提取,基于盆腔肿块专病库的临床数据提取,可以将患者门诊及临床信息定义为以下六种特征,如图3所示:(1)基本信息特征,包括患者身高、年龄、体重、BMI等基础个人信息;(2)风险因素特征,包括患者的既往疾病史、既往药物史、家族疾病史、婚育史、月经史等;(3)主诉症状特征,包括患者女性盆腔疾病相关的门诊病情主诉字段,例如“经间期出血”、“阴道出血”、“白带过多”、“停经”、“月经失调”、“腹痛”等;(4)检验指标特征,包括患者做过的所有医学检验指标,例如血常规、凝血功能、生化全套、肿瘤标记物、生殖激素等,包含孕酮、泌乳素、卵泡雌激素、癌胚抗原、甲胎蛋白等各项指标;(5)辅助检查特征,包括子宫附件超声检查、CT、MRI等,其中对描述性文本进行特征字段提取,例如“子宫病灶位置”、“病灶回声”、“血流信号”、“左侧卵巢内部性质”、“右侧附件区囊性病灶”、“积液”等;(6)治疗方案特征,包括患者的手术记录、放化疗及治疗药物、随访记录等信息。
之后构建临床特征事件图谱,基于盆腔肿块专病库提取的临床特征,定义特征之间的事件关系类型可分为以下五种:(1)并列关系,指一个患者同时发生的两个或多个特征,例如特征“患者阴道出血8天”和“发现盆腔包块”;(2)顺承关系,在确定的两个特征之间通过时序相关联,发生时间可以存在一定的重合情况,但之间不一定有逻辑关系,例如特征“患者口服避孕药治疗已2年”和“近一个月腹部隐痛”为顺承关系;(3)因果关系,指两个特征之间的前因后果联系,前面一个特征会导致后面一个特征的发生,例如特征“早孕患者B超左卵巢旁不均质回声包块”和“宫外孕考虑”是因果关系;(4)对比关系,指患者特征之间发生转变,是相反或相对关系,例如特征“患者停经一年余”和“阴道流血2天”是转折关系;(5)共指关系,指患者的两个或多个临床特征代指了同一个现象,例如特征“患者经期不调”和“月经周期紊乱”就是共指关系。如图4所示是本实施例中患者相关的临床特征关系图谱。其中各个节点表示与患者相关的临床特征,节点之间的线条代表关系,线条的箭头方向以及注释代表关系类型:(1)顺承关系,箭头的出发特征先发生,箭头指向特征后发生;(2)因果关系,箭头的出发特征是箭头指向特征的原因;(3)对比关系,箭头的出发特征和指向特征互相相反或相对;(4)直线代表共指和并列关系的两个特征。
针对个性化随访推荐模块,基于深度强化学习构建患者的个性化随访推荐模块,深度强化学习的基本模型就是个体和环境的交互,主要由个体、环境、状态、动作和奖励组成。在个性化随访的应用场景下,深度强化学习中的个体就是患者本人,环境就是盆腔肿块疾病的整个发展过程,患者状态就是由患者的临床特征组成的特征关系图谱,动作就是对患者可能采取的一系列诊疗措施,包括药物、手术、放疗、化疗、辅助检查和维持当前状态。根据患者当前的状态和动作执行策略,对其采取某一项动作,患者会从当前状态转移到新的状态,接着环境会根据新的状态的病情严重程度对该动作给出奖励信号,然后需要根据奖励信号更新动作执行策略。经过多轮的迭代训练,得到根据盆腔肿块患者的实时状态进行个性化随访推荐的最佳动作执行策略。
一、患者状态的向量表示
为了构建个性化随访的深度强化学习模型,首先需要将患者的状态,即临床特征事件图谱进行向量化。首先在临床特征事件图谱中增加一个空白节点,临床特征事件图谱中其他所有节点均通过一条有箭头的边指向空白节点/>,这条边代表的关系定义为“关联关系”。对这个新的临床特征事件图谱中的任意节点/>,用深度学习语言模型计算该节点的初始向量表示/>,本实施例使用的深度学习语言模型为BERT模型。用/>表示节点/>的相邻节点集合,其中包含与/>之间有无向边连接或通过有向箭头指向/>的所有节点。对节点的向量表示进行多次迭代,第/>次迭代的向量表示/>的计算方法为
其中表示第/>次迭代时,相邻节点/>对节点/>的相对重要性,计算公式为:
上式中的分子代表相邻节点对节点/>的绝对重要性,分母为归一化参数,将绝对重要性转换为相对重要性,表示对/>中的所有节点遍历计算并求和。/>表示相邻节点/>和节点/>之间的关系:
表示关系/>对应的矩阵转换参数,通过训练得到。经过/>次迭代得到空白节点/>的最终向量表示/>,即为患者临床特征事件图谱的向量表示。本实施例取/>
二、可能采取的动作集合
动作就是对患者可能采取的一系列诊疗措施,所有动作集合表示为:A={药物1,…,药物n 1,手术1,…,手术n 2,辅助检查1,…,辅助检查n 3,放疗,…,放疗n 4,化疗,…,化疗n 5,维持当前状态 },其中n 1表示可用的药物数量,n 2表示可选的手术项目数量,n 3表示可选的辅助检查数量,n 4表示可选的放疗剂量方案,n 5表示可选的化疗药物方案。
三、深度强化学习模型的训练
准备训练数据。从医院获取所有盆腔肿块的患者,以及他们的多次就诊记录。例如对于患者,将其多次就诊记录分别转换为临床特征事件图谱,并按时间排序,记作患者的状态序列/>,其中/>表示患者第/>次就诊的状态,第/>次就诊的临床特征事件图谱的向量表示记作/>
构建动作价值模型,在给定患者状态的情况下,衡量采取某项动作对于病情长期发展的价值。在深度强化学习中使用神经网络构建动作价值模型,记作,动作价值模型的输入为某次就诊的临床特征事件图谱的向量表示/>,输出的是归一化的向量,即向量中所有元素都大于0且和为1。向量中的元素表示为/>,代表在当前状态/>下采取动作/>的长期价值。本实施例中用多层全连接神经网络来实现动作价值模型/>
构建动作奖励模型,用于衡量采取某项动作对病情马上造成的影响,分为以下几步进行。(1)用聚类的方法将病情发展的过程分为一定数量的阶段。对医院内所有盆腔肿块患者的各次就诊记录分别构建临床特征事件图谱,并计算向量表示,用表示所有事件图谱向量表示的集合,然后对/>进行聚类,形成500个类别/>,其中每个类别就代表患者的盆腔肿块病情的一个阶段,/>越小表示病情越严重,类别/>表示死亡阶段,类别/>表示痊愈阶段。本实施使用的聚类算法为K-means算法。用/>表示第/>个类别中包含的临床特征事件图谱的向量表示的集合。(2)对任意患者的实时状态进行病情阶段的分类。将患者在/>时刻的实时状态/>转换为临床特征事件图谱,并计算其向量表示/>,然后在向量表示集合/>中找到50个与/>的余弦相似度最大的向量表示,然后在这50个向量表示中统计出现次数最多的聚类类别,即为实时状态/>所属的病情发展阶段,记作/>,取值为1到500。(3)计算对患者采取某项动作的实时奖励。在患者第/>时刻的实时状态/>下采取动作后,到达了第/>时刻的状态/>,则采取该动作的实时奖励计算方法为:
深度强化学习模型的训练。训练的主要目标是优化动作价值模型的参数,使得能够准确计算在当前状态下采取每项动作的长期价值。对于某位患者按时间排序的临床特征事件图谱序列/>,从第/>次就诊记录中获取新增的诊疗动作,即代表在实时状态/>下采取的动作/>,然后到达第/>时刻的状态/>,则动作价值模型/>的损失函数为:
上式中表示在状态/>下采取所有动作能得到的最大长期价值,/>为权重参数,本实施例取/>。对训练数据中所有患者的每次就诊记录的状态计算此损失函数,并对动作价值模型/>中的参数进行梯度反向传播,达到优化模型参数的目标。
四、个性化随访推荐
使用训练完成的动作价值模型进行预测,为患者推荐个性化的诊疗动作。由患者自己或医生输入关于患者的实时的临床信息,转换为临床特征事件图谱/>,并计算向量表示/>。将此向量表示输入动作价值模型/>,对动作集合/>中的任意动作/>,可以计算在该状态下采取该动作的长期价值/>。长期价值最高的/>项诊疗动作/>就是为患者个性化随访的推荐结果,本实施例取/>。患者可以根据各项诊疗动作的操作难度,自行选择对应等级的医院,从而达到分级诊疗和优化医疗资源的效果。
针对风险预测模块,在个性化随访推荐的过程中,如果发现患者当前状态的整体风险较高,那么不仅要向其推荐诊疗动作,还要发出预警信息,指出当前状态下明显的风险因素,便于医生更有针对性地进行诊疗。患者当前状态的整体风险为:
上式中表示在当前状态/>下采取所有动作能得到的最大长期价值。超出一定的阈值就表示需要提醒患者目前的病情存在较高的恶化风险。本实施例中取该阈值为0.5,计算得到整体风险值大于或等于0.5时,需要从患者的临床特征事件图谱中找到与当前的风险最相关的临床特征,即为当前状态下的风险因素。当前状态/>对应的临床特征事件图谱中的空白节点记作/>,它的相邻节点集合记作/>,如前文所述经过/>次迭代获取/>的最终向量表示,作为事件图谱的向量表示。则相邻节点集合/>中的某一节点/>对/>最终向量表示的贡献量可以表示为/>,其中为第/>次迭代过程中节点/>对/>的相对重要性,/>表示节点/>在第迭代的向量表示的模。将相邻节点集合/>中所有节点按照贡献量排序,取出贡献量最大的若干个节点,这些节点对应的临床特征就是患者当前状态下的风险因素,需要提示医生重点关注,本实施例中设定风险因素的数量为3个。
综上可知,本实施例提出融合临床特征事件图谱和深度强化学习的盆腔肿块病情随访系统。从历年盆腔肿块专病库中提取患者临床信息、影像检验数据、主诉症状、疾病演化过程以及治疗方案药物等特征,并通过机器学习算法推断其中的逻辑关系,构建临床特征事件图谱。构建对盆腔肿块患者进行个性化随访的深度强化学习模型,将患者的多次就诊记录作为时间序列供模型学习,能够充分利用病情随着诊疗措施和时间推移而发展的信息。对于给定的患者临床特征事件图谱,基于院后患者的居家随访数据信息,系统推导当前病情特征与事件图谱之间的逻辑关系和发展趋势,并且使用大量的检验数据、主诉特征进行诊断结果的修正,长期监测病情趋势发展,用患者实时的临床特征事件图谱作为深度强化学习的状态,能够充分利用患者的各项临床特征以及不同临床特征之间的关系,使得模型学习到的患者状态信息更全面和准确。同时充分利用临床诊疗过程中医生的经验性知识,动态调整患者随访计划复查时间,健康风险康复提示以及用药注意事项。对于医生来说,除了他们的专业知识和经验,临床大数据模型可以辅助临床决策支持,协助医生发现问题,增加治疗方式推荐。基于特征模型中算法演化的盆腔肿块良恶性特征变化路径,可以提前预警患者恶性变化的风险趋势。在模型预测的过程中根据患者当前的状态推荐若干项诊疗动作,患者可以根据各项诊疗动作的操作难度自行选择就诊的医院,从而优化医疗资源的使用。基于深度强化学习模型计算患者的整体风险,以及当前与当前风险最相关的风险因素,向患者和医生提出预警信息,有助于患者接受到更有针对性的诊疗措施。
本技术方案针对目前临床随访系统的缺点,设计了基于事件关系图谱学习模型的特征提取算法;
设计了综合考虑患者临床特征演变关系的临床特征事件关系推断算法;
针对患者临床特征事件的演变关系和临床应用制定了事件与事件之间的关系标准,并基于此标准构建了患者临床特征事件图谱,该临床特征事件图谱中,临床特征是病历文本中包含的一种特殊的知识,表达了患者在特定的时间的所有临床表现及记录,临床特征事件图谱指的是以临床特征作为事件,用来描述特征信息以及特征之间各种关系的图谱,临床特征事件图谱能够结合临床实际上的诊疗和用药表现,以及学习到真实世界中的患者病情的动态演变过程;
设计了结合使用患者临床特征事件图谱和盆腔肿块临床数据库,构建临床特征事件强化学习模型,并且使用大量临床患者的诊疗数据对患者实时状态和病情发展进行预测,为患者推荐个性化的诊疗方案,帮助医生辅助临床决策;
设计了个性化随访的深度强化学习模型,能够对患者的事实病情进行精准风险预测,帮助患者进行有效分级诊疗和提前预警,旨在使用计算机模型与深度学习算法结合通用的临床医疗大数据,对患者的院后随访病情进行动态监测,给与诊断建议和用药提醒,协助医生及时发现和分析病情,同时基于专病库数据推演的病情良恶性趋势特征图谱,可对患者的随访检查数据进行动态模拟及时预警,优化医疗资源利用,做到早发现早诊断。
与现有的随访方案相比,本技术方案收集历史临床患者大数据,利用提取的临床特征进行大量数据学习,用了强化学习和特征事件图谱相结合,能够利用患者的病情动态信息推导与临床特征事件图谱之中的关系和发展情况,进行疾病发展和治疗方案的推演和预测,再辅助医生的经验性知识,不仅帮助治疗方案推荐,促进临床决策,风险预测模块还能对患者做到提前风险预警,从而有助于及时准确采取相应的预防措施和治疗策略。

Claims (10)

1.一种融合事件图谱和深度强化学习的医疗随访系统,其特征在于,包括特征事件图谱构建模块(1)、随访推荐模块(2)以及风险预警模块(3),所述特征事件图谱构建模块(1)用于获取第一用户临床特征数据,以构建临床特征事件图谱;
所述随访推荐模块(2)基于临床特征事件图谱,结合预设的状态预测及动作推荐模型,预测出第一用户当前状态信息以及输出对应诊疗动作策略;
所述风险预警模块(3)根据第一用户当前状态信息,从临床特征事件图谱中搜索出相应风险因素并进行预警提示。
2.根据权利要求1所述的一种融合事件图谱和深度强化学习的医疗随访系统,其特征在于,所述特征图谱构建模块连接有专病数据库(4),以从专病数据库(4)提取第一用户临床特征数据。
3.根据权利要求1所述的一种融合事件图谱和深度强化学习的医疗随访系统,其特征在于,所述随访推荐模块(2)和风险预警模块(3)分别连接至用户终端(5),以将第一用户当前状态信息、对应诊疗动作策略以及风险因素传输至用户终端(5)进行展示。
4.一种融合事件图谱和深度强化学习的医疗随访方法,其特征在于,包括以下步骤:
S1、获取第一用户临床特征数据,以构建得到第一用户对应的临床特征事件图谱;
S2、搭建深度强化学习模型,从多个预先构建的不同临床特征事件图谱中提取训练数据,对深度强化学习模型进行训练,得到状态预测及动作推荐模型;
S3、将第一用户实时临床信息输入状态预测及动作推荐模型,输出得到第一用户当前状态信息以及对应的诊疗动作策略;
S4、根据第一用户当前状态信息,判断是否存在恶化风险,若存在,则从第一用户临床特征事件图谱中搜索出对应的风险因素、并进行预警提示。
5.根据权利要求4所述的一种融合事件图谱和深度强化学习的医疗随访方法,其特征在于,所述步骤S1具体包括以下步骤:
S11、获取第一用户临床特征数据,包括基本信息特征、风险因素特征、主诉症状特征、检验指标特征、辅助检查特征、治疗方案特征;
S12、定义临床特征相关事件关系类型,包括并列关系、顺承关系、因果关系、对比关系和共指关系;
S13、将临床特征数据作为节点,将临床特征相关事件关系作为节点间线条,并利用线条的箭头方向及注释信息表征关系类型,由此构建得到第一用户对应的临床特征事件图谱。
6.根据权利要求5所述的一种融合事件图谱和深度强化学习的医疗随访方法,其特征在于,所述步骤S12中并列关系具体为:一个患者同时发生的两个或多个特征;
顺承关系具体为:在确定的两个特征之间通过时序相关联,发生时间存在一定的重合情况,但之间有逻辑关系或没有逻辑关系;
因果关系具体为:两个特征之间的前因后果联系,前面一个特征会导致后面一个特征的发生;
对比关系具体为:患者特征之间发生转变,是相反或相对关系;
共指关系具体为:患者的两个或多个临床特征代指了同一个现象。
7.根据权利要求6所述的一种融合事件图谱和深度强化学习的医疗随访方法,其特征在于,所述步骤S13中,若关系类型为共指或并列关系,则节点间线条为直线;
若关系类型为顺承关系,则节点间线条箭头的出发特征先发生,箭头指向特征后发生;
若关系类型为因果关系,则节点间线条箭头的出发特征是箭头指向特征的原因;
若关系类型为对比关系,则节点间线条箭头的出发特征和指向特征互相相反或相对。
8.根据权利要求5所述的一种融合事件图谱和深度强化学习的医疗随访方法,其特征在于,所述步骤S2中搭建的深度强化学习模型由个体、环境、状态、动作和奖励组成,其中,个体为第一用户,环境为病情发展过程,状态为第一用户的临床特征事件图谱,动作为诊疗动作策略,奖励为诊疗动作策略相应的实时奖励。
9.根据权利要求8所述的一种融合事件图谱和深度强化学习的医疗随访方法,其特征在于,所述步骤S2具体包括以下步骤:
S21、将临床特征事件图谱进行向量化处理,得到临床特征事件图谱的向量表示,以作为深度强化学习模型的状态;
S22、确定包含多个不同诊疗措施的动作集合;
S23、基于多个预先构建的不同临床特征事件图谱,得到不同第一用户对应的状态序列以及临床特征事件图谱向量表示,以作为训练数据;
S24、分别构建动作价值模型和动作奖励模型,并结合训练数据进行模型训练,得到状态预测及动作推荐模型,其中,动作价值模型的输入为临床特征事件图谱的向量表示,动作价值模型的输出为归一化的向量,向量中的元素为/>,表示在当前状态/>下采取动作/>的长期价值;
动作奖励模型则包括病情发展阶段聚类单元、当前状态分类单元和实时奖励计算单元,所述病情发展阶段聚类单元用于对临床特征事件图谱向量表示集合进行聚类,将病情发展过程划分为多个不同阶段;
所述当前状态分类单元用于确定第一用户实时状态所属的病情发展阶段;
所述实时奖励计算单元用于计算针对第一用户采取相应诊疗动作策略的实时奖励。
10.根据权利要求9所述的一种融合事件图谱和深度强化学习的医疗随访方法,其特征在于,所述步骤S4具体是通过计算第一用户当前状态对应整体风险值,并将该整体风险值与预设阈值进行比较,若整体风险值大于或等于预设阈值,则判断存在恶化风险,否则判断不存在恶化风险,其中,整体风险值的计算公式为:,其中,为当前状态/>对应整体风险值,/>为在当前状态/>下采取所有动作能得到的最大长期价值,A为所有动作集合。
CN202311280829.7A 2023-10-07 2023-10-07 一种融合事件图谱和深度强化学习的医疗随访系统及方法 Active CN117012374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311280829.7A CN117012374B (zh) 2023-10-07 2023-10-07 一种融合事件图谱和深度强化学习的医疗随访系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311280829.7A CN117012374B (zh) 2023-10-07 2023-10-07 一种融合事件图谱和深度强化学习的医疗随访系统及方法

Publications (2)

Publication Number Publication Date
CN117012374A true CN117012374A (zh) 2023-11-07
CN117012374B CN117012374B (zh) 2024-01-26

Family

ID=88563929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311280829.7A Active CN117012374B (zh) 2023-10-07 2023-10-07 一种融合事件图谱和深度强化学习的医疗随访系统及方法

Country Status (1)

Country Link
CN (1) CN117012374B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968699A (zh) * 2019-11-01 2020-04-07 数地科技(北京)有限公司 一种基于事理推荐的逻辑图谱构建及预警方法和装置
US20200342968A1 (en) * 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
CN112164460A (zh) * 2020-10-19 2021-01-01 科技谷(厦门)信息技术有限公司 一种基于医疗知识图谱的智能疾病辅助诊断系统
WO2021139247A1 (zh) * 2020-08-06 2021-07-15 平安科技(深圳)有限公司 医学领域知识图谱的构建方法、装置、设备及存储介质
WO2021151327A1 (zh) * 2020-09-09 2021-08-05 平安科技(深圳)有限公司 分诊数据处理方法、装置、设备及介质
CN113436754A (zh) * 2021-07-06 2021-09-24 吴国军 一种智能终端问诊的医疗软件及其方法
CN113449116A (zh) * 2021-06-22 2021-09-28 青岛海信网络科技股份有限公司 一种图谱构建、预警方法、设备及介质
CN113822494A (zh) * 2021-10-19 2021-12-21 平安科技(深圳)有限公司 风险预测方法、装置、设备及存储介质
CN113990495A (zh) * 2021-12-27 2022-01-28 之江实验室 一种基于图神经网络的疾病诊断预测系统
CN114496235A (zh) * 2022-04-18 2022-05-13 浙江大学 一种基于深度强化学习的血透患者干体重辅助调节系统
CN114496234A (zh) * 2022-04-18 2022-05-13 浙江大学 一种基于认知图谱的全科患者个性化诊疗方案推荐系统
CN114639479A (zh) * 2022-03-16 2022-06-17 南京海彬信息科技有限公司 一种基于医疗知识图谱的智能诊断辅助系统
CN114783571A (zh) * 2022-04-06 2022-07-22 北京交通大学 基于深度强化学习的中医动态诊疗方案优化方法及系统
CN116110533A (zh) * 2023-02-27 2023-05-12 之江实验室 基于事件图谱的药物种类和用量推荐系统及方法
CN116246773A (zh) * 2023-03-08 2023-06-09 熙牛医疗科技(浙江)有限公司 一种知识和数据结合的辅助诊疗模型
CN116453706A (zh) * 2023-06-14 2023-07-18 之江实验室 一种基于强化学习的血液透析方案制定方法及系统
CN116469571A (zh) * 2023-04-18 2023-07-21 山东浪潮智慧医疗科技有限公司 一种真实世界数据的专病图谱的构建方法及系统
CN116682553A (zh) * 2023-08-02 2023-09-01 浙江大学 一种融合知识与患者表示的诊断推荐系统
CN116844736A (zh) * 2023-06-21 2023-10-03 山东浪潮智慧医疗科技有限公司 一种基于医学知识图谱的传染病预警方法及系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200342968A1 (en) * 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
CN110968699A (zh) * 2019-11-01 2020-04-07 数地科技(北京)有限公司 一种基于事理推荐的逻辑图谱构建及预警方法和装置
WO2021139247A1 (zh) * 2020-08-06 2021-07-15 平安科技(深圳)有限公司 医学领域知识图谱的构建方法、装置、设备及存储介质
WO2021151327A1 (zh) * 2020-09-09 2021-08-05 平安科技(深圳)有限公司 分诊数据处理方法、装置、设备及介质
CN112164460A (zh) * 2020-10-19 2021-01-01 科技谷(厦门)信息技术有限公司 一种基于医疗知识图谱的智能疾病辅助诊断系统
CN113449116A (zh) * 2021-06-22 2021-09-28 青岛海信网络科技股份有限公司 一种图谱构建、预警方法、设备及介质
CN113436754A (zh) * 2021-07-06 2021-09-24 吴国军 一种智能终端问诊的医疗软件及其方法
CN113822494A (zh) * 2021-10-19 2021-12-21 平安科技(深圳)有限公司 风险预测方法、装置、设备及存储介质
CN113990495A (zh) * 2021-12-27 2022-01-28 之江实验室 一种基于图神经网络的疾病诊断预测系统
CN114639479A (zh) * 2022-03-16 2022-06-17 南京海彬信息科技有限公司 一种基于医疗知识图谱的智能诊断辅助系统
CN114783571A (zh) * 2022-04-06 2022-07-22 北京交通大学 基于深度强化学习的中医动态诊疗方案优化方法及系统
CN114496235A (zh) * 2022-04-18 2022-05-13 浙江大学 一种基于深度强化学习的血透患者干体重辅助调节系统
CN114496234A (zh) * 2022-04-18 2022-05-13 浙江大学 一种基于认知图谱的全科患者个性化诊疗方案推荐系统
CN116110533A (zh) * 2023-02-27 2023-05-12 之江实验室 基于事件图谱的药物种类和用量推荐系统及方法
CN116246773A (zh) * 2023-03-08 2023-06-09 熙牛医疗科技(浙江)有限公司 一种知识和数据结合的辅助诊疗模型
CN116469571A (zh) * 2023-04-18 2023-07-21 山东浪潮智慧医疗科技有限公司 一种真实世界数据的专病图谱的构建方法及系统
CN116453706A (zh) * 2023-06-14 2023-07-18 之江实验室 一种基于强化学习的血液透析方案制定方法及系统
CN116844736A (zh) * 2023-06-21 2023-10-03 山东浪潮智慧医疗科技有限公司 一种基于医学知识图谱的传染病预警方法及系统
CN116682553A (zh) * 2023-08-02 2023-09-01 浙江大学 一种融合知识与患者表示的诊断推荐系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIANG, Y ETC.: "Deep Knowledge Reasoning guided Disease Prediction", 《 2022 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC)》, pages 2695 - 2702 *
YUANYUAN JIA ETC.: "DKDR: An Approach of Knowledge Graph and Deep Reinforcement Learning for Disease Diagnosis", 《IEEE INTERNATIONAL SYMPOSIUM ON PARALLEL AND DISTRIBUTED PROCESSING WITH APPLICATIONS》, pages 1303 - 1308 *
卢严砖;孔祥勇;李星星;徐云舟;吴汶?;陈学武;朱睿琪;: ""医路同行"智能医疗服务平台设计与实现", 软件, no. 01, pages 242 - 247 *

Also Published As

Publication number Publication date
CN117012374B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US7805385B2 (en) Prognosis modeling from literature and other sources
US7844560B2 (en) Personalized prognosis modeling in medical treatment planning
CN107729710A (zh) 医学系统、医学方法及非暂态计算机可读取媒体
US20060173663A1 (en) Methods, system, and computer program products for developing and using predictive models for predicting a plurality of medical outcomes, for evaluating intervention strategies, and for simultaneously validating biomarker causality
US20090062624A1 (en) Methods and systems of delivering a probability of a medical condition
CN110459320A (zh) 一种基于知识图谱的辅助诊疗系统
CN116013534A (zh) 一种基于医学指南和数据的临床辅助决策方法及系统
Song et al. An interpretable knowledge-based decision support system and its applications in pregnancy diagnosis
CN109800881B (zh) 一种基于贝叶斯网络的因果关系判定方法
US20130275050A1 (en) Methods and systems for integrated health systems
CN111429985B (zh) 电子病历数据处理方法及系统
Ashu et al. A novel approach of telemedicine for managing fetal condition based on machine learning technology from IoT-based wearable medical device
Cai et al. RegEMR: a natural language processing system to automatically identify premature ovarian decline from Chinese electronic medical records
CN117012374B (zh) 一种融合事件图谱和深度强化学习的医疗随访系统及方法
Girija et al. Data mining approach for prediction of fibroid disease using neural networks
Berlanga et al. Medical data integration and the semantic annotation of medical protocols
Zhang et al. Agent-based intelligent medical diagnosis system for patients
Xiao Towards evidence-based argumentation graph for clinical decision support
Suha et al. A systematic review and future research agenda on detection of polycystic ovary syndrome (PCOS) with computer-aided techniques
Cheng et al. Geo-SPS: bipartite graph representation for GeoSpatial prenatal survey data
Sardesai et al. Fuzzy logic-Based formalisms for gynecology disease diagnosis
Chidambaram et al. 113 Identifying barriers to HPV-Vaccination in the US Veteran population
Chen et al. Research on the Aided Diagnosis Method of Diseases Based on Domain Semantic Knowledge Bases
Suresh et al. Prior Cardiovascular Disease Detection using Machine Learning Algorithms in Fog Computing
Sardesai et al. Fuzzy logic based web application for gynaecology disease diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant