CN110334843A - 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置 - Google Patents

一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置 Download PDF

Info

Publication number
CN110334843A
CN110334843A CN201910324147.9A CN201910324147A CN110334843A CN 110334843 A CN110334843 A CN 110334843A CN 201910324147 A CN201910324147 A CN 201910324147A CN 110334843 A CN110334843 A CN 110334843A
Authority
CN
China
Prior art keywords
hospitalized
data
medical treatment
hospital
lstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910324147.9A
Other languages
English (en)
Other versions
CN110334843B (zh
Inventor
史玉良
程林
张坤
王新军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910324147.9A priority Critical patent/CN110334843B/zh
Publication of CN110334843A publication Critical patent/CN110334843A/zh
Application granted granted Critical
Publication of CN110334843B publication Critical patent/CN110334843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了时变注意力改进Bi‑LSTM的住院就医行为预测方法及装置。其中，住院就医行为预测方法，包括：从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征；利用提取的住院就医行为特征及其相应权重来构建Bi‑LSTM；基于Bi‑LSTM获取的住院就医状态预测数据，采用注意力机制预生成的医院‑疾病吸引力数据，更新Bi‑LSTM中各个住院就医状态预测数据的权重值；构建时间调整函数；输出多时段多状态住院就医状态预测向量；利用住院就医状态预测向量，构建softmax预测函数；计算softmax预测函数输出值的损失函数，采用反向传播训练Bi‑LSTM的学习参数，完成模型的训练；模型训练完成后，输出实验样本集的预测结果，与实际住院就医行为进行对比，反馈更新住院就医状态预测数据的权重值。

Description

一种时变注意力改进Bi-LSTM的住院就医行为预测方法及 装置
技术领域
本公开属于医保信息处理领域，尤其涉及一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
就医行为，是指个体出现症状时，为了缓解症状或治愈疾病而寻求医疗帮助的过程。由于各医院医疗技术水平和医保报销政策的差异，个人就医往往倾向于高医疗水平和医保报销相对优惠的医院，从而导致部分医院医疗服务负载高、医疗资源分配不均衡、医保基金垫付严重等问题，此长彼消的模式进而造成了医疗资源的浪费。因此，亟需基于海量医保数据挖掘潜在就医规律，进而构建就医行为预测模型，为医保资金分配和医疗资源优化调度提供决策支撑。
近年来，随着医保信息技术领域的推进，传统预测方法将每条就医记录看作一个特征，然后将特征作为输入构建预测模型。由于循环神经网络(Recurrent NeuralNetworks，RNNs)可基于就医记录序列而实现时序关联预测，故被广泛应用于就医预测建模中，如就医诊断预测任务、风险预测任务等。但RNNs不能有效地解决就医序列之间的长时间依赖表达关系，如当病人的就医序列时间间隔过大时，RNNs模型的预测性能就会下降。此外，发明人发现，由于就医行为的特殊规律性，如各医院的专长产生就医趋势的吸引力不同、长时间内有很少的就医记录或在短时间内有很多条就医记录，此时传统住院就医行为预测方法忽略了医院特殊注意力和时间有效性对就医行为的影响，故难以实现住院就医行为的预测有效性。
发明内容
本公开的第一个方面，提供一种时变注意力改进Bi-LSTM的住院就医行为预测方法，其基于双向长短时记忆(Bi-directional Long-Short Term Memory，Bi-LSTM)模型的隐藏层保存不同时刻就医记录对后续预测的影响状态，实现住院就医状态的预测，随后引入注意力机制实现医院-疾病的吸引力权重调整，此外，结合时间调整因子完成基于病理规律的住院状态权重优化，从而结合时间函数和注意力机制改进Bi-LSTM模型，实现未来住院就医行为的预测。
本公开的第一个方面的一种时变注意力改进Bi-LSTM的住院就医行为预测方法的技术方案为：
一种时变注意力改进Bi-LSTM的住院就医行为预测方法，包括：
从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征；
利用提取的住院就医行为特征及其相应权重来构建Bi-LSTM，以实现正反两个方向的就医信息的住院就医状态预测；
基于Bi-LSTM获取的住院就医状态预测数据，接收底层传输的各医院就医数据，采用注意力机制生成各医院-疾病的匹配权重，以注意力机制更新Bi-LSTM中各个住院就医状态预测数据的权重值；
基于底层传输数据形成病理时间规律，根据住院就医行为特征的影响度随时间距离增长而变化，构建时间调整函数，利用时间调整函数与各住院就医状态预测数据的权重值相乘，从而更新Bi-LSTM中各个阶段住院就医状态预测数据的权重值，输出多时段多状态住院就医状态预测向量；
利用住院就医状态预测向量，构建softmax预测函数；计算softmax预测函数输出值的损失函数，采用反向传播算法训练Bi-LSTM的学习参数，完成模型的训练；
模型训练完成后，输出实验样本集的预测结果，与实际住院就医行为进行对比，反馈更新底层数据信息，从而不断优化注意力机制和时间调整函数的数据权重值，不断完善住院就医行为预测。
本公开的第二个方面提供了一种时变注意力改进Bi-LSTM的住院就医行为预测装置。
一种时变注意力改进Bi-LSTM的住院就医行为预测装置，包括：
特征提取模块，其用于从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征；
Bi-LSTM构建模块，其用于利用提取的住院就医行为特征及其对应权重来构建Bi-LSTM，以实现正反两个方向就医信息的住院就医状态预测；
权重更新模块，其用于一方面基于Bi-LSTM获取的住院就医状态预测数据，一方面接收底层传输的各医院就医数据，采用注意力机制生成各医院-疾病的匹配权重，以注意力机制更新Bi-LSTM中各个住院就医状态预测数据的权重值；
时间调整函数构建模块，其用于基于底层数据统计均值生成的病理时间规律，遵循住院就医行为特征的影响度随时间距离增长而变化，构建时间调整函数；
状态预测输出模块，其用于利用时间调整函数分别与各住院就医状态预测数据的权重值相乘，从而输出多时段多状态住院就医状态预测向量；
预测模型训练模块，其用于利用住院就医状态预测向量，构建softmax预测函数；计算softmax预测函数输出值的损失函数，采用反向传播算法训练Bi-LSTM的学习参数，完成模型的训练；
反馈更新模块，其用于模型训练完成后，输出实验样本集的预测结果，与实际住院就医行为进行对比，反馈更新底层数据信息，不断优化注意力机制和时间调整函数的住院就医状态预测数据的权重值，从而不断完善住院就医行为预测。
本公开的第三个方面提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的住院就医行为预测方法中的步骤。
本公开的第四个方面提供了一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的住院就医行为预测方法中的步骤。
本公开的有益效果是：
(1)本公开通过对近年来住院就医行为数据的分析，采用Relief算法提取住院就医行为特征，并基于筛选特征的相关统计向量更新各个特征的权重值，一方面提取与住院就医行为高关联度的特征，另一方面基于权重分配提高住院就医行为预测的准确率；
(2)本公开针对就医记录具有时序性和长期依赖性的特征，采用Bi-LSTM预测患者未来住院就医行为的选择意向，一方面以内循环的方式将上一时间点的输入以记忆的形式存储起来，并作为下一步预测输出的输入数据；另一方面采用“门”操作理念，将链式传输过程中产生的输出误差以参数的形式在网络中流动，避免梯度爆炸或者梯度消失问题，从而保持就医记录的长期依赖关联稳定性，此外，基于双向模式进行预测模型的训练，从而基于反向预测结果调整住院就医状态预测阈值，提高模型预测的准确性；
(3)本公开为避免Bi-LSTM在预测过程中，由于隐藏层提取高级抽象预测数据的同时，导致底层低级数据有效性的丢失，故采用注意力机制和病理时间规律量化历史就医行为，以医院-疾病吸引力和时间距离对未来住院就医行为预测结果加以改进，一方面，采用注意力机制显著性的增强了不同医院对不同患者疾病的吸引力，另一方面，时间调整函数强化了病理规律性(如病毒性流感的短期效应、癌症复发周期等)，通过注意力分数和时间函数共同决定不同时刻的住院就医行为状态的被更新力度，从而提高模型的预测性能。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例提供的住院就医行为预测方法的整体流程图；
图2为本公开实施例提供的基于Relief算法的住院就医行为特征提取流程图；
图3为本公开实施例提供的以Bi-LSML为核心的数据流处理过程图；
图4为本公开实施例提供的住院就行行为预测实施例流程图；
图5为本公开实施例提供的Bi-LSTM训练隐状态参数示意图；
图6为本公开实施例提供的基于肺炎就医序列的隐状态加权平均准确率对比图。
图7为本公开实施例提供的住院就医行为预测装置结构示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1和图4所示，本实施例的一种时变注意力改进Bi-LSTM的住院就医行为预测方法，包括：
A.对参保人信息和医院信息进行有关医保海量数据的采集，包含历史数据和当前就医数据，对获取的海量医保数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义并存储。
具体地，基于某市某地区的社保系统获取就医历史数据为应用实例，将该地区2012-2016年历史就医数据作为训练样本，将2017年数据作为实验样本，并且根据ICD-10标准，将就医类别分为21大类，分别从地区内部就医和地区外部就医两个方面进行方法验证，如表1所示，为历史就医数据总花费靠前的4种疾病数据集统计示例。
表1 就医类别数据集的基本统计信息
搜集某市某地区的2012年～2016年的参保人员样本分别从参保人和医院两个方面研究影响住院就医行为的因素，得出如下主要因素：年龄、性别、参保类别、经济收入、疾病类别、医院级别、医院治疗疾病的治疗复杂度(平均日均花费、平均住院天数)、就诊率、一段时间内医院的最大住院数，获取海量医保数据中可能影响住院就医行为的部分因素集如表2所示：
表2. 医保数据中可能影响就医行为的部分因素集
B.对海量医保数据进行规范化处理，基于过滤式选择(Relevant Features，Relief)进行影响就医因素的特征选择，消除特征的冗余并提取与住院就医行为高关联度的特征。
其中，对获取的数据进行数据预处理，包含缺失值处理、数据归一化，并采用卡方检验进行简单的相关性分析，消除重复影响因素及因子选择的任意性，降低问题的复杂性，从而消除特征的冗余并选择更多信息变量以提高预测模型的准确率和效率。
针对获取的医保数据样本，基于过滤式选择进行影响就医因素的特征选择，消除特征的冗余并提取与住院就医行为高关联度的特征，在住院就医过程中，筛选特征与就医行为之间的相关统计量随着时间的变化而改变，如医院治疗疾病的治疗水平(平均日均花费、平均住院天数)、医院级别以及患者的经济收入对影响患者发生住院就医行为的程度更大，利用Relief算法计算2016年部分筛选特征与住院就医行为之间的相关统计量如表3所示。
表3. 2016年部分住院就医行为的筛选特征及相关统计量
具体地，如图2所示，所述步骤B中基于过滤式选择(Relevant Features，Relief)进行影响就医因素的特征选择的一般生成过程为：
B1.定义医保数据中所有的就医类别编码为c1,c2,…,cc,…,c|C|∈C，其中|C|为就医类别编码的数量，假设有N个患者样本数据，第N个患者样本数据有T(n)条就医记录，则一个患者样本数据可由就医序列表示为每个就医记录包含一组特征向量x∈R|C|；
B2.对住院就医行为样本数据进行规范化处理，采用min-max标准化方法对原始医保数据X进行归一化处理，特征数据取值为[0,1]；
B3.给定一个就医类别样本集{(X1,cc),(X2,cc),...,(XI,cc)}，对每一个样本Xi,i∈(1,2,...I)包含j(1,2,…j…,J)个特征属性，Xi先在其同类样本中寻找其最近邻样本Xi,nh计为m个，作为其猜中近邻，再从其他类别样本中锁定X′i,nh作为Xi,nm即猜错近邻，同理，分别找到k个样本的猜中近邻与猜错近邻。随后，针对特征j计算其相关统计量δj，计算公式如下：
式中，表示样本Xi在特征属性j上的取值向量，同理和 取决于特征属性j的类型，若属性j为离散型，则时否则为1；若特征属性j为连续型，则
B4.对于特征属性j，若Xi与其猜中近邻Xi,nh的距离越小，与其猜错近邻Xi,nm的距离越大，则其相关统计向量δj越大，说明特征属性j的区分就医类别的能力越强，将δj进行降序排列，设定阈值τ，将相关统计量大于阈值τ的特征作为筛选特征；
B5.基于筛选特征的相关统计向量δj，更新所有特征的权重向量W，特征j的权重W的公式定义为：
式中，p(cc)表示随机样本属于cc类的比例，cc为就医类别，
输出筛选的特征及其对应的特征权重向量W。
C.根据筛选的住院就医行为特征提取，采用embedding映射提取历史就医样本的特征向量集，构建Bi-LSTM实现正反两个方向的就医信息的住院就医状态预测，进而设定住院就医状态预测阈值，输出住院就医状态预测结果，如图3所示。
根据筛选的住院就医行为特征提取，采用embedding映射提取历史就医样本的特征向量集，训练Bi-LSTM获取正反两个方向的就医信息的住院就医状态预测数据，从而进行模型的隐状态参数调整，以肿瘤类别的住院就医为例，如图5所示，仅基于正向训练的获取住院就医状态预测，后续住院就医预测倾向于Hospital-B，而仅基于反向训练的获取住院就医状态预测倾向于Hospital-C，故通过调整住院就医状态参数阈值，从而调整LSTM的输出有效值。
具体地，训练模型采用Adadelta优化器，样本数据集随机分配比例为0.75,0.1,0.15，分别作为训练集、验证集和实验集，初始化θ和u值分别为1和0.1，Embedding层的维度m为100，初始设置基于疾病类别等级设置LSTM的住院就医状态维度为105，迭代次数阈值为200次。
所述步骤C中构建Bi-LSTM实现正反两个方向的住院就医状态预测的一般生成过程为：
C1.基于步骤B获取的样本特征，对历史训练样本进行样本特征提取，并采用embedding层将特征数据映射为索引表示，构建特征-索引映射矩阵，如给定一个就医序列Xi(i＝1,2,…,|C|),通过embedding映射，得到对应的低维稠密的向量集合v∈RK，如下所示：
v＝ATx (14)
式中，K为embedding层的维度，A∈R|C|·K表示特征-索引映射矩阵；
C2.基于低维特征向量集合v，构建由输入门、候选记忆单元、输出门和遗忘门组成的LSTM，模型构建原理过程如下：
ft＝sigmoid(Wf·[ht-1,vt]+bf) (15)
it＝sigmoid(Wi·[ht-1,vt]+bi) (16)
Ct＝tanh(Wc·[ht-1,vt]+bc) (17)
Ct＝ft×Ct-1+it×Ct (18)
ot＝sigmoid(Wo·[ht-1,vt]+bo) (19)
ht＝ot×tanh(Ct) (20)
式中，vt表示t时刻的输入向量，ht-1表示上一个时刻的输出向量，{Wf,Wi,Wc,Wo}为对应单元的权重系数矩阵，{bf,bi,bc,bo}为对应单元的偏移向量，sigmoid为激活函数，式(15)为遗忘门数据处理过程，t时刻遗忘门值由vt和ht-1计算获取，旨在对数据记录进行保留或遗弃；式(16)是以sigmoid函数激活Wi·[ht-1,vt]+bi细胞状态的值，式(17)是获取候选记忆单元的值；式(18)是以ft、it对候选记忆单元Ct-1、Ct进行取值调节；式(19)和式(20)是在t时刻由ht-1和vt进行的内部循环和更新，从而获取LSTM最后的住院就医状态的输出ht；
基于构建的LSTM，正向LSTM读取从v1到vT就医序列计算出一系列正向住院就医预测状态
C3.基于步骤C2构建的LSTM，反向LSTM读取从vT到v1就医序列计算出一系列反向住院就医预测状态
C4.基于Bi-LSTM输出的住院就医状态数据，设定住院就医状态参数阈值，采用数据加权求和获取最终住院就医状态向量Ht，
式中，和分别表示t时刻正向和反向的住院就医状态预测数据，由于在实际住院就医状态预测过程中，仅可以获取正向数据，故以正向预测数据作为预测定量标准，以反向数据作为阈值设定标准，取值参见图5，为根据正反向获取的最终住院就医状态向量，Ht传输至Attention机制。
D.基于Bi-LSTM获取的住院就医状态预测数据，结合底层传输的各医院就医分布数据概率统计获取的医院-疾病权重矩阵ω，采用注意力(Attention)机制更新各个医院-疾病预测数据的权重值，即：
ut＝tanh(ωHt+b) (1)
式中，ω∈RL×|C|和b∈RL分别表示权重矩阵和基本矩阵，L为医院数量，C为疾病类别，ut代表医院-疾病的关注性向量，T表示t时刻生成的各医院-疾病的关注度数量，at表示通过公式(2)归一化的医院-疾病的权重，δ是at对Ht权重的调整结果；
E.考虑到住院就医行为随时间距离拉长而变化，引入时间调整因子Δt构建时间调整函数，由公式(4)得到：
Δt＝τi-τj (5)
其中，σ表示sigmoid函数。
式中，和表示学习参数，为就医记录cn的初始影响度，表示的是随时间变化的影响度，依据底层医保数据统计获取各类疾病的时变规则，Δt是就医记录τj和下次待预测就医记录τi之间的时间间隔，并使用sigmoid函数即σ将Δt转换到0-1之间；
结合Attention机制获取的医院-疾病匹配权重，则住院就医状态最终的输出向量为：
具体地，基于Bi-LSTM获取的住院就医状态预测数据，采用注意力(Attention)机制更新各个住院就医状态预测数据的权重值，考虑到住院就医行为特征的影响度随时间距离而变化，引入时间调整因子Δt构建时间调整函数，结合Attention机制获取的医院-疾病状态权重，则就医行为状态最终的输出向量以就医序列最长的就医记录肺炎数据集-30条为例，首先选择最近几次的就医序列进行住院就医行为预测，然后按照就医时间顺序，依次增加就医序列，分别进行预测，如图6所示，随着就医记录数量的增加，本专利构建的时变注意力改进的Bi-LSTM模型的预测性能也随之增加，但是传统的Bi-LSTM由于未结合注意力影响和时间因子，故预测性降低。
F.基于历史样本训练集数据输出的隐状态最终的输出向量H，构建softmax预测函数，将历史样本xi生成的隐状态向量Hi分类为类别j的概率为：
式中，Wc∈R2L和bc∈RL为softmax回归预测函数的学习参数，基于历史训练样本集数据，采用迭代最小化目标函数的方式获取，转入步骤G；
G.采用交叉熵作为损失函数，若y为真实的类别分布，则损失函数定义如下：
结合Attention机制的权重分配规则，目标函数为，
式中，T为就医序列的长度，α是决定这些中间目标相对重要性的超参数，由Attention机制获取；
通过步骤F和步骤G的迭代求解，不断最小化loss(y′,y)，从而获取时变注意力改进的Bi-LSTM的学习参数；
H.对待预测样本进行住院就医行为预测，将Attention机制的输出输入softmax层进行结果预测，预测结果为：
将预测结果进行推送，并与实际住院就医行为进行结果对比；
对待预测样本进行住院就医行为预测，将Attention机制的输出输入softmax层进行结果预测，将预测结果进行推送，并与实际住院就医行为进行结果对比，表4基于4种疾病的住院就行行为对比住院就医行为预测的准确性：
表4 住院就医行为预测的准确性
基于表4中的结果可得，在地区内部或外部就医，本实施例所提出的方法预测准确性均高于其他的预测方法。
I.基于预测结果与实际结果的对比，以预测结果的可解释性反馈调整Attention机制，更新完善底层个人就医数据统计获取的就医规则，将医院-疾病匹配中每个维度的权重按照逆序排序，然后选择权重靠前的K个数据，如下所示：
argsort(at[；.i])[1:K] (11)
式中，at[；.i]表示第i个就医记录中各个维度的注意力分数，通过分析权重靠前的K个就医记录，可反馈调整就医记录对住院就医行为预测的重要度，从而不断更新历史样本数据，进而提高方法的预测精准度。
如图7所示，本实施例提供了一种时变注意力改进Bi-LSTM的住院就医行为预测装置，包括：
(1)特征提取模块，其用于从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征；
具体地，所述特征提取模块，还用于：
对规范化处理的医保数据，基于特征提取同类与异类相似的医保数据样本，计算特征相关统计量；
设定相关统计量阈值作为预设关联度阈值，筛选出与住院就医行为相关的特征。
(2)Bi-LSTM构建模块，其用于利用提取的住院就医行为特征及其相应权重来构建Bi-LSTM，以实现正反两个方向的就医信息的住院就医状态预测；
(3)权重更新模块，其用于基于Bi-LSTM获取的住院就医状态预测数据，结合底层传输的各医院就医统计数据，采用注意力机制更新Bi-LSTM中住院就医状态预测数据的权重值；
(4)时间调整函数构建模块，其用于基于底层传输数据形成病理时间规律，根据住院就医行为特征的影响度随时间距离增长而变化，构建时间调整函数；
(5)状态预测输出模块，其用于利用时间调整函数分别与更新的住院就医状态预测数据的权重值相乘，从而更新Bi-LSTM中各个阶段住院就医状态预测数据的权重值，输出多时段多状态住院就医状态预测向量；
(6)预测模型训练模块，其用于利用住院就医状态预测向量，构建softmax预测函数；计算softmax预测函数输出值的损失函数，采用反向传播算法训练Bi-LSTM的学习参数，完成模型的训练；
具体地，在所述预测模型训练模块中，采用交叉熵作为预测模型的损失函数，实现模型的训练。
(7)反馈更新模块，其用于模型训练完成后，输出实验样本集的预测结果，与实际住院就医行为进行对比，反馈更新住院就医状态预测数据的权重值，从而不断完善住院就医行为预测。
具体地，在所述反馈更新模块中，对比预测结果与实际结果，基于预测结果的可解释性反馈调整Attention机制中医院-疾病状态吸引力数据的权重值，将住院就医状态预测数据中每个维度的权重按照逆序排序，然后选择权重靠前的预设数量的数据，反馈调整就医记录对住院就医行为预测的重要度。
在另一实施例中，一种时变注意力改进Bi-LSTM的住院就医行为预测装置，其特征在于，还包括：
预处理模块，其用于从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征之前，对海量医保数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义以及规范化处理。
在另一实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如图1所示的住院就医行为预测方法中的步骤。
在另一实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的住院就医行为预测方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种时变注意力改进Bi-LSTM的住院就医行为预测方法，其特征在于，包括：
从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征；
利用提取的住院就医行为特征及其相应权重来构建Bi-LSTM，以实现正反两个方向的就医信息的住院就医状态预测；
基于Bi-LSTM获取的住院就医状态预测数据，结合底层传输的各医院就医统计数据，采用注意力机制更新Bi-LSTM中各个住院就医状态预测数据的权重值；
基于底层传输数据形成病理时间规律，根据住院就医行为特征的影响度随时间距离增长而变化，构建时间调整函数；
利用时间调整函数分别与更新的各个住院就医状态预测数据的权重值相乘，从而更新Bi-LSTM中各个阶段住院就医状态预测数据的权重值，输出多时段多状态住院就医状态预测向量；
利用住院就医状态预测向量，构建softmax预测函数；计算softmax预测函数输出值的损失函数，采用反向传播算法训练Bi-LSTM的学习参数，完成模型的训练；
模型训练完成后，输出实验样本集的预测结果，与实际住院就医行为进行对比，反馈更新住院就医状态预测数据的权重值，从而不断完善住院就医行为预测。
2.如权利要求1所述的一种时变注意力改进Bi-LSTM的住院就医行为预测方法，其特征在于，从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征之前，还包括：
对海量医保数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义以及规范化处理。
3.如权利要求2所述的一种时变注意力改进Bi-LSTM的住院就医行为预测方法，其特征在于，从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征的过程为：
对规范化处理的医保数据，基于特征提取同类与异类相似的医保数据样本，计算特征相关统计量；
设定相关统计量阈值作为预设关联度阈值，筛选出与住院就医行为相关的特征。
4.如权利要求1所述的一种时变注意力改进Bi-LSTM的住院就医行为预测方法，其特征在于，构建Attention机制和时间调整函数，在简化Bi-LSTM隐层级的同时，提高底层有效数据的利用率，模拟专家判别规则，进而提高神经网络模型的可解释性。
5.如权利要求1所述的一种时变注意力改进Bi-LSTM的住院就医行为预测方法，其特征在于，对比预测结果与实际结果，基于预测结果的可解释性反馈调整Attention机制中各个医院-疾病吸引力数据的权重值，将住院就医状态预测数据中每个维度的权重按照逆序排序，然后选择权重靠前的预设数量的数据，反馈调整就医记录对住院就医行为预测的重要度。
6.一种时变注意力改进Bi-LSTM的住院就医行为预测装置，其特征在于，包括：
特征提取模块，其用于从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征；
Bi-LSTM构建模块，其用于利用提取的住院就医行为特征及其相应权重来构建Bi-LSTM，以实现正反两个方向的就医信息的住院就医状态预测；
权重更新模块，其用于基于Bi-LSTM获取的住院就医状态预测数据，结合底层传输的各医院就医统计数据，采用注意力机制更新Bi-LSTM中各个住院就医状态预测数据的权重值；
时间调整函数构建模块，其用于基于底层传输数据形成病理时间规律，根据住院就医行为特征的影响度随时间距离增长而变化，构建时间调整函数；
状态预测输出模块，其用于利用时间调整函数分别与更新的各个住院就医状态预测数据的权重值相乘，从而更新Bi-LSTM中各个阶段住院就医状态预测数据的权重值，输出多时段多状态住院就医状态预测向量；
预测模型训练模块，其用于利用住院就医状态预测向量，构建softmax预测函数；计算softmax预测函数输出值的损失函数，采用反向传播算法训练Bi-LSTM的学习参数，完成模型的训练；
反馈更新模块，其用于模型训练完成后，输出测试集的预测结果，与实际住院就医行为进行对比，反馈更新住院就医状态预测数据的权重值，从而不断完善住院就医行为预测。
7.如权利要求6所述的一种时变注意力改进Bi-LSTM的住院就医行为预测装置，其特征在于，还包括：
预处理模块，其用于从海量医保数据中提取与住院就医行为关联度大于预设关联度阈值的特征之前，对海量医保数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义以及规范化处理；
或在所述预测模型训练模块中，采用交叉熵作为预测模型的损失函数，实现模型的训练；
或在所述反馈更新模块中，对比预测结果与实际结果，基于预测结果的可解释性反馈调整Attention机制中各个医院-疾病吸引力数据的权重值，将住院就医状态预测数据中每个维度的权重按照逆序排序，然后选择权重靠前的预设数量的数据，反馈调整就医记录对住院就医行为预测的重要度。
8.如权利要求7所述的一种时变注意力改进Bi-LSTM的住院就医行为预测装置，其特征在于，所述特征提取模块，还用于：
对规范化处理的医保数据，基于特征提取同类与异类相似的医保数据样本，计算特征相关统计量；
设定相关统计量阈值作为预设关联度阈值，筛选出与住院就医行为相关的特征。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的住院就医行为预测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的住院就医行为预测方法中的步骤。
CN201910324147.9A 2019-04-22 2019-04-22 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置 Active CN110334843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910324147.9A CN110334843B (zh) 2019-04-22 2019-04-22 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910324147.9A CN110334843B (zh) 2019-04-22 2019-04-22 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置

Publications (2)

Publication Number Publication Date
CN110334843A true CN110334843A (zh) 2019-10-15
CN110334843B CN110334843B (zh) 2020-06-09

Family

ID=68140165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910324147.9A Active CN110334843B (zh) 2019-04-22 2019-04-22 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置

Country Status (1)

Country Link
CN (1) CN110334843B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765359A (zh) * 2019-10-30 2020-02-07 北京速途网络科技股份有限公司 新媒体内容推荐方法和系统
CN110881037A (zh) * 2019-11-19 2020-03-13 北京工业大学 网络入侵检测方法及其模型的训练方法、装置和服务器
CN111028913A (zh) * 2019-11-29 2020-04-17 北京工业大学 血液透析治疗方案辅助决策方法
CN111061700A (zh) * 2019-11-12 2020-04-24 山大地纬软件股份有限公司 基于相似性学习的就医迁移方案推荐方法及系统
CN111461455A (zh) * 2020-04-16 2020-07-28 武汉大学 一种基于关联周期注意力机制的行为预测方法
CN111612254A (zh) * 2020-05-22 2020-09-01 中国科学院合肥物质科学研究院 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法
CN111984503A (zh) * 2020-08-17 2020-11-24 网宿科技股份有限公司 一种监控指标数据异常数据识别的方法及装置
CN112016302A (zh) * 2020-08-03 2020-12-01 青岛国新健康产业科技有限公司 分解住院行为的识别方法、装置、电子设备及存储介质
CN112101660A (zh) * 2020-09-15 2020-12-18 重庆交通大学 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法
CN112395328A (zh) * 2020-05-22 2021-02-23 南京大学 一种基于注意力机制的关键属性挖掘方法
CN112561728A (zh) * 2020-10-28 2021-03-26 西安交通大学 基于注意力机制lstm的综合能耗费用优化方法、介质及设备
CN113781110A (zh) * 2021-09-07 2021-12-10 中国船舶重工集团公司第七0九研究所 一种基于多因素加权bi-lstm学习的用户行为预测方法与系统
CN113807562A (zh) * 2021-06-25 2021-12-17 中国海洋大学 海洋表面温度的预测方法
CN116646067A (zh) * 2023-07-26 2023-08-25 四川互慧软件有限公司 紧急医疗救援实时动态调度方法与系统
CN117079821A (zh) * 2023-10-12 2023-11-17 北京大学第三医院（北京大学第三临床医学院） 一种患者住院事件预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180047389A1 (en) * 2016-08-12 2018-02-15 Electronics And Telecommunications Research Institute Apparatus and method for recognizing speech using attention-based context-dependent acoustic model
CN108491680A (zh) * 2018-03-07 2018-09-04 安庆师范大学 基于残差网络和注意力机制的药物关系抽取方法
CN109493933A (zh) * 2018-08-08 2019-03-19 浙江大学 一种基于注意力机制的不良心血管事件的预测装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180047389A1 (en) * 2016-08-12 2018-02-15 Electronics And Telecommunications Research Institute Apparatus and method for recognizing speech using attention-based context-dependent acoustic model
CN108491680A (zh) * 2018-03-07 2018-09-04 安庆师范大学 基于残差网络和注意力机制的药物关系抽取方法
CN109493933A (zh) * 2018-08-08 2019-03-19 浙江大学 一种基于注意力机制的不良心血管事件的预测装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765359A (zh) * 2019-10-30 2020-02-07 北京速途网络科技股份有限公司 新媒体内容推荐方法和系统
CN110765359B (zh) * 2019-10-30 2022-09-16 北京速途网络科技股份有限公司 新媒体内容推荐方法和系统
CN111061700A (zh) * 2019-11-12 2020-04-24 山大地纬软件股份有限公司 基于相似性学习的就医迁移方案推荐方法及系统
CN110881037A (zh) * 2019-11-19 2020-03-13 北京工业大学 网络入侵检测方法及其模型的训练方法、装置和服务器
CN111028913A (zh) * 2019-11-29 2020-04-17 北京工业大学 血液透析治疗方案辅助决策方法
CN111461455B (zh) * 2020-04-16 2022-05-13 武汉大学 一种基于关联周期注意力机制的行为预测方法
CN111461455A (zh) * 2020-04-16 2020-07-28 武汉大学 一种基于关联周期注意力机制的行为预测方法
CN111612254A (zh) * 2020-05-22 2020-09-01 中国科学院合肥物质科学研究院 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法
CN112395328A (zh) * 2020-05-22 2021-02-23 南京大学 一种基于注意力机制的关键属性挖掘方法
CN112016302A (zh) * 2020-08-03 2020-12-01 青岛国新健康产业科技有限公司 分解住院行为的识别方法、装置、电子设备及存储介质
CN112016302B (zh) * 2020-08-03 2024-04-30 青岛国新健康产业科技有限公司 分解住院行为的识别方法、装置、电子设备及存储介质
CN111984503B (zh) * 2020-08-17 2023-12-01 网宿科技股份有限公司 一种监控指标数据异常数据识别的方法及装置
CN111984503A (zh) * 2020-08-17 2020-11-24 网宿科技股份有限公司 一种监控指标数据异常数据识别的方法及装置
CN112101660A (zh) * 2020-09-15 2020-12-18 重庆交通大学 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法
CN112101660B (zh) * 2020-09-15 2022-06-28 重庆交通大学 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法
CN112561728A (zh) * 2020-10-28 2021-03-26 西安交通大学 基于注意力机制lstm的综合能耗费用优化方法、介质及设备
CN112561728B (zh) * 2020-10-28 2023-07-11 西安交通大学 基于注意力机制lstm的综合能耗费用优化方法、介质及设备
CN113807562A (zh) * 2021-06-25 2021-12-17 中国海洋大学 海洋表面温度的预测方法
CN113781110A (zh) * 2021-09-07 2021-12-10 中国船舶重工集团公司第七0九研究所 一种基于多因素加权bi-lstm学习的用户行为预测方法与系统
CN113781110B (zh) * 2021-09-07 2024-03-26 中国船舶重工集团公司第七0九研究所 一种基于多因素加权bi-lstm学习的用户行为预测方法与系统
CN116646067A (zh) * 2023-07-26 2023-08-25 四川互慧软件有限公司 紧急医疗救援实时动态调度方法与系统
CN117079821A (zh) * 2023-10-12 2023-11-17 北京大学第三医院（北京大学第三临床医学院） 一种患者住院事件预测方法
CN117079821B (zh) * 2023-10-12 2023-12-19 北京大学第三医院（北京大学第三临床医学院） 一种患者住院事件预测方法

Also Published As

Publication number Publication date
CN110334843B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN110334843A (zh) 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置
Li et al. Research on orthopedic auxiliary classification and prediction model based on XGBoost algorithm
Zhou et al. Stock market prediction on high‐frequency data using generative adversarial nets
Cho et al. A hybrid approach based on the combination of variable selection using decision trees and case-based reasoning using the Mahalanobis distance: For bankruptcy prediction
CN110956273A (zh) 融合多种机器学习模型的征信评分方法及系统
CN106886846A (zh) 一种基于长短期记忆循环神经网络的银行网点备付金预测方法
Cho et al. Data mining for selection of insurance sales agents
CN109492748B (zh) 一种基于卷积神经网络的电力系统的中长期负荷预测模型建立方法
CN103150611A (zh) Ii型糖尿病发病概率分层预测方法
CN110175689A (zh) 一种概率预测的方法、模型训练的方法及装置
CN110706095A (zh) 一种基于关联网络的目标节点关键信息填补方法及系统
CN110335160A (zh) 一种基于分组和注意力改进Bi-GRU的就医迁移行为预测方法及系统
Nayak et al. Evaluation of normalization methods on neuro-genetic models for stock index forecasting
Leevy et al. Investigating the relationship between time and predictive model maintenance
CN116187835A (zh) 一种基于数据驱动的台区理论线损区间估算方法及系统
CN114298834A (zh) 一种基于自组织映射网络的个人信用评估方法及系统
Shi et al. Application of deep learning in financial management evaluation
Du et al. Research of SVM ensembles in medical examination scheduling
Kisiel et al. A meta-method for portfolio management using machine learning for adaptive strategy selection
Zhu et al. Research on data mining of college students’ physical health for physical education reform
CN117194966A (zh) 对象分类模型的训练方法和相关装置
Nikitin et al. Evolutionary ensemble approach for behavioral credit scoring
Niu et al. SoK: Comparing Different Membership Inference Attacks with a Comprehensive Benchmark
Abdolbaghi Ataabadi et al. The effectiveness of the automatic system of fuzzy logic-based technical patterns recognition: Evidence from Tehran stock exchange
Shen et al. Stock trends prediction by hypergraph modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant