CN113257416B - 基于深度学习的copd患者个性化管理调优装置及设备 - Google Patents

Abstract

一种基于深度学习的COPD患者个性化管理调优装置及设备，包括：获取COPD患者的当前症状指标；基于所述当前症状指标，经由COPD干预策略模型推荐干预策略；根据所述当前症状指标以及推荐的干预策略生成输入向量；将所述输入向量输入到训练好的COPD虚拟干预环境模型，以获得输出向量；根据所述当前症状指标以及干预后的症状指标，计算得到当前的改善值，并根据当前的改善值以及历史计算得到的改善值，更新得到当前的干预策略组合的评价标准。本发明基于深度强化学习技术，以人工智能辅助决策为基础，构造非监督下的动态自适应自我管理协同机制，根据患者病理生理心理状态采取最优化的护理干预措施，实现COPD患者全程、个性化的精准管理。

Description

基于深度学习的COPD患者个性化管理调优装置及设备

技术领域

本发明涉及医疗领域，具体地涉及一种基于深度学习的COPD患者个性化管理调优装置及设备。

背景技术

慢性阻塞性肺疾病(Chronic obstructive pulmonary disease，COPD)是一种以持续性气流受限为特征的可以预防和治疗的疾病。WHO统计资料显示，预计到2020年，COPD将位居全球第三大致死原因及世界疾病负担第5位。随着发展中国家吸烟率的升高和高收入国家老龄化加剧，预计慢阻肺的患病率在未来40年仍会继续上升，至2060年可能每年有超过540万人死于慢阻肺及其相关疾病。中国成人肺部健康研究显示，我国20岁及以上成人的COPD患病率为8.6％，40岁以上则达13.7％。

慢性阻塞性肺疾病全球倡议(Global Initiative for Chronic ObstructiveLung Disease，GOLD)近20年变迁，主要关注COPD个体化评估、治疗及疾病周期管理和COPD急性加重的预测、及时干预，其目标是控制、治疗COPD，改善预后。传统的患者管理模式对COPD的早期诊断和长期有效管理存在局限性。国内外基于物联网的医疗系统已广泛应用于各类慢性病疾病管理中，推动医疗卫生服务模式的发展，人工智能医疗应运而生，如综合应用条码识别、传感器技术、无线数据通信、定位技术等智能设备，通过大数据训练和模型优化，智能化的对患者进行识别、监测与管理，实现疾病的现代化智能管理。

英国国家临床优化研究所(NICE)、美国胸科学会、欧洲呼吸学会认为自我管理是COPD患者管理的核心策略，同时应将患者和照护者纳入管理队伍以达到COPD管理覆盖面广、特异性强的最优效果。COPD自我管理包括自我认知和症状管理、服药和健康饮食、应对呼吸困难、戒烟和肺康复等。采用以病人为中心的方法设计并允许个性化服务的人工智能和物联网系统会让病人和医疗专业人员有更高的可用性和依从性，提高资源的可及性，缩小医患双方认知差异。目前，虽然有学者倡导将个性化服务的人工智能和物联网系统应用于建立COPD个性化管理办法，但诸多想法都只停留在纸上，无法实施，主要原因如下：

目前研究发现COPD患者健康知识有限、使用/获取资源困难；COPD具有居家护理干预形式与内容的异质性；临床医务人员无法及时获得客观量化的数据等方面局限性；以及标准化的护理干预策略并不完全适用于COPD患者每一个体，以上这些瓶颈问题限制了COPD自动预警和精准化自我管理的长远发展。

具体原因包括：

1、我国COPD知晓率及肺功能检查普及率极低，研究发现调查人群中仅约10％知晓COPD，不足10％的人群曾接受过肺功能检查。在所有COPD患者中，不足3％知道自己患有慢阻肺，近90％此前从未得到明确诊断。COPD患者日常管理能力匮乏，健康信息缺失或缺乏连续性，未能获得系统的COPD疾病知识体系。每个COPD患者的症状、体征各异，未建立起患者与医护人员良好的沟通渠道。

2、目前基层呼吸系统疾病防治体系与能力建设与其他慢病相比明显落后，不能满足防治的需要。基层医疗机构COPD的防治现状，发病率高，早期诊断率低，肺功能检查没有普及，社区医生诊治能力不足，用药不规范情况普遍，康复、护理干预策略处于空白状态，对戒烟等危险因素的认识理念待更新等问题，导致慢阻肺不规范治疗造成的住院率高，经济负担沉重。

3.使用其他领域类似的方法所得到的护理干预策略并不能直接应用于COPD患者，同时COPD疾病领域的个体间具有较大的异质性，还存在患者长期有效监督管理困难的问题和医护人员数据处理繁杂的问题。

尽管该领域推出了相关的人工智能护理技术：主要包括智能手机、体外监测设备、智能机器人等设备和技术，但仍无法使以上问题有实质性进展，例如医护人员通过设备获得的生理、心理指标数据无法直接得出护理诊治方案；例如临床研究中有众多的COPD干预措施，但实践过程中干预措施的组合模式及有效性的证据目前尚不充分，医护人员还需通过循证提供最佳临床照护方案等诸多不便的问题。

同时，因为COPD疾病具有异质性，使得用在其他疾病中的物联网或人工智能的模式无法转移至COPD疾病中。与其他疾病的个性化管理不同的是，COPD患者个性化管理调优的设计需要熟悉患者病情的护理人员来进行完善，包括如何将患者主观感受转化为客观、量化的定量指标，标准化护理干预方案的设计等等。

基于以上种种原因，目前还没有能够真正实现COPD个性化管理的调优方法、装置及设备，以实现精准预测及个性化护理；不同方案无法通过拼合后结合后用于COPD的个性化管理，因此，急需适合COPD个性化管理的调优方法、装置及设备，以推动该疾病领域的患者管理加速发展。

发明内容

本发明克服现有技术的不足，提供一种COPD患者个性化管理调优方法、装置及设备，实现精准预测及个性化护理方案的优化。本发明在进行COPD患者个性化管理调优的过程中除了动用医疗、护理等专业知识外，还调动信息科学、材料学、组织管理、人力资源等管理学知识以支撑COPD患者个性化管理的建立，进行多学科领域在COPD患者管理深层次上的交叉融合，不断克服技术问题，解决了现有技术无法解决的COPD个性化管理难题，提供了真正能够实现COPD个性化管理的调优方法、装置及设备。

本发明基于物联网技术将COPD患者有关的主客观指标无创、快速、便捷地收集成为可能，采用患者自我报告结局估量(Patient-reported outcome measures,Proms)将其中的定性指标转换为可量化的指标，这促使COPD患者自我管理的健康素养不断强化。基于深度强化学习技术，以人工智能辅助决策为基础，构造非监督下的动态自适应自我管理协同机制，对现有标准化的干预策略知识库进行补充和完善，根据患者病理生理心理状态采取最优化的护理干预措施，实现COPD患者全程、个性化的精准管理。同时，本发明通过患者自我报告结局估量(Proms)识别COPD患者，再通过物联网自研设备进行居家肺功能测试或提醒前往就近的医院进行检查；除此之外，本发明还可实现整合最佳证据的护理康复策略，根据患者自评结果进行相应内容的推送，解决基层医生和COPD患者知识不足的问题。

本发明提供的COPD患者个性化管理调优设备能够实现根据观察得到的患者症状及体征信息,进行护理策略推荐,并且根据干预前患者的观察信息和护理策略,推断患者干预后的效果,分疗程连续推荐处方,基于人机交互的方式，动态地形成优化的干预策略,直到患者症状达到好转。此外，通过数据挖掘不断完善COPD知识库，改变护理实践方式，提高服务决策能力，对我国COPD患者自我管理的理论和实践创新有积极引导作用。具体作用包括：

(1)精准化数据采集

通过自我报告结局、人工智能、物联网等多源数据端口，解决COPD患者症状异质性而带来的数据多、采集复杂等难点。利用自研设备以及对现有设备的改造，使得患者在家中即可采集肺功能、呼吸频率、SPO2、体温、痰的性状、呼出CO2浓度等指标。根据患者自我报告结局(Proms)量表从患者角度了解疾病与治疗状态，将患者的主观感受转化为客观量化的指标，提供和补充了医护人员在评估中忽略的有价值的信息。并与医疗机构数据的互联互通，最终实现COPD患者的节点管控，积极引导及激励COPD患者成为疾病管理的主角。

(2)个性化干预策略优化模型构造

个性化干预策略优化模型主要包括两部分，一部分是COPD智能医护助理模型，根据干预前患者的症状和生理心理指标观察结果，利用深度强化学习算法，进行个性化干预策略推荐。另一部分是COPD患者自我管理环境模型，基于COPD患者的当前数据，构造用于深度强化学习的环境，根据干预前患者的各种指标数据和制定的干预策略，预估干预后患者的各种指标数据，以及返回干预后患者实际的各种指标数据。

(3)精细化自我康复管理

设计一种动态可调整的患者自我管理机制。患者干预前后症状改善程度集合就是对于该患者全部症状的改善程度之和。为了能快速选择出高质量的处方组合作为干预策略，我们准备采用与DeepMind同样的双Q学习的深度强化学习技术以避免模型陷入局部最优，形成一个可以连续决策的模型,根据患者初始症状和生理心理指标,推荐干预策略,推断患者干预后的症状等指标,再继续推荐下一个阶段的干预策略,努力达到患者和医护人员共同制定的康复目标。

慢性阻塞性肺疾病(COPD)具有患病率高、异质性大、负担重等特点，在全球及我国的疾病负担中排列前位。自我管理是COPD患者管理的核心策略，其干预措施的组合模式及有效性的证据目前尚不充分。在此背景下，申请人拟运用大数据挖掘、人工智能、物联网等手段，探索不同类型、不同临床阶段的COPD疾病症状特征与生理心理指标的对应关系，构建COPD患者个性化管理调优模型。研究拟采用双Q学习的深度强化学习技术，揭示COPD自我管理机制。这些技术的采用显示了学科交叉的特点，将为COPD防治提供新理论和新方法。

本发明提供了一种基于深度学习的COPD患者个性化管理调优方法，包括：

S101：获取COPD患者的当前症状指标；

S102：基于所述当前症状指标，经由COPD干预策略模型推荐干预策略；

S103：根据所述当前症状指标以及推荐的干预策略生成输入向量；

S104：将所述输入向量输入到训练好的COPD虚拟干预环境模型，以获得输出向量；其中，所述输出向量用于表示经所述干预策略后，所述COPD患者干预后的症状指标；

S105：根据所述当前症状指标以及干预后的症状指标，计算得到当前的改善值，并根据当前的改善值以及历史计算得到的改善值R，更新得到当前的干预策略组合的评价标准；其中，所述干预策略组合包括在多个时刻的干预策略。

优选地，在步骤S105之后还包括：

将当前症状指标更新为干预后的症状指标，并跳转至步骤S102。

优选地，COPD的症状指标包括：咳嗽、咳痰、喘息/呼吸困难、胸部症状、疲倦/虚弱、睡眠障碍、危险因素如吸烟、抑郁、合并心血管疾病、合并其他疾病；其中，每个症状指标具有不同的严重程度，每个严重程度采用一个独热向量表示；所述干预策略包括一个或者多个处方的组合，每个处方用一个标量表示。

优选地，将每一个症状指标的严重程度在临床中分为“无”，“轻”，“中”，“重”四种程度；且每种严重程度的独热向量形式对应为[1,0,0,0]，[0,1,0,0]，[0,0,1,0]，[0,0,0,1]。

优选地，还包括：

建立基于神经网络的COPD虚拟干预环境模型；

获取作为训练数据的多个COPD患者的初始症状指标o、对应的干预策略a以及经所述干预策略干预后所述COPD患者的干预症状指标o’；

以所述初始症状指标o、干预策略a作为神经网络的输入，以干预症状指标o’作为所述神经网络的输出，对所述COPD虚拟干预环境模型进行训练，获得训练好的述COPD虚拟干预环境模型；其中，神经网络的训练目标是使得神经网络找到符合公式的方程：

f_m(o，a)≈o′；

a′＝f_nn(o_i，a)，i＝1，…，N

o′_i＝a′(o_i)i＝1，…，N

其中，o_i表示第i个初始症状指标，N表示初始症状指标的总个数，a′表示训练好的COPD虚拟干预环境模型，o′_i表示经过训练好的COPD虚拟干预环境模型得到的干预症状指标输出。

优选地，还包括：

随机获取初始症状指标o、干预策略a以及其对应的干预症状指标o’，并计算得到症状改善程度R；

根据o，a，o’，R按下述公式组成一条向量组合数据x：

x＝concat[o，a，o′，R]

其中，concat[]表示拼接操作；

重复以上步骤n次，得到n条向量组合数据X，即：

X＝[x₁，x₂，…，x_n]；

基于所述n条向量组合数据，通过经验回放过程，训练得到基于深度学习的COPD干预策略模型。

优选地，当前的干预策略组合的评价标准ADR的计算公式为：

其中，γ表示折扣系数，R_k为第k时刻的改善值。

优选地，对于COPD干预策略模型，采用数据采集、挖掘模块的数据对模型进行训练，随着训练迭代步数的增加，计算模型的损失函数和准确率；

在COPD虚拟干预环境模型训练完成后，由测试集对其进行测试，在测试过程中，计算COPD虚拟干预环境模型的损失函数和准确率。

本发明实施例还提供了一种基于深度学习的COPD患者个性化管理调优装置，包括：

症状指标获取单元，用于获取COPD患者的当前症状指标；

干预策略推荐单元，用于基于所述当前症状指标，经由COPD干预策略模型推荐干预策略；

输入向量生成单元，用于根据所述当前症状指标以及推荐的干预策略生成输入向量；

输出单元，用于将所述输入向量输入到训练好的COPD虚拟干预环境模型，以获得输出向量；其中，所述输出向量用于表示经所述干预策略后，所述COPD患者干预后的症状指标；

评价标准更新单元，用于根据所述当前症状指标以及干预后的症状指标，计算得到当前的改善值，并根据当前的改善值以及历史计算得到的改善值R，更新得到当前的干预策略组合的评价标准；其中，所述干预策略组合为在多个时刻的干预策略的组合。

本发明实施例还提供了一种基于深度学习的COPD患者个性化管理调优设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现上述的基于深度学习的COPD患者个性化管理调优方法。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的基于深度学习的COPD患者个性化管理调优方法的流程示意图。

图2为本发明实施例提供的基于深度学习的COPD患者个性化管理调优方法的整体框架图。

图3为本发明实施例提供的COPD虚拟干预环境模型的示意图。

图4为本发明实施例提供的一种处方组合的示意图。

图5为本发明第一实施例提供的基于深度学习的COPD患者个性化管理调优装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1及图2，本发明第一实施例提供了一种基于深度学习的COPD患者个性化管理调优方法，其可由基于深度学习的COPD患者个性化管理调优设备(以下检测调优设备)来执行，特别的，由所述调优设备内的一个或者多个处理器来执行，以实现如下步骤：

S1：获取COPD患者的当前症状指标。

在发明中，COPD稳定期临床表现为咳嗽、咳痰、喘息/呼吸困难，而慢性阻塞性肺疾病急性加重期(AECOPD)的发作，往往因为暴露于危险因素下而诱发，如吸烟，其他环境暴露如生物燃料暴露和空气污染可能参与发病。除暴露外，个体宿主易感性也会导致慢阻肺的发生，其中包括基因异常、肺发育异常和加速衰老均属于COPD的危险因素，AECOPD是指患者出现呼吸系统症状急性加重,包括呼吸困难、咳嗽、咳痰量增多和(或)出现脓性痰液等典型症状，在短期内出现超出日常状况的持续恶化，且需要改变COPD日常药物治疗，是一种急性起病的过程。同时COPD患者常合并心血管疾病、骨骼肌功能障碍、代谢综合征、骨质疏松、抑郁、焦虑、肺癌等慢性病。所以下面所用的COPD临床数据选择了具有代表性的十种症状指标，即：咳嗽、咳痰、喘息/呼吸困难、胸部症状(胸闷、不适和充血)、疲倦/虚弱、睡眠障碍、心理状态(焦虑、抑郁)，危险因素如吸烟、生物燃料暴露史，合并心血管疾病、骨骼肌功能障碍等典型症状，根据症状的严重程度对每种症状进行量化评级，分为四个等级，即：无、轻、中、重分别以0，1，2，3代表，具体如表1所示。

表1 COPD症状量化表格

在本实施例中，可通过数据采集模块来获得所述症状指标。数据采集模块采用了物联网技术和问答式量表技术。其中，物联网技术用于采集肺功能、肺活量、呼出CO₂浓度、痰色泽性状等客观性指标。

问答式量表技术用于采集主观性指标，例如患者自我报告结局(Patient-reported outcome measures,Proms)量表、人口学征、危险因素，以及患者和医护人员共同制定的康复目标等。

Proms从患者角度了解治疗效果，是患者对症状严重程度的感知和对生理测量变化的见解，全方位系统评估患者的问题及需求，提供和补充了医护人员在评估中忽略的有价值的信息，促进医/护/患沟通，提高患者治疗依从性和满意度，提升患者管理以及照护质量的有效手段。

S2：基于所述当前症状指标，经由COPD干预策略模型推荐干预策略。

在本实施例中，COPD干预策略模型可以根据每个患者的具体情况推荐不同的处方(即干预策略)，具体如表2所示。

表2处方格式说明

其中，每个处方可用一个数字进行标识。

S3：根据所述当前症状指标以及推荐的干预策略生成输入向量。

S4：将所述输入向量输入到训练好的COPD虚拟干预环境模型，以获得输出向量；其中，所述输出向量用于表示经所述干预策略后，所述COPD患者干预后的症状指标。

S5：根据所述当前症状指标以及干预后的症状指标，计算得到当前的改善值，并根据当前的改善值以及历史计算得到的改善值R，更新得到当前的干预策略组合的评价标准；其中，所述干预策略组合包括在多个时刻的干预策略。

将当前症状指标更新为干预后的症状指标，并跳转至步骤S2。

在本实施例中，如图3所示，COPD虚拟干预环境模型是一多标签分类问题为基础的模型，因此需要将症状指标、体征向量和处方均转换为独热向量(one-hot vector)。独热向量是指除了这个向量代表的数字索引位是1外，其余位置全为0的向量。将每一个症状指标分量o_i在临床中分为“无”，“轻”，“中”，“重”四种程度，因此每种程度编码为独热向量形式为[1，0，0，0]，[0，1，0，0]，[0，0，1，0]，[0，0，0，1]。这样每个症状指标都是维度为4的独热向量，患者的症状指标集合就可以表示为o＝[o₁，o₂，……，o_n]，其中o_n表示每个症状的独热向量表示，o是所有症状的集合，o的维度即为症状数量乘以每个症状指标的维度，对于此模型，o的维度即为10*4＝40维。而处方a直接编号为从零开始的阿拉伯数字，因此输入向量可以表示为症状观察(o)和处方(a)合成的输入向量(o，a)，维度为40+1＝41维。

需要说明的是，在本发明的其他实施例中，可以根据实际的需要来划分临床程度，例如，可划分为3级，5级或者其他等级，则对应的独热向量为3维或者5维，这些方案均在本发明的保护范围之内。

在本实施例中，需要先对COPD虚拟干预环境模型和COPD干预策略模型进行训练。其具体训练过程如下：

首先，对于COPD虚拟干预环境模型：

获取作为训练数据的多个COPD患者的初始症状指标o、由医生开具的对应的干预策略a以及经所述干预策略干预后所述COPD患者的干预症状指标o’；

以所述初始症状指标o、干预策略a作为神经网络的输入，以干预症状指标o’作为所述神经网络的输出，对所述COPD虚拟干预环境模型进行训练，获得训练好的述COPD虚拟干预环境模型；其中，神经网络的训练目标是使得神经网络找到符合公式的方程：

f_nn(o，a)≈o′；

a′＝f_nn(o_i，a)，i＝1，…，N

o′_i＝a′(o_i)i＝1，…，N

其中，o_i表示第i个初始症状指标，N表示初始症状指标的总个数，a′表示训练好的COPD虚拟干预环境模型，o′_i表示经过训练好的COPD虚拟干预环境模型得到的干预症状指标输出。

然后，对于COPD干预策略模型：

创建并保存上述训练好的COPD虚拟干预环境模型；

重复n次以下步骤：

随机生成(o，a)，将(o，a)输入COPD虚拟干预环境模型。

记录COPD虚拟干预环境模型的输出o’；

根据计算o和o’计算得到改善值R，按下述公式组成一条向量组合数据x：

x＝concat[o，a，o′，R]

其中，concat[]表示拼接操作；

重复以上步骤n次，得到n条向量组合数据X，即：

X＝[x₁，x₂，…，x_n]；

基于所述n条向量组合数据，通过经验回放过程，训练得到基于深度学习的COPD干预策略模型。

在本实施例中，在训练得到COPD虚拟干预环境模型和COPD干预策略模型后，就可以通过二者的交互来进行COPD患者个性化管理调优的评价。其原理如下：

COPD干预策略模型可以被近似认为是一个智能体，而COPD虚拟干预环境模型则认为是一个环境。则有：

在t时刻，智能体有当前状态S_t作出动作A_t，环境作出反馈，产生状态S_t+1和奖励值R_t。智能体的目标就是通过优化动作序列得到最大化累积奖励G_t，G_t可以用公式表示：

G_t＝R_t+1+R_t+2+R_t+3+…+R_T

在上述公式中，T表示最后的时间戳(time step)，表示在T时刻智能体与环境交互结束，称从智能体与环境交互开始到交互结束的过程为一个回合(episode)，当前回合结束后，智能体的状态会被重置(reset)，不断继续开始新的回合。γ表示折扣系数，当γ＝0时可以认为智能体“目光短浅”，仅考虑眼前利益；当γ＝1时，认为智能体“目光长远”，考虑未来可能出现的整体利益。

类似上述交互过程，在本实施例中，基于深度强化学习的COPD干预策略模型、COPD虚拟干预环境模型、数据采集和挖掘模块之间的相互配合，分别充当智能体和环境的角色，不断的试错，学习，最终得到一套COPD患者个性化管理调优模型，达成COPD自我管理平台患者使用的最优化状态。

具体地：

首先，保存基于深度学习的COPD患者个性化干预策略模型：

然后，读取COPD虚拟干预环境模型；

接着读取基于深度学习的COPD患者个性化干预策略模型；

再接着，通过数据采集、挖掘模块抓取客观变量；

其中，当未达到指定疗程数时：

调用基于深度学习的COPD患者个性化干预策略模型，推荐处方a；

将治疗前的症状指标(o)和处方(a)拼接为(o，a)；

将(o，a)输入COPD虚拟干预环境模型，预测o’；

记录每次治疗前后奖励值R_t。

最后，在本实施例中，通过不断的预测以及干预策略的推荐，就可以获得干预策略组合(或者处方组合)。其中，如图4所示，为了能快速选择出高质量的处方组合，本实施例采用与DeepMind同样的双Q学习的深度强化学习技术以避免模型陷入局部最优。

在本实施例中，在获得处方组合后，可采用平均折扣奖励(Average DiscountedReward-ADR)来作为COPD患者个性化管理调优方法的评价标准：

在上述实施例中，需要对二个模型的稳定性和收敛速度进行评估。

对于COPD干预策略模型，其是一个典型的多标签分类问题，COPD虚拟干预环境模型是根据其损失函数(Loss Function)，和其准确率(Accuracy)来判断。其中，采用数据采集、挖掘模块的数据对模型进行训练，随着迭代步数的增加，可计算模型的损失函数(LossFunction)和准确率(Accuracy)。

而基于深度强化学习的COPD患者个性化干预策略模型的收敛速度是由其损失函数(Loss Function)的下降速度体现。同时，根据模型中所有行为的平均奖励(AverageAction Reward)，判断模型的稳定性。

综上所述，本实施例基于物联网技术将COPD患者有关的主客观指标无创、快速、便捷地收集成为可能，采用Proms将其中的定性指标转换为可量化的指标，这促使COPD患者自我管理的健康素养不断强化。基于深度强化学习技术，以人工智能辅助决策为基础，构造非监督下的动态自适应自我管理协同机制，对现有标准化的干预策略知识库进行补充和完善，根据患者病理生理心理状态采取最优化的护理干预措施，实现COPD患者全程、个性化的精准管理。

请参阅图5，本发明第二实施例还提供了一种基于深度学习的COPD患者个性化管理调优装置，包括：

症状指标获取单元210，用于获取COPD患者的当前症状指标；

干预策略推荐单元220，用于基于所述当前症状指标，经由COPD干预策略模型推荐干预策略；

输入向量生成单元230，用于根据所述当前症状指标以及推荐的干预策略生成输入向量；

输出单元240，用于将所述输入向量输入到训练好的COPD虚拟干预环境模型，以获得输出向量；其中，所述输出向量用于表示经所述干预策略后，所述COPD患者干预后的症状指标；

评价标准更新单元250，用于根据所述当前症状指标以及干预后的症状指标，计算得到当前的改善值，并根据当前的改善值以及历史计算得到的改善值R，更新得到当前的干预策略组合的评价标准；其中，所述干预策略组合为在多个时刻的干预策略的组合。

本发明第三实施例还提供了一种基于深度学习的COPD患者个性化管理调优设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现上述的基于深度学习的COPD患者个性化管理调优方法。

示例性地，本发明实施例中的各个模块可以由处理器执行可执行代码来实现，所述的可执行代码可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是方法的控制中心。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现基于物联网的物品追踪方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于深度学习的COPD患者个性化管理调优装置，其特征在于，包括：

症状指标获取单元，用于获取COPD患者的当前症状指标；

干预策略推荐单元，用于基于所述当前症状指标，经由COPD干预策略模型推荐干预策略；

输入向量生成单元，用于根据所述当前症状指标以及推荐的干预策略生成输入向量；

输出单元，用于将所述输入向量输入到训练好的COPD虚拟干预环境模型，以获得输出向量；其中，所述输出向量用于表示经所述干预策略后，所述COPD患者干预后的症状指标；

评价标准更新单元，用于根据所述当前症状指标以及干预后的症状指标，计算得到当前的改善值，并根据当前的改善值以及历史计算得到的改善值R，更新得到当前的干预策略组合的评价标准，并将当前症状指标更新为干预后的症状指标，跳转至干预策略推荐单元；其中，所述干预策略组合为在多个时刻的干预策略的组合；

其中，还包括：

建立基于神经网络的COPD虚拟干预环境模型；

获取作为训练数据的多个COPD患者的初始症状指标o、对应的干预策略a以及经所述干预策略干预后所述COPD患者的干预症状指标o’；

以所述初始症状指标o、干预策略a作为神经网络的输入，以干预症状指标o’作为所述神经网络的输出，对所述COPD虚拟干预环境模型进行训练，获得所述训练好的COPD虚拟干预环境模型；其中，神经网络的训练目标是使得神经网络找到符合公式的方程：

f_nn(o,a)≈o'；

a′＝f_nn(o_i,a),i＝1,...,N

o_i′＝a′(o_i)，i＝1,...,N

其中，o_i表示第i个初始症状指标，N表示初始症状指标的总个数，a′表示训练好的COPD虚拟干预环境模型，o_i′表示经过训练好的COPD虚拟干预环境模型得到的干预症状指标输出；

随机获取初始症状指标o、干预策略a以及其对应的干预症状指标o’，并计算得到症状改善程度R；

根据o，a，o’，R按下述公式组成一条向量组合数据x：

x＝concat[o,a,o′,R]

其中，concat[]表示拼接操作；

重复以上步骤n次，得到n条向量组合数据X，即：

X＝[x₁,x₂,...,x_n]；

基于所述n条向量组合数据，通过经验回放过程，训练得到基于深度学习的COPD干预策略模型。

2.一种基于深度学习的COPD患者个性化管理调优设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如下方法：

S101：获取COPD患者的当前症状指标；

S102：基于所述当前症状指标，经由COPD干预策略模型推荐干预策略；

S103：根据所述当前症状指标以及推荐的干预策略生成输入向量；

S104：将所述输入向量输入到训练好的COPD虚拟干预环境模型，以获得输出向量；其中，所述输出向量用于表示经所述干预策略后，所述COPD患者干预后的症状指标；

S105：根据所述当前症状指标以及干预后的症状指标，计算得到当前的改善值，并根据当前的改善值以及历史计算得到的改善值，更新得到当前的干预策略组合的评价标准；其中，所述干预策略组合包括在多个时刻的干预策略的组合；

将当前症状指标更新为干预后的症状指标，并跳转至步骤S102；

其中，还包括：

建立基于神经网络的COPD虚拟干预环境模型；

获取作为训练数据的多个COPD患者的初始症状指标o、对应的干预策略a以及经所述干预策略干预后所述COPD患者的干预症状指标o’；

以所述初始症状指标o、干预策略a作为神经网络的输入，以干预症状指标o’作为所述神经网络的输出，对所述COPD虚拟干预环境模型进行训练，获得所述训练好的COPD虚拟干预环境模型；其中，神经网络的训练目标是使得神经网络找到符合公式的方程：

f_nn(o,a)≈o'；

a′＝f_nn(o_i,a),i＝1,...,N

o_i′＝a′(o_i)，i＝1,...,N

其中，o_i表示第i个初始症状指标，N表示初始症状指标的总个数，a′表示训练好的COPD虚拟干预环境模型，o_i′表示经过训练好的COPD虚拟干预环境模型得到的干预症状指标输出；

随机获取初始症状指标o、干预策略a以及其对应的干预症状指标o’，并计算得到症状改善程度R；

根据o，a，o’，R按下述公式组成一条向量组合数据x：

x＝concat[o,a,o′,R]

其中，concat[]表示拼接操作；

重复以上步骤n次，得到n条向量组合数据X，即：

X＝[x₁,x₂,...,x_n]；

基于所述n条向量组合数据，通过经验回放过程，训练得到基于深度学习的COPD干预策略模型。

3.根据权利要求2所述的基于深度学习的COPD患者个性化管理调优设备，其特征在于，COPD的症状指标包括：咳嗽、咳痰、喘息/呼吸困难、胸部症状、疲倦/虚弱、睡眠障碍、危险因素；其中，每个症状指标具有不同的严重程度，每个严重程度采用一个独热向量表示；所述干预策略包括一个或者多个处方的组合，每个处方用一个标量表示。

4.根据权利要求3所述的基于深度学习的COPD患者个性化管理调优设备，其特征在于，

将每一个症状指标的严重程度在临床中分为“无”，“轻”，“中”，“重”四种程度；且每种程度的独热向量形式对应为[1,0,0,0]，[0,1,0,0]，[0,0,1,0]，[0,0,0,1]。

5.根据权利要求2所述的基于深度学习的COPD患者个性化管理调优设备，其特征在于，

当前的干预策略组合的评价标准ADR的计算公式为：

其中，γ表示折扣系数，R_k为第k时刻的改善值。

6.根据权利要求2所述的基于深度学习的COPD患者个性化管理调优设备，其特征在于，

对于COPD干预策略模型，采用数据采集、挖掘模块的数据对模型进行训练，随着训练迭代步数的增加，计算模型的损失函数和准确率；

在COPD虚拟干预环境模型训练完成后，由测试集对其进行测试，在测试过程中，计算COPD虚拟干预环境模型的损失函数和准确率。

Images