CN117894424A - 基于深度学习与强化学习构建t2dm患者药物方案的推荐系统 - Google Patents
基于深度学习与强化学习构建t2dm患者药物方案的推荐系统 Download PDFInfo
- Publication number
- CN117894424A CN117894424A CN202410288377.5A CN202410288377A CN117894424A CN 117894424 A CN117894424 A CN 117894424A CN 202410288377 A CN202410288377 A CN 202410288377A CN 117894424 A CN117894424 A CN 117894424A
- Authority
- CN
- China
- Prior art keywords
- index
- patient
- drug
- value
- recommendation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003814 drug Substances 0.000 title claims abstract description 288
- 229940079593 drug Drugs 0.000 title claims abstract description 230
- 230000002787 reinforcement Effects 0.000 title claims abstract description 29
- 208000001072 type 2 diabetes mellitus Diseases 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 45
- 230000007774 longterm Effects 0.000 claims abstract description 33
- 238000007689 inspection Methods 0.000 claims abstract description 29
- 206010052804 Drug tolerance Diseases 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000011282 treatment Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 48
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 238000011156 evaluation Methods 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 18
- 201000010099 disease Diseases 0.000 claims description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 claims description 7
- 206010061623 Adverse drug reaction Diseases 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims 1
- 238000011369 optimal treatment Methods 0.000 claims 1
- 238000001647 drug administration Methods 0.000 abstract 4
- 239000008280 blood Substances 0.000 description 36
- 210000004369 blood Anatomy 0.000 description 36
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 24
- 239000008103 glucose Substances 0.000 description 24
- 210000002569 neuron Anatomy 0.000 description 22
- 108010023302 HDL Cholesterol Proteins 0.000 description 10
- 230000004913 activation Effects 0.000 description 10
- 206010012601 diabetes mellitus Diseases 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 102000017011 Glycated Hemoglobin A Human genes 0.000 description 5
- 108010014663 Glycated Hemoglobin A Proteins 0.000 description 5
- 208000008960 Diabetic foot Diseases 0.000 description 4
- 206010067484 Adverse reaction Diseases 0.000 description 3
- 230000006838 adverse reaction Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011866 long-term treatment Methods 0.000 description 3
- 210000004205 output neuron Anatomy 0.000 description 3
- 238000004159 blood analysis Methods 0.000 description 2
- 238000009534 blood test Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000007877 drug screening Methods 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000004930 Fatty Liver Diseases 0.000 description 1
- 206010019708 Hepatic steatosis Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000013016 Hypoglycemia Diseases 0.000 description 1
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000000857 drug effect Effects 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 208000010706 fatty liver disease Diseases 0.000 description 1
- 230000002641 glycemic effect Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000002218 hypoglycaemic effect Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 231100000957 no side effect Toxicity 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008085 renal dysfunction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 231100000240 steatosis hepatitis Toxicity 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请公开了基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，涉及数字医疗技术领域。本发明采用强化学习方法，根据患者基本信息和用药前的检查指标集合得到药物推荐方案，再通过指标预测模块得到用药后的检查指标，以用药后的检查指标的评分作为药物推荐方案的价值；经过多次推荐，直到得到所述价值的数量达到预设阈值，根据所有所述价值计算得到总价值。所述总价值即反映所述药物推荐方案的长期价值。本发明不仅考虑了药物推荐方案的准确性，还综合考虑了药物的副作用和药物耐受性以及患者生活方式对患者检查指标的影响，提高了患者用药的长期价值。
Description
技术领域
本发明涉及数字医疗技术领域，具体涉及基于深度学习与强化学习构建T2DM患者药物方案的推荐系统。
背景技术
目前在全球范围内，二型糖尿病（Diabetes Mellitus Type 2，简称T2DM）的患病率和发病率急剧攀升。据国际糖尿病联盟（IDF）发布的最新数据显示，截至2021年，全球约有5.37亿的患者。医生通常根据患者体征信息和患者在当前治疗阶段的检查指标对用药方案进行筛选，根据患者体征信息、病史和用药史等对患者用药风险进行评估，从而得到针对性的治疗方案。但是，大多数二型糖尿病患者需要长期用药，由于病程延长和长时间用药等影响，患者出现多系统损害的概率增加，例如眼、肾、神经、心脏、血管等组织器官的慢性进行性病变、功能减退及衰竭等情形，而传统的用药方案通常为仅根据患者当前状态得出当前最佳的用药方案，难以根据长期用药条件下的治疗效果选择当前治疗阶段的用药方案，导致患者长期生活质量下降的风险增加。
发明内容
本发明的目的在于：针对二型糖尿病人由于个体差异大，病情严重程度不同，提供基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，只需要医生一次性输入患者的个体特征信息和所述第一检查指标集合，便可以辅助医生得出药物推荐方案，操作过程简单；同时可以根据不同患者的不同病情程度和不同生活方式制定个体化的药物治疗方案，并且考虑到药物副作用、患者并发症和生活方式等因素，能够及时调整药物推荐方案，提高长期治疗收益。
为了实现上述发明目的，本发明提供了以下技术方案：基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，包括：
信息采集模块，用于采集患者体征信息和第一检查指标集合，所述第一检查指标集合为所述患者用药前的检查指标集合；所述体征信息在患者诊疗时通过医务终端采集。所述第一检查指标集合包括血液检验指标和影像检查指标；所述血液检验指标用于观察和血糖相关指标的变化；所述影像检查指标用于观察所述患者是否有并发症或不良反应的迹象。
方案推荐模块，用于将所述患者体征信息和所述第一检查指标集合输入方案推荐模型，输出药物推荐方案。所述方案推荐模型为第一神经网络构建；通过所述第一神经网络提取所述患者的体征信息的特征、所述第一检查指标的特征以及药物与指标对应关系的特征，经过第一神经网络中的神经元的计算后，输出所述药物推荐方案。
指标预测模块，用于将所述患者体征信息、所述第一检查指标集合和所述药物推荐方案输入指标预测模型，输出第二检查指标集合；所述指标预测模型为第二神经网络构建。所述第二检查指标集合为所述患者使用所述药物推荐方案后的检查指标集合。通过所述第二神经网络提取所述患者的体征信息的特征、所述第二检查指标的特征以及所述药物推荐方案中各种药物对相应检查指标的作用机理的特征，经过所述第二神经网络中的神经元的计算后，输出所述第二检查指标集合。
方案评价模块，用于对所述第二检查指标集合进行评价，输出所述药物推荐方案的价值；其中，对参考指标评价的价值最高；所述参考指标为所述患者在长期用药情形下能达到最佳治疗效果的指标。
数据处理模块，用于循环执行计算所述价值的步骤，直到所述价值的数量达到第一预设阈值，计算所有所述价值得到所述药物推荐方案的长期价值；所述步骤包括：将所述第一检查指标集合输入所述方案推荐模块，选择所述价值最大的药物推荐方案；将所述药物推荐方案和所述第一检查指标集合输入所述指标预测模块，得到所述第二检查指标集合；将所述第二检查指标集合输入方案评价模块，得到所述价值；将所述第二检查指标集合作为新的所述第一检查指标集合。
所述方案推荐模块推荐药物时，需要遵守医学部门发布的糖尿病治疗指南中建议的循序用药原则，预防和减轻药物副作用、并发症风险以及药物耐受性，同时优化所述患者生活方式，提高患者长期用药下的收益。如果一开始就向患者推荐最好的药物，使治疗效果最好，后续可能出现药物难以将所述患者的检查指标控制在标准范围内，导致所述药物推荐方案的长期价值降低。
如果一开始推荐的药物方案，可以使所述患者用药后的检查指标达到参考指标，然后根据所述患者的检查指标是否稳定和患者是否产生药物耐受性，决定是否调整所述药物推荐方案。所述患者对过去的药物推荐方案产生药物耐受性后，可以有后续药物继续治疗，使得所述患者的检查指标长期稳定在标准范围，实现所述长期价值的提高。
作为本申请优选的技术方案，所述方案评价模块对所述药物推荐方案价值的计算过程包括：将所述第二检查指标集合和标准范围对比，对符合所述标准范围的第一检查指标设置正分，记为第一分数；对不符合所述标准范围的第二检查指标设置负分，记为第二分数；将所有的所述第一分数和所有的所述第二分数计算得到所述药物推荐方案的价值。所述标准范围包括糖尿病治疗指南以及医学实验标准中的检查指标标准范围，需要注意的是，所述标准范围可能随着医疗技术进步或人群的体质变化而修改。本实施例中，所述药物推荐方案价值根据检查指标的不同评价方式采用不同的计算方式，对检查指标按照取值范围分类，包括：
离散型指标，其取值范围是有限的集合，因此其评价分数也是有限的集合，例如并发症的有或无，所述第一分数或所述第二分数由预设分值得出。
连续型指标，其指标值可以有无限个，包括标准范围和异常范围，并且不同取值还存在不同的评价方式。进一步的，在本实施例中包括：
所述连续型指标在标准范围中的取值越小对患者越好，但本实施例需要考虑到患者减少药物耐受性出现的几率和增大患者的长期用药收益，因此设置参考指标，所述连续型指标和所述参考指标的距离越小，对患者的长期收益越大；不在标准范围中的取值则越靠近标准范围对患者的长期收益越大，所述第一分数由所述连续型指标与所述参考指标的距离计算；所述第二分数由所述连续型指标和所述参考范围的边界值的距离计算。
所述连续型指标在标准范围则评价为正常，不在标准范围则评价为异常；所述第一分数或所述第二分数由预设分值得出。
所述连续型指标在标准范围中的取值越大对患者越好，不在标准范围中的取值则越靠近标准范围对患者越好，所述参考指标为标准范围中的最大边界值；所述第一分数由所述连续型指标与标准范围中最小值的距离计算，所述第二分数由所述连续型指标与标准范围的距离计算。
作为本申请优选的技术方案，所述第一神经网络包括第一输入层、第一隐藏层集合和第一输出层；所述第一输入层中的神经元表示所述患者的体征信息和所述第一检查指标集合；由于所述体征信息和所述第一检查指标集合都会影响药物品类和用量的选择，而所述第一隐藏层集合通过全连接的方式，使每一层的神经元和上一层的神经元相连，可以实现所述第一输入层中所有特征之间相互约束的关系；所述第一输出层表示药物信息，通过全连接的方式和所述第一隐藏层集合的输出计算，最后输出所述药物推荐方案。所述第一隐藏层集合至少包含一个神经元层和一个激活层，所述激活层用于增加神经网络的非线性能力，能够更好的将复杂的输入信息拟合起来，得到更准确的所述药物推荐方案。
作为本申请优选的技术方案，所述第二神经网络包括第二输入层、第二隐藏层集合和第二输出层；所述第二输入层表示所述患者的体征信息、所述第一检查指标集合和所述药物推荐方案。由于所述药物推荐方案可以对所述第一检查指标集合中的多个指标产生影响，因此所述第二隐藏层集合也采用全连接的方式，使每一层的神经元和上一层的神经元相连，可以实现所述第二输入层中所有特征之间相互约束的关系；所述第二输出层表示药物对所述第一检查指标的作用机理，通过全连接的方式和所述第二隐藏层集合的输出计算，最后输出所述第二检查指标。所述第二隐藏层集合至少包含一个神经元层和一个激活层，所述激活层用于增加神经网络的非线性能力，能够更好的将复杂的输入信息拟合起来，得到更准确的所述药物推荐方案。
作为本申请优选的技术方案，通过药物筛选模块，针对患有不同基础疾病的用药患者或者有特殊用药需求的用药患者，根据二型糖尿病治疗指南中的用药规则，对所述药物推荐方案中存在的所述用药患者需要慎用、禁用的药物进行筛选，剔除包含不符合规则所述药物推荐方案，确保所述用药患者用药的合理性和安全性。
作为本申请优选的技术方案，所述方案推荐模型使用强化学习方法训练，所述训练步骤包括：
S1：采集医院医疗数据库中所有患者的历史体征信息、历史检查指标信息以及历史药物推荐方案；所述历史检查指标信息包括所述第一检查指标集合和所述第二检查指标集合；
S2：根据所述第二检查指标集合的评分构建奖励函数，所述奖励函数满足当所述第二检查指标集合达到所述参考指标时输出的价值最大；
S3：将所述患者的体征信息和所述第一检查指标集合作为当前状态，输入所述方案推荐模块，输出所述药物推荐方案；将所述当前状态和所述药物推荐方案输入所述指标预测模块，输出所述第二检查指标集合；
S4：使用所述方案评价模块计算所述第二检查指标集合的所述价值；所述价值越大，说明所述药物推荐方案越适合所述患者，所述方案推荐模型的梯度应该继续下降；所述价值越小，说明所述药物推荐方案越不适合所述患者，所述方案推荐模型的梯度在上升，应该更新所述方案推荐模型的神经网络使梯度下降；
S5：将所述第二检查指标集合作为新的所述第一检查指标集合，重复步骤S3~S4，直到所述价值的数量到达第一预设阈值，根据所有所述价值计算总价值；重复S3~S5，直到所述总价值满足训练要求的次数达到第二预设阈值，结束训练。
作为本申请优选的技术方案，还包括第一计算模块，用于获取多个其他患者的检查指标得到第一计算指标；设置时间滑动窗口，获取所述时间滑动窗口中的多个所述第一计算指标得到第一序列和第二计算指标；获取所述患者在所述时间滑动窗口中的多个检查指标，记为第二序列和第三计算指标；计算所述第二计算指标和所述第三计算指标的平均指标值，作为所述患者下一交互周期的所述参考指标。
作为本申请优选的技术方案，所述药物推荐方案包括控糖药物和非控糖药物；对药物之间发生反应产生的副作用，按照对所述患者产生的症状程度划分等级，并给各等级设置一个分数。从药物数据库中获取所述非控糖药物和所述控糖药物的副作用描述，确定所述副作用的等级后，得到所述非控糖药物的分数，记为药物副作用值；将所述药物推荐方案中给出的所述控糖药物的剂量记为第一剂量，从药物数据库中获取所述控糖药物的用量阈值，将所述第一剂量对所述用量阈值的比值记为剂量副作用值；所述药物副作用值和所述剂量副作用值相乘，得到所述药物推荐方案的副作用值。所述副作用值的大小表示所述药物推荐方案发生的严重程度。
作为本申请优选的技术方案，所述生活方式预警模块，用于辅助医生判断所述患者的生活方式对所述第二检查指标集合的影响；从患者数据库中选择作为标准生活方式的参照患者，获取所述参照患者一个交互周期内的生活方式记录，记为第一历史记录，获取所述参照患者的指标曲线图，记为第一曲线图；所述患者的生活方式记录作为第二历史记录，所述患者的指标曲线图为第二曲线图；使用欧几里德距离公式比较所述第二曲线图和所述第一曲线图的相似度，所述公式为：
；
其中D为两个曲线之间的欧几里德距离，i为时间，n为一个交互周期中的最大时间，Ai为所述第一曲线图上第i时刻的点，Bi为所述第二曲线图上第i时刻的点；所述相似度越高，说明患者的血糖控制良好；所述相似度越低，说明患者的血糖控制不稳定，需要医生提醒所述患者调整生活方式或修改所述药物推荐方案。
作为本申请优选的技术方案，评估所述患者是否对所述药物推荐方案产生药物耐受性；从患者数据库中获取其他患者产生药物耐受性的时间，取平均值并记为耐受性时间阈值；从患者数据库中获取其他患者产生药物耐受性的剂量，取平均值并记为耐受性剂量阈值。当所述患者使用所述药物推荐方案超过耐受性时间阈值或用药剂量超过耐受性剂量阈值后，其血糖指标仍然持续不稳定时，说明所述患者可能产生药物耐受性；需要医生根据所述患者生活方式和药物使用情况，判断所述患者血糖指标不稳定的原因，决定是否需要增加药物用量或者调整所述药物推荐方案。
作为本申请优选的技术方案，根据所述第二检查指标集合中的每个指标，将所述每个指标的值和误差阈值相乘，得到所述患者指标的相似区间范围；从患者数据库中获取检查指标值在相似区间范围的并且患有并发症的所有患者信息；将所述患者的指标曲线图和所述并发症患者的指标曲线图使用欧几里德距离公式对比，统计所述欧几里得距离在相似度阈值内的患者的数量，记为并发症患者数；将并发症患者数除以所述患者数据库中的二型糖尿病患者总数，根据得到的比值辅助医生判断所述患者出现并发症的概率。
与现有技术相比，本发明的有益效果：
1、由于药物耐受性问题，如果一开始给患者开最好的药，使第二检查指标集合达到标准范围中的最优指标。后续可能出现药物推荐方案难以将患者的检查指标控制在标准范围内，使药物推荐方案的长期价值降低。如果一开始给患者的药物推荐方案能使第二检查指标集合靠近标准范围中的参考指标，然后根据患者的检查指标是否稳定和是否产生药物耐受性，决定是否调整药物推荐方案，使患者的检查指标稳定在标准范围，实现长期价值的提高；因此方案推荐模块推荐药物时，需要遵守治疗指南中建议的循序用药原则，预防和减轻药物副作用、并发症风险以及药物耐受性，提高患者用药的长期价值。
2、本发明使用强化学习模型，将患者的个体体征信息、第一检查指标、药物推荐方案作为状态信息，将药物推荐方案的价值作为所述强化学习模型的奖励。通过向所述价值增加的方向调整方案推荐模型的参数，使所述药物推荐方案更加准确，促进了所述药物推荐方案的价值提高，从而使多次交互后得到的总价值即用药长期价值增加。整个过程也不需要医生重复输入和反复比对，使医生可以有更多的时间关注提升患者用药收益上。而且药物推荐方案也是按照循序用药的基本原则推荐，可以使患者无须担心出现药物耐受性而导致无药可用，在长期的治疗过程中实现检查指标的可控，尽可能的实现药物对患者的长期价值最大化。
3、本发明采用全连接方式的神经网络，可以将输入信息的特征融合到输出的各个神经元上，可以体现出患者体征信息、检查指标和药物之间的复杂影响关系，使药物推荐方案更加准确。并且配合药物筛选模块，剔除患者需要慎用或禁用的药物，进一步提高了药物推荐方案的准确性、合理性和安全性。
4、通过药物推荐方案作用后的第二检查指标集合的价值评价，并将其作为强化学习方法的奖励，通过价值大小反映药物推荐方案是否适合患者，使得所述方案推荐模型的更新和患者的指标优化对应。同时，通过合理的设置方案评价模块的评价方式，调整所述方案推荐模型的参数，也可以使本发明应用到其他药物推荐，具有较强的推广意义。而且医生可以根据价值得分非常直观地评估所述药物推荐方案的效果，不需要医生再去反复比对，减少了工作量。
5、本发明中实现的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统可以准确的推荐适合患者的药物推荐方案，同时本发明还考虑到药物使用过程中可能产生的副作用问题，通过对副作用划分等级区间并设置分数，实现副作用风险的数值化，辅助医生更直观的评价药物方案。同时患者的用药需要循序渐进，不能随意增加剂量或更换药物，否则容易导致血糖指标不稳定。因此本发明还考虑到患者对药物推荐方案产生药物耐受性的问题，将患者数据库中产生药物耐受性的平均时间和平均剂量作为阈值。当患者使用药物推荐方案超过阈值时，提醒医生可能出现药物耐受性风险，辅助医生根据患者的血糖指标确定药物用量的调整以及药物的更换。
附图说明
图1为药物方案推荐系统的流程示意图；
图2为方案推荐模型的神经网络结构示意图；
图3为指标预测模型的神经网络结构示意图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的部分实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合。
在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，这类术语仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一：参见图1所示，
本实施例提供的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，包括：
信息采集模块，用于采集患者体征信息和第一检查指标集合，所述第一检查指标集合为所述患者用药前的检查指标集合；所述体征信息在患者诊疗时通过医务终端采集。所述医务终端包括医院提供的线上终端和线下终端；所述线上终端包括医院微信小程序、支付宝小程序、单独的移动应用程序和医院网页端；所述线下子模块包括医院的患者信息采集终端、合作医院的患者信息采集终端和医生使用的输入终端。
本实施例中，所述患者的体征信息包括患者的身高、年龄、体重、腹围、血压和医生查体得出的所述患者的患病时间、身体异常部位、疼痛程度以及其他基础疾病。所述第一检查指标集合包括血液检验指标和影像检查指标；所述血液检验指标包括血糖，空腹血糖、尿糖，糖化血红蛋白等，用于观察和血糖相关指标的变化；所述影像检查指标包括医生查体、CT、B超和眼科检查等，用于观察所述患者是否有并发症或不良反应的迹象，包括糖尿病足、脂肪肝、肾功能异常和其他并发症。
方案推荐模块，用于将所述患者体征信息和所述第一检查指标集合输入方案推荐模型，使用监督学习的方式，通过第一神经网络提取所述患者体征信息的特征、所述第一检查指标的特征以及药物与指标对应关系的特征，经过第一神经网络中的神经元的计算后，输出所述药物推荐方案。所述药物推荐方案包括糖尿病控制药物、并发症控制药物以及其他异常指标控制药物。所述方案推荐模型为所述第一神经网络构建；所述第一神经网络采用多层感知机算法，使用多层隐藏层和全连接的方式，将前一层的所有输入神经元都映射到后一层的输出神经元上，经过多次计算后，使输出层的神经元以不同权重和偏置融合输入层所有神经元的特征。
指标预测模块，用于将所述患者体征信息、所述第一检查指标集合和所述药物推荐方案输入指标预测模型，通过第二神经网络提取所述患者的体征信息的特征、所述第二检查指标的特征以及所述药物推荐方案中各种药物对检查指标的作用机理的特征，经过所述第二神经网络中的神经元的计算后，输出所述第二检查指标集合。所述第二检查指标集合为所述患者使用所述药物推荐方案后的检查指标集合。
本实施例中，所述指标预测模型为第二神经网络构建；所述第二神经网络也采用多层感知机算法，使用多层隐藏层和全连接的方式，将前一层的所有输入神经元都映射到后一层的输出神经元上，经过多次计算后，使输出层的神经元以不同权重和偏置融合输入层所有神经元的特征。
方案评价模块，用于对所述第二检查指标集合进行评价，输出所述药物推荐方案的价值；其中，对参考指标评价的价值最高；所述参考指标为所述患者在长期用药情形下能达到最佳治疗效果的指标。
本实施例中，所述第二检查指标集合需要区分离散型指标和连续型指标。所述离散型指标为取值范围是有限个结果的指标，比如并发症的有或无；所述连续型指标为取值范围中有多个取值可能性的指标，比如血糖的取值范围区间为(4.4<血糖<7)。
数据处理模块，用于循环执行计算所述价值的步骤，直到所述价值的数量达到第一预设阈值，计算所有所述价值得到所述药物推荐方案的长期价值；所述步骤包括：将所述第一检查指标集合输入所述方案推荐模块，选择所述价值最大的药物推荐方案；将所述药物推荐方案和所述第一检查指标集合输入所述指标预测模块，得到所述第二检查指标集合；将所述第二检查指标集合输入方案评价模块，得到所述价值；将所述第二检查指标集合作为新的所述第一检查指标集合。
由于药物耐受性问题，如果一开始给患者开最好的药，使第二检查指标集合达到标准范围中的最优指标。后续可能出现药物推荐方案难以将患者的检查指标控制在标准范围内，使药物推荐方案的长期价值降低。如果一开始给患者的药物推荐方案能使第二检查指标集合靠近所述参考指标，然后根据患者的检查指标是否稳定和是否产生药物耐受性，决定是否调整药物推荐方案，使患者的检查指标稳定在标准范围，实现长期价值的提高；因此方案推荐模块推荐药物时，需要遵守治疗指南中建议的循序用药原则，预防和减轻药物副作用、并发症风险以及药物耐受性，提高患者用药的长期价值。
本发明使用强化学习模型，将患者的个体体征信息、第一检查指标、药物推荐方案作为环境参数，将药物推荐方案的价值作为所述强化学习模型的奖励。通过向所述价值增加的方向调整方案推荐模型的参数，使所述药物推荐方案更加准确，促进了所述药物推荐方案的价值提高，从而使多次交互后得到的总价值即用药长期价值增加。整个过程也不需要医生重复输入和反复比对，使医生可以有更多的时间关注提升患者用药收益上。而且药物推荐方案也是按照循序用药的基本原则推荐，可以使患者无须担心出现药物耐受性而导致无药可用，在长期的治疗过程中实现检查指标的可控，尽可能的实现药物对患者的长期价值最大化。
作为本申请优选的技术方案，所述药物推荐方案价值根据检查指标的不同评价方式采用不同的计算方式。本实施例中对检查指标按照取值范围分类，包括：
离散型指标，其取值范围是有限的集合，因此其评价分数也是有限的集合，例如糖尿病足的有或无，相应的计算方式为：所述患者患有糖尿病足，所述第二分数设置为-1分；如果没有患糖尿病足，所述第一分数设置为1分。
连续型指标，由于人的个体特征存在差异性，因此其指标值是连续的，包括标准范围和异常范围，并且不同取值还存在不同的评价方式，本实施例中以空腹血糖指标、糖化血红蛋白指标和高密度脂蛋白胆固醇指标为例，相应的计算方式为：
空腹血糖的标准范围是数学区间(4.4，7)，并且指标值越靠近4.4，说明血糖控制效果越好。但是考虑到患者在用药后期可能产生的药物耐受性问题，而且不同患者因为体质或其他基础疾病的原因，药物耐受性产生的剂量和时间不同。因此所述药物推荐方案应使所述患者的第二检查指标集合与标准范围中的所述参考指标之间的距离越小，患者的长期用药收益增大。为了体现所述空腹血糖指标和所述参考指标之间的不同距离。因此设置所述空腹血糖的所述第一分数计算方式为：
；
其中s1为所述空腹血糖处于标准范围时的得分，取值范围为（0<s1<1）；FPG为所述空腹血糖的值，取值范围为x1 <FPG<x2；x1为空腹血糖标准范围最小指标值，x2为空腹血糖标准范围最大指标值；m为参考指标的值。如果所述空腹血糖小于或等于4.4，说明所述患者服用药物后会出现低血糖，存在较高的风险，因此所述第二分数直接设置为-1分。如果所述空腹血糖大于或等于7，所述患者的空腹血糖也因未达到标准范围而应该给予负分，但空腹血糖越接近7，患者的血糖指标治疗效果越接近标准范围，分数应该越大，因此设置所述空腹血糖的所述第二分数计算方式为：
；
其中s2为所述空腹血糖不在标准范围时的得分，取值范围为（-1<s2≤0），FPG为所述空腹血糖的指标值；x2为空腹血糖标准范围最大指标值；FPGmax为医学实验室中设定的血糖上限值。
糖化血红蛋白的标准范围是数学区间（4%，6%），在医学上并没有对糖化血红蛋白指标值最好或最差的具体评价，一般评价方式为：指标值属于标准范围则是正常指标，指标值不属于标准范围则是异常指标。因此相应的计算方式为：糖化血红蛋白指标值属于标准范围，设置第一分数为1分；不属于标准范围，设置第二分数为-1分。
高密度脂蛋白胆固醇在出现糖尿病引起的心血管疾病时会发生变化，男性标准范围是数学区间(1.16，1.42)，女性标准范围是数学区间(1.29，1.55)，并且指标值在标准范围中越大越好，因此所述第一分数的计算方式为：
；
其中，t1为高密度脂蛋白胆固醇在标准范围时的得分，取值范围为(0<t1 <1)；HDLC为高密度脂蛋白胆固醇指标值；y1为高密度脂蛋白胆固醇标准范围中的最小值；y2为高密度脂蛋白胆固醇标准范围中的最大值。如果指标值不在标准范围时，则越靠近标准范围越好，因此所述第二分数的计算方式为：
；
其中，t2为高密度脂蛋白胆固醇不在标准范围时的得分，取值范围为(-1 ≤ t2 ≤0)；HDLC为高密度脂蛋白胆固醇指标值；y1为高密度脂蛋白胆固醇标准范围中的最小值；y2为高密度脂蛋白胆固醇标准范围中的最大值；HDLCmin为医学实验室中设定的下限值；HDLCmax为医学实验室中设定的上限值。
最后将所有的所述第一分数和所有的所述第二分数求和，得到所述药物推荐方案的价值。
通过药物推荐方案作用后的第二检查指标集合的价值评价，并将其作为强化学习方法的奖励，通过价值大小反映药物推荐方案是否适合患者，使得所述方案推荐模型的更新和患者的指标优化对应。同时，通过合理的设置方案评价模块的评价方式，调整所述方案推荐模型的参数，也可以使本发明应用到其他药物推荐，具有较强的推广意义。而且医生可以根据价值得分非常直观地评估所述药物推荐方案的效果，不需要医生再去反复比对，减少了工作量。
本实施例中，例如图2所示，所述第一神经网络包括第一输入层、第一隐藏层集合和第一输出层；所述第一输入层中的神经元表示所述患者的体征信息和所述第一检查指标集合；由于所述体征信息和所述第一检查指标集合都会影响药物品类和用量的选择，而所述第一隐藏层集合通过全连接的方式，使每一层的神经元和上一层的神经元相连，可以实现所述第一输入层中所有特征之间相互约束的关系；所述第一输出层表示药物信息，通过全连接的方式和所述第一隐藏层集合的输出计算，最后输出所述药物推荐方案。所述第一隐藏层集合至少包含一个神经元层和一个激活层，所述激活层使用LeakyReLU激活函数，用于增加神经网络的非线性能力，能够更好的将复杂的输入信息拟合起来，得到更准确的所述药物推荐方案。
本实施例中，例如图3所示，所述第二神经网络包括第二输入层、第二隐藏层集合和第二输出层；所述第二输入层表示所述患者的体征信息、所述第一检查指标集合和所述药物推荐方案。由于所述药物推荐方案可以对所述第一检查指标集合中的多个指标产生影响，因此所述第二隐藏层集合也采用全连接的方式，使每一层的神经元和上一层的神经元相连，可以实现所述第二输入层中所有特征之间相互约束的关系；所述第二输出层表示药物对所述第一检查指标的作用机理，通过全连接的方式和所述第二隐藏层集合的输出计算，最后输出所述第二检查指标集合。所述第二隐藏层集合至少包含一个神经元层和一个激活层，所述激活层使用LeakyReLU激活函数，用于增加神经网络的非线性能力，能够更好的将复杂的输入信息拟合起来，得到更准确的所述第二检查指标集合。
作为本申请优选的技术方案，所述药物筛选模块，在所述方案推荐网络推荐方案之后，针对患有不同基础疾病的患者或者有特殊用药需求的患者，比如患者有高血压或有肾功能不全等指标，根据权威医学部门发布的包括中国老年2型糖尿病防治临床指南中的用药规则，对所述药物推荐方案中存在的所述患者需要慎用、禁用的药物进行筛选，剔除不符合规则的药物或者剔除所述药物推荐方案，确保所述患者用药的合理性和安全性。
作为本申请优选的技术方案，所述方案推荐模型使用强化学习方法训练，所述训练步骤包括：
S1：采集医院医疗数据库中所有患者的历史体征信息、历史检查指标信息以及历史药物推荐方案；所述历史检查指标信息包括所述第一检查指标集合和所述第二检查指标集合；
S2：根据所述第二检查指标集合的评分构建奖励函数，所述奖励函数满足当所述第二检查指标集合达到所述参考指标时输出的价值最大；
S3：将所述患者的体征信息和所述第一检查指标集合作为当前状态，输入所述方案推荐模块，输出所述药物推荐方案；将所述当前状态和所述药物推荐方案输入所述指标预测模块，输出所述第二检查指标集合；
S4：使用所述方案评价模块计算所述第二检查指标集合的所述价值；所述价值越大，说明所述药物推荐方案越适合所述患者，所述方案推荐模型的梯度应该继续下降；所述价值越小，说明所述药物推荐方案越不适合所述患者，所述方案推荐模型的梯度在上升，应该更新所述方案推荐模型的神经网络使梯度下降；
S5：将所述第二检查指标集合作为新的所述第一检查指标集合，重复步骤S3~S4，直到所述价值的数量到达第一预设阈值，根据所有所述价值计算总价值；重复S3~S5，直到所述总价值满足训练要求的次数达到第二预设阈值，结束训练。
本实施例中，所述参考指标为所述患者在长期用药情形下能达到最佳治疗效果的指标。实践中，所述参考指标受到的影响因素较多，包括所述患者用药效果、体质和/或其他基础疾病，导致指标值动态变化。如果将所述参考指标设置为固定阈值，会使所述患者的指标预测准确度降低，导致长期收益减小。
作为本申请优选的技术方案，还包括第一计算模块，用于获取多个其他患者的检查指标，计算平均值，得到第一计算指标。由于检查指标受到的影响因素较多，检查指标在不同的交互周期中动态变化；而且随着患者年龄增加、体质变化以及持续用药的影响，过去的检查指标难以影响当前交互周期下的指标，因此应该将过去的指标剔除。本申请通过设置时间滑动窗口；获取所述时间滑动窗口中的多个所述第一计算指标，按交互周期顺序组合得到第一序列；同时计算平均值，得到第二计算指标。
作为本申请优选的技术方案，所述第一计算模块获取所述患者在所述时间滑动窗口中的多个检查指标，按交互周期顺序组合得到第二序列；同时计算平均值，得到第三计算指标。计算所述第二计算指标和所述第三计算指标的平均指标值，作为所述患者下一交互周期的所述参考指标。如果所述第二序列的检查指标数量小于时间滑动窗口的数量，将所述第一序列拼接在所述第二序列前，补足所述第二序列的检查指标数量。
本发明考虑到患者的检查指标受到包括年龄、体质因素的影响，造成参考指标发生变化，影响到最大价值的计算。通过动态调整所述参考指标在标准范围中的位置，使得患者在每一交互周期中预测的检查指标更加靠近真实值，增加了本发明与现实的结合度。检查指标的预测准确度提升，也使得药物推荐方案长期收益增加。
作为本申请优选的技术方案，当所述患者已经患有并发症时，将所述药物推荐方案中治疗糖尿病的药物记为控糖药物，治疗并发症的药物记为第一非控糖药物，从药物数据库中获取和所述控糖药物产生副作用的第二非控糖药物，根据所述控糖药物、所述第一非控糖药物和所述第二非控糖药物得到药物副作用值；将所述控糖药物的剂量记为第一剂量，从药物数据库中获取所述控糖药物的用量阈值，根据所述第一剂量和所述用量阈值得到剂量副作用值；根据所述药物副作用值和所述剂量副作用值得到所述药物推荐方案的副作用值。
作为本申请优选的技术方案，将所述第二非控糖药物与所述控糖药物产生的副作用划分为4个级别并设置分数：无副作用，记为1分；药效降低，记为2分；不良反应，记为3分，诱发疾病，记为4分；将所述第一非控糖药物和所述第二非控糖药物比对，确定所述第一非控糖药物的副作用级别，得到对应的药物副作用值。所述剂量副作用的值由所述第一剂量和所述剂量阈值的比值决定。所述药物副作用值和所述剂量副作用值相乘，得到所述药物推荐方案的副作用值，用来表示所述药物推荐方案对患有并发症的二型糖尿病患者的副作用风险。
作为本申请优选的技术方案，所述生活方式预警模块，用于辅助医生判断所述患者的生活方式对所述第二检查指标集合的影响。所述生活方式包括所述患者的饮食习惯、运动习惯、是否抽烟喝酒等。在一个交互周期内，获取患者数据库中生活方式良好的其他患者的第一历史记录和第一曲线图。所述第一曲线图为一个交互周期内所述患者的各指标统计曲线图。所述一个交互周期为所述方案推荐模块输出一次所述药物推荐方案。获取所述患者的生活方式作为第二历史记录，所述患者的指标统计曲线图为第二曲线图。选取一个关注的指标，比如血糖指标，比较该指标下的所述第一曲线图和所述第二曲线图，使用欧几里德距离公式评估两个曲线图的相似度，函数公式为：
；
其中D为两个曲线之间的欧几里德距离，i为记录次数，n为一个交互周期中的最大记录次数，Ai为所述第一曲线图上第i次的点，Bi为所述第二曲线图上第i次的点。所述欧几里德距离越小，表示所述第一曲线图和所述第二曲线图相似度越大，说明患者的血糖控制良好；所述欧几里德距离越大，表示所述第一曲线图和所述第二曲线图的相似度越小，说明患者的血糖控制难以稳定，需要医生提醒所述患者调整生活方式或修改所述药物推荐方案。
作为本申请优选的技术方案，所述药物耐受性评估模块，用于评估所述患者是否对所述药物推荐方案产生药物耐受性；从患者数据库中获取其他患者产生药物耐受性的时间，取平均值并记为耐受性时间阈值；从患者数据库中获取其他患者产生药物耐受性的剂量，取平均值并记为耐受性剂量阈值。当所述患者使用所述药物推荐方案超过耐受性时间阈值或用药剂量超过耐受性剂量阈值后，其血糖指标仍然持续不稳定时，说明所述患者可能产生药物耐受性。所述药物耐受性评估模块需要辅助医生根据所述患者生活方式和药物使用情况，判断所述患者血糖指标不稳定的原因，决定是否需要增加药物用量或者调整所述药物推荐方案。
本发明中实现的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统可以准确的推荐适合患者的药物推荐方案，同时本发明还考虑到药物使用过程中可能产生的副作用问题，通过对副作用划分等级区间并设置分数，实现副作用风险的数值化，辅助医生更直观的评价药物方案。同时患者的用药需要循序渐进，不能随意增加剂量或更换药物，否则容易导致血糖指标不稳定。因此本发明还考虑到患者对药物推荐方案产生药物耐受性的问题，当患者使用药物推荐方案超过耐受性时间阈值或耐受性剂量阈值时，提醒医生可能出现药物耐受性风险，辅助医生根据患者的血糖指标确定药物用量的调整以及药物的更换。
作为本申请优选的技术方案，根据所述第二检查指标集合中的每个指标，将所述每个指标的值和误差阈值相乘，得到所述患者指标的相似区间范围；从患者数据库中获取检查指标值在相似区间范围的并且患有并发症的所有患者信息；将所述患者的指标曲线图和所述并发症患者的指标曲线图使用欧几里德距离公式对比，统计所述欧几里得距离在相似度阈值内的患者的数量，记为并发症患者数；将并发症患者数除以所述患者数据库中的二型糖尿病患者总数，根据得到的比值辅助医生判断所述患者出现并发症的概率。
以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但本发明不局限于上述具体实施方式，因此任何对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均涵盖在本发明的权利要求范围当中。
Claims (10)
1.基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于，包括：
信息采集模块，用于采集患者体征信息和第一检查指标集合，所述第一检查指标集合为所述患者用药前的检查指标的集合；
方案推荐模块，用于将所述患者体征信息和所述第一检查指标集合输入方案推荐模型，输出药物推荐方案；
指标预测模块，用于将所述患者体征信息、所述第一检查指标集合和所述药物推荐方案输入指标预测模型，输出第二检查指标集合；所述第二检查指标集合为患者使用所述药物推荐方案后的检查指标的预测值集合；
方案评价模块，用于对所述第二检查指标集合进行评价，输出所述药物推荐方案的价值；其中，对参考指标评价的价值最高；所述参考指标为所述患者在长期用药情形下能达到最佳治疗效果的指标；
数据处理模块，用于循环执行计算所述价值的步骤，直到所述价值的数量达到第一预设阈值，计算所有所述价值得到所述药物推荐方案的长期价值，输出所述长期价值最大的所述药物推荐方案；所述步骤包括：将所述第一检查指标集合输入所述方案推荐模块，选择所述价值最大的药物推荐方案；将所述药物推荐方案和所述第一检查指标集合输入所述指标预测模块，得到所述第二检查指标集合；将所述第二检查指标集合输入方案评价模块，得到所述价值；将所述第二检查指标集合作为新的所述第一检查指标集合。
2.如权利要求1所述的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于，所述方案评价模块对所述药物推荐方案的价值计算过程包括：
对符合标准的所述第二检查指标设置第一分数；对异常的所述第二检查指标设置第二分数；
所述第二检查指标为离散型指标，所述第一分数或所述第二分数为预设分值；
所述第二检查指标为连续型指标，在标准范围中设置参考指标，所述第一分数由所述连续型指标与所述参考指标的距离计算；所述第二分数由所述连续型指标和所述参考范围的边界值的距离计算；所述距离越小，所述分数值越大。
3.如权利要求1所述的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于：所述方案推荐模型为第一神经网络构建，所述第一神经网络包括第一输入层、第一隐藏层集合和第一输出层；所述第一输入层表示所述患者的体征信息和所述第一检查指标集合；所述第一隐藏层集合各层的连接方式为全连接；所述第一输出层表示药物信息，也通过全连接的方式和所述第一隐藏层集合的输出计算，最后输出所述药物推荐方案；
所述指标预测模型为第二神经网络构建，所述第二神经网络包括第二输入层、第二隐藏层集合和第二输出层；所述第二输入层表示所述患者的体征信息、所述第一检查指标集合和所述药物推荐方案，所述第二隐藏层集合各层的连接方式为全连接；所述第二输出层表示药物对所述第一检查指标集合的作用机理，通过全连接的方式和所述第二隐藏层集合的输出计算，最后输出所述第二检查指标集合。
4.如权利要求1所述的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于：还包括药物筛选模块，用于根据二型糖尿病治疗指南中的用药规则对所述药物推荐方案筛查，结合所述患者的其他基础疾病或其他特殊用药需求，剔除包含不符合规则的药物的所述药物推荐方案。
5.如权利要求4所述的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于：所述方案推荐模型使用强化学习方法训练，所述训练步骤包括：
S1：采集医院医疗数据库中所有患者的历史体征信息、历史检查指标信息以及历史药物推荐方案；所述历史检查指标信息包括所述第一检查指标集合和所述第二检查指标集合；
S2：根据所述第二检查指标集合的评分构建奖励函数，所述奖励函数满足当所述第二检查指标集合达到所述参考指标时输出的价值最大；
S3：将所述患者的体征信息和所述第一检查指标集合作为当前状态，输入所述方案推荐模块，输出所述药物推荐方案；将所述当前状态和所述药物推荐方案输入所述指标预测模块，输出所述第二检查指标集合；
S4：使用所述方案评价模块计算所述第二检查指标集合的所述价值；根据所述价值，通过梯度下降法调整所述方案推荐模型的梯度变化的方向；
S5：将所述第二检查指标集合作为新的所述第一检查指标集合，重复步骤S3~S4，直到所述价值的数量到达第一预设阈值，根据所有所述价值计算总价值；重复S3~S5，直到所述总价值满足训练要求的次数达到第二预设阈值，结束训练。
6.如权利要求1~5任意一项所述的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于，还包括：
第一计算模块，用于获取其他患者的检查指标，记为第一计算指标；设置时间滑动窗口，获取所述时间滑动窗口中的多个所述第一计算指标得到第一序列和第二计算指标；获取所述患者在所述时间滑动窗口中的检查指标，记为第二序列和第三计算指标；计算所述第二计算指标和所述第三计算指标的平均指标值，作为所述患者下一交互周期的所述参考指标。
7.如权利要求1~5任意一项所述的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于：还包括对药物之间发生反应产生的副作用划分等级，并给各等级赋值；从药物数据库中获取非控糖药物和控糖药物的副作用，确定副作用的等级后得到所述非控糖药物的药物副作用值；将所述控糖药物的剂量记为第一剂量，从药物数据库中获取所述控糖药物的用量阈值，根据所述第一剂量和所述用量阈值计算剂量副作用值；将所述药物副作用值和所述剂量副作用值计算得到所述药物推荐方案的副作用值。
8.如权利要求1~5任意一项所述的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于：还包括生活方式预警模块，用于从患者数据库中选择长期价值最大的参照患者，获取所述参照患者一个交互周期内的生活方式记录，记为第一历史记录；获取所述参照患者的指标曲线图，记为第一曲线图；所述患者的生活方式记录作为第二历史记录，所述患者的指标曲线图为第二曲线图；使用欧几里德距离公式比较所述第二曲线图和所述第一曲线图的相似度，所述公式为：
；
其中D为两个曲线之间的欧几里德距离，i为记录次数，n为一个交互周期中的最大记录次数，Ai为所述第一曲线图上第i次的点，Bi为所述第二曲线图上第i次的点。
9.如权利要求1~5任意一项所述的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于：还包括从患者数据库中获取其他患者产生药物耐受性的时间，取平均值并记为耐受性时间阈值；从患者数据库中获取其他患者产生药物耐受性的剂量，取平均值并记为耐受性剂量阈值；当所述患者使用所述药物推荐方案超过耐受性时间阈值或用药剂量超过耐受性剂量阈值后，其检查指标仍然持续不稳定时，提醒医生调整药物用量或者所述药物推荐方案。
10.如权利要求1~5任意一项所述的基于深度学习与强化学习构建T2DM患者药物方案的推荐系统，其特征在于：还包括从患者数据库中获取和所述第二检查指标集合相似并且已经患有并发症的患者的数量，记为并发症患者数；将并发症患者数和所述患者数据库中的二型糖尿病患者总数计算，根据得到的结果辅助医生判断所述患者出现并发症的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410288377.5A CN117894424B (zh) | 2024-03-14 | 2024-03-14 | 基于深度学习与强化学习构建t2dm患者药物方案的推荐系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410288377.5A CN117894424B (zh) | 2024-03-14 | 2024-03-14 | 基于深度学习与强化学习构建t2dm患者药物方案的推荐系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117894424A true CN117894424A (zh) | 2024-04-16 |
| CN117894424B CN117894424B (zh) | 2024-05-14 |
Family
ID=90647569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410288377.5A Active CN117894424B (zh) | 2024-03-14 | 2024-03-14 | 基于深度学习与强化学习构建t2dm患者药物方案的推荐系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117894424B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2815981A1 (en) * | 2012-05-16 | 2013-11-16 | Dynamic Health Initiatives | Methods and systems for interactive implementation of medical guidelines |
| CN105661522A (zh) * | 2016-01-15 | 2016-06-15 | 衷成华 | 一种对二型糖尿病人平稳血糖进行推荐的方法 |
| JP2018010390A (ja) * | 2016-07-12 | 2018-01-18 | グロースメディスン株式会社 | 骨粗鬆症の推奨薬の提示システム |
| CN111696660A (zh) * | 2020-05-13 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于人工智能的患者分群方法、装置、设备及存储介质 |
| CN112102956A (zh) * | 2020-10-13 | 2020-12-18 | 杭州健海科技有限公司 | 一种糖尿病患者提高依从性的方法和系统 |
| CN112509709A (zh) * | 2020-11-25 | 2021-03-16 | 杭州睿知科技有限公司 | 住院病人治疗性使用抗菌药物临床决策支持系统 |
| CN113113130A (zh) * | 2021-03-15 | 2021-07-13 | 湖南医云智享医疗科技有限公司 | 一种肿瘤个体化诊疗方案推荐方法 |
| CN113571180A (zh) * | 2021-07-21 | 2021-10-29 | 青岛大学附属医院 | 基于c肽分层及脏器功能的2型糖尿病人工智能诊疗管理系统 |
| CN113851208A (zh) * | 2021-09-26 | 2021-12-28 | 上海大学 | 基于显式主题分配技术的医疗检查推荐系统及方法 |
| US20220246297A1 (en) * | 2021-02-01 | 2022-08-04 | Anthem, Inc. | Causal Recommender Engine for Chronic Disease Management |
| CN115662568A (zh) * | 2022-11-09 | 2023-01-31 | 中南大学湘雅医院 | 一种脑小血管病用药推荐临床辅助决策系统及方法 |
| CN116189847A (zh) * | 2023-05-05 | 2023-05-30 | 武汉纺织大学 | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 |
| CN116913459A (zh) * | 2023-09-12 | 2023-10-20 | 神州医疗科技股份有限公司 | 基于深度卷积网络控制门模型的用药推荐方法及系统 |
| CN117174330A (zh) * | 2023-08-21 | 2023-12-05 | 肾泰网健康科技(南京)有限公司 | 一种基于机器学习的IgA肾病患者治疗方案推荐方法 |
| CN117672451A (zh) * | 2023-12-31 | 2024-03-08 | 天津九安医疗电子股份有限公司 | 面向2型糖尿病患者的用药推荐方法 |
-
2024
- 2024-03-14 CN CN202410288377.5A patent/CN117894424B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2815981A1 (en) * | 2012-05-16 | 2013-11-16 | Dynamic Health Initiatives | Methods and systems for interactive implementation of medical guidelines |
| CN105661522A (zh) * | 2016-01-15 | 2016-06-15 | 衷成华 | 一种对二型糖尿病人平稳血糖进行推荐的方法 |
| JP2018010390A (ja) * | 2016-07-12 | 2018-01-18 | グロースメディスン株式会社 | 骨粗鬆症の推奨薬の提示システム |
| CN111696660A (zh) * | 2020-05-13 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于人工智能的患者分群方法、装置、设备及存储介质 |
| CN112102956A (zh) * | 2020-10-13 | 2020-12-18 | 杭州健海科技有限公司 | 一种糖尿病患者提高依从性的方法和系统 |
| CN112509709A (zh) * | 2020-11-25 | 2021-03-16 | 杭州睿知科技有限公司 | 住院病人治疗性使用抗菌药物临床决策支持系统 |
| US20220246297A1 (en) * | 2021-02-01 | 2022-08-04 | Anthem, Inc. | Causal Recommender Engine for Chronic Disease Management |
| CN113113130A (zh) * | 2021-03-15 | 2021-07-13 | 湖南医云智享医疗科技有限公司 | 一种肿瘤个体化诊疗方案推荐方法 |
| CN113571180A (zh) * | 2021-07-21 | 2021-10-29 | 青岛大学附属医院 | 基于c肽分层及脏器功能的2型糖尿病人工智能诊疗管理系统 |
| CN113851208A (zh) * | 2021-09-26 | 2021-12-28 | 上海大学 | 基于显式主题分配技术的医疗检查推荐系统及方法 |
| CN115662568A (zh) * | 2022-11-09 | 2023-01-31 | 中南大学湘雅医院 | 一种脑小血管病用药推荐临床辅助决策系统及方法 |
| CN116189847A (zh) * | 2023-05-05 | 2023-05-30 | 武汉纺织大学 | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 |
| CN117174330A (zh) * | 2023-08-21 | 2023-12-05 | 肾泰网健康科技(南京)有限公司 | 一种基于机器学习的IgA肾病患者治疗方案推荐方法 |
| CN116913459A (zh) * | 2023-09-12 | 2023-10-20 | 神州医疗科技股份有限公司 | 基于深度卷积网络控制门模型的用药推荐方法及系统 |
| CN117672451A (zh) * | 2023-12-31 | 2024-03-08 | 天津九安医疗电子股份有限公司 | 面向2型糖尿病患者的用药推荐方法 |
Non-Patent Citations (3)
| Title |
|---|
| FEI TENG; LIANGQING GUO; ZHONGWEN LU; QIAN HAO; SHUANG ZHANG; XIAOCHUN HAN: ""Transcriptome Sequencing to Explore the Mechanism of Qiwei Baizhu San in Treating T2DM"", 《2022 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》, 2 January 2023 (2023-01-02), pages 3709 - 3714 * |
| 赵秀君 刘丽华 周红 张明明 常欢: ""出院计划新模式对2型糖尿病患者代谢指标和低血糖事件的影响研究"", 《中国全科医学》, vol. 17, no. 13, 25 June 2014 (2014-06-25), pages 1481 - 1485 * |
| 赵秀君: ""2型糖尿病患者应用出院计划服务的效果评价"", 《护理学杂志》, vol. 29, no. 1, 5 January 2014 (2014-01-05), pages 18 - 20 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117894424B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chatrati et al. | Smart home health monitoring system for predicting type 2 diabetes and hypertension | |
| JP6858751B2 (ja) | 糖尿病管理療法アドバイザ | |
| Afsaneh et al. | Recent applications of machine learning and deep learning models in the prediction, diagnosis, and management of diabetes: a comprehensive review | |
| JP2006507875A (ja) | 患者の健康を自動診断するシステムおよび方法 | |
| CN110880362A (zh) | 一种大规模医疗数据知识挖掘与治疗方案推荐系统 | |
| KR20130010037A (ko) | 환자 생리학의 모델링에 기초하여 환자 맞춤형 치료를 개발하는 시스템 및 방법 | |
| CN110021437B (zh) | 一种糖尿病的管理方法和系统 | |
| Gautier et al. | Artificial intelligence and diabetes technology: A review | |
| US20210256872A1 (en) | Devices, systems, and methods for predicting blood glucose levels based on a personalized blood glucose regulation model | |
| WO2021158796A1 (en) | Forecasting and explaining user health metrics | |
| CN114732402B (zh) | 一种基于大数据的糖尿病数字化健康管理系统 | |
| JP2023524473A (ja) | 適合型意思決定支援システム | |
| CN116210058A (zh) | 慢性肾脏疾病（ckd）机器学习预测系统、方法和装置 | |
| US20210151141A1 (en) | Joint state estimation prediction that evaluates differences in predicted vs. corresponding received data | |
| CN117894424B (zh) | 基于深度学习与强化学习构建t2dm患者药物方案的推荐系统 | |
| Reddy et al. | Risk Assessment of myocardial infarction for diabetics through multi-aspects computing | |
| US11676726B2 (en) | Apparatus and method for generating a treatment plan for salutogenesis | |
| Al-Khasawneh et al. | A predictive E-Health information system: Diagnosing diabetes mellitus using neural network based decision support system | |
| US20230010826A1 (en) | Control of a therapeutic delivery system | |
| US11322250B1 (en) | Intelligent medical care path systems and methods | |
| Ahmed et al. | Recent trends and techniques of blood glucose level prediction for diabetes control | |
| Kaur et al. | A comprehensive review of medical expert Systems for Diagnosis of chronic kidney diseases | |
| Winkler et al. | Patient-specific performance evaluation for insulin control systems | |
| CN116705230B (zh) | 具有胰岛素灵敏度自适应估计的mdi决策系统及方法 | |
| Xia et al. | Progress and perspective of artificial intelligence and machine learning of prediction in anesthesiology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |