CN110718304A - 一种艾滋病患者用药依从性监测方法 - Google Patents

一种艾滋病患者用药依从性监测方法 Download PDF

Info

Publication number
CN110718304A
CN110718304A CN201910956307.1A CN201910956307A CN110718304A CN 110718304 A CN110718304 A CN 110718304A CN 201910956307 A CN201910956307 A CN 201910956307A CN 110718304 A CN110718304 A CN 110718304A
Authority
CN
China
Prior art keywords
node
centripetal
centrifugal
skeleton
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910956307.1A
Other languages
English (en)
Other versions
CN110718304B (zh
Inventor
杨尚明
刘勇国
李巧勤
王志华
杨晓帅
刘晞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910956307.1A priority Critical patent/CN110718304B/zh
Publication of CN110718304A publication Critical patent/CN110718304A/zh
Application granted granted Critical
Publication of CN110718304B publication Critical patent/CN110718304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504—Bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4833—Assessment of subject's compliance to treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2200/00—General characteristics or adaptations
    • A61J2200/30—Compliance analysis for taking medication

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Primary Health Care (AREA)
  • Toxicology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种艾滋病患者用药依从性监测方法。本发明通过提出一种基于3D骨架的ST‑GLSTM深层网络学习模型，以识别艾滋病患者服药动作及服药后的人体不良反应行为，对患者用药依从性进行监测。本发明通过构建骨架时空图，以关节点拓扑结构表示节点间空间位置关系，以时间序列边缘的形式表达关节点的活动轨迹，设计符合骨架时空图的图长短期记忆网络模型，包括向心、离心点群时间与空间遗忘门和向心点群时间与空间细胞状态，通过构建时空遗忘门与时空细胞状态，模拟骨架数据的时空状态，同时融合学习骨架根节点的向心点、离心点等邻居节点的时空特征，提高患者用药过程动作识别精度，完成对患者用药依从性的监测。

Description

一种艾滋病患者用药依从性监测方法
技术领域
本发明涉及用药依从性监测领域，具体涉及一种艾滋病患者用药依从性监测方法。
背景技术
艾滋病，即获得性免疫缺陷综合征(AIDS)，其病原体为人类免疫缺陷病毒(HIV)，亦称艾滋病病毒。截至2017年底，我国报告的现存活HIV/AIDS患者758 610例，当年新发现HIV/AIDS患者134 512例(其中95％以上均是通过性途径感染)，当年报告死亡30 718例，艾滋病已成为严重威胁我国公众健康的重要公共卫生问题。
高效联合抗病毒治疗(HAART)能降低艾滋病的发病率和死亡率，有效地缓解症状，延长患者生存时间。要达到抗病毒治疗的预期效果，必须规律且终生服用抗病毒药物，因此用药依从性是影响治疗效果的一个关键因素。若患者服药依从性小于95％，则为依从性差，容易导致病毒耐药发生率增加，影响治疗效果。由于抗病毒药物的不良反应及耐受性往往容易影响患者的服药依从性，进而影响抗病毒治疗的成败，所以适时监测患者服药过程及服药后人体不良反应对于提高治疗效果至关重要。
目前对患者用药依从性监测的主要方法是由患者利用手机APP自行记录用药情况，中国专利”CN105320533A一种针对男男性接触者(MSM)行为干预的手机软件”要求使用者通过手机APP反馈每日、每周性行为等并进行线上评估，从而对其进行艾滋病相关知识教育，以及对性行为、HIV阳性者抗病毒治疗服药依从性等进行干预，预防艾滋病病毒感染，促进患者用药依从性。
由于服用艾滋病抗病毒药物会出现头痛、恶心、呕吐、腹泻、失眠等副作用，包括对肝等身体器官造成损害，以及艾滋病患者易受负面情绪影响，患者服药依从性较差，基于手机软件由患者自行记录用药情况的这种方法，患者往往不会主动使用手机软件记录日常用药，这样情况往往需要艾滋病患者被动接受用药记录，以评估患者服药依从性。
发明内容
针对现有技术中的上述不足，本发明提供的一种艾滋病患者用药依从性监测方法可主动对患者进行用药依赖性监测。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种艾滋病患者用药依从性监测方法，其包括以下步骤：
S1、采用Kinect深度传感器采集患者服药过程的骨架序列数据，记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图；
S2、基于患者服药过程的骨架序列数据构建无向时空图；
S3、在骨架图上寻找每个节点的邻居节点集，并根据邻居节点与骨架重心的距离将邻居节点集划分为根节点本身、向心节点和离心节点；
S4、根据无向时空图构建时空图长短期记忆网络；
S5、将向心节点、离心节点和根节点作为时空图长短期记忆网络的输入，对时空图长短期记忆网络进行训练；
S6、采用与步骤S1至步骤S3相同的方法采集患者日常生活中的骨架序列数据对应的根节点、向心节点和离心节点，并将其作为待识别数据；
S7、采用训练后的时空图长短期记忆网络对待识别数据进行识别，判断待识别数据中是否存在服药过程，完成艾滋病患者用药依从性监测。
进一步地，步骤S1中患者服药过程包括打开药盒、取出药丸、喝水服药和关上药盒。
进一步地，步骤S1中记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图的具体方法包括以下子步骤：
S1-1、采用Kinect深度传感器以30帧每秒的采样速率获取患者关节在三维坐标系中的坐标；
S1-2、判断骨架节点是否出现遮挡，若是则取前后骨架数据完整的临近两帧中对应骨架节点的坐标平均值作为该遮挡位置处骨架节点的坐标值，进入步骤S1-3；否则直接进入步骤S1-3；
S1-3、根据人体骨架结构的连通性，将每个关节连接到连续帧中的相同关节，得到保留了骨架节点间的相对空间位置关系和对应骨骼点的时序关系的骨架图。
进一步地，步骤S2的具体方法为：
基于患者服药过程的骨架序列数据，在每一帧内按照人体的自然骨架连接关系构造空间图，获取节点矩阵集合V＝{vnk|n＝1,...,N；k＝1,...,K}，其中N为总帧数，K为关节点数；将帧与帧之间的边表示人体对应骨骼点的时序关系，获取骨架节点间的连接边集E；进而构建无向时空图G＝(V,E)。
进一步地，步骤S3的具体方法包括以下子步骤：
S3-1、在骨架图上节点vtk的邻居集D(vtk)＝{vti|dist(vti,vtk)≤L上定义组合函数；其中dist(vti,vtk)为从节点vti到节点vtk的任何关节的最小长度；L＝1，即表示1邻居节点集；
S3-2、将人体骨骼关节按照两个臂、两根腿和躯干分为五个身体部分，并根据公式
寻找任一个节点作为根节点时，其相邻节点是向心节点或离心节点；其中Nc＝{nc|c＝1,2,3,4,5}表示五个身体部分的重心，nc(vtj)表示节点vtj所属部分，节点vtj为输入节点；vtj表示t时刻的节点j；root表示根节点；centripetal表示向心节点；centrifugal表示离心节点；nci表示从根节点i到所属身体部分重心点nc的距离；ncj表示从相邻节点j到所属身体部分重心点nc的距离；其中身体部分重心为该身体部分骨架节点坐标的几何中心，即该身体部分中骨架所有关节的平均坐标。
进一步地，步骤S4中时空图长短期记忆网络包括向心节点序列模型、离心节点序列模型和根节点序列模型；其中，
根节点序列模型为：
Figure BDA0002227413420000041
Figure BDA0002227413420000042
Figure BDA0002227413420000043
Figure BDA0002227413420000044
Figure BDA0002227413420000045
Figure BDA0002227413420000046
Figure BDA0002227413420000047
Figure BDA0002227413420000048
Figure BDA0002227413420000049
向心节点序列模型为：
Figure BDA00022274134200000410
Figure BDA00022274134200000411
Figure BDA00022274134200000412
Figure BDA00022274134200000413
Figure BDA0002227413420000051
Figure BDA0002227413420000052
Figure BDA0002227413420000053
Figure BDA0002227413420000054
Figure BDA0002227413420000055
离心节点序列模型为：
Figure BDA0002227413420000056
Figure BDA0002227413420000057
Figure BDA0002227413420000058
Figure BDA0002227413420000059
Figure BDA00022274134200000510
Figure BDA00022274134200000511
Figure BDA00022274134200000512
Figure BDA00022274134200000513
Figure BDA00022274134200000514
时空图长短期记忆网络的整体类别输出为：
Figure BDA00022274134200000515
Figure BDA00022274134200000516
yt＝(whht+bt)
yt为时空图长短期记忆网络在t时刻的输出；
Figure BDA00022274134200000517
和
Figure BDA00022274134200000518
分别为向心节点、离心节点和根节点骨架序列；xt为根节点、向心节点和离心节点的整体骨架序列；ht-1为t-1时刻的总隐含状态，ht为t时刻的总隐含状态，ht 0、ht 1和ht 2分别为根节点、向心节点和离心节点在t时刻的隐含状态；
Figure BDA00022274134200000519
和
Figure BDA00022274134200000520
分别为根节点、向心节点和离心节点群时间遗忘门；
Figure BDA0002227413420000061
和分别为根节点、向心节点和离心节点群空间遗忘门；ot为t时刻记忆单元输出门；
Figure BDA0002227413420000063
和
Figure BDA0002227413420000064
分别为根节点、向心节点和离心节点记忆单元输出门；
Figure BDA0002227413420000065
和
Figure BDA0002227413420000066
分别为t时刻根节点、向心节点和离心节点输入；
Figure BDA0002227413420000067
和
Figure BDA0002227413420000068
分别为根节点、向心节点和离心节点输入门；
Figure BDA0002227413420000069
Figure BDA00022274134200000610
和
Figure BDA00022274134200000611
分别为根节点、向心节点和离心节点群时间细胞状态；和
Figure BDA00022274134200000613
分别为根节点、向心节点和离心节点群空间细胞状态；和
Figure BDA00022274134200000615
分别为根节点、向心节点和离心节点t时刻的细胞状态；和
Figure BDA00022274134200000617
分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点输入序列的权重；和分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；和
Figure BDA00022274134200000621
分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点的偏置；
Figure BDA00022274134200000622
和
Figure BDA00022274134200000623
分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；
Figure BDA00022274134200000624
和
Figure BDA00022274134200000625
分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态的权重；
Figure BDA00022274134200000626
和
Figure BDA00022274134200000627
分别为空间遗忘门对应于根节点、向心节点和离心节点的偏置；
Figure BDA00022274134200000628
和
Figure BDA00022274134200000629
分别为输入门对应于根节点、向心节点和离心节点输入序列的权重；
Figure BDA00022274134200000630
和
Figure BDA00022274134200000631
分别为输入门对应于根节点、向心节点和离心节点隐含状态的权重；
Figure BDA00022274134200000632
和
Figure BDA00022274134200000633
分别为输入门对应于根节点、向心节点和离心节点的偏置；和分别为输入对应于根节点、向心节点和离心节点输入序列的权重；
Figure BDA00022274134200000636
和
Figure BDA00022274134200000637
分别为输入对应于根节点、向心节点和离心节点隐含状态的权重；
Figure BDA00022274134200000638
和
Figure BDA00022274134200000639
分别为输入g对应于根节点、向心节点和离心节点的偏置；
Figure BDA00022274134200000640
和
Figure BDA00022274134200000641
分别为输出门对应于根节点、向心节点和离心节点输入序列的权重；
Figure BDA00022274134200000642
和
Figure BDA00022274134200000643
分别为输出门对应于根节点、向心节点和离心节点隐含状态的权重；
Figure BDA00022274134200000644
和
Figure BDA0002227413420000071
分别为输出门对应于根节点、向心节点和离心节点的偏置；bo和bt分别为输出门和网络模型的偏置；
Figure BDA0002227413420000072
为输入序列权重；
Figure BDA0002227413420000073
为节点隐含状态权重；wh为总隐含状态权重；concatenate[·]为concatenate函数；σ(·)为sigmoid函数；tanh(·)为双曲正切函数；
进一步地，步骤S7的具体方法为：
将待识别数据作为训练后的时空图长短期记忆网络的输入，获取训练后的时空图长短期记忆网络的输出结果，将该输出结果与患者服药过程的骨架序列数据对应的结果进行比对，若相似度高于阈值，则判定该待识别数据中存在服药过程，否则判断该待识别数据中不存在服药过程，完成艾滋病患者用药依从性监测。
本发明的有益效果为：本发明引入时空图长短期记忆网络，以图的形式表示患者用药过程骨架关节之间的自然连接，以构建多帧中对应关节点的连接边表示上下文动作变化，学习骨架动作的时空演化模式，对艾滋病患者服药过程动作行为进行识别，实现对患者用药依从性的主动监测。
附图说明
图1为本发明的流程示意图；
图2为骨架节点结构图；
图3为人体骨架时空图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1、图2和图3所示，该艾滋病患者用药依从性监测方法包括以下步骤：
S1、采用Kinect深度传感器采集患者服药过程的骨架序列数据，记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图；
S2、基于患者服药过程的骨架序列数据构建无向时空图；
S3、在骨架图上寻找每个节点的邻居节点集，并根据邻居节点与骨架重心的距离将邻居节点集划分为根节点本身、向心节点和离心节点；
S4、根据无向时空图构建时空图长短期记忆网络；
S5、将向心节点、离心节点和根节点作为时空图长短期记忆网络的输入，对时空图长短期记忆网络进行训练；
S6、采用与步骤S1至步骤S3相同的方法采集患者日常生活中的骨架序列数据对应的根节点、向心节点和离心节点，并将其作为待识别数据；
S7、采用训练后的时空图长短期记忆网络对待识别数据进行识别，判断待识别数据中是否存在服药过程，完成艾滋病患者用药依从性监测。
步骤S1中患者服药过程包括打开药盒、取出药丸、喝水服药和关上药盒。步骤S1中记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图的具体方法包括以下子步骤：
S1-1、采用Kinect深度传感器以30帧每秒的采样速率获取患者关节在三维坐标系中的坐标；
S1-2、判断骨架节点是否出现遮挡，若是则取前后骨架数据完整的临近两帧中对应骨架节点的坐标平均值作为该遮挡位置处骨架节点的坐标值，进入步骤S1-3；否则直接进入步骤S1-3；
S1-3、根据人体骨架结构的连通性，将每个关节连接到连续帧中的相同关节，得到保留了骨架节点间的相对空间位置关系和对应骨骼点的时序关系的骨架图。
步骤S2的具体方法为：基于患者服药过程的骨架序列数据，在每一帧内按照人体的自然骨架连接关系构造空间图，获取节点矩阵集合V＝{vnk|n＝1,...,N；k＝1,...,K}，其中N为总帧数，K为关节点数；将帧与帧之间的边表示人体对应骨骼点的时序关系，获取骨架节点间的连接边集E；进而构建无向时空图G＝(V,E)。
步骤S3的具体方法包括以下子步骤：
S3-1、在骨架图上节点vtk的邻居集D(vtk)＝{vti|dist(vti,vtk)≤L上定义组合函数；其中dist(vti,vtk)为从节点vti到节点vtk的任何关节的最小长度；L＝1，即表示1邻居节点集；
S3-2、将人体骨骼关节按照两个臂、两根腿和躯干分为五个身体部分，并根据公式
Figure BDA0002227413420000091
寻找任一个节点作为根节点时，其相邻节点是向心节点或离心节点；其中Nc＝{nc|c＝1,2,3,4,5}表示五个身体部分的重心，nc(vtj)表示节点vtj所属部分，节点vtj为输入节点；vtj表示t时刻的节点j；root表示根节点；centripetal表示向心节点；centrifugal表示离心节点；nci表示从根节点i到所属身体部分重心点nc的距离；ncj表示从相邻节点j到所属身体部分重心点nc的距离；其中身体部分重心为该身体部分骨架节点坐标的几何中心，即该身体部分中骨架所有关节的平均坐标。
步骤S4中时空图长短期记忆网络包括向心节点序列模型、离心节点序列模型和根节点序列模型；其中，
根节点序列模型为：
Figure BDA0002227413420000101
Figure BDA0002227413420000102
Figure BDA0002227413420000104
Figure BDA0002227413420000105
Figure BDA0002227413420000106
Figure BDA0002227413420000107
Figure BDA0002227413420000108
Figure BDA0002227413420000109
向心节点序列模型为：
Figure BDA00022274134200001010
Figure BDA00022274134200001011
Figure BDA00022274134200001013
Figure BDA00022274134200001014
Figure BDA00022274134200001015
Figure BDA00022274134200001016
Figure BDA00022274134200001017
Figure BDA00022274134200001018
离心节点序列模型为：
Figure BDA00022274134200001019
Figure BDA00022274134200001021
Figure BDA0002227413420000111
Figure BDA0002227413420000112
Figure BDA0002227413420000113
Figure BDA0002227413420000114
Figure BDA0002227413420000115
时空图长短期记忆网络的整体类别输出为：
Figure BDA0002227413420000117
Figure BDA0002227413420000118
yt＝(whht+bt)
yt为时空图长短期记忆网络在t时刻的输出；
Figure BDA0002227413420000119
和
Figure BDA00022274134200001110
分别为向心节点、离心节点和根节点骨架序列；xt为根节点、向心节点和离心节点的整体骨架序列；ht-1为t-1时刻的总隐含状态，ht为t时刻的总隐含状态，ht 0、ht 1和ht 2分别为根节点、向心节点和离心节点在t时刻的隐含状态；
Figure BDA00022274134200001111
和
Figure BDA00022274134200001112
分别为根节点、向心节点和离心节点群时间遗忘门；
Figure BDA00022274134200001113
和
Figure BDA00022274134200001114
分别为根节点、向心节点和离心节点群空间遗忘门；ot为t时刻记忆单元输出门；
Figure BDA00022274134200001115
和
Figure BDA00022274134200001116
分别为根节点、向心节点和离心节点记忆单元输出门；
Figure BDA00022274134200001117
和
Figure BDA00022274134200001118
分别为t时刻根节点、向心节点和离心节点输入；
Figure BDA00022274134200001119
和
Figure BDA00022274134200001120
分别为根节点、向心节点和离心节点输入门；
Figure BDA00022274134200001122
和
Figure BDA00022274134200001123
分别为根节点、向心节点和离心节点群时间细胞状态；
Figure BDA00022274134200001124
和
Figure BDA00022274134200001125
分别为根节点、向心节点和离心节点群空间细胞状态；和
Figure BDA00022274134200001127
分别为根节点、向心节点和离心节点t时刻的细胞状态；
Figure BDA00022274134200001128
和分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点输入序列的权重；
Figure BDA00022274134200001130
和
Figure BDA00022274134200001131
分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；和
Figure BDA0002227413420000122
分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点的偏置；
Figure BDA0002227413420000123
和
Figure BDA0002227413420000124
分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；
Figure BDA0002227413420000125
和
Figure BDA0002227413420000126
分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态的权重；
Figure BDA0002227413420000127
和分别为空间遗忘门对应于根节点、向心节点和离心节点的偏置；
Figure BDA0002227413420000129
和
Figure BDA00022274134200001210
分别为输入门对应于根节点、向心节点和离心节点输入序列的权重；
Figure BDA00022274134200001211
和
Figure BDA00022274134200001212
分别为输入门对应于根节点、向心节点和离心节点隐含状态的权重；
Figure BDA00022274134200001213
和
Figure BDA00022274134200001214
分别为输入门对应于根节点、向心节点和离心节点的偏置；
Figure BDA00022274134200001215
和
Figure BDA00022274134200001216
分别为输入对应于根节点、向心节点和离心节点输入序列的权重；
Figure BDA00022274134200001217
和
Figure BDA00022274134200001218
分别为输入对应于根节点、向心节点和离心节点隐含状态的权重；
Figure BDA00022274134200001219
和
Figure BDA00022274134200001220
分别为输入g对应于根节点、向心节点和离心节点的偏置；和
Figure BDA00022274134200001222
分别为输出门对应于根节点、向心节点和离心节点输入序列的权重；和
Figure BDA00022274134200001224
分别为输出门对应于根节点、向心节点和离心节点隐含状态的权重；
Figure BDA00022274134200001225
和
Figure BDA00022274134200001226
分别为输出门对应于根节点、向心节点和离心节点的偏置；bo和bt分别为输出门和网络模型的偏置；
Figure BDA00022274134200001227
为输入序列权重；为节点隐含状态权重；wh为总隐含状态权重；concatenate[·]为concatenate函数；σ(·)为sigmoid函数；tanh(·)为双曲正切函数；
步骤S7的具体方法为：将待识别数据作为训练后的时空图长短期记忆网络的输入，获取训练后的时空图长短期记忆网络的输出结果，将该输出结果与患者服药过程的骨架序列数据对应的结果进行比对，若相似度高于阈值，则判定该待识别数据中存在服药过程，否则判断该待识别数据中不存在服药过程，完成艾滋病患者用药依从性监测。
在本发明的一个实施例中，还可以采用Kinect深度传感器采集患者服药后不良反应行为作为的骨架序列数据，并将该数据作为时空图长短期记忆网络的输入进行训练，得到与不良反应对应的对照输出。然后采用训练后的时空图长短期记忆网络对待识别数据进行识别，判断待识别数据中是否存在不良反应过程，若存在不良反应过程，则表示患者大概率已用药，此时可适当降低步骤S7中的相似度阈值，进而辅助对艾滋病患者用药依从性的监测。
综上所述，本发明提出一种基于3D骨架的ST-GLSTM深层网络学习模型，以识别艾滋病患者服药动作及服药后的人体不良反应行为，对患者用药依从性进行监测。本发明通过构建骨架时空图，以关节点拓扑结构表示节点间空间位置关系，以时间序列边缘的形式表达关节点的活动轨迹，设计符合骨架时空图的图长短期记忆(GLSTM)网络模型，包括向心、离心点群时间与空间遗忘门和向心点群时间与空间细胞状态，通过构建时空遗忘门与时空细胞状态，模拟骨架数据的时空状态，同时融合学习骨架根节点的向心点、离心点等邻居节点的时空特征，提高患者用药过程动作识别精度，完成对患者用药依从性的监测。

Claims (7)

1.一种艾滋病患者用药依从性监测方法，其特征在于，包括以下步骤：
S1、采用Kinect深度传感器采集患者服药过程的骨架序列数据，记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图；
S2、基于患者服药过程的骨架序列数据构建无向时空图；
S3、在骨架图上寻找每个节点的邻居节点集，并根据邻居节点与骨架重心的距离将邻居节点集划分为根节点本身、向心节点和离心节点；
S4、根据无向时空图构建时空图长短期记忆网络；
S5、将向心节点、离心节点和根节点作为时空图长短期记忆网络的输入，对时空图长短期记忆网络进行训练；
S6、采用与步骤S1至步骤S3相同的方法采集患者日常生活中的骨架序列数据对应的根节点、向心节点和离心节点，并将其作为待识别数据；
S7、采用训练后的时空图长短期记忆网络对待识别数据进行识别，判断待识别数据中是否存在服药过程，完成艾滋病患者用药依从性监测。
2.根据权利要求1所述的艾滋病患者用药依从性监测方法，其特征在于，所述步骤S1中患者服药过程包括打开药盒、取出药丸、喝水服药和关上药盒。
3.根据权利要求1所述的艾滋病患者用药依从性监测方法，其特征在于，所述步骤S1中记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图的具体方法包括以下子步骤：
S1-1、采用Kinect深度传感器以30帧每秒的采样速率获取患者关节在三维坐标系中的坐标；
S1-2、判断骨架节点是否出现遮挡，若是则取前后骨架数据完整的临近两帧中对应骨架节点的坐标平均值作为该遮挡位置处骨架节点的坐标值，进入步骤S1-3；否则直接进入步骤S1-3；
S1-3、根据人体骨架结构的连通性，将每个关节连接到连续帧中的相同关节，得到保留了骨架节点间的相对空间位置关系和对应骨骼点的时序关系的骨架图。
4.根据权利要求1所述的艾滋病患者用药依从性监测方法，其特征在于，所述步骤S2的具体方法为：
基于患者服药过程的骨架序列数据，在每一帧内按照人体的自然骨架连接关系构造空间图，获取节点矩阵集合V＝{vnk|n＝1,...,N；k＝1,...,K}，其中N为总帧数，K为关节点数；将帧与帧之间的边表示人体对应骨骼点的时序关系，获取骨架节点间的连接边集E；进而构建无向时空图G＝(V,E)。
5.根据权利要求1所述的艾滋病患者用药依从性监测方法，其特征在于，所述步骤S3的具体方法包括以下子步骤：
S3-1、在骨架图上节点vtk的邻居集D(vtk)＝{vti|dist(vti,vtk)≤L上定义组合函数；其中dist(vti,vtk)为从节点vti到节点vtk的任何关节的最小长度；L＝1，即表示1邻居节点集；
S3-2、将人体骨骼关节按照两个臂、两根腿和躯干分为五个身体部分，并根据公式
Figure FDA0002227413410000021
寻找任一个节点作为根节点时，其相邻节点是向心节点或离心节点；其中Nc＝{nc|c＝1,2,3,4,5}表示五个身体部分的重心，nc(vtj)表示节点vtj所属部分，节点vtj为输入节点；vtj表示t时刻的节点j；root表示根节点；centripetal表示向心节点；centrifugal表示离心节点；nci表示从根节点i到所属身体部分重心点nc的距离；ncj表示从相邻节点j到所属身体部分重心点nc的距离；其中身体部分重心为该身体部分骨架节点坐标的几何中心，即该身体部分中骨架所有关节的平均坐标。
6.根据权利要求1所述的艾滋病患者用药依从性监测方法，其特征在于，所述步骤S4中时空图长短期记忆网络包括向心节点序列模型、离心节点序列模型和根节点序列模型；其中，
根节点序列模型为：
Figure FDA0002227413410000031
Figure FDA0002227413410000033
Figure FDA0002227413410000034
Figure FDA0002227413410000035
Figure FDA0002227413410000036
Figure FDA0002227413410000037
Figure FDA0002227413410000038
向心节点序列模型为：
Figure FDA00022274134100000310
Figure FDA00022274134100000311
Figure FDA00022274134100000313
Figure FDA00022274134100000314
Figure FDA00022274134100000315
Figure FDA00022274134100000316
Figure FDA0002227413410000041
Figure FDA0002227413410000042
离心节点序列模型为：
Figure FDA0002227413410000043
Figure FDA0002227413410000044
Figure FDA0002227413410000045
Figure FDA0002227413410000046
Figure FDA0002227413410000047
Figure FDA0002227413410000048
Figure FDA0002227413410000049
时空图长短期记忆网络的整体类别输出为：
Figure FDA00022274134100000413
yt＝(whht+bt)
yt为时空图长短期记忆网络在t时刻的输出；
Figure FDA00022274134100000414
和
Figure FDA00022274134100000415
分别为向心节点、离心节点和根节点骨架序列；xt为根节点、向心节点和离心节点的整体骨架序列；ht-1为t-1时刻的总隐含状态，ht为t时刻的总隐含状态，ht 0、ht 1和ht 2分别为根节点、向心节点和离心节点在t时刻的隐含状态；ft 0,T、ft 1,T和ft 2,T分别为根节点、向心节点和离心节点群时间遗忘门；ft 0,S、ft 1,S和ft 2,S分别为根节点、向心节点和离心节点群空间遗忘门；ot为t时刻记忆单元输出门；
Figure FDA00022274134100000416
和
Figure FDA00022274134100000417
分别为根节点、向心节点和离心节点记忆单元输出门；
Figure FDA0002227413410000051
和
Figure FDA0002227413410000052
分别为t时刻根节点、向心节点和离心节点输入；
Figure FDA0002227413410000053
和
Figure FDA0002227413410000054
分别为根节点、向心节点和离心节点输入门；
Figure FDA0002227413410000055
Figure FDA0002227413410000056
和
Figure FDA0002227413410000057
分别为根节点、向心节点和离心节点群时间细胞状态；
Figure FDA0002227413410000058
和分别为根节点、向心节点和离心节点群空间细胞状态；
Figure FDA00022274134100000510
和分别为根节点、向心节点和离心节点t时刻的细胞状态；和
Figure FDA00022274134100000513
分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点输入序列的权重；
Figure FDA00022274134100000514
和
Figure FDA00022274134100000515
分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；
Figure FDA00022274134100000516
和
Figure FDA00022274134100000517
分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点的偏置；
Figure FDA00022274134100000518
和
Figure FDA00022274134100000519
分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；
Figure FDA00022274134100000520
和
Figure FDA00022274134100000521
分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态的权重；
Figure FDA00022274134100000522
和
Figure FDA00022274134100000523
分别为空间遗忘门对应于根节点、向心节点和离心节点的偏置；
Figure FDA00022274134100000524
和
Figure FDA00022274134100000525
分别为输入门对应于根节点、向心节点和离心节点输入序列的权重；
Figure FDA00022274134100000526
和
Figure FDA00022274134100000527
分别为输入门对应于根节点、向心节点和离心节点隐含状态的权重；和
Figure FDA00022274134100000529
分别为输入门对应于根节点、向心节点和离心节点的偏置；
Figure FDA00022274134100000530
和
Figure FDA00022274134100000531
分别为输入对应于根节点、向心节点和离心节点输入序列的权重；
Figure FDA00022274134100000532
和
Figure FDA00022274134100000533
分别为输入对应于根节点、向心节点和离心节点隐含状态的权重；和分别为输入g对应于根节点、向心节点和离心节点的偏置；
Figure FDA00022274134100000536
和
Figure FDA00022274134100000537
分别为输出门对应于根节点、向心节点和离心节点输入序列的权重；
Figure FDA00022274134100000538
和
Figure FDA00022274134100000539
分别为输出门对应于根节点、向心节点和离心节点隐含状态的权重；
Figure FDA00022274134100000540
和
Figure FDA00022274134100000541
分别为输出门对应于根节点、向心节点和离心节点的偏置；bo和bt分别为输出门和网络模型的偏置；
Figure FDA0002227413410000061
为输入序列权重；
Figure FDA0002227413410000062
为节点隐含状态权重；wh为总隐含状态权重；concatenate[·]为concatenate函数；σ(·)为sigmoid函数；tanh(·)为双曲正切函数。
7.根据权利要求1所述的艾滋病患者用药依从性监测方法，其特征在于，所述步骤S7的具体方法为：
将待识别数据作为训练后的时空图长短期记忆网络的输入，获取训练后的时空图长短期记忆网络的输出结果，将该输出结果与患者服药过程的骨架序列数据对应的结果进行比对，若相似度高于阈值，则判定该待识别数据中存在服药过程，否则判断该待识别数据中不存在服药过程，完成艾滋病患者用药依从性监测。
CN201910956307.1A 2019-10-10 2019-10-10 一种艾滋病患者用药依从性监测方法 Active CN110718304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910956307.1A CN110718304B (zh) 2019-10-10 2019-10-10 一种艾滋病患者用药依从性监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910956307.1A CN110718304B (zh) 2019-10-10 2019-10-10 一种艾滋病患者用药依从性监测方法

Publications (2)

Publication Number Publication Date
CN110718304A true CN110718304A (zh) 2020-01-21
CN110718304B CN110718304B (zh) 2022-09-27

Family

ID=69212310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910956307.1A Active CN110718304B (zh) 2019-10-10 2019-10-10 一种艾滋病患者用药依从性监测方法

Country Status (1)

Country Link
CN (1) CN110718304B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112086159A (zh) * 2020-08-25 2020-12-15 吕梁市人民医院 基于移动医疗app的hiv患者远程延续护理的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140986A1 (en) * 2014-11-17 2016-05-19 Elwha Llc Monitoring treatment compliance using combined performance indicators
US20170035330A1 (en) * 2015-08-06 2017-02-09 Stacie Bunn Mobility Assessment Tool (MAT)
CN106420347A (zh) * 2016-11-15 2017-02-22 新疆医科大学第附属医院 一种提高患者服药依从性的方法和智能药盒系统
US20170169191A1 (en) * 2014-11-17 2017-06-15 Elwha Llc Monitoring treatment compliance using patient activity patterns
CN107958044A (zh) * 2017-11-24 2018-04-24 清华大学 基于深度时空记忆网络的高维序列数据预测方法和系统
CN108597578A (zh) * 2018-04-27 2018-09-28 广东省智能制造研究所 一种基于二维骨架序列的人体运动评估方法
CN108877954A (zh) * 2018-06-07 2018-11-23 中国医学科学院北京协和医院 一种用药依从性评估方法
WO2019143330A1 (en) * 2018-01-17 2019-07-25 Hall David R Remote healthcare-monitoring system with user enabled diagnostic capabilities

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140986A1 (en) * 2014-11-17 2016-05-19 Elwha Llc Monitoring treatment compliance using combined performance indicators
US20170169191A1 (en) * 2014-11-17 2017-06-15 Elwha Llc Monitoring treatment compliance using patient activity patterns
US20170035330A1 (en) * 2015-08-06 2017-02-09 Stacie Bunn Mobility Assessment Tool (MAT)
CN106420347A (zh) * 2016-11-15 2017-02-22 新疆医科大学第附属医院 一种提高患者服药依从性的方法和智能药盒系统
CN107958044A (zh) * 2017-11-24 2018-04-24 清华大学 基于深度时空记忆网络的高维序列数据预测方法和系统
WO2019143330A1 (en) * 2018-01-17 2019-07-25 Hall David R Remote healthcare-monitoring system with user enabled diagnostic capabilities
CN108597578A (zh) * 2018-04-27 2018-09-28 广东省智能制造研究所 一种基于二维骨架序列的人体运动评估方法
CN108877954A (zh) * 2018-06-07 2018-11-23 中国医学科学院北京协和医院 一种用药依从性评估方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
X. GAO 等: ""3D Skeleton-Based Video Action Recognition by Graph Convolution Network"", 《2019 IEEE INTERNATIONAL CONFERENCE ON SMART INTERNET OF THINGS (SMARTIOT)》 *
王志华: ""基于时空图卷积神经网络的人体动作识别研究"", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *
蔡俊: ""基于Kinect的上肢康复训练系统的研究"", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112086159A (zh) * 2020-08-25 2020-12-15 吕梁市人民医院 基于移动医疗app的hiv患者远程延续护理的方法

Also Published As

Publication number Publication date
CN110718304B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
Liu et al. Experiments of federated learning for covid-19 chest x-ray images
EP4002271A1 (en) Image segmentation method and apparatus, and storage medium
Von Foerster et al. Thoughts and notes on cognition
CN109686441A (zh) 一种大数据医疗数据特征提取和智能分析预测方法
Zhang et al. Knowledge graph-based image classification refinement
CN108814567A (zh) 一种居家养老智能守护机器人系统
CN101766484A (zh) 用于心电图识别与分类的方法和设备
Yıldırım et al. Dosage planning for diabetes patients using data mining methods
Li et al. Towards medical machine reading comprehension with structural knowledge and plain text
Jain et al. Lung nodule segmentation using salp shuffled shepherd optimization algorithm-based generative adversarial network
CN110477907B (zh) 一种智能辅助识别痫性发作的建模方法
CN110718304B (zh) 一种艾滋病患者用药依从性监测方法
Gao et al. Activity recognition using dynamic multiple sensor fusion in body sensor networks
WO2024008043A1 (zh) 一种基于因果关系挖掘的临床数据自动化生成方法及系统
CN116110597B (zh) 一种基于数字孪生的患者病症类别智能分析方法及装置
CN116246768B (zh) 一种基于人工智能的mri影像检查智能分析管理系统
CN113990494A (zh) 一种基于视频数据的抽动症辅助筛查系统
CN109887595A (zh) 基于深度学习技术的心搏异常识别算法
CN110443309A (zh) 一种结合跨模态关联关系模型的肌电信号手势识别方法
CN113080993A (zh) 一种基于改进多基分类器集成的自动心律失常分析方法
CN114241270A (zh) 一种家庭护理智能监督方法、系统及装置
CN112786192A (zh) 一种手足口病智能认知系统、设备、存储介质
Kumar et al. Analysis of CNN model based classification of diabetic retinopathy diagnosis
Huang et al. The Development of Artificial Intelligence (AI) Algorithms to avoid potential baby sleep hazards in smart buildings
Hu et al. Energy Efficient Software-Hardware Co-Design of Quantized Recurrent Convolutional Neural Network for Continuous Cardiac Monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant