CN115458120A - 一种用药监测系统 - Google Patents

一种用药监测系统 Download PDF

Info

Publication number
CN115458120A
CN115458120A CN202211219218.7A CN202211219218A CN115458120A CN 115458120 A CN115458120 A CN 115458120A CN 202211219218 A CN202211219218 A CN 202211219218A CN 115458120 A CN115458120 A CN 115458120A
Authority
CN
China
Prior art keywords
medicine
patient
medication
taking
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211219218.7A
Other languages
English (en)
Inventor
谢雪梅
甘礼福
谈小鹏
刘艺
柯昌文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute of Technology of Xidian University
Original Assignee
Guangzhou Institute of Technology of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Institute of Technology of Xidian University filed Critical Guangzhou Institute of Technology of Xidian University
Priority to CN202211219218.7A priority Critical patent/CN115458120A/zh
Publication of CN115458120A publication Critical patent/CN115458120A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medicinal Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

本发明公开了一种用药监测系统，包括智能终端、图像获取装置、语音提醒装置、灯光提醒装置、电源组件；智能终端被配置为在满足患者用药提醒条件时，提醒患者用药并进入用药监控模式；在用药监控模式下获取实时图像，其中，实时图像包括药物图像和患者图像；对药物图像和患者图像进行处理，提取并分析用于表征患者取药、倒药和服药的动作特征，以实现对患者用药的监测；记录每一用药监控模式下对患者用药的监测结果，并反馈监测结果。本发明实施例提供的用药监测系统，基于图像分析和目标检测，提取出患者用药过程中的取药、倒药和服药三个用药关键动作，再进行分析和记录，从而能够有效提醒患者用药，切实监测患者的规范化、安全化用药。

Description

一种用药监测系统
技术领域
本发明涉及医疗监控技术领域，尤其是涉及一种用药监测系统。
背景技术
药物治疗是缓解或治愈疾病、预防疾病发生或复发、提高患者的生活质量的重要手段，也是日常生活中最常用和最主要的治疗方法。但在日常生活中，经常发生患者漏吃药或吃错药的现象，这不仅影响治疗效果，而且还有可能造成患者健康问题加重甚至死亡。
由此可见，如何客观且真实地记录患者的实际用药情况，安全、规范地对用药过程进行监测，保障患者的人身安全，已成为本领域技术人员所要亟待解决的技术问题。
发明内容
本发明提供一种用药监测系统，根据图像分析和目标检测，提取出患者用药过程中的取药、倒药和服药三个用药关键动作，再进行分析和记录，从而能够有效提醒患者用药，切实监测患者的规范化、安全化用药。
为了解决上述技术问题，本发明实施例提供了一种用药监测系统，包括智能终端和分别与所述智能终端连接的图像获取装置、语音提醒装置、灯光提醒装置、电源组件；
所述智能终端被配置为：
在满足患者用药提醒条件时，通过所述语音提醒装置提醒患者用药，并进入用药监控模式；
在所述用药监控模式下，控制所述图像获取装置获取实时图像，其中，所述实时图像包括药物图像和患者图像；
对所述药物图像和所述患者图像进行处理，提取并分析用于表征患者取药、倒药和服药的动作特征，以实现对患者用药的监测；
记录每一所述用药监控模式下对患者用药的监测结果，并通过所述灯光提醒装置反馈所述监测结果。
作为其中一种优选方案，所述智能终端还被配置为：
若检测到当前系统时间达到预先存储的医嘱设定时间时，则判定所述患者用药提醒条件得到满足。
作为其中一种优选方案，在获取所述实时图像后，所述智能终端还被配置为：
基于图像跟踪技术，对获取到的所述药物图像进行定位，得到目标药物坐标；
基于预设的深度学习目标检测网络模型，对获取到的所述药物图像进行智能识别，得到目标药物信息，其中，所述目标药物信息至少包括目标药物的药物名称；
基于Mediapipe框架，对获取到的所述患者图像进行智能识别，得到患者骨架姿态坐标，其中，所述患者骨架姿态坐标至少包括患者手部骨架点坐标和患者嘴部骨架点坐标。
作为其中一种优选方案，预设的深度学习目标检测网络模型的配置过程，包括：
获取样本图像，其中，所述样本图像内包括不同的药物类型和存放容器类型，所述药物类型包括药丸、药片、口服液或冲剂，所述存放容器类型包括药瓶、药盒或药袋；
对所述样本图像内的各个药物类型和各个存放容器类型逐一进行名称结果标定，形成训练数据集；
基于所述训练数据集对目标检测网络进行训练，以形成所述深度学习目标检测网络模型。
作为其中一种优选方案，所述提取并分析用于表征患者取药、倒药和服药的动作特征，具体包括：
若检测到目标药物的药物名称与预先存储的医嘱药物名称相同，且患者手部骨架点坐标与目标药物坐标之间的欧式距离小于第一阈值时，则判定患者取药动作完成，否则通过所述语音提醒装置进行提醒。
作为其中一种优选方案，所述提取并分析用于表征患者取药、倒药和服药的动作特征，具体包括：
在判定患者取药动作完成后，若检测到目标药物坐标与患者手部骨架点坐标之间的欧式距离小于第二阈值时，则判定倒药动作完成，否则通过所述语音提醒装置进行提醒。
作为其中一种优选方案，所述提取并分析用于表征患者取药、倒药和服药的动作特征，具体包括：
在判定患者倒药动作完成后，若检测到患者手部骨架点坐标与患者嘴部骨架点坐标之间的欧式距离小于第三阈值时，则判定服药动作完成，否则通过所述语音提醒装置进行提醒。
作为其中一种优选方案，所述图像获取装置包括摄像头组件，所述语音提醒装置包括扬声器，所述电源组件包括可充电式锂电池。
作为其中一种优选方案，所述灯光提醒装置具有至少三组灯光显示组件，各组所述灯光显示组件用于对应不同的用药时间区间。
作为其中一种优选方案，所述智能终端设有人机交互组件，所述人机交互组件包括触摸显示屏。
相比于现有技术，本发明实施例的有益效果在于以下所述中的至少一点：
(1)设计由智能终端、图像获取装置、语音提醒装置、灯光提醒装置和电源组件构成的用药监测系统，整个过程结合计算处理技术、传感器检测技术、数据库技术，首先对用药提醒条件进行判断，从而对患者用药进行督促；然后获取实时图像并对其进行处理，逐一提取并分析用于表征患者取药、倒药和服药的动作特征，以实现对患者用药的监测；最后对用药监控结果进行记录，有利于患者得到准确无误的用药信息，保证患者按照医嘱科学、合理地用药；
(2)基于深度学习的药物检测方案，通过检测药物本身存放容器，包括药瓶、药盒、药袋等，以及药物类型，包括药丸、药片、口服液或冲剂等，以识别不同药物，监测和提醒患者取用正确的药物。整个过程不依赖于对特定药物具有识别功能的传感器或特殊药物存放容器，提高了用药监测系统的普适性；
(3)融合语义推理的用药监测技术，通过药物识别和人体骨架姿态识别获得图像中代表的语义信息，并进行推理提取取药、倒药和服药三个用药关键动作，从而能够有效监测患者取用正确药物和监测患者完成药物服用的完整过程，切实监测患者的规范化、安全化用药，降低患者吃错药、漏吃药所带来的风险。
附图说明
图1是本发明其中一种实施例中的用药监测系统的结构框图；
图2是本发明其中一种实施例中的智能终端的配置流程示意图；
附图说明：
其中，1、智能终端；2、图像获取装置；3、语音提醒装置；4、灯光提醒装置；5、电源组件。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。本文所使用的术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”以及类似的表述只是为了说明的目的，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
在本申请的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
本发明提供了一种用药监测系统，需要提前说明的是，本发明致力于通过现有的计算处理技术、传感器检测技术、数据库技术等，督促和监督患者按照医嘱科学、合理地用药，以实现帮助患者解决忘吃药、吃错药等问题，提高药物的预防和治疗效果。当前现有的用药监测技术大多数可以概括为两种，第一种是由患者配合完成用药监测技术，即患者在完成药物服用后主动完成记录用药的半自动用药监测技术，如中国专利“一种数据传输方法以及用药监测系统(CN114640904A)”提出了一种利用压力开关的按压情况来代表患者用药情况的监测方法，当患者完成服药后手动按压压力开关以记录用药次数和用药时间，实现对用药情况监测；第二种监测技术是针对药物存放容器改进，如药瓶或药盒等，设计药物容器相关传感器，以达到自动检测用药和记录用药情况的全自动用药监测技术，如中国专利“一种智能药盒(CN109077929B)”提出了一种集成多传感器的智能药盒，其利用光电传感器实现了自动记录用药情况，以及中国专利“智能瓶盖及药品服用情况监测系统(CN216570821U)”提出了一种集用药提醒和服药监测一体的智能药瓶盖，通过瓶盖内部的检测装置对药品倒出情况进行检测和记录，以实现对患者服药情况监测。
但是，上述第一种半自动用药监测技术虽然在一定程度上改善和简化了传统手工记录用药情况的监测方式，但需要人为干预进行主动用药咨询和主动记录，一方面无法对患者在用药过程中实际取、服用药物的正确性进行检测和判断，不能起到较好安全、规范化用药的监测作用；另一方面，依赖于人为主动咨询和记录，监测数据存在主观性，且存在忘记录、漏记录的可能性，无法客观和真实地记录患者实际用药情况，因此无法切实保障患者的用药安全。
上述第二种全自动用药监测技术设计具有特殊机构或传感器的药物存放容器，能够自动检测并记录患者取药或倒药情况和时间的自动用药检测。同时可将不同药物存放于不同的该类容器中，从而能够辨别出不同药物，在实际用药过程中对患者实际取药正确性上起到了较好的监测效果，保障了用药安全性。但需要将患者所有不同药物存放于不同的该类特殊药物存放容器中，一方面，对于如口服液、冲剂等非规则形状剂型药物很难为其设计出具有检测功能的存放容器；另一方面当患者药物种类繁多时，极大增大了患者的用药监测成本。同时，该种监测方式仅能够监测患者取药的正确性，无法对患者取药后是否完成服用进行检测和判断，缺少对患者服药后的检测，导致取药后仍存在忘吃或吃错的可能性，因此无法确切的监测出患者的实际用药情况。
因此，针对上述缺陷与不足，本发明一实施例提供了一种用药监测系统，具体的，请参见图1，图1示出为本发明其中一种实施例中的用药监测系统的结构框图，其包括智能终端1和分别与所述智能终端1连接的图像获取装置2、语音提醒装置3、灯光提醒装置4、电源组件5。
需要说明的是，智能终端1与现有技术中的患者端类似，其配置有多种诸如计时器、存储器、处理芯片等的组件及其对应的功能，举例来说，本实施例中的智能终端设有人机交互组件，所述人机交互组件包括触摸显示屏，用于输入患者一开始的设定信息，例如医嘱设定时间、第一阈值、第二阈值和第三阈值信息等等，在此不做过多赘述。本实施例中的智能终端1，其被配置为实现如下步骤S1～S4，具体的，请参见图2，图2示出为本发明其中一种实施例中的智能终端的配置流程示意图，具体如下：
S1、在满足患者用药提醒条件时，通过所述语音提醒装置提醒患者用药，并进入用药监控模式；
S2、在所述用药监控模式下，控制所述图像获取装置获取实时图像，其中，所述实时图像包括药物图像和患者图像；
S3、对所述药物图像和所述患者图像进行处理，提取并分析用于表征患者取药、倒药和服药的动作特征，以实现对患者用药的监测；
S4、记录每一所述用药监控模式下对患者用药的监测结果，并通过所述灯光提醒装置反馈所述监测结果。
进一步地，在上述实施例中，所述智能终端1还被配置为：
若检测到当前系统时间达到预先存储的医嘱设定时间时，则判定所述患者用药提醒条件得到满足。
用药医嘱信息包括定时用药提醒，患者一开始可以根据医院给出的清单或诊断书，在智能终端中输入医嘱中的设定时间，在当智能终端的内部时钟检测到时间达到设定时间时，向患者提醒。其中，本实施例优选为通过所述语音提醒装置提醒患者用药，当然，也可以选取其他诸如LED灯闪烁、震动等形式进行提醒，由实际的患者需求决定，在此不做过多赘述。同理，本实施例采用语音提醒，提醒的内容包括但不限于向患者播报用药提醒以及具体的医嘱药物名称，具体的播报内容可以由患者一开始在智能终端中编辑选定，在此不做过多赘述。
进一步地，在上述实施例中，对于步骤S3：对所述药物图像和所述患者图像进行处理，提取并分析用于表征患者取药、倒药和服药的动作特征，以实现对患者用药的监测，其主要分为两大步骤，第一步骤为图像的识别，第二步骤为关键动作特征的提取，下面详细说明。
首先经由步骤S2中的图像获取装置获取实时图像后，对其进行识别处理，具体包括如下步骤：
S31、基于图像跟踪技术，对获取到的所述药物图像进行定位，得到目标药物坐标；图像跟踪技术，是指通过某种方式(如图像识别、红外、超声波等)将摄像头中拍摄到的物体进行定位；
S32、基于预设的深度学习目标检测网络模型，对获取到的所述药物图像进行智能识别，得到目标药物信息，其中，所述目标药物信息至少包括目标药物的药物名称；
S33、基于Mediapipe框架，对获取到的所述患者图像进行智能识别，得到患者骨架姿态坐标，其中，所述患者骨架姿态坐标至少包括患者手部骨架点坐标和患者嘴部骨架点坐标。MediaPipe是一个用于构建机器学习管道的框架，可以用于处理视频、音频等时间序列数据，在对患者图像的处理中，基于Mediapipe框架能够识别得到表征人体姿态的33个关键骨架点。
对获取到的图像实时检测，其中检测和识别药物，包括了检测和识别药物本身存放容器，药瓶、药盒、药袋，以及具体药物，药片、药丸、口服液、冲剂等，其中将药物名称和药物存放容器关联，通过检测药物存放容器，药瓶、药盒、药袋来检测和识别不同药物，通过检测具体药物，药片、药丸、口服液、冲剂用于识别药物倒出。定位技术能够确定药物在二维像素中的坐标，具体包括药片、药丸、口服液、冲剂等的二维像素坐标信息。患者图像用于检测患者骨架姿态，为后续的关键动作特征的提取提供可靠依据。
应当说明的是，在上述实施例中，对于步骤S32中的深度学习目标检测网络模型，其配置过程包括：
S321、获取样本图像，其中，所述样本图像内包括不同的药物类型和存放容器类型的海量数据，所述药物类型包括药丸、药片、口服液或冲剂，所述存放容器类型包括药瓶、药盒或药袋；
S322、对所述样本图像内的各个药物类型和各个存放容器类型逐一进行名称结果标定(人工标定，其中具体药片、药丸、口服液、冲剂药物和其存放容器药瓶、药盒、药袋标注为两个类别)，以此形成训练数据集；
S323、基于所述训练数据集对目标检测网络进行训练，以形成所述深度学习目标检测网络模型，其中，基于深度学习的目标检测网络包括但不限于YOLO、SSD、RCNN等通用目标检测网络。
在完成上述的第一步骤的图像的识别过程后，智能终端1执行第二步骤，关键动作特征的提取，下面详细说明。
在上述实施例中，若检测到目标药物的药物名称与预先存储的医嘱药物名称相同，且患者手部骨架点坐标与目标药物坐标之间的欧式距离小于第一阈值时，则判定患者取药动作完成，否则通过所述语音提醒装置进行提醒。在判定患者取药动作完成后，若检测到目标药物坐标与患者手部骨架点坐标之间的欧式距离小于第二阈值时，则判定倒药动作完成，否则通过所述语音提醒装置进行提醒。在判定患者倒药动作完成后，若检测到患者手部骨架点坐标与患者嘴部骨架点坐标之间的欧式距离小于第三阈值时，则判定服药动作完成，否则通过所述语音提醒装置进行提醒。
也即，在接收上述包括药瓶、药盒或药袋名称及其二维坐标，药丸、药片、口服液、冲剂名称及其二维坐标，以及表示人体姿态的33个关键骨架点二维坐标等信息后，本实施例进行推理提取患者取药、倒药和服药的三个动作，其中取药动作推理分为两步，两步为递进关系，第一步为根据患者手部骨架点坐标与药物坐标计算两个坐标之间欧式距离，当距离小于一定阈值时判定为初步取药动作，第二步在第一步初步取药动作基础上进行，结合时序信息记录药物二维坐标，计算一定时间内坐标位置变化最大的药物，作为患者取用药物，优选地，可以对取用药物名称与用药医嘱进行对比，当且仅当取用药物名称与用药医嘱相同时判定为取药动作，反之发出语音纠正提醒，提醒患者药物取用错误；在完成取药动作后进行倒药动作推理，倒药动作推理具体为当出现对应医嘱的具体药丸、药片、口服液、冲剂且其坐标与患者手部骨架点坐标欧式距离小于一定阈值时判定为倒药动作；在完成倒药动作后进行服药动作推理，服药动作推理具体为根据患者手部骨架点坐标与患者嘴部骨架点坐标进行两个坐标之间欧式距离，当距离小于阈值时判定为服药动作，反之发出语音纠正提醒。如上所述，患者取药、倒药和服药的三个动作中的语音提醒内容可以由患者一开始在智能终端中进行编辑设定，在此不再赘述。同理，上述第一阈值、第二阈值和第三阈值的设定需要结合患者的身姿和图像获取装置的性能参数(例如焦距等)进行综合计算得到，在此不再展开说明。
当且仅当三个关键动作均成功提取后，判定患者为用药完成，当前的用药监控模式输出监测成功的结果，需要说明的是，对于上述步骤S4，无论成功与否，智能终端都需要记录每一所述用药监控模式下对患者用药的监测结果，可以通过灯光提醒装置反馈所述监测结果，例如通过将指示灯显示于常亮状态，代表对应时间段患者用药已完成，以此提示患者每日时间段用药完成情况，避免重复用药。
在本实施例中，图像获取装置2用于采集药品、药物以及患者图像信息，并将采集图像传输到智能终端1进行处理，优选地，图像获取装置2包括摄像头组件；所述电源组件5用于为装置整体运行提供电源驱动，优选为可充电式锂电池，与智能终端1电连接；所述语音提醒装置3包括扬声器组件。
智能终端1用于存储、处理和计算上述的医嘱信息、图像信息和坐标信息等，并对药物信息进行检测和人体姿态坐标进行检测，以此提取取药、倒药和服药三个关键用药动作，在得到患者用药结果后，可以生成相应语音信号发送到语音提醒装置3的扬声器、生成相应的控制信号发送至灯光提醒装置4的信号灯。扬声器能够发出用药提醒，信号灯能够反馈用药结果，优选地，所述灯光提醒装置4具有至少三组灯光显示组件，各组所述灯光显示组件用于对应不同的用药时间区间，能够反馈至少三个用药时间区间内的用药监测结果。
相比于现有技术，本发明实施例提供的一种用药监测系统，有益效果在于以下所述中的至少一点：
(1)设计由智能终端、图像获取装置、语音提醒装置、灯光提醒装置和电源组件构成的用药监测系统，整个过程结合计算处理技术、传感器检测技术、数据库技术，首先对用药提醒条件进行判断，从而对患者用药进行督促；然后获取实时图像并对其进行处理，逐一提取并分析用于表征患者取药、倒药和服药的动作特征，以实现对患者用药的监测；最后对用药监控结果进行记录，有利于患者得到准确无误的用药信息，保证患者按照医嘱科学、合理地用药；
(2)基于深度学习的药物检测方案，通过检测药物本身存放容器，包括药瓶、药盒、药袋等，以及药物类型，包括药丸、药片、口服液或冲剂等，以识别不同药物，监测和提醒患者取用正确的药物。整个过程不依赖于对特定药物具有识别功能的传感器或特殊药物存放容器，提高了用药监测系统的普适性；
(3)融合语义推理的用药监测技术，通过药物识别和人体骨架姿态识别获得图像中代表的语义信息，并进行推理提取取药、倒药和服药三个用药关键动作，从而能够有效监测患者取用正确药物和监测患者完成药物服用的完整过程，切实监测患者的规范化、安全化用药，降低患者吃错药、漏吃药所带来的风险。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用药监测系统，其特征在于，包括智能终端和分别与所述智能终端连接的图像获取装置、语音提醒装置、灯光提醒装置、电源组件；
所述智能终端被配置为：
在满足患者用药提醒条件时，通过所述语音提醒装置提醒患者用药，并进入用药监控模式；
在所述用药监控模式下，控制所述图像获取装置获取实时图像，其中，所述实时图像包括药物图像和患者图像；
对所述药物图像和所述患者图像进行处理，提取并分析用于表征患者取药、倒药和服药的动作特征，以实现对患者用药的监测；
记录每一所述用药监控模式下对患者用药的监测结果，并通过所述灯光提醒装置反馈所述监测结果。
2.如权利要求1所述的用药监测系统，其特征在于，所述智能终端还被配置为：
若检测到当前系统时间达到预先存储的医嘱设定时间时，则判定所述患者用药提醒条件得到满足。
3.如权利要求1所述的用药监测系统，其特征在于，在获取所述实时图像后，所述智能终端还被配置为：
基于图像跟踪技术，对获取到的所述药物图像进行定位，得到目标药物坐标；
基于预设的深度学习目标检测网络模型，对获取到的所述药物图像进行智能识别，得到目标药物信息，其中，所述目标药物信息至少包括目标药物的药物名称；
基于Mediapipe框架，对获取到的所述患者图像进行智能识别，得到患者骨架姿态坐标，其中，所述患者骨架姿态坐标至少包括患者手部骨架点坐标和患者嘴部骨架点坐标。
4.如权利要求3所述的用药监测系统，其特征在于，预设的深度学习目标检测网络模型的配置过程，包括：
获取样本图像，其中，所述样本图像内包括不同的药物类型和存放容器类型，所述药物类型包括药丸、药片、口服液或冲剂，所述存放容器类型包括药瓶、药盒或药袋；
对所述样本图像内的各个药物类型和各个存放容器类型逐一进行名称结果标定，形成训练数据集；
基于所述训练数据集对目标检测网络进行训练，以形成所述深度学习目标检测网络模型。
5.如权利要求3所述的用药监测系统，其特征在于，所述提取并分析用于表征患者取药、倒药和服药的动作特征，具体包括：
若检测到目标药物的药物名称与预先存储的医嘱药物名称相同，且患者手部骨架点坐标与目标药物坐标之间的欧式距离小于第一阈值时，则判定患者取药动作完成，否则通过所述语音提醒装置进行提醒。
6.如权利要求5所述的用药监测系统，其特征在于，所述提取并分析用于表征患者取药、倒药和服药的动作特征，具体包括：
在判定患者取药动作完成后，若检测到目标药物坐标与患者手部骨架点坐标之间的欧式距离小于第二阈值时，则判定倒药动作完成，否则通过所述语音提醒装置进行提醒。
7.如权利要求6所述的用药监测系统，其特征在于，所述提取并分析用于表征患者取药、倒药和服药的动作特征，具体包括：
在判定患者倒药动作完成后，若检测到患者手部骨架点坐标与患者嘴部骨架点坐标之间的欧式距离小于第三阈值时，则判定服药动作完成，否则通过所述语音提醒装置进行提醒。
8.如权利要求1所述的用药监测系统，其特征在于，所述图像获取装置包括摄像头组件，所述语音提醒装置包括扬声器，所述电源组件包括可充电式锂电池。
9.如权利要求1所述的用药监测系统，其特征在于，所述灯光提醒装置具有至少三组灯光显示组件，各组所述灯光显示组件用于对应不同的用药时间区间。
10.如权利要求1所述的用药监测系统，其特征在于，所述智能终端设有人机交互组件，所述人机交互组件包括触摸显示屏。
CN202211219218.7A 2022-09-30 2022-09-30 一种用药监测系统 Pending CN115458120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219218.7A CN115458120A (zh) 2022-09-30 2022-09-30 一种用药监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219218.7A CN115458120A (zh) 2022-09-30 2022-09-30 一种用药监测系统

Publications (1)

Publication Number Publication Date
CN115458120A true CN115458120A (zh) 2022-12-09

Family

ID=84309408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219218.7A Pending CN115458120A (zh) 2022-09-30 2022-09-30 一种用药监测系统

Country Status (1)

Country Link
CN (1) CN115458120A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116631063A (zh) * 2023-05-31 2023-08-22 武汉星巡智能科技有限公司 基于用药行为识别的老人智能看护方法、装置及设备
CN117316471A (zh) * 2023-11-28 2023-12-29 吉林大学第一医院 一种基于智能监测的医疗护理管理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116631063A (zh) * 2023-05-31 2023-08-22 武汉星巡智能科技有限公司 基于用药行为识别的老人智能看护方法、装置及设备
CN116631063B (zh) * 2023-05-31 2024-05-07 武汉星巡智能科技有限公司 基于用药行为识别的老人智能看护方法、装置及设备
CN117316471A (zh) * 2023-11-28 2023-12-29 吉林大学第一医院 一种基于智能监测的医疗护理管理系统

Similar Documents

Publication Publication Date Title
CN115458120A (zh) 一种用药监测系统
CN107948133B (zh) 一种智能辅助服药提醒系统及方法
CN111161826A (zh) 一种基于智能药盒的用药管理系统
AU2018335288B2 (en) Apparatus and method for recognition of suspicious activities
US7983933B2 (en) Patient monitoring via image capture
CN111312355B (zh) 智能药物辨识系统
CN111161827A (zh) 一种基于智能药盒的用药和病情管理系统
US20180160942A1 (en) Intelligent system for multi-function electronic caregiving to facilitate advanced health diagnosis, health monitoring, fall and injury prediction, health maintenance and support, and emergency response
Moshnyaga et al. A medication adherence monitoring system for people with dementia
CN105120827A (zh) 用于可疑活动辨别的装置和方法
CN107346365A (zh) 智能药箱信息交互系统和方法
CN111009297B (zh) 一种用户服药行为的监督方法、装置及智能机器人
CN109496337A (zh) 具有集成电子视觉检查的组装线
CN113823376B (zh) 智能服药提醒方法、装置、设备及存储介质
CN108766519A (zh) 一种服药监督方法、装置、可读存储介质及设备
US20220384005A1 (en) System and Method for Monitoring Adherence to Drug Regimen
CN109875209A (zh) 一种智能服药管理方法及系统
CN113723241A (zh) 一种基于姿态估计的手卫生监测系统
TW202221621A (zh) 用於照護教育之虛擬環境訓練系統
CN116492227B (zh) 基于人工智能的服药提示方法及系统
CN110433084B (zh) 服用药提醒的方法、装置及系统
CN113350629B (zh) 一种慢性病用药提醒与记录装置
CN206949756U (zh) 一种具备分类功能和服药提醒的家庭智能药盒
US10923223B2 (en) Data-enabled syringe collection container and systems using same
CN205621253U (zh) 一种慢性病用药提醒与记录装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination