CN116492227B - 基于人工智能的服药提示方法及系统 - Google Patents

基于人工智能的服药提示方法及系统 Download PDF

Info

Publication number
CN116492227B
CN116492227B CN202310291032.0A CN202310291032A CN116492227B CN 116492227 B CN116492227 B CN 116492227B CN 202310291032 A CN202310291032 A CN 202310291032A CN 116492227 B CN116492227 B CN 116492227B
Authority
CN
China
Prior art keywords
medicine
patient
information
medicine taking
drug
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310291032.0A
Other languages
English (en)
Other versions
CN116492227A (zh
Inventor
徐琳
杨建娜
黄萍
郭结清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Sun Yat Sen University
Original Assignee
First Affiliated Hospital of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Sun Yat Sen University filed Critical First Affiliated Hospital of Sun Yat Sen University
Priority to CN202310291032.0A priority Critical patent/CN116492227B/zh
Publication of CN116492227A publication Critical patent/CN116492227A/zh
Application granted granted Critical
Publication of CN116492227B publication Critical patent/CN116492227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/04—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers
    • A61J7/0409—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers
    • A61J7/0427—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers with direct interaction with a dispensing or delivery system
    • A61J7/0436—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers with direct interaction with a dispensing or delivery system resulting from removing a drug from, or opening, a container
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/04—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers
    • A61J7/0409—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers
    • A61J7/0454—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers for dispensing of multiple drugs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Social Psychology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Psychiatry (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

本公开提出了一种基于人工智能的服药提示方法及系统，涉及人工智能技术领域，包括：获取与患者的病情信息相关联的处方信息和药物注意信息；基于处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间；根据第二药物服用量、第二药物服用时间和药物注意信息,对当前的服药提示设备进行配置；采集患者在第一药物服用时间内的各帧图像，并通过对各帧图像进行图像识别，以获取患者是否服药的识别结果；确定与患者对应的服药提示信息，并将服药提示信息展示在患者所持有的第一终端设备中进行展示。由此，对服药提示设备进行了配置，从而保障了患者用药的安全性，帮助患者科学合理，及时准确的进行服药。

Description

基于人工智能的服药提示方法及系统
技术领域
本公开涉及人工智能技术领域，尤其涉及一种基于人工智能的服药提示方法及系统。
背景技术
很多老人身患多种慢性病，这需要他们按时按量的正确吃药，但是老年人记忆差，有的甚至患有健忘症，对服用药物的时间和次数以及服用药物的种类和数量常混淆不清，而老人的子女也不能长期在身边进行提醒，很难保证老人能够定量正确吃药。这样不仅对病情不利，如果没有正确吃药甚至可能对老人的身体有药物毒副作用，因此让他们按量的正确吃药十分重要。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种基于人工智能的服药提示方法，包括：
获取与患者的病情信息相关联的处方信息和药物注意信息，其中，所述药物注意信息中包含有第一药物服用时间、第一药物服用量、以及禁忌药物类型；
基于所述处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间；
根据所述第二药物服用量、所述第二药物服用时间和所述药物注意信息,对当前的服药提示设备进行配置；
基于所述服药提示设备，采集所述患者在第一药物服用时间内的各帧图像，并通过对所述各帧图像进行图像识别，以获取所述患者是否服药的识别结果；
获取所述第一药物服用时间对应的药物盛放装置中的质量变化曲线，并基于所述识别结果和所述质量变化曲线，确定与所述患者对应的服药提示信息，并将所述服药提示信息展示在患者所持有的第一终端设备中进行展示；
根据指定时间段内所述患者对所述第一终端设备中的操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果。
本公开第二方面实施例提出了一种基于人工智能的服药提示系统，包括：
第一获取模块，用于获取与患者的病情信息相关联的处方信息和药物注意信息，其中，所述药物注意信息中包含有第一药物服用时间、第一药物服用量、以及禁忌药物类型；
第一确定模块，用于基于所述处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间；
配置模块，用于根据所述第二药物服用量、所述第二药物服用时间和所述药物注意信息,对当前的服药提示设备进行配置；
第二获取模块，用于基于所述服药提示设备，采集所述患者在第一药物服用时间内的各帧图像，并通过对所述各帧图像进行图像识别，以获取所述患者是否服药的识别结果；
第三获取模块，用于获取所述第一药物服用时间对应的药物盛放装置中的质量变化曲线，并基于所述识别结果和所述质量变化曲线，确定与所述患者对应的服药提示信息，并将所述服药提示信息展示在患者所持有的第一终端设备中进行展示；
发送模块，用于根据指定时间段内所述患者对所述第一终端设备中的操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果。
本公开第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的基于人工智能的服药提示方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如本公开第一方面实施例提出的基于人工智能的服药提示方法。
本公开提供的基于人工智能的服药提示方法及系统，存在如下有益效果：
本公开实施例中，首先获取与患者的病情信息相关联的处方信息和药物注意信息，其中，所述药物注意信息中包含有第一药物服用时间、第一药物服用量、以及禁忌药物类型，然后基于所述处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间，之后根据所述第二药物服用量、所述第二药物服用时间和所述药物注意信息,对当前的服药提示设备进行配置，然后基于所述服药提示设备，采集所述患者在第一药物服用时间内的各帧图像，并通过对所述各帧图像进行图像识别，以获取所述患者是否服药的识别结果，之后获取所述第一药物服用时间对应的药物盛放装置中的质量变化曲线，并基于所述识别结果和所述质量变化曲线，确定与所述患者对应的服药提示信息，并将所述服药提示信息展示在患者所持有的第一终端设备中进行展示，然后根据指定时间段内所述患者对所述第一终端设备中的操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果。由此，可以根据对患者的图像识别结果，以及药物盛放装置中的质量变化曲线，及时有效的判断患者是否及时的吃药，并且展示给患者对应的服药提示信息，以对患者进行督促，并且还可以基于患者的第一终端设备关联的第二终端设备对患者的亲属或者医护人员进行提醒，保障患者能够吃到药，并且从第二药物服用时间、第二药物服用量和药物注意信息的角度对服药提示设备进行了配置，从而保障了患者用药的安全性，帮助患者科学合理，及时的进行服药。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开实施例所提供的一种基于人工智能的服药提示方法的流程示意图；
图2为本公开实施例所提供的一种基于人工智能的服药提示系统的结构框图；
图3示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的基于人工智能的服药提示方法、装置、计算机设备和存储介质。
需要说明的是，本公开实施例中的基于人工智能的服药提示方法的执行主体为基于人工智能的服药提示装置，该系统可以由软件和/或硬件的方式实现，该装置可以配置在服药提示设备中。在本公开提出的场景中，可以以服药提示设备作为执行主体，下面将以“服药提示设备”作为执行主体对本公开实施例中提出的基于人工智能的服药提示方法进行说明，在此不进行限定。
其中，服药提示设备可以为具有信号处理功能和计算功能的电子设备，服药提示设备中还包括有多个摄像头、以及药物盛放装置用于盛放药品，以及显示屏用于和用户进行互动，并且对用户进行相应的提示和指示。
图1为本公开一实施例所提供的基于人工智能的服药提示方法的流程示意图。
如图1所示，该基于人工智能的服药提示方法可以包括以下步骤：
步骤101，获取与患者的病情信息相关联的处方信息和药物注意信息，其中，药物注意信息中包含有第一药物服用时间、第一药物服用量、以及禁忌药物类型。
需要说明的是，在患者问诊之后，医生可以根据患者的病情开出对应的处方，并且将处方信息录入至云服务器中，从而云服务器可以对处方信息进行相应的处理，并之后可以将处方信息发送到服药提示设备中。
其中，药物注意信息可以是预先记录好的患者在进行服药时需要注意的信息，比如禁忌药物类型。需要说明的是，禁忌药物类型可以是用户过敏的药物，也可以是与处方信息中的待服用药物之间有一定的冲突的药物。举例来说，若处方信息中的待服用药物为阿司匹林，与阿司匹林之间有冲突的药物有A、B、C三种类型，则A、B、C即为禁忌药物类型，也即是患者不能在服药期间接触到的药物类型。
其中，第一药物服用量可以为每种待服用药物在进行服用时的上限值和下限值。需要说明的是，通常情况下，患者是需要按照处方信息中的第二药物服药量进行服用。但是，有时候可能会出现比较紧急的情况，或者大意疏忽的情况，因而患者有时候需要多服用一些药，或者减少一些药物的服用，或者有时候可能是一不小心服用错了药量。
举例来说，若由于病人的病情有较大的好转，因而药物X的每次药物服药量可以由1g减少到0.92g,或者由于病人的病情加重，药物的服药量需要由0.3g增加到0.4g，或者有时候病人会因为误拿导致少吃或者多吃了一些药物。
因而，需要预先为每种药物设置一个第一药物服药量，也即一个合理用药的区间，比如药物A的合理用药区间为0.7-1.12g，若超出了这个合理用药区间，也即药物A对应的第一药物服药量，则可能影响患者的恢复，或者，会对患者的身体造成伤害。
其中，第一药物服药时间可以为根据处方信息中的待服用药物确定的药物在进行服用时的最佳服用时间。需要说明的是，处方信息中的药物服用时间通常仅为早、中、晚，以及服用的天数。但是药物在不同的时间服用时，对人身体的影响也是不同的，比如早上6点吃药和上午10点49分吃药对身体的影响是不同的，为了使得患者能够得到最佳的治疗效果，可以预先确定好每种药物的最佳药物服药时间，也即第一药物服药时间，作为药物注意信息。
需要说明的是，第一药物服药时间可以是根据大数据确定的，比如生信分析数据库、tcga等等，在此不做限定。
比如3月1号到3月16号的每天早上7点到8点半之间，和每天中午的11点半到1点之间，每天晚上的7点到8点半之间，作为第一药物服药时间。
步骤102，基于处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间。
其中，处方信息中包含有当前患者在服药阶段需要服用的各个类型的药物，以每种药物的服用时间和服用量。需要说明的是，不同类型的药物的服用时间和服用量也通常是不相同的。
需要说明的是，第二药物服药时间是处方信息中包含的各个待服用药物对应的药物服药时间，比如药物A的服用时间为3月1号到3月7号的早上和晚上，药物B的服用时间为3月1号到3月13号的早上、中午和晚上。
其中，第二药物服药量可以为处方信息中包含的各个待服用药物对应的药物服药量，比如药物A的每次用量为0.5g，药物B的每次用量为0.8g，药物C的每次用量为3片，在此不做限定。
步骤103，根据第二药物服用量、第二药物服用时间和药物注意信息,对当前的服药提示设备进行配置。
需要说明的是，在确定了第二药物服药量、第二药物服药时间和药物注意信息之后，即可对当前的服药提示设备进行参数配置。
可选的，可以基于药物注意信息中的禁忌药物类型，关闭与禁忌药物类型对应的药物盛放装置，服药提示设备中包含有多个药物盛放装置，每个所述药物盛放装置中包含有一种类型的药物。
需要说明的是，服药提示设备在得到了药物注意信息中的禁忌药物类型之后，可以关闭与禁忌药物类型对应的药物盛放装置，从而避免患者从对应的药物盛放装置中取错药物，从而引起的安全隐患。
其中，每个服药提示设备中都包含有很多个药物盛放装置，有的可以是当前患者的药物，或者也可以是其他患者的药物。
需要说明的是，可以将服药提示设备放在家庭中，或者也可以是病房中，一个病房中可以有一个或者多个病人。
可选的，服药提示设备可以在响应于接收到患者的取药指令之后，从每个药物盛放装置中提取与第二药物服用量对应的待服用药物。
作为一种可能实现的方式，患者可以向服药提示设备发送取药指令，从而服药提示设备能够在接收到取药指令之后，根据取药指令中包含的患者的标识信息，确定待服用药物，也即与患者对应的各个类型的药物。
然后服药提示设备可以自动的按照待取药物的类型，以及对应的第二药物服用量，从药物盛放装置中提取与第二药物服用量对应的待服用药物。
作为一种可能实现的方式，可以基于第二药物服用时间，对所述服药提示设备进行配置，以确定所述服药提示设备的取药时间，其中，所述取药时间为患者可以从所述药物盛放装置中获取到所述待服用药物的时间。
需要说明的是，作为一种可能实现的方式，可以基于第二药物服用时间，对服药提示设备进行配置，以确定服药提示设备的取药时间，其中，取药时间为患者可以从所述药物盛放装置中获取到所述待服用药物的时间。
比如，若3月2号不是患者对应的取药时间，则患者也无法从服药提示设备中进行取药。
步骤104，基于服药提示设备，采集患者在第一药物服用时间内的各帧图像，并通过对各帧图像进行图像识别，以获取患者是否服药的识别结果。
作为一种可能实现的方式，可以对各帧图像进行图像识别，从而判断每帧图像中患者的姿态信息，并将患者的姿态信息和预设的参考姿态信息进行比较，从而可以判断患者的姿态是否是吃药的姿态，进而可以得到患者是否服药的识别结果。
需要说明的是，在第一药物服药时间内，服药提示设备可以进行视频采集。比如说，若t1-t2是第一药物服药时间，则患者则可以从t1开始进行图像采集，并获取患者在第一药物服药时间内的各帧图像。
作为另一种可能实现的方式，可以首先将各帧图像分别通过不同的神经网络模型检测提取得到人体关键点集合、嘴部关键点集合和药品信息集合，然后将人体关键点集合作为人体关键点特征，将嘴部关键点集合作为面部关键点特征，将药品信息集合作为药品特征，之后根据人体关键点特征中的各关键点的相对位置、面部关键点特征中的各关键点的相对位置、药品特征中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果，然后对人体关键点特征进行逐帧建模，得到包含视频每一帧动作全局信息的特征集合，将包含视频每一帧动作全局信息的特征集合输入动作分类器进行分类，得到是否为服药动作的第二结果，之后根据第一结果和第二结果，判断并输出是否服药的识别结果。
本实施例中，人体神经网络模型可以是通过由开源的PP-TinyPose算法训练的神经网络模型，得到人体关键点集合，并将人体关键点集合作为人体关键点特征。其中，人体关键点共包括17个关键点，分别为：鼻子，左、右眼，左、右耳，左、右肩，左、右手肘，左、右手腕，左、右大腿根部，左、右膝，左、右脚踝。
本实施例中，面部神经网络模型可以是由开源的Face_Landmark算法训练的神经网络模型，得到面部关键点中的嘴部关键点集合，并将嘴部关键点集合作为面部关键点特征。其中面部关键点包括68个关键点，覆盖了脸部轮廓、眼部、鼻部以及嘴部，其中涉及到嘴部的关键点为第49个到第68个。
使用由开源的PP-TinyPose算法训练的模型，得到人体关键点集合并将其作为特征J1，该开源算法具有快速高精度的优点，且对微小目标检测效果较好。此外，该算法是轻量化的，适合在多种设备上进行快速部署。该算法采用采用自上而下的方式，先检测出人体框，再检测对应关键点，由此确保关键点检测的高精度；同时在预处理与后处理中加入AID和UDP策略，在后处理中加入DARK等策略，保证模型的高性能。AID策略即Augmentation byInformation Dropping，通过选择性的信息丢失，提升模型对关键点的定位能力。UDP即Unbiased Data Processing，通过使用无偏差数据的编码和解码提升模型精度。DARK即Distribution-Aware coordinate Representation ofKeypoints，通过引入分布-感知坐标来提升低分辨率热力图下模型的精度表现。
使用由开源的Face_Landmark算法训练的模型，得到面部关键点中的嘴部关键点集合并将其作为特征J2，该算法采用多任务学习的方法、使用Wing Loss作为损失函数使得算法具有更好的拟合性，该算法可以实现人脸面部68个关键点快速检测。
使用由开源的YOLOv7算法训练的模型，得到由药品的数量和种类构成的集合并作为特征J3，该算法通过卷积操作来提取特征并据此预测物体边框，然后通过NMS非极大值抑制去除多余窗口得到检测框。在此基础上，对检测框进行计数即可得到待测物体的数量。
根据人体关键点特征J1中各关键点的相对位置、面部关键点特征J2中各关键点的相对位置、药品特征J3中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果R1；通过Transformer时序模型对人体关键点特征J1进行逐帧建模，得到包含视频每一帧动作全局信息的特征集合，将包含视频每一帧动作全局信息的特征集合合输入动作分类器进行分类，得到是否服药动作的第二结果，根据第一结果和第二结果判断并输出是否完成正确服药的结果。
需要说明的是，可以分别将第一结果和第二结果分别与预设的参考结果进行比较，并得到第一相似度值和第二相似度值，然后将第一相似度值和第二相似度值相加，以得到服药动作评分。若服药动作评分大于预设阈值，则说明正确服药。
步骤105，获取第一药物服用时间对应的药物盛放装置中的质量变化曲线，并基于识别结果和质量变化曲线，确定与患者对应的服药提示信息，并将服药提示信息展示在患者所持有的第一终端设备中进行展示。
其中，质量变化曲线可以包含有每个药物盛放装置对应的质量变化曲线，从而该质量变化曲线中可以确定每个药物盛放装置中的药物的质量变化值，也即药物的减少量。
可选的，可以基于质量变化曲线，判断各个药物盛放装置中的药品质量的减少量是否满足预设条件。
需要说明的是，若药品质量的减少量位于第一药物服用量所在的区间，则说明符合预设条件，也即此时患者吃药的量是合理的。
若所述减少量满足所述预设条件，且所述识别结果为所述患者已服药的情况下，确定与所述患者对应的服药提示信息为：患者已经服药。
若所述减少量满足所述预设条件，且所述识别结果为所述患者未服药的情况下，确定与所述患者对应的服药提示信息为：当前需要服药。
需要说明的是，若减少量满足所述预设条件，且所述识别结果为所述患者未服药的情况下，可能只是患者将药品取出，但是并未吃药，因而需要向患者发送服药提示信息，以提示患者吃药。
若所述减少量不满足所述预设条件，确定与所述患者对应的服药提示信息为：当前需要服药。
需要说明的是，若减少量不满足所述预设条件，则说明患者并未吃药，或者吃的不够，因而需要向患者发送服药提示信息，以提示患者吃药。
其中，第一终端设备可以为患者的终端设备，比如患者的手机、电脑、可穿戴设备，比如耳机、手环、手表等等。需要说明的是，可以预先将患者的第一终端设备和服药提示设备进行关联，从而在服药提示设备中记录好各个第一终端设备的MAC地址，因而当服药提示设备检测到该MAC地址的终端设备之后，需要向关联的各个第一终端设备发送服药提示信息，从而多角度全方位的对患者进行提示。需要说明的是，在向各个第一终端设备发送服药提示信息的同时，还可以向各个第一终端设备发送语音提示指令，从而使得各个第一终端设备在显示屏中展示服药提示信息的同时，还可以通过声音对用户进行提示，从而使得患者知道当前需要吃药了。
步骤106，根据指定时间段内患者对第一终端设备中的操作，向与第一终端设备关联的各个第二终端设备发送对应的操作处理结果。
其中，指定时间段可以为10分钟，在确定了服药提示信息之后，即可进行计时，然后再10分钟内若检测到患者对第一终端设备的操作，即可进行相应的处理。
需要说明的是，患者可以在第一终端设备的显示屏中点击确认键，或者通过发出声音指令，来告知第一终端设备自己已经知道需要服药了，或者已经知道自己已经吃过药了。然后服药提示设备可以向与第一终端设备关联的各个第二终端设备发送对应的操作处理结果。
其中，第二终端设备可以为与第一终端设备关联的设备。需要说明的是，可以预先存储有一个映射关系表，并记录第一终端设备相关的各个第二终端设备。第二终端设备可以为患者的家属、亲戚、儿女、父母、护士、主治医师、医务管理人员的终端设备。
可选的，若服药提示信息为已服药，且所述患者在所述指定时间段内对所述第一终端设备进行了确认操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果为：患者已经按时服药。
需要说明的是，若服药提示信息为已经服药，并且患者对该信息进行了确认，则服药提示设备可以向第二终端设备发送患者已经按时服药的操作处理结果，从而患者的家属、亲戚、儿女、父母、护士、主治医师或者医务管理人员可以得知到患者已经服药，能够非常的安心。
可选的，若服药提示信息为已服药，且患者在所述指定时间段内未对所述第一终端设备进行确认操作，对所述患者的服药时间进行记录和存储。
若服药提示信息为已经服药，但是患者并未进行确认操作，则服药提示设备则可以对患者的服药时间进行记录和存储，从而之后可以发送给第二终端设备。
若所述服药提示信息为未服药，且所述患者在所述指定时间段内对所述第一终端设备未进行确认操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果为：患者未按时服药，并启动所述第一终端设备和所述各个第二终端设备中的蜂鸣器进行报警。
需要说明的是，若服药提示信息为未服药，且患者也并未对第一终端设备进行确认操作，则说明此时患者忽略了第一终端设备对患者的服药提示，也即此时患者很可能忘记吃药，因而此时需要向第二终端设备发送患者未按时吃药的处理结果，从而可以告知患者的家属、亲戚、儿女、父母、护士、主治医师或者医务管理人员，使得他们中的至少一个来督促患者进行吃药。并且可以启动第一终端设备和所述各个第二终端设备中的蜂鸣器进行报警，使得患者，以及患者的家属、亲戚、儿女、父母、护士、主治医师或者医务管理人员能够及时的发现此时患者的服药情况，避免疏忽大意给患者带来的病理性伤害，为患者的健康提高了保障。
若所述服药提示信息为未服药，且所述患者在所述指定时间段内对所述第一终端设进行了确认操作，继续在下一个指定时间段内对所述患者进行检测，以判断所述患者是否服药。
可以理解的是，若服药提示信息为未服药，且患者在指定时间段内对第一终端设备进行了确认操作，则说明患者已经知道了此时需要吃药，但是服药提示设备还需要在下一个指定时间段内也即10分钟内按照上述步骤中的方法对患者进行持续性的监控，并获取下个指定时间段内患者是否服药的检测结果，如仍未检测到患者服药，则继续对患者进行提醒，或者向患者的第一终端设备关联的各个第二终端设备发起提醒。
本公开实施例中，首先获取与患者的病情信息相关联的处方信息和药物注意信息，其中，所述药物注意信息中包含有第一药物服用时间、第一药物服用量、以及禁忌药物类型，然后基于所述处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间，之后根据所述第二药物服用量、所述第二药物服用时间和所述药物注意信息,对当前的服药提示设备进行配置，然后基于所述服药提示设备，采集所述患者在第一药物服用时间内的各帧图像，并通过对所述各帧图像进行图像识别，以获取所述患者是否服药的识别结果，之后获取所述第一药物服用时间对应的药物盛放装置中的质量变化曲线，并基于所述识别结果和所述质量变化曲线，确定与所述患者对应的服药提示信息，并将所述服药提示信息展示在患者所持有的第一终端设备中进行展示，然后根据指定时间段内所述患者对所述第一终端设备中的操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果。由此，可以根据对患者的图像识别结果，以及药物盛放装置中的质量变化曲线，及时有效的判断患者是否及时的吃药，并且展示给患者对应的服药提示信息，以对患者进行督促，并且还可以基于患者的第一终端设备关联的第二终端设备对患者的亲属或者医护人员进行提醒，保障患者能够吃到药，并且从第二药物服用时间、第二药物服用量和药物注意信息的角度对服药提示设备进行了配置，从而保障了患者用药的安全性，帮助患者科学合理，及时的进行服药。
为了实现上述实施例，本公开还提出一种基于人工智能的服药提示系统。
图2为本公开第二实施例所提供的基于人工智能的服药提示系统的结构框图。
如图2所示，该基于人工智能的服药提示系统200可以包括：
第一获取模块210，用于获取与患者的病情信息相关联的处方信息和药物注意信息，其中，所述药物注意信息中包含有第一药物服用时间、第一药物服用量、以及禁忌药物类型；
第一确定模块220，用于基于所述处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间；
配置模块230，用于根据所述第二药物服用量、所述第二药物服用时间和所述药物注意信息,对当前的服药提示设备进行配置；
第二获取模块240，用于基于所述服药提示设备，采集所述患者在第一药物服用时间内的各帧图像，并通过对所述各帧图像进行图像识别，以获取所述患者是否服药的识别结果；
第三获取模块250，用于获取所述第一药物服用时间对应的药物盛放装置中的质量变化曲线，并基于所述识别结果和所述质量变化曲线，确定与所述患者对应的服药提示信息，并将所述服药提示信息展示在患者所持有的第一终端设备中进行展示；
发送模块260，用于根据指定时间段内所述患者对所述第一终端设备中的操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果。
可选的，所述配置模块，还用于：
基于所述药物注意信息中的禁忌药物类型，关闭与所述禁忌药物类型对应的药物盛放装置，所述服药提示设备中包含有多个药物盛放装置，每个所述药物盛放装置中包含有一种类型的药物；
响应于接收到所述患者的取药指令之后，从每个所述药物盛放装置中提取与所述第二药物服用量对应的待服用药物。
可选的，所述第二获取模块，具体用于：
将所述各帧图像分别通过不同的神经网络模型检测提取得到人体关键点集合、嘴部关键点集合和药品信息集合；
将人体关键点集合作为人体关键点特征，将嘴部关键点集合作为面部关键点特征，将药品信息集合作为药品特征；
根据人体关键点特征中的各关键点的相对位置、面部关键点特征中的各关键点的相对位置、药品特征中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果；
对人体关键点特征进行逐帧建模，得到包含视频每一帧动作全局信息的特征集合，将包含视频每一帧动作全局信息的特征集合输入动作分类器进行分类，得到是否为服药动作的第二结果；
根据第一结果和第二结果，判断并输出是否服药的识别结果。
可选的，所述第三获取模块，具体用于：
基于所述质量变化曲线，判断各个所述药物盛放装置中的药品质量的减少量是否满足预设条件；
若所述减少量满足所述预设条件，且所述识别结果为所述患者已服药的情况下，确定与所述患者对应的服药提示信息为：患者已经服药。
可选的，所述第三获取模块，还用于：
若所述减少量满足所述预设条件，且所述识别结果为所述患者未服药的情况下，确定与所述患者对应的服药提示信息为：当前需要服药；
若所述减少量不满足所述预设条件，确定与所述患者对应的服药提示信息为：当前需要服药。
可选的，所述发送模块，具体用于：
若所述服药提示信息为已服药，且所述患者在所述指定时间段内对所述第一终端设备进行了确认操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果为：患者已经按时服药；
若所述服药提示信息为已服药，且所述患者在所述指定时间段内未对所述第一终端设备进行确认操作，对所述患者的服药时间进行记录和存储；
若所述服药提示信息为未服药，且所述患者在所述指定时间段内对所述第一终端设备未进行确认操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果为：患者未按时服药，并启动所述第一终端设备和所述各个第二终端设备中的蜂鸣器进行报警；
若所述服药提示信息为未服药，且所述患者在所述指定时间段内对所述第一终端设进行了确认操作，继续在下一个指定时间段内对所述患者进行检测，以判断所述患者是否服药。
本公开实施例中，首先获取与患者的病情信息相关联的处方信息和药物注意信息，其中，所述药物注意信息中包含有第一药物服用时间、第一药物服用量、以及禁忌药物类型，然后基于所述处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间，之后根据所述第二药物服用量、所述第二药物服用时间和所述药物注意信息,对当前的服药提示设备进行配置，然后基于所述服药提示设备，采集所述患者在第一药物服用时间内的各帧图像，并通过对所述各帧图像进行图像识别，以获取所述患者是否服药的识别结果，之后获取所述第一药物服用时间对应的药物盛放装置中的质量变化曲线，并基于所述识别结果和所述质量变化曲线，确定与所述患者对应的服药提示信息，并将所述服药提示信息展示在患者所持有的第一终端设备中进行展示，然后根据指定时间段内所述患者对所述第一终端设备中的操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果。由此，可以根据对患者的图像识别结果，以及药物盛放装置中的质量变化曲线，及时有效的判断患者是否及时的吃药，并且展示给患者对应的服药提示信息，以对患者进行督促，并且还可以基于患者的第一终端设备关联的第二终端设备对患者的亲属或者医护人员进行提醒，保障患者能够吃到药，并且从第二药物服用时间、第二药物服用量和药物注意信息的角度对服药提示设备进行了配置，从而保障了患者用药的安全性，帮助患者科学合理，及时的进行服药。
为了实现上述实施例，本公开还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的基于人工智能的服药提示方法。
为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如本公开前述实施例提出的基于人工智能的服药提示方法。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的基于人工智能的服药提示方法。
图3示出了适于用来实现本公开实施方式的示例性计算机设备的框图。图3显示的计算机设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(IndustryStandardArchitecture；以下简称：ISA)总线，微通道体系结构(MicroChannelArchitecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(VideoElectronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral Component Interconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RandomAccess Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LocalAreaNetwork；以下简称：LAN)，广域网(WideAreaNetwork；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于人工智能的服药提示方法，其特征在于，包括：
获取与患者的病情信息相关联的处方信息和药物注意信息，其中，所述药物注意信息中包含有第一药物服用时间、第一药物服用量、以及禁忌药物类型；
基于所述处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间；
根据所述第二药物服用量、所述第二药物服用时间和所述药物注意信息,对当前的服药提示设备进行配置；
基于所述服药提示设备，采集所述患者在第一药物服用时间内的各帧图像，并通过对所述各帧图像进行图像识别，以获取所述患者是否服药的识别结果；
获取所述第一药物服用时间对应的药物盛放装置中的质量变化曲线，并基于所述识别结果和所述质量变化曲线，确定与所述患者对应的服药提示信息，并将所述服药提示信息展示在患者所持有的第一终端设备中进行展示；
根据指定时间段内所述患者对所述第一终端设备中的操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果；
在所述根据所述第一药物服用量、所述第二药物服用时间和所述药物注意信息,对当前的服药提示设备进行配置之后，还包括：
基于所述药物注意信息中的禁忌药物类型，关闭与所述禁忌药物类型对应的药物盛放装置，所述服药提示设备中包含有多个药物盛放装置，每个所述药物盛放装置中包含有一种类型的药物；
响应于接收到所述患者的取药指令之后，从每个所述药物盛放装置中提取与所述第二药物服用量对应的待服用药物。
2.根据权利要求1所述的方法，其特征在于，所述通过对所述各帧图像进行图像识别，以获取所述患者是否服药的识别结果，包括：
将所述各帧图像分别通过不同的神经网络模型检测提取得到人体关键点集合、嘴部关键点集合和药品信息集合；
将人体关键点集合作为人体关键点特征，将嘴部关键点集合作为面部关键点特征，将药品信息集合作为药品特征；
根据人体关键点特征中的各关键点的相对位置、面部关键点特征中的各关键点的相对位置、药品特征中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果；
对人体关键点特征进行逐帧建模，得到包含视频每一帧动作全局信息的特征集合，将包含视频每一帧动作全局信息的特征集合输入动作分类器进行分类，得到是否为服药动作的第二结果；
根据第一结果和第二结果，判断并输出是否服药的识别结果。
3.根据权利要求1所述的方法，其特征在于，所述基于所述识别结果和所述质量变化曲线，确定与所述患者对应的服药提示信息，包括：
基于所述质量变化曲线，判断各个所述药物盛放装置中的药品质量的减少量是否满足预设条件；
若所述减少量满足所述预设条件，且所述识别结果为所述患者已服药的情况下，确定与所述患者对应的服药提示信息为：患者已经服药。
4.根据权利要求3所述的方法，其特征在于，在所述判断各个所述药物盛放装置中的药品质量的减少量是否满足预设条件之后，还包括：
若所述减少量满足所述预设条件，且所述识别结果为所述患者未服药的情况下，确定与所述患者对应的服药提示信息为：当前需要服药；
若所述减少量不满足所述预设条件，确定与所述患者对应的服药提示信息为：当前需要服药。
5.根据权利要求1所述的方法，其特征在于，所述根据指定时间段内所述患者对所述第一终端设备中的操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果，包括：
若所述服药提示信息为已服药，且所述患者在所述指定时间段内对所述第一终端设备进行了确认操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果为：患者已经按时服药；
若所述服药提示信息为已服药，且所述患者在所述指定时间段内未对所述第一终端设备进行确认操作，对所述患者的服药时间进行记录和存储；
若所述服药提示信息为未服药，且所述患者在所述指定时间段内对所述第一终端设备未进行确认操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果为：患者未按时服药，并启动所述第一终端设备和所述各个第二终端设备中的蜂鸣器进行报警；
若所述服药提示信息为未服药，且所述患者在所述指定时间段内对所述第一终端设进行了确认操作，继续在下一个指定时间段内对所述患者进行检测，以判断所述患者是否服药。
6.一种基于人工智能的服药提示系统，其特征在于，包括：
第一获取模块，用于获取与患者的病情信息相关联的处方信息和药物注意信息，其中，所述药物注意信息中包含有第一药物服用时间、第一药物服用量、以及禁忌药物类型；
第一确定模块，用于基于所述处方信息，确定每个待服用药物的第二药物服用量和第二药物服用时间；
配置模块，用于根据所述第二药物服用量、所述第二药物服用时间和所述药物注意信息,对当前的服药提示设备进行配置；
第二获取模块，用于基于所述服药提示设备，采集所述患者在第一药物服用时间内的各帧图像，并通过对所述各帧图像进行图像识别，以获取所述患者是否服药的识别结果；
第三获取模块，用于获取所述第一药物服用时间对应的药物盛放装置中的质量变化曲线，并基于所述识别结果和所述质量变化曲线，确定与所述患者对应的服药提示信息，并将所述服药提示信息展示在患者所持有的第一终端设备中进行展示；
发送模块，用于根据指定时间段内所述患者对所述第一终端设备中的操作，向与所述第一终端设备关联的各个第二终端设备发送对应的操作处理结果；
所述配置模块，还用于：
基于所述药物注意信息中的禁忌药物类型，关闭与所述禁忌药物类型对应的药物盛放装置，所述服药提示设备中包含有多个药物盛放装置，每个所述药物盛放装置中包含有一种类型的药物；
响应于接收到所述患者的取药指令之后，从每个所述药物盛放装置中提取与所述第二药物服用量对应的待服用药物。
7.根据权利要求6所述的系统，其特征在于，所述第二获取模块，具体用于：
将所述各帧图像分别通过不同的神经网络模型检测提取得到人体关键点集合、嘴部关键点集合和药品信息集合；
将人体关键点集合作为人体关键点特征，将嘴部关键点集合作为面部关键点特征，将药品信息集合作为药品特征；
根据人体关键点特征中的各关键点的相对位置、面部关键点特征中的各关键点的相对位置、药品特征中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果；
对人体关键点特征进行逐帧建模，得到包含视频每一帧动作全局信息的特征集合，将包含视频每一帧动作全局信息的特征集合输入动作分类器进行分类，得到是否为服药动作的第二结果；
根据第一结果和第二结果，判断并输出是否服药的识别结果。
8.根据权利要求6所述的系统，其特征在于，所述第三获取模块，具体用于：
基于所述质量变化曲线，判断各个所述药物盛放装置中的药品质量的减少量是否满足预设条件；
若所述减少量满足所述预设条件，且所述识别结果为所述患者已服药的情况下，确定与所述患者对应的服药提示信息为：患者已经服药。
CN202310291032.0A 2023-03-23 2023-03-23 基于人工智能的服药提示方法及系统 Active CN116492227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310291032.0A CN116492227B (zh) 2023-03-23 2023-03-23 基于人工智能的服药提示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310291032.0A CN116492227B (zh) 2023-03-23 2023-03-23 基于人工智能的服药提示方法及系统

Publications (2)

Publication Number Publication Date
CN116492227A CN116492227A (zh) 2023-07-28
CN116492227B true CN116492227B (zh) 2024-03-26

Family

ID=87317421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310291032.0A Active CN116492227B (zh) 2023-03-23 2023-03-23 基于人工智能的服药提示方法及系统

Country Status (1)

Country Link
CN (1) CN116492227B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117133400B (zh) * 2023-09-25 2024-05-03 广州名豆电子科技有限公司 一种基于用户数据的提醒方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1751670A (zh) * 2004-09-22 2006-03-29 浙江工业大学 智能药箱
CN104146866A (zh) * 2014-08-05 2014-11-19 齐鲁工业大学 智能药盒
CN105287223A (zh) * 2015-10-08 2016-02-03 中南大学湘雅医院 一种用药提醒方法及客户端
CN105310884A (zh) * 2014-07-31 2016-02-10 宇龙计算机通信科技(深圳)有限公司 一种提醒服药的方法及装置
CN106265082A (zh) * 2016-08-23 2017-01-04 浙江天地人科技有限公司 一种医药盒
CN106372410A (zh) * 2016-08-30 2017-02-01 深圳市双赢伟业科技股份有限公司 监督病人服药的方法及系统
CN106821761A (zh) * 2015-12-04 2017-06-13 北大医疗信息技术有限公司 服药提示方法及服药提示装置
CN107049793A (zh) * 2017-06-06 2017-08-18 孝感市青谷信息科技有限公司 一种应用至移动终端上的服药提醒及确认系统
CN111756854A (zh) * 2020-06-30 2020-10-09 张美月 一种服药智能监控方法及系统
CN115690874A (zh) * 2022-10-19 2023-02-03 华南理工大学 基于人体关键点检测和Transformer模型的老人吃药检测方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1751670A (zh) * 2004-09-22 2006-03-29 浙江工业大学 智能药箱
CN105310884A (zh) * 2014-07-31 2016-02-10 宇龙计算机通信科技(深圳)有限公司 一种提醒服药的方法及装置
CN104146866A (zh) * 2014-08-05 2014-11-19 齐鲁工业大学 智能药盒
CN105287223A (zh) * 2015-10-08 2016-02-03 中南大学湘雅医院 一种用药提醒方法及客户端
CN106821761A (zh) * 2015-12-04 2017-06-13 北大医疗信息技术有限公司 服药提示方法及服药提示装置
CN106265082A (zh) * 2016-08-23 2017-01-04 浙江天地人科技有限公司 一种医药盒
CN106372410A (zh) * 2016-08-30 2017-02-01 深圳市双赢伟业科技股份有限公司 监督病人服药的方法及系统
CN107049793A (zh) * 2017-06-06 2017-08-18 孝感市青谷信息科技有限公司 一种应用至移动终端上的服药提醒及确认系统
CN111756854A (zh) * 2020-06-30 2020-10-09 张美月 一种服药智能监控方法及系统
CN115690874A (zh) * 2022-10-19 2023-02-03 华南理工大学 基于人体关键点检测和Transformer模型的老人吃药检测方法和系统

Also Published As

Publication number Publication date
CN116492227A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US20190027238A1 (en) Method and apparatus for monitoring medication adherence
US11670100B2 (en) Method and apparatus for recognition of patient activity
US7983933B2 (en) Patient monitoring via image capture
JP6286020B2 (ja) 不審な行動の認識のための装置および方法
US20190058848A1 (en) Apparatus and Method for Recognition of Suspicious Activities
CN110675951A (zh) 智能化的疾病诊断方法及装置、计算机设备与可读介质
CN112802575B (zh) 基于图形状态机的用药决策支持方法、装置、设备、介质
CN116492227B (zh) 基于人工智能的服药提示方法及系统
Moshnyaga et al. A medication adherence monitoring system for people with dementia
US10373016B2 (en) Method and apparatus for medication identification
CN111840081B (zh) 一种用药提醒方法、系统、计算机设备
Bermúdez et al. A fusion architecture to deliver multipurpose mobile health services
US20090326334A1 (en) Health condition detection, storage, and presentation
Komalasari Trust Dynamics in Remote Patient-Expert Communication: Unraveling the Role of ICT in Indonesia's Private Healthcare Sector
CN116805531B (zh) 一种儿科远程医疗系统
US20230044000A1 (en) System and method using ai medication assistant and remote patient monitoring (rpm) devices
US20220392593A1 (en) Medical Surgery Recording, Processing and Reporting System
Hong et al. The Current State And Future of Artificial Intelligence in Health
Rajendra et al. Smart Pill Prompting for Elderly People Using Internet of Things.
WO2022020057A2 (en) Artificially intelligent medical procedure assessment and intervention system
CN116311491A (zh) 一种智能用药监测方法、装置、设备及存储介质
Frank Artificial Intelligence in Healthcare: 4 Surprising Innovations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant