CN111402987B - 基于可见光视频的用药提醒方法、装置、设备及存储介质 - Google Patents

基于可见光视频的用药提醒方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111402987B
CN111402987B CN201911417139.5A CN201911417139A CN111402987B CN 111402987 B CN111402987 B CN 111402987B CN 201911417139 A CN201911417139 A CN 201911417139A CN 111402987 B CN111402987 B CN 111402987B
Authority
CN
China
Prior art keywords
target
visible light
medicine
person
light video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911417139.5A
Other languages
English (en)
Other versions
CN111402987A (zh
Inventor
陈辉
张晓亮
熊章
张智
雷奇文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xingxun Intelligent Technology Co ltd
Original Assignee
Wuhan Xingxun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Xingxun Intelligent Technology Co ltd filed Critical Wuhan Xingxun Intelligent Technology Co ltd
Priority to CN201911417139.5A priority Critical patent/CN111402987B/zh
Publication of CN111402987A publication Critical patent/CN111402987A/zh
Application granted granted Critical
Publication of CN111402987B publication Critical patent/CN111402987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medicinal Chemistry (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于可见光视频的用药提醒方法、装置、设备及存储介质，涉及生物识别技术领域，所述方法包括：采集药品存放区域的可见光视频；检测所述可见光视频中是否包含目标用药人图像；若检测到所述可见光视频中包含目标用药人图像，判断所述可见光视频中目标用药人是否准备用药；若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药；向目标终端发送用药提醒。通过本发明可以根据目标用药人的用药情况发送用药提醒，具有操作简单、方便，用户体验度高，且可长时间监控的优点。

Description

基于可见光视频的用药提醒方法、装置、设备及存储介质
技术领域
本发明涉及生物识别技术领域，尤其涉及一种基于可见光视频的用药提醒方法、装置、设备及存储介质。
背景技术
对于慢性病的病人来说，一般需要长期定时定量服用药物，但到吃药时间却经常会忘记有没有吃过药，这是一个困扰大多数服药患者的问题，因此需要一种带提醒功能的吃药装置来解决此类问题。
目前，已经出现了一些具有提醒吃药功能的产品。例如带定时器提醒功能的小药箱，通过闹钟的方式提醒患者用药，一日用几次药，就设置几次提醒。这种方式比较机械、单一，在目标用药人已经吃过药的情况下还会提醒目标用药人吃药；而且传统的用药提醒装置较大，设置在小药箱内，会占据较大的空间。
发明内容
本发明的主要目的在于提出一种基于可见光视频的用药提醒方法、装置、设备及存储介质，旨在解决现有用药提醒方式机械、单一的技术问题。
为实现上述目的，本发明一方面提供一种基于可见光视频的用药提醒方法，所述方法包括：
采集药品存放区域的可见光视频；
检测所述可见光视频中是否包含目标用药人图像；
若检测到所述可见光视频中包含目标用药人图像，判断所述可见光视频中目标用药人是否准备用药；
若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药；向目标终端发送用药提醒。
进一步的，所述检测所述可见光视频中是否包含目标用药人图像包括：
检测所述可见光视频中是否包含人脸图像；
若所述可见光视频中包含人脸图像，检测所述人脸图像特征与目标用药人脸图像特征是否一致；
若所述人脸图像特征与目标用药人脸图像特征一致，则可见光视频中包含目标用药人图像；
若所述人脸图像特征与目标用药人脸图像特征不一致，则可见光视频中未包含目标用药人图像。
进一步的，所述检测所述人脸图像特征与目标用药人脸图像特征是否一致包括：
检测所述人脸图像的人脸脸框与所述目标用药人人脸脸框是否一致，并检测所述人脸图像的五官位置与所述目标用药人的五官位置是否一致。
进一步的，所述判断所述可见光视频中目标用药人是否准备用药包括：
采用基于深度学习的物品识别方法检测所述可见光视频中是否包含目标用药人接触药品包装的图像；
若所述可见光视频中包含目标用药人接触药品包装的图像，根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药。
进一步的，所述根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药包括：
设置参考线；
在所述目标用药人接触药品包装图像中判断药品包装是否位于所述参考线之上；
若所述药品包装位于所述参考线之上，则目标用药人准备用药；
若所述药品包装位于所述参考线之下，则目标用药人不准备用药。
进一步的，所述方法还包括：
若所述可见光视频中目标用药人准备用药；向目标终端发送用药信息。
进一步的，在预设时间段内采集药品存放区域的可见光视频。
本发明另一方面还提供一种基于可见光视频的用药提醒装置，所述装置包括：
采集模块，用于采集药品存放区域的可见光视频；
检测模块，用于检测所述可见光视频中是否包含目标用药人图像；
判断模块，用于若检测到所述可见光视频中包含目标用药人图像，判断所述可见光视频中目标用药人是否准备用药；
提醒模块，用于若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药；向目标终端发送用药提醒。
本发明另一方面还提供一种基于可见光视频的用药提醒设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
本发明另一方面还提供一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
本发明提供的基于可见光视频的用药提醒方法、装置、设备及存储介质，采集药品存放区域的可见光视频；检测所述可见光视频中是否包含目标用药人图像并判断所述可见光视频中目标用药人是否准备用药；若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药；向目标终端发送用药提醒。通过本发明可以根据目标用药人的用药情况发送用药提醒，具有操作简单、方便，用户体验度高，且可长时间监控的优点。
附图说明
图1为本发明实施例一提供的一种基于可见光视频的用药提醒方法流程图；
图2为本发明实施例二提供的一种基于可见光视频的用药提醒方法流程图；
图3为本发明实施例三提供的一种基于可见光视频的用药提醒装置的结构示意图；
图4为本发明实施例四提供的一种基于可见光视频的用药提醒设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
实施例一
本发明实施例一提供一种基于可见光视频的用药提醒方法，如图1所示，所述方法包括：
S1、采集药品存放区域的可见光视频；
所述药品存放区域是目标用药人固定放置药品的区域，具体可以通过摄像头采集药品存放区域的可见光视频。
S2、检测所述可见光视频中是否包含目标用药人图像；
示例性的，可以预先存储目标用药人图像，采用人脸检测器来检测视频中是否存在人脸特征，然后用特征脸方法对检测出的人脸特征进行识别，以判断检测出的人脸特征是否同预先录入的目标用药人一致。若所述人脸图像特征与目标用药人脸图像特征一致，则可见光视频中是否包含目标用药人图像；若所述人脸图像特征与目标用药人脸图像特征不一致，则可见光视频中是否包含目标用药人图像。
S3、若检测到所述可见光视频中包含目标用药人图像，判断所述可见光视频中目标用药人是否准备用药；
示例性的，可以采用基于深度学习的物品识别方法检测所述可见光视频中是否包含目标用药人接触药品包装的图像；若所述可见光视频中包含目标用药人接触药品包装的图像，根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药。
S4、若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药；向目标终端发送用药提醒。
具体可以将用药提醒发送给目标终端的应用程序中，所述用药提醒可以包括提醒目标用药人用药的信息，还可以进一步包括目标用药人未用药的信息。
本发明提供的基于可见光视频的用药提醒方法，采集药品存放区域的可见光视频；检测所述可见光视频中是否包含目标用药人图像并判断所述可见光视频中目标用药人是否准备用药；若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药；向目标终端发送用药提醒。通过本发明可以根据目标用药人的用药情况发送用药提醒，具有操作简单、方便，用户体验度高，且可长时间监控的优点。
实施例二
本发明实施例二提供一种基于可见光视频的用药提醒方法，如图2所示，该方法包括：
S201、在预设时间段内采集药品存放区域的可见光视频。
其中，所述预设时间段是目标用药人的固定用药时间段。所述药品存放区域是目标用药人固定放置药品的区域，具体可以通过摄像头采集药品存放区域的可见光视频。
S202、检测所述可见光视频中是否包含目标用药人图像；
具体的，本步骤包括：
S2021、检测所述可见光视频中是否包含人脸图像；
S2022、若所述可见光视频中包含人脸图像，检测所述人脸图像特征与目标用药人脸图像特征是否一致；
其中，所述图像特征包括人脸脸框和五官位置，本步骤通过检测所述人脸图像的人脸脸框与所述目标用药人人脸脸框是否一致，并检测所述人脸图像的五官位置与所述目标用药人的五官位置是否一致来确定所述人脸图像特征与目标用药人脸图像特征是否一致。
示例性的，首先可以采用人脸检测器来检测视频中是否存在人脸特征，然后用特征脸方法对检测出的人脸特征进行识别，以判断检测到的人脸特征是否同预先录入的目标用药人的人脸特征一致。
其中，所述人脸检测器采用多任务级联卷积神经网络算法，该算法由三个部分组成，P-Net(proposal Network)，R-Net(refineNet)，O-Net(outputNet)。这三个部分是相互独立的三个网络结构，相互串联的关系。每个阶段的网络都是一个多任务网络，处理的任务有三个：人脸/非人脸的判断、人脸脸框回归、特征点定位。原始待检测图像经过resize，生成不同尺寸的图像构建图像金字塔作为网络的输入。构建的图像金字塔，其层数由两个因素决定，第一个是设置的最小人脸minSize，第二个是缩放因子factor，最小人脸表示min(w,h)，其中，最小人脸不能小于12，缩放因子为0.709，可以根据公式计算图像金字塔的层数：
minL＝org_L*(12/minsize)*factor^(n)，n＝{0,1,2,3,...,N}
其中n就是金字塔的层数，org_L是输入原始图像的最小边min(W,H),minisize是人为根据应用场景设定，在保证minL大于12的情况下，所有的n就构成金字塔的层。所以minsize的值越小，n的取值范围就越大，计算量就相应地增加，能够检测到的人脸越小。
第一阶段通过浅层的CNN(P-Net)快速生成候选窗口，该网络全部由卷积层实现，获取到候选人脸窗和人脸窗的回归向量，基于人脸窗的回归向量对人脸窗进行校正，然后对所有人脸窗进行NMS(非极大值抑制)，合并高度重叠的人脸窗。其具体过程就是通过图像金字塔生成的各种尺寸大小的图片，每一张图都进行一次前向传播，在每个图上得到的结果之后利用设置的阈值去掉一部分，剩下的根据缩放尺度还原到原图上的坐标，将所有的坐标信息汇总，然后NMS去除一部分冗余。
第二阶段再通过一个更复杂的CNN(R-Net)来处理第一阶段中被误认为人脸的“人脸窗”从而精细化人脸窗，第一阶段的输出作为第二阶段的输入，第一阶段最后产生了大量的bbox，将这些bbox根据缩放因子回推到原图上之后，将他们全部resize到24x24大小，作为第二阶段的输入。第二阶段经过网络之后同样产生大量的bbox，同样的根据阈值去掉一部分，再利用hms去掉一部分。
最后使用第二阶段中最后留下来的bbox，还原到原来的图片上之后，全部resize到48x48大小，然后输入到第三阶段，使用更为复杂的CNN(outputNet)进一步精细化结果并输出人脸上的5个特征点。
通过三阶的级联卷积神经网络对任务进行从粗到细的处理，并提出一种新的在线困难样本生成策略提升性能，最终输出人脸脸框位置和五个特征点位置。整个过程中会用到三次人脸窗回归和NMS，三个网络独立工作。
所述人脸获取包含M张人脸图像的集合S。每张图像可以转换成一个N维的向量，然后把这M个向量放到一个集合S里，如下式所示。
S＝{Γ1，Γ2，Γ3，.........，ГM}
本步骤中，若所述人脸图像特征与目标用药人脸图像特征一致，则可见光视频中包含目标用药人图像；若所述人脸图像特征与目标用药人脸图像特征不一致，则可见光视频中不包含目标用药人图像。
S203、若检测到所述可见光视频中包含目标用药人图像，判断所述可见光视频中目标用药人是否准备用药；
具体的，本步骤包括：
S2031、采用基于深度学习的物品识别方法检测所述可见光视频中是否包含目标用药人接触药品包装的图像；
本发明的深度学习网络采用VGG pre-train network作为骨架，有两个分支分别回归L(p)和S(p)。每一个stage算一次loss，之后把L和S以及原始输入concatenate，继续下一个stage的训练。随着迭代次数的增加，S能够一定程度上区分结构的左右。loss用的L2范数，S和L的ground-truth需要从标注的关键点生成，如果某个关键点在标注中有缺失则不计算该点。
对于S，每一类关键点有一个channel，生成ground-truth的时候是按照多个高斯分布取max的方法来保留各个点的响应峰值。对于L则复杂一点，先看准确定义，对于第k个person的第c个肢干上的PAFs(Part Affinity Fields)：
v＝(xj2,k-xj1,k)/||xj2,k-xj1,k||2
xj,k表示第k个person第j个关键点的位置。而像素点p是否落在limb(肢干)则设了一个阈值范围：
0≤v·(p-xj,k)≤lc,kand|v⊥·(p-xj,k)|≤σ1
其中lc,k和σl分别表示limb长度和宽度。最后会对所有person相同类别肢干进行平均，使得L的输出的channel与肢干总数相等：
知道PAFs(Part Affinity Fields)和关键点位置dj之后，需要评估这俩关键点的相关性。例如计算这两个关键点连线上各像素点PAF向量与连线向量的点积的积分：
p(u)＝(1-u)dj1+udj2
在得到关键节点以及边权之后，利用匈牙利算法对相邻节点进行了最优匹配，比如一堆左手腕节点和一堆左手肘节点，利用小臂的PAF计算边权，再进行最优匹配，最后获得整个的人形姿态骨架，通过人形姿态骨架确定目标用药人是否接触药品包装。
S2032、若所述可见光视频中包含目标用药人接触药品包装的图像，根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药。
具体的，所述根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药包括：
S31、设置参考线；
具体的，所述参考线可以根据药品包装的位置关系预先设置。
S32、在所述目标用药人接触药品包装图像中判断药品包装是否位于所述参考线之上；
S33、若所述药品包装位于所述参考线之上，则目标用药人准备用药；
S34、若所述药品包装位于所述参考线之下，则目标用药人不准备用药。
S204、若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药；向目标终端发送用药提醒。
具体可以将用药提醒发送给目标终端的应用程序中，所述用药提醒可以包括提醒目标用药人用药的信息，还可以进一步包括目标用药人未用药的信息。
S205、若所述可见光视频中目标用药人准备用药；向目标终端发送用药信息。
所述用药信息可以包括目标用药人几点用药的信息，通过用药信息可以提醒目标用药人已经服用过药品。
基于上述各方法实施例，提出以下装置实施例。
实施例三
本发明实施例三提供一种基于可见光视频的用药提醒装置3，如图3所示，该基于可见光视频的用药提醒装置3包括：
采集模块31，用于采集药品存放区域的可见光视频；
检测模块32，用于检测所述可见光视频中是否包含目标用药人图像；
判断模块33，用于若检测到所述可见光视频中包含目标用药人图像，判断所述可见光视频中目标用药人是否准备用药；
提醒模块34，用于若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药；向目标终端发送用药提醒；若所述可见光视频中目标用药人准备用药；向目标终端发送用药信息。
在一种具体实施方式中，所述检测模块32包括：
第一检测模块，用于检测所述可见光视频中是否包含人脸图像；
第二检测模块，用于若所述可见光视频中包含人脸图像，检测所述人脸图像特征与目标用药人脸图像特征是否一致；
其中，若所述人脸图像特征与目标用药人脸图像特征一致，则可见光视频中包含目标用药人图像；
若所述人脸图像特征与目标用药人脸图像特征不一致，则可见光视频中未包含目标用药人图像。
所述第二检测模块，具体用于若所述可见光视频中包含人脸图像，检测所述人脸图像的人脸脸框与所述目标用药人人脸脸框是否一致，并检测所述人脸图像的五官位置与所述目标用药人的五官位置是否一致。
在一种具体实施方式中，所述判断模块33包括：
第三检测模块，用于采用基于深度学习的物品识别方法检测所述可见光视频中是否包含目标用药人接触药品包装的图像；
第一判断模块，用于若所述可见光视频中包含目标用药人接触药品包装的图像，根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药。
所述第一判断模块包括：
设置模块，用于设置参考线；
第二判断模块，用于在所述目标用药人接触药品包装图像中判断药品包装是否位于所述参考线之上；
若所述药品包装位于所述参考线之上，则目标用药人准备用药；
若所述药品包装位于所述参考线之下，则目标用药人不准备用药。
优选地，本发明还公开了一种基于可见光视频的用药提醒设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现本实施例所述的方法。
具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的基于可见光视频的用药提醒方法。
在一个示例中，基于可见光视频的用药提醒设备还可包括通信接口403和总线410。其中，如图4所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将基于可见光视频的用药提醒设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
另外，结合上述实施例中的基于可见光视频的用药提醒方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于可见光视频的用药提醒方法。
本发明提供的基于可见光视频的用药提醒方法、装置、设备及存储介质，采集药品存放区域的可见光视频；检测所述可见光视频中是否包含目标用药人图像并判断所述可见光视频中目标用药人是否准备用药；若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药；向目标终端发送用药提醒。通过本发明可以根据目标用药人的用药情况发送用药提醒，具有操作简单、方便，用户体验度高，且可长时间监控的优点。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (5)

1.一种基于可见光视频的用药提醒方法，其特征在于，所述方法包括：
在目标用药人的固定用药时间段，采集药品存放区域的可见光视频，所述药品存放区域是目标用药人固定放置药品的区域；
检测所述可见光视频中是否包含目标用药人图像；
其中，所述检测所述可见光视频中是否包含目标用药人图像包括：
检测所述可见光视频中是否包含人脸图像；
若所述可见光视频中包含人脸图像，检测所述人脸图像特征与目标用药人脸图像特征是否一致；
其中，所述若所述可见光视频中包含人脸图像，检测所述人脸图像特征与目标用药人脸图像特征是否一致包括：
采用人脸检测器来检测所述人脸图像的人脸脸框与所述目标用药人人脸脸框是否一致，并检测所述人脸图像的五官位置与所述目标用药人的五官位置是否一致来确定所述人脸图像特征与目标用药人脸图像特征是否一致，所述人脸检测器采用多任务级联卷积神经网络算法；若检测到所述可见光视频中包含目标用药人图像，判断所述可见光视频中目标用药人是否准备用药；
若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药，则向目标终端发送用药提醒信息提醒目标用药人；
其中，所述判断所述可见光视频中目标用药人是否准备用药包括：
采用基于深度学习的物品识别方法检测所述可见光视频中是否包含目标用药人接触药品包装的图像；
若所述可见光视频中包含目标用药人接触药品包装的图像，根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药；
其中，所述若所述可见光视频中包含目标用药人接触药品包装的图像，根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药包括：
根据药品包装的位置关系预先设置参考线；
在所述目标用药人接触药品包装图像中判断药品包装是否位于所述参考线之上；
若所述药品包装位于所述参考线之上，则目标用药人准备用药；
若所述药品包装位于所述参考线之下，则目标用药人不准备用药。
2.根据权利要求1所述的基于可见光视频的用药提醒方法，其特征在于，所述方法还包括：
若所述可见光视频中目标用药人准备用药，则向目标终端发送用药信息。
3.一种基于可见光视频的用药提醒装置，其特征在于，所述装置包括：
采集模块，用于在目标用药人的固定用药时间段，采集药品存放区域的可见光视频，所述药品存放区域是目标用药人固定放置药品的区域；
检测模块，用于检测所述可见光视频中是否包含目标用药人图像；
其中，所述检测所述可见光视频中是否包含目标用药人图像包括：
检测所述可见光视频中是否包含人脸图像；
若所述可见光视频中包含人脸图像，检测所述人脸图像特征与目标用药人脸图像特征是否一致；
其中，所述若所述可见光视频中包含人脸图像，检测所述人脸图像特征与目标用药人脸图像特征是否一致包括：
采用人脸检测器来检测所述人脸图像的人脸脸框与所述目标用药人人脸脸框是否一致，并检测所述人脸图像的五官位置与所述目标用药人的五官位置是否一致来确定所述人脸图像特征与目标用药人脸图像特征是否一致，所述人脸检测器采用多任务级联卷积神经网络算法；
判断模块，用于若检测到所述可见光视频中包含目标用药人图像，判断所述可见光视频中目标用药人是否准备用药；
提醒模块，用于若未检测到所述可见光视频中包含目标用药人图像，或者，所述可见光视频中目标用药人不准备用药，则向目标终端发送用药提醒信息提醒目标用药人；
其中，所述判断所述可见光视频中目标用药人是否准备用药包括：
采用基于深度学习的物品识别方法检测所述可见光视频中是否包含目标用药人接触药品包装的图像；
若所述可见光视频中包含目标用药人接触药品包装的图像，根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药；
其中，所述若所述可见光视频中包含目标用药人接触药品包装的图像，根据药品包装在所述目标用药人接触药品包装图像中的位置判断目标用药人是否准备用药包括：
根据药品包装的位置关系预先设置参考线；
在所述目标用药人接触药品包装图像中判断药品包装是否位于所述参考线之上；
若所述药品包装位于所述参考线之上，则目标用药人准备用药；
若所述药品包装位于所述参考线之下，则目标用药人不准备用药。
4.一种基于可见光视频的用药提醒设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-2中任一项所述的方法步骤。
5.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-2中任一项所述的方法步骤。
CN201911417139.5A 2019-12-31 2019-12-31 基于可见光视频的用药提醒方法、装置、设备及存储介质 Active CN111402987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911417139.5A CN111402987B (zh) 2019-12-31 2019-12-31 基于可见光视频的用药提醒方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911417139.5A CN111402987B (zh) 2019-12-31 2019-12-31 基于可见光视频的用药提醒方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111402987A CN111402987A (zh) 2020-07-10
CN111402987B true CN111402987B (zh) 2024-05-10

Family

ID=71428392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911417139.5A Active CN111402987B (zh) 2019-12-31 2019-12-31 基于可见光视频的用药提醒方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111402987B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309532B (zh) * 2020-09-28 2023-09-26 北京京东拓先科技有限公司 信息反馈方法和装置
CN117316471A (zh) * 2023-11-28 2023-12-29 吉林大学第一医院 一种基于智能监测的医疗护理管理系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710489A (zh) * 2004-06-18 2005-12-21 松下电器产业株式会社 药液涂敷装置及药液涂敷方法
JP2014036731A (ja) * 2012-08-14 2014-02-27 Hitachi Aloka Medical Ltd 服薬支援装置
JP2015228082A (ja) * 2014-05-30 2015-12-17 日本電信電話株式会社 服用証跡管理端末、服用証跡管理システム及び服用証跡管理方法
CN107106796A (zh) * 2015-01-09 2017-08-29 安瑞智能(新西兰)有限公司 用于药物吸入器的监控器
KR20170112704A (ko) * 2016-04-01 2017-10-12 한국전자통신연구원 복약 모니터링 장치 및 방법
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
JP2018101441A (ja) * 2018-02-27 2018-06-28 東日本メディコム株式会社 薬剤服用支援システム、薬剤服用支援方法及びプログラム
CN108766519A (zh) * 2018-06-20 2018-11-06 中国电子科技集团公司电子科学研究院 一种服药监督方法、装置、可读存储介质及设备
CN109840493A (zh) * 2019-01-27 2019-06-04 武汉星巡智能科技有限公司 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质
CN109872359A (zh) * 2019-01-27 2019-06-11 武汉星巡智能科技有限公司 坐姿检测方法、装置及计算机可读存储介质
CN110114831A (zh) * 2017-02-28 2019-08-09 富士胶片株式会社 服药辅助装置、服药辅助系统、服药辅助方法及程序
CN110175534A (zh) * 2019-05-08 2019-08-27 长春师范大学 基于多任务级联卷积神经网络的授课辅助系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2704112A1 (en) * 2012-08-31 2014-03-05 Evondos Oy Method for operating a medication dispenser, and medication dispenser
US20160342854A1 (en) * 2015-05-18 2016-11-24 Richard Whitcomb Loveless Pill cup with optical markers for improved medication adherence
US20180280243A1 (en) * 2017-04-04 2018-10-04 Laila Velani Smart vial interactive medication dosage dispensing system and method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710489A (zh) * 2004-06-18 2005-12-21 松下电器产业株式会社 药液涂敷装置及药液涂敷方法
JP2014036731A (ja) * 2012-08-14 2014-02-27 Hitachi Aloka Medical Ltd 服薬支援装置
JP2015228082A (ja) * 2014-05-30 2015-12-17 日本電信電話株式会社 服用証跡管理端末、服用証跡管理システム及び服用証跡管理方法
CN107106796A (zh) * 2015-01-09 2017-08-29 安瑞智能(新西兰)有限公司 用于药物吸入器的监控器
KR20170112704A (ko) * 2016-04-01 2017-10-12 한국전자통신연구원 복약 모니터링 장치 및 방법
CN110114831A (zh) * 2017-02-28 2019-08-09 富士胶片株式会社 服药辅助装置、服药辅助系统、服药辅助方法及程序
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
JP2018101441A (ja) * 2018-02-27 2018-06-28 東日本メディコム株式会社 薬剤服用支援システム、薬剤服用支援方法及びプログラム
CN108766519A (zh) * 2018-06-20 2018-11-06 中国电子科技集团公司电子科学研究院 一种服药监督方法、装置、可读存储介质及设备
CN109840493A (zh) * 2019-01-27 2019-06-04 武汉星巡智能科技有限公司 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质
CN109872359A (zh) * 2019-01-27 2019-06-11 武汉星巡智能科技有限公司 坐姿检测方法、装置及计算机可读存储介质
CN110175534A (zh) * 2019-05-08 2019-08-27 长春师范大学 基于多任务级联卷积神经网络的授课辅助系统

Also Published As

Publication number Publication date
CN111402987A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
US11074436B1 (en) Method and apparatus for face recognition
CN111666857B (zh) 基于环境语义理解的人体行为识别方法、装置及存储介质
CN105612533B (zh) 活体检测方法、活体检测系统以及计算机程序产品
CN110705390A (zh) 基于lstm的形体姿态识别方法、装置及存储介质
CN110427859A (zh) 一种人脸检测方法、装置、电子设备及存储介质
CN111753643B (zh) 人物姿态识别方法、装置、计算机设备和存储介质
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN109598229B (zh) 基于动作识别的监控系统及其方法
CN111598038B (zh) 脸部特征点检测方法、装置、设备及存储介质
US20160127657A1 (en) Imaging system
CN111402987B (zh) 基于可见光视频的用药提醒方法、装置、设备及存储介质
JP6969878B2 (ja) 識別器学習装置および識別器学習方法
CN112299172A (zh) 手势求救的识别方法、装置及存储介质
CN114463725A (zh) 驾驶员行为检测方法及装置、安全驾驶提醒方法及装置
CN114067406A (zh) 一种关键点检测方法、装置、设备及可读存储介质
CN117216313B (zh) 姿态评价音频输出方法、装置、电子设备和可读介质
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN110148234B (zh) 校园刷脸接送交互方法、存储介质及系统
CN112132110A (zh) 一种智能判断人体姿态的方法及看护设备
Kennedy et al. Implementation of an Embedded Masked Face Recognition System using Huskylens System-On-Chip Module
CN112613436B (zh) 考试作弊检测方法和装置
WO2022247118A1 (zh) 一种推送方法、推送装置及电子设备
CN115376210A (zh) 泳池防溺水的溺水行为识别方法、装置、设备及介质
CN115546825A (zh) 一种安检规范性自动监测方法
CN115424315A (zh) 微表情检测方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant