CN113823376A - 智能服药提醒方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，应用于数字医疗，公开了一种智能服药提醒方法、装置、设备及存储介质。本方法包括：基于人脸识别模型识别出的目标对象的人脸图像，计算人脸图像和基准人脸图像之间的相似度；根据当前视频流调用预置人体姿态检测模型对用户进行手部动作的识别；基于姿态识别结果确定用户是否正在服药或者准备服药；若是，则基于相似度查询用户在智能药盒中设定的服药配置，并基于服药配置判断用户是否完成服药；基于判断的结果选择将用户的服药数据同步至数据库或者通过语音提示系统按照服药配置提示用户进行服药。本方案通过对用户进行手部动作的识别，判断用户是否发生服药行为，帮助用户准确用药，提高患者的服药依从性。

Description

智能服药提醒方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，应用于数字医疗领域，尤其涉及一种智能服药提醒方法、装置、设备及存储介质。

背景技术

随着人口老龄化的进程加速，医疗领域中，大量患者正面临“因病致贫”、“因病致死”的现状。要扭转现状，力挽狂澜，依从性管理是关键更是难点。依从性，指患者按医生规定进行治疗、与医嘱一致的行为，主要表现为遵医嘱用药。慢病以老年患者居多，且慢病往往需要长期治疗，导致慢病的依从性较差，很多人未按医嘱用药，甚至未用药，或中途停药。

市面上有一些监督服药的系统或设备可以支持健康管理、远程会诊等功能，但往往只是从单一手段简单判断是否服药，同时也未考虑老年患者的人群特点，在保证监督的有效性及使用的友好度上存在较大的提升空间。

发明内容

本发明的主要目的在于通过对目标用户面部动作识别的识别，判断用户是否发生服药行为，解决现有技术中患者特别是老年患者的服药依从性的技术问题，提高用户服药准确率。

本发明第一方面提供了一种智能服药提醒方法，包括：当所述智能药盒预设的图像采集范围内有目标对象进入时，采集所述目标对象的视频流，并获取所述视频流进中的视频图像，其中，所述目标对象包括目标用户和所述目标用户待服用的药品；将所述视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算所述人脸图像和预设基准人脸图像之间的相似度；从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果；基于所述姿态识别结果，确定所述目标用户是否正在服药或者准备服药；若是，则基于所述相似度，查询所述目标用户在所述智能药盒中设定的服药配置，基于所述服药配置判断所述目标用户是否完成服药；若判断所述目标用户未完成服药，则通过预置语音提示系统按照所述服药配置提示所述目标用户选择对应的药品和药品的量进行服药，并将所述目标用户的服药数据同步至预设数据库，其中，所述服药数据包括所述目标用户的服药时间；若判断所述目标用户已完成服药，则根据预设紧急联系人触发智能语音电话系统。

可选地，在本发明第一方面的第一种实现方式中，在所述当所述智能药盒预设的图像采集范围内有目标对象进入时，采集所述目标对象的视频流，并获取所述视频流进中的视频图像之前，还包括：基于预设摄像设备实时采集视频图像，并对所述视频图像进行人脸识别；获取需要监控的目标用户的基准人脸图像和所述目标用户对应待服用药品的基准药品图像，其中，所述目标用户为一个或者多个。

可选地，在本发明第一方面的第二种实现方式中，在所述将所述视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算所述人脸图像和预设基准人脸图像之间的相似度之后，还包括：在所述相似度超过预设第一相似度阈值时，确定所述人脸图像与所述基准人脸图像相匹配；将所述视频图像输入预设药品识别模型，得到待服用药品的药品图像，并计算所述药品图像和预设基准药品图像之间的相似度；在所述相似度超过预设第二相似度阈值时，确定所述药品图像与所述基准药品图像相匹配。

可选地，在本发明第一方面的第三种实现方式中，所述从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果之后，还包括：根据所述视频图像构建训练样本图像，对所述训练样本图像进行标注，得到标注关键点；将所述训练样本图像输入到深度学习神经网络算法中，得到关键点热力图；将所述标注关键点以下采样的方式进行计算，得到所述训练样本图像的关键点；将所述标注关键点以下采样的方式，通过高斯滤波算法将所述训练样本图像的关键点分布到所述关键点热力图上。

可选地，在本发明第一方面的第四种实现方式中，在所述将所述标注关键点以下采样的方式，通过高斯滤波算法将所述训练样本图像的关键点分布到所述关键点热力图上之后，还包括：通过损失函数对所述训练样本图像的关键点和所述预测关键点进行修正，得到第一修正差值；设定初始化的偏置值，将所述初始化的偏置值通过L1损失函数进行训练，得到偏置值；当所述偏置值达到第一预设条件时，通过所述偏置值对所述预测关键点进行修正，得到修正后的预测关键点；当所述第一修正差值满足第二预设条件时，所述训练样本图像的关键点和所述预测关键点的修正完成，并且根据所述修正后的预测关键点得到所述人体姿态检测模型。

可选地，在本发明第一方面的第五种实现方式中，所述从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果包括：从所述当前视频流中获取包含有目标用户的多帧当前视频图像；将所述多帧当前视频图像输入到预置人体姿态检测模型中，得到多个预测关键点；将所述多个预测关键点输入到预设支持向量机中，得到分类结果；根据所述分类结果，确定所述目标用户的面部动作姿态；根据所述目标用户的面部动作姿态，得到所述目标用户的姿态识别结果。

可选地，在本发明第一方面的第六种实现方式中，所述基于所述姿态识别结果，确定所述目标用户是否正在服药或者准备服药包括：获取视频图像中目标用户的关键点位置和肢体之间夹角；根据关所述键点位置和所述肢体间夹角，确定所述目标用户是否正在服药或者准备服药。

本发明第二方面提供了一种智能服药提醒装置，包括：第一获取模块，用于当监控区域的预设图像采集范围内有目标对象进入时，采集所述目标对象的视频流，并获取所述视频流进中的视频图像，其中，所述目标对象包括目标用户和所述目标用户待服用的药品；第一计算模块，用于将所述视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算所述人脸图像和预设基准人脸图像之间的相似度；第一识别模块，用于从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果；第一确定模块，用于基于所述姿态识别结果，确定所述目标用户是否正在服药或者准备服药；同步模块，用于若判断所述目标用户已完成服药，将所述目标用户的服药数据同步至预设数据库，其中，所述服药数据包括所述目标用户的服药时间；。

可选地，在本发明第二方面的第一种实现方式中，所述智能服药提醒装置还包括：第二识别模块，用于基于预设摄像设备实时采集视频图像，并对所述视频图像进行人脸识别；第二获取模块，用于获取需要监控的目标用户的基准人脸图像和所述目标用户对应待服用药品的基准药品图像，其中，所述目标用户为一个或者多个。

可选地，在本发明第二方面的第二种实现方式中，所述智能服药提醒装置还包括：第二确定模块，用于在所述相似度超过预设第一相似度阈值时，确定所述人脸图像与所述基准人脸图像相匹配；第二计算模块，用于将所述视频图像输入预设药品识别模型，得到待服用药品的药品图像，并计算所述药品图像和预设基准药品图像之间的相似度；第三确定模块，用于在所述相似度超过预设第二相似度阈值时，确定所述药品图像与所述基准药品图像相匹配。

可选地，在本发明第二方面的第三种实现方式中，所述智能服药提醒装置还包括：标注模块，用于根据所述视频图像构建训练样本图像，对所述训练样本图像进行标注，得到标注关键点；输入模块，用于将所述训练样本图像输入到深度学习神经网络算法中，得到关键点热力图；第三计算模块，用于将所述标注关键点以下采样的方式进行计算，得到所述训练样本图像的关键点；分布模块，用于将所述标注关键点以下采样的方式，通过高斯滤波算法将所述训练样本图像的关键点分布到所述关键点热力图上。

可选地，在本发明第二方面的第四种实现方式中，所述智能服药提醒装置还包括：第一修正模块，用于通过损失函数对所述训练样本图像的关键点和所述预测关键点进行修正，得到第一修正差值；训练模块，用于设定初始化的偏置值，将所述初始化的偏置值通过L1损失函数进行训练，得到偏置值；第二修正模块，用于当所述偏置值达到第一预设条件时，通过所述偏置值对所述预测关键点进行修正，得到修正后的预测关键点；当所述第一修正差值满足第二预设条件时，所述训练样本图像的关键点和所述预测关键点的修正完成，并且根据所述修正后的预测关键点得到所述人体姿态检测模型。

可选地，在本发明第二方面的第五种实现方式中，所述第一识别模块包括：获取单元，用于从所述当前视频流中获取包含有目标用户的多帧当前视频图像；输入单元，用于将所述多帧当前视频图像输入到预置人体姿态检测模型中，得到多个预测关键点；将所述多个预测关键点输入到预设支持向量机中，得到分类结果；确定单元，用于根据所述分类结果，确定所述目标用户的面部动作姿态；根据所述目标用户的面部动作姿态，得到所述目标用户的姿态识别结果。

可选地，在本发明第二方面的第六种实现方式中，所述第一确定模块具体用于：获取视频图像中目标用户的关键点位置和肢体之间夹角；根据关所述键点位置和所述肢体间夹角，确定所述目标用户是否正在服药或者准备服药。

本发明第三方面提供了一种智能服药提醒设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述智能服药提醒设备执行上述的智能服药提醒方法的步骤。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的智能服药提醒方法的步骤。

本发明提供的技术方案中，通过当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频图像；将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；根据获取的当前视频流调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；基于姿态识别结果，确定目标用户是否正在服药或者准备服药；若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，并基于服药配置判断目标用户是否完成服药；若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并根据预设紧急联系人触发智能语音电话系统；若判断目标用户已完成服药，则将目标用户的服药数据同步至预设数据库应的药品和药品的量进行服药，并将目标用户的服药数据同步至预设数据库；若判断目标用户已完成服药，则根据预设紧急联系人触发智能语音电话系统。本方案通过对目标用户面部动作识别的识别，判断用户是否发生服药行为，帮助用户准确用药，提高了患者特别是老年患者的服药依从性。

附图说明

图1为本发明智能服药提醒方法的第一个实施例示意图；

图2为本发明智能服药提醒方法的第二个实施例示意图；

图3为本发明智能服药提醒方法的第三个实施例示意图；

图4为本发明智能服药提醒方法的第四个实施例示意图；

图5为本发明智能服药提醒方法的第五个实施例示意图；

图6为本发明智能服药提醒装置的第一个实施例示意图；

图7为本发明智能服药提醒装置的第二个实施例示意图；

图8为本发明智能服药提醒设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种智能服药提醒方法、装置、设备及存储介质，先当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频图像；将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；根据获取的当前视频流调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；基于姿态识别结果，确定目标用户是否正在服药或者准备服药；若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，并基于服药配置判断目标用户是否完成服药；若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并根据预设紧急联系人触发智能语音电话系统；若判断目标用户已完成服药，则将目标用户的服药数据同步至预设数据库应的药品和药品的量进行服药，并将目标用户的服药数据同步至预设数据库；若判断目标用户已完成服药，则根据预设紧急联系人触发智能语音电话系统。本方案通过对目标用户面部动作识别的识别，判断用户是否发生服药行为，帮助用户准确用药，提高了患者特别是老年患者的服药依从性。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中智能服药提醒方法的第一个实施例包括：

101、当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频流，并获取视频流进中的视频图像；

本实施例中，监控区域可以是整个家庭空间，预设图像采集范围可以是图像采集终端能够覆盖到的范围，例如以智能药盒为中心的一米内，甚至可以是更宽的范围。此处以被采集的目标对象通过厨房到客厅的门为例，当检测到预设图像采集范围内有被采集(具体可通过红外感应器感应的方式检测)时，启动设于厨房门处的分布式图像采集终端(摄像机、摄像头或抓拍机等)，采集含有被采集对象脸部或面部的图像信息，包括图像、视频等，并自动对采集到的图像或视频进行人脸跟踪，提取采集对象面部特征信息点之间的几何构成关系，这其中就包括眼睛、鼻子、嘴巴、额头等特征信息点。

102、将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；

本实施例中，电子设备在获得图像采集设备采集的视频流之后，对视频流中的图像进行提取，得到视频流中包含的视频图像。在得到视频图像之后，为了在一定程度上提高人员状态的检测结果的准确性，可以基于预设的人脸检测算法，从所获得的图像中，检测出人脸所在区域的图像，将该人脸所在区域的图像，从该所获得的图像截取出，得到包含目标用户面部的人脸图像。其中，该预设的人脸检测算法可以为：特征脸方法(Eigenface)以及基于神经网络模型的人脸检测算法，基于神经网络模型的人脸检测算法可以为：Faster R-CNN(Faster Region-ConvolutionalNeural Networks，快速的区域-卷积神经网络)检测算法，这都是可以的。本发明实施例并不对预设的人脸检测算法的具体类型进行限定。

本实施例中，可以计算采集的图像中识别到的人脸与基准人脸图像的相似度，并将相似度高于预设阈值的图像作为对应用户的图像，进一步整合目标用户的图像，得到目标用户的视频流，预设阈值可以进行自定义配置。

例如：可以采用欧式距离公式计算相似度，也可以采用余弦距离公式计算相似度，其中，欧氏距离计算的是空间中两个点的绝对距离，距离越小，特征越相似；余弦距离衡量的是空间中两个向量的夹角，夹角越靠近0，即距离越接近1，特征越相似。当然，在其他实施例中，还可以采用其他方式计算相似度，本发明不限制。

需要说明的是，根据整合的时长及时间，目标用户的视频流还可以包括实时构建的当前视频流(用于判断目标用户的实时数据，如实时姿态等)，以及用于规律性分析的指定时间段内的视频流(如夜间睡眠阶段的视频流、用户外出时间段内的视频流等)。

103、从视频流中获取与当前时间对应的预设时间段内的当前视频流，基于当前视频流，调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；

本实施例中，预先训练的人体姿态检测模型可以由设定数量组的训练样本为经应用于嵌入式平台的卷积神经网络训练生成，可应用于嵌入式平台的卷积神经网络即是轻量化卷积神经网络，人体姿态检测模型可以包括主路、第一支路、第二支路和第三支路；主路可以包括残差模块和上采样模块，第一支路可以包括提炼网络模块，第二支路可以包括反馈模块；残差模块可以包括第一残差单元、第二残差单元和第三残差单元。

本实施例中，从视频流中提取多帧视频图像，将当前帧视频图像数据作为输入变量输入至预先训练的人体姿态检测模型中，得到多张第一人体姿态参考图，并根据上一帧视频图像数据得到的多张人体姿态置信图，输出多张人体姿态参考图，其中，每张第一人体姿态参考图根据对应的上一帧视频图像数据得到的多张人体姿态置信图中的某张人体姿态置信图，输出当前帧视频图像数据的一张人体姿态参考图，上述的对应关系是基于关键点是否相同确定的。示例性的，如当前帧视频图像数据的某张第一人体姿态参考图针对的关键点是左肘，则其参考的是上一帧视频图像上数据中对应关键点是左肘的人体姿态置信图。

可以理解到，针对当前情况，上一帧视频图像数据的人体姿态置信图并未作为输入变量，同当前帧视频图像数据一起输入至预先训练的人体姿态检测模型中，而是在当前帧视频图像数据输入至预先训练的人体姿态检测模型，得到多张第一人体姿态参考图后，根据上一帧视频图像数据的多张人体姿态置信图，依次确定每张第一人体姿态参考图是否可信，如果可信，则可将该张第一人体姿态参考图作为该帧人体姿态参考图；如果不可信，则可将上一帧视频图像数据中对于该张的人体姿态置信图作为该帧人体姿态参考图，进一步地，得到目标用户的姿态识别结果。

104、基于姿态识别结果，确定目标用户的是否正在服药或者准备服药；

本实施例中，具体地，可以是从多个视频图像中取其中某个视频图像的拍摄信息，并根据该拍摄信息获取相对应的姿态识别算法对该视频图像中目标用户的面部动作识别，以确定该视频图像中目标用户的姿态类型，若该视频图像中目标用户的姿态是不合规姿态，则对该目标用户进行跟踪，并对所跟踪的其他多个视频图像采取相匹配的姿态识别算法进行目标用户的姿态识别，并确定其他视频图像中目标用户的姿态；若目标用户的不合规姿态持续时间大于预设时间，则确定目标用户的姿态类型为不合规姿态类型，否则继续进行持续的姿态检测，其中，不合规姿态持续时间等于目标用户被跟踪的帧数N*(1/帧率)。

姿态识别算法包括关键点检测算法和神经网络特征提取算法，拍摄信息包括拍摄角度；若拍摄角度符合预设角度，采用关键点检测算法进行目标用户的姿态识别，否则采用神经网络特征提取算法进行目标用户的姿态识别；需要说明的是，若姿态识别算法仅包括基于关键点检测的算法和基于神经网络特征提取的算法，则可以是判断各个视频图像中目标用户的拍摄角度是否符合预设角度，若是则采用基于关键点检测的算法对视频图像中的目标用户的面部动作识别，否则采用基于神经网络特征提取的算法对视频图像中的目标用户的面部动作识别。

105、若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，基于服药配置判断目标用户是否完成服药；

本实施例中，智能药盒的重量先重置为0，语音提示患者按次分好药品，并将一次量的药品靠近摄像头进行拍照存档(标记为D0)，而后语音助手提示用户先放入一次量的药品，获取1次量药品的重量(标记为W0)，再提醒患者全部放入，获取全部药品的总重量(标记为Wz)，并在面板上存储并展示每次用药的药品重量及药品照片，存入的药品总重量及可使用次数。基于相似度，查询目标用户在智能药盒中设定的服药配置，基于服药配置判断目标用户是否完成服药。其中，所述服药配置是指用药计划：根据服药监管APP语音指引，用户添加用药计划，包括药品名称、每次服用剂量、服用时间、提醒音乐选择、添加家属联系电话。提醒音乐可以是提醒服药的语音，为避免公共场所尴尬或保护个人隐私，也可选择特定音乐进行提醒。

106、若判断目标用户已完成服药，将目标用户的服药数据同步至预设数据库，其中，服药数据包括目标用户的服药时间；

本实施例中，用户在服药的时候会有一系列动作，包括肩部，肘部，手腕抬起喂药、嘴巴张开含药、头部抬起吞药，其中，喂药和吞药又是用户服药的标志性动作，因此，通过对目标用户的面部动作进行识别获取用户的肢体动作，根据用户的肢体动作可以判断所述用户在所述服药时间区间内是否存在服药行为。其中，从所述肢体动作中获取所述用户的抬臂动作和吞咽动作，并计算所述吞咽动作的吞咽完成度。由于一个吞咽动作是由一系列逻辑片段组成的，即：一个吞咽动作可以用一系列视频连续帧表达，而所述视频的每5个连续帧即为吞咽动作的一个逻辑片段，每个逻辑片段中的连续帧之间具有前后的逻辑关系，前后的关联越强，则表示所述动作的当前逻辑片段的置信度越高，每个逻辑片段置信度的累加，输出为整个吞咽动作的吞咽完成度。

所述逻辑片段的置信度，可以根据长短期记忆网络进行预测。本发明实施例采用长短期记忆网络对一系列吞咽动作的视频进行学习，以连续5帧作为一个逻辑片段，即第i帧时，取得i±2内的片段输入到长短期记忆网络进行预测，得到该逻辑片段的置信度confi，对每个逻辑片段的confi进行累加得到吞咽完成度Sw值。因此吞咽完成度Sw的计算公式为：Sw＝∑confi，其中confi表示单个逻辑片段的置信度。

为了方便吞咽药片，用户在吞咽药片时通常会抬头来辅助吞咽，而用户在抬头时，其面部会呈一定的角度，因此，面部角度的合理度也是用户服药的重要肢体特征。具体的，可通过深度学习框架多任务卷积神经网络进行人脸识别和肢体关键点检测，可以获得肩部，肘部，手腕，面部五官等坐标。根据这些关键点的坐标，能够估算出用户吞咽时面部的抬头/低头角度θ，预设的吞咽时的面部角度合理范围在[a,b]之间，当角度落在合理范围内时，则表明用户完成了服药；当角度偏离合理范围时，则表明目标用户没有完成服药。

进一步地，确认服药人身份及服药动作的确实完成，同时记录服药时间，通过语音与用户确认以上服药信息，确认后更新到预设数据库中。

107、若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并则根据预设紧急联系人触发智能语音电话系统。

本实施例中，确认服药人身份及服药动作的确实完成，同时记录服药时间，通过语音与用户确认以上服药信息，确认后更新到APP中；用户超过服药时间30分钟，APP通过家属联系人电话自动拨打语音电话给家属，让家属电话督促用户服药。

本发明实施例中，通过采集目标对象的视频流，并获取视频流进中的视频图像；将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；从视频流中获取与当前时间对应的预设时间段内的当前视频流，基于当前视频流，调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；基于相似度和姿态识别结果，确定目标用户是否完成服药；若是，则通过预置语音提示系统完成服药信息的确认，并将目标用户的服药数据同步至预设数据库。区别于现有的用户服药行为的监督方法，本发明通过APP语音及时提醒用户服药并对用户是否发生服药行为进行准确判断，从而帮助用户准确用药降低老年患者忘记吃药或吃错药的风险，提高了患者特别是老年患者的服药依从性。

请参阅图2，本发明实施例中智能服药提醒方法的第二个实施例包括：

201、基于预设摄像设备实时采集视频图像，并对视频图像进行人脸识别；

本实施例中，采集服药环境下的视频图像，构建人体姿态检测模型，将视频图像作为输入，输入到人体姿态检测模型中，输出得到多个预测关键点，将多个预测关键点作为输入，输入到支持向量机中进行分类，得到分类结果，根据分类结果进行人体姿态估计，确定目标对象为服药状态或未服药，其中，目标对象包括但不限于目标用户人员。

其中，多个视频图像是通过采集设备获取，采集设备不限于单目相机或者双目相机，所采集的视频图像不限于原始图像和深度图像，对经过采集设备所获取到的视频图像先进行目标用户检测，在视频图像中检测到目标用户的情况下，获取目标用户的拍摄信息，其中，拍摄信息可以包括目标用户的拍摄角度以及目标用户的拍摄范围，目标用户的拍摄范围可以理解为目标用户出现在视频图像中的部位。

202、获取需要监控的目标用户的基准人脸图像和目标用户对应待服用药品的基准药品图像，其中，目标用户为一个或者多个。

本实施例中，所述基准人脸图像是指需要监控的所述目标用户的标准图像，以所述基准人脸图像为标准进行匹配，即可确定采集的图像中是否包括所述目标用户。其中，所述需要监控的所述目标用户可以进行自定义配置，例如：家里需要服药的老人、儿童等。

203、当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频流，并获取视频流进中的视频图像；

204、将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；

205、在相似度超过预设第一相似度阈值时，确定人脸图像与基准人脸图像相匹配；

本实施例中，将所检测到的人脸图像与人脸底库中的目标人脸图像进行对比，以判断所检测到的人脸图像与人脸底库中的目标人脸图像是否匹配，例如，在一个示例中，在监控图像中检测到的人脸图像与人脸图像底库中的目标人脸图像的相似度超过预定的相似度阈值的情况下，确定检测到的人脸图像与目标人脸图像相匹配，并将该和目标人脸图像相匹配的人脸图像定义为目标人脸图像。例如，预定的相似度阈值可以为90％，即，当图像中的人脸图像与人脸图像底库中的基准人脸图像的相似度超过90％时，则可以确定该人脸图像与基准人脸图像相匹配，该和基准人脸图像相匹配的人脸图像为目标人脸图像。

又例如，可以设置多个不同的预定相似度阈值。例如，可以设置三个预定的相似度阈值，且其分别为80％、90％以及95％，后台用户可以根据需要自行选择不同的相似度阈值。

206、将视频图像输入预设药品识别模型，得到待服用药品的药品图像，并计算药品图像和预设基准药品图像之间的相似度；

本实施例中，电子设备在获得图像采集设备采集的视频流之后，对视频流中的图像进行提取，得到视频流中包含的视频图像。在得到视频图像之后，为了在一定程度上提高药品检测结果的准确性，可以基于预设的药品检测算法，从所获得的图像中，检测出药品所在区域的图像，将该药品所在区域的图像，从该所获得的图像截取出，得到包含药品的药品图像。其中，该预设的药品检测算法可以为：基于神经网络模型的药品检测算法，基于神经网络模型的药品检测算法可以为：Faster R-CNN(Faster Region-ConvolutionalNeuralNetworks，快速的区域-卷积神经网络)检测算法，这都是可以的。本发明实施例并不对预设的药品检测算法的具体类型进行限定。

207、在相似度超过预设第二相似度阈值时，确定药品图像与基准药品图像相匹配；

将所检测到的药品图像与药品底库中的目标药品图像进行对比，以判断所检测到的药品图像与药品底库中的目标药品图像是否匹配，例如，在一个示例中，在监控图像中检测到的药品图像与药品图像底库中的目标药品图像的相似度超过预定的相似度阈值的情况下，确定检测到的药品图像与目标药品图像相匹配，并将该和目标药品图像相匹配的药品图像定义为目标药品图像。例如，预定的相似度阈值可以为90％，即，当图像中的药品图像与药品图像底库中的基准药品图像的相似度超过90％时，则可以确定该药品图像与基准药品图像相匹配，该和基准药品图像相匹配的药品图像为目标药品图像。

又例如，可以设置多个不同的预定相似度阈值。例如，可以设置三个预定的相似度阈值，且其分别为80％、90％以及95％，后台用户可以根据需要自行选择不同的相似度阈值。

208、从视频流中获取与当前时间对应的预设时间段内的当前视频流，基于当前视频流，调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；

209、基于姿态识别结果，确定目标用户是否正在服药或者准备服药；

210、若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，基于服药配置判断目标用户是否完成服药；

211、若判断目标用户已完成服药，将目标用户的服药数据同步至预设数据库，其中，服药数据包括目标用户的服药时间；

212、若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并则根据预设紧急联系人触发智能语音电话系统。

本实施例中步骤203-204、208-213与第一实施例中的步骤101-102、103-107类似，此处不再赘述。

本发明实施例中，通过当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频图像；将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；根据获取的当前视频流调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；基于姿态识别结果，确定目标用户是否正在服药或者准备服药；若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，并基于服药配置判断目标用户是否完成服药；若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并根据预设紧急联系人触发智能语音电话系统；若判断目标用户已完成服药，则将目标用户的服药数据同步至预设数据库应的药品和药品的量进行服药，并将目标用户的服药数据同步至预设数据库；若判断目标用户已完成服药，则根据预设紧急联系人触发智能语音电话系统。本方案通过对目标用户面部动作识别的识别，判断用户是否发生服药行为，帮助用户准确用药，提高了患者特别是老年患者的服药依从性。

请参阅图3，本发明实施例中智能服药提醒方法的第三个实施例包括：

301、当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频流，并获取视频流进中的视频图像；

302、将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；

303、从视频流中获取与当前时间对应的预设时间段内的当前视频流，基于当前视频流，调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；

304、根据视频图像构建训练样本图像，对训练样本图像进行标注，得到标注关键点；

本实施例中，将收集到的视频流中包含人脸的视频图像作为训练样本图像，构建训练样本集。其中，标注又叫图像标注，待标注图像为对人体姿态检测模型进行训练时所需要的样本图像，而在人体姿态检测模型训练过程中，还需要样本图像的标注数据，作为人体姿态检测模型的训练金标准(也可理解为学习目标)。可选地，上述人体姿态检测模型可以为V-Net模型、U-Net模型，也可以为其他神经网络模型。

具体地，确定图像标注因子，其中，图像标注因子包括待标注图像，以及与待标注图像相匹配的标注元素。

其中，图像标注因子可以是图像标注场景中的操作对象，可以包括但不限于待标注图像，以及与待标注图像相匹配的标注元素。其中，待标注图像也即需要进行标注的图像。标注元素可以用于对待标注图像进行标注，标注元素的数量可以是一个或多个，本申请实施例并不对标注元素的数量进行限定。在本申请的一个可选实施例中，标注元素可以包括但不限于框元素、分割框元素、点元素、线元素、区域元素以及立方体元素等。除此之外，标注元素的类型还可以根据实际需求进行扩展，如平行四边形、六边形或梯形等，本申请实施例同样不对标注元素的具体类型进行限定。多元化的标注元素可以满足多种图像标注场景的不同标注需求，包括但不限于人脸关键点需求、人体骨骼点需求、自动泊车类需求、自动驾驶类需求以及语义标注需求等。其中，图像标注工具可以设置多种类型的标注元素，如框元素、分割框元素、点元素、线元素、区域元素以及立方体元素等。另外，根据标注场景的标注需求，图像标注工具中的标注元素还可以扩充。相应的，在利用包括多种标注元素的图像标注工具进行图像标注时，首先需要利用图像标注工具确定图像标注因子。也即确定待标注图像，以及与待标注图像相匹配的标注元素。

进一步地，构建图像标注因子之间的关联关系。确定了图像标注因子之间的关联关系之后，即可根据标注元素以及关联关系对待标注图像进行标注。由于标注元素可以是多种不同类型的标注元素，如框元素、点元素及线元素等，也即多种不同类型的标注元素可以同时对待标注图像进行标注。

305、将训练样本图像输入到深度学习神经网络算法中，得到关键点热力图；

本实施例中，将视频图像设定为I，其中，I∈RW×H×3，W为宽度，H为高度，采用深度学习神经网络算法来预测视频图像I，得到关键点热力图其中，R为下采样因子，设定为4；C为预设关键点的类型数，设定为17。深度学习神经网络算法包括DLA(DeepLayerAggregation)全卷积encoder-decoder网络。

306、将标注关键点以下采样的方式进行计算，得到训练样本图像的关键点；

本实施例中，当训练关键点预测网络时，对视频图像进行标注，得到标注关键点GT(Ground Truth)，标注关键点的位置为P∈R2，将标注关键点以下采样的方式进行计算，得到训练图像的关键点此处是将视频图像上的标注关键点GT进行下采样处理(低分辨率处理)，从而得到128*128的训练样本图像。

当该视频图像中目标用户的被拍摄角度不是正面角度的情况下，采用基于神经网络特征提取的算法进行目标用户的姿态识别，具体地，将带有目标用户的目标框的视频图像输入到训练好的FCN网络中进行分割得到目标用户的轮廓图像，FCN网络的全称为FullyConvolutional Networks for Semantic Segmentation，是深度学习应用在图像分割的一种方法；进一步地，将通过分割得到的目标用户的轮廓图像输入到训练好的轻量化的第一卷积模型进行特征提取，得到轮廓图像的的边缘信息特征向量；根据目标用户的目标框在视频图像中的位置，找出目标用户的目标框在对应深度图像中的位置，以确定目标用户的目标框对应的深度图像；进一步地，对深度图像中的目标用户进行关键点检测，得到基于深度图像的关键点位置信息。

307、将标注关键点以下采样的方式，通过高斯滤波算法将训练样本图像的关键点分布到关键点热力图上；

本实施例中，在训练图像中，将标注关键点GT以下采样的方式，通过高斯滤波算法，将训练图像的关键点分布到热力图上。

308、通过损失函数对训练样本图像的关键点和预测关键点进行修正，得到第一修正差值；

本实施例中，通过损失函数对训练图像的关键点和预测关键点进行修正，得到第一修正差值。第二预设条件为：设定训练次数，如果第一修正差值在训练次数内趋于稳定，则对训练图像的关键点和预测关键点修正完成。

309、设定初始化的偏置值，将初始化的偏置值通过L1损失函数进行训练，得到偏置值；

本实施例中，由于对视频图像采用了下采样的方法，这样会存在一定的误差，故设置偏置值，通过偏置值对预测关键点进行补偿。

310、当偏置值达到第一预设条件时，通过偏置值对预测关键点进行修正，得到修正后的预测关键点；

本实施例中，设定初始化的偏置值，将初始化的偏置值通过L1损失函数进行训练，得到偏置值。第一预设条件为：设定修正次数，当偏置值在修正次数内趋于稳定，则说明偏置值达到精准要求，此时，利用偏置值对预测关键点进行修正，得到修正后的预测关键点。

311、第一修正差值满足第二预设条件时，训练样本图像的关键点和预测关键点的修正完成，并且根据修正后的预测关键点得到人体姿态检测模型；

本实施例中，本实施例中，根据中心点进行预测关键点检测，令中心点的姿态是k×2维的(k为每个人体预测关键点的数量)，然后将每个预测关键点(关节点对应的点)进行参数化，得到每个预测关键点相对于中心点的偏移，再通过L1损失函数直接回归出每个预测关键点的偏移(像素单位)

为了完善预测关键点，采用自下而上(bottom-up)多人姿态估计算法，进一步估计k个人体关键点热力图找到关键点热力图上最近的初始预测值，然后将预测关键点的偏移作为线索，为每个预测关键点分配最近的人。令为检测到的中心点，回归得到关键点为forj∈1...k；通过关键点热力图得到预测关键点。

本实施例中，可以直接对第一损失函数以及第二损失函数进行整合，形成拟合损失函数，优选的，本实施例可以采用的整合方式为将拟合损失函数确定为第一损失函数与第二损失函数之和。

在神经网络模型的训练过程中，反向传播方法可以使网络权值(又称滤波器)不断更新调整，直至网络的输出与目标趋于一致，是一种有效计算梯度的方法。本发明实施例中，在确定了当前迭代下对应的拟合损失函数后，利用该拟合损失函数对当前所采用的姿态检测网络模型进行反向传播，就可以得到网络权值调整后的姿态检测网络模型，而该调整后的姿态检测网络模型可用于下一迭代中模型的训练。本发明实施例对具体的反向传播过程不做限定，可根据具体情况进行设置。

312、基于姿态识别结果，确定目标用户是否正在服药或者准备服药；

313、若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，基于服药配置判断目标用户是否完成服药；

314、若判断目标用户已完成服药，将目标用户的服药数据同步至预设数据库，其中，服药数据包括目标用户的服药时间；

315、若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并则根据预设紧急联系人触发智能语音电话系统。

本实施例中步骤301-303、312-315与第一实施例中的步骤101-107类似，此处不再赘述。

本发明实施例中，通过当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频图像；将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；根据获取的当前视频流调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；基于姿态识别结果，确定目标用户是否正在服药或者准备服药；若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，并基于服药配置判断目标用户是否完成服药；若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并根据预设紧急联系人触发智能语音电话系统；若判断目标用户已完成服药，则将目标用户的服药数据同步至预设数据库应的药品和药品的量进行服药，并将目标用户的服药数据同步至预设数据库；若判断目标用户已完成服药，则根据预设紧急联系人触发智能语音电话系统。本方案通过对目标用户面部动作识别的识别，判断用户是否发生服药行为，帮助用户准确用药，提高了患者特别是老年患者的服药依从性。

请参阅图4，本发明实施例中智能服药提醒方法的第四个实施例包括：

401、当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频流，并获取视频流进中的视频图像；

402、将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；

403、从当前视频流中获取包含有目标用户的多帧当前视频图像；

本实施例中，视频可以理解为是由至少一视频图像数据组成的，因此，为了对视频中的目标用户的面部动作进行识别，可以将视频划分为一帧一帧的图像数据，分别对每帧包含目标用户上半身的图像数据进行分析。这里多视频图像数据表示的是同一视频中的图像数据，换句话说，该视频包括多视频图像数据。可以按照时间顺序对多视频图像数据进行命名。示例性的，如视频包括N视频图像数据，N≥1，此时，按照时间顺序可将上述N视频图像数据称为：第一视频图像数据、第二视频图像数据、…、第N-1视频图像数据以及第N视频图像数据。

404、将多帧当前视频图像输入到预置人体姿态检测模型中，得到多个预测关键点；

本实施例中，将当前视频图像数据输入至预先训练的人体姿态检测模型中，以参考上一视频图像数据的人体姿态置信图，输出多张人体姿态参考图，人体姿态检测模型为经应用于嵌入式平台的卷积神经网络训练生成。其中，人体姿态置信图可以指包括人体姿态关键点的图像，或者，人体姿态置信图可以理解为是基于人体姿态关键点所生成的图像，如以人体姿态关键点为中心生成的图像。这里的人体姿态关键点可以指前文的头部、脖子、左肩、右肩、左肘、右肘、左手腕、右手腕等。人体姿态参考图可以包括两方面的内容，即可能作为人体姿态关键点的各个点的位置信息以及该位置信息对应的概率值，其中，可将可能作为人体姿态关键点的点称为候选点，相应的，人体姿态参考图可以包括各个候选点的位置信息以及该位置信息对应的概率值，即每个候选点对应一个概率值，位置信息可以以坐标形式表示。同时，可以根据各个候选点的位置信息对应的概率值确定将哪个候选点作为人体姿态关键点。

如选择各个候选点的位置信息对应的概率值中最大概率值对应的候选点作为人体姿态关键点。某人体姿态参考图中包括候选点A的位置信息(xA，yA)以及对应的概率值PA；候选点B的位置信息(xB，yB)以及对应的概率值PB；候选点C的位置信息(xC，yC)以及对应的概率值PC，其中，PA＜PB＜PC，基于上述，确定将候选点C作为人体姿态关键点。

需要说明的是，每张人体姿态置信图对应一个人体姿态关键点，每张人体姿态参考图包括多个候选点，候选点是针对某个关键点的候选点，如某张人体姿态参考图包括多个候选点，候选点是针对左肘的候选点。再如某张人体姿态参考图也包括多个候选点，候选点是针对左膝的候选点。基于上述，可以理解到，针对某帧视频图像数据，需要从该帧视频图像数据中确定N个关键点，则对应存在N张人体姿态参考图以及N张人体姿态置信图。

405、将多个预测关键点输入到预设支持向量机中，得到分类结果；

本实施例中，首先对支持向量机分类器进行训练，在对预测的目标用户的关键点进行分类，得到分类结果。其中，对姿态检测库MPII中的图像进行预处理，包括水平镜像翻转、尺寸缩放、旋转，扩充原始单人姿态数据；在收集到的真实服药图像中手工标记出人体运动链模型中的14个关键点的坐标位置，将其加入到MPII数据库中。将MPII数据库按照4：1的方式分成训练集和测试集；将人体看作成一个由关节连接起来的铰链式物体，基于人体运动链模型；提取表征人体服药状态的4个特征参数；使用LIB支持向量机，建立支持向量机分类器，将提取到的人体服药状态的4个特征参数作为支持向量机的输入，训练集中图像的服药状态，(1表示服药，0表是未服药)作为支持向量机的输出，训练支持向量机分类器。其中，训练时的参数设置为：SVM的核函数采用径向基函数；径向基函数的参数σ取值为0.5。

406、根据分类结果，确定目标用户的面部动作姿态；

本实施例中，根据目标用户的抬臂动作和吞咽动作，计算用户的肩部，肘部，手腕与面部交互的匹配度。用户在服药时，出现吞咽动作时，其面部角度会发生变化，在面部角度变化的过程中，肩部，肘部，手腕的摆动会随着面部角度的变化而变化。把用户面部(面部五官)坐标的变化过程看做一个向量，把和肩部，肘部，手腕坐标的变化过程看做另一个向量，肩部，肘部，手腕与面部交互的匹配度Hd，即可看做是两个向量的内积。Hd值越大，匹配程度越高。肩部，肘部，手腕与面部交互的匹配度的计算公式为：

其中，pointface为面部的特征点的坐标，为预设的面部的特征点的坐标平均值，pointhand为肩部，肘部，手腕的特征点的坐标，为预设的肩部，肘部，手腕的特征点的坐标平均值。预设的面部的特征点的坐标平均值以及预设的肩部，肘部，手腕的特征点的坐标平均值均需要后期经过多种实验进行优化。

通过多任务卷积神经网络获得面部的特征点的坐标以及肩部，肘部，手腕的特征点的坐标，然后根据预设的面部的特征点的坐标平均值以及预设的肩部，肘部，手腕的特征点的坐标平均值即可计算获得用户服药时肩部，肘部，手腕与面部交互的匹配度，得到面部识别结果。

407、根据目标用户的面部动作姿态，得到目标用户的姿态识别结果；

本实施例中，根据所述目标用户的面部动作姿态，得到所述目标用户的姿态识别结果。通过多任务卷积神经网络获得面部的关键点的坐标以及肩部，肘部，手腕的特征点的坐标，然后根据预设的面部的特征点的坐标平均值以及预设的肩部，肘部，手腕的特征点的坐标平均值即可计算获得用户服药时肩部，肘部，手腕与面部交互的匹配度，得到面部识别结果。

408、基于姿态识别结果，确定目标用户是否正在服药或者准备服药；

409、若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，基于服药配置判断目标用户是否完成服药；

410、若判断目标用户已完成服药，将目标用户的服药数据同步至预设数据库，其中，服药数据包括目标用户的服药时间；

411、若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并则根据预设紧急联系人触发智能语音电话系统。

本实施例中步骤401-402、408-411与第一实施例中的步骤101-102、104-107类似，此处不再赘述。

在本发明实施例中，通过当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频图像；将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；根据获取的当前视频流调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；基于姿态识别结果，确定目标用户是否正在服药或者准备服药；若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，并基于服药配置判断目标用户是否完成服药；若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并根据预设紧急联系人触发智能语音电话系统；若判断目标用户已完成服药，则将目标用户的服药数据同步至预设数据库应的药品和药品的量进行服药，并将目标用户的服药数据同步至预设数据库；若判断目标用户已完成服药，则根据预设紧急联系人触发智能语音电话系统。本方案通过对目标用户面部动作识别的识别，判断用户是否发生服药行为，帮助用户准确用药，提高了患者特别是老年患者的服药依从性。

请参阅图5，本发明实施例中智能服药提醒方法的第五个实施例包括：

501、当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频流，并获取视频流进中的视频图像；

502、将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；

503、从视频流中获取与当前时间对应的预设时间段内的当前视频流，基于当前视频流，调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；

504、获取视频图像中目标用户的关键点位置和肢体之间夹角；

本实施例中，需要说明的是，当视频图像中目标用户的拍摄角度为正面或者近似正面时，通过基于关键点的检测算法进行识别目标用户的姿态，且目标用户的拍摄角度是指目标用户的被拍摄角度；人体主要的关键点位置，包括有左右耳、左右肩、左右肘、左右手腕也就是除头部关键点以外，其余关键点均分布在人体上半身各个关节处，因此可以根据关键点的位置信息，肢体之间夹角进行逻辑判断，从而对视频图像中的目标用户的面部动作进行识别，判断目标用户是否完成服药动作。

505、根据关键点位置和肢体间夹角，确定目标用户的是否正在服药或者准备服药；

本实施例中，具体地，姿态判断均以人体右侧为例，左侧计算方法同理，其中，自上而下统一定义坐标值符号为：肩部(x1，y1)、肘部(x2，y2)、右手腕(x3，y3)、左手腕(x3_1，y3_1)。其中，对服药动作的判断方法，通过肩部，肘部，手腕三个关键点坐标，计算手部与面部的夹角α，当夹角α<30°时则判断为目标用户正在服药或者已经完成了服药动作。

506、若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，基于服药配置判断目标用户是否完成服药；

507、若判断目标用户已完成服药，将目标用户的服药数据同步至预设数据库，其中，服药数据包括目标用户的服药时间；

508、若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并则根据预设紧急联系人触发智能语音电话系统。

本实施例中步骤501-503、506-507与第一实施例中的步骤101-103、105-107类似，此处不再赘述。

本发明实施例中，通过当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频图像；将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；根据获取的当前视频流调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；基于姿态识别结果，确定目标用户是否正在服药或者准备服药；若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，并基于服药配置判断目标用户是否完成服药；若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并根据预设紧急联系人触发智能语音电话系统；若判断目标用户已完成服药，则将目标用户的服药数据同步至预设数据库应的药品和药品的量进行服药，并将目标用户的服药数据同步至预设数据库；若判断目标用户已完成服药，则根据预设紧急联系人触发智能语音电话系统。本方案通过对目标用户面部动作识别的识别，判断用户是否发生服药行为，帮助用户准确用药，提高了患者特别是老年患者的服药依从性。

上面对本发明实施例中智能服药提醒方法进行了描述，下面对本发明实施例中智能服药提醒装置进行描述，请参阅图6，本发明实施例中智能服药提醒装置的第一个实施例包括：

第一获取模块601，用于当智能药盒预设的图像采集范围内有目标对象进入时，采集所述目标对象的视频流，并获取所述视频流进中的视频图像，其中，所述目标对象包括目标用户和所述目标用户待服用的药品；

第一计算模块602，用于将所述视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算所述人脸图像和预设基准人脸图像之间的相似度；

第一识别模块603，用于从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果；

第一确定模块604，用于基于所述姿态识别结果，确定所述目标用户是否正在服药或者准备服药；

查询模块605，用于若是，则基于所述相似度，查询所述目标用户在所述智能药盒中设定的服药配置，基于所述服药配置判断所述目标用户是否完成服药；

同步模块606，用于若判断所述目标用户已完成服药，将所述目标用户的服药数据同步至预设数据库，其中，所述服药数据包括所述目标用户的服药时间；

提示模块607，用于若判断所述目标用户未完成服药，则通过预置语音提示系统按照所述服药配置提示所述目标用户选择对应的药品和药品的量进行服药，并则根据预设紧急联系人触发智能语音电话系统。

本发明实施例中，通过当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频图像；将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；根据获取的当前视频流调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；基于姿态识别结果，确定目标用户是否正在服药或者准备服药；若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，并基于服药配置判断目标用户是否完成服药；若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并根据预设紧急联系人触发智能语音电话系统；若判断目标用户已完成服药，则将目标用户的服药数据同步至预设数据库应的药品和药品的量进行服药，并将目标用户的服药数据同步至预设数据库；若判断目标用户已完成服药，则根据预设紧急联系人触发智能语音电话系统。本方案通过对目标用户面部动作识别的识别，判断用户是否发生服药行为，帮助用户准确用药，提高了患者特别是老年患者的服药依从性。

请参阅图7，本发明实施例中智能服药提醒装置的第二个实施例，该智能服药提醒装置具体包括：

第一获取模块601，用于当所述智能药盒预设的图像采集范围内有目标对象进入时，采集所述目标对象的视频流，并获取所述视频流进中的视频图像，其中，所述目标对象包括目标用户和所述目标用户待服用的药品；

第一计算模块602，用于将所述视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算所述人脸图像和预设基准人脸图像之间的相似度；

第一识别模块603，用于从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果；

第一确定模块604，用于基于所述姿态识别结果，确定所述目标用户是否正在服药或者准备服药；

查询模块605，用于若是，则基于所述相似度，查询所述目标用户在所述智能药盒中设定的服药配置，基于所述服药配置判断所述目标用户是否完成服药；

同步模块606，用于若判断所述目标用户已完成服药，将所述目标用户的服药数据同步至预设数据库，其中，所述服药数据包括所述目标用户的服药时间；

提示模块607，用于若判断所述目标用户未完成服药，则通过预置语音提示系统按照所述服药配置提示所述目标用户选择对应的药品和药品的量进行服药，并则根据预设紧急联系人触发智能语音电话系统。

在本实施例中，所述智能服药提醒装置还包括：

第二识别模块608，用于基于预设摄像设备实时采集视频图像，并对所述视频图像进行人脸识别；

第二获取模块609，用于获取需要监控的目标用户的基准人脸图像和所述目标用户对应待服用药品的基准药品图像，其中，所述目标用户为一个或者多个。

在本实施例中，所述智能服药提醒装置还包括：

第二确定模块610，用于在所述相似度超过预设第一相似度阈值时，确定所述人脸图像与所述基准人脸图像相匹配；

第二计算模块611，用于将所述视频图像输入预设药品识别模型，得到待服用药品的药品图像，并计算所述药品图像和预设基准药品图像之间的相似度；

第三确定模块612，用于在所述相似度超过预设第二相似度阈值时，确定所述药品图像与所述基准药品图像相匹配。

在本实施例中，智能服药提醒装置还包括：

标注模块613，用于根据所述视频图像构建训练样本图像，对所述训练样本图像进行标注，得到标注关键点；

输入模块614，用于将所述训练样本图像输入到深度学习神经网络算法中，得到关键点热力图；

第三计算模块615，用于将所述标注关键点以下采样的方式进行计算，得到所述训练样本图像的关键点；

分布模块616，用于将所述标注关键点以下采样的方式，通过高斯滤波算法将所述训练样本图像的关键点分布到所述关键点热力图上。

在本实施例中，所述智能服药提醒装置还包括：

第一修正模块617，用于通过损失函数对所述训练样本图像的关键点和所述预测关键点进行修正，得到第一修正差值；

训练模块618，用于设定初始化的偏置值，将所述初始化的偏置值通过L1损失函数进行训练，得到偏置值；

第二修正模块619，用于当所述偏置值达到第一预设条件时，通过所述偏置值对所述预测关键点进行修正，得到修正后的预测关键点；当所述第一修正差值满足第二预设条件时，所述训练样本图像的关键点和所述预测关键点的修正完成，并且根据所述修正后的预测关键点得到所述人体姿态检测模型。

本实施例中，所述第一识别模块603包括：

获取单元6031，用于从所述当前视频流中获取包含有目标用户的多帧当前视频图像；

输入单元6032，用于将所述多帧当前视频图像输入到预置人体姿态检测模型中，得到多个预测关键点；将所述多个预测关键点输入到预设支持向量机中，得到分类结果；

确定单元6033，用于根据所述分类结果，确定所述目标用户的面部动作姿态；根据所述目标用户的面部动作姿态，得到所述目标用户的姿态识别结果。

本实施例中，所述第一确定模块604具体用于：获取视频图像中目标用户的关键点位置和肢体之间夹角；根据关所述键点位置和所述肢体间夹角，确定所述目标用户是否正在服药或者准备服药。

本发明实施例中，通过当智能药盒预设的图像采集范围内有目标对象进入时，采集目标对象的视频图像；将视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算人脸图像和预设基准人脸图像之间的相似度；根据获取的当前视频流调用预置人体姿态检测模型对目标用户进行手部动作的识别，得到目标用户的姿态识别结果；基于姿态识别结果，确定目标用户是否正在服药或者准备服药；若是，则基于相似度，查询目标用户在智能药盒中设定的服药配置，并基于服药配置判断目标用户是否完成服药；若判断目标用户未完成服药，则通过预置语音提示系统按照服药配置提示目标用户选择对应的药品和药品的量进行服药，并根据预设紧急联系人触发智能语音电话系统；若判断目标用户已完成服药，则将目标用户的服药数据同步至预设数据库应的药品和药品的量进行服药，并根据预设紧急联系人触发智能语音电话系统；若判断目标用户已完成服药，则将目标用户的服药数据同步至预设数据库。本方案通过对目标用户面部动作识别的识别，判断用户是否发生服药行为，帮助用户准确用药，提高了患者特别是老年患者的服药依从性。

上面图6和图7从模块化功能实体的角度对本发明实施例中的智能服药提醒装置进行详细描述，下面从硬件处理的角度对本发明实施例中智能服药提醒设备进行详细描述。

图8是本发明实施例提供的一种智能服药提醒设备的结构示意图，该智能服药提醒设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对智能服药提醒设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在智能服药提醒设备800上执行存储介质830中的一系列指令操作，以实现上述各方法实施例提供的智能服药提醒方法的步骤。

智能服药提醒设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的智能服药提醒设备结构并不构成对本申请提供的智能服药提醒设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述智能服药提醒方法的步骤。

所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种服药提醒方法，应用于智能药盒，其特征在于，所述智能服药提醒方法包括：

当所述智能药盒预设的图像采集范围内有目标对象进入时，采集所述目标对象的视频流，并获取所述视频流进中的视频图像，其中，所述目标对象包括目标用户和所述目标用户待服用的药品；

将所述视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算所述人脸图像和预设基准人脸图像之间的相似度；

从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果；

基于所述姿态识别结果，确定所述目标用户是否正在服药或者准备服药；

若是，则基于所述相似度，查询所述目标用户在所述智能药盒中设定的服药配置，基于所述服药配置判断所述目标用户是否完成服药；

若判断所述目标用户已完成服药，将所述目标用户的服药数据同步至预设数据库，其中，所述服药数据包括所述目标用户的服药时间；

若判断所述目标用户未完成服药，则通过预置语音提示系统按照所述服药配置提示所述目标用户选择对应的药品和药品的量进行服药，并则根据预设紧急联系人触发智能语音电话系统。

2.根据权利要求1所述的智能服药提醒方法，其特征在于，在所述当所述智能药盒预设的图像采集范围内有目标对象进入时，采集所述目标对象的视频流，并获取所述视频流进中的视频图像之前，还包括：

基于预设摄像设备实时采集视频图像，并对所述视频图像进行人脸识别；

获取需要监控的目标用户的基准人脸图像和所述目标用户对应待服用药品的基准药品图像，其中，所述目标用户为一个或者多个。

3.根据权利要求2所述的智能服药提醒方法，其特征在于，在所述将所述视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算所述人脸图像和预设基准人脸图像之间的相似度之后，还包括：

在所述相似度超过预设第一相似度阈值时，确定所述人脸图像与所述基准人脸图像相匹配；

将所述视频图像输入预设药品识别模型，得到待服用药品的药品图像，并计算所述药品图像和预设基准药品图像之间的相似度；

在所述相似度超过预设第二相似度阈值时，确定所述药品图像与所述基准药品图像相匹配。

4.根据权利要求1所述的智能服药提醒方法，其特征在于，所述从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果之后，还包括：

根据所述视频图像构建训练样本图像，对所述训练样本图像进行标注，得到标注关键点；

将所述训练样本图像输入到深度学习神经网络算法中，得到关键点热力图；

将所述标注关键点以下采样的方式进行计算，得到所述训练样本图像的关键点；

将所述标注关键点以下采样的方式，通过高斯滤波算法将所述训练样本图像的关键点分布到所述关键点热力图上。

5.根据权利要求4所述的智能服药提醒方法，其特征在于，在所述将所述标注关键点以下采样的方式，通过高斯滤波算法将所述训练样本图像的关键点分布到所述关键点热力图上之后，还包括：

通过损失函数对所述训练样本图像的关键点和所述预测关键点进行修正，得到第一修正差值；

设定初始化的偏置值，将所述初始化的偏置值通过L1损失函数进行训练，得到偏置值；

当所述偏置值达到第一预设条件时，通过所述偏置值对所述预测关键点进行修正，得到修正后的预测关键点；

当所述第一修正差值满足第二预设条件时，所述训练样本图像的关键点和所述预测关键点的修正完成，并且根据所述修正后的预测关键点得到所述人体姿态检测模型。

6.根据权利要求1所述的智能服药提醒方法，其特征在于，所述从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果包括：

从所述当前视频流中获取包含有目标用户的多帧当前视频图像；

将所述多帧当前视频图像输入到预置人体姿态检测模型中，得到多个预测关键点；

将所述多个预测关键点输入到预设支持向量机中，得到分类结果；

根据所述分类结果，确定所述目标用户的面部动作姿态；

根据所述目标用户的面部动作姿态，得到所述目标用户的姿态识别结果。

7.根据权利要求1所述的智能服药提醒方法，其特征在于，所述基于所述姿态识别结果，确定所述目标用户是否正在服药或者准备服药包括：

获取视频图像中目标用户的关键点位置和肢体之间夹角；

根据关所述键点位置和所述肢体间夹角，确定所述目标用户是否正在服药或者准备服药。

8.一种智能服药提醒装置，其特征在于，所述智能服药提醒装置包括：

第一获取模块，用于当所述智能药盒预设的图像采集范围内有目标对象进入时，采集所述目标对象的视频流，并获取所述视频流进中的视频图像，其中，所述目标对象包括目标用户和所述目标用户待服用的药品；

第一计算模块，用于将所述视频图像输入预设人脸识别模型，得到目标用户的人脸图像，并计算所述人脸图像和预设基准人脸图像之间的相似度；

第一识别模块，用于从所述视频流中获取与当前时间对应的预设时间段内的当前视频流，基于所述当前视频流，调用预置人体姿态检测模型对所述目标用户进行手部动作的识别，得到所述目标用户的姿态识别结果；

第一确定模块，用于基于所述姿态识别结果，确定所述目标用户是否正在服药或者准备服药；

查询模块，用于若是，则基于所述相似度，查询所述目标用户在所述智能药盒中设定的服药配置，基于所述服药配置判断所述目标用户是否完成服药；

同步模块，用于若判断所述目标用户已完成服药，将所述目标用户的服药数据同步至预设数据库，其中，所述服药数据包括所述目标用户的服药时间；

提示模块，用于若判断所述目标用户未完成服药，则通过预置语音提示系统按照所述服药配置提示所述目标用户选择对应的药品和药品的量进行服药，并则根据预设紧急联系人触发智能语音电话系统。

9.一种智能服药提醒设备，其特征在于，所述智能服药提醒设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述智能服药提醒设备执行如权利要求1-7中任一项所述的智能服药提醒方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的智能服药提醒方法的步骤。

Images