CN111009297A - 一种用户服药行为的监督方法、装置及智能机器人 - Google Patents

Abstract

本发明实施例涉及电子信息技术领域，特别是涉及一种用户服药行为的监督方法、装置及智能机器人。该方法包括：检测当前是否到达服药时间区间；若是，则输出服药提醒信号；在所述服药时间区间内，采集所述用户的视频；从所述视频中获取所述用户的肢体动作；根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为；若存在，则判定所述用户完成服药；若否，则判定所述用户未服药。通过上述方法，可以实现及时提醒用户服药并对用户是否发生服药行为进行准确判断，从而帮助用户准确用药，避免用户因不合理用药而造成的不必要麻烦。

Description

一种用户服药行为的监督方法、装置及智能机器人

技术领域

本发明实施例涉及电子信息技术领域，特别是涉及一种用户服药行为的监督方法、装置及智能机器人。

背景技术

老年人因记忆力减退、反应迟钝，服药如无家属或他人协助，在用药时容易错服、误服，或重复用药，造成不必要的麻烦。不光是老年人，当代年轻人也常常因工作繁忙等因素，会出现忘记服药、忘记是否已经吃过药和应该吃几片药的情况，所以，提醒用户合理用药系统成为目前研究的热点。

但是，本发明的发明人在实现本发明的过程中，发现：当下用户服药监控系统相关的产品只是通过定时提醒的方式来提醒用户服药，而对于用户是否真正服药并不清楚。

发明内容

鉴于上述问题，本发明实施例提供了一种用户服药行为的监督方法、装置及智能机器人，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种用户服药行为的监督方法，包括检测当前是否到达服药时间区间；若是，则输出服药提醒信号；在所述服药时间区间内，采集所述用户的视频；从所述视频中获取所述用户的肢体动作；根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为；若存在，则判定所述用户完成服药；若否，则判定所述用户未服药。

在一种可选的方式中，根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为的步骤，进一步包括：从所述肢体动作中获取所述用户的抬臂动作和吞咽动作；计算所述吞咽动作的吞咽完成度，以及，在吞咽时计算所述用户面部角度的合理度；根据所述抬臂动作和吞咽动作，计算所述用户的手臂与面部交互的匹配度；根据所述吞咽完成度、合理度和匹配度，计算服药完成度；判断所述服药完成度是否大于预设阈值；若是，则判定所述用户在所述服药时间区间内存在服药行为；若否，则判定所述用户在所述服药时间区间内不存在服药行为。

在一种可选的方式中，根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为的步骤，还包括：获取所述用户喉咙区域的总面积；在检测到所述吞咽动作时，检测所述用户喉咙区域所展示的展示面积；根据所述总面积和展示面积，计算权重；所述根据所述吞咽完成度、合理度和匹配度，计算服药完成度的方法具体为：根据所述权重、吞咽完成度、合理度和匹配度，计算服药完成度。

在一种可选的方式中，根据所述权重、吞咽完成度、合理度和匹配度，计算服药完成度的计算公式如下：

其中，C为服药完成度，k为权重，表示所述喉咙区域的展示面积与所述总面积的比值，Sw为吞咽完成度，Ag为吞咽时的面部角度合理度，Hd为吞咽时的手臂与面部交互的匹配度。

在一种可选的方式中，计算所述吞咽动作的吞咽完成度的步骤，进一步包括：获取所述吞咽动作的视频连续帧；以5个所述视频连续帧为一个逻辑片段，通过长短期记忆网络预测所述逻辑片段的置信度；对所述逻辑片段的置信度进行累加，计算获得所述吞咽动作的吞咽完成度Sw。

在一种可选的方式中，在吞咽时计算所述用户面部角度的合理度的步骤，进一步包括：根据多任务卷积神经网络，获得所述用户面部的特征点的坐标；根据所述用户面部的特征点的坐标，估算所述用户面部的角度；根据预设在吞咽时的用户面部的角度合理范围值，计算在吞咽时所述用户面部角度的合理度Ag。

在一种可选的方式中，计算所述在吞咽时所述用户面部角度的合理度Ag的计算公式为：

Ag＝Π/(2θ-a-b)

其中θ为用户面部的角度，预设的吞咽时的面部的角度合理范围值为[a,b]。

在一种可选的方式中，计算所述用户的手臂与面部交互的匹配度的步骤，进一步包括：根据多任务卷积神经网络，获得所述用户手臂的特征点的坐标；根据预设的所述面部的特征点的坐标平均值以及预设的所述手臂的特征点的坐标平均值，计算所述用户的手臂和面部交互的匹配度Hd。

在一种可选的方式中，用户的手臂和面部交互的匹配度Hd的计算公式为：

其中，point_face为面部的特征点的坐标，

为预设的面部的特征点的坐标平均值，point_hand为手臂的特征点的坐标，

为预设的手臂的特征点的坐标平均值。

根据本发明实施例的一个方面，提供了一种用户服药行为的监督方法，该方法还包括：在接收到用户输入的用药指引请求时，采集所述用户指示的药瓶的图像；根据所述图像，识别所述药瓶内存储的药物的药物信息；获取所述用户的处方信息；根据所述药物信息和处方信息，确定所述药物的用量信息；输出所述药物的用量信息。

根据本发明实施例的一个方面，提供了一种用户服药监控的装置，包括：检测模块，用于检测当前是否到达服药时间区间；第一输出模块，用于若是，则输出服药提醒信号；第一采集模块，用于在所述服药时间区间内，采集所述用户的视频；第一获取模块，用于从所述视频中获取所述用户的肢体动作；判断模块，用于根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为；第一判定模块，用于若存在，则判定所述用户完成服药；第二判定模块，用于若否，则判定所述用户未服药。

在一种可选的方式中，所述判断模块包括第一获取单元，用于从所述肢体动作中获取所述用户的抬臂动作和吞咽动作；第一计算单元用于计算所述吞咽动作的吞咽完成度；第二计算单元，用于在吞咽时计算所述用户面部角度的合理度；第三计算单元，用于根据所述抬臂动作和吞咽动作，计算所述用户的手臂与面部交互的匹配度；第四计算单元，用于根据所述吞咽完成度、合理度和匹配度，计算服药完成度；判断单元，用于判断所述服药完成度是否大于预设阈值；第一判定单元，用于若是，则判定所述用户在所述服药时间区间内存在服药行为；第二判定单元，用于若否，则判定所述用户在所述服药时间区间内不存在服药行为。

在一种可选的方式中，所述第一计算单元具体用于：获取所述吞咽动作的视频连续帧；以5个所述视频连续帧为一个逻辑片段，通过长短期记忆网络预测所述逻辑片段的置信度；对所述逻辑片段的置信度进行累加，计算获得所述吞咽动作的吞咽完成度Sw。

在一种可选的方式中，所述第二计算单元具体用于：根据多任务卷积神经网络，获得所述用户面部的特征点的坐标；根据所述用户面部的特征点的坐标，估算所述用户面部的角度；根据预设在吞咽时的用户面部的角度合理范围值，计算在吞咽时所述用户面部角度的合理度Ag。所述用户面部角度的合理度Ag的计算公式为：

Ag＝Π/(2θ-a-b)

其中θ为用户面部的角度，预设的吞咽时的面部的角度合理范围值为[a,b]。

在一种可选的方式中，所述第三计算单元具体用于：根据多任务卷积神经网络，获得所述用户手臂的特征点的坐标；根据预设的所述面部的特征点的坐标平均值以及预设的所述手臂的特征点的坐标平均值，计算所述用户的手臂和面部交互的匹配度Hd。所述用户的手臂和面部交互的匹配度Hd的计算公式为：

其中，point_face为面部的特征点的坐标，

为预设的面部的特征点的坐标平均值，point_hand为手臂的特征点的坐标，

为预设的手臂的特征点的坐标平均值。

在一种可选的方式中，所述判断模块还包括第二获取单元，用于获取所述用户喉咙区域的总面积；检测单元，用于在检测到所述吞咽动作时，检测所述用户喉咙区域所展示的展示面积；第五计算单元，用于根据所述总面积和展示面积，计算权重；所述第四计算单元具体用于根据所述权重、吞咽完成度、合理度和匹配度，计算服药完成度。

在一种可选的方式中，所述计算服药完成度的计算公式如下：

其中，C为服药完成度，k为权重，表示所述喉咙区域的展示面积与所述总面积的比值，Sw为吞咽完成度，Ag为吞咽时的面部角度合理度，Hd为吞咽时的手臂与面部交互的匹配度。

本发明实施例的一个方面，提供了一种用户服药监控的装置，该装置还包括：第二采集模块，用于在接收到用户输入的用药指引请求时，采集所述用户指示的药瓶的图像；识别模块，用于根据所述图像，识别所述药瓶内存储的药物的药物信息；第二获取模块，用于获取所述用户的处方信息；确定模块，用于根据所述药物信息和处方信息，确定所述药物的用量信息；第二输出模块，用于输出所述药物的用量信息。

根据本发明实施例的一个方面，提供了一种智能机器人，该智能机器人包括：至少一个处理器，以及存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本发明实施例的一个方面，提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行如上所述的方法。

本发明实施例的有益效果是：区别于现有的用户服药行为的监督方法，本发明实施例通过检测当前是否到达服药时间区间，若是，则输出服药提醒信号的方式以及通过采集到的用户在服药区间的视频判断所述用户在所述服药时间区间内是否存在服药行为的方式，能够实现及时提醒用户服药并对用户是否发生服药行为进行准确判断，从而帮助用户准确用药，避免用户因不合理用药而造成的不必要麻烦。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种用户服药行为的监督方法的流程示意图；

图2是本发明实施例提供的一种判断用户在服药时间区间是否存在服药行为的流程示意图；

图3是本发明另一实施例提供的用户服药行为的监督方法的流程示意图；

图4是本发明实施例提供的一种用户服药行为的监督装置的示意图；

图5是本发明实施例提供的执行用户服药行为的监督方法的智能机器人的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例中的一种用户服药行为的监督方法应用于智能机器人或智能终端，例如：智能手机、平板电脑等等。所述智能机器人或者智能终端也作为本发明实施例的执行主体。以下以智能机器人为例具体说明本发明实施例所用到的用户服药行为的监督方法。

实施例一

请参阅图1，图1是本发明实施例提供的一种用户服药行为的监督方法的流程示意图，该方法包括以下步骤：

步骤S1，检测当前是否到达服药时间区间。

所述服药时间可以是用户自己设置的，也可以是智能机器人根据处方信息设置的，比如处方信息为一天吃两次药，则可以将服药时间设置为早上九点和晚上七点。而该处方信息可以是智能机器人与医院或社区健康中心联网，从医院或社区健康中心直接获得到的。

当然，在另一些实施例中，可以是在所述用户拿到处方信息后，智能机器人也可通过扫描处方信息的方式自行录入处方信息，然后根据所述处方信息设置服药时间。

步骤S2，输出服药提醒信号。

若检测到已经到达所述服药时间，则输出服药提醒信号。所述服药提醒信号可以是振动，语音提示或者二者的结合，本发明实施例不作限定。

步骤S3，在所述服药时间区间内，采集所述用户的视频。

在一些实施例中，当输出服药提醒信号之后，可以开启摄像头并采集用户服药时的视频。

步骤S4，从所述视频中获取用户的肢体动作。

所述肢体动作是指用户各个肢体的动作，例如：用户头部的抬头动作、转动头，手臂转动动作等等。

步骤S5，根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为，若存在则执行步骤S6，否则执行步骤S7。

用户在服药的时候会有一系列动作，包括手臂抬起喂药、嘴巴张开含药、头部抬起吞药，其中，喂药和吞药又是用户服药的标志性动作，因此，通过肢体动作，可以判断所述用户在所述服药时间区间内是否存在服药行为。具体的，如图2所示，步骤S5包括：

步骤S51，从所述肢体动作中获取所述用户的抬臂动作和吞咽动作。

步骤S52，计算所述吞咽动作的吞咽完成度。

由于一个吞咽动作是由一系列逻辑片段组成的，即：一个吞咽动作可以用一系列视频连续帧表达，而所述视频的每5个连续帧即为吞咽动作的一个逻辑片段，每个逻辑片段中的连续帧之间具有前后的逻辑关系，前后的关联越强，则表示所述动作的当前逻辑片段的置信度越高，每个逻辑片段置信度的累加，输出为整个吞咽动作的吞咽完成度。

所述逻辑片段的置信度，可以根据长短期记忆网络进行预测。本发明实施例采用长短期记忆网络对一系列吞咽动作的视频进行学习，以连续5帧作为一个逻辑片段，即第i帧时，取得i±2内的片段输入到长短期记忆网络进行预测，得到该逻辑片段的置信度conf_i，对每个逻辑片段的conf_i进行累加得到吞咽完成度Sw值。因此吞咽完成度Sw的计算公式为：

Sw＝∑conf_i

其中conf_i表示单个逻辑片段的置信度。

步骤S53，在吞咽时计算所述用户面部角度的合理度。

为了方便吞咽药片，用户在吞咽药片时通常会抬头来辅助吞咽，而用户在抬头时，其面部会呈一定的角度，因此，面部角度的合理度也是用户服药的重要肢体特征。具体的，可通过深度学习框架多任务卷积神经网络进行人脸识别和特征点检测，可以获得面部五官坐标。根据五官坐标，能够估算出用户吞咽时面部的抬头/低头角度θ，预设的吞咽时的面部角度合理范围在[a,b]之间，当角度落在合理范围内时用户面部角度的合理度Ag为1.0，当角度偏离合理范围时，合理程度下降。面部角度的合理度Ag可以通过以下计算公式计算得到：

Ag＝Π/(2θ-a-b)

所述预设的吞咽时面部角度的合理范围[a,b]还需要通过多种实验进行优化。

步骤S54，根据所述抬臂动作和吞咽动作，计算所述用户的手臂与面部交互的匹配度。

用户在服药时，出现吞咽动作时，其面部角度会发生变化，在面部角度变化的过程中，手臂的摆动会随着面部角度的变化而变化。把用户面部五官坐标的变化过程看做一个向量，把手臂点集的变化过程看做另一个向量，手臂与面部交互的匹配度Hd，即可看做是两个向量的内积。Hd值越大，匹配程度越高。手臂与面部交互的匹配度的计算公式为：

其中，point_face为面部的特征点的坐标，

为预设的面部的特征点的坐标平均值，point_hand为手臂的特征点的坐标，

为预设的手臂的特征点的坐标平均值。预设的面部的特征点的坐标平均值

以及预设的手臂的特征点的坐标平均值

均需要后期经过多种实验进行优化。

通过多任务卷积神经网络获得面部的特征点的坐标以及手臂的特征点的坐标，然后根据预设的面部的特征点的坐标平均值以及预设的手臂的特征点的坐标平均值即可计算获得用户服药时手臂与面部交互的匹配度。

步骤S55，根据所述吞咽完成度、合理度和匹配度计算服药完成度。

步骤S56，判断所述服药完成度是否大于预设阈值，若是则执行步骤S57，否则执行步骤S58。

其中，例如：服药完成度的预设阈值为80％，若用户在服药时间区间内，计算获得的用户的服药完成度为86％，则判定用户存在服药行为；若用户在服药时间区间内，计算获得的用户的服药完成度仅为50％，则判定用户不存在服药行为。

需要说明的是，所述服药完成度的预设阈值还需要后期经过多种实验进行优化。

步骤S57，判定所述用户在所述服药时间区间内存在服药行为。

步骤S58，判定所述用户在所述服药时间区间内不存在服药行为。

值得说明的是：由于用户在服药时，用户通常会抬手，在用户抬手时，用户手部会遮挡喉咙区，当用户手部遮挡喉咙区域时，用户的吞咽动作的呈现就不明显，因此，在本实施例，还可以引入权重，通过权重来调节吞咽完成度、合理度和匹配度的重要程度。具体的，该方法包括：获取所述用户喉咙区域的总面积，在检测到所述吞咽动作时，检测所述用户喉咙区域所展示的展示面积，根据所述总面积和展示面积，计算权重。步骤S55具体为，根据所述权重、吞咽完成度、合理度和匹配度，计算服药完成度,其中，计算用户服药完成度C的计算公式为：

C为服药完成度，k为权重，表示所述喉咙区域的展示面积与所述总面积的比值，Sw为吞咽完成度，Ag为吞咽时的面部角度合理度，Hd为吞咽时的手臂与面部交互的匹配度。

进一步的，器官部位的遮挡问题，属于机器视觉领域的实例分割问题。通过大量器官部位与非器官部位的图像数据集，以掩膜区域卷积神经网络深度学习框架为依托，能够建立视觉模型，从摄像头图像中分析得到目标器官部位的总面积，并进一步分析获得目标器官部位的展示面积。当目标器官部位被遮挡时，展示面积占该目标区域的总面积的比例会减小，因此获得权重k的公式为：

k＝area_mask/area_target×100％

其中area_mask为目标器官部位的展示面积，area_target为目标器官部位的总面积。当目标被完全遮挡时，k为0，当目标完全展示出来时，k为1。

进一步的，当引入了权重k时，所述服药完成度的预设阈值可以根据实际情况而定。例如冬天的时候用户大多穿着高领衣服，此时的k值偏小，从而导致计算获得的服药完成度整体偏小，则可以将预设的服药完成度设置在一个较低的数值，例如70％，从而提高服药行为判断的准确度。

步骤S6，判定所述用户完成服药。

步骤S7，判定所述用户未服药。

在一些实施例中，在判定用户未完成服药时，可以再次输出服药提醒，若在提醒三次(可预设的阈值)后，仍然没有检测到用户完成服药，则可以将用户未服药的情况发送给预设的关联用户。

在本发明实施例中，通过检测当前是否到达服药时间区间；若是，则输出服药提醒信号；在所述服药时间区间内，采集所述用户的视频；从所述视频中获取所述用户的肢体动作；根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为；若存在，则判定所述用户完成服药；若否，则判定所述用户未服药的方法，可以实现及时提醒用户服药并对用户是否发生服药行为进行准确判断，从而帮助用户准确用药，避免用户因不合理用药而造成的不必要麻烦。

实施例二

在实际情况中，用户在服药时，可能会因为视力模糊不清，身体虚弱等原因无法识别或理解药瓶上的文字从而无法知道具体的服药量的情况。当要吃的药品种类繁多，或者服药量不是整片药的时候，容易记忆混乱从而无法知道具体的服药量的情况，则需要辅助用户服药，请参考图3，图3是本发明另一实施例提供的一种用户服药行为的监督方法的流程示意图，本实施例与上述实施例的区别在于，方法包括以下步骤：

步骤S8，在接收到用户输入的用药指引请求时，采集所述用户指示的药瓶的图像。

采集的药瓶的图像，包括药瓶正面的信息以及侧面的和背面的信息，而药瓶正面的信息以及侧面的和背面的信息会记载有药瓶内药物的药物信息。在一些实施例中，为了更好地采集药瓶正面的信息以及侧面的和背面的信息，可以通过语音提示用户将药瓶正对摄像头，并且在药瓶的正面采集完成之后，再通过语音提示用户药瓶转至背面。

进一步，接收用户输入的用药指引请求的方式可以有多种，例如：用户语音向智能机器人发出请求，又或者，用户将药瓶朝向智能机器人，智能机器人检测到药瓶距离智能机器人的距离小于预定距离，则确定用户发出了用药指引请求。

步骤S9，根据所述图像，识别所述药瓶内存储的药物的药物信息。

药物信息包括药物名称、药物的包装信息，例如：单片药物的重量、体积等等。

步骤S10，获取所述用户的处方信息。

步骤S11，根据所述药物信息和处方信息，确定所述药物的用量信息。

处方信息记载有用药清单，即：用何种药及其用量，因此，在得到药物信息之后，可以在处方信息查询其用量信息。此外，由于用量信息是根据药物信息和处方信息共同得到的，因此，即使更换包装，所提示的用量信息也没有问题。

步骤S12，输出所述药物的用量信息。

其中，输出药物的用量信息，在一些实施例中，可以通过语音提示的方式输出药物的用量信息；在另一些实施例中，也可以通过动画展示的形式输出药物的用量信息；在又一些实施例中，还可以通过语音提示和动画展示双重指引的方式输出药物的用量信息。

关于药物的用量信息，用户在服药一段时间后，可能会发生变化。在一些实施例中，用户服药一段时间后，智能机器人发出症状询问，并将询问结果反馈给医生，医生根据询问结果进行相应药量的增减，重新开具处方并返回给智能机器人，智能机器人根据新的处方信息给予用药指引。

在本发明实施例中，通过在接收到用户输入的用药指引请求时，采集所述用户指示的药瓶的图像；根据所述图像，识别所述药瓶内存储的药物的药物信息；获取所述用户的处方信息；根据所述药物信息和处方信息，确定所述药物的用量信息的方法，可以实现对用户进行用药指引，从而帮助用户准确用药，提升用户体验。

实施例三

请参阅图4，图4是本发明实施例提供的一种用户服药行为的监督装置的示意图，该装置40包括：检测模块41、第一输出模块42、第一采集模块43、第一获取模块44、判断模块45、第一判定模块46以及第二判定模块47。其中，检测模块41，用于检测当前是否到达服药时间区间；第一输出模块42，用于若是，则输出服药提醒信号；第一采集模块43，用于在所述服药时间区间内，采集所述用户的视频；第一获取模块44，用于从所述视频中获取所述用户的肢体动作；判断模块45，用于根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为；第一判定模块46，用于若存在，则判定所述用户完成服药；第二判定模块47，用于若否，则判定所述用户未服药。

在本发明实施例中，通过检测模块检测当前是否到达服药时间区间；若是，则通过第一输出模块输出服药提醒信号；在所述服药时间区间内，通过第一采集模块采集所述用户的视频；通过第一获取模块从所述视频中获取所述用户的肢体动作；根据所述肢体动作，通过判断模块判断所述用户在所述服药时间区间内是否存在服药行为；若存在，则通过第一判定模块判定所述用户完成服药；若否，则通过第二判定模块判定所述用户未服药的方法，可以实现及时提醒用户服药并对用户是否发生服药行为进行准确判断，从而帮助用户准确用药，避免用户因不合理用药而造成的不必要麻烦。

在一些实施例中，所述判断模块45包括第一获取单元451、第一计算单元452、第二计算单元453、第三计算单元454、第四计算单元455、判断单元456、第一判定单元457以及第二判定单元458。其中，第一获取单元451，用于从所述肢体动作中获取所述用户的抬臂动作和吞咽动作；第一计算单元452用于计算所述吞咽动作的吞咽完成度；第二计算单元453，用于在吞咽时计算所述用户面部角度的合理度；第三计算单元454，用于根据所述抬臂动作和吞咽动作，计算所述用户的手臂与面部交互的匹配度；第四计算单元455，用于根据所述吞咽完成度、合理度和匹配度，计算服药完成度；判断单元456，用于判断所述服药完成度是否大于预设阈值；第一判定单元457，用于若是，则判定所述用户在所述服药时间区间内存在服药行为；第二判定单元458，用于若否，则判定所述用户在所述服药时间区间内不存在服药行为。

在一些实施例中，所述第一计算单元452用于计算所述吞咽动作的吞咽完成度，包括：获取所述吞咽动作的视频连续帧；以5个所述视频连续帧为一个逻辑片段，通过长短期记忆网络预测所述逻辑片段的置信度；对所述逻辑片段的置信度进行累加，计算获得所述吞咽动作的吞咽完成度Sw。

在一些实施例中，所述第二计算单元453，用于在吞咽时计算所述用户面部角度的合理度，包括：根据多任务卷积神经网络，获得所述用户面部的特征点的坐标；根据所述用户面部的特征点的坐标，估算所述用户面部的角度；根据预设在吞咽时的用户面部的角度合理范围值，计算在吞咽时所述用户面部角度的合理度Ag。所述用户面部角度的合理度Ag的计算公式为：

Ag＝Π/(2θ-a-b)

其中θ为用户面部的角度，预设的吞咽时的面部的角度合理范围值为[a,b]。

在一些实施例中，所述第三计算单元454用于根据所述抬臂动作和吞咽动作，计算所述用户的手臂与面部交互的匹配度，包括：根据多任务卷积神经网络，获得所述用户手臂的特征点的坐标；根据预设的所述面部的特征点的坐标平均值以及预设的所述手臂的特征点的坐标平均值，计算所述用户的手臂和面部交互的匹配度Hd。所述用户的手臂和面部交互的匹配度Hd的计算公式为：

其中，point_face为面部的特征点的坐标，

为预设的面部的特征点的坐标平均值，point_hand为手臂的特征点的坐标，

为预设的手臂的特征点的坐标平均值。

在一些实施例中，所述判断模块45还包括第二获取单元459、检测单元460，第五计算单元461以及第六计算单元454a。其中，第二获取单元459，用于获取所述用户喉咙区域的总面积；检测单元460，用于在检测到所述吞咽动作时，检测所述用户喉咙区域所展示的展示面积；第五计算单元461，用于根据所述总面积和展示面积，计算权重；所述第四计算单元455具体用于根据所述权重、吞咽完成度、合理度和匹配度，计算服药完成度。

在一些实施例中，所述根据所述权重、吞咽完成度、合理度和匹配度，计算服药完成度的计算公式如下：

其中，C为服药完成度，k为权重，表示所述喉咙区域的展示面积与所述总面积的比值，Sw为吞咽完成度，Ag为吞咽时的面部角度合理度，Hd为吞咽时的手臂与面部交互的匹配度。

在本发明实施例中，通过检测模块检测当前是否到达服药时间区间；若是，则通过第一输出模块输出服药提醒信号；在所述服药时间区间内，通过第一采集模块采集所述用户的视频；通过第一获取模块从所述视频中获取所述用户的肢体动作；根据所述肢体动作，通过判断模块判断所述用户在所述服药时间区间内是否存在服药行为；若存在，则通过第一判定模块判定所述用户完成服药；若否，则通过第二判定模块判定所述用户未服药的方法，可以实现及时提醒用户服药并对用户是否发生服药行为进行准确判断，从而帮助用户准确用药，避免用户因不合理用药而造成的不必要麻烦。

进一步的，该装置40还包括：第二采集模块41a、识别模块42a、第二获取模块43a，确定模块44a以及第二输出模块45a。其中，第二采集模块41a，用于在接收到用户输入的用药指引请求时，采集所述用户指示的药瓶的图像；识别模块42a，用于根据所述图像，识别所述药瓶内存储的药物的药物信息；第二获取模块43a，用于获取所述用户的处方信息；确定模块44a，用于根据所述药物信息和处方信息，确定所述药物的用量信息；第二输出模块45a，用于输出所述药物的用量信息。

在本发明实施例中，在接收到用户输入的用药指引请求时，通过第二采集模块采集所述用户指示的药瓶的图像；通过识别模块根据所述图像，识别所述药瓶内存储的药物的药物信息；通过第二获取模块获取所述用户的处方信息；通过确定模块根据所述药物信息和处方信息，确定所述药物的用量信息以及通过第二输出模块输出所述药物的用量信息。通过本发明实施例，可以实现对用户进行用药指引，从而帮助用户准确用药，提升用户体验。

实施例四

请参阅图5，图5是是本发明实施例提供的执行用户服药行为的监督方法的智能机器人的硬件结构示意图。如图5所示，该智能机器人50包括：一个或多个处理器51以及存储器52，图5中以一个存储器为例。

处理器51和存储器52可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器52作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的用户服药行为的监督方法对应的程序指令/模块(例如，附图4所示的各个模块)。处理器51通过运行存储在存储器52中的非易失性软件程序、指令以及模块，从而执行用户服药监控的装置的各种功能应用以及数据处理，即实现上述方法实施例的用户服药行为的监督方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用户服药监控的装置的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至用户服药监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述一个或者多个处理器51执行时，执行上述任意方法实施例中的用户服药行为的监督方法，例如，执行以上描述的图1中的方法步骤S1至步骤S6或步骤S1至步骤S7，图2中的方法步骤S51至步骤S57或步骤S51至步骤S58，图3中的方法步骤S8至步骤S12，实现图4中的模块41-47、模块451-458、模块459-461以及模块41a-45a的功能。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

本发明实施例提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被智能机器人执行上述任意方法实施例中的用户服药行为的监督方法，例如，执行以上描述的图1中的方法步骤S1至步骤S6或步骤S1至步骤S7，图2中的方法步骤S51至步骤S57或步骤S51至步骤S58，图3中的方法步骤S8至步骤S12，实现图4中的模块41-47、模块451-458、模块459-461以及模块41a-45a的功能。

本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的用户服药行为的监督方法，例如，执行以上描述的图1中的方法步骤S1至步骤S6或步骤S1至步骤S7，图2中的方法步骤S51至步骤S57或步骤S51至步骤S58，图3中的方法步骤S8至步骤S12，实现图4中的模块41-47、模块451-458、模块459-461以及模块41a-45a的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件来实现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种用户服药行为的监督方法，其特征在于，包括：

检测当前是否到达服药时间区间；

若是，则输出服药提醒信号；

在所述服药时间区间内，采集所述用户的视频；

从所述视频中获取所述用户的肢体动作；

根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为；

若存在，则判定所述用户完成服药；

若否，则判定所述用户未服药。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为的步骤，进一步包括：

从所述肢体动作中获取所述用户的抬臂动作和吞咽动作；

计算所述吞咽动作的吞咽完成度，以及，在吞咽时计算所述用户面部角度的合理度；

根据所述抬臂动作和吞咽动作，计算所述用户的手臂与面部交互的匹配度；

根据所述吞咽完成度、合理度和匹配度，计算服药完成度；

判断所述服药完成度是否大于预设阈值；

若是，则判定所述用户在所述服药时间区间内存在服药行为；

若否，则判定所述用户在所述服药时间区间内不存在服药行为。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取所述用户喉咙区域的总面积；

在检测到所述吞咽动作时，检测所述用户喉咙区域所展示的展示面积；

根据所述总面积和展示面积，计算权重；

所述根据所述吞咽完成度、合理度和匹配度，计算服药完成度的步骤进一步包括：根据所述权重、吞咽完成度、合理度和匹配度，计算服药完成度。

4.根据权利要求3所述的方法，其特征在于，所述根据所述权重、吞咽完成度、合理度和匹配度，计算服药完成度的计算公式如下：

其中，C为服药完成度，k为权重，表示所述喉咙区域的展示面积与所述总面积的比值，Sw为吞咽完成度，Ag为吞咽时的面部角度合理度，Hd为吞咽时的手臂与面部交互的匹配度。

5.根据权利要求2所述的方法，其特征在于，所述计算所述吞咽动作的吞咽完成度的步骤，进一步包括：

获取所述吞咽动作的视频连续帧；

以5个所述视频连续帧为一个逻辑片段，通过长短期记忆网络预测所述逻辑片段的置信度；

对所述逻辑片段的置信度进行累加，计算获得所述吞咽动作的吞咽完成度Sw。

6.根据权利要求2所述的方法，其特征在于，所述在吞咽时计算所述用户面部角度的合理度的步骤，进一步包括：

根据多任务卷积神经网络，获得所述用户面部的特征点的坐标；

根据所述用户面部的特征点的坐标，估算所述用户面部的角度；

根据预设在吞咽时的用户面部的角度合理范围值，计算在吞咽时所述用户面部角度的合理度Ag。

7.根据权利要求6所述的方法，其特征在于，所述根据预设在吞咽时的面部角度合理范围值，计算所述在吞咽时所述用户面部角度的合理度Ag的计算公式为：

Ag＝Π/(2θ-a-b)

其中θ为用户面部的角度，预设的吞咽时的面部的角度合理范围值为[a,b]。

8.根据权利要求6所述的方法，其特征在于，所述根据所述抬臂动作和吞咽动作，计算所述用户的手臂与面部交互的匹配度的步骤，进一步包括：

根据多任务卷积神经网络，获得所述用户手臂的特征点的坐标；

根据预设的所述面部的特征点的坐标平均值以及预设的所述手臂的特征点的坐标平均值，计算所述用户的手臂和面部交互的匹配度Hd。

9.根据权利要求8所述的方法，其特征在于，根据预设的所述面部的特征点的坐标平均值以及预设的所述手臂的特征点的坐标平均值，计算所述用户的手臂和面部交互的匹配度Hd的计算公式为：

其中，point_face为面部的特征点的坐标，

为预设的面部的特征点的坐标平均值，point_hand为手臂的特征点的坐标，

为预设的手臂的特征点的坐标平均值。

10.根据权利要求1-9中任意一项所述的方法，其特征在于，所述方法还包括：

在接收到用户输入的用药指引请求时，采集所述用户指示的药瓶的图像；

根据所述图像，识别所述药瓶内存储的药物的药物信息；

获取所述用户的处方信息；

根据所述药物信息和处方信息，确定所述药物的用量信息；

输出所述药物的用量信息。

11.一种用户服药行为的监督装置，其特征在于，包括：

检测模块，用于检测当前是否到达服药时间区间；

第一输出模块，用于若是，则输出服药提醒信号；

第一采集模块，用于在所述服药时间区间内，采集所述用户的视频；

第一获取模块，用于从所述视频中检测出所述用户的肢体动作；

判断模块，用于根据所述肢体动作，判断所述用户在所述服药时间区间内是否存在服药行为；

第一判定模块，用于若存在，则判定所述用户完成服药；

第二判定模块，用于若否，则判定所述用户未服药。

12.一种智能机器人，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

13.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行权利要求1-10中任一项所述的方法。

Images