CN109784179A - 基于微表情识别的智能监护方法、装置、设备及介质 - Google Patents
基于微表情识别的智能监护方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109784179A CN109784179A CN201811537240.XA CN201811537240A CN109784179A CN 109784179 A CN109784179 A CN 109784179A CN 201811537240 A CN201811537240 A CN 201811537240A CN 109784179 A CN109784179 A CN 109784179A
- Authority
- CN
- China
- Prior art keywords
- guardianship
- micro
- people under
- expression
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 87
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000000875 corresponding effect Effects 0.000 claims description 35
- 230000006399 behavior Effects 0.000 claims description 34
- 230000001815 facial effect Effects 0.000 claims description 19
- 238000012806 monitoring device Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 6
- 210000004218 nerve net Anatomy 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010011224 Cough Diseases 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 2
- 206010039740 Screaming Diseases 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000008267 milk Substances 0.000 description 2
- 210000004080 milk Anatomy 0.000 description 2
- 235000013336 milk Nutrition 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- VHCQVGQULWFQTM-VOTSOKGWSA-N Rubone Chemical compound COC1=CC(OC)=CC(O)=C1C(=O)\C=C\C1=CC(OC)=C(OC)C=C1OC VHCQVGQULWFQTM-VOTSOKGWSA-N 0.000 description 1
- VHCQVGQULWFQTM-UHFFFAOYSA-N Rubone Natural products COC1=CC(OC)=CC(O)=C1C(=O)C=CC1=CC(OC)=C(OC)C=C1OC VHCQVGQULWFQTM-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Abstract
本发明公开了一种基于微表情识别的智能监护方法、装置、设备及介质，所述方法包括：获取摄像设备拍摄的被监护人员的监护视频；自监护视频的图像中提取被监护人员的人体关键点，并根据人体关键点获取人体动作类型；检测人体动作类型是否属于预设的静止类型；在属于静止类型时，自图像中提取被监护人员的微表情，并根据被监护人员的微表情确认该监护人员当前是否处于待监护状态；在该监护人员当前处于待监护状态时，获取与微表情对应的监护行为，并提示需要对被监护人员实施监护行为。本发明可以自动对被监护对象进行监控，并及时提示用户对被监护人员实施监护行为，大大减少了人力监护的成本。
Description
技术领域
本发明涉及微表情识别领域，具体涉及一种基于微表情识别的智能监护方法、装置、设备及介质。
背景技术
随着安防行业的发展，监护系统也越来越普及，可以在智能终端连接网络之后远程查看摄像头拍摄的内容。
但是，目前，对于老人、小孩、精神病人、医院病人、监狱等特殊群体进行监护时，需要时刻关注摄像头中拍摄的监控图像，否则无法及时关注到该特殊人群的需求，或无法做到持续避免意外情况的发生；而时刻关注摄像头需要人为全天候监控，如此，需要专人专职进行监控，显然，对于家庭中的儿童等特殊人群进行监护时，由于家庭成员都有其他工作需要处理，采用该种方案脱离现实。
发明内容
本发明实施例提供一种基于微表情识别的智能监护方法、装置、设备及介质，本发明可以自动对被监护对象进行监控，并及时提示用户对被监护人员实施监护行为，大大减少了人力监护的成本。
一种基于微表情识别的智能监护方法，包括：
获取摄像设备拍摄的被监护人员的监护视频；
自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；
检测所述人体动作类型是否属于预设的静止类型；
在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；
在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。
一种基于微表情识别的智能监护装置，包括：
获取模块，用于获取摄像设备拍摄的被监护人员的监护视频；
提取模块，用于自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；
检测模块，用于检测所述人体动作类型是否属于预设的静止类型；
第一确认模块，用于在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；
第一提示模块，用于在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于微表情识别的智能监护方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述基于微表情识别的智能监护方法。
本发明提供的基于微表情识别的智能监护方法、装置、设备及介质，获取摄像设备拍摄的被监护人员的监护视频；自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；检测所述人体动作类型是否属于预设的静止类型；在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。本发明可以自动对被监护对象进行监控，并及时提示用户对被监护人员实施监护行为，大大减少了人力监护的成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于微表情识别的智能监护方法的应用环境示意图；
图2是本发明一实施例中基于微表情识别的智能监护方法的流程图；
图3是本发明一实施例中基于微表情识别的智能监护方法的步骤S10的流程图；
图4是本发明一实施例中基于微表情识别的智能监护方法的步骤S20的流程图；
图5是本发明另一实施例中基于微表情识别的智能监护方法的步骤S20的流程图；
图6是本发明一实施例中基于微表情识别的智能监护方法的步骤S40的流程图；
图7是本发明一实施例中基于微表情识别的智能监护装置的原理框图；
图8是本发明一实施例中基于微表情识别的智能监护装置的获取模块的原理框图；
图9是本发明一实施例中基于微表情识别的智能监护装置的提取模块的原理框图；
图10是本发明另一实施例中基于微表情识别的智能监护装置的提取模块的原理框图；
图11是本发明一实施例中基于微表情识别的智能监护装置的第一确认模块的原理框图；
图12是本发明另一实施例中基于微表情识别的智能监护装置的原理框图；
图13是本发明又一实施例中基于微表情识别的智能监护装置的原理框图；
图14是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的基于微表情识别的智能监护方法，可以自动对被监护对象进行监控，并及时提示用户对被监护人员实施监护行为，大大减少了人力监护的成本。本发明可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种基于微表情识别的智能监护方法，以该方法应用在图1中的服务器为例进行说明，包括以下步骤S10-S50：
S10，获取摄像设备拍摄的被监护人员的监护视频。
所述预设监护环境是指家庭、学校教室等可供儿童、老人、智力障碍人群、精神病人、医院病人、监狱等特定人群进行学习的小范围环境。其中，所述摄像设备可以为设置在所述预设监护环境内的摄像设备。在本实施例中，可以通过所述摄像设备录制所述监护环境内的监护视频，并从录制的所述监护视频的每一帧画面中提取人脸图像。在该预设监护环境中分布设有的多个可以进行拍摄视频和图像的摄像设备均可以随意旋转角度，和/或各所述摄像设备的位置亦可以在一定范围内进行调整(设定调整摄像设备以调整其高低、左右前后、倾斜角度等位置关系)，以达到所述预设监护环境中的所有空间的任何角度均可以被清晰地拍摄到的效果即可。同时，所述预设监护环境中根据需求在多个位置分布设有可以捕获声源信号的麦克风。
在一实施例中，如图3所示，所述步骤S10包括：
S101，获取预设监护环境中的所有声源，并在所有声源中检测是否存在符合预设声源要求的声源。
在本实施例中，可根据上述设置在各个位置的麦克风来采集声源信号，之后可对采集的所有声源信号进行有效音频信号检测，并且还可通过ManyEars技术将检测到的多个声源进行分离以得到多个独立的声源。其中，符合所述预设声源要求的声源，是指在预设音量大小范围中，且声源在预设音量大小范围中的持续时长大于预设时长的声源。其中，预设音量大小范围可以根据需求进行设定，可以设定该音量大小范围的最小值和最大值，超出所述音量大小范围的最大值的即视为噪音，此时将其排除在符合所述预设声源要求的声源的范围之外，小于所述音量大小的最小值的，可以视为其不是该预设监护环境中所需要进行追踪的被监护人员所发出的声源。可理解地，所述音量大小范围可以根据预设监护环境的不同进行设定，亦可以同时考虑在该环境中主要参与的人员(被监护人员)的可能音量大小。所述预设时长亦同样可以根据预设监护环境中被监护人员可能的发声时长来进行设定。进一步地，在不存在符合预设声源要求的声源时，此时继续获取预设监护环境中的声源进行检测。
S102，在存在符合预设声源要求的声源时，通过声源定位运算对该声源进行定位，获取该声源的声源位置，并标记所述声源位置。
理解地，当检测到某个声源满足所述预设声源要求时，可通过ManyEars技术中的声源定位运算对上述某个声源进行定位，以获取该声源的声源位置。作为优选，每一个声源位置可以是由通过ManyEars技术中的声源定位运算对上述某个声源进行定位之后的具体的实时位置(随机生成该声源位置的唯一编号)；亦可以是在所述电子地图中预先规划好的具有唯一编号的声源位置(比如，在所述电子地图中预先将其分隔为多个区块，将每个区块给予一个唯一编号，只要该声源定位之后确认属于其中一个区块中，即将该区块所在位置作为该声源的声源位置，将该区块的唯一编号作为该声源位置的编号)。在本实施例中，在服务器中已经预置了该预设监护环境中的电子地图(立体地图或者平面地图)，可以在定位到该声源位置之后，在所述电子地图中标记该声源位置。
S103，获取摄像设备拍摄的对应于所述声源位置的监护视频，并采集所述监护视频中的人脸图像。
S104，检测所述人脸图像是否为预设的被监护人员的人脸图像。
S105，在所述人脸图像为预设的被监护人员的人脸图像时，将所述摄像设备的拍摄角度设定为持续跟拍所述被监护人员之后，获取所述摄像设备拍摄的所述被监护人员的监护视频。在本实施例中，可以自动从监护视频中识别被监护人员，且在识别所述被监护人员之后，可以自动调整摄像装置的拍摄角度跟拍其行为，以对其进行持续监控。
在一实施例中，所述步骤S104包括：
提取所述人脸图像中的第一人脸特征；其中，所述第一人脸特征包括但不限定于为耳、眉、眼、鼻、口、头发等人脸特征。
在数据库中获取预设的被监护人员的肖像图，并提取所述肖像图中的第二人脸特征，其中所述肖像图中包括该被监护人员的人脸区域；所述第二人脸特征包括但不限定于为耳、眉、眼、鼻、口、头发等人脸特征。
检测所述第一人脸特征与所述第二人脸特征是否匹配；在该步骤中，可以检测所述第一人脸特征与所述第二人脸特征的相似度是否超过预设相似度阈值，若超过，则认为所述第一人脸特征与所述第二人脸特征匹配，此时确认所述人脸图像为预设的被监护人员的人脸图像。若未超过，则认为所述第一人脸特征与所述第二人脸特征不匹配，此时继续返回至所述步骤S101中获取预设监护环境中的所有声源，并在所有声源中检测是否存在符合预设声源要求的声源。
在所述第一人脸特征与所述第二人脸特征匹配时，确认所述人脸图像为预设的被监护人员的人脸图像。此时，确定所述监护视频中所拍摄的正是被监护人员。
S20，自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型。
在一实施例中，如图4所示，所述步骤S20包括：
S201，自所述监护视频的图像中提取所述被监护人员的人体关键点，得到人体关键点原始序列。
其中，人体关键点通常是指人的头部、肩部、躯干、四肢等主要关节部位。提取的人体关键点的数量可以包括15个关键点、18个关键点、21个关键点等。可以根据需求自行选择提取的人体关键点的数量。
由于监护视频是由很多帧图像构成的，从监护视频中选取预设数量(例如，30～200)帧图像作为分析对象，检测每一帧图像中所述被监护人员(在上述步骤S10中获取的所述监护视频的图像中属于所述被监护人员的显示区域中进行检查)的人体关键点，并获取各个人体关键点的坐标信息，得到每帧图像的人体关键点原始序列。例如，若提取所述被监护人员的15个人体关键点，每个关键点都是一个3维向量(X坐标，Y坐标，置信度)，这样，被监护人员包含15个人体关键点，则其人体关键点原始序列是一个15*3＝54维向量。
S202，根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列，所述差分序列包含所述人体关键点对应的动作信息。
选取的预设数量帧的图像按照预设帧间差分方法计算得到差分序列，该差分序列中包含了相应人体关键点的动作信息。因此，后续可以分析人体关键的差分序列获得人体动作类型信息。
所述步骤S202具体为：首先，从监护视频中按时间顺序提取预设数量(例如，30～200)帧图像。再获取预设数量帧图像中每一帧图像中人体关键点原始序列。此后，对当前帧图像与前一帧图像所对应的人体关键点原始序列做差分计算，直到所述预设数量帧图像全部计算完，得到差分序列。其中，所述当前帧图像是所述预设数量帧图像中的任一帧图像，所述前一帧图像是与所述当前帧图像相邻的前一帧图像。例如，取3帧图像中的所述被监护人员的人体关键点原始序列，计算出差分序列。第2帧与第1帧的人体关键点原始序列做差分计算，得到差分结果；同时，第3帧与第2帧的人体关键点原始序列做差分计算，得到差分结果。得到的两个差分结果就是差分序列。
S203，基于神经网络模型，根据所述差分序列获得所述监护视频中的所述被监护人员的人体动作类型。
在一实施例中，利用预设的神经网络模型对得到的差分序列进行分类，最终输出人体动作类型，其中，分类的所述人体动作类型包括：走、跑、站立、坐、揉眼睛、喝奶等指定动作。神经网络模型能够将一组输入向量映射到输出向量。在利用神经网络模型进行人体动作识别时，输入的是上一步骤计算得到的差分序列，输出结果就是人体动作类型。神经网络模型能够得到从人体关键点到人体动作类型的映射关系，从而能通过神经网络模型来实现根据所述差分序列获得所述监护视频中的所述被监护人员的人体动作类型。
在一实施例中，所述预设的神经网络模型通过如下步骤进行训练得出，此时，如图5所示，所述步骤S203之前还包括：
S204，获取视频样本；其中，所述视频样本中包含已知类型的人体动作类型。
S205，从所述视频样本的图像中提取人体关键点，得到人体关键点原始序列；此时，从所述视频样本的图像中提取人体关键点的过程与上述步骤S201中相同，此处不再赘述。
S206，根据预设的帧间差分方法计算所述视频样本中不同帧图像对应的人体关键点原始序列之间的差分序列。其中，获得差分序列的过程与上述步骤S202相同，此处不再赘述。
S207，根据所述视频样本对应的差分序列和所述样本视频包含的人体动作类型，训练得到所述神经网络模型。在利用视频样本训练神经网络模型的过程中，训练集(视频样本集合)的输出的人体动作类型已经标注。这意味着对于给定的输入值，输出结果已知，根据输入和输出确定出输入与输出之间的函数关系(权重系数)。所有训练集中视频样本输入之后，其输出会和我们已知的、期望的输出的人体动作类型进行比较，得到一个输出误差，该误差会传回上一层；如果该误差高于误差设定值，则调整相应的权重值；重复该流程(即，通过反向传播算法进行不断迭代)，直到输出误差低于误差定值，得到合适的权重值。此时，代表学习得到所述神经网络模型。
S30，检测所述人体动作类型是否属于预设的静止类型。
其中，所述静止类型是指将上述已知人体动作类型中的部分设定为静止类型(比如坐、站立等人体动作类型)，此时可以将所述步骤S20中获取的所述人体动作类型与预设的静止类型进行匹配，以确认其是否属于静止类型。
作为优选，还可以进一步检测所述被监护人员是否在预设时长之内保持不变或其变动幅度在预设变动范围之内，若其在预设时长之内保持不变或其变动幅度在预设变动范围之内，才进一步确认其属于静止类型，否则判定其不属于静止类型。
S40，在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态。
在一实施例中，如图6所示，所述步骤S40中，所述自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态，包括：
S401，自所述图像中提取所述被监护人员的微表情中的动作单元的类型及序列。
所述动作单元类型可以包括以下表1中国际上通用的19种动作单元(AU)以及眼球动态等，所述眼球动态具体为眼球的不同动作和视角，比如眼球向左、向右、向上、向下、右上看等，且眼球的不同动作和视角对应的动作单元中还可以包括对眼球动作的幅度大小进行判断。所述动作单元的序列是指所述动作单元在微表情中出现的先后顺序的排列。
表1 19种AU
| AU标号 | AU描述 |
| AU1 | 内眉上扬 |
| AU2 | 外眉上扬 |
| AU4 | 眉毛下压 |
| AU5 | 上眼脸上扬 |
| AU6 | 脸颊抬起 |
| AU7 | 眼睑收紧 |
| AU9 | 鼻子蹙皱 |
| AU10 | 上唇上扬 |
| AU12 | 嘴角上扬 |
| AU14 | 收紧嘴角 |
| AU15 | 嘴角下拉 |
| AU16 | 下嘴唇下压 |
| AU17 | 下巴缩紧 |
| AU18 | 嘴唇褶皱 |
| AU20 | 嘴唇伸展 |
| AU23 | 嘴唇收缩 |
| AU24 | 嘴唇压紧 |
| AU25 | 上下嘴唇分开 |
| AU26 | 下颚下拉 |
S402，根据所述动作单元的类型及序列确认所述被监护人员的微表情类型。
也即，数据库中预先存储有个中微表情类型(比如微表情类型为哭、笑或者生气)所对应的动作单元类型及序列，只要将在所述步骤S401中提取的所述动作单元的类型及序列，与数据库中存储的各微表情类型的所对应的动作单元类型及序列进行比对，即可确认所述微表情的类型。可理解地，在本实施例一方面，只要在所述步骤S401中提取的所述动作单元的类型及序列中，包含数据库中存储的一个微表情类型的所对应的动作单元类型(还可以包含其他动作单元)，且包含的上述动作单元的序列亦与该微表情类型所对应的动作单元序列一致，即可认为所述被监护人员的微表情类型为该微表情类型。在本实施例另一方面，亦可以仅在在所述步骤S401中提取的所述动作单元的类型及序列，与数据库中存储的一个微表情类型的动作单元类型及序列一一对应(不可多或者少任何一个动作单元，且顺序还需要一致)时，才认为所述被监护人员的微表情类型为该微表情类型。
S403，检测所述微表情类型是否属于待监护微表情。
也即，数据库中预先存储有预设的待监护微表情，该待监护微表情是值所述被监护人员需要被监护时所呈现的微表情，比如，哭闹或者打哈欠被设定为监护微表情，所述被监护人员在哭闹或不停地打哈欠，说明其感觉不舒服或者是感觉困了，此时说明其处于待监护状态。
S404，在所述微表情类型属于待监护微表情时，确认所述被监护人员处于待监护状态；也即，在被监护人员处于待监护状态时，需要对其进行人工监护。
S405，在所述微表情类型不属于待监护微表情时，确认所述被监护人员不处于待监护状态，继续自所述图像中提取所述被监护人员的微表情中的动作单元的类型及序列。
S50，在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。
可理解地，所述微表情类型(也即步骤S403中所述的待监护微表情)与需要对所述被监护人员实施的监护行为，两者关联存储在数据库中，只要根据所述微表情类型即可调取所述需要对所述被监护人员实施的监护行为，并将其显示在当前显示界面上，或语音提示用户。
在上述步骤S40中，获取所述被监护人员的微表情类型之后，可以根据该微表情类型确认其所属的待监护微表情，并获取数据库中与该待监护微表情关联的监护行为，同时提示用户对该被监护人员实施不同的监护行为。比如，微表情类型为咳嗽或吸鼻子，所述被监护人员可能已经感冒或者肺炎，此时需要提示用户对所述被监护人员实施喂药或者量体温等监护行为。
在一实施例中，所述步骤S30之后还包括：
在不属于所述静止类型时，根据所述人体动作类型确定需要对所述被监护人员实施的监护行为。
也即，在上述步骤S30中，获取所述被监护人员当前的人体动作类型之后，可以根据所述人体动作类型提示用户对该被监护人员实施不同的监护行为。比如，若被监护人员为小孩，若所述人体动作类型为揉眼睛，则可能代表所述被监护人员要睡觉，此时需要提示用户查看所述被监护人员是否需要睡觉。
在一实施例中，所述步骤S20之后还包括：
获取预设时段内所述被监护人员的特定动作类型出现的次数及持续时长，并根据所述特定动作类型出现的次数及持续时长判断下一次出现该特定动作类型的最迟时间点。其中，所述特定动作类型是指所述被监护人员需要定时且需要保持一定次数执行的人体动作类型，比如，幼儿的喝奶和睡觉所对应的人体动作类型。上述特定动作类型存储在数据库中，且预先设定了其执行周期，此时，在获取所述被监护人员的人体动作类型之后，持续跟踪该被监护人员的人体动作类型，并根据该执行周期和上述预设时段之内所述被检人员的特定动作类型出现的次数及持续时长，判断特定动作类型下一次被所述被监护人员执行时的最迟时间点(亦可以设定为一个时间段，此时该特定动作类型需要在该时间段之内执行)。可理解地，在一实施例中，所述特定动作类型亦可以是指某些与身体健康状况相关的人体动作类型，此时可以记录预设时段内所述被监护人员的特定动作类型出现的次数及持续时长，并根据其分析所述被监护人员的身体状况。比如，咳嗽次数增加，说明感冒状况加重，是否需要送所述被监护人员去医院检查。
在所述最迟时间点时，所述被监护人员并未出现该特定动作类型时，提示用户所述被监护人员的该特定动作类型滞后。也即，在预判下一次出现该特定动作类型出现的最迟时间点之后，若在该最迟时间点还未被所述被监护人员执行，此时进行到时提醒，提示用户所述被监护人员的该特定动作类型滞后，以便于用户跟进执行与其对应的监护行为。作为优选，还可以记录所有特定动作行为滞后的次数，并根据所述特定动作行为滞后的次数分析所述被监护人员的身体状况。比如，未按照规律睡眠，是否出现身体健康问题；未按规律吃饭，是否上次喂多了等等。
本实施例根据人体动作类型分析并预判被监护人员的身体状况并进行提示，有效实现了对被监护人进行全面监护。
在一实施例中，如图7所示，提供一种基于微表情识别的智能监护装置，该基于微表情识别的智能监护装置与上述实施例中基于微表情识别的智能监护方法一一对应。所述基于微表情识别的智能监护装置包括：
获取模块11，用于获取摄像设备拍摄的被监护人员的监护视频；
提取模块12，用于自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；
检测模块13，用于检测所述人体动作类型是否属于预设的静止类型；
第一确认模块14，用于在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；
第一提示模块15，用于在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。
在一实施例中，如图8所示，所述获取模块11包括：
第一获取子模块111，用于获取预设监护环境中的所有声源，并在所有声源中检测是否存在符合预设声源要求的声源；
定位子模块112，用于在存在符合预设声源要求的声源时，通过声源定位运算对该声源进行定位，获取该声源的声源位置，并标记所述声源位置；
采集子模块113，用于获取摄像设备拍摄的对应于所述声源位置的监护视频，并采集所述监护视频中的人脸图像；
第一检测子模块114，用于检测所述人脸图像是否为预设的被监护人员的人脸图像；
第二获取子模块115，用于在所述人脸图像为预设的被监护人员的人脸图像时，将所述摄像设备的拍摄角度设定为持续跟拍所述被监护人员之后，获取所述摄像设备拍摄的所述被监护人员的监护视频。
在一实施例中，如图9所示，所述提取模块12包括：
第一提取子模块121，用于自所述监护视频的图像中提取所述被监护人员的人体关键点，得到人体关键点原始序列；
第一计算子模块122，用于根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列，所述差分序列包含所述人体关键点对应的动作信息；
获得子模块123，用于基于神经网络模型，根据所述差分序列获得所述监护视频中的所述被监护人员的人体动作类型。
在一实施例中，如图10所示，所述提取模块12还包括：
第二获取子模块124，用于获取视频样本；其中，所述视频样本中包含已知类型的人体动作类型；
第二提取子模块125，用于从所述视频样本的图像中提取人体关键点，得到人体关键点原始序列；
第二计算子模块126，用于根据预设的帧间差分方法计算所述视频样本中不同帧图像对应的人体关键点原始序列之间的差分序列；
训练子模块127，用于根据所述视频样本对应的差分序列和所述样本视频包含的人体动作类型，训练得到所述神经网络模型。
在一实施例中，如图11所示，所述第一确认模块14包括：
第三提取子模块141，用于自所述图像中提取所述被监护人员的微表情中的动作单元的类型及序列；
第一确认子模块142，用于根据所述动作单元的类型及序列确认所述被监护人员的微表情类型；
第二检测子模块143，用于检测所述微表情类型是否属于待监护微表情；
第二确认子模块144，用于在所述微表情类型属于待监护微表情时，确认所述被监护人员处于待监护状态；
第三确认子模块145，用于在所述微表情类型不属于待监护微表情时，确认所述被监护人员不处于待监护状态，继续自所述图像中提取所述被监护人员的微表情中的动作单元的类型及序列。
在一实施例中，如图12所示，所述装置包括：
第二确认模块16，用于在不属于所述静止类型时，根据所述人体动作类型确定需要对所述被监护人员实施的监护行为。
在一实施例中，如图13所示，所述装置还包括：
判断模块17，用于获取预设时段内所述被监护人员的特定动作类型出现的次数及持续时长，并根据所述特定动作类型出现的次数及持续时长判断下一次出现该特定动作类型的最迟时间点；
第二提示模块18，用于在所述最迟时间点时，所述被监护人员并未出现该特定动作类型时，提示用户所述被监护人员的该特定动作类型滞后。
关于基于微表情识别的智能监护装置的具体限定可以参见上文中对于基于微表情识别的智能监护方法的限定，在此不再赘述。上述基于微表情识别的智能监护装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机可读指令被处理器执行时以实现上述任意一种基于微表情识别的智能监护方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
获取摄像设备拍摄的被监护人员的监护视频；
自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；
检测所述人体动作类型是否属于预设的静止类型；
在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；
在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机可读指令，计算机可读指令被处理器执行时实现以下步骤：
获取摄像设备拍摄的被监护人员的监护视频；
自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；
检测所述人体动作类型是否属于预设的静止类型；
在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；
在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、存储器总线直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元或模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元或模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于微表情识别的智能监护方法，其特征在于，包括：
获取摄像设备拍摄的被监护人员的监护视频；
自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；
检测所述人体动作类型是否属于预设的静止类型；
在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；
在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。
2.如权利要求1所述的基于微表情识别的智能监护方法，其特征在于，所述获取摄像设备拍摄的被监护人员的监护视频，包括：
获取预设监护环境中的所有声源，并在所有声源中检测是否存在符合预设声源要求的声源；
在存在符合预设声源要求的声源时，通过声源定位运算对该声源进行定位，获取该声源的声源位置，并标记所述声源位置；
获取摄像设备拍摄的对应于所述声源位置的监护视频，并采集所述监护视频中的人脸图像；
检测所述人脸图像是否为预设的被监护人员的人脸图像；
在所述人脸图像为预设的被监护人员的人脸图像时，将所述摄像设备的拍摄角度设定为持续跟拍所述被监护人员之后，获取所述摄像设备拍摄的所述被监护人员的监护视频。
3.如权利要求1所述基于微表情识别的智能监护的方法，其特征在于，所述自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型，包括：
自所述监护视频的图像中提取所述被监护人员的人体关键点，得到人体关键点原始序列；
根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列，所述差分序列包含所述人体关键点对应的动作信息；
基于神经网络模型，根据所述差分序列获得所述监护视频中的所述被监护人员的人体动作类型。
4.如权利要求3所述的基于微表情识别的智能监护方法，其特征在于，所述基于神经网络模型，根据所述差分序列获得所述监护视频中的所述被监护人员的人体动作类型之前，还包括：
获取视频样本；其中，所述视频样本中包含已知类型的人体动作类型；
从所述视频样本的图像中提取人体关键点，得到人体关键点原始序列；
根据预设的帧间差分方法计算所述视频样本中不同帧图像对应的人体关键点原始序列之间的差分序列；
根据所述视频样本对应的差分序列和所述样本视频包含的人体动作类型，训练得到所述神经网络模型。
5.如权利要求1所述的基于微表情识别的智能监护方法，其特征在于，所述自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态，包括：
自所述图像中提取所述被监护人员的微表情中的动作单元的类型及序列；
根据所述动作单元的类型及序列确认所述被监护人员的微表情类型；
检测所述微表情类型是否属于待监护微表情；
在所述微表情类型属于待监护微表情时，确认所述被监护人员处于待监护状态；
在所述微表情类型不属于待监护微表情时，确认所述被监护人员不处于待监护状态，继续自所述图像中提取所述被监护人员的微表情中的动作单元的类型及序列。
6.如权利要求1所述的基于微表情识别的智能监护方法，其特征在于，所述检测所述人体动作类型是否属于预设的静止类型之后，包括：
在不属于所述静止类型时，根据所述人体动作类型确定需要对所述被监护人员实施的监护行为。
7.如权利要求1所述的基于微表情识别的智能监护方法，其特征在于，所述自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型之后，包括：
获取预设时段内所述被监护人员的特定动作类型出现的次数及持续时长，并根据所述特定动作类型出现的次数及持续时长判断下一次出现该特定动作类型的最迟时间点；
在所述最迟时间点时，所述被监护人员并未出现该特定动作类型时，提示用户所述被监护人员的该特定动作类型滞后。
8.一种基于微表情识别的智能监护装置，其特征在于，包括：
获取模块，用于获取摄像设备拍摄的被监护人员的监护视频；
提取模块，用于自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；
检测模块，用于检测所述人体动作类型是否属于预设的静止类型；
第一确认模块，用于在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；
第一提示模块，用于在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至7任一项所述基于微表情识别的智能监护方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至7任一项所述基于微表情识别的智能监护方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537240.XA CN109784179A (zh) | 2018-12-15 | 2018-12-15 | 基于微表情识别的智能监护方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537240.XA CN109784179A (zh) | 2018-12-15 | 2018-12-15 | 基于微表情识别的智能监护方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109784179A true CN109784179A (zh) | 2019-05-21 |
Family
ID=66497076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811537240.XA Pending CN109784179A (zh) | 2018-12-15 | 2018-12-15 | 基于微表情识别的智能监护方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109784179A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210592A (zh) * | 2020-01-07 | 2020-05-29 | 珠海爬山虎科技有限公司 | 视频识别监护方法、计算机装置以及计算机可读存储介质 |
| WO2021082045A1 (zh) * | 2019-10-29 | 2021-05-06 | 平安科技（深圳）有限公司 | 微笑表情检测方法、装置、计算机设备及存储介质 |
| WO2022002276A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳Tcl新技术有限公司 | 基于人员类别属性的远程看护方法、设备及可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937605A (zh) * | 2010-09-08 | 2011-01-05 | 无锡中星微电子有限公司 | 基于人脸检测的睡眠监控系统 |
| US20120101735A1 (en) * | 2010-10-21 | 2012-04-26 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing an emotion of an individual based on facial action units |
| CN103065122A (zh) * | 2012-12-21 | 2013-04-24 | 西北工业大学 | 基于面部动作单元组合特征的人脸表情识别方法 |
| CN105116994A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人追踪方法和追踪装置 |
| CN106970704A (zh) * | 2017-02-23 | 2017-07-21 | 北京光年无限科技有限公司 | 一种面向智能机器人的人机交互方法及装置 |
| CN107832708A (zh) * | 2017-11-09 | 2018-03-23 | 云丁网络技术(北京)有限公司 | 一种人体动作识别方法及装置 |
| CN107944434A (zh) * | 2015-06-11 | 2018-04-20 | 广东欧珀移动通信有限公司 | 一种基于旋转摄像头的报警方法及终端 |
| CN108711452A (zh) * | 2018-01-25 | 2018-10-26 | 鲁东大学 | 基于视觉的人体健康状态分析方法和系统 |
| CN108806765A (zh) * | 2018-05-23 | 2018-11-13 | 刘博韬 | 一种智能婴儿监护系统 |
-
2018
- 2018-12-15 CN CN201811537240.XA patent/CN109784179A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937605A (zh) * | 2010-09-08 | 2011-01-05 | 无锡中星微电子有限公司 | 基于人脸检测的睡眠监控系统 |
| US20120101735A1 (en) * | 2010-10-21 | 2012-04-26 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing an emotion of an individual based on facial action units |
| CN103065122A (zh) * | 2012-12-21 | 2013-04-24 | 西北工业大学 | 基于面部动作单元组合特征的人脸表情识别方法 |
| CN107944434A (zh) * | 2015-06-11 | 2018-04-20 | 广东欧珀移动通信有限公司 | 一种基于旋转摄像头的报警方法及终端 |
| CN105116994A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人追踪方法和追踪装置 |
| CN106970704A (zh) * | 2017-02-23 | 2017-07-21 | 北京光年无限科技有限公司 | 一种面向智能机器人的人机交互方法及装置 |
| CN107832708A (zh) * | 2017-11-09 | 2018-03-23 | 云丁网络技术(北京)有限公司 | 一种人体动作识别方法及装置 |
| CN108711452A (zh) * | 2018-01-25 | 2018-10-26 | 鲁东大学 | 基于视觉的人体健康状态分析方法和系统 |
| CN108806765A (zh) * | 2018-05-23 | 2018-11-13 | 刘博韬 | 一种智能婴儿监护系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021082045A1 (zh) * | 2019-10-29 | 2021-05-06 | 平安科技（深圳）有限公司 | 微笑表情检测方法、装置、计算机设备及存储介质 |
| CN111210592A (zh) * | 2020-01-07 | 2020-05-29 | 珠海爬山虎科技有限公司 | 视频识别监护方法、计算机装置以及计算机可读存储介质 |
| WO2022002276A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳Tcl新技术有限公司 | 基于人员类别属性的远程看护方法、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Aung et al. | The automatic detection of chronic pain-related expression: requirements, challenges and the multimodal EmoPain dataset | |
| Egede et al. | Fusing deep learned and hand-crafted features of appearance, shape, and dynamics for automatic pain estimation | |
| Lucey et al. | Automatically detecting pain in video through facial action units | |
| CN110147729A (zh) | 用户情绪识别方法、装置、计算机设备及存储介质 | |
| Poppe et al. | AMAB: Automated measurement and analysis of body motion | |
| Heydarzadeh et al. | In-bed posture classification using deep autoencoders | |
| CN109784179A (zh) | 基于微表情识别的智能监护方法、装置、设备及介质 | |
| Liang et al. | Video-based biometric identification using eye tracking technique | |
| CN104331685A (zh) | 非接触式主动呼叫方法 | |
| JP2004527313A (ja) | 被験者の行動解析 | |
| CN110637324B (zh) | 三维数据系统以及三维数据处理方法 | |
| Dantcheva et al. | Expression recognition for severely demented patients in music reminiscence-therapy | |
| JP2011039934A (ja) | 感情推定システム及びそれを利用した学習システム | |
| Velloso et al. | AutoBAP: Automatic coding of body action and posture units from wearable sensors | |
| Gavrilescu | Proposed architecture of a fully integrated modular neural network-based automatic facial emotion recognition system based on Facial Action Coding System | |
| Пуріш et al. | Gait recognition methods in the task of biometric human identification | |
| Chen et al. | Hierarchical posture representation for robust action recognition | |
| Taskirar et al. | Face recognition using dynamic features extracted from smile videos | |
| Vashishth et al. | Exploring the Role of Computer Vision in Human Emotion Recognition: A Systematic Review and Meta-Analysis | |
| Venture | Human characterization and emotion characterization from gait | |
| Zhang et al. | Biometric recognition | |
| She et al. | Micro-expression recognition based on multiple aggregation networks | |
| Lee et al. | Pain intensity estimation from mobile video using 2d and 3d facial keypoints | |
| Tin | Facial extraction and lip tracking using facial points | |
| Chiranjeevi et al. | Surveillance Based Suicide Detection System Using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |