CN108992079A - 一种基于情感识别和声纹识别的婴儿行为监控方法 - Google Patents

Abstract

本发明属于检测设备技术领域，提供一种基于情感识别和声纹识别的婴儿行为监控方法。所述方法包括：通过摄像头、麦克风、传感器实时获取婴儿的图像、声音、生理参数以及婴儿体表的湿度；实时根据婴儿情感识别数据库分析婴儿的情绪和需求；当判断婴儿在啼哭时，综合分析判断婴儿啼哭的原因是属于生理性的还是病理性的；如果判断婴儿啼哭的原因是生理性的，根据生理性面部表情和声纹数据库判断婴儿有哪种需求；如果是病理性的，判断婴儿患有哪种疾病；分析婴儿的状态后，发出对应的提示信号，反馈到智能终端上。本发明结合情感识别和声纹识别随时监控婴儿的状态，并给看护人发送提示；可以及时识别婴儿啼哭原因，并提示父母或其他看护人。

Description

一种基于情感识别和声纹识别的婴儿行为监控方法

技术领域

本发明属于检测设备技术领域，尤其涉及一种基于情感识别和声纹识别的婴儿行为监控方法。

背景技术

目前，已经出现了婴儿监护检测设备及其使用处理方法。传统的婴儿监控器由看护器和显示器两部分组成，看护器部分有摄像头，内置有红外感应器，具有夜视功能。显示器部分用来随时查看宝宝的状况。婴儿监控器的应用大大提高了生活的自由度和灵活性。通过这种装置父母就可以在别的房间甚至室外院落中处理其它事物。但是父母离开婴儿后，尤其是夜间如果婴儿哭闹或是婴儿醒来之后父母得不到及时的提示，对于婴儿哭闹的原因父母也不会应得到相应的提示。

中国专利申请201710787725.3公开了一种便携式婴儿啼哭声识别器及其识别方法，中国专利申请201710787722.X公开了一种婴儿啼哭声识别提示方法及系统。两种技术都是基于对婴儿啼哭声的分析、识别，并结合图像校验来识别和提示婴儿啼哭的原因的。但是，这种识别的准确率有限，而且也不能及时反映婴儿的生理状况。婴儿的意识形态并不完善，不同原因引起的啼哭，其声音可能是相同的，仅用与大数据对照来识别啼哭原因，并不适用于每个婴儿，因而这种识别方法经常出错。

中国专利申请201310747594.8公开了一种婴儿健康和情绪状态检测设备，该检测设备以睡衣为载体，检测婴儿的心率和体温，看护人可以手动输入婴儿的情绪状态，通过积累形成矩阵数据库，之后看护人可以通过类比婴儿的心率和体温判断目前婴儿的情绪状态。该技术能够及时反映婴儿的生理状态，但是，对婴儿情绪，尤其是啼哭原因，的分析存在滞后性。虽然针对使用的婴儿单独对照，提高了分析婴儿情绪的准确性，但这是在积累分析一段时间关于婴儿情绪反映时的生理状态变化之后才能达到的效果。特别是，随着婴儿的生长，婴儿因同一原因啼哭的声音也是有变化的，这种变化却不能及时在反映出来，却可能因为之前存的数据库产生误判。

本发明提供一种基于情感识别和声纹识别的婴儿行为监控方法，结合声纹识别、生理检测、情感识别来监控婴儿的行为和情绪。

发明内容

为了解决上述技术问题，本发明的目的是对婴儿的生理、行为进行监控，通过多数据组合分析及个体数据对照，识别婴儿哭闹的原因，并及时给父母相应的提示。

为了达到上述目的，本发明采用了如下的技术方案。

本发明提供一种基于情感识别和声纹识别的婴儿行为监控方法，所述方法包括如下内容：

通过摄像头实时获取婴儿的图像，通过麦克风实时获取婴儿的声音，通过传感器获取婴儿的生理参数以及婴儿体表的湿度，并显示这些信息；

实时根据婴儿情感识别数据库分析婴儿的情绪和需求；

当判断婴儿在啼哭时，综合分析此时婴儿的图像、声音、生理参数、湿度，判断婴儿啼哭的原因是属于生理性的还是病理性的；

如果判断婴儿啼哭的原因是生理性的，根据生理性面部表情和声纹数据库判断婴儿有哪种需求；

如果判断婴儿啼哭的原因是病理性的，根据病理性面部表情和声纹数据库判断婴儿患有哪种疾病；

分析婴儿的状态后，发出对应的提示信号，反馈到智能终端上。

所述生理参数包括呼吸、心率、体温、血压等参数。

所述婴儿情感识别数据库包括生理参数情感识别数据库、表情和姿态情感识别数据库、语音情感识别数据库。

所述综合分析此时婴儿的图像、声音、生理参数、湿度，是根据婴儿病理性表征数据库判断婴儿的表情、皮肤、体温、呼吸、血压、心率、体表等是否满足婴儿病理性表征。如果满足婴儿病理性表征，则判断婴儿啼哭的原因为病理性的；如果不满足，则判断婴儿啼哭的原因为生理性的。

婴儿生理性的啼哭原因包括饥饿、口渴、尿不湿未及时更换、衣着不当、大小便前、周围无人、姿态不舒服等，婴儿病理性的啼哭原因是身体出现某些症状引起婴儿不适，例如体温过高、呼吸困难、肠痉挛、皮肤瘙痒肿痛等。

所述智能终端可以是智能手机、平板电脑、笔记本电脑、智能可穿戴设备等。

本发明中婴儿监护的方法，包括情感识别和声纹识别。首先，通过情感识别分析婴儿的情绪状态：对于情感识别有两种方式，一种是检测生理信号如呼吸、心率和体温等，另一种是检测情感行为如面部特征表情特征识别、语音情感识别和姿态识别。然后，如果婴儿啼哭通过声纹识别和图像对照分析啼哭原因：声纹识别可以将语音信号进行处理，声纹特征进行提取，声纹建模，声纹对比，判别决策等。最后，通过声纹识别和表情识别判断婴儿是处于哪一种状态，然后反馈消息到终端上，可以让新手父母准确的知道宝宝的状态。

在进一步的技术方案中，所述方法还包括通过信息采集单元采集看护人反馈的婴儿情感状态和啼哭原因的信息；看护人通过信息采集单元反馈婴儿啼哭的原因和需求；将看护人反馈的信息与已有的数据库对照补充，优化数据库使其更适用于该婴儿。

所述优化数据库是指，当反馈的信息与已有的数据库不一致时，对该次婴儿的哭声进行处理，提取声纹特征，建立个体声纹模型，并不断更新个体声纹模型。

当婴儿啼哭的声音符合个体声纹模型时，同时提示个体声纹模型判断结果和已有的数据库判断结果。

本发明具有如下有益效果：1、本发明所述的监护方法能够及时的显示婴儿的图像和生理参数；2、可以随时监控婴儿是否有疾病隐患；3、如果婴儿突然啼哭，也可以及时识别原因，并提示父母或其他看护人；4、建立个体声纹模型，并及时更新，适应婴儿的生长和需求的变化。

附图说明

图1为本发明实施例1中智能终端上提示婴儿睡醒了的示意图；

图2为本发明实施例1中婴儿啼哭时的执行流程图。

具体实施方式

下面结合具体实施方式来说明本发明的技术方案。但是，应当说明的是，下述实施例仅是本发明中的一个具体实施方案，而不用应当理解为对本发明的限制。

实施例1

对于出生三个月以内的婴儿，基本上只能发出哭声或类似哭声的声音来表达自己的需求。本实施例中将本发明所述基于情感识别和声纹识别的婴儿行为监控方法应用于出生三个月以内的婴儿，具体包括如下内容：

1)通过摄像头实时获取婴儿的图像，通过麦克风实时获取婴儿的声音，通过传感器获取婴儿的呼吸、心率、体温以及婴儿后背心和臀部的湿度，并显示这些信息。

2)实时根据婴儿情感识别数据库分析婴儿的情绪和需求。

出生两个月以内的婴儿每天的绝大多数时间都是在睡眠中度过的，尤其是出生一个月以内的婴儿。此时，虽然婴儿天然携带母体提供的抗体，但是由于婴儿非常弱小，没有反抗能力，这个时期的婴儿很容易出现各种意外，比如生理性黄疸消除缓慢、焐热综合症、因为口鼻被捂着引起窒息、皮肤过敏、新生儿肺炎等等。新生儿父母夜间护理婴儿，通常比较疲惫，可能不能及时发现这些问题。

根据婴儿情感识别数据库分析婴儿的情绪和需求。所述婴儿情感识别数据库包括生理参数情感识别数据库、表情和姿态情感识别数据库、语音情感识别数据库。

对于情感识别有两种方式，一种是检测生理信号如呼吸、心率和体温等，另一种是检测情感行为如面部特征表情特征识别、语音情感识别和姿态识别。例如通过面部表情特征识别婴儿是否醒来、是否啼哭、是否睡着、肤色是否正常等；通过检测体温、呼吸、心率，与婴儿正常婴儿生理标准对比，来识别婴儿是否不适(体温较高或过高、呼吸频率和心率较高或较低)；通过体表湿度判断婴儿是否便溺、是否排汗，排汗时间是否过长等。并根据这些情绪状态来分析婴儿的需求，例如需要喂奶、需要更换尿布或尿不湿、需要减少衣物(排汗多或时间长)等。如果判断婴儿啼哭，那么进行下一步判断，否则并发出相应的提示音，并传送给智能终端。

某些婴儿醒来以后，如果没有什么需求，并不会啼哭。如果判断婴儿醒来但没有啼哭，那么只发出婴儿醒来的提示，如图1所示。

3)当判断婴儿在啼哭时，综合分析此时婴儿的图像、声音、生理参数、湿度，判断婴儿啼哭的原因是属于生理性的还是病理性的。

所述综合分析此时婴儿的图像、声音、生理参数、湿度，是根据婴儿病理性表征数据库判断婴儿的表情、皮肤、体温、呼吸、血压、心率、体表等是否满足婴儿病理性表征。如果满足婴儿病理性表征，则判断婴儿啼哭的原因为病理性的；如果不满足，则判断婴儿啼哭的原因为生理性的。图2为本实施例中婴儿啼哭时的执行流程图。

婴儿生理性的啼哭原因包括饥饿、口渴、尿不湿未及时更换、衣着不当、大小便前、周围无人、姿态不舒服等，婴儿病理性的啼哭原因是身体出现某些症状引起婴儿不适，例如体温过高、呼吸困难、肠痉挛、皮肤瘙痒肿痛等。

4)如果判断婴儿啼哭的原因是生理性的，根据生理性面部表情和声纹数据库判断婴儿有哪种需求。

预先建立生理性面部表情和声纹数据库，包含婴儿生理性啼哭原因的图像特征和声纹特征模型。将获取到的图像和声纹特征与数据库的图像和声纹特征进行特征对比，判断婴儿符合那种需求所显示的特征。

例如，新生儿的父母通常是第一次照顾婴儿，可能会进入一些误区，比如害怕婴儿受凉，给婴儿穿很厚的衣物并包裹很厚的包被。这样虽然能够避免婴儿受凉，但是，如果室内还有暖气的话，很容易让婴儿体温过热、大汗淋漓。如果时间过长，就可能引起脱水、呼吸衰竭、休克(焐热综合症)等症状。婴儿在觉得很热时，也会哭闹，如果通过图像和声纹特征对比，符合相应的特征，则判断婴儿可能因为觉得热而啼哭。

当然，如果婴儿没有哭闹，但是检测体温过高、或体温较高持续时间比较长，并且婴儿后背心湿度很大又持续时间较长。在步骤2)时，就会相应提示，提醒看护人查看婴儿体温，补充水分，减少衣被。

5)如果判断婴儿啼哭的原因是病理性的，根据病理性面部表情和声纹数据库判断婴儿患有哪种疾病。

预先建立病理性面部表情和声纹数据库，包含婴儿生理性啼哭原因的图像特征和声纹特征模型。将获取到的图像和声纹特征与数据库的图像和声纹特征进行特征对比，判断婴儿符合那种疾病所显示的特征。

例如，婴儿肠绞痛是一种两个月以内婴儿常见的疾病，通常发生在黄昏或夜间，突发性尖叫，面色渐红，难以安抚，每天哭闹的时间基本一样。如果通过图像和声纹特征对比，符合相应的特征，则判断婴儿可能因为肠绞痛而啼哭。

6)分析婴儿的状态后，发出对应的提示信号，反馈到智能终端上。

通过上述分析，确定婴儿的状态或啼哭的原因，发出提示信号，一般为警示声音，并能够反馈到智能终端，提醒不再婴儿周围的看护人及时查看婴儿状态，并满足婴儿的需求。比如，及时喂奶、及时更换。

所述智能终端可以是智能手机、平板电脑、笔记本电脑、智能可穿戴设备等。

实施例2

对于出生七个月左右的婴儿，已经能够发出多种的声音来表达自己的需求，也能够来回打滚。本实施例中将本发明所述基于情感识别和声纹识别的婴儿行为监控方法应用于出生七个月左右的婴儿，具体包括如下内容：

1)通过摄像头实时获取婴儿的图像，通过麦克风实时获取婴儿的声音，通过传感器获取婴儿的呼吸、心率、体温以及婴儿后背心和臀部的湿度，并显示这些信息。

2)实时根据婴儿情感识别数据库分析婴儿的情绪和需求。

出生七个月左右的婴儿除了晚上睡觉外，每天白天仍需睡觉三次左右。而且，婴儿天然携带的母体提供的抗体已经消失，很容易生病。新生儿父母夜间护理婴儿，通常比较疲惫，白天又忙于家务活工作，婴儿睡觉醒来可能不能及时发现。

根据婴儿情感识别数据库分析婴儿的情绪和需求。所述婴儿情感识别数据库包括生理参数情感识别数据库、表情和姿态情感识别数据库、语音情感识别数据库。

七个月左右的婴儿在晚上睡觉是也会左右翻滚，甚至俯睡。如果俯睡时间较长可能引起呼吸不畅，心率加快等。当检测到这些姿态、呼吸、心率等特征时，会及时发出提示音，并发送到智能终端，提醒看护人帮助婴儿调整睡觉姿势。

七个月左右婴儿白天醒来以后，如果没有什么需求，不一定会啼哭。婴儿可能会自己翻滚玩耍，如果不注意很可能从床上滚下，因此需要及时提醒看护人回到婴儿身边。如果判断婴儿醒来但没有啼哭，那么只发出婴儿醒来的提示，如图1所示。

3)当判断婴儿在啼哭时，综合分析此时婴儿的图像、声音、生理参数、湿度，判断婴儿啼哭的原因是属于生理性的还是病理性的。

所述综合分析此时婴儿的图像、声音、生理参数、湿度，是根据婴儿病理性表征数据库判断婴儿的表情、皮肤、体温、呼吸、血压、心率、体表等是否满足婴儿病理性表征。如果满足婴儿病理性表征，则判断婴儿啼哭的原因为病理性的；如果不满足，则判断婴儿啼哭的原因为生理性的。图2为本实施例中婴儿啼哭时的执行流程图。

婴儿生理性的啼哭原因包括饥饿、口渴、尿不湿未及时更换、衣着不当、大小便前、周围无人、姿态不舒服等，婴儿病理性的啼哭原因是身体出现某些症状引起婴儿不适，例如体温过高、呼吸困难、肠痉挛、皮肤瘙痒肿痛等。

4)如果判断婴儿啼哭的原因是生理性的，根据生理性面部表情和声纹数据库判断婴儿有哪种需求。

预先建立生理性面部表情和声纹数据库，包含婴儿生理性啼哭原因的图像特征和声纹特征模型。将获取到的图像和声纹特征与数据库的图像和声纹特征进行特征对比，判断婴儿符合那种需求所显示的特征。

5)如果判断婴儿啼哭的原因是病理性的，根据病理性面部表情和声纹数据库判断婴儿患有哪种疾病。

预先建立病理性面部表情和声纹数据库，包含婴儿生理性啼哭原因的图像特征和声纹特征模型。将获取到的图像和声纹特征与数据库的图像和声纹特征进行特征对比，判断婴儿符合那种疾病所显示的特征。

6)分析婴儿的状态后，发出对应的提示信号，反馈到智能终端上。

通过上述分析，确定婴儿的状态或啼哭的原因，发出提示信号，一般为警示声音，并能够反馈到智能终端，提醒不再婴儿周围的看护人及时查看婴儿状态，并满足婴儿的需求。比如，及时喂奶、及时更换。

所述智能终端可以是智能手机、平板电脑、笔记本电脑、智能可穿戴设备等。

实施例3

本实施例包含于实施例1和2相同的内容。本实施例还包含通过信息采集单元采集看护人反馈的婴儿情感状态和啼哭原因的信息；看护人通过信息采集单元反馈婴儿啼哭的原因和需求；将看护人反馈的信息与已有的数据库对照补充，优化数据库使其更适用于该婴儿。

所述优化数据库是指，当反馈的信息与已有的数据库不一致时，对该次婴儿的哭声进行处理，提取声纹特征，建立个体声纹模型，并不断更新个体声纹模型。

当婴儿啼哭的声音符合个体声纹模型时，同时提示个体声纹模型判断结果和已有的数据库判断结果。

通过图像特征、声纹特征来判断婴儿啼哭的原因，大部分情况下是准确的。但个别婴儿的表现，或者在某段时间的表现，与其他婴儿的变现差别较大，这可能造成通过预先保存的数据库判断不准确。为了增强准确性，设置了信息采集单元。如果看护人发现判断结果不准确，可以将这次的真实情况输入到信息采集单元。然后建立个体声纹模型。当下一次婴儿啼哭的声音符合个体声纹模型时，同时提示个体声纹模型判断结果和已有的数据库判断结果。

随着婴儿的成长，同一需求发出的声音可能会变化，那么个体声纹模型也随之变化，以增强判断结果的准确性。

Claims (9)

1.一种基于情感识别和声纹识别的婴儿行为监控方法，其特征在于，所述方法包括如下内容：

通过摄像头实时获取婴儿的图像，通过麦克风实时获取婴儿的声音，通过传感器获取婴儿的生理参数以及婴儿体表的湿度，并显示这些信息；

实时根据婴儿情感识别数据库分析婴儿的情绪和需求；

当判断婴儿在啼哭时，综合分析此时婴儿的图像、声音、生理参数、湿度，判断婴儿啼哭的原因是属于生理性的还是病理性的；

如果判断婴儿啼哭的原因是生理性的，根据生理性面部表情和声纹数据库判断婴儿有哪种需求；

如果判断婴儿啼哭的原因是病理性的，根据病理性面部表情和声纹数据库判断婴儿患有哪种疾病；

分析婴儿的状态后，发出对应的提示信号，反馈到智能终端上。

2.根据权利要求1所述的监控方法，其特征在于，所述生理参数包括呼吸、心率、体温、血压。

3.根据权利要求1所述的监控方法，其特征在于，所述婴儿情感识别数据库包括生理参数情感识别数据库、表情和姿态情感识别数据库、语音情感识别数据库。

4.根据权利要求1所述的监控方法，其特征在于，所述综合分析此时婴儿的图像、声音、生理参数、湿度，是根据婴儿病理性表征数据库判断婴儿的表情、皮肤、体温、呼吸、血压、心率、体表是否满足婴儿病理性表征；如果满足婴儿病理性表征，则判断婴儿啼哭的原因为病理性的；如果不满足，则判断婴儿啼哭的原因为生理性的。

5.根据权利要求1所述的监控方法，其特征在于，婴儿生理性的啼哭原因包括饥饿、口渴、尿不湿未及时更换、衣着不当、大小便前、周围无人、姿态不舒服，婴儿病理性的啼哭原因是身体出现某些症状引起婴儿不适，包括体温过高、呼吸困难、肠痉挛、皮肤瘙痒肿痛。

6.根据权利要求1所述的监控方法，其特征在于，所述智能终端可以是智能手机、平板电脑、笔记本电脑、智能可穿戴设备。

7.根据权利要求1所述的监控方法，其特征在于，所述方法还包括通过信息采集单元采集看护人反馈的婴儿情感状态和啼哭原因的信息；看护人通过信息采集单元反馈婴儿啼哭的原因和需求；将看护人反馈的信息与已有的数据库对照补充，优化数据库使其更适用于该婴儿。

8.根据权利要求7所述的监控方法，其特征在于，所述优化数据库是指，当反馈的信息与已有的数据库不一致时，对该次婴儿的哭声进行处理，提取声纹特征，建立个体声纹模型，并不断更新个体声纹模型。

9.根据权利要求7所述的监控方法，其特征在于，当婴儿啼哭的声音符合个体声纹模型时，同时提示个体声纹模型判断结果和已有的数据库判断结果。