CN108710820A

CN108710820A - 基于人脸识别的婴儿状态识别方法、装置和服务器

Info

Publication number: CN108710820A
Application number: CN201810287084.XA
Authority: CN
Inventors: 佟莎莎
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Baidu Online Network Technology Beijing Co Ltd; Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2018-03-30
Filing date: 2018-03-30
Publication date: 2018-10-26

Abstract

本发明提出一种基于人脸识别的婴儿状态识别方法、装置和服务器，所述方法包括：获取目标婴儿在预定时间间隔内的多张面部图像；提取所获取的每张面部图像的人脸特征；将所提取的人脸特征输入预设状态分类器中，并统计每个状态对应的面部图像的数量；以及根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一状态；其中，所述人脸特征和所述预设状态分类器通过对关于婴儿的多张面部图片进行训练得到，并且所述多张面部图片包括指示婴儿状态的多张图片。通过提取婴儿的人脸特征对婴儿进行人脸识别，可以确定出婴儿目前的状态，从而为家长提供参考，能更有针对性地对婴儿进行处理。

Description

基于人脸识别的婴儿状态识别方法、装置和服务器

技术领域

本发明涉及互联网领域，并具体涉及一种基于人脸识别的婴儿状态识别方法、装置和服务器。

背景技术

随着技术的发展，计算机技术在生活各个方面都得到了广泛的应用。如今，在面对尚未学会说话的婴儿时，很难判断出婴儿的情绪如何，也就很难根据婴儿的状态来处理正处于哭闹中的婴儿，或者准确判断出婴儿目前的状态。当婴儿身体不舒服时，可能无法及时发现。

如今的现有技术中，应用人脸识别技术的母婴产品一般是基于人脸识别的防盗婴儿车，或者是可以通过人脸识别对婴儿的饥饿程度进行判断，在确定婴儿处于饥饿状态时对婴儿进行自动喂食。

但是，在智能喂食婴儿车中，仅是通过人脸识别判断婴儿的嘴巴位置，进而实现喂食，而不能准确判断出婴儿的状态。

发明内容

本发明实施例提供一种基于人脸识别的婴儿状态识别方法、装置和服务器，以至少解决现有技术中的一个或更多个技术问题，至少提供一种有益的选择。

第一方面，本发明实施例提供了一种基于人脸识别的婴儿状态识别方法，包括：

获取目标婴儿在预定时间间隔内的多张面部图像；

提取所获取的每张面部图像的人脸特征；

将所提取的人脸特征输入预设状态分类器中，并统计每个状态对应的面部图像的数量；以及

根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一状态；

其中，所述人脸特征和所述预设状态分类器通过对关于婴儿的多张面部图片进行训练得到，并且所述多张面部图片包括指示婴儿状态的多张图片。

结合第一方面，本发明在第一方面的第一种实施方式中，还包括：

获取所述目标婴儿在所述预定时间间隔内的声音信息；

提取所述声音信息的响度和/或音调特征；以及

根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一状态，包括：

根据所统计的面部图像的数量和所述声音信息的响度和/或音调特征，确定所述目标婴儿的状态为所述第一状态。

结合第一方面的第一种实施方式，所述根据所统计的面部图像的数量和所述声音信息的响度和/或音调特征，确定所述目标婴儿的状态为所述第一状态，包括：

根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一预定状态；其中，所述第一预定状态为对应的面部图像的数量最多且大于第一阈值的状态；

将所述响度和/或音调特征与预设状态数据库中的状态数据进行匹配，得到所述目标婴儿的第二预定状态；其中，所述预设状态数据库包括婴儿状态分类和相对应的响度和/或音调特征，并且所述婴儿状态分类与所述预设状态分类器所得到的婴儿状态分类相对应；以及

当所述第一预定状态与所述第二预定状态相匹配时，确定所述目标婴儿的状态为第一状态。

结合第一方面，本发明在第一方面的第二种实施方式中，在所述将所述目标婴儿的状态确定为第一预定状态之后，还包括：

接收所述第一状态是否正确的指示；以及

在接收到所述第一状态正确的指示时，将所获取的多张面部图像添加至进行训练所使用的多张面部图片中，并且重新进行训练，得到更新后的人脸特征和预设状态分类器。

结合第一方面，本发明在第一方面的第三种实施方式中，所述婴儿的状态包括以下中的一种：饥饿、兴奋、愤怒、疼痛、生病、和高兴。

第二方面，本发明实施例提供了一种基于人脸识别的婴儿状态识别装置，包括：

图像获取模块，用于获取目标婴儿在预定时间间隔内的多张面部图像；

特征提取模块，用于提取所获取的每张面部图像的人脸特征；

状态分类模块，将所提取的人脸特征输入预设状态分类器中，并统计每个状态对应的面部图像的数量；以及

状态确定模块，用于根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一状态；

第三方面，本发明实施例提供了一种服务器，所述服务器包括：

一个或多个处理器；

存储装置，配置为存储一个或多个程序；

通信接口，配置为使所述处理器和存储装置与外部设备进行通信；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述第一方面中的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储所述基于人脸识别的婴儿状态识别装置所用的计算机软件指令，其包括用于执行上述第一方面中的基于人脸识别的婴儿状态识别方法为所述基于人脸识别的婴儿状态识别装置所涉及的程序。

上述技术方案中的另一个技术方案具有如下优点或有益效果：通过提取婴儿的人脸特征对婴儿进行人脸识别，可以确定出婴儿目前的状态，从而为家长提供参考，能更有针对性地对婴儿进行处理。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1为根据本发明一个实施例的基于人脸识别的婴儿状态识别方法的流程图；

图2为根据本发明另一实施例的基于人脸识别的婴儿状态识别方法的流程图；

图3为根据本发明另一实施例的状态确定方法的流程图；

图4为根据本发明另一实施例的基于人脸识别的婴儿状态识别装置的结构示意图；

图5为根据本发明另一实施例的基于人脸识别的婴儿状态识别装置的结构示意图；

图6为根据本发明另一实施例的状态确定模块的结构示意图；

图7为根据本发明另一实施例的服务器的结构示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

图1示出了根据本发明一个实施例的基于人脸识别的婴儿状态识别方法100的流程图。方法100可以应用于单独的设备上，也可以作为模块嵌入在婴儿床、婴儿车、或者家长使用的智能设备上。如图1所示，方法100可以包括：

S110：获取目标婴儿在预定时间间隔内的多张面部图像；

为了更准确地识别婴儿的状态，可以通过图像获取装置、例如摄像头获取目标婴儿的多张面部图像，以进行综合分析。此外，可以理解的是，婴儿的状态可能会发生变化，因此，本发明实施例中获取的是目标婴儿在预定时间间隔内的面部图像。此外，为了能及时对婴儿的状态做出响应，预定时间间隔优选设置得比较短，例如可以为三秒钟或五秒钟，但是更长的预定时间间隔也是可以的，可根据实际需要确定。

S120：提取所获取的每张面部图像的人脸特征；

本发明实施例中，通过人脸识别技术来对婴儿的状态进行识别。人脸识别技术广泛用于各种场合，例如公司通过人脸识别进行考勤记录、海关系统通过人脸识别进行过关检验等。在现有的人脸识别技术中，可以通过提取人脸视觉特征、像素统计特征、人脸图像代数特征等来进行。由于婴儿通常脸颊肥胖，因此，本发明实施例中，优选提取婴儿的眼睛、嘴巴、面色等方面的特征，具体方法在下文中进行详细描述。

S130：将所提取的人脸特征输入预设状态分类器中，并统计每个状态对应的面部图像的数量；

优选地，S120和S130中提到的人脸特征和预设状态分类器可以通过对关于婴儿的多张面部图片进行训练得到，并且此处所使用的多张面部图片应包括指示婴儿状态的多张图片。此处所提到的多张面部图片，可以是大量婴儿的多张面部图片，这样得出的人脸特征具有普适性，适合于大多数婴儿的情况。并且，进行训练时可以提取如上所述的婴儿面部部位、例如眼睛、嘴巴等方面的特征，可以使得到的人脸特征和分类器更具有针对性，最终得到的结果也更为准确。

分类器常用于数据挖掘，其输入通常是特征向量，输出通常也是数值，但是每个数值指示不同的类别。本发明实施例中，可以利用神经网络、特别是深度卷积神经网络，并且基于上述多张面部图片来进行训练，从而得到预设状态分类器。

在对所获取的面部图片进行分类之后，可以通过统计获取每个状态对应的面部图像的数量。此处的状态可以包括以下中的一种：饥饿、兴奋、愤怒、疼痛、生病、和高兴。

S140：根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一状态。

此处提到的第一状态并非特指，可以是上述状态中的任一种，也可以是其他预先设置的状态。

由于婴儿不会开口说话，无法通过语言来描述自己的情况。而且，婴儿在不舒服时常常伴随哭声，高兴时也会发出各种声音。因此，在本发明另一实施例中，提供了一种基于人脸识别的婴儿状态识别方法200，如图2所示，方法200可以包括：

S210：获取目标婴儿在预定时间间隔内的多张面部图像；

S220：提取所获取的每张面部图像的人脸特征；

S230：将所提取的人脸特征输入预设状态分类器中，并统计每个状态对应的面部图像的数量；

S210-S230与S110-S130相同，在此不做赘述。

S240：获取所述目标婴儿在所述预定时间间隔内的声音信息；

在本实施例中，除了获取目标婴儿的面部图像之外，还可以获取目标婴儿的声音信息。可以通过麦克风等声音获取装置来获取声音信息。可以理解的是，在不哭闹时，婴儿也可能会发出小的声音来提示成人他/她有某种需求，因此，为了使得到的结果更为准确，在本发明一个优选实施方式中，还可以对获取的声音信息进行预处理，以过滤环境中的噪声。

S250：提取所述声音信息的响度和/或音调特征；

对于声音信息而言，响度和音调是声音信息很重要的属性，可以用于判断人的情绪和其他状态。本发明实施例中，可以通过任一种现有技术提取所获取声音信息的响度和/或音调特征，通常通过语音分析算法来进行。

语音分析算法广泛用于各个领域，例如通过语音识别来控制智能家居或者智能手机能设备。此处，可以通过任一种语音分析算法来提取所获取的声音信息的响度和/或音调特征。

可以理解的是，S240和S250不一定在S230之后执行，可以与S210并行进行。

S260：根据所统计的面部图像的数量和所述声音信息的响度和/或音调特征，确定所述目标婴儿的状态为所述第一状态。

可以通过任一种现有技术来确定目标婴儿的状态，在本发明一个优选实施方式中，如图3所示，S260可以包括：

S261：根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一预定状态；

可以理解的是，在对分类结果进行统计之后，通常会得到各状态对应的图片数量。此处，可以将对应的面部图像的数量最多且大于第一阈值的状态作为第一预定状态。第一阈值可以根据所获取的面部图像的数量进行设定。例如，如果获取了30张面部图像，可以将第一阈值设定为25或更高。

S262：将所述响度和/或音调特征与预设状态数据库中的状态数据进行匹配，得到所述目标婴儿的第二预定状态；

在确定了第一预定状态之后，可以利用所提取的响度和/或音调特征对第一预定状态进行验证。此处，通过将得到的响度和/或音调特征与预设状态数据库中的状态数据进行匹配来进行。预设状态数据库可以包括婴儿状态分类和相对应的响度和/或音调特征，并且该数据库中的婴儿状态分类应与预设状态分类器所得到的婴儿状态分类相对应。通过匹配，可以得到第二预定状态。

S263：当所述第一预定状态与所述第二预定状态相匹配时，确定所述目标婴儿的状态为第一状态。

通过验证，可以在先后得到的两个预定状态相匹配时，确定目标婴儿的状态，通过综合考虑人脸特征和声音信息中的特征，对婴儿状态能够进行更加准确的识别。

此外，优选地，可以根据大数据分析结果对图像和声音设定不同的权重值，即对第一预定状态和第二预定状态设定不同的权重值，并且进行综合计算。当计算结果大于特定阈值时，则确定目标婴儿处于第一状态，否则可以重新进行计算。

可以理解的是，利用方法100和200得出的结果是具有普适性的，即适合于大多数的婴儿。但是针对某个具体的婴儿，可能会不太准确。因此，当目标婴儿的家长得到识别结果，并且经过实践确定了结果的正确性之后，可以将目标婴儿的数据添加进训练集中，以使得训练得到的人脸特征和分类器更加适合目标婴儿，得到的结果也更加准确。

因此，在确定了目标婴儿的状态之后，方法100或200还可以包括：

接收所述第一状态是否正确的指示；以及

通过以上步骤，可以对人脸特征和预设状态分类器进行更新，使得结果越来越准确。

图4示出了根据本发明另一实施例的基于面部识别的婴儿状态识别装置300的结构示意图，如图4所示，装置300包括：

图像获取模块310，用于获取目标婴儿在预定时间间隔内的多张面部图像；

特征提取模块320，用于提取所获取的每张面部图像的人脸特征；

状态分类模块330，将所提取的人脸特征输入预设状态分类器中，并统计每个状态对应的面部图像的数量；以及

状态确定模块340，用于根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一状态；

在本发明另一实施例中，如图5所示，提供了一种婴儿状态识别装置400，装置400可以包括：

图像获取模块410，用于获取目标婴儿在预定时间间隔内的多张面部图像；

特征提取模块420，用于提取所获取的每张面部图像的人脸特征；

状态分类模块430，将所提取的人脸特征输入预设状态分类器中，并统计每个状态对应的面部图像的数量；

声音获取模块440，用于获取所述目标婴儿在所述预定时间间隔内的声音信息；

声音处理模块450，用于提取所述声音信息的响度和/或音调特征；以及

状态确定模块460，用于根据所统计的面部图像的数量和所述声音信息的响度和/或音调特征，确定所述目标婴儿的状态为所述第一状态；

优选地，如图6所示，状态确定模块460可以包括：

第一确定单元461，用于根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一预定状态；其中，所述第一预定状态为对应的面部图像的数量最多且大于第一阈值的状态；

第二确定单元462，用于将所述响度和/或音调特征与预设状态数据库中的状态数据进行匹配，得到所述目标婴儿的第二预定状态；其中，所述预设状态数据库包括婴儿状态分类和相对应的响度和/或音调特征，并且所述婴儿状态分类与所述预设状态分类器所得到的婴儿状态分类相对应；以及

匹配单元463，用于当所述第一预定状态与所述第二预定状态相匹配时，确定所述目标婴儿的状态为第一状态。

特别地，本发明实施例提供的婴儿状态识别装置300或400还可以包括：

指示接收模块，用于接收所述第一预定状态是否正确的指示；以及

特征更新模块，用于在接收到所述第一预定状态正确的指示时，将所获取的多张面部图像添加至进行训练所使用的多张面部图片中，并且重新进行训练，得到更新后的人脸特征和预设状态分类器，并且将所更新后的人脸特征和预设状态分类器分别发送至所述特征提取模块和所述状态分类模块。

优选地，本发明实施例中，婴儿的状态包括以下中的一种：饥饿、兴奋、愤怒、疼痛、生病、和高兴。

图7示出了根据本发明另一实施例的服务器的结构示意图。如图7所示，该设备包括：

一个或多个处理器510；

存储装置520，配置为存储一个或多个程序；

通信接口530，配置为使所述处理器510和存储装置520与外部设备进行通信；

当所述一个或多个程序被所述一个或多个处理器510执行时，使得所述一个或多个处理器510实现前述任一种基于人脸识别的婴儿状态识别方法、装置和服务器方法。

根据本发明另一实施例，提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现前述任一种基于人脸识别的婴儿状态识别方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种基于人脸识别的婴儿状态识别方法，其特征在于，包括：

获取目标婴儿在预定时间间隔内的多张面部图像；

提取所获取的每张面部图像的人脸特征；

2.根据权利要求1所述的婴儿状态识别方法，其特征在于，还包括：

获取所述目标婴儿在所述预定时间间隔内的声音信息；

提取所述声音信息的响度和/或音调特征；以及

3.根据权利要求2所述的婴儿状态识别方法，其特征在于，所述根据所统计的面部图像的数量和所述声音信息的响度和/或音调特征，确定所述目标婴儿的状态为所述第一状态，包括：

4.根据权利要求1所述的婴儿状态识别方法，其特征在于，在所述将所述目标婴儿的状态确定为第一预定状态之后，还包括：

接收所述第一状态是否正确的指示；以及

5.根据权利要求1所述的婴儿状态识别方法，其特征在于，所述婴儿的状态包括以下中的一种：饥饿、兴奋、愤怒、疼痛、生病、和高兴。

6.一种基于人脸识别的婴儿状态识别装置，其特征在于，包括：

7.根据权利要求6所述的婴儿状态识别装置，其特征在于，还包括：

声音获取模块，用于获取所述目标婴儿在所述预定时间间隔内的声音信息；

声音处理模块，用于提取所述声音信息的响度和/或音调特征；以及

所述状态确定模块进一步用于：根据所统计的面部图像的数量和所述声音信息的响度和/或音调特征，确定所述目标婴儿的状态为所述第一状态。

8.根据权利要求7所述的婴儿状态识别装置，其特征在于，所述状态确定模块包括：

第一确定单元，用于根据所统计的面部图像的数量，确定所述目标婴儿的状态为第一预定状态；其中，所述第一预定状态为对应的面部图像的数量最多且大于第一阈值的状态；

第二确定单元，用于将所述响度和/或音调特征与预设状态数据库中的状态数据进行匹配，得到所述目标婴儿的第二预定状态；其中，所述预设状态数据库包括婴儿状态分类和相对应的响度和/或音调特征，并且所述婴儿状态分类与所述预设状态分类器所得到的婴儿状态分类相对应；以及

匹配单元，用于当所述第一预定状态与所述第二预定状态相匹配时，确定所述目标婴儿的状态为第一状态。

9.根据权利要求6所述的婴儿状态识别装置，其特征在于，还包括：

10.根据权利要求6所述的婴儿状态识别装置，其特征在于，所述婴儿的状态包括以下中的一种：饥饿、兴奋、愤怒、疼痛、生病、和高兴。

11.一种服务器，其特征在于，所述服务器包括：

一个或多个处理器；

存储装置，配置为存储一个或多个程序；

通信接口，配置为使所述处理器和所述存储装置与外部设备进行通信；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。