CN114496263B

CN114496263B - 用于体重指数估计的神经网络模型建立方法及存储介质

Info

Publication number: CN114496263B
Application number: CN202210383863.6A
Authority: CN
Inventors: 范晓; 艾国; 杨作兴; 房汝明; 向志宏
Original assignee: Hangzhou Yanji Microelectronics Co ltd
Current assignee: Hangzhou Yanji Microelectronics Co ltd
Priority date: 2022-04-13
Filing date: 2022-04-13
Publication date: 2022-07-12
Anticipated expiration: 2042-04-13
Also published as: CN114496263A

Abstract

本发明实施例提出用于体重指数估计的神经网络模型建立方法及存储介质。方法包括：将各帧人脸图像依次输入第一CNN进行人脸特征提取；将人脸特征向量输出到第二CNN进行姿态注意力系数提取；将人脸特征向量输出到第三CNN进行BMI特征提取；根据姿态注意力系数向量对BMI特征向量进行调整，将得到的带姿态注意力的BMI特征向量输出到第四CNN进行BMI计算；调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数，直至收敛。本发明实施例提高了体重指数估计的精确度。

Description

用于体重指数估计的神经网络模型建立方法及存储介质

技术领域

本发明涉及体重指数估计技术领域，尤其涉及用于体重指数估计的神经网络模型建立方法、装置、可读存储介质及计算机程序产品。

背景技术

BMI(Body Mass Index，体重指数)是用体重千克数除以身高米数的平方得出的指标，是国际上常用的衡量人体胖瘦程度以及是否健康的一个指标。如果要比较和分析人的体重对于不同高度的人所带来的健康影响时，BMI是一个中立而相对可靠的指标。根据相关专业部门的界定：当体重指数＜18.5，体重属于过轻；当18.5≤体重指数＜24，体重属于正常；当24≤体重指数＜28，属于超重；当体重指数≥28，属于肥胖。

获取体重指数需要测量身高和体重的数据来计算，非常不方便。近年来随着计算机视觉技术的快速发展，许多基于面部图像来预测体重指数的方法被提出，这类方法的基本过程是：采集包括BMI值的人脸图像数据，采用卷积神经网络训练人脸图像数据，获得训练模型；获取待检测的人脸图像，对待检测人脸图像的人脸关键特征点进行定位，获取人脸关键点；根据人脸关键点，进行人脸轮廓提取，获取人脸轮廓；对人脸轮廓根据透视视角进行等比例拉伸，获得预处理后人脸图像；根据训练模型对预处理后人脸图像进行类别预测，得到待检测人脸图像的评测BMI值。

发明内容

本发明实施例提出用于体重指数估计的神经网络模型建立方法、装置、可读存储介质及计算机程序产品，以提高体重指数估计的精确度；

本发明实施例还提出体重指数估计方法、装置、可读存储介质及计算机程序产品，以提高体重指数估计的精确度。

本发明实施例的技术方案是这样实现的：

一种用于体重指数估计的神经网络模型建立方法，该方法包括：

获取包含多帧人脸图像的训练图像集，其中，每帧人脸图像中的人脸对应一类姿态；

将所述训练图像集中的各帧人脸图像依次输入第一卷积神经网络CNN进行人脸特征提取；

将第一CNN输出的人脸特征向量输出到第二CNN进行姿态注意力系数提取；将第一CNN输出的人脸特征向量输出到第三CNN进行BMI特征提取；其中，第二CNN输出的姿态注意力系数向量的维数和第三CNN输出的BMI特征向量的维数相同；

根据第二CNN输出的姿态注意力系数向量对第三CNN输出的BMI特征向量进行调整，得到带姿态注意力的BMI特征向量；

将所述带姿态注意力的BMI特征向量输出到第四CNN进行BMI计算；

调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数，直至第一CNN、第二CNN、第三CNN和第四CNN收敛，将收敛时的第一CNN、第二CNN、第三CNN和第四CNN构成的模型作为最终使用的用于体重指数估计的神经网络模型。

所述第二CNN包括：两个卷积层和1个全连接层；

所述第三CNN包括：两个卷积层；或/和，

所述第四CNN包括：一个全连接层。

所述获取包含多帧人脸图像的训练图像集之后，进一步包括：计算所述训练图像集中的每帧人脸图像的人脸真实BMI值或人脸真实BMI类别向量，且，

所述将所述带姿态注意力的BMI特征向量输出到第四CNN进行BMI计算之后，进一步包括：计算第四CNN输出的BMI值或BMI类别向量与对应的人脸真实BMI值或人脸真实BMI类别向量之间的第二偏差，且，

所述调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数，包括：根据第二偏差调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数。

所述获取包含多帧人脸图像的训练图像集之后，进一步包括：计算所述训练图像集中的每帧人脸图像的人脸真实姿态值，且，

所述将第一CNN输出的人脸特征向量输出到第二CNN进行姿态注意力系数提取，包括：将第一CNN输出的人脸特征向量输出到第二CNN进行人脸姿态提取和姿态注意力系数提取，且，计算第二CNN输出的人脸姿态值与对应的人脸真实姿态值之间的第一偏差，且，

所述调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数，包括：根据第一偏差和第二偏差调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数。

所述计算所述训练图像集中的每帧人脸图像的人脸真实姿态值，包括：

对每帧人脸图像中的人脸的真实俯仰角、真实偏航角和真实翻滚角进行加权求和计算，将得到的加权和作为该帧人脸图像的人脸真实姿态值。

所述根据第二CNN输出的姿态注意力系数向量对第三CNN输出的BMI特征向量进行调整，包括：

将第二CNN输出的姿态注意力系数向量和第三CNN输出的BMI特征向量中处于同一位置的姿态注意力系数和BMI特征分别对应相乘或相加。

所述将收敛时的第一CNN、第二CNN、第三CNN和第四CNN构成的模型作为最终使用的用于体重指数估计的神经网络模型之后，进一步包括：

将待检测的人脸图像输入到第一CNN进行人脸特征提取；

将第一CNN输出的人脸特征向量输出到第二CNN进行姿态注意力系数提取；并将第一CNN输出的人脸特征向量输出到第三CNN进行BMI特征提取；

将得到的该带姿态注意力的BMI特征向量输出到第四CNN进行BMI计算，得到所述待检测的人脸图像对应的BMI结果。

一种体重指数估计方法，该方法包括：

将待检测的人脸图像输入到用于体重指数估计的神经网络模型的第一CNN进行人脸特征提取；

将第一CNN输出的人脸特征向量输出到用于体重指数估计的神经网络模型的第二CNN进行姿态注意力系数提取；并将第一CNN输出的人脸特征向量输出到用于体重指数估计的神经网络模型的第三CNN进行BMI特征提取；

一种用于体重指数估计的神经网络模型建立装置，该装置包括：

训练准备模块，用于获取包含多帧人脸图像的训练图像集，其中，每帧人脸图像中的人脸对应一类姿态；将所述训练图像集中的每帧人脸图像依次输入第一CNN；

第一CNN，用于对输入的各帧人脸图像依次进行人脸特征提取，将提取的人脸特征向量分别输出到第二CNN和第三CNN；

第二CNN，用于对输入的人脸特征向量进行姿态注意力系数提取，将提取的姿态注意力系数向量输出到BMI特征增强模块；

第三CNN，用于对输入的人脸特征向量进行BMI特征提取，将提取的BMI特征向量输出到BMI特征增强模块；其中，BMI特征向量的维数与第二CNN输出的姿态注意力系数向量的维数相同；

BMI特征增强模块，用于根据输入的姿态注意力系数向量对输入的BMI特征向量进行调整，得到带姿态注意力的BMI特征向量，将带姿态注意力的BMI特征向量输出到第四CNN；

第四CNN，用于根据输入的带姿态注意力的BMI特征向量进行BMI计算；

参数调整模块，用于调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数，直至第一CNN、第二CNN、第三CNN和第四CNN收敛，将收敛时的第一CNN、第二CNN、第三CNN和第四CNN构成的模型作为最终使用的用于体重指数估计的神经网络模型。

一种体重指数估计装置，该装置包括：

第一CNN，用于对输入的将待检测的人脸图像进行人脸特征提取，将提取的人脸特征向量分别输出到第二CNN和第三CNN；

第二CNN，用于对输入的人脸特征向量进行姿态注意力系数提取，将提取的姿态注意力系数输出到BMI特征增强模块；

第三CNN，用于对输入的人脸特征向量进行BMI特征提取，将提取的BMI特征向量输出到BMI特征增强模块；

BMI特征增强模块，用于根据输入的姿态注意力系数向量对输入的BMI特征向量进行调整，得到带姿态注意力的BMI特征向量，将该带姿态注意力的BMI特征向量输出到第四CNN；

第四CNN，用于根据输入的带姿态注意力的BMI特征向量对所述待检测的人脸图像进行BMI计算。

一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上任一项所述的方法的步骤。

本发明实施例中，通过对人脸图像进行姿态注意力系数提取，同时将姿态注意力系数向量作用于BMI特征向量，得到带姿态注意力的BMI特征向量，并根据带姿态注意力的BMI特征向量进行BMI计算，从而能够提高体重指数估计对人脸姿态变化的鲁棒性，提高体重指数估计的精确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的用于体重指数估计的神经网络模型建立方法流程图；

图2为本发明实施例提供的用于体重指数估计的神经网络模型建立方法的过程框图；

图3为本发明实施例提供的体重指数估计方法流程图；

图4为本发明实施例提供的体重指数估计方法的过程框图；

图5为本发明实施例提供的用于体重指数估计的神经网络模型建立装置的结构示意图；

图6为本发明实施例提供的体重指数估计装置的结构示意图；

图7为本发明实施例提供的一种电子设备的示例性结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

发明人对现有的基于面部图像来预测体重指数的方法进行分析发现其存在如下缺陷：同一个人的人脸图像在不同姿态下，其人脸关键特征是有差异的，该差异会影响体重指数的预测精度，现有方法未考虑到人脸姿态对体重指数的影响。

图1为本发明一实施例提供的用于体重指数估计的神经网络模型建立方法流程图，其具体步骤如下：

步骤101：获取包含多帧人脸图像的训练图像集，其中，每帧人脸图像中的人脸对应一类姿态。

其中，训练图像集中的每帧人脸图像的大小和通道数需要与第一CNN的输入的大小和通道数匹配。

在实际应用中，若原始的训练图像除了人脸区域外，还包含人的其他身体区域，则需要先对原始的训练图像进行人脸检测，然后对检测到的人脸区域进行归一化处理，归一化到固定大小，该固定大小与第一CNN的输入通道的数量匹配。其中，人脸检测算法为成熟算法，例如：RetinaFace算法等，在此不再赘述。

步骤102：将该训练图像集中的各帧人脸图像依次输入第一CNN(ConvolutionalNeural Networks，卷积神经网络)进行人脸特征提取。

第一CNN可以使用常用的神经网络，例如：VGG(Visual Geometry Group)-net、ResNet(残差神经网络)、或MobileNet(移动神经网络)等。优选地，考虑模型大小和计算量，可用MobileNetV2(移动神经网络版本2)。

步骤103：将第一CNN输出的人脸特征向量输出到第二CNN进行姿态注意力系数提取。

在实际应用中，还可将第一CNN输出的人脸特征向量输出到第二CNN进行人脸姿态提取，并在第二CNN输出人脸姿态值之后，可进一步计算第二CNN输出的人脸姿态值与对应的人脸真实姿态值之间的第一偏差，第一偏差用于调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数。其中，若第二CNN输出的人脸姿态值对应训练图像集中的第m帧人脸图像的，则计算第二CNN输出的人脸姿态值与训练图像集中的第m帧人脸图像的人脸真实姿态值之间的第一偏差。

具体地，在步骤101获取训练图像集之后，计算该训练图像集中的每帧人脸图像的人脸真实姿态值。

一可选实施例中，计算该训练图像集中的每帧人脸图像的人脸真实姿态值，包括：对每帧人脸图像中的人脸的真实俯仰角、真实偏航角和真实翻滚角进行加权求和计算，将得到的加权和作为该帧人脸图像的人脸真实姿态值。

例如：人脸的真实俯仰角、真实偏航角和真实翻滚角分别为pitch、yaw、roll，则人脸真实姿态值p可表示为：p＝(w1*p1+w2*p2+w3*p3)/(w1+w2+w3)。其中，p1＝sin(abs(pitch))、p2＝sin(abs(yaw))、p3＝sin(abs(roll))，w1、w2、w3为权值，w1、w2、w3的取值与该方向的姿态角对BMI的影响程度相关，例如：考虑roll对BMI的影响比较小，可以设置w1＝w2>w3，如：w1＝w2＝2，w3＝1。

在步骤101获取训练图像集之后，还计算所述训练图像集中的每帧人脸图像的人脸真实BMI值或人脸真实BMI类别向量。

步骤104：将第一CNN输出的人脸特征向量输出到第三CNN进行BMI特征提取；其中，第二CNN输出的姿态注意力系数向量的维数和第三CNN输出的BMI特征向量的维数相同。

步骤105：根据第二CNN输出的姿态注意力系数向量对第三CNN输出的BMI特征向量进行调整，得到带姿态注意力的BMI特征向量。

例如：将第二CNN输出的姿态注意力系数向量和第三CNN输出的BMI特征向量中处于同一位置的姿态注意力系数和BMI特征分别对应相乘或相加，得到带姿态注意力的BMI特征向量。其中，第二CNN输出的姿态注意力系数向量和第三CNN输出的BMI特征向量是处于同一位置的姿态注意力系数和BMI特征。例如：第二CNN输出的姿态注意力系数向量中的第n个分量和第三CNN输出的BMI特征向量中的第n个分量。其中，第三CNN的每个输出通道分别输出BMI特征向量中的一个分量，需要注意的是，若BMI特征向量中的每个分量由多个特征值构成，则每个分量中的每个特征值分别与与该分量处于同一位置的姿态注意力系数相乘或相加。

步骤106：将带姿态注意力的BMI特征向量输出到第四CNN进行BMI计算。

在实际应用中，将带姿态注意力的BMI特征向量输出到第四CNN进行BMI值或BMI类别向量计算。

在实际应用中，在第四CNN输出BMI值或BMI类别向量后，还可进一步计算第四CNN输出的BMI值与对应的人脸真实BMI值之间的、或者计算第四CNN输出的BMI类别向量与对应的人脸真实BMI类别向量之间的第二偏差，第二偏差用于调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数。

例如，若第四CNN输出BMI类别向量，且输出的BMI类别向量对应训练图像集中的第m帧人脸图像，则计算第四CNN输出的BMI类别向量与训练图像集中的第m帧人脸图像的人脸真实BMI类别向量之间的第二偏差。其中，BMI类别向量的长度与预先设定的BMI类别的数量相同，BMI类别向量中的每个值分别对应输入的人脸图像属于一个BMI类别的概率。如：BMI类别共4类，则BMI类别向量的长度为4，BMI类别向量中的第1～4个值，分别为输入的人脸图像属于BMI类别1～4的概率。

具体地，在步骤101获取训练图像集之后，计算该训练图像集中的每帧人脸图像的人脸真实BMI值或人脸真实BMI类别向量。

训练图像集中的每帧人脸图像的人脸真实BMI值，可由预先测量到的该人脸对应人的真实体重和真实身高计算得到。

训练图像集中的每帧人脸图像的人脸真实BMI类别向量，则在由预先测量到的该人脸对应人的真实体重和真实身高计算得到人脸真实BMI值后，根据预先设定的BMI分类规则，将该人脸真实BMI值映射为对应的BMI类别，然后将人脸真实BMI类别向量中该BMI类别对应的值设为最大值如：1，其它BMI类别对应的值都设为最小值如：0。其中，BMI分类规则可采用业界的分类规则，即分成4类：BMI＜18.5，18.5≤BMI＜24，24≤BMI＜28和BMI≥28。

步骤107：调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数，直至第一CNN、第二CNN、第三CNN和第四CNN收敛，将收敛时的第一CNN、第二CNN、第三CNN和第四CNN构成的模型作为最终使用的用于体重指数估计的神经网络模型。

上述实施例中，通过对人脸图像进行姿态注意力系数提取，并且，将姿态注意力系数向量作用于BMI特征向量，得到带姿态注意力的BMI特征向量，并根据带姿态注意力的BMI特征向量进行BMI计算，从而使得最终训练得到的用于体重指数估计的神经网络模型能够兼顾人脸姿态对体重指数估计的影响，提高了体重指数估计对人脸姿态变化的鲁棒性，提高了体重指数估计的精确度。

图2为本发明实施例提供的用于体重指数估计的神经网络模型建立方法的过程框图。

一可选实施例中，第二CNN包括：两个卷积层和1个全连接层。

一可选实施例中，第三CNN包括：两个卷积层。

一可选实施例中，第四CNN包括：一个全连接层。

在步骤107得到用于体重指数估计的神经网络模型后，就可使用该模型进行体重指数估计了。

图3为本发明实施例提供的体重指数估计方法流程图，其具体步骤如下：

步骤301：对包含人脸的待检测图像进行人脸检测，得到待检测的人脸图像。

步骤302：将该待检测的人脸图像输入到第一CNN进行人脸特征提取。

步骤303：将第一CNN输出的人脸特征向量输出到第二CNN进行姿态注意力系数提取；并将第一CNN输出的人脸特征向量输出到第三CNN进行BMI特征提取。

步骤304：根据第二CNN输出的姿态注意力系数向量对第三CNN输出的BMI特征向量进行调整，得到带姿态注意力的BMI特征向量。

例如：将第二CNN输出的姿态注意力系数向量和第三CNN输出的BMI特征向量中处于同一位置的姿态注意力系数和BMI特征分别对应相乘或相加，得到带姿态注意力的BMI特征向量。

步骤305：将该带姿态注意力的BMI特征向量输出到第四CNN进行BMI计算，得到待检测的人脸图像对应的BMI结果。

BMI结果如：BMI值或BMI类别向量。

图4为本发明实施例提供的体重指数估计方法的过程框图。

图5为本发明实施例提供的用于体重指数估计的神经网络模型建立装置的结构示意图，该装置主要包括：训练准备模块51、第一CNN 52、第二CNN 53、第三CNN 54、BMI特征增强模块55、第四CNN 56和参数调整模块57，其中：

训练准备模块51，用于获取包含多帧人脸图像的训练图像集，其中，每帧人脸图像中的人脸对应一类姿态；计算训练图像集中的每帧人脸图像的人脸真实姿态值，将每帧人脸图像的人脸真实姿态值发送给参数调整模块，计算训练图像集中的每帧人脸图像的人脸真实BMI值或人脸真实BMI类别向量，将每帧人脸图像的人脸真实BMI值或人脸真实BMI类别向量发送给参数调整模块；将训练图像集中的每帧人脸图像依次输入第一CNN 52。

第一CNN 52，用于对训练准备模块51输入的各帧人脸图像依次进行人脸特征提取，将提取的人脸特征向量分别输出到第二CNN 53和第三CNN 54。

第二CNN 53，用于对第一CNN 52输入的人脸特征向量进行人脸姿态提取和姿态注意力系数提取，将提取的人脸姿态值输出到参数调整模块57，将提取的姿态注意力系数向量输出到BMI特征增强模块55。

第三CNN 54，用于对第一CNN 52输入的人脸特征向量进行BMI特征提取，将提取的BMI特征向量输出到BMI特征增强模块55；其中，BMI特征向量的维数与第二CNN 53输出的姿态注意力系数向量的维数相同。

BMI特征增强模块55，用于根据第二CNN 53输入的姿态注意力系数向量对第三CNN54输入的BMI特征向量进行调整，得到带姿态注意力的BMI特征向量，将带姿态注意力的BMI特征向量输出到第四CNN 56。

例如：将第二CNN 53输入的姿态注意力系数向量和第三CNN 54输入的BMI特征向量中处于同一位置的姿态注意力系数和BMI特征分别对应相乘或相加，得到带姿态注意力的BMI特征向量。

第四CNN 56，用于根据BMI特征增强模块55输入的带姿态注意力的BMI特征向量计算BMI值或BMI类别向量，将该BMI值或BMI类别向量输出到参数调整模块57。

参数调整模块57，用于计算第二CNN 53输出的人脸姿态值与对应的人脸真实姿态值之间的第一偏差；并计算第四CNN 56输出的BMI值或BMI类别向量与对应的人脸真实BMI值或人脸真实BMI类别向量之间的第二偏差；根据第一偏差和第二偏差调整第一CNN 52、第二CNN 53、第三CNN 54和第四CNN 56的神经网络参数，直至第一CNN 52、第二CNN 53、第三CNN 54和第四CNN 56收敛，将收敛时的第一CNN 52、第二CNN 53、第三CNN 54和第四CNN 56构成的模型作为最终使用的用于体重指数估计的神经网络模型。

图6为本发明实施例提供的体重指数估计装置的结构示意图，该装置主要包括：第一CNN 52、第二CNN 53、第三CNN 54、BMI特征增强模块55和第四CNN 56，其中：

第一CNN52，用于对输入的将待检测的人脸图像进行人脸特征提取，将提取的人脸特征向量分别输出到第二CNN 53和第三CNN 54。

第二CNN 53，用于对第一CNN 52输入的人脸特征向量进行姿态注意力系数提取，将提取的姿态注意力系数输出到BMI特征增强模块55。

第三CNN 54，用于对第一CNN 52输入的人脸特征向量进行BMI特征提取，将提取的BMI特征向量输出到BMI特征增强模块55。

BMI特征增强模块55，用于根据第二CNN 53输入的姿态注意力系数向量对第三CNN54输入的BMI特征向量进行调整，得到带姿态注意力的BMI特征向量，将该带姿态注意力的BMI特征向量输出到第四CNN 56。

第四CNN 56，用于根据BMI特征增强模块55输入的带姿态注意力的BMI特征向量对待检测的人脸图像进行BMI计算。

本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上任一实施例所述的方法的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时可执行如上任一实施例所述的方法中的步骤。实际应用中，所述的计算机可读介质可以是上述实施例各设备/装置/系统所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。其中，在计算机可读存储介质中存储指令，其存储的指令在由处理器执行时可执行如上任一实施例所述的方法中的步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

如图7所示，本发明实施例还提供一种电子设备。如图7所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或一个以上处理核心的处理器71、一个或一个以上计算机可读存储介质的存储器72以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器72的程序时，可以实现如上任一实施例所述的方法。

具体的，实际应用中，该电子设备还可以包括电源73、输入输出单元74等部件。本领域技术人员可以理解，图7中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器71是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器72内的软件程序和/或模块，以及调用存储在存储器72内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。

存储器72可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器71通过运行存储在存储器72的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器72可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器72还可以包括存储器控制器，以提供处理器71对存储器72的访问。

该电子设备还包括给各个部件供电的电源73，可以通过电源管理系统与处理器71逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源73还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入输出单元74，该输入单元输出74可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。该输入单元输出74还可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种用于体重指数估计的神经网络模型建立方法，其特征在于，该方法包括：

调整第一CNN、第二CNN、第三CNN和第四CNN的神经网络参数，直至第一CNN、第二CNN、第三CNN和第四CNN收敛，将收敛时的第一CNN、第二CNN、第三CNN和第四CNN构成的模型作为最终使用的用于体重指数估计的神经网络模型；

2.根据权利要求1所述的方法，其特征在于，所述第二CNN包括：两个卷积层和1个全连接层；

所述第三CNN包括：两个卷积层；或/和，

所述第四CNN包括：一个全连接层。

3.根据权利要求1所述的方法，其特征在于，所述获取包含多帧人脸图像的训练图像集之后，进一步包括：计算所述训练图像集中的每帧人脸图像的人脸真实BMI值或人脸真实BMI类别向量，且，

4.根据权利要求3所述的方法，其特征在于，所述获取包含多帧人脸图像的训练图像集之后，进一步包括：计算所述训练图像集中的每帧人脸图像的人脸真实姿态值，且，

5.根据权利要求4所述的方法，其特征在于，所述计算所述训练图像集中的每帧人脸图像的人脸真实姿态值，包括：

6.根据权利要求1所述的方法，其特征在于，所述将收敛时的第一CNN、第二CNN、第三CNN和第四CNN构成的模型作为最终使用的用于体重指数估计的神经网络模型之后，进一步包括：

将待检测的人脸图像输入到第一CNN进行人脸特征提取；

7.一种体重指数估计方法，其特征在于，该方法包括：

将得到的该带姿态注意力的BMI特征向量输出到第四CNN进行BMI计算，得到所述待检测的人脸图像对应的BMI结果；

8.一种用于体重指数估计的神经网络模型建立装置，其特征在于，该装置包括：

BMI特征增强模块，用于根据输入的姿态注意力系数向量对输入的BMI特征向量进行调整，得到带姿态注意力的BMI特征向量，将带姿态注意力的BMI特征向量输出到第四CNN；所述根据输入的姿态注意力系数向量对输入的BMI特征向量进行调整，包括：将输入的姿态注意力系数向量和输入的BMI特征向量中处于同一位置的姿态注意力系数和BMI特征分别对应相乘或相加；

9.一种体重指数估计装置，其特征在于，该装置包括：

BMI特征增强模块，用于根据输入的姿态注意力系数向量对输入的BMI特征向量进行调整，得到带姿态注意力的BMI特征向量，将该带姿态注意力的BMI特征向量输出到第四CNN；所述根据输入的姿态注意力系数向量对输入的BMI特征向量进行调整，包括：将输入的姿态注意力系数向量和输入的BMI特征向量中处于同一位置的姿态注意力系数和BMI特征分别对应相乘或相加；

10.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。