CN114708634A - 基于人脸图像的相对体重分析方法、装置及电子设备 - Google Patents
基于人脸图像的相对体重分析方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114708634A CN114708634A CN202210328076.1A CN202210328076A CN114708634A CN 114708634 A CN114708634 A CN 114708634A CN 202210328076 A CN202210328076 A CN 202210328076A CN 114708634 A CN114708634 A CN 114708634A
- Authority
- CN
- China
- Prior art keywords
- face
- relative weight
- key points
- area
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000037396 body weight Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 7
- 238000007667 floating Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 206010034701 Peroneal nerve palsy Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 208000031648 Body Weight Changes Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 230000004579 body weight change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000037219 healthy weight Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于人脸图像的相对体重分析方法、装置及电子设备，所述方法包括：获取若干个人脸图像；基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息；基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果，该方法可以各个人脸图像对应的被监测人之间的相对体重分析结果，能够有效地实现了同一人在不同时期以及同一时期不同人之间的相对体重分析比较，且大大提升了相对体重分析结果的准确性。
Description
技术领域
本发明涉及体重智能化监测技术领域，尤其涉及一种基于人脸图像的相对体重分析方法、装置及电子设备。
背景技术
体重监测作为人体健康指标监测的内容一直，越来越受到人们的重视。过去，人们通过记录体重的方式来监测自己的体重变化情况，以此方式判断自己是否变胖了或瘦了，以及判断自己是否拥有健康的体重情况。但是，此方式需要人们自行手动地、多次地记录体重数据，并根据所记录数据人为进行比较和判断。并且，随着人们生活工作的繁忙，体重数据漏记录的情况也会时有发生。综上，此方式过于繁琐劳累，且自行测量并记录的体重数据的准确性和全面性也无法得到保证。
当然，也有些人提出了体重分析系统。但是，目前的体重分析系统大多数是事先需要对体重数据进行人为标注，随后再使用人工智能算法进行分类训练，此种有监督的训练方法中是先入为主的标注数据，故其会体重分析结果会受到人为主观因素较大的影响，分析过程繁琐、准确性较差。或者，有些体重分析系统会基于人脸图像数据进行体重监测，但其人脸图像检测过程中需要预存部分人脸图像以用于人脸检测，再根据人脸检测结果去分析被监测人的体重情况，分析体重情况时通常是需要设定一个标准阈值，根据当前体重监测值和标准阈值的比较结果，判断被监测者是胖还是瘦。此种预存部分人脸图像以及设定标准阈值的操作也均是人为的，主观因素影响较大。综上，现有体重分析系统仅能基于人为标准去判断绝对化的体重情况，而无法准确地获得相对胖瘦等的相对体重变化情况。
发明内容
本发明提供一种基于人脸图像的相对体重分析方法、装置及电子设备，用以解决现有技术中现有体重分析系统仅能基于人为标准去判断绝对化的体重情况，而无法准确地获得相对胖瘦等的相对体重变化情况的缺陷，从而提升相对体重情况监测的准确性。
本发明提供一种基于人脸图像的相对体重分析方法，包括：
获取若干个人脸图像；
基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息；
基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果。
根据本发明提供的基于人脸图像的相对体重分析方法，所述基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果，具体包括：
基于预先训练好的人脸关键区域面积计算子模型和各个所述人脸面部信息，以分别获得相应的各个人脸关键区域面积值；
基于相对体重监测子模型，计算任意每两个人脸关键区域面积值之差的绝对值，并基于所述绝对值和预设取值区间获得所述相对体重分析结果；
其中，所述预设取值区间为预设的且与体重差异相关联的面部面积浮动取值区间。
根据本发明提供的基于人脸图像的相对体重分析方法，所述人脸检测模型的预先训练过程包括：
采集若干个人脸图像样本，以作为人脸图像数据集；
基于通用人脸识别框架和预设的网络结构设置策略，构建人脸检测神经网络；
基于所述人脸检测神经网络对所述人脸图像数据集进行深度学习训练，以获得所述人脸检测模型。
根据本发明提供的基于人脸图像的相对体重分析方法，所述基于通用人脸识别框架和预设的网络结构设置策略，构建人脸检测神经网络，包括：
获取若干个人脸图像，以作为第一训练数据集；
获取所述通用人脸识别框架的第一全连接层中的多维向量，将所述多维向量替换为预设步长和预设池化大小的第一下采样层，以获得更新后的第一全连接层；
在所述通用人脸识别框架的第一卷积层中增加一个预设大小的残差网络，以获得更新后的第一卷积层；
基于所述第一训练数据集，在所述通用人脸识别框架的计算层中，设置关键点坐标与人脸图像中人脸关键点的对应匹配关系，以获得更新后的计算层；
基于所述更新后的第一全连接层、所述更新后的第一卷积层和更新后的计算层，获得所述人脸检测神经网络。
根据本发明提供的基于人脸图像的相对体重分析方法，所述人脸关键区域面积计算子模型的预先训练过程包括：
获取若干个人脸图像，以作为第二训练数据集；
基于卷积神经网络，构建曲线拟合回归网络；
基于所述第二训练数据集对所述曲线拟合回归网络进行迭代训练，以获得人脸关键点间弧度回归曲线；
基于所述人脸关键点间弧度回归曲线和预设的人脸关键点坐标系，获得人脸关键点间弧度区域面积值。
根据本发明提供的基于人脸图像的相对体重分析方法，所述基于所述人脸关键点间弧度回归曲线和预设的人脸关键点坐标系，获得人脸关键点间弧度区域面积值，具体包括：
基于所述人脸关键点间弧度回归曲线、至少两个的人脸关键点的坐标值以及所述人脸关键点坐标系中的横坐标轴，获得第一区域面积值；
基于所述至少两个的人脸关键点的坐标值，以及所述至少两个的人脸关键点分别在所述横坐标轴上的垂足点的坐标值，获得第二区域面积值；
基于所述第一区域面积值和所述第二区域面积值，获得所述人脸关键点间弧度区域面积值。
根据本发明提供的基于人脸图像的相对体重分析方法，在所述获取若干个人脸图像之后，所述方法还包括图像预处理步骤，具体包括：
对若干个人脸图像进行数据降噪处理，分别获得各个降噪后人脸图像；
基于图像对齐法对各所述降噪后人脸图像进行人脸对齐处理，分别获得各个对齐后的人脸图像；
基于预设尺寸标准对各所述对齐后的人脸图像进行尺寸归一化处理，分别获得各个标准化人脸图像。
本发明还提供一种基于人脸图像的相对体重分析装置，包括：
获取模块，用于获取若干个人脸图像；
检测模块，用于基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息；
计算模块，用于基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一项所述基于人脸图像的相对体重分析方法的全部或部分步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述基于人脸图像的相对体重分析方法的全部或部分步骤。
本发明提供一种基于人脸图像的相对体重分析方法、装置及电子设备，所述方法通过预先建立人脸检测模型以从至少两幅的人脸图像中分别获得各自对应的人脸信息，再基于预先建立的相对体重计算模型，获得各个人脸图像对应的被监测人之间的相对体重分析结果，能够有效地实现了同一人在不同时期以及同一时期不同人之间的相对体重分析比较，且大大提升了相对体重分析结果的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于人脸图像的相对体重分析方法的流程示意图之一；
图2是本发明提供的基于人脸图像的相对体重分析方法的流程示意图之二；
图3是本发明提供的基于人脸图像的相对体重分析方法中人脸检测模型的预先训练过程示意图之一；
图4是本发明提供的基于人脸图像的相对体重分析方法中人脸检测模型的预先训练过程示意图之二；
图5是本发明提供的基于人脸图像的相对体重分析方法中人脸关键区域面积计算子模型的预先训练过程示意图之一；
图6是本发明提供的基于人脸图像的相对体重分析方法中人脸关键区域面积计算子模型的预先训练过程示意图之二；
图7是本发明提供的基于人脸图像的相对体重分析方法的流程示意图之三；
图8是本发明提供的基于人脸图像的相对体重分析装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
附图标记：
810：获取模块；820：检测模块；830：计算模块；910：处理器；920：通信接口；930：存储器；940：通信总线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图9描述本发明的基于人脸图像的相对体重分析方法、装置及电子设备。
本发明提供一种基于人脸图像的相对体重分析方法，图1是本发明提供的基于人脸图像的相对体重分析方法的流程示意图之一，如图1所示，所述方法包括：
100、获取若干个人脸图像。
获取两个或多个的人脸图像。各个人脸图像既可以是同一个人在两个或多个不同时期的人脸图像，以用于分析该人在不同时期自己的体重的相对变化情况，判断其是瘦了还是胖了。各个人脸图像也可以是两个或多个不同的人在同一时间的人脸图像，以用于对不同的几个人之间比较其相对体重情况，进而判断其相对胖瘦情况。
200、基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息。
将若干个所述人脸图像分别输入至预先训练好的人脸检测模型中进行检测，从而分别获得相应的各个人脸面部信息。
300、基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果。
基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得各个人脸图像对应的被监测人之间的相对体重分析结果。
本发明提供的基于人脸图像的相对体重分析方法，通过预先建立人脸检测模型以从至少两幅的人脸图像中分别获得各自对应的人脸信息，再基于预先建立的相对体重计算模型，获得各个人脸图像对应的被监测人之间的相对体重分析结果，能够有效地实现了同一人在不同时期以及同一时期不同人之间的相对体重分析比较，且大大提升了相对体重分析结果的准确性。
根据本发明提供的基于人脸图像的相对体重分析方法，图2是本发明提供的基于人脸图像的相对体重分析方法的流程示意图之二，如图2所示，在图1所示方法的基础上，所述步骤300、基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果，进一步包括：
310、基于预先训练好的人脸关键区域面积计算子模型和各个所述人脸面部信息，以分别获得相应的各个人脸关键区域面积值。
将各个人脸面部信息逐一输入到预先训练好的人脸关键区域面积计算子模型中，对应地计算出各个人脸关键区域面积值。
320、基于相对体重监测子模型，计算任意每两个人脸关键区域面积值之差的绝对值，并基于所述绝对值和预设取值区间获得所述相对体重分析结果；
其中，所述预设取值区间为预设的且与体重差异相关联的面部面积浮动取值区间。
预设一个与体重差异相关联的面部面积浮动取值区间，比如[0，M]，M为一固定值。此时，以两幅人脸图像为例说明：
若两幅人脸图像的人脸关键区域面积值之差的绝对值大于预设取值区间的最大值M，则将两图像中人脸关键区域面积值较大者的人脸图像与另一个人脸图像相比判定为较胖，会进行包括减肥、减脂、运动等的健康建议提醒。
若两幅人脸图像的人脸关键区域面积值之差的绝对值处于预设取值区间范围内，两图像中相对体重情况判断为正常体重差值。无需进行健康建议提醒。
若两幅人脸图像的人脸关键区域面积值之差的绝对值等于0，即二者数值相等的两图像中二者胖瘦一致，即是同一个人不同时期胖瘦一致，或者同时期不同人胖瘦一致。
而输入为多幅人脸图像时，对应地可以对任意两个人脸图像进行比较，还可以基于多次比较，从中找出相对体重最重/最轻(最胖或最受)的人脸图像。
根据本发明提供的基于人脸图像的相对体重分析方法，图3是本发明提供的基于人脸图像的相对体重分析方法中人脸检测模型的预先训练过程示意图之一，如图3所示，所述人脸检测模型的预先训练过程包括：
410、采集若干个人脸图像样本，以作为人脸图像数据集。
自主采集若干个人脸图像样本，将人脸图像样本的数据进行数据预处理，以将经过数据预处理后的若干个人脸图像样本作为人脸图像数据集。具体的预处理过程说明如下：将所有的个人脸图像样本进行数据清洗处理，可以进行人工清洗或自动化清洗，以将图像质量较低、人脸模糊不清的图像数据进行清除，以保证个人脸图像样本的图像质量；对清洗后保留下的若干个人脸图像样本进行数据降噪处理；再对所有的人脸图像样本进行图像尺寸大小的归一化处理，并将尺寸统一后的各个人脸图像样本所形成的人脸图像数据集，转换成人脸检测神经网络进行深度学习计算时所需的数据集格式。
420、基于通用人脸识别框架和预设的网络结构设置策略，构建人脸检测神经网络。
通用人脸识别框架是一种现有技术中常用的人脸识别网络，包括输入端、输出端，且输出端由卷积层、池化层、全连接层构成。为了便于区分不同框架，此处分别将其称为第一卷积层、第一池化层、第一全连接层。其中，第一卷积层可通过卷积核捕捉到人脸图像中的特征信息，进行人脸图像的图像特征提取，以获得特征图谱；第一池化层可对所述特征图谱进行降采样处理，从而精简化特征图谱；第一全连接层将所有的特征信息、特征图谱等内容，由一维向量构建为多维向量的形式。从另一个角度来说，所述通用人脸识别框架主要由图像预处理模块、人脸区域检测模块、非极大值抑制模块和人脸位置回归模块组成。其中，图像预处理模块，将输入的人脸图像进行标准化预处理；人脸区域检测模块，检测到人脸可能所在的区域，并将区域进行标注显示；非极大值抑制模块，则用于去除不准确的标注区域；人脸位置回归模块，精准化调整人脸所在区域。各个模块适应性地基于第一卷积层、第一池化层、第一全连接层进行相应工作。
除此之外，根据所输入的人脸图像的尺寸大小，对所有第一卷积层的卷积核大小进行调整修改，以获得更精准的特征图谱；根据特征图谱的信息完整度，可调整第一池化层中的核大小，以获得更精确的特征信息。
然后基于实际需求自定义地预先设定网络结构设置策略，再基于该策略对上述的通用人脸识别框架进行网络结构的改进，以构建一个新的人脸检测神经网络。
430、基于所述人脸检测神经网络对所述人脸图像数据集进行深度学习训练，以获得所述人脸检测模型。
利用步骤410构建好的人脸图像数据集，对步骤420构建的人脸检测神经网络进行训练，从而生成所述人脸检测模型。当然，在训练过程中，还需要不断地调整相应的模型参数，比如学习率、数据批次、学习率衰减指数等等，以不断优化所述人脸检测模型。
根据本发明提供的基于人脸图像的相对体重分析方法，图4是本发明提供的基于人脸图像的相对体重分析方法中人脸检测模型的预先训练过程示意图之二，如图4所示，在图3所示过程的基础上，所述步骤420、基于通用人脸识别框架和预设的网络结构设置策略，构建人脸检测神经网络，进一步包括：
421、获取若干个人脸图像，以作为第一训练数据集。
获取若干个人脸图像，以作为第一训练数据集，对于每一个人脸图像，可以将人脸图像中的人脸关键点进行标注。
422、获取所述通用人脸识别框架的第一全连接层中的多维向量，将所述多维向量替换为预设步长和预设池化大小的第一下采样层，以获得更新后的第一全连接层。
网络结构设置策略是对通用人脸识别框架进行修改的操作策略。具体而言，可以对通用人脸识别框架进行网络结构的修改，改变原有冗余的神经网络层数。获取所述通用人脸识别框架的第一全连接层中的1024维向量，将所述1024维向量取消掉，采用步长为2和池化层的核大小为1*1的第一下采样层，以获得更新后的第一全连接层。
423、在所述通用人脸识别框架的第一卷积层中增加一个预设大小的残差网络，以获得更新后的第一卷积层。
获取所述通用人脸识别框架的第一卷积层，在所述通用人脸识别框架的第一卷积层中，引入残差网络，基于所述残差网络将第一卷积层调整为卷积核大小为3*3的卷积层，以获得更新后的第一卷积层。
具体地，在所述通用人脸识别框架的第一卷积层中增加一个预设大小的残差模块，以保留部分人脸特征信息，获得更加精准的人脸特征图谱信息。其中，残差模块主要由特征图谱、残差卷积层、本证映射层构成；特征图谱，是由第一卷积层输出的；残差卷积层，是将上述特征图谱输入该层生成的残差特征图谱；本征映射层，将上述特征图谱与该残差特征图谱二者进行通道叠加，从而获得更新后的第一卷积层。
424、基于所述第一训练数据集，在所述通用人脸识别框架的计算层中，设置关键点坐标与人脸图像中人脸关键点的对应匹配关系，以获得更新后的计算层。
基于所述步骤421获取的第一训练数据集，在所述通用人脸识别框架的计算层中，设置关键点坐标与人脸图像中人脸关键点的对应匹配关系，用人脸图像中的人脸关键点坐标信息、人脸关键区域大小信息等细粒化地标注出人脸关键部位信息(包括人脸轮廓信息和各个人脸关键点信息)。比如将人脸关键部位即人脸轮廓用关键点0-关键点67的共68个关键点进行标识，其中，可以设置成关键点0表示人脸左侧与左眼平行的位置，关键点16表示位于人脸右侧与右眼平行的位置。使用关键点坐标信息表述人脸各关键部位的信息。当然，对于人脸上一般平行的关键部位，还进行平行化处理，比如将关键点0和关键点16的坐标位置做平行化处理，使二者位于同一水平线。
具体而言，基于第一训练数据集结合深度学习算法(使用经步骤421、422、423等进行网络结构修改后的算法网络)进行训练，训练至可以识别出人脸所在大致区域的程度，再对该程度的所有人脸图像进行更深层次的训练，训练至可以清晰地识别人脸中的五官，最后用人脸关键点将热恋轮廓和五官分别进行表示，即细粒化地标注出人脸关键部位信息(包括人脸轮廓信息和各个人脸关键点信息)。并且，其中，进行人脸关键点检测的过程，进一步说明如下：将数据输入网络架构进行训练生成模型，最后输入一张人脸照片生成人脸关键点的过程，而在网络架构训练生成模型的过程中，需要通过更新后的第一卷积层对输入的人脸图像进行特征提取，以生成特征图谱；再采用第一池化层对特征图谱进行精简化，获得特征向量；还采用更新后的第一全连接层将所有的特征向量信息维度化，以进行融合处理，最后才可得出所生成的人脸关键点的相关信息。
设置关键点坐标与人脸图像中标注好的人脸关键点的对应匹配关系，以获得更新后的计算层。
425、基于所述更新后的第一全连接层、所述更新后的第一卷积层和更新后的计算层，获得所述人脸检测神经网络。
最后基于所述更新后的第一全连接层、所述更新后的第一卷积层和更新后的计算层，重点是基于关键点坐标与人脸图像中标注好的人脸关键点的对应匹配关系等，获得所述人脸检测神经网络。进而，基于所述人脸检测神经网络对所述人脸图像数据集进行深度学习训练，以获得所述人脸检测模型。
此时，获得的人脸检测模型可以对待检测的人脸图像进行检测后获得相对应的人脸信息，而人脸信息则可以是人脸图像中多个人脸关键点的坐标位置信息。即，将两幅标准化预处理后的人脸图像输入已经训练好的人脸检测模型，即利用人脸关键点检测技术，将人脸关键部位特征和人脸轮廓特征信息进行采样获取，可分别获得二者对应的人脸信息。可见，本方法可以获得更加精准的人脸轮廓。
根据本发明提供的基于人脸图像的相对体重分析方法，图5是本发明提供的基于人脸图像的相对体重分析方法中人脸关键区域面积计算子模型的预先训练过程示意图之一，如图5所示，所述人脸关键区域面积计算子模型的预先训练过程包括：
510、获取若干个人脸图像，以作为第二训练数据集。
获取若干个人脸图像，以作为第二训练数据集，本质上是获取各人脸图像对应的人脸信息数据作为第二训练数据集。人脸信息数据是指人脸图像中的人脸关键点坐标信息、人脸关键区域大小信息等细粒化标注人脸关键部位的信息。
520、基于卷积神经网络，构建曲线拟合回归网络。
利用深度学习中的卷积神经网络搭建一个曲线拟合回归网络。该曲线拟合回归网络主要结构由输入端、中间端、输出端构成。其中，输入端，为第二训练数据集的人脸信息数据的输入端口，以将该数据传入中间端；中间端，对接收到的人脸信息数据进行迭代训练，提取人脸图像的特征数据信息，并基于特征数据信息拟合出数据间的曲线回归网络；输出端，对迭代训练好的曲线回归网络函数进行回归输出。而中间端主要由第二卷积层、第二池化层、第二全连接层构成，其中，第二卷积层用于提取人脸图像的特征数据信息，生成特征图谱；第二池化层，用于将采样处理，以生成更加精简的特征图谱信息；第二全连接层，用于将所有的特征图谱信息向量化处理，拟合为数值。
530、基于所述第二训练数据集对所述曲线拟合回归网络进行迭代训练，以获得人脸关键点间弧度回归曲线。
基于所述第二训练数据集中的各人脸图像对应的人脸信息数据，对步骤520所述的曲线拟合回归网络进行有效的深度学习训练，以获得人脸关键点间弧度回归曲线。
540、基于所述人脸关键点间弧度回归曲线和预设的人脸关键点坐标系，获得人脸关键点间弧度区域面积值。
基于所述人脸关键点间弧度回归曲线和各个人脸关键点坐标对应的坐标系，获得人脸关键点间弧度区域面积值。
根据本发明提供的基于人脸图像的相对体重分析方法，图6是本发明提供的基于人脸图像的相对体重分析方法中人脸关键区域面积计算子模型的预先训练过程示意图之二，如图6所示，在图5所示过程的基础上，所述步骤540、基于所述人脸关键点间弧度回归曲线和预设的人脸关键点坐标系，获得人脸关键点间弧度区域面积值，进一步包括：
541、基于所述人脸关键点间弧度回归曲线、至少两个的人脸关键点的坐标值以及所述人脸关键点坐标系中的横坐标轴，获得第一区域面积值。
第一区域面积值是指步骤530获得的人脸关键点间弧度回归曲线的函数与所述人脸关键点坐标系中的横坐标轴之间包围的面积的值，记为S0，其计算表达式为：
其中，f(x)为所述人脸关键点间弧度回归曲线的函数，且f(x)＝ax2+bx。
542、基于所述至少两个的人脸关键点的坐标值，以及所述至少两个的人脸关键点分别在所述横坐标轴上的垂足点的坐标值，获得第二区域面积值。
第二区域面积值是指530获得的人脸关键点间弧度回归曲线上的至少两个人脸关键点所形成的直线与各个人脸关键点在所述横坐标轴上的垂足点之间所包围的面积的值，记为S1。以两个人脸关键点为例说明，比如关键点0、关键点16，分别记为n0和n16，且坐标分别为(-m，y)、(m，y)。关键点0、关键点16分别向横坐标轴上做垂线，记两个垂足点分别为A、B，且A、B坐标分别为(-m，0)、(m，0)。S1是指关键点0、关键点16和垂足点A、垂足点B这四个点之间构成的面积，计算公式如下：
S1＝m*n0(y)+m*n16(y) (2)
543、基于所述第一区域面积值和所述第二区域面积值，获得所述人脸关键点间弧度区域面积值。
所述人脸关键点间弧度区域面积值，是指530获得的人脸关键点间弧度回归曲线上的至少两个人脸关键点之间和曲线弧度自行形成的弧度区域面积的值，记为S2，计算公式如下：
S2＝|S1-S0|
最后，计算任意每两个人脸关键区域面积值之差的绝对值，并基于所述绝对值和预设取值区间获得所述相对体重分析结果。其中，所述预设取值区间为预设的且与体重差异相关联的面部面积浮动取值区间。即，本方法能够高效的通过人脸图像实现两人相对体重的比较，且可以提高通过人脸分析体重和体重比较的准确性、高效性、客观性。
根据本发明提供的基于人脸图像的相对体重分析方法，图7是本发明提供的基于人脸图像的相对体重分析方法的流程示意图之三，如图7所示，在图1的基础上，在所述步骤100、获取若干个人脸图像之后，所述基于人脸图像的相对体重分析方法还包括图像预处理步骤，且110、图像预处理步骤进一步包括：
111、对若干个人脸图像进行数据降噪处理，分别获得各个降噪后人脸图像。
对若干个人脸图像分别进行数据降噪处理，以消除杂余干扰信息。
112、基于图像对齐法对各所述降噪后人脸图像进行人脸对齐处理，分别获得各个对齐后的人脸图像。
基于图像对齐法，以及根据人脸图像中标注的各个人脸关键点，将各个人脸图像进行人脸关键点的对齐化处理。
113、基于预设尺寸标准对各所述对齐后的人脸图像进行尺寸归一化处理，分别获得各个标准化人脸图像。
将所有人脸图像标准化地统一至固定尺寸大小，以适用于模型训练过程使用。
本发明还提供一种基于人脸图像的相对体重分析装置，图8是本发明提供的基于人脸图像的相对体重分析装置的结构示意图，如图8所示，所述装置包括获取模块810、检测模块820和计算模块830，其中，
所述获取模块810，用于获取若干个人脸图像；
所述检测模块820，用于基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息；
所述计算模块830，用于基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果。
本发明提供一种基于人脸图像的相对体重分析装置，所述装置包括获取模块810、检测模块820和计算模块830，各个模块相互配合操作，使得该装置可以高效地获得各个人脸图像对应的被监测人之间的相对体重分析结果，以及有效地实现了同一人在不同时期以及同一时期不同人之间的相对体重分析比较，且大大提升了相对体重分析结果的准确性。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行基于人脸图像的相对体重分析方法的全部或部分步骤，该方法包括：
获取若干个人脸图像；
基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息；
基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述基于人脸图像的相对体重分析方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于人脸图像的相对体重分析方法的全部或部分步骤，该方法包括：
获取若干个人脸图像；
基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息；
基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于人脸图像的相对体重分析方法的全部或部分步骤，该方法包括：
获取若干个人脸图像；
基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息；
基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的基于人脸图像的相对体重分析方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于人脸图像的相对体重分析方法，其特征在于，包括：
获取若干个人脸图像；
基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息；
基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果。
2.根据权利要求1所述的基于人脸图像的相对体重分析方法，其特征在于，所述基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果，具体包括：
基于预先训练好的人脸关键区域面积计算子模型和各个所述人脸面部信息，以分别获得相应的各个人脸关键区域面积值；
基于相对体重监测子模型，计算任意每两个人脸关键区域面积值之差的绝对值，并基于所述绝对值和预设取值区间获得所述相对体重分析结果；
其中，所述预设取值区间为预设的且与体重差异相关联的面部面积浮动取值区间。
3.根据权利要求1所述的基于人脸图像的相对体重分析方法，其特征在于，所述人脸检测模型的预先训练过程包括：
采集若干个人脸图像样本，以作为人脸图像数据集；
基于通用人脸识别框架和预设的网络结构设置策略，构建人脸检测神经网络；
基于所述人脸检测神经网络对所述人脸图像数据集进行深度学习训练，以获得所述人脸检测模型。
4.根据权利要求3所述的基于人脸图像的相对体重分析方法，其特征在于，所述基于通用人脸识别框架和预设的网络结构设置策略，构建人脸检测神经网络，包括：
获取若干个人脸图像，以作为第一训练数据集；
获取所述通用人脸识别框架的第一全连接层中的多维向量，将所述多维向量替换为预设步长和预设池化大小的第一下采样层，以获得更新后的第一全连接层；
在所述通用人脸识别框架的第一卷积层中增加一个预设大小的残差网络，以获得更新后的第一卷积层；
基于所述第一训练数据集，在所述通用人脸识别框架的计算层中，设置关键点坐标与人脸图像中人脸关键点的对应匹配关系，以获得更新后的计算层；
基于所述更新后的第一全连接层、所述更新后的第一卷积层和更新后的计算层，获得所述人脸检测神经网络。
5.根据权利要求2所述的基于人脸图像的相对体重分析方法，其特征在于，所述人脸关键区域面积计算子模型的预先训练过程包括：
获取若干个人脸图像，以作为第二训练数据集；
基于卷积神经网络，构建曲线拟合回归网络；
基于所述第二训练数据集对所述曲线拟合回归网络进行迭代训练，以获得人脸关键点间弧度回归曲线；
基于所述人脸关键点间弧度回归曲线和预设的人脸关键点坐标系，获得人脸关键点间弧度区域面积值。
6.根据权利要求5所述的基于人脸图像的相对体重分析方法，其特征在于，所述基于所述人脸关键点间弧度回归曲线和预设的人脸关键点坐标系，获得人脸关键点间弧度区域面积值，具体包括：
基于所述人脸关键点间弧度回归曲线、至少两个的人脸关键点的坐标值以及所述人脸关键点坐标系中的横坐标轴，获得第一区域面积值；
基于所述至少两个的人脸关键点的坐标值，以及所述至少两个的人脸关键点分别在所述横坐标轴上的垂足点的坐标值，获得第二区域面积值；
基于所述第一区域面积值和所述第二区域面积值，获得所述人脸关键点间弧度区域面积值。
7.根据权利要求1所述的基于人脸图像的相对体重分析方法，其特征在于，在所述获取若干个人脸图像之后，所述方法还包括图像预处理步骤，具体包括：
对若干个人脸图像进行数据降噪处理，分别获得各个降噪后人脸图像；
基于图像对齐法对各所述降噪后人脸图像进行人脸对齐处理，分别获得各个对齐后的人脸图像；
基于预设尺寸标准对各所述对齐后的人脸图像进行尺寸归一化处理，分别获得各个标准化人脸图像。
8.一种基于人脸图像的相对体重分析装置，其特征在于，包括：
获取模块，用于获取若干个人脸图像；
检测模块，用于基于预先训练好的人脸检测模型对若干个所述人脸图像分别进行检测，以分别获得相应的各个人脸面部信息；
计算模块，用于基于各个所述人脸面部信息和预先训练好的相对体重计算模型，获得相对体重分析结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于人脸图像的相对体重分析方法的全部或部分步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于人脸图像的相对体重分析方法的全部或部分步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210328076.1A CN114708634A (zh) | 2022-03-30 | 2022-03-30 | 基于人脸图像的相对体重分析方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210328076.1A CN114708634A (zh) | 2022-03-30 | 2022-03-30 | 基于人脸图像的相对体重分析方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114708634A true CN114708634A (zh) | 2022-07-05 |
Family
ID=82169969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210328076.1A Pending CN114708634A (zh) | 2022-03-30 | 2022-03-30 | 基于人脸图像的相对体重分析方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708634A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580445A (zh) * | 2023-07-14 | 2023-08-11 | 江西脑控科技有限公司 | 一种大语言模型人脸特征分析方法、系统及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160253798A1 (en) * | 2013-10-01 | 2016-09-01 | The Children's Hospital Of Philadelphia | Image analysis for predicting body weight in humans |
| CN113436735A (zh) * | 2020-03-23 | 2021-09-24 | 北京好啦科技有限公司 | 基于人脸结构度量的体重指数预测方法、设备和存储介质 |
| CN113591704A (zh) * | 2021-07-30 | 2021-11-02 | 四川大学 | 体重指数估计模型训练方法、装置和终端设备 |
| CN113706685A (zh) * | 2021-03-23 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 面部模型的重建方法、装置、设备及存储介质 |
-
2022
- 2022-03-30 CN CN202210328076.1A patent/CN114708634A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160253798A1 (en) * | 2013-10-01 | 2016-09-01 | The Children's Hospital Of Philadelphia | Image analysis for predicting body weight in humans |
| CN113436735A (zh) * | 2020-03-23 | 2021-09-24 | 北京好啦科技有限公司 | 基于人脸结构度量的体重指数预测方法、设备和存储介质 |
| CN113706685A (zh) * | 2021-03-23 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 面部模型的重建方法、装置、设备及存储介质 |
| CN113591704A (zh) * | 2021-07-30 | 2021-11-02 | 四川大学 | 体重指数估计模型训练方法、装置和终端设备 |
Non-Patent Citations (2)
| Title |
|---|
| SHRUTI NAGPAL等: "Regularized Deep Learning for Face Recognition With Weight Variations", SPECIAL SECTION ON APPLYING FOUR DS OF MACHINE LEARNING TO ADVANCE BIOMETRICS, 8 January 2016 (2016-01-08), pages 3010 - 3018 * |
| 邹睿智等: "基于人脸图像的ＢＭＩ预测算法研究", 计算机应用与软件, vol. 36, no. 7, 31 July 2019 (2019-07-31), pages 242 - 248 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580445A (zh) * | 2023-07-14 | 2023-08-11 | 江西脑控科技有限公司 | 一种大语言模型人脸特征分析方法、系统及电子设备 |
| CN116580445B (zh) * | 2023-07-14 | 2024-01-09 | 江西脑控科技有限公司 | 一种大语言模型人脸特征分析方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090433B (zh) | 人脸识别方法及装置、存储介质、处理器 | |
| CN109902584B (zh) | 一种口罩缺陷的识别方法、装置、设备及存储介质 | |
| CN111091109B (zh) | 基于人脸图像进行年龄和性别预测的方法、系统和设备 | |
| CN110659665B (zh) | 一种异维特征的模型构建方法及图像识别方法、装置 | |
| CN111415339B (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
| CN111079620A (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| CN114170184A (zh) | 一种基于嵌入特征向量的产品图像异常检测方法及装置 | |
| CN111401343B (zh) | 识别图像中人的属性的方法、识别模型的训练方法和装置 | |
| CN113870254A (zh) | 目标对象的检测方法、装置、电子设备及存储介质 | |
| CN115738219A (zh) | 引体向上测评方法、装置、电子设备及存储介质 | |
| CN116012568A (zh) | 一种通过拍照心电图获取心电节律信息的系统 | |
| CN114708634A (zh) | 基于人脸图像的相对体重分析方法、装置及电子设备 | |
| CN113197558B (zh) | 心率与呼吸率检测方法、系统及计算机存储介质 | |
| CN111968087B (zh) | 一种植物病害区域检测方法 | |
| CN109002758B (zh) | 人脸特征点定位方法、装置、设备及存储介质 | |
| CN117274278B (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 | |
| CN112861743A (zh) | 一种掌静脉图像防伪方法、装置和设备 | |
| CN111383217B (zh) | 大脑成瘾性状评估的可视化方法、装置及介质 | |
| CN111723688A (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
| CN110675312B (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 | |
| CN112598646B (zh) | 电容缺陷检测方法、装置、电子设备及存储介质 | |
| CN115761451A (zh) | 花粉分类方法、装置、电子设备及存储介质 | |
| CN114821187A (zh) | 一种基于判别学习的图像异常检测和定位方法及系统 | |
| JP7481691B2 (ja) | 品質評価装置、教師データの作成方法、品質評価処理プログラムおよび品質評価方法 | |
| CN111860033A (zh) | 一种注意力识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |