CN113591763A - 人脸脸型的分类识别方法、装置、存储介质及计算机设备 - Google Patents

人脸脸型的分类识别方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN113591763A
CN113591763A CN202110908180.3A CN202110908180A CN113591763A CN 113591763 A CN113591763 A CN 113591763A CN 202110908180 A CN202110908180 A CN 202110908180A CN 113591763 A CN113591763 A CN 113591763A
Authority
CN
China
Prior art keywords
face
picture
key point
neural network
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110908180.3A
Other languages
English (en)
Other versions
CN113591763B (zh
Inventor
赖柏霖
周宸
陈远旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110908180.3A priority Critical patent/CN113591763B/zh
Publication of CN113591763A publication Critical patent/CN113591763A/zh
Application granted granted Critical
Publication of CN113591763B publication Critical patent/CN113591763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸脸型的分类识别方法、装置、存储介质及计算机设备,涉及人工智能技术领域,可用于解决目前脸型分类识别准确度较低的技术问题。其中方法包括:对输入图片进行异常检测以及预处理,得到标准人脸图片;将所述标准人脸图片输入关键点检测模型,提取人脸关键点数据;根据所述人脸关键点数据计算预设指标距离特征值;利用所述预设指标距离特征值和/或训练完成的图神经网络模型确定所述输入图片对应的脸型识别结果,其中,所述图神经网络模型是基于所述标准人脸图片和所述人脸关键点数据训练得到的。本申请适用于对人脸脸型的分类识别。

Description

人脸脸型的分类识别方法、装置、存储介质及计算机设备
技术领域
本申请涉及人工智能技术领域,尤其涉及到一种人脸脸型的分类识别方法、装置、存储介质及计算机设备。
背景技术
人脸脸型的分类识别是计算机视觉领域的基础任务,根据人的脸型轮廓和视觉效果可以将人脸分为胖、瘦、浮肿等类型,不同的脸型除了影响人的外貌美观外,也对应于不同的体质类型,甚至可能作为某些隐藏疾病隐患的征兆,故准确的脸型分类对于中医的面诊、医学美容等方面均有重要意义。
目前在医疗场景中对于脸型的识别主要依赖于人工,所以需要依赖于线下问诊以及线上实时问诊,这成为实现计算机智能自动诊断的一大障碍,实现人脸脸型的自动识别与分类迫切的需求。脸型识别对于人类是一个非常简单直观的问题,然而对于计算机而言却比较困难,因为脸型分类依赖于人的主观感受,难以明确判断的路径和规则。目前已有的算法大多是基于人脸的轮廓进行分类,或者利用深度神经网络的拟合能力,直接将原图输入到模型中得到分类结果,这些方式并没有充分分析问题,使模型性能受到限制,导致脸型识别的准确度较低。
发明内容
有鉴于此,本申请提供了一种人脸脸型的分类识别方法、装置、存储介质及计算机设备,可用于解决目前脸型分类识别的准确度较低的技术问题。
根据本申请的一个方面,提供了一种人脸脸型的分类识别方法,该方法包括:
对输入图片进行异常检测以及预处理,得到标准人脸图片;
将所述标准人脸图片输入关键点检测模型,提取人脸关键点数据;
根据所述人脸关键点数据计算预设指标距离特征值;
利用所述预设指标距离特征值和/或训练完成的图神经网络模型确定所述输入图片对应的脸型识别结果,其中,所述图神经网络模型是基于所述标准人脸图片和所述人脸关键点数据训练得到的。
根据本申请的另一个方面,提供了一种人脸脸型的分类识别装置,该装置包括:
检测处理模块,用于对输入图片进行异常检测以及预处理,得到标准人脸图片;
提取模块,用于将所述标准人脸图片输入关键点检测模型,提取人脸关键点数据;
计算模块,用于根据所述人脸关键点数据计算预设指标距离特征值;
确定模块,用于利用所述预设指标距离特征值和/或训练完成的图神经网络模型确定所述输入图片对应的脸型识别结果,其中,所述图神经网络模型是基于所述标准人脸图片和所述人脸关键点数据训练得到的。
根据本申请的又一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述人脸脸型的分类识别方法。
根据本申请的再一个方面,提供了一种计算机设备,包括可读存储介质、处理器及存储在可读存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述人脸脸型的分类识别方法。
借由上述技术方案,本申请提供的一种人脸脸型的分类识别方法、装置、存储介质及计算机设备,与目前人脸脸型识别的方式相比,本申请可首先对输入图片进行异常检测以及预处理,得到标准人脸图片,进而利用关键点检测模型在标准人脸图片中提取人脸关键点数据,并利用人脸关键点数据计算得到预设指标距离特征值;进一步的,可利用标准人脸图片和人脸关键点数据训练得到图神经网络模型,以便根据预设指标距离特征值和/或训练完成的图神经网络模型确定输入图片对应的脸型识别结果。在本申请的技术方案中,采用多特征融合的方式,以五官分布为基础,计算出多个符合人类判断规则的指标进行多路决策,能够保证脸型识别结果的准确性。并且使用了图卷积网络,图卷积网络相比于普通的卷积网络更善于处理有空间位置特征的图像,相比于目前存在的算法有更好地性能,进而能够保证人脸脸型的识别效果以及识别精度。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本地申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种人脸脸型的分类识别方法的流程示意图;
图2示出了本申请实施例提供的另一种人脸脸型的分类识别方法的流程示意图;
图3示出了本申请实施例提供的一种人脸脸型的分类识别装置的结构示意图;
图4示出了本申请实施例提供的另一种人脸脸型的分类识别装置的结构示意图。
具体实施方式
本申请实施例可以基于人工智能技术对人脸脸型进行分类识别。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请应用于人工智能软件技术中的生物识别技术。
下文将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
针对目前脸型分类识别准确度较低的技术问题,本申请提供了一种人脸脸型的分类识别方法,如图1所示,该方法包括:
101、对输入图片进行异常检测以及预处理,得到标准人脸图片。
对于本申请,可应用于医疗场景或其他人脸图像采集场景下的人脸脸型识别,相应的,输入图片具体可为医疗场景或其他人脸图像采集场景下的用户人脸采集图片,或用户主动上传的包含人脸图像的存储图片。在本实施例中,以输入图片为医疗应用场景下的人脸图片为例进行说明,其中,医疗应用场景可包括线上、线下问诊场景等。
鉴于在线上、线下问诊场景中,用户拍摄的照片质量参差不齐,故为了保证脸型识别的准确度,需要预先对输入图片进行异常检测以及预处理,以使最终保留的人脸图片满足预设脸型识别条件。其中,异常检测用于识别异常图片,包括图片模糊度识别、曝光识别、亮度识别、人脸角度识别、人脸距离镜头远近识别,以及是否包含面部的判断、是否包含多个人脸的判断等;预处理可包括对输入图片的矫正处理和归一化处理,矫正处理可包括输入图片的光线补偿、灰度变换、直方图均衡化、几何校正、滤波以及锐化等,归一化处理可为对输入图片的RGB通道即R、G、B三个通道进行归一化处理,具体可在训练集上分别计算RGB三个通道的均值和方差,将输入图片的RGB三通道分别减对应的均值,再除以对应的方差。通过对输入图片的矫正处理和归一化处理,即可得到满足预设脸型识别条件的标准人脸图片。
对于本申请的执行主体可为对输入图片进行人脸脸型分类识别的装置或设备,可配置在服务器侧或客户端侧,可提高人脸脸型的识别精度。在该装置或设备中配置有关键点检测模型以及图神经网络模型,用于在将输入图片转化为标准人脸图片后,利用关键点检测模型在标准人脸图片中提取人脸关键点数据,以便利用人脸关键点数据计算预设指标距离特征值;此外,可进一步利用预设指标距离特征值和/或训练完成的图神经网络模型确定输入图片对应的脸型识别结果。
102、将标准人脸图片输入关键点检测模型,提取人脸关键点数据。
其中,人脸关键点数据是指预先定义的人脸关键点的位置坐标,人脸关键点具体可为根据眼睛、眉毛、嘴巴、鼻子等器官确定的关键点,人脸关键点数据可用于定义人像的五官位置和五官的分布比例。
对于本实施例,关键点检测模型具体可由现有的MediaPipe框架构建得到,其中,MediaPipe为开源模型,利用MediaPipe模型可实现基于感官数据进行机器学习的推理,即在本申请中可应用于对标准人脸图片中人脸关键点数据的提取。
103、根据人脸关键点数据计算预设指标距离特征值。
其中,预设指标距离特征可包括双目间距、双目分别到脸部左右边界的距离、嘴角到左右边界的距离,鼻梁高度、鼻子两翼到眼睛和嘴角的距离、面部最大宽度等。在基于人脸关键点数据计算预设指标特征值时,具体可在基于实施例步骤102确定出人脸关键点对应的位置坐标后,提取与预设指标特征对应标签匹配的至少两个指标关键点,进而基于两个指标关键点的横纵坐标,利用两点间距离公式计算得到预设指标的距离特征。
104、利用预设指标距离特征值和/或训练完成的图神经网络模型确定输入图片对应的脸型识别结果,其中,图神经网络模型是基于标准人脸图片和人脸关键点数据训练得到的。
其中,脸型识别结果可为输入图片对应所属的脸型类别,在具体的应用场景中,可预设多个脸型类别,在利用预设指标距离特征值和/或训练完成的图神经网络模型确定输入图片对应的脸型识别结果时,首先输出输入图片对应为各个预设脸型类别的预测概率,进而将对应预测概率最高的预设脸型确定为输入图片的脸型识别结果。如共包括(1)杏仁形脸型;(2)卵圆形脸型;(3)圆形脸型;(4)长圆形脸型;(5)方形脸型;(6)长方形脸型;(7)菱形脸型;(8)三角形脸型八种预设脸型类别,在进行脸型识别时,每个预设脸型类别中分别对应有计算出的预测概率,如分别为:45%、7%、8%、5%、15%、5%、10%、5%,八种预设脸型类别的预测概率之和为1,则可进一步将预测概率最大的“杏仁形脸型”确定为当前输入图片中人像的脸型识别结果。
对于本实施例,在执行本实施例步骤之前,需要预先利用标准人脸图片和人脸关键点数据训练脸型识别模型以及图神经网络模型,相应的,在判定脸型识别模型以及图神经网络模型训练完成后,可进一步分别利用脸型识别模型以及图神经网络模型进行人脸脸型的分类识别。其中,在进行人脸脸型识别时,具体可包括三种可选实施方式,第一种可选实施方式、直接利用训练完成的图神经网络模型确定输入图片的脸型识别结果;第二种可选实施方式,将预设指标距离特征值输入基于现有深度学习算法训练完成的脸型识别模型中,进一步得到输入图片对应的脸型识别结果;第三种可选实施方式,利用预设指标距离特征值和训练完成的图神经网络模型确定输入图片对应的脸型识别结果。由于在本申请中,采用多特征融合的方式,以五官分布为基础,提取出的人脸关键点数据和预设指标距离特征值等能作为脸型分类识别的重要指标,进而能够保证脸型识别结果的准确性。此外,图卷积网络相比于普通的卷积网络更善于处理有空间位置特征的图像,相比于目前存在的算法有更好地性能,进而上述任一种可选实施方式均能够提高人脸脸型的识别效果以及识别精度。鉴于第三种可选实施方式在图神经网络模型识别过程中还增加了预设指标距离特征,故第三种可选实施方式中对人脸脸型识别的效果要更优于第一种可选实施方式中的识别效果,故第三种可选实施方式可作为本申请中的优选实施方式。
通过本实施例中人脸脸型的分类识别方法,可首先对输入图片进行异常检测以及预处理,得到标准人脸图片,进而利用关键点检测模型在标准人脸图片中提取人脸关键点数据,并利用人脸关键点数据计算得到预设指标距离特征值;进一步的,可利用标准人脸图片和人脸关键点数据训练得到图神经网络模型,以便根据预设指标距离特征值和/或训练完成的图神经网络模型确定输入图片对应的脸型识别结果。在本申请的技术方案中,采用多特征融合的方式,以五官分布为基础,计算出多个符合人类判断规则的指标进行多路决策,能够保证脸型识别结果的准确性。并且使用了图卷积网络,图卷积网络相比于普通的卷积网络更善于处理有空间位置特征的图像,相比于目前存在的算法有更好地性能,进而能够保证人脸脸型的识别效果以及识别精度。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例中的具体实施过程,提供了另一种人脸脸型的分类识别方法,如图2所示,该方法包括:
201、对输入图片进行异常检测以及预处理,得到标准人脸图片。
对于本实施例,异常检测可用于识别输入图片的异常属性,具体可包括图片模糊度识别、曝光识别、亮度识别、人脸角度识别、人脸距离镜头远近识别,以及是否包含面部的判断、是否包含多个人脸的判断等。在进行异常检测时,具体可通过设置预设异常检测规则,在预设异常检测规则中可包含各个检测维度下的标准数值区间,如预设图片清晰度、预设曝光值区间、预设亮度区间、可识别角度区间、人脸距离镜头的可识别距离区间等;进而在异常检测时,可将提取的输入图片的特征维度数据与对应检测维度下的标准数值区间进行数值匹配,若判定特征维度数据在标准数值区间内,则可判定该输入图片通过该检测维度的异常检测。相应的,对于人脸的检测,可利用现有的机器学习算法训练得到人脸识别模型,利用人脸识别模型对输入图片进行人脸特征识别,进一步判断输入图片中所包含的人脸图像数量。
若经过上述异常检测,确定存在不符合预设异常检测规则的维度特征数据时,此时可通过第一预处理规则,对输入图片进行第一预处理操作,以对异常的输入图片进行图片矫正,使矫正后符合预设异常检测规则。其中,第一预处理规则具体可包括人脸图像的光线补偿、灰度变换、直方图均衡化、几何校正、滤波以及锐化等。
若经过上述异常检测或上述第一预处理操作,判定不存在不符合预设异常检测规则的维度特征数据,则可进一步对符合预设异常检测规则的输入图片进行第二预处理操作,即按照第二预处理规则对符合要求的输入照片进行归一化预处理,进一步得到符合识别标准的标准人脸图片。在进行归一化预处理时,具体可在训练集上分别计算RGB三个通道的均值和方差,将输入图片的RGB三通道分别减对应的均值,再除以对应的方差。
相应的,作为一种可选方式,实施例步骤201具体可以包括:提取输入图片的特征维度数据,并将特征维度数据与对应检测维度下的标准数值区间进行数值匹配;若确定任一检测维度下特征维度数据在标准数值区间外,则判定输入图片未通过异常检测;若判定输入图片未通过异常检测,则按照第一预处理规则对输入图片进行图片矫正处理;若判定输入图片通过异常检测或通过图片矫正处理,则按照第二预处理规则对输入图片进行归一化处理,得到标准人脸图片。
202、将标准人脸图片输入关键点检测模型,提取人脸关键点数据。
对于本实施例,关键点检测模型可为开源模型MediaPipe,开源模型MediaPipe包括包括卷积网络和全连接网络。在利用关键点检测模型提取输入图片的人脸关键点数据时,具体可将输入图片输入关键点检测模型的网络,通过卷积计算获得图像特征,再将图像特征输入全连接网络,进而利用全连接层输出预设数量个关键点的横纵坐标,通过关键点的位置坐标可以提取多个人脸特征,包括脸部的轮廓、人的面部器官位置等。其中,预设数量可根据具体的应用场景进行确定,例如可为100,当关键点数量为100时,可对应输出200个数值,分别对应这100个关键点的横、纵坐标值。相应的,作为一种可选方式,实施例步骤202具体可以包括:将标准人脸图片输入卷积网络,提取标准人脸图片的第一人脸图像特征;将第一人脸图像特征输入全连接网络,输出预设数量个人脸关键点的位置坐标,并将位置坐标确定为人脸关键点数据。
203a、利用训练完成的图神经网络模型确定输入图片对应的脸型识别结果,其中,图神经网络模型是基于标准人脸图片和人脸关键点数据训练得到的。
对于本实施例,作为一种优选方式,在利用训练完成的图神经网络模型确定输入图片对应的脸型识别结果之前,具体还可基于标准人脸图片和人脸关键点数据训练图神经网络模型。相应的,在利用标准人脸图片和人脸关键点数据训练图神经网络模型时,实施例步骤具体可以包括:将标准人脸图片输入图神经网络模型,获取第二人脸图像特征;基于双线性差值算法在第二人脸图像特征中提取与人脸关键点数据匹配的节点特征;利用节点特征训练图神经网络模型,并在图神经网络模型的损失函数小于预设阈值时,判定图神经网络模型训练完成。具体训练时可采用随机初始化的方式,用Adam优化器进行优化,设置学习率为0.001,模型在验证集上连续5个周期没有提升则终止训练,则判定图神经网络模型训练完成,并保存网络权重参数。
相应的,在基于双线性差值算法在人脸图像特征中提取与人脸关键点数据匹配的节点特征时,鉴于图神经网络模型根据标准人脸图片得到的人脸图像特征为整张人脸对应整数点的特征,而人脸图像特征中可包含大量对脸型识别不相关的特征,如皮肤特征、颜色特征等,且人脸关键点对应的坐标点可能不是整数点。故为了提取出对脸型识别相关性较大的特征数据,本申请可使用双线性插值算法在人脸图像特征中提取出人脸关键点所在位置对应的特征,进而将其作为图神经网络的节点特征。
其中,双线性插值是对线性插值在二维直角网格上的扩展,用于对双变量函数(例如x和y)进行插值。其核心思想是在两个方向分别进行一次线性插值。
对应的公式特征描述为:
若对于本申请,需要计算未知函数f在关键点P=(x,y)的节点特征值,假设已知函数f在Q11=(x1,y1),Q12=(x1,y2),Q21=(x2,y1),及Q22=(x2,y2)四个整数点的人脸图像特征值。
在进行双线性插值时,首先可在x方向进行线性插值,得到:
Figure BDA0003202500940000091
Figure BDA0003202500940000092
然后在y方向进行线性插值,得到:
Figure BDA0003202500940000093
进一步的,可将f(x,y)确定为关键点P=(x,y)的节点特征值。
需要说明的是,在进行双线性插值时,还可先在y方向插值、再在x方向插值,其结果与按照上述顺序下双线性插值的结果保护一致。
进一步的,在判定图神经网络模型训练完成后,作为人脸脸型识别的一种可选实施方式,可直接将标准人脸图片输入图神经网络模型中,利用图神经网络模型作为脸型分类识别模型,输出与输入图片针对不同预设脸型类别的预测概率,如可共包括(1)杏仁形脸型;(2)卵圆形脸型;(3)圆形脸型;(4)长圆形脸型;(5)方形脸型;(6)长方形脸型;(7)菱形脸型;(8)三角形脸型八种预设脸型类别,每个预设脸型类别中分别对应有计算出的预测概率,八种预设脸型类别的预测概率之和为1,进一步的,可将对应预测概率最高的预设脸型确定为输入图片的脸型识别结果。
与实施例步骤203a并列的实施例步骤203b、在人脸关键点数据中提取与预设指标标签匹配的至少两个指标关键点,依据指标关键点的位置坐标以及预设距离公式计算配置有预设指标标签的预设指标距离特征值。
其中,预设指标距离特征可包括双目间距、双目分别到脸部左右边界的距离、嘴角到左右边界的距离,鼻梁高度、鼻子两翼到眼睛和嘴角的距离、面部最大宽度等。在基于人脸关键点数据计算预设指标特征值时,具体可在基于实施例步骤202确定出人脸关键点对应的位置坐标后,提取与预设指标特征对应标签匹配的至少两个指标关键点,进而基于两个指标关键点的横纵坐标,利用两点间距离公式计算得到预设指标的距离特征。
例如,设两个指标关键点A、B以及横纵坐标分别为(x1,y1)、(x2,y2),则计算得到A和B两点之间的距离特征为:
Figure BDA0003202500940000101
作为一种优选方式,在计算得到各个预设指标距离特征值后,考虑到不同人的脸部尺寸不同,距离镜头的距离不同,故需要对各个预设指标距离特征值进行归一化处理,具体可将得到的预设指标距离特征值除以该人脸图像头顶至下巴的距离,得到相对数值,进而将相对数值确定为最终的预设指标距离特征值。
作为人脸脸型识别的另一种可选实施方式,在基于实施例步骤203b计算得到预设指标距离特征值后,还可将预设指标距离特征值输入基于现有深度学习算法训练完成的脸型识别模型中,进一步得到输入图片对应的脸型识别结果。其中,脸型识别模型具体可包括线性回归模型、逻辑回归模型、朴素贝叶斯模型、决策树模型、SVM(支持向量机)模型、神经网络模型、KNN模型、条件随机场(CRF)模型等。在具体的应用场景中,在执行本实施例中的步骤之前,需要预先对脸型识别模型进行有监督训练,以便基于预设指标距离特征值能够直接输出脸型识别结果。
相应的,作为又一种可选实施方式,在基于实施例步骤203b计算得到预设指标距离特征值后,还可进一步执行实施例步骤204b,利用预设指标距离特征值和训练完成的图神经网络模型确定输入图片对应的脸型识别结果。
204b、利用预设指标距离特征值和训练完成的图神经网络模型确定输入图片对应的脸型识别结果,其中,图神经网络模型是基于标准人脸图片和人脸关键点数据训练得到的。
对于本实施例,作为一种优选方式,与实施例步骤203a对应,在利用预设指标距离特征值和训练完成的图神经网络模型确定输入图片对应的脸型识别结果之前,同样需要基于标准人脸图片和人脸关键点数据训练图神经网络模型,相应的,在利用标准人脸图片和人脸关键点数据训练图神经网络模型时,实施例步骤与实施例步骤203a中已描述的训练过程相同,在此不再进行赘述。
进一步的,在判定图神经网络模型训练完成后,可利用预设指标距离特征值和训练完成的图神经网络模型确定输入图片对应的脸型识别结果。具体的,在提取出各个预设指标距离特征值后,可按照预设拼接规则将各个预设指标距离特征值进行拼接,得到第二特征向量,第二特征向量作为手工定义的特征,可进一步与图神经网络模型中最后一层输出的第一特征向量进行向量拼接,得到第三特征向量。进而利用第三特征向量训练由三层全连接网络构建的脸型分类识别模型,训练过程同样采用随机初始化的方式,用Adam优化器进行优化,设置学习率为0.001,模型在验证集上连续5个周期没有提升则终止训练,最终利用训练完成的脸型分类识别模型输出输入图片针对不同预设脸型类别的预测概率,如可共包括(1)杏仁形脸型;(2)卵圆形脸型;(3)圆形脸型;(4)长圆形脸型;(5)方形脸型;(6)长方形脸型;(7)菱形脸型;(8)三角形脸型八种预设脸型类别,每个预设脸型类别中分别对应有计算出的预测概率,八种预设脸型类别的预测概率之和为1,进一步的,可将对应预测概率最高的预设脸型确定为输入图片的脸型识别结果。
相应的,实施例步骤具体可以包括:提取训练完成的图神经网络模型最后一层网络输出的第一特征向量;将预设指标距离特征值进行特征融合,得到第二特征向量;拼接第一特征向量和第二特征向量,得到第三特征向量;将第三特征向量输入由三层全连接层搭建并训练完成的脸型分类识别模型中,利用脸型分类识别模型输出脸型识别结果。
对于本实施例,作为一种优选方式,若在对输入图片进行异常检测以及预处理过程中,检测到一个输入图片中存在多个人脸图像时,作为一种可选方式,可输出输入图片异常的提示信息,并输出输入图片不满足条件的原因(如图片中存在多个人脸数据),以便用户重新进行人脸图像的录入;作为另一种可选方式,可基于人脸图像识别结果,生成包含人脸区域的检测框,并提示用户通过检测框进行待识别人脸图像的选取;若未接收到用户对待识别人脸图像的选取指令,作为又一种可选方式,当同一输入图片中存在多个人脸图像时,可按照人脸图像的采集顺序(如由左至右、由上至下等),为多个人脸图像配置识别优先级,进而按照识别优先级由大至小的顺序依次执行如图1或图2所示的人脸脸型识别步骤,进行人脸脸型的分类识别。如同一个输入图片中包含两个人脸图像时,可按照由左至右的顺序,确定两个人脸图像的识别优先级,并按照识别优先级由大至小的顺序进行人脸脸型的分类识别,即对于包含两个人脸图像的输入图片需要依次执行两次人脸脸型识别过程。相应的,实施例步骤具体可以包括:检测标准人脸图片中是否存在多个人脸图像;若是,则生成包含人脸图像的检测框,并响应于用户对检测框的选定指令,执行对选定检测框内人脸图像的脸型识别;或,根据优先级配置规则为人脸图像配置识别优先级,并按照识别优先级由大至小的顺序对人脸图像进行脸型识别。
借由上述人脸脸型的分类识别方法,可首先对输入图片进行异常检测以及预处理,得到标准人脸图片,进而利用关键点检测模型在标准人脸图片中提取人脸关键点数据,并利用人脸关键点数据计算得到预设指标距离特征值;进一步的,可利用标准人脸图片和人脸关键点数据训练得到图神经网络模型,以便根据预设指标距离特征值和/或训练完成的图神经网络模型确定输入图片对应的脸型识别结果。在本申请的技术方案中,采用多特征融合的方式,以五官分布为基础,计算出多个符合人类判断规则的指标进行多路决策,能够保证脸型识别结果的准确性。并且使用了图卷积网络,图卷积网络相比于普通的卷积网络更善于处理有空间位置特征的图像,相比于目前存在的算法有更好地性能,进而能够保证人脸脸型的识别效果以及识别精度。
进一步的,作为图1和图2所示方法的具体实现,本申请实施例提供了一种人脸脸型的分类识别装置,如图3所示,该装置包括:检测处理模块31、第一提取模块32、计算模块33、确定模块34;
检测处理模块31,可用于对输入图片进行异常检测以及预处理,得到标准人脸图片;
第一提取模块32,可用于将标准人脸图片输入关键点检测模型,提取人脸关键点数据;
计算模块33,可用于根据人脸关键点数据计算预设指标距离特征值;
确定模块34,可用于利用预设指标距离特征值和/或训练完成的图神经网络模型确定输入图片对应的脸型识别结果,其中,图神经网络模型是基于标准人脸图片和人脸关键点数据训练得到的。
在具体的应用场景中,检测处理模块31,具体可用于提取输入图片的特征维度数据,并将特征维度数据与对应检测维度下的标准数值区间进行数值匹配;若确定任一检测维度下特征维度数据在标准数值区间外,则判定输入图片未通过异常检测;若判定输入图片未通过异常检测,则按照第一预处理规则对输入图片进行图片矫正处理;若判定输入图片通过异常检测或通过图片矫正处理,则按照第二预处理规则对输入图片进行归一化处理,得到标准人脸图片。
相应的,关键点检测模型包括卷积网络和全连接网络,在利用关键点检测模型提取人脸关键点数据时,第一提取模块32,具体可用于将标准人脸图片输入卷积网络,提取标准人脸图片的第一人脸图像特征;将第一人脸图像特征输入全连接网络,输出预设数量个人脸关键点的位置坐标,并将位置坐标确定为人脸关键点数据。
在具体的应用场景中,计算模块33,具体可用于在人脸关键点数据中提取与预设指标标签匹配的至少两个指标关键点;依据指标关键点的位置坐标以及预设距离公式计算配置有预设指标标签的预设指标距离特征值。
相应的,为了训练得到图神经网络模型,如图4所示,该装置还包括:获取模块35、第二提取模块36、判定模块37;
获取模块35,用于将标准人脸图片输入图神经网络模型,获取第二人脸图像特征;
第二提取模块36,可用于基于双线性差值算法在第二人脸图像特征中提取与人脸关键点数据匹配的节点特征;
判定模块37,可用于利用节点特征训练图神经网络模型,并在图神经网络模型的损失函数小于预设阈值时,判定图神经网络模型训练完成。
在具体的应用场景中,确定模块34,具体可用于将标准人脸图片输入训练完成的图神经网络模型,利用图神经网络模型输出脸型识别结果;或,提取训练完成的图神经网络模型最后一层网络输出的第一特征向量;将预设指标距离特征值进行特征融合,得到第二特征向量;拼接第一特征向量和第二特征向量,得到第三特征向量;将第三特征向量输入由三层全连接层搭建并训练完成的脸型分类识别模型中,利用脸型分类识别模型输出脸型识别结果。
相应的,为了在检测到一张输入图片中存在多个人脸图像时,对多个人脸图像有序进行人脸脸型识别操作,如图4所示,该装置还包括:检测模块38、执行模块39;
检测模块38,用于检测标准人脸图片中是否存在多个人脸图像;
执行模块39,用于若检测到标准人脸图片中存在多个人脸图像,则生成包含人脸图像的检测框,并响应于用户对检测框的选定指令,执行对选定检测框内人脸图像的脸型识别;或,
执行模块39,还用于根据优先级配置规则为人脸图像配置识别优先级,并按照识别优先级由大至小的顺序对人脸图像进行脸型识别。
需要说明的是,本实施例提供的一种人脸脸型的分类识别装置所涉及各功能单元的其他相应描述,可以参考图1至图2的对应描述,在此不再赘述。
基于上述如图1至图2所示方法,相应的,本实施例还提供了一种存储介质,存储介质具体可为易失性或非易失性,其上存储有计算机可读指令,该可读指令被处理器执行时实现上述如图1至图2所示的人脸脸型的分类识别方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1至图2所示的方法和图3、图4所示的虚拟装置实施例,为了实现上述目的,本实施例还提供了一种计算机设备,该计算机设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1至图2所示的人脸脸型的分类识别方法。
可选的,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种计算机设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。
通过应用本申请的技术方案,与目前现有技术相比,本申请可首先对输入图片进行异常检测以及预处理,得到标准人脸图片,进而利用关键点检测模型在标准人脸图片中提取人脸关键点数据,并利用人脸关键点数据计算得到预设指标距离特征值;进一步的,可利用标准人脸图片和人脸关键点数据训练得到图神经网络模型,以便根据预设指标距离特征值和/或训练完成的图神经网络模型确定输入图片对应的脸型识别结果。在本申请的技术方案中,采用多特征融合的方式,以五官分布为基础,计算出多个符合人类判断规则的指标进行多路决策,能够保证脸型识别结果的准确性。并且使用了图卷积网络,图卷积网络相比于普通的卷积网络更善于处理有空间位置特征的图像,相比于目前存在的算法有更好地性能,进而能够保证人脸脸型的识别效果以及识别精度。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种人脸脸型的分类识别方法,其特征在于,包括:
对输入图片进行异常检测以及预处理,得到标准人脸图片;
将所述标准人脸图片输入关键点检测模型,提取人脸关键点数据;
根据所述人脸关键点数据计算预设指标距离特征值;
利用所述预设指标距离特征值和/或训练完成的图神经网络模型确定所述输入图片对应的脸型识别结果,其中,所述图神经网络模型是基于所述标准人脸图片和所述人脸关键点数据训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述对输入图片进行异常检测以及预处理,得到标准人脸图片,具体包括:
提取输入图片的特征维度数据,并将所述特征维度数据与对应检测维度下的标准数值区间进行数值匹配;
若确定任一检测维度下所述特征维度数据在所述标准数值区间外,则判定所述输入图片未通过异常检测;
若判定所述输入图片未通过异常检测,则按照第一预处理规则对所述输入图片进行图片矫正处理;
若判定所述输入图片通过异常检测或通过所述图片矫正处理,则按照第二预处理规则对所述输入图片进行归一化处理,得到标准人脸图片。
3.根据权利要求1所述的方法,其特征在于,所述关键点检测模型包括卷积网络和全连接网络,所述将所述标准人脸图片输入关键点检测模型,提取人脸关键点数据,具体包括:
将所述标准人脸图片输入所述卷积网络,提取所述标准人脸图片的第一人脸图像特征;
将所述第一人脸图像特征输入所述全连接网络,输出预设数量个人脸关键点的位置坐标,并将所述位置坐标确定为人脸关键点数据。
4.根据权利要求1所述的方法,其特征在于,所述根据所述人脸关键点数据计算预设指标距离特征值,具体包括:
在所述人脸关键点数据中提取与预设指标标签匹配的至少两个指标关键点;
依据所述指标关键点的位置坐标以及预设距离公式计算配置有所述预设指标标签的预设指标距离特征值。
5.根据权利要求1所述的方法,其特征在于,在利用所述预设指标距离特征值和/或训练完成的图神经网络模型确定所述输入图片对应的脸型识别结果之前,所述方法还包括:
将所述标准人脸图片输入图神经网络模型,获取第二人脸图像特征;
基于双线性差值算法在所述第二人脸图像特征中提取与所述人脸关键点数据匹配的节点特征;
利用所述节点特征训练所述图神经网络模型,并在所述图神经网络模型的损失函数小于预设阈值时,判定所述图神经网络模型训练完成。
6.根据权利要求1所述的方法,其特征在于,所述利用所述预设指标距离特征值和/或训练完成的图神经网络模型确定所述输入图片对应的脸型识别结果,具体包括:
将所述标准人脸图片输入训练完成的图神经网络模型,利用所述图神经网络模型输出脸型识别结果;或,
提取训练完成的图神经网络模型最后一层网络输出的第一特征向量;将所述预设指标距离特征值进行特征融合,得到第二特征向量;拼接所述第一特征向量和所述第二特征向量,得到第三特征向量;将所述第三特征向量输入由三层全连接层搭建并训练完成的脸型分类识别模型中,利用所述脸型分类识别模型输出脸型识别结果。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
检测所述标准人脸图片中是否存在多个人脸图像;
若是,则生成包含所述人脸图像的检测框,并响应于用户对所述检测框的选定指令,执行对选定检测框内人脸图像的脸型识别;或,
根据优先级配置规则为所述人脸图像配置识别优先级,并按照所述识别优先级由大至小的顺序对所述人脸图像进行脸型识别。
8.一种人脸脸型的分类识别装置,其特征在于,包括:
检测处理模块,用于对输入图片进行异常检测以及预处理,得到标准人脸图片;
提取模块,用于将所述标准人脸图片输入关键点检测模型,提取人脸关键点数据;
计算模块,用于根据所述人脸关键点数据计算预设指标距离特征值;
确定模块,用于利用所述预设指标距离特征值和/或训练完成的图神经网络模型确定所述输入图片对应的脸型识别结果,其中,所述图神经网络模型是基于所述标准人脸图片和所述人脸关键点数据训练得到的。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至7中任一项所述的人脸脸型的分类识别方法。
10.一种计算机设备,包括可读存储介质、处理器及存储在可读存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述的人脸脸型的分类识别方法。
CN202110908180.3A 2021-08-09 2021-08-09 人脸脸型的分类识别方法、装置、存储介质及计算机设备 Active CN113591763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110908180.3A CN113591763B (zh) 2021-08-09 2021-08-09 人脸脸型的分类识别方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110908180.3A CN113591763B (zh) 2021-08-09 2021-08-09 人脸脸型的分类识别方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN113591763A true CN113591763A (zh) 2021-11-02
CN113591763B CN113591763B (zh) 2024-05-28

Family

ID=78256375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110908180.3A Active CN113591763B (zh) 2021-08-09 2021-08-09 人脸脸型的分类识别方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN113591763B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633634A (zh) * 2019-08-08 2019-12-31 福建中医药大学 一种关于中医体质的脸型分类方法、系统和计算机可读存储介质
CN115082993A (zh) * 2022-06-27 2022-09-20 平安银行股份有限公司 一种基于张嘴动作的人脸活检方法和装置
CN116580445A (zh) * 2023-07-14 2023-08-11 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、系统及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701216A (zh) * 2017-11-13 2018-10-23 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
WO2021051611A1 (zh) * 2019-09-19 2021-03-25 平安科技(深圳)有限公司 基于人脸可见性的人脸识别方法、系统、装置及存储介质
CN112861791A (zh) * 2021-03-11 2021-05-28 河北工业大学 一种结合图神经网络和多特征融合的唇语识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701216A (zh) * 2017-11-13 2018-10-23 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
WO2021051611A1 (zh) * 2019-09-19 2021-03-25 平安科技(深圳)有限公司 基于人脸可见性的人脸识别方法、系统、装置及存储介质
CN112861791A (zh) * 2021-03-11 2021-05-28 河北工业大学 一种结合图神经网络和多特征融合的唇语识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孟令军;王静波;: "基于Pytorch和Opencv的人脸关键点检测", 电视技术, no. 14, 25 July 2019 (2019-07-25) *
柏涛涛;: "基于深度神经网络与MPI并行计算的人脸识别算法研究", 西安文理学院学报(自然科学版), no. 02, 15 April 2020 (2020-04-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633634A (zh) * 2019-08-08 2019-12-31 福建中医药大学 一种关于中医体质的脸型分类方法、系统和计算机可读存储介质
CN115082993A (zh) * 2022-06-27 2022-09-20 平安银行股份有限公司 一种基于张嘴动作的人脸活检方法和装置
CN116580445A (zh) * 2023-07-14 2023-08-11 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、系统及电子设备
CN116580445B (zh) * 2023-07-14 2024-01-09 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、系统及电子设备

Also Published As

Publication number Publication date
CN113591763B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
US11487995B2 (en) Method and apparatus for determining image quality
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
CN113591763B (zh) 人脸脸型的分类识别方法、装置、存储介质及计算机设备
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
JP2020526809A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
CN111563601A (zh) 使用联合语义向量进行表示学习
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN111274916A (zh) 人脸识别方法和人脸识别装置
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
Huang et al. Deepfinger: A cascade convolutional neuron network approach to finger key point detection in egocentric vision with mobile camera
US11403560B2 (en) Training apparatus, image recognition apparatus, training method, and program
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112381061B (zh) 一种面部表情识别方法及系统
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
JP2022553779A (ja) キャビン内の環境の調整方法及び装置
CN115661246A (zh) 一种基于自监督学习的姿态估计方法
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112699857A (zh) 基于人脸姿态的活体验证方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant