CN111274919A - 基于卷积神经网络的五官检测方法、系统、服务器及介质 - Google Patents
基于卷积神经网络的五官检测方法、系统、服务器及介质 Download PDFInfo
- Publication number
- CN111274919A CN111274919A CN202010051792.0A CN202010051792A CN111274919A CN 111274919 A CN111274919 A CN 111274919A CN 202010051792 A CN202010051792 A CN 202010051792A CN 111274919 A CN111274919 A CN 111274919A
- Authority
- CN
- China
- Prior art keywords
- score
- sense organs
- face
- scores
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000697 sensory organ Anatomy 0.000 title claims abstract description 81
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 29
- 230000001815 facial effect Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 210000001508 eye Anatomy 0.000 claims description 45
- 210000004709 eyebrow Anatomy 0.000 claims description 43
- 238000002372 labelling Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 22
- 210000001331 nose Anatomy 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 16
- 230000001953 sensory effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 210000005069 ears Anatomy 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的五官检测方法、系统、服务器及介质，基于卷积神经网络的五官检测方法包括获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像；建立基于SSD算法的网络模型；获取所述输入图像输入至所述网络模型，基于分类损失函数和位置位置损失函数的约束，来调整网络权重使得网络模型的输出的分数更加贴合人脸五官状态，并通过加权的方式得到整体五官分数。采用监督学习的方法实现将去除背景信息的人脸图像输入到网络模型中，输出五官分数，使得用户对自己五官有清晰的认知，根据分数得到最优五官，辅助用户在化妆时凸显出自己五官的优处，以及对不足部位进行弥补，最好形成较好的妆容观感。
Description
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种基于卷积神经网络的五官检测方法、系统、服务器及介质。
背景技术
随着社会经济的进步，人们不仅仅局限于物质条件的提高，对于自身的外貌条件也越来越在意，需要通过化妆等方式对五官的呈现扬长避短，获得更好的观感。因此使得用户对自己五官有清晰的认知，辅助用户在化妆时凸显出自己五官的优处，以及对不足部位进行弥补，最好形成较好的妆容观感的问题亟待解决。
发明内容
本发明的目的在于提供一种基于卷积神经网络的五官检测方法、系统、服务器及介质，采用监督学习方法实现将去除背景信息的人脸图像输入到网络模型中，输出五官分数，使得用户对自己五官有清晰的认知，根据分数得到最优五官，辅助用户在化妆时凸显出自己五官的优处，以及对不足部位进行弥补，最好形成较好的妆容观感。
为实现上述目的，第一方面，本发明提供了一种基于卷积神经网络的五官检测方法，包括：
获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像；
建立基于SSD算法的网络模型；
获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数。
在一实施方式中，获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像，具体包括：
定位人脸的68个关键点，并根据68个关键点的位置信息，截取人脸区域对应图像进行背景信息去除处理；所述人脸区域对应图像为根据眉毛的位置信息，结合眼距，向上扩充保留额头区域，根据嘴巴的位置信息，向下扩充保留下巴区域，根据脸部轮廓的位置信息，左右扩充至与耳朵交接区域。
在一实施方式中，获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像，具体还包括：
对人面部部位进行分数标注，所述人面部部位包括鼻子、眼睛、嘴巴和眉毛，所述分数范围为7分～10分，其中每一部位为一类，每类的分数间隔是0.5分。
在一实施方式中，对人面部部位进行分数标注，具体包括：
获取左眼的标注分数和右眼的标注分数，进行加权平均计算得到眼睛标注分数。
在一实施方式中，对人面部部位进行分数标注，具体还包括：
获取左眉毛分数或右眉毛分数作为眉毛标注分数。
在一实施方式中，获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数，具体包括：
获取眼睛分数、鼻子分数、嘴巴分数、眉毛分数和感官分数加权计算得到整体五官分数；其中，所述感官分数为用户输入的对自己外貌的判断分数，所述感官分数范围为7分～10分，所述眼睛的权重和所述鼻子的权重均分别大于所述嘴巴的权重和所述眉毛的权重。
第二方面，本发明提供了一种基于卷积神经网络的五官检测系统，包括用于执行上述第一方面的所述基于卷积神经网络的五官检测方法的模块。
第三方面，本发明提供了一种服务器，包括处理器、通信接口和存储器，所述处理器、所述通信接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面所述的基于卷积神经网络的五官检测方法。
第四方面，本发明提供了一种介质，所述介质中存储有指令，当所述指令在计算机上运行时，使计算机执行上述第一方面所述的基于卷积神经网络的五官检测方法。
第五方面，本发明实施例提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使计算机执行上述第一方面所述的基于卷积神经网络的五官检测方法。
本发明的一种基于卷积神经网络的五官检测方法、系统、服务器及介质，通过获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像；建立基于SSD算法的网络模型；获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数。采用监督学习的方法实现。将去除背景信息的人脸图像输入到网络模型中，输出五官分数，使得用户对自己五官有清晰的认知，根据分数得到最优五官，辅助用户在化妆时凸显出自己五官的优处，以及对不足部位进行弥补，最好形成较好的妆容观感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于卷积神经网络的五官检测方法的流程示意图；
图2是本发明实施例提供的一种基于卷积神经网络的五官检测系统的结构示意图；
图3是本发明实施例提供的一种服务器的结构示意图；
图中：300-基于卷积神经网络的五官检测系统、301-获取模块、302-建立模块、303-输入模块、304-输出模块、305-定位截取处理模块、306-标注模块、307-加权处理模块、400-服务器、401-处理器、402-通信接口、403-存储器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
请参阅图1，图1是本发明实施例提供的一种基于卷积神经网络的五官检测方法的流程示意图。具体的，所述扔杂物识别算法可以包括以下步骤：
S101、获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像。
本发明实施例中，获取手机或相机拍照的人脸图像，人脸关键点算法是为人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。本发明人脸关键点检测是基于深度学习的方法，给人脸确定位置68个标点，这些标点位置是最能区分不同人的位置。具体是基于卷积神经网络，卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类。定位人脸的68个关键点，并根据68个关键点的位置信息，截取人脸区域对应图像进行背景信息去除处理；所述人脸区域对应图像为根据眉毛的位置信息，结合眼距，向上扩充保留额头区域，根据嘴巴的位置信息，向下扩充保留下巴区域，根据脸部轮廓的位置信息，左右扩充至与耳朵交接区域。由于耳朵受遮掩的概率很大，不易检测到，因此不对耳朵进行打分，主要是针对鼻子、眼睛、嘴巴和眉毛，这样使得用户能够拥有更好的观感从而能够较客观的给出感官分数，检测准确率高。对人面部部位进行分数标注，所述人面部部位包括鼻子、眼睛、嘴巴和眉毛，所述分数范围为7分～10分，其中每一部位为一类，每类的分数间隔是0.5分。由于人的左眼、右眼会存在一定的差异性，因此左眼和右眼会分开标注，获取左眼的标注分数和右眼的标注分数，进行加权平均计算得到眼睛标注分数。而左右眉毛的差异性小，因此只对其中一个眉毛分数标注，获取左眉毛分数或右眉毛分数作为眉毛标注分数。
S102、建立基于SSD算法的网络模型。
本发明实施例中，SSD算法的网络模型的优点是它生成的default box是多尺度的，这是因为SSD生成default box的feature map不仅仅是CNN输出的最后一层，还有利用比较浅层的feature map生成的default box，所以SSD算法的网络模型检测优越。同时，又因为SSD生成的多尺度default box一定有更高概率找到更加贴近于Ground Truth的候选框，所以模型的稳定性强。输入训练集，通过分类损失函数和位置损失函数，与标签之间构造有效的监督学习过程。得到五官的分数，反向求导，传播梯度调整网络模型的参数，使得人脸五官分数回归到属于标注的五官分数的范畴中。
S103、获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数。
本发明实施例中，整个训练过程是一个端到端的监督过程，预测阶段也是端到端，获取所述输入图像输入至所述网络模型，预测出五官的分数，以及整体五官的分数，得分最高的分数为用户的最优五官。获取眼睛分数、鼻子分数、嘴巴分数、眉毛分数和感官分数加权计算得到整体五官分数；具体加权公式如下：
overa11＝eye*0.3+nose*0.3+mouth*0.2+eyebrow*0.1+感官分数*0.1；
其中，eye表示眼睛分数，nose表示鼻子分数，mouth表示嘴巴分数，eyebrow表示眉毛分数，overa11表示整体五官分数，即整体的颜值分数，所述感官分数为用户输入的对自己外貌的判断分数，所述感官分数范围为7分～10分，人们对自己的眼睛和鼻子的在意程度要略高于嘴巴和眉毛，所述眼睛的权重和所述鼻子的权重均分别大于所述嘴巴的权重和所述眉毛的权重，由于感官分数主观因素太强，因此设置的比重也略低。
本发明的一种基于卷积神经网络的五官检测方法、系统、服务器及介质，通过获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像；建立基于SSD算法的网络模型；获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数。采用监督学习的方法实现。将去除背景信息的人脸图像输入到网络模型中，输出五官分数，使得用户对自己五官有清晰的认知，根据分数得到最优五官，辅助用户在化妆时凸显出自己五官的优处，以及对不足部位进行弥补，最好形成较好的妆容观感。
请参阅图2，图2是本发明实施例提供的一种基于卷积神经网络的五官检测系统300的结构示意图。本实施例中所描述的所述基于卷积神经网络的五官检测系统300包括用于上述的所述基于卷积神经网络的五官检测方法的模块。具体可以包括：获取模块301、建立模块302、输入模块303、输出模块304、定位截取处理模块305、标注模块306和加权处理模块307；其中：
所述获取模块301，用于获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像；
所述建立模块302，用于建立基于SSD算法的网络模型；
所述输入模块303，用于获取所述输入图像输入至所述网络模型，所述输出模块304，用于基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数。
在一实施例中，在获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像中，所述定位截取处理模块305，用于定位人脸的68个关键点，并根据68个关键点的位置信息，截取人脸区域对应图像进行背景信息去除处理；所述人脸区域对应图像为根据眉毛的位置信息，结合眼距，向上扩充保留额头区域，根据嘴巴的位置信息，向下扩充保留下巴区域，根据脸部轮廓的位置信息，左右扩充至与耳朵交接区域。
在一实施例中，在获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像中，所述标注模块306，用于对人面部部位进行分数标注，所述人面部部位包括鼻子、眼睛、嘴巴和眉毛，所述分数范围为7分～10分，其中每一部位为一类，每类的分数间隔是0.5分。
在一实施例中，在对人面部部位进行分数标注中，所述加权处理模块307，用于获取左眼的标注分数和右眼的标注分数，进行加权平均计算得到眼睛标注分数。
在一实施例中，在对人面部部位进行分数标注中，所述获取模块301，用于获取左眉毛分数或右眉毛分数作为眉毛标注分数。
在一实施例中，在获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数中，所述加权处理模块307，用于获取眼睛分数、鼻子分数、嘴巴分数、眉毛分数和感官分数加权计算得到整体五官分数；其中，所述感官分数为用户输入的对自己外貌的判断分数，所述感官分数范围为7分～10分，所述眼睛的权重和所述鼻子的权重均分别大于所述嘴巴的权重和所述眉毛的权重。
请参阅图3，图3为本发明实施例提供的一种服务器400的结构示意图，本发明实施例中所描述的服务器400包括：处理器401、通信接口402、存储器403。其中，处理器401、通信接口402、存储器403可通过总线或其他方式连接，本发明实施例以通过总线连接为例。
处理器401可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)，图形处理器(graphics processing unit，GPU)，或者CPU、GPU和NP的组合。处理器401也可以是多核CPU、多核GPU或多核NP中用于实现通信标识绑定的核。
上述处理器401可以是硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
上述通信接口402可用于收发信息或信令的交互，以及信号的接收和传递，通信接口402可以是收发器。上述存储器403可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的存储程序(比如文字存储功能、位置存储功能等)；存储数据区可存储根据服务器400的使用所创建的数据(比如图像数据、文字数据)等，并可以包括应用存储程序等。此外，存储器403可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
上述存储器403还用于存储程序指令。上述处理器401可以调用上述存储器403存储的程序指令，实现如本发明实施例所示的基于卷积神经网络的五官检测方法。
具体地，上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤：
获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像；
建立基于SSD算法的网络模型；
获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数。
在一实施例中，在获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像中，上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤：
定位人脸的68个关键点，并根据68个关键点的位置信息，截取人脸区域对应图像进行背景信息去除处理；所述人脸区域对应图像为根据眉毛的位置信息，结合眼距，向上扩充保留额头区域，根据嘴巴的位置信息，向下扩充保留下巴区域，根据脸部轮廓的位置信息，左右扩充至与耳朵交接区域。
在一实施例中，在获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像中，上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤：
对人面部部位进行分数标注，所述人面部部位包括鼻子、眼睛、嘴巴和眉毛，所述分数范围为7分～10分，其中每一部位为一类，每类的分数间隔是0.5分。
在一实施例中，在对人面部部位进行分数标注中，上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤：
获取左眼的标注分数和右眼的标注分数，进行加权平均计算得到眼睛标注分数。
在一实施例中，在对人面部部位进行分数标注中，上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤：
获取左眉毛分数或右眉毛分数作为眉毛标注分数。
在一实施例中，在获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数中，上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤：
获取眼睛分数、鼻子分数、嘴巴分数、眉毛分数和感官分数加权计算得到整体五官分数；其中，所述感官分数为用户输入的对自己外貌的判断分数，所述感官分数范围为7分～10分，所述眼睛的权重和所述鼻子的权重均分别大于所述嘴巴的权重和所述眉毛的权重。
本发明实施例还提供一种介质，所述介质为计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述方法实施例所述的基于卷积神经网络的五官检测方法。
本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例所述的基于卷积神经网络的五官检测方法。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (9)
1.一种基于卷积神经网络的五官检测方法，其特征在于，包括：
获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像；
建立基于SSD算法的网络模型；
获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数。
2.如权利要求1所述的基于卷积神经网络的五官检测方法，其特征在于，获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像，具体包括：
定位人脸的68个关键点，并根据68个关键点的位置信息，截取人脸区域对应图像进行背景信息去除处理；所述人脸区域对应图像为根据眉毛的位置信息，结合眼距，向上扩充保留额头区域，根据嘴巴的位置信息，向下扩充保留下巴区域，根据脸部轮廓的位置信息，左右扩充至与耳朵交接区域。
3.如权利要求1所述的基于卷积神经网络的五官检测方法，其特征在于，获取人脸图像，并基于人脸关键点算法对所述人脸图像进行预处理，得到输入图像，具体还包括：
对人面部部位进行分数标注，所述人面部部位包括鼻子、眼睛、嘴巴和眉毛，所述分数范围为7分～10分，其中每一部位为一类，每类的分数间隔是0.5分。
4.如权利要求3所述的基于卷积神经网络的五官检测方法，其特征在于，对人面部部位进行分数标注，具体包括：
获取左眼的标注分数和右眼的标注分数，进行加权平均计算得到眼睛标注分数。
5.如权利要求3所述的基于卷积神经网络的五官检测方法，其特征在于，对人面部部位进行分数标注，具体还包括：
获取左眉毛分数或右眉毛分数作为眉毛标注分数。
6.如权利要求1所述的基于卷积神经网络的五官检测方法，其特征在于，获取所述输入图像输入至所述网络模型，基于分类损失函数和位置损失函数的约束，以及调整的网络权重输出五官各个部位分数和整体五官分数，具体包括：
获取眼睛分数、鼻子分数、嘴巴分数、眉毛分数和感官分数加权计算得到整体五官分数；其中，所述感官分数为用户输入的对自己外貌的判断分数，所述感官分数范围为7分～10分，所述眼睛的权重和所述鼻子的权重均分别大于所述嘴巴的权重和所述眉毛的权重。
7.一种基于卷积神经网络的五官检测系统，其特征在于，包括用于执行如权利要求1至6中任一项权利要求的所述基于卷积神经网络的五官检测方法的模块。
8.一种服务器，其特征在于，包括处理器、通信接口和存储器，所述处理器、所述通信接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至6任一项所述的基于卷积神经网络的五官检测方法。
9.一种介质，其特征在于，所述介质中存储有指令，当所述指令在计算机上运行时，使计算机执行如权利要求1至6任一项所述的基于卷积神经网络的五官检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051792.0A CN111274919A (zh) | 2020-01-17 | 2020-01-17 | 基于卷积神经网络的五官检测方法、系统、服务器及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051792.0A CN111274919A (zh) | 2020-01-17 | 2020-01-17 | 基于卷积神经网络的五官检测方法、系统、服务器及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111274919A true CN111274919A (zh) | 2020-06-12 |
Family
ID=71002430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010051792.0A Pending CN111274919A (zh) | 2020-01-17 | 2020-01-17 | 基于卷积神经网络的五官检测方法、系统、服务器及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111274919A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931712A (zh) * | 2020-09-18 | 2020-11-13 | 杭州海康威视数字技术股份有限公司 | 人脸识别方法、装置、抓拍机及系统 |
| CN112052843A (zh) * | 2020-10-14 | 2020-12-08 | 福建天晴在线互动科技有限公司 | 一种从粗到精的人脸关键点检测方法 |
| CN112613447A (zh) * | 2020-12-29 | 2021-04-06 | 上海商汤智能科技有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
| CN116071804A (zh) * | 2023-01-18 | 2023-05-05 | 北京六律科技有限责任公司 | 人脸识别的方法、装置和电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104636755A (zh) * | 2015-01-31 | 2015-05-20 | 华南理工大学 | 一种基于深度学习的人脸美丽评价方法 |
| CN105205479A (zh) * | 2015-10-28 | 2015-12-30 | 小米科技有限责任公司 | 人脸颜值评估方法、装置及终端设备 |
| US20170294010A1 (en) * | 2016-04-12 | 2017-10-12 | Adobe Systems Incorporated | Utilizing deep learning for rating aesthetics of digital images |
| CN108520213A (zh) * | 2018-03-28 | 2018-09-11 | 五邑大学 | 一种基于多尺度深度的人脸美丽预测方法 |
| CN108734086A (zh) * | 2018-03-27 | 2018-11-02 | 西安科技大学 | 基于眼部区域生成网络的眨眼频率和视线估计方法 |
| WO2019000777A1 (zh) * | 2017-06-27 | 2019-01-03 | 五邑大学 | 基于互联网的人脸美化系统 |
| CN109190525A (zh) * | 2018-08-17 | 2019-01-11 | 上海极歌企业管理咨询中心（有限合伙） | 基于人工智能的广告用户识别方法及装置 |
| CN109871780A (zh) * | 2019-01-28 | 2019-06-11 | 中国科学院重庆绿色智能技术研究院 | 一种人脸质量判决方法、系统及人脸识别方法、系统 |
| CN109948476A (zh) * | 2019-03-06 | 2019-06-28 | 南京七奇智能科技有限公司 | 一种基于计算机视觉的人脸皮肤检测系统及其实现方法 |
| CN110119676A (zh) * | 2019-03-28 | 2019-08-13 | 广东工业大学 | 一种基于神经网络的驾驶员疲劳检测方法 |
| CN110188652A (zh) * | 2019-05-24 | 2019-08-30 | 北京字节跳动网络技术有限公司 | 人脸图像的处理方法、装置、终端及存储介质 |
-
2020
- 2020-01-17 CN CN202010051792.0A patent/CN111274919A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104636755A (zh) * | 2015-01-31 | 2015-05-20 | 华南理工大学 | 一种基于深度学习的人脸美丽评价方法 |
| CN105205479A (zh) * | 2015-10-28 | 2015-12-30 | 小米科技有限责任公司 | 人脸颜值评估方法、装置及终端设备 |
| US20170294010A1 (en) * | 2016-04-12 | 2017-10-12 | Adobe Systems Incorporated | Utilizing deep learning for rating aesthetics of digital images |
| WO2019000777A1 (zh) * | 2017-06-27 | 2019-01-03 | 五邑大学 | 基于互联网的人脸美化系统 |
| CN108734086A (zh) * | 2018-03-27 | 2018-11-02 | 西安科技大学 | 基于眼部区域生成网络的眨眼频率和视线估计方法 |
| CN108520213A (zh) * | 2018-03-28 | 2018-09-11 | 五邑大学 | 一种基于多尺度深度的人脸美丽预测方法 |
| CN109190525A (zh) * | 2018-08-17 | 2019-01-11 | 上海极歌企业管理咨询中心（有限合伙） | 基于人工智能的广告用户识别方法及装置 |
| CN109871780A (zh) * | 2019-01-28 | 2019-06-11 | 中国科学院重庆绿色智能技术研究院 | 一种人脸质量判决方法、系统及人脸识别方法、系统 |
| CN109948476A (zh) * | 2019-03-06 | 2019-06-28 | 南京七奇智能科技有限公司 | 一种基于计算机视觉的人脸皮肤检测系统及其实现方法 |
| CN110119676A (zh) * | 2019-03-28 | 2019-08-13 | 广东工业大学 | 一种基于神经网络的驾驶员疲劳检测方法 |
| CN110188652A (zh) * | 2019-05-24 | 2019-08-30 | 北京字节跳动网络技术有限公司 | 人脸图像的处理方法、装置、终端及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 丁小龙: "基于生成对抗网络的面部表情识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931712A (zh) * | 2020-09-18 | 2020-11-13 | 杭州海康威视数字技术股份有限公司 | 人脸识别方法、装置、抓拍机及系统 |
| CN112052843A (zh) * | 2020-10-14 | 2020-12-08 | 福建天晴在线互动科技有限公司 | 一种从粗到精的人脸关键点检测方法 |
| CN112052843B (zh) * | 2020-10-14 | 2023-06-06 | 福建天晴在线互动科技有限公司 | 一种从粗到精的人脸关键点检测方法 |
| CN112613447A (zh) * | 2020-12-29 | 2021-04-06 | 上海商汤智能科技有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
| CN116071804A (zh) * | 2023-01-18 | 2023-05-05 | 北京六律科技有限责任公司 | 人脸识别的方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111274919A (zh) | 基于卷积神经网络的五官检测方法、系统、服务器及介质 | |
| CN111310624B (zh) | 遮挡识别方法、装置、计算机设备及存储介质 | |
| EP3989119A1 (en) | Detection model training method and apparatus, computer device, and storage medium | |
| WO2017107957A9 (zh) | 人脸图像的检索方法及装置 | |
| US10832039B2 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
| WO2023185785A1 (zh) | 一种图像处理方法、模型训练方法及相关装置 | |
| WO2020114118A1 (zh) | 面部属性识别方法、装置、存储介质及处理器 | |
| US20220262162A1 (en) | Face detection method, apparatus, and device, and training method, apparatus, and device for image detection neural network | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| WO2021078157A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109657583B (zh) | 脸部关键点检测方法、装置、计算机设备和存储介质 | |
| US11816880B2 (en) | Face recognition method and apparatus, computer device, and storage medium | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| US9224071B2 (en) | Unsupervised object class discovery via bottom up multiple class learning | |
| CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| Zhang et al. | Content-adaptive sketch portrait generation by decompositional representation learning | |
| US20220148333A1 (en) | Method and system for estimating eye-related geometric parameters of a user | |
| WO2020140723A1 (zh) | 人脸动态表情的检测方法、装置、设备及存储介质 | |
| US20230081982A1 (en) | Image processing method and apparatus, computer device, storage medium, and computer program product | |
| US10679039B2 (en) | Detecting actions to discourage recognition | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| CN110472582B (zh) | 基于眼部识别的3d人脸识别方法、装置和终端 | |
| WO2021243561A1 (zh) | 行为识别装置及方法 | |
| CN106709431A (zh) | 虹膜识别方法及装置 | |
| CN114677730A (zh) | 活体检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200612 |