CN111091055A - 脸型识别方法、装置、设备及计算机可读存储介质 - Google Patents
脸型识别方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111091055A CN111091055A CN201911108003.6A CN201911108003A CN111091055A CN 111091055 A CN111091055 A CN 111091055A CN 201911108003 A CN201911108003 A CN 201911108003A CN 111091055 A CN111091055 A CN 111091055A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- coordinates
- facial
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 230000001815 facial effect Effects 0.000 claims description 75
- 210000001061 forehead Anatomy 0.000 claims description 29
- 239000003086 colorant Substances 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 210000000056 organ Anatomy 0.000 claims description 2
- 238000011176 pooling Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 241000272814 Anser sp. Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及图像处理技术领域，具体涉及一种脸型识别方法、装置、设备及计算机可读存储介质。该方法包括：图像获取：获取待识别的脸部图像；图像处理：至少去除所述脸部图像中的五官部位特征，得到目标图像；模型识别：将所述目标图像输入脸型识别模型，得到所述脸部图像的脸型类别，所述脸型识别模型是通过多组训练样本训练卷积神经网络模型得到的，每一组训练样本均包括经过所述图像处理步骤处理得到的目标图像。本发明实施例提高了脸型识别精度。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种脸型识别方法、装置、设备及计算机可读存储介质。
背景技术
随着人民生活水平的提升，很多人对于自己的形象也越来越重视，想知道自己的脸型、眉形等五官类别，以此来选取合适的发型、妆容等。
现有技术中，有多种脸型识别方法。较为常见的为基于规则的方法，其通过计算五官之间的距离或角度，并按照设定的规则判断脸型类别的方法，该方法依赖于人脸五官的定位，若定位不准确，将影响识别结果，且五官之间的距离或角度受拍摄角度、人脸姿态、发型等，而规则不能包含所有的情况，导致识别结果不准确。总之，现有技术中基于规则的识别方法识别精度不高。
发明内容
鉴于上述问题，本发明实施例提供了一种脸型识别方法、装置、设备及计算机可读存储介质，提高了识别精度。
根据本发明实施例的一个方面，提供了一种脸型识别方法，所述方法包括：
图像获取：获取待识别的脸部图像；
图像处理：至少去除所述脸部图像中的五官部位特征，得到目标图像；
模型识别：将所述目标图像输入脸型识别模型，得到所述脸部图像的脸型类别，所述脸型识别模型是通过多组训练样本训练卷积神经网络模型得到的，每一组训练样本均包括经过所述图像处理步骤处理得到的目标图像。
可选的，所述至少去除所述脸部图像中的五官部位特征，进一步包括：
将所述脸部图像中的五官部位进行颜色填充。
可选的，所述至少去除所述脸部图像中的五官部位特征，进一步包括：
获取所述脸部图像中五官的边界坐标；
将所述边界坐标连接成闭合图形；
将所述闭合图形进行颜色填充。
可选的，所述图像处理还包括：
确定所述脸部图像中的脸部关键点的坐标；
所述获取所述脸部图像中五官的边界坐标，进一步包括：
根据所述脸部关键点的坐标，得到所述脸部图像中五官的边界坐标。
可选的，所述图像处理还包括：
确定所述脸部图像中的脸部关键点的坐标；
估算所述脸部图像中额头部位的最高点的坐标；
基于所述脸部关键点中最左边关键点、最右边关键点、最下面关键点以及额头部位的最高点的坐标，确定脸部区域；
去除所述脸部区域周围的背景图像，得到紧凑的脸部图像；
所述至少去除所述脸部图像中的五官部位特征，具体为：
至少去除所述紧凑的脸部图像中的五官部位特征。
可选的，所述至少去除所述脸部图像中的五官部位特征，进一步包括：
根据所述脸部关键点的坐标和额头部位的最高点的坐标，获取所述紧凑的脸部图像中五官和额头的整体边界坐标；
将所述整体边界坐标连接成闭合图形；
将所述闭合图形进行颜色填充。
可选的，所述将所述目标图像输入脸型识别模型，得到所述脸部图像的脸型类别，进一步包括：
将所述目标图像输入脸型识别模型；
通过所述脸型识别模型推理得到每个脸型类别的概率值；
从所述概率值中选择最大值对应的脸型类别，作为所述脸部图像的脸型类别。
可选的，所述卷积神经网络模型为Mobilenet模型、VGG模型或Inception模型。
根据本发明实施例的另一方面，提供了一种脸型识别装置，所述装置包括：
获取模块，用于获取待识别的脸部图像；
处理模块，用于至少去除所述脸部图像中的五官部位特征，得到目标图像；
识别模块，用于将所述目标图像输入脸型识别模型，得到所述脸部图像的脸型类别，所述脸型识别模型是通过多组训练样本训练卷积神经网络模型得到的，每一组训练样本均包括经过所述图像处理步骤处理得到的目标图像。
根据本发明实施例的另一方面，提供了一种脸型识别设备，包括：图像采集装置、处理器、存储器、通信接口和通信总线，所述图像采集装置、所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述图像采集装置用于采集待识别的脸部图像；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述脸型识别方法的步骤。
根据本发明实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述脸型识别方法的步骤。
本发明实施例通过去除待识别的脸部图像中的五官部位特征，将去除五官部位特征后的目标图像输入脸型识别模型，识别得到脸部图像的脸型类别，由于尽可能的保留了脸型的特征，去除了跟脸型关系不大但是占比多的五官特征这一干扰元素，得到目标图像，提升了脸型识别精度。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的脸型识别方法的流程图；
图2示出了本发明脸型识别方法的一具体应用实例的流程图；
图3示出了本发明实施例中脸部关键点的示意图；
图4a示出了图2中的待识别的脸部图像；
图4b示出了将图4a中五官的边界坐标连接成闭合图形后的图像；
图4c示出了将图4b中的闭合图形进行白色填充后得到的目标图像；
图5示出了本发明脸型识别方法的另一具体应用实例的流程图；
图6a示出了图5中的待识别的脸部图像；
图6b示出了将图6a中背景图像去除后得到的紧凑的脸部图像；
图6c示出了将图6b中五官和额头的整体边界坐标连接成闭合图形后的图像；
图6d示出了将图6c中的闭合图形进行白色填充后得到的目标图像；
图7示出了本发明实施例提供的脸型识别装置的功能框图；
图8示出了本发明实施例提供的脸型识别设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例的应用场景是各种需要进行脸型识别的应用场景，例如美妆类应用程序(Application，APP)、穿搭类APP、美颜类相机APP等，或者是需要对批量图像进行脸型识别的场景，例如地域、国家或人种的人脸脸型研究等课题。识别的脸型可以是人脸脸型或者动物脸型等。
图1示出了本发明实施例提供的脸型识别方法的流程图，如图1所示，该方法包括以下步骤：
步骤110：获取待识别的脸部图像。
其中，待识别的脸部图像中至少包括脸部的图像，可能还包括脸部周围的其他部位的图像，例如头发、脖子、肩膀等。在本发明实施例中，根据应用场景不同，获取待识别图像的方式不同。例如，在对大量人脸图像进行识别的应用场景中，待识别的脸部图像是预先存储于图像识别设备中的图像，或网络图像。在另外一些应用场景中，例如，美妆APP、穿搭APP、美颜类相机APP等，待识别的脸部图像可以是预先存储于APP所安装的移动设备中的图像，或者实时获取的图像。在其为实时获取的图像时，可以通过移动设备上的图像采集装置采集待识别的脸部图像，并将采集到的图像传输至移动设备的处理器中进行识别。其中，图像采集装置包括但不限于摄像头。
为了保证待识别图像提取的有效性，滤除待识别图像中的干扰信息，可以对待识别图像进行预处理。在一些实施例中，获取的待识别图像为三通道的RGB图像，为了降低图像处理的复杂度，将三通道的RGB图像转换为单通道的灰度图像。在将RGB图像中，包含R、G、B三个通道的分量，RGB图像由这三个通道的分量合成。每一个分量中的每一个像素点对应于一个取值，不同分量中相应的像素点取值可能相同，也可能不同，该取值用于表示该像素点的颜色，取值范围介于0和255之间。其中，0表示该像素点的颜色为白色，255表示该像素点的颜色为黑色。灰度图像中相应像素点的值是根据三个分量中相应像素点的比重进行确定。在一种实施方式中，三个分量中相应像素点的比重相同，将三个分量相应的像素点取均值，得到灰度图像中该像素点的值。应理解，如果获取到的待识别图像为单通道的灰度图像，则不需要进行上述转换，直接进行后续步骤。
步骤120：至少去除脸部图像中的五官部位特征，得到目标图像。
其中，去除五官部位特征可以包括如下一些方式：
1.将五官部位特征删除，使其变成透明格式；
2.将五官部位特征进行颜色填充。其中颜色可以采用单一颜色，例如白色，黑色等；也可以采用带图案的颜色，例如黑白格图案填充，黑白条纹图案填充等，使填充后的图像信息比原始的五官部位特征的图像信息少即可；还可以采用透明色填充，实现和第1种方式中同样的五官部位透明格式的效果；
3.将五官部位特征去色，也即使原始的五官部位特征彩色图像通过运算转化成灰度图像。
五官部位特征可以仅包括五官的各个部分，例如单独的眼镜、眉毛、鼻子、嘴巴等；也可以包括整个五官部位区域，例如单独的五官各部分以及各部分之间的区域。这些区域跟脸型关系不大但是占比多，去除之后可以去掉干扰因素，提高脸型识别精度。额头部位与脸型识别无关，在某些实施例中也将其作为五官部位特征，可以一并去除。
在五官部位特征仅包括五官的各个部分时，可通过获取脸部图像中五官各部分的边界坐标，将各部分的边界坐标分别连接成多个闭合图形，最后将每个闭合图形进行颜色填充。在五官部位特征包括整个五官部位区域时，可通过获取脸部图像中五官的整体边界坐标，将整体边界坐标连接成闭合图形，最后将闭合图形进行颜色填充。通过上述方式处理后得到的目标图像由于没有对脸型识别的关键部分图像(例如脸部轮廓线及靠近脸部轮廓线的面内区域)做处理，完整保留了面部轮廓，能提高识别精度。
步骤130：将目标图像输入脸型识别模型，得到脸部图像的脸型类别。
常见人脸脸型有：方脸、圆脸、鹅蛋脸、心形脸等。确定目标图像中的人脸属于哪种脸型，属于分类问题。本发明实施例中，采用深度学习方法进行分类，训练模型后使用模型推理得到分类结果。
本步骤中的脸型识别模型是通过多组训练样本训练卷积神经网络(Convolutional Neural Networks,CNN)模型得到的，每一组训练样本均包括经过步骤120处理得到的目标图像。该卷积神经网络模型为Mobilenet模型、VGG模型或Inception模型。识别时，将目标图像输入脸型识别模型，通过脸型识别模型推理得到每个脸型类别的概率值，从概率值中选择最大值对应的脸型类别，作为脸部图像的脸型类别。
CNN包括输入层、卷积层、池化层以及全连接层。输入层一般通过三维矩阵代表图片的像素矩阵，三维矩阵的长、宽代表图像的大小，三维矩阵的深度代表图像的色彩通道。卷积层是CNN中最为重要的部分，卷积层中每一个节点的输入是输入层中的一小块，小块常用的大小有3×3或者5×5。一般而言通过卷积层处理过的节点矩阵会变的更深。池化层不改变三维矩阵的深度，但是可以缩小矩阵的大小，可以将一张分辨率高的图片转化为分辨率较低的图片。通过池化层可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络参数的目的。全连接层为CNN的最后一层，激活函数可使用softmax，可以得到样本属于各个类别的概率分布情况。卷积层和池化层可以设计多轮，经过多轮卷积层和池化层的处理后，在CNN的最后一般由1到2个全连接层来给出最后的分类结果。
下面对脸型识别模型的训练及应用的过程进行详细说明：
脸型识别模型将脸型的目标类别分为方脸、圆脸、鹅蛋脸和心形脸，每个类别对应有特定的属性值，例如方脸对应的脸型属性值为0，圆脸对应的脸型属性值为1，鹅蛋脸对应的脸型属性值为2，心形脸对应的脸型属性值为3，脸型识别模型对输入的目标图像所输出的分类结果包括针对各目标类别的概率分布，针对各类别的概率分布的和为1，例如针对前述脸型属性的四个类别的概率分布为(0，0.01，0.01，0.98)，那么根据该概率分布和各类别对应的脸型属性值可以计算输入的目标图像的脸型属性值为0*0+1*0.01+2*0.01+3*0.98＝2.97，从而确定输入的目标图像中的脸型属于心形脸。
在训练前，首先构建一个如上文所述的CNN模型，并进行权值的初始化。然后获取训练样本集合，训练样本集合包括样本图像以及样本图像对应的脸型标签(即上文所述的脸型属性值，该值将作为CNN模型的目标值)，每个样本图像均为经过步骤120处理后的图像，样本图像中去除了脸部图像中的五官部位特征。将样本图像经过卷积层、池化层的卷积和池化处理，提取特征向量，将特征向量传入全连接层中，通过全连接层进行分类，得出脸型分类识别的输出值，该输出值为根据脸型类别的概率分布计算的脸型属性值。以上为前向传播过程。
当CNN输出的结果与期望值不相符时，则进行反向传播过程。数据从输入层到输出层，期间经过了卷积层、池化层、全连接层，而数据在各层之间传递的过程中难免会造成数据的损失，则也就导致了误差的产生，每一层造成的误差值是不一样的。所以，当求出CNN的总误差之后，需要将误差传入CNN中，求得各层对于总的误差应该承担多少比重。因此，在反向传播时，先求出输出值与目标值之间的误差，再将误差一层一层的返回，计算出每一层的误差，根据误差进行每一层的权值更新。然后继续执行样本输入和输出的训练过程。当误差等于或小于期望值时，结束训练。
基于深度学习进行脸型分类属于可采用现有技术中的各种方式实现，本发明实施例不再详细阐述。
本发明实施例通过去除待识别的脸部图像中的五官部位特征，将去除五官部位特征后的目标图像输入脸型识别模型，识别得到脸部图像的脸型类别，由于尽可能的保留了脸型的特征，去除了跟脸型关系不大但是占比多的五官特征这一干扰元素，得到目标图像，提升了脸型识别精度。
本发明实施例提供的脸型识别方法可以应用于需要进行脸型识别的手机APP中，用户只需拍摄一张自己的脸部照片就可以识别自己的脸型，便捷性高。
图2示出了本发明脸型识别方法的一具体应用实例的流程图，如图2所示，该方法包括以下步骤：
步骤201：获取待识别的脸部图像；
步骤202：确定脸部图像中的脸部关键点的坐标；
如图3所示，本实例中需要识别人脸的脸型，脸部关键点坐标为人脸关键点坐标。其中，人脸关键点是指用于标定人脸面部的关键区域(包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等)的一个或多个关键点，根据人脸关键点可定位出这些关键区域在人脸中的位置。可以通过基于模型的主动形状模型(Active Shape Model，ACM)或主动外观模型(ActiveAppearnce Model，AAM)，或者，基于级联形状回归的级联姿势回归(Cascaded poseregression，CPR)或者，基于深度学习的方法等方法确定人脸关键点坐标。具体实现中，可以通过调用OpenCV、Dlib、Firebase等工具确定人脸关键点坐标。
步骤203：根据脸部关键点的坐标，得到脸部图像中五官的边界坐标；
如图3所示，根据关键点中眉毛的边界坐标点(编号17，18，19，24，25，26)、眼睛的边界坐标点(编号36，45)、嘴巴的边界坐标点(编号48，59，58，57，56，55，54)，得到脸部图像中五官的边界坐标。
步骤204：将边界坐标连接成闭合图形；
将五官的边界坐标连接成闭合图形，如图4b所示。
步骤205：将闭合图形进行颜色填充，得到目标图像；
将图4b中的闭合图形进行白色填充，得到如图4c所示的目标图像。
步骤206：将目标图像输入脸型识别模型；
步骤207：通过脸型识别模型推理得到每个脸型类别的概率值；
步骤208：从概率值中选择最大值对应的脸型类别，作为脸部图像的脸型类别。
至此，本实例的脸型识别完成。
当待识别的脸部图像中还包括脸部周围的其他部位的图像，例如头发、脖子、肩膀时，需要尽可能去除其他与脸型识别无关的部位的背景图像，去除干扰因素，提高识别精度。此外，额头的大部分位置也与脸型识别无关，可以一并去除。图5示出了本发明脸型识别方法的另一具体应用实例的流程图，在该应用实例中，去除了背景图像和额头部位的图像。如图5所示，该方法包括以下步骤：
步骤501：获取待识别的脸部图像；
步骤502：确定脸部图像中的脸部关键点的坐标；
如图3所示，本实例中需要识别人脸的脸型，脸部关键点坐标为人脸关键点坐标。
步骤503：估算脸部图像中额头部位的最高点的坐标；
本实例中，将最高点坐标(编号19，24)向上延申眼睛长度，得到额头部位的最高点的坐标(编号68)。
步骤504：基于脸部关键点中最左边关键点、最右边关键点、最下面关键点以及额头部位的最高点的坐标，确定脸部区域；
如图3所示，根据关键点最左边坐标(编号0)、最右边坐标(编号16)、最下面坐标(编号8)、额头部位的最高点的坐标(编号68)，确定脸部区域。
步骤505：去除脸部区域周围的背景图像，得到紧凑的脸部图像；
去除面部周围无关的背景图像，从图6a得到紧凑的人脸图6b。去除背景图像时，采用裁剪法，基于左右两侧的边界点坐标，确定边界点坐标所属的垂直边界线，基于该垂直边界线裁剪掉外部的背景图像；基于上下两侧的边界点坐标，确定边界点坐标所属的水平边界线，基于该水平边界线裁剪掉外部的背景图像。
步骤506：根据脸部关键点的坐标和额头部位的最高点的坐标，获取紧凑的脸部图像中五官和额头的整体边界坐标；
如图3所示，根据关键点中眉毛的边界坐标点(编号17，26)、眼睛的边界坐标点(编号36，45)、嘴巴的边界坐标点(编号48，59，58，57，56，55，54)、额头部位的最高点的坐标(编号68)，得到脸部图像中五官和额头的边界坐标。
步骤507：将整体边界坐标连接成闭合图形；
将五官和额头的整体边界坐标连接成闭合图形，如图6c所示。
步骤508：将闭合图形进行颜色填充；
将图6c中的闭合图形进行白色填充，得到如图6d所示的目标图像。
步骤509：将目标图像输入脸型识别模型；
步骤510：通过脸型识别模型推理得到每个脸型类别的概率值；
步骤511：从概率值中选择最大值对应的脸型类别，作为脸部图像的脸型类别。
至此，本实例的脸型识别完成。
图7示出了本发明实施例提供的脸型识别装置的结构示意图。如图7所示，该装置700包括：获取模块710、处理模块720和识别模块730。其中，获取模块710用于获取待识别的脸部图像；处理模块，处理模块720用于至少去除所述脸部图像中的五官部位特征，得到目标图像；识别模块730用于将所述目标图像输入脸型识别模型，得到所述脸部图像的脸型类别，所述脸型识别模型是通过多组训练样本训练卷积神经网络模型得到的，每一组训练样本均包括经过图像处理模块处理得到的目标图像。
可选的，处理模块720进一步用于：
获取所述脸部图像中五官的边界坐标；
将所述边界坐标连接成闭合图形；
将所述闭合图形进行颜色填充。
可选的，处理模块720进一步用于：
确定所述脸部图像中的脸部关键点的坐标；
根据所述脸部关键点的坐标，得到所述脸部图像中五官的边界坐标。
可选的，处理模块720进一步用于：
确定所述脸部图像中的脸部关键点的坐标；
估算所述脸部图像中额头部位的最高点的坐标；
基于所述脸部关键点中最左边关键点、最右边关键点、最下面关键点以及额头部位的最高点的坐标，确定脸部区域；
去除所述脸部区域周围的背景图像，得到紧凑的脸部图像；
至少去除所述紧凑的脸部图像中的五官部位特征。
可选的，处理模块720进一步用于：
根据所述脸部关键点的坐标和额头部位的最高点的坐标，获取所述紧凑的脸部图像中五官和额头的整体边界坐标；
将所述整体边界坐标连接成闭合图形；
将所述闭合图形进行颜色填充。
可选的，识别模块730进一步用于：
将所述目标图像输入脸型识别模型；
通过所述脸型识别模型推理得到每个脸型类别的概率值；
从所述概率值中选择最大值对应的脸型类别，作为所述脸部图像的脸型类别。
可选的，所述卷积神经网络模型为Mobilenet模型、VGG模型或Inception模型。
本发明实施例通过去除待识别的脸部图像中的五官部位特征，将去除五官部位特征后的目标图像输入脸型识别模型，识别得到脸部图像的脸型类别，由于尽可能的保留了脸型的特征，去除了跟脸型关系不大但是占比多的五官特征这一干扰元素，得到目标图像，提升了脸型识别精度。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种脸型识别方法。
本发明实施例提供了一种计算机程序，所述计算机程序可被处理器调用使脸型识别设备执行上述任意方法实施例中的脸型识别方法。
本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的脸型识别方法。
图8示出了本发明实施例提供的脸型识别设备的结构示意图，本发明具体实施例并不对脸型识别设备的具体实现做限定。
如图8所示，该脸型识别设备可以包括：图像采集装置801、处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。
其中：图像采集装置801用于采集待识别的脸部图像。图像采集装置801、处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。通信接口804，用于与其它设备比如服务器等通信。处理器802，用于执行程序810，具体可以执行上述用于脸型识别方法实施例中的相关步骤。
具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。
图像采集装置801包括但不仅限于摄像头。
处理器802可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。脸型识别设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序810具体可以用于使得处理器802执行以下操作：
图像获取：获取待识别的脸部图像；
图像处理：至少去除所述脸部图像中的五官部位特征，得到目标图像；
模型识别：将所述目标图像输入脸型识别模型，得到所述脸部图像的脸型类别，所述脸型识别模型是通过多组训练样本训练卷积神经网络模型得到的，每一组训练样本均包括经过所述图像处理步骤处理得到的目标图像。
可选的，程序810具体还可以用于使得处理器802执行以下操作：
获取所述脸部图像中五官的边界坐标；
将所述边界坐标连接成闭合图形；
将所述闭合图形进行颜色填充。
可选的，程序810具体还可以用于使得处理器802执行以下操作：
确定所述脸部图像中的脸部关键点的坐标；
根据所述脸部关键点的坐标，得到所述脸部图像中五官的边界坐标。
可选的，程序810具体还可以用于使得处理器802执行以下操作：
确定所述脸部图像中的脸部关键点的坐标；
估算所述脸部图像中额头部位的最高点的坐标；
基于所述脸部关键点中最左边关键点、最右边关键点、最下面关键点以及额头部位的最高点的坐标，确定脸部区域；
去除所述脸部区域周围的背景图像，得到紧凑的脸部图像；
至少去除所述紧凑的脸部图像中的五官部位特征。
可选的，程序810具体还可以用于使得处理器802执行以下操作：
根据所述脸部关键点的坐标和额头部位的最高点的坐标，获取所述紧凑的脸部图像中五官和额头的整体边界坐标；
将所述边界坐标连接成闭合图形；
将所述闭合图形进行颜色填充。
可选的，程序810具体还可以用于使得处理器802执行以下操作：
将所述目标图像输入脸型识别模型；
通过所述脸型识别模型推理得到每个脸型类别的概率值；
从所述概率值中选择最大值对应的脸型类别，作为所述脸部图像的脸型类别。
可选的，所述卷积神经网络模型为Mobilenet模型、VGG模型或Inception模型。
本发明实施例通过去除待识别的脸部图像中的五官部位特征，将去除五官部位特征后的目标图像输入脸型识别模型，识别得到脸部图像的脸型类别，由于尽可能的保留了脸型的特征，去除了跟脸型关系不大但是占比多的五官特征这一干扰元素，得到目标图像，提升了脸型识别精度。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。
Claims (10)
1.一种脸型识别方法，其特征在于，所述方法包括：
图像获取：获取待识别的脸部图像；
图像处理：至少去除所述脸部图像中的五官部位特征，得到目标图像；
模型识别：将所述目标图像输入脸型识别模型，得到所述脸部图像的脸型类别，所述脸型识别模型是通过多组训练样本训练卷积神经网络模型得到的，每一组训练样本均包括经过所述图像处理步骤处理得到的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述至少去除所述脸部图像中的五官部位特征，进一步包括：
将所述脸部图像中的五官部位进行颜色填充。
3.根据权利要求1所述的方法，其特征在于，所述至少去除所述脸部图像中的五官部位特征，进一步包括：
获取所述脸部图像中五官的边界坐标；
将所述边界坐标连接成闭合图形；
将所述闭合图形进行颜色填充。
4.根据权利要求3所述的方法，其特征在于，所述图像处理还包括：
确定所述脸部图像中的脸部关键点的坐标；
所述获取所述脸部图像中五官的边界坐标，进一步包括：
根据所述脸部关键点的坐标，得到所述脸部图像中五官的边界坐标。
5.根据权利要求1所述的方法，其特征在于，所述图像处理还包括：
确定所述脸部图像中的脸部关键点的坐标；
估算所述脸部图像中额头部位的最高点的坐标；
基于所述脸部关键点中最左边关键点、最右边关键点、最下面关键点以及额头部位的最高点的坐标，确定脸部区域；
去除所述脸部区域周围的背景图像，得到紧凑的脸部图像；
所述至少去除所述脸部图像中的五官部位特征，具体为：
至少去除所述紧凑的脸部图像中的五官部位特征。
6.根据权利要求5所述的方法，其特征在于，所述至少去除所述脸部图像中的五官部位特征，进一步包括：
根据所述脸部关键点的坐标和额头部位的最高点的坐标，获取所述紧凑的脸部图像中五官和额头的整体边界坐标；
将所述整体边界坐标连接成闭合图形；
将所述闭合图形进行颜色填充。
7.根据权利要求1所述的方法，其特征在于，将所述目标图像输入脸型识别模型，得到所述脸部图像的脸型类别，进一步包括：
将所述目标图像输入脸型识别模型；
通过所述脸型识别模型推理得到每个脸型类别的概率值；
从所述概率值中选择最大值对应的脸型类别，作为所述脸部图像的脸型类别。
8.一种脸型识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别的脸部图像；
处理模块，用于至少去除所述脸部图像中的五官部位特征，得到目标图像；
识别模块，用于将所述目标图像输入脸型识别模型，得到所述脸部图像的脸型类别，所述脸型识别模型是通过多组训练样本训练卷积神经网络模型得到的，每一组训练样本均包括经过所述图像处理步骤处理得到的目标图像。
9.一种脸型识别设备，其特征在于，包括：图像采集装置、处理器、存储器、通信接口和通信总线，所述图像采集装置、所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述图像采集装置用于采集待识别的脸部图像；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-7任一项所述的一种脸型识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-7任一项所述的一种脸型识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911108003.6A CN111091055A (zh) | 2019-11-13 | 2019-11-13 | 脸型识别方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911108003.6A CN111091055A (zh) | 2019-11-13 | 2019-11-13 | 脸型识别方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111091055A true CN111091055A (zh) | 2020-05-01 |
Family
ID=70394013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911108003.6A Pending CN111091055A (zh) | 2019-11-13 | 2019-11-13 | 脸型识别方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091055A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052746A (zh) * | 2020-08-17 | 2020-12-08 | 北京大米科技有限公司 | 目标检测方法、装置、电子设备和可读存储介质 |
| CN112101127A (zh) * | 2020-08-21 | 2020-12-18 | 深圳数联天下智能科技有限公司 | 人脸脸型的识别方法、装置、计算设备及计算机存储介质 |
| CN112257504A (zh) * | 2020-09-16 | 2021-01-22 | 深圳数联天下智能科技有限公司 | 脸型识别方法、脸型识别模型训练方法及相关装置 |
| CN112613459A (zh) * | 2020-12-30 | 2021-04-06 | 深圳艾摩米智能科技有限公司 | 一种人脸敏感区域检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| CN108875605A (zh) * | 2018-05-31 | 2018-11-23 | 深圳和而泰数据资源与云技术有限公司 | 脸型确定方法及装置 |
| CN110414370A (zh) * | 2019-07-05 | 2019-11-05 | 深圳云天励飞技术有限公司 | 人脸脸型识别方法、装置、电子设备及存储介质 |
-
2019
- 2019-11-13 CN CN201911108003.6A patent/CN111091055A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| CN108875605A (zh) * | 2018-05-31 | 2018-11-23 | 深圳和而泰数据资源与云技术有限公司 | 脸型确定方法及装置 |
| CN110414370A (zh) * | 2019-07-05 | 2019-11-05 | 深圳云天励飞技术有限公司 | 人脸脸型识别方法、装置、电子设备及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052746A (zh) * | 2020-08-17 | 2020-12-08 | 北京大米科技有限公司 | 目标检测方法、装置、电子设备和可读存储介质 |
| CN112101127A (zh) * | 2020-08-21 | 2020-12-18 | 深圳数联天下智能科技有限公司 | 人脸脸型的识别方法、装置、计算设备及计算机存储介质 |
| CN112101127B (zh) * | 2020-08-21 | 2024-04-30 | 深圳数联天下智能科技有限公司 | 人脸脸型的识别方法、装置、计算设备及计算机存储介质 |
| CN112257504A (zh) * | 2020-09-16 | 2021-01-22 | 深圳数联天下智能科技有限公司 | 脸型识别方法、脸型识别模型训练方法及相关装置 |
| CN112257504B (zh) * | 2020-09-16 | 2024-09-06 | 深圳数联天下智能科技有限公司 | 脸型识别方法、脸型识别模型训练方法及相关装置 |
| CN112613459A (zh) * | 2020-12-30 | 2021-04-06 | 深圳艾摩米智能科技有限公司 | 一种人脸敏感区域检测方法 |
| CN112613459B (zh) * | 2020-12-30 | 2022-07-15 | 深圳艾摩米智能科技有限公司 | 一种人脸敏感区域检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778928B (zh) | 图像处理方法及装置 | |
| CN111091055A (zh) | 脸型识别方法、装置、设备及计算机可读存储介质 | |
| Gokaslan et al. | Improving shape deformation in unsupervised image-to-image translation | |
| CN109657554B (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| CN109685819B (zh) | 一种基于特征增强的三维医学图像分割方法 | |
| US12062158B2 (en) | Image denoising method and apparatus | |
| CN106951840A (zh) | 一种人脸特征点检测方法 | |
| CN110909618B (zh) | 一种宠物身份的识别方法及装置 | |
| CN112800903A (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及系统 | |
| CN111160114B (zh) | 手势识别方法、装置、设备及计算机可读存储介质 | |
| CN109685713B (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
| KR102177918B1 (ko) | 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치 | |
| US10650564B1 (en) | Method of generating 3D facial model for an avatar and related device | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
| CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| JP2023551789A (ja) | １つ以上のユーザ固有の推奨を生成するために、ユーザの頭部の毛髪領域の画像の画素データを分析するためのデジタル撮像及び学習システム並びに方法 | |
| CN113205017A (zh) | 跨年龄人脸识别方法及设备 | |
| CN106709431A (zh) | 虹膜识别方法及装置 | |
| KR20210032489A (ko) | 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법 | |
| CN115205933A (zh) | 面部表情识别方法、装置、设备及可读存储介质 | |
| CN112818899A (zh) | 人脸图像处理方法、装置、计算机设备和存储介质 | |
| CN113012030A (zh) | 图像拼接方法、装置及设备 | |
| JP2017122993A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |