CN109741338A - 一种人脸分割方法、装置及设备 - Google Patents
一种人脸分割方法、装置及设备 Download PDFInfo
- Publication number
- CN109741338A CN109741338A CN201811524275.XA CN201811524275A CN109741338A CN 109741338 A CN109741338 A CN 109741338A CN 201811524275 A CN201811524275 A CN 201811524275A CN 109741338 A CN109741338 A CN 109741338A
- Authority
- CN
- China
- Prior art keywords
- priori
- layer information
- key point
- human face
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims abstract description 78
- 230000001815 facial effect Effects 0.000 claims abstract description 63
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 89
- 210000000214 mouth Anatomy 0.000 claims description 35
- 210000004709 eyebrow Anatomy 0.000 claims description 31
- 210000005252 bulbus oculi Anatomy 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 19
- 210000004209 hair Anatomy 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 66
- 210000001508 eye Anatomy 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001396014 Priacanthus arenatus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种人脸分割方法、装置及设备，其中，该方法包括：获取包括待分割人脸区域的人脸图像；提取待分割人脸区域的关键点信息；根据关键点信息以及各个分割对象与关键点信息的对应关系，确定待分割人脸区域对应的语义先验层信息；其中，语义先验层信息表示待分割人脸区域中各个分割对象分别对应的限制分割区域；将语义先验层信息和人脸图像，输入至预先训练的网络模型，得到待分割人脸区域中各个分割对象分别对应的分割结果。通过本发明实施例提供的人脸分割方法、装置及设备，能够提高分割的准确度。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种人脸分割方法、装置及设备。
背景技术
随着社会的发展，人们对美的追求越来越高，各类美颜软件、上妆软件等层出不穷。而一般情况下，用户需要针对性地对人脸的不同部分进行美颜、上妆等，如眼睛、眉毛等。而如果想要针对人脸不同部分进行美颜、上妆，就需要对人脸进行分割，即将人脸的各个部分分割开来，如眼睛、眉毛、嘴巴、鼻子等，其中，可以将人脸中的眼睛、眉毛、鼻子等不同部分称之为分割对象。
目前，比较通用的人脸分割方法是预先训练用于人脸分割的网络模型，将包括待分割人脸区域的人脸图像输入至该网络模型，得到分割结果。其中，分割结果可以包括表示各个分割对象在人脸区域中所位于的区域的标识图像。
然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：
容易出现错误分割的情况，比如分割眼睛的区域，正常的眼睛区域分割出来了，但是其他不是眼睛的地方也被分割出来了，使得人脸分割的准确度不高。
发明内容
本发明实施例的目的在于提供一种人脸分割方法、装置及设备，以提高分割的准确度。具体技术方案如下：
第一方面，本发明实施例提供了一种人脸分割方法，包括：
获取包括待分割人脸区域的人脸图像；
提取所述待分割人脸区域的关键点信息；
根据所述关键点信息以及所述待分割人脸区域中各个分割对象与所述关键点信息的对应关系，确定所述待分割人脸区域对应的语义先验层信息；其中，所述语义先验层信息表示所述待分割人脸区域中各个分割对象分别对应的限制分割区域；
将所述语义先验层信息和所述人脸图像，输入至预先训练的网络模型，得到所述待分割人脸区域中各个分割对象分别对应的分割结果；其中，所述网络模型是根据多个训练样本图像分别对应的标示样本图像以及语义先验层信息训练得到的，标示样本图像用于标示对应训练样本图像包括的人脸区域的各个分割对象。
可选的，所述关键点信息包括多个关键点子信息；
所述根据所述关键点信息以及所述待分割人脸区域中各个分割对象与所述关键点信息的对应关系，确定所述待分割人脸区域对应的语义先验层信息，包括：
根据所述关键点子信息，计算缩放系数；
针对每一分割对象，根据所述缩放系数和该分割对象对应的关键点子信息，确定该分割对象对应的限制分割区域的中心点；并确定以该中心点为中心的区域为该关键点的限制分割区域。
可选的，预先训练所述网络模型的步骤，包括：
获取多个训练样本图像；
针对各个训练样本图像，确定该训练样本图像对应的标示样本图像；其中，标示样本图像用于标示该训练样本图像中包括的人脸区域的各个分割对象；
提取该训练样本图像中包括的人脸区域的样本关键点信息；
根据所述样本关键点信息，以及该训练样本图像中包括的人脸区域的各个分割对象与所述样本关键点信息的关系，确定该训练样本图像对应的语义先验层信息；
将该训练样本图像对应的标示样本图像以及图像语义先验层信息，输入至预设网络模型，对所述预设网络模型进行训练，得到训练好的所述网络模型。
可选的，所述语义先验层信息包括11层子语义先验层信息：头发先验层信息、面部先验层信息、左眉毛先验层信息、右眉毛先验层信息、左眼睛先验层信息、右眼睛先验层信息、鼻子先验层信息、上嘴唇先验层信息、口腔先验层信息、下嘴唇先验层信息、背景先验层信息。
可选的，所述预先训练的网络模型的输入层数为所述人脸图像的通道数与所述语义先验层信息的层数之和。
第二方面，本发明实施例一种人脸分割装置，包括：
第一获取模块，用于获取包括待分割人脸区域的人脸图像；
第一提取模块，用于提取所述待分割人脸区域的关键点信息；
第一确定模块，用于根据所述关键点信息以及所述待分割人脸区域中各个分割对象与所述关键点信息的对应关系，确定所述待分割人脸区域对应的语义先验层信息；其中，所述语义先验层信息表示所述待分割人脸区域中各个分割对象分别对应的限制分割区域；
第一输入模块，用于将所述语义先验层信息和所述人脸图像，输入至预先训练的网络模型，得到所述待分割人脸区域中各个分割对象分别对应的分割结果；其中，所述网络模型是根据多个训练样本图像分别对应的标示样本图像以及语义先验层信息训练得到的，标示样本图像用于标示对应训练样本图像包括的人脸区域的各个分割对象。
可选的，所述关键点信息包括多个关键点子信息；
所述第一确定模块，包括：
计算子模块，用于根据所述关键点子信息，计算缩放系数；
确定子模块，用于针对每一分割对象，根据所述缩放系数和该分割对象对应的关键点子信息，确定该分割对象对应的限制分割区域的中心点；并确定以该中心点为中心的区域为该关键点的限制分割区域。
可选的，所述装置还包括：
第二获取模块，用于获取多个训练样本图像；
第二确定模块，用于针对各个训练样本图像，确定该训练样本图像对应的标示样本图像；其中，标示样本图像用于标示该训练样本图像中包括的人脸区域的各个分割对象；
第二提取模块，用于提取该训练样本图像中包括的人脸区域的样本关键点信息；
第三确定模块，根据所述样本关键点信息，以及该训练样本图像中包括的人脸区域的各个分割对象与所述样本关键点信息的关系，确定该训练样本图像对应的语义先验层信息；
第二输入模块，用于将该训练样本图像对应的标示样本图像以及图像语义先验层信息，输入至预设网络模型，对所述预设网络模型进行训练，得到训练好的所述网络模型。
可选的，所述语义先验层信息包括11层子语义先验层信息：头发先验层信息、面部先验层信息、左眉毛先验层信息、右眉毛先验层信息、左眼睛先验层信息、右眼睛先验层信息、鼻子先验层信息、上嘴唇先验层信息、口腔先验层信息、下嘴唇先验层信息、背景先验层信息。
可选的，所述预先训练的网络模型的输入层数为所述人脸图像的通道数与所述语义先验层信息的层数之和。
第三方面，本发明实施例提供了一种人脸分割设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面所述的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法步骤。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法步骤。
本发明实施例提供的人脸分割方法、装置及设备，可以获取包括待分割人脸区域的人脸图像；提取待分割人脸区域的关键点信息；根据关键点信息以及待分割人脸区域中各个分割对象与关键点信息的对应关系，确定待分割人脸区域对应的语义先验层信息；其中，语义先验层信息表示待分割人脸区域中各个分割对象分别对应的限制分割区域；将语义先验层信息和人脸图像，输入至预先训练的网络模型，得到各个分割对象分别对应的分割结果。本发明实施例中，在人脸分割的过程中，在将包括待分割人脸区域的人脸图像输入网络模型的同时，还输入表示待分割人脸区域中各个分割对象分别对应的限制分割区域的语义先验层信息。如此，通过语义先验层信息能够对各个分割对象的分割区域进行限制，避免错误分割的情况，能够提高分割的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的人脸分割方法的流程图；
图2为本发明实施例中人脸关键点的示意图；
图3为本发明实施例中确定语义先验层信息的流程图；
图4为本发明实施例中分割对象的限制分割区域的示意图；
图5(a)为本发明实施例中语义先验层信息的一种示意图；
图5(b)为本发明实施例中语义先验层信息的另一种示意图；
图5(c)为本发明实施例中语义先验层信息的另一种示意图；
图5(d)为本发明实施例中语义先验层信息的另一种示意图；
图5(e)为本发明实施例中语义先验层信息的另一种示意图；
图5(f)为本发明实施例中语义先验层信息的另一种示意图；
图5(g)为本发明实施例中语义先验层信息的另一种示意图；
图5(h)为本发明实施例中语义先验层信息的另一种示意图；
图5(i)为本发明实施例中语义先验层信息的另一种示意图；
图6为本发明实施例中预先训练网络模型的流程图；
图7为本发明实施例中人脸分割的示意图；
图8为本发明实施例提供的人脸分割装置的结构示意图；
图9为本发明实施例提供的人脸分割设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了使用户可以有针对性地进行美颜、面部特效，瘦脸，上妆，大眼，增白等，以及在视频修复过程中人脸重建，人脸修复，人脸去模糊，人脸超分辨率等，首先将人脸图像中的人脸区域进行分割，如此，将人脸区域包括的各个分割对象分割开来。这样，即可以使用户针对人脸区域包括的各个分割对象分别进行美颜等，以更好地满足用户的需求。
目前，比较通用的人脸分割方法是预先训练用于人脸分割的网络模型，将包括待分割人脸区域的人脸图像输入至该网络模型，得到分割结果。其中，分割结果包括各个分割对象分别对应的标识图像，标识图像用于标识对应分割对象在人脸区域中所位于的区域，该区域也可以称之为该分割对象对应的分割区域。
但是，目前这种技术中，将人脸图像输入网络模型中，未对分割对象所出现的区域进行限制，容易出现错误分割的情况，比如分割眼睛的区域，正常的眼睛区域分割出来了，但是其他不是眼睛的地方也被分割出来了，使得人脸分割的准确度不高。
本发明实施例提出一种融合关键点信息的人脸分割方法，可以通过先验的关键点信息对目标分割区域进行限制，防止对目标区域外的部分进行误识别，解决分割效果不好的问题，提高分割的准确度。即预先构造语义先验层信息，通过语义先验层信息对各个分割对象的分割区域进行限制，如语义先验层信息中包括待分割人脸区域中各个分割对象分别对应的限制分割区域。限制分割区域即该分割对象只能出现在该区域内。
本发明实施例提供的人脸分割方法可以应用于电子设备。具体地，该电子设备可以包括台式计算机、便携式计算机、智能移动终端等。如可以应用于下文所说的人脸分割设备。为了能够更加清楚地理解本发明实施例的方案，下面对本发明实施例提供的人脸分割方法进行详细说明。
本发明实施例提供了一种人脸分割方法，如图1所示，包括：
S101，获取包括待分割人脸区域的人脸图像。
人脸图像可以包括灰度图像、RGB颜色模型的RGB图像、YUV颜色编码方式的YUV图像，等等。
一种可实现方式中，电子设备可以从预设存储位置获取已保存的人脸图像。如相册中等。
另一种可实现方式中，电子设备中包括图像采集模块，电子设备可以通过该图像采集模块采集人脸图像。
S102，提取待分割人脸区域的关键点信息。
关键点信息可以理解为表示人脸关键点的信息。如可以包括人脸关键点的位置信息，其中，人脸关键点如图2中黑点所示，具体地，如左眼关键点201、右眼关键点202、鼻尖关键点203、左嘴角关键点坐标204以及右嘴角关键点205。本发明实施例中不对提取待分割人脸区域的关键点信息的方式进行限制，可参考任何提取人脸关键点信息的方式。
S103，根据关键点信息以及待分割人脸区域中各个分割对象与关键点信息的对应关系，确定待分割人脸区域对应的语义先验层信息。
其中，语义先验层信息表示待分割人脸区域中各个分割对象分别对应的限制分割区域。限制分割区域也可以理解为对应的分割对象只能出现的区域。
本发明实施例中，语义先验层信息表示待分割人脸区域中各个分割对象分别对应的限制分割区域，是为了限制分割区域的。具体地可以包括多个子语义先验层信息，其中，各个子语义先验层信息分别与待分割人脸区域中包括的各个分割对象一一对应。每一层子语义先验层信息表示该层所代表的分割对象的限制分割区域，即该分割对象只能出现在该层子语义先验层信息表示的限制分割区域内。
可以针对各个分割对象，根据该分割对象对应的关键点子信息，确定该分割对象对应的子语义先验层信息，即确定该分割对象对应的限制分割区域。
具体地，语义先验层信息可以为表示待分割人脸区域中各个分割对象分别对应的限制分割区域的先验图像。该先验图像可以与包括待分割人脸区域的人脸图像同等大小，即等高等宽。在该先验图像中突出分割对象对应的区域。如可以先将人脸图像的像素矩阵初始化，如置1或0，将将所有像素点的像素值确定为1或0；然后，在确定出限制分割区域后，将限制分割区域对应像素点的像素值置为与初始化像素点相反的值，如初始化为0，则将限制分割区域对应像素点的像素值置为1；如初始化为1，则将限制分割区域对应像素点的像素值置为0。
具体地，可以对人脸关键点进行扩充，得到各个分割对象的限制分割区域。关键点信息可以包括多个人脸关键点分别对应的关键点信息，即根据一个人脸关键点对应的关键点信息，或者根据多个人脸关键点对应的关键点信息进行扩充。简单理解，即通过关键点扩充区域。如确定以左眼关键点为中心的预设大小的椭圆区域，为左眼的限制分割区域，等等，其中，预设大小可以根据经验值、实验等确定。
S104，将语义先验层信息和人脸图像，输入至预先训练的网络模型，得到待分割人脸区域中各个分割对象分别对应的分割结果。
其中，网络模型是根据多个训练样本图像分别对应的标示样本图像以及语义先验层信息训练得到的，标示样本图像用于标示对应训练样本图像包括的人脸区域的各个分割对象。
网络模型可以为任意可实现本发明实施例中人脸分割的结构的网络模型，本发明实施例不对网络模型的结构等作限定。
预先训练用于人脸分割的网络模型，将待分割人脸区域对应的语义先验层信息，以及包括该待分割人脸区域的人脸图像输入至该预先训练的网络模型中，如此，可以得到待分割人脸区域中各个分割对象分别对应的分割结果。具体地，网络模型的训练过程在下面实施例中会进行详细描述，这里暂不赘述。
分割结果可以包括表示各个分割对象在人脸区域中所位于的区域的标识图像。
具体地，分割结果可以包括一个标识图像，在该标识图像中标识有各个分割对象在人脸区域中所位于的区域，如可以通过不同颜色标识不同分割对象。
或者，分割结果也可以包括多个标识图像。具体地，可以包括各个分割对象分别对应的标识图像，一个标识图像对应一个分割对象。分割对象对应的标识图像用于标识该分割对象在人脸区域中所位于的区域，该区域也可以称之为该分割对象对应的分割区域。如标识眼睛在人脸区域中所位于的区域的标识图像，如标识鼻子在人脸区域中所位于的区域的标识图像，等等。
本发明实施例中，在人脸分割的过程中，在将包括待分割人脸区域的人脸图像输入网络模型的同时，还输入表示待分割人脸区域中各个分割对象分别对应的限制分割区域的语义先验层信息。如此，通过语义先验层信息能够对各个分割对象的分割区域进行限制，避免错误分割的情况，能够提高分割的准确度。
在上述图1所示实施例的基础上，本发明一种可选的实施例中，关键点信息包括多个关键点子信息。各个关键点子信息分别对应各个人脸关键点的关键点坐标。
如左眼关键点坐标为：p1(x1，y1)；右眼关键点坐标为：p2(x2，y2)；鼻尖关键点坐标为：p3(x3，y3)；左嘴角关键点坐标为：p4(x4，y4)；右嘴角关键点坐标为：p5(x5，y5)。
步骤S103：根据关键点信息以及待分割人脸区域中各个分割对象与关键点信息的对应关系，确定待分割人脸区域对应的语义先验层信息，如图3所示，可以包括：
S1031，根据关键点子信息，计算缩放系数。
具体地，可以通过预设公式，计算缩放系数α。预设公式如下：
S1032，针对每一分割对象，根据缩放系数和该分割对象对应的关键点子信息，确定该分割对象对应的限制分割区域的中心点；并确定以该中心点为中心的区域为该关键点的限制分割区域。
本发明一种可选的实施例中，待分割人脸区域中可以包括分割对象：头发、面部、左眉毛、右眉毛、左眼睛、右眼睛、鼻子、上嘴唇、口腔、下嘴唇、背景。各个分割对象对应的限制分割区域如图4中标注的区域所示，具体地，如头发对应的头发区域401、面部对应的面部区域402、左眉毛对应的左眉毛区域403、右眉毛对应的右眉毛区域404、左眼睛对应的左眼睛区域405、右眼睛对应的右眼睛区域406、鼻子对应的鼻子区域407、上嘴唇对应的上嘴唇区域、口腔对应的口腔区域、以及下嘴唇对应的下嘴唇区域408、背景对应的背景区域400。其中，由于识别人脸区域的对象时无需特殊区分上、下嘴唇区域，因此本实施例将上嘴唇对应的上嘴唇区域、口腔对应的口腔区域、以及下嘴唇对应的下嘴唇区域视为同一区域。通过本申请方法亦可以分别标注上嘴唇区域、下嘴唇区域和口腔区域。
为了确定出待分割人脸区域中各个分割对象的限制分割区域，可以对人脸关键点进行扩充，得到各个分割对象的限制分割区域。
本发明实施例一种可选的实施例中，语义先验层信息可以包括11层子语义先验层信息：头发先验层信息、面部先验层信息、左眉毛先验层信息、右眉毛先验层信息、左眼睛先验层信息、右眼睛先验层信息、鼻子先验层信息、上嘴唇先验层信息、口腔先验层信息、下嘴唇先验层信息、背景先验层信息。
其中，头发先验层信息表示头发对应的限制分割区域，即限制头发只能出现的区域。面部先验层信息表示面部对应的限制分割区域，即限制面部只能出现的区域。左眉毛先验层信息表示左眉毛对应的限制分割区域，即限制左眉毛只能出现的区域。右眉毛先验层信息表示右眉毛对应的限制分割区域，即限制右眉毛只能出现的区域。左眼睛先验层信息表示左眼睛对应的限制分割区域，即限制左眼睛只能出现的区域。右眼睛先验层信息表示右眼睛对应的限制分割区域，即限制右眼睛只能出现的区域。鼻子先验层信息表示鼻子对应的限制分割区域，即限制鼻子只能出现的区域。上嘴唇先验层信息鼻子表示上嘴唇对应的限制分割区域，即限制上嘴唇只能出现的区域。口腔先验层信息表示口腔对应的限制分割区域，即限制口腔只能出现的区域。下嘴唇先验层信息表示下嘴唇对应的限制分割区域，即限制下嘴唇只能出现的区域。背景先验层信息表示背景对应的限制分割区域，即限制背景只能出现的区域。
例如，人脸图像的尺寸为：w*h，即像素个数，其中，w为人脸图像的宽度，h为人脸图像的高度，人脸图像对应w*h像素矩阵。
具体地，确定各个子语义先验层信息的过程如下：
第一层(头发)：初始化w*h像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得鼻尖关键点坐标p3(x3，y3)，以(x3，y3)为中心确定一个长轴距离为3.5α，短轴距离为2α的椭圆形区域，将该椭圆形区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该椭圆形区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该椭圆形区域内的像素值置为0。可以确定该椭圆形区域为头发对应的限制分割区域。本发明一种可选的实施例中，初始像素矩阵的像素值为0，确定的椭圆形区域内的像素值置为1，如图5(a)中，与人脸图像同等大小的图像50A即可以理解为第一层子语义先验层信息，其中，黑色区域50a表示头发对应的限制分割区域。
第二层(面部)：初始化w*h像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得鼻尖关键点坐标p3(x3，y3)，以(x3，y3-0.45α)为中心构建一个长轴距离为2α，短轴距离为1.5α的椭圆形区域，将该椭圆形区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该椭圆形区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该椭圆形区域内的像素值置为0。可以确定该椭圆形区域为面部对应的限制分割区域。本发明一种可选的实施例中，初始像素矩阵的像素值为0，确定的椭圆形区域内的像素值置为1，如图5(b)中，与人脸图像同等大小的图像50B即可以理解为第二层子语义先验层信息，其中，黑色区域50b表示面部对应的限制分割区域。
第三层(左眉毛)：初始化w*h像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得左眼关键点坐标p1(x1，y1)，以(x1，y1-0.3α)为中心构建一个长轴距离为0.6α，短轴距离为0.15α的椭圆形区域，将该椭圆形区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该椭圆形区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该椭圆形区域内的像素值置为0。可以确定该椭圆形区域为左眉毛对应的限制分割区域。本发明一种可选的实施例中，初始像素矩阵的像素值为0，确定的椭圆形区域内的像素值置为1，如图5(c)中，与人脸图像同等大小的图像50C即可以理解为第三层子语义先验层信息，其中，黑色区域50c表示左眉毛对应的限制分割区域。
第四层(右眉毛)：初始化w*h像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得右眼关键点坐标p2(x2，y2)，以(x2，y2-0.3α)为中心构建一个长轴距离为0.6α，短轴距离为0.3α的椭圆形区域，将该椭圆形区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该椭圆形区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该椭圆形区域内的像素值置为0。可以确定该椭圆形区域为右眉毛对应的限制分割区域。本发明一种可选的实施例中，初始像素矩阵的像素值为0，确定的椭圆形区域内的像素值置为1，如图5(d)中，与人脸图像同等大小的图像50D即可以理解为第四层子语义先验层信息，其中，黑色区域50d表示右眉毛对应的限制分割区域。
第五层(左眼睛)：初始化w*h像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得左眼关键点坐标p1(x1，y1)，以(x1，y1)为圆心构建一个半径为0.15α的圆形区域，将该圆形区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该圆形区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该圆形区域内的像素值置为0。可以确定该圆形区域为左眼睛对应的限制分割区域。本发明一种可选的实施例中，初始像素矩阵的像素值为0，确定的圆形区域内的像素值置为1，如图5(e)中，与人脸图像同等大小的图像50E即可以理解为第五层子语义先验层信息，其中，黑色区域50e表示左眼睛对应的限制分割区域。
第六层(右眼睛)：初始化w*h像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得右眼关键点坐标p2(x2，y2)，以(x2，y2)为圆心构建一个半径为0.15α的圆形区域，将该圆形区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该圆形区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该圆形区域内的像素值置为0。可以确定该圆形区域为右眼睛对应的限制分割区域。本发明一种可选的实施例中，初始像素矩阵的像素值为0，确定的圆形区域内的像素值置为1，如图5(f)中，与人脸图像同等大小的图像50F即可以理解为第六层子语义先验层信息，其中，黑色区域50f表示右眼睛对应的限制分割区域。
第七层(鼻子)：初始化w*h像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得鼻尖关键点坐标p3(x3，y3)，以(x3，y3-0.3α)为中心心构建一个长轴距离为0.7α，短轴距离为0.3α的椭圆形区域，将该椭圆形区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该椭圆形区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该椭圆形区域内的像素值置为0。可以确定该椭圆形区域为鼻子对应的限制分割区域。本发明一种可选的实施例中，初始像素矩阵的像素值为0，确定的椭圆形区域内的像素值置为1，如图5(g)中，与人脸图像同等大小的图像50G即可以理解为第七层子语义先验层信息，其中，黑色区域50g表示鼻子对应的限制分割区域。
第八层(上嘴唇)：初始化w*h像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得左嘴角关键点坐标p4(x4，y4)和右嘴角关键点坐标p5(x5，y5)，以为中心构建一个长轴距离为0.9α，短轴距离为0.3α的椭圆形区域，将该椭圆形区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该椭圆形区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该椭圆形区域内的像素值置为0。可以确定该椭圆形区域为上嘴唇对应的限制分割区域。本发明一种可选的实施例中，初始像素矩阵的像素值为0，确定的椭圆形区域内的像素值置为1，如图5(h)中，与人脸图像同等大小的图像50H即可以理解为第八层子语义先验层信息，其中，黑色区域50h表示上嘴唇对应的限制分割区域。
第九层(口腔)、第十层(下嘴唇)与第八层(上嘴唇)相同。
第十一层(背景)：将第二层(面部)进行0-1取反。一种可选的实施例中，如图5(i)中，与人脸图像同等大小的图像50I即可以理解为第十一层子语义先验层信息，其中，白色区域50i表示背景对应的限制分割区域。
在上述实施例的基础上，另一种可实现方式中，也可以区分口腔、上嘴唇以及下嘴唇，分别确定口腔、上嘴唇以及下嘴唇分别对应的限制分割区域。具体地：
第八层(上嘴唇)：初始化w*h的像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得左嘴角关键点坐标p4(x4，y4)和右嘴角关键点坐标p5(x5，y5)，以为中心构建一个长轴距离为0.9α，短轴距离为0.3α的椭圆形区域，以椭圆长轴为分割线，将上半部分区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该椭圆形的上半部分区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该椭圆形的上半部分区域内的像素值置为0。可以确定该椭圆形的上半部分区域为上嘴唇对应的限制分割区域。
第九层(口腔)：初始化w*h的像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得左嘴角关键点坐标p4(x4，y4)和右嘴角关键点坐标p5(x5，y5)，以为中心构建一个长轴距离为0.9α，短轴距离为0.15α的椭圆形区域，将椭圆形区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该椭圆形区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该椭圆形区域内的像素值置为0。可以确定该椭圆形区域为口腔对应的限制分割区域。
第十层(下嘴唇)：初始化w*h的像素矩阵，可以将像素矩阵中所有像素值置为0或1；获得左嘴角关键点坐标p4(x4，y4)和右嘴角关键点坐标p5(x5，y5)，以为中心构建一个长轴距离为0.9α，短轴距离为0.3α的椭圆形区域，以椭圆长轴为分割线，将下半部分区域内的像素值置为与初始化矩阵像素值相反的值，如初始化矩阵将像素值置为0，则将该椭圆形的下半部分区域内的像素值置为1；如初始化矩阵将像素值置为1，则将该椭圆形的下半部分区域内的像素值置为0。可以确定该椭圆形的下半部分区域为下嘴唇对应的限制分割区域。
本发明实施例中利用人脸的五个关键点信息构建11个语义先验层，通过语义先验层对对应的分割对象进行约束，防止在目标分割对象外出现错误分割的情况，可以更加精准的对人脸对象进行语义分割。通过关键点扩充膨胀的方式构成语义先验层，计算量较小，节约计算资源。且在大部分业务场景中可以直接根据已经确定的人脸关键点进行计算，如此能够简化计算过程。
本发明一种可选的实施例中，可以包括预先训练用于人脸分割的网络模型的过程，具体地，预先训练网络模型的步骤，如图6所示，包括：
S601，获取多个训练样本图像。
训练样本图像可以是多种格式的图像，如可以包括灰度图像、RGB颜色模型的RGB图像、YUV颜色编码方式的YUV图像，等等。
电子设备可以从开源数据集中获取多个图像作为训练样本图像；或者也可以通过图像采集设备采集多个训练样本图像。
为了提高训练的准确性，可以获取大量训练样本图像。如1000张、2000张、5000张、或者更多张图像，等等。
S602，针对各个训练样本图像，确定该训练样本图像对应的标示样本图像。
其中，标示样本图像用于标示该训练样本图像中包括的人脸区域的各个分割对象。
一种可实现方式中，可针对各个训练样本图像，通过人工标注的方式标注出该训练样本图像中包括的人脸区域的各个分割对象，得到该训练样本图像对应的标示样本图像。另一种可实现方式中，也可通过自动的方式标注出该训练样本图像中包括的人脸区域的各个分割对象，得到该训练样本图像对应的标示样本图像。本发明实施例不对标注的方式以及最终标注出的结果的形式作限定，任何可以标示出该训练样本图像中包括的人脸区域的各个分割对象的方式均在本发明实施例的保护范围内。
S603，提取该训练样本图像中包括的人脸区域的样本关键点信息。
同上述提取待分割人脸区域的关键点信息的步骤S102类似，参照上述步骤S102即可，这里不再赘述。
S604，根据样本关键点信息，以及该训练样本图像中包括的人脸区域的各个分割对象与样本关键点信息的关系，确定该训练样本图像对应的语义先验层信息。
同上述步骤S103，根据关键点信息以及待分割人脸区域中各个分割对象与关键点信息的对应关系，确定待分割人脸区域对应的语义先验层信息的过程类似。具体地，可以参照上述图3实施例的详细过程，这里不再赘述。
S605，将该训练样本图像对应的标示样本图像以及图像语义先验层信息，输入至预设网络模型，对预设网络模型进行训练，得到训练好的网络模型。
一个训练样本图像对应的标示样本图像以及图像语义先验层信息可以理解为一个样本对。多个训练样本图像对应多个样本对。
预设网络模型可以包括待测参数，将样本对输入预设网络模型，调整待测参数，以使通过预设网络模型后的输出无限逼近于标示样本图像标示的结果，如预设网络模型的输出与标示样本图像标示的结果之间的代价函数收敛时，确定待测参数，得到的包括确定的待测参数的预设网络模型即为训练好的网络模型。其中，待测参数可以包括：隐藏层层数，隐藏层神经元的数量，批尺寸，学习速率，和/或迭代次数，等等。
本发明实施例中，预先训练好用于人脸分割的网络模型，且在训练网络模型的过程中通过将训练样本图像对应的标示样本图像以及图像语义先验层信息，输入至预设网络模型，对预设网络模型进行训练，得到训练好的网络模型。如此，在训练网络模型的过程中，通过图像语义先验层信息，对分割对象所位于的区域进行了限制，如此，使得通过该训练好的网络模型进行人脸分割时，能够提高分割的准确度。
本发明一种可选的实施例中，预先训练的网络模型的输入层数为人脸图像的通道数与语义先验层信息的层数之和。
人脸图像可以包括多种格式的图像，本发明实施例可以应用于通道数不同的人脸图像。输入至预先训练的网络模型的输入的输入层数可以为多种不同的情况。
一种可实现方式中，本发明实施例另一种可选的实施例中，人脸图像为3通道的RGB图像，可以确定输入至预先训练的网络模型的输入层数为14层。
步骤S104：将语义先验层信息和人脸图像，输入至预先训练的网络模型，得到待分割人脸区域中各个分割对象分别对应的分割结果，可以包括：
基于RGB格式图像以及语义先验层信息，确定14层模型输入；将14层模型输入，输入至预先训练的网络模型，得到待分割人脸区域中各个分割对象分别对应的分割结果。
如图7所示，针对包括待分割人脸区域的人脸图像，如RGB图像，因为图像信息一般是通过对应的表示图像中各个像素点的像素值的像素矩阵来体现，3层RGB信息即可以理解表示三通道RGB图像的像素信息；对人脸图像提取关键点，即具体地提取关键点信息，然后根据关键点信息，构造11层语义先验层信息，具体地，提取关键点信息；根据关键点信息，构造11层的语义先验层信息的过程在上述实施例中已经进行了详细描述，参照上述实施例即可，这里不再赘述。3层RGB信息和11层语义先验层信息构成14层网络输入，将该14层网络输入至分割网络中，即用于人脸分割的网络模型中，如上述训练好的网络模型中，得到分割结果。具体地，将这11个语义先验层信息和人脸图像的RGB信息组成w*h*14的矩阵作为网络模型的输入。
另一种可实现方式中，人脸图像为单通道的灰度图像，可以确定输入至预先训练的网络模型的输入层数为12层。
如此，可以基于灰度图像以及语义先验层信息，确定12层模型输入；将12层模型输入，输入至预先训练的网络模型，得到待分割人脸区域中各个分割对象分别对应的分割结果。
另一种可实现方式中，人脸图像为四通道的RGBW格式图像，则可以确定输入至预先训练的网络模型的输入层数为15层。
如此，可以基于RGBW格式图像以及语义先验层信息，确定15层模型输入；将15层模型输入，输入至预先训练的网络模型，得到待分割人脸区域中各个分割对象分别对应的分割结果。
本发明实施例中，利用人脸的五个关键点信息构建了11个语义先验层，通过语义先验层对对应的分割对象进行约束，防止在目标分割对象外面出现错误分割的情况。且相对于只将图像，如RGB三个通道输入网络模型进行分割的方案来说，本发明实施例中将11个语义分割层和图像，如3个RGB通道结合的输入，可以更加精准的对人脸对象进行语义分割。
本发明实施例提供了一种人脸分割装置，如图8所示，包括：
第一获取模块801，用于获取包括待分割人脸区域的人脸图像；
第一提取模块802，用于提取待分割人脸区域的关键点信息；
第一确定模块803，用于根据关键点信息以及待分割人脸区域中各个分割对象与关键点信息的对应关系，确定待分割人脸区域对应的语义先验层信息；其中，语义先验层信息表示待分割人脸区域中各个分割对象分别对应的限制分割区域；
第一输入模块804，用于将语义先验层信息和人脸图像，输入至预先训练的网络模型，得到待分割人脸区域中各个分割对象分别对应的分割结果；其中，网络模型是根据多个训练样本图像分别对应的标示样本图像以及语义先验层信息训练得到的，标示样本图像用于标示对应训练样本图像包括的人脸区域的各个分割对象。
本发明实施例中，在人脸分割的过程中，在将包括待分割人脸区域的人脸图像输入网络模型的同时，还输入表示待分割人脸区域中各个分割对象分别对应的限制分割区域的语义先验层信息。如此，通过语义先验层信息能够对各个分割对象的分割区域进行限制，避免错误分割的情况，能够提高分割的准确度。
可选的，关键点信息包括多个关键点子信息；
第一确定模块803，包括：
计算子模块，用于根据关键点子信息，计算缩放系数；
确定子模块，用于针对每一分割对象，根据缩放系数和该分割对象对应的关键点子信息，确定该分割对象对应的限制分割区域的中心点；并确定以该中心点为中心的区域为该关键点的限制分割区域。
可选的，该装置还包括：
第二获取模块，用于获取多个训练样本图像；
第二确定模块，用于针对各个训练样本图像，确定该训练样本图像对应的标示样本图像；其中，标示样本图像用于标示该训练样本图像中包括的人脸区域的各个分割对象；
第二提取模块，用于提取该训练样本图像中包括的人脸区域的样本关键点信息；
第三确定模块，根据样本关键点信息，以及该训练样本图像中包括的人脸区域的各个分割对象与样本关键点信息的关系，确定该训练样本图像对应的语义先验层信息；
第二输入模块，用于将该训练样本图像对应的标示样本图像以及图像语义先验层信息，输入至预设网络模型，对预设网络模型进行训练，得到训练好的网络模型。
可选的，语义先验层信息包括11层子语义先验层信息：头发先验层信息、面部先验层信息、左眉毛先验层信息、右眉毛先验层信息、左眼睛先验层信息、右眼睛先验层信息、鼻子先验层信息、上嘴唇先验层信息、口腔先验层信息、下嘴唇先验层信息、背景先验层信息。
可选的，预先训练的网络模型的输入层数为人脸图像的通道数与语义先验层信息的层数之和。
需要说明的是，本发明实施例提供的人脸分割装置是应用人脸分割方法的装置，则上述人脸分割方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
本发明实施例还提供了一种人脸分割设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述人脸分割方法的方法步骤。
本发明实施例中，在人脸分割的过程中，在将包括待分割人脸区域的人脸图像输入网络模型的同时，还输入表示待分割人脸区域中各个分割对象分别对应的限制分割区域的语义先验层信息。如此，通过语义先验层信息能够对各个分割对象的分割区域进行限制，避免错误分割的情况，能够提高分割的准确度。
上述人脸分割设备提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述人脸分割设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述人脸分割方法的方法步骤。
本发明实施例中，在人脸分割的过程中，在将包括待分割人脸区域的人脸图像输入网络模型的同时，还输入表示待分割人脸区域中各个分割对象分别对应的限制分割区域的语义先验层信息。如此，通过语义先验层信息能够对各个分割对象的分割区域进行限制，避免错误分割的情况，能够提高分割的准确度。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述人脸分割方法的方法步骤。
本发明实施例中，在人脸分割的过程中，在将包括待分割人脸区域的人脸图像输入网络模型的同时，还输入表示待分割人脸区域中各个分割对象分别对应的限制分割区域的语义先验层信息。如此，通过语义先验层信息能够对各个分割对象的分割区域进行限制，避免错误分割的情况，能够提高分割的准确度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、计算机可读存储介质及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (11)
1.一种人脸分割方法，其特征在于，包括：
获取包括待分割人脸区域的人脸图像；
提取所述待分割人脸区域的关键点信息；
根据所述关键点信息以及所述待分割人脸区域中各个分割对象与所述关键点信息的对应关系，确定所述待分割人脸区域对应的语义先验层信息；其中，所述语义先验层信息表示所述待分割人脸区域中各个分割对象分别对应的限制分割区域；
将所述语义先验层信息和所述人脸图像，输入至预先训练的网络模型，得到所述待分割人脸区域中各个分割对象分别对应的分割结果；其中，所述网络模型是根据多个训练样本图像分别对应的标示样本图像以及语义先验层信息训练得到的，标示样本图像用于标示对应训练样本图像包括的人脸区域的各个分割对象。
2.根据权利要求1所述的方法，其特征在于，所述关键点信息包括多个关键点子信息；
所述根据所述关键点信息以及所述待分割人脸区域中各个分割对象与所述关键点信息的对应关系，确定所述待分割人脸区域对应的语义先验层信息，包括：
根据所述关键点子信息，计算缩放系数；
针对每一分割对象，根据所述缩放系数和该分割对象对应的关键点子信息，确定该分割对象对应的限制分割区域的中心点；并确定以该中心点为中心的区域为该关键点的限制分割区域。
3.根据权利要求1所述的方法，其特征在于，预先训练所述网络模型的步骤，包括：
获取多个训练样本图像；
针对各个训练样本图像，确定该训练样本图像对应的标示样本图像；其中，标示样本图像用于标示该训练样本图像中包括的人脸区域的各个分割对象；
提取该训练样本图像中包括的人脸区域的样本关键点信息；
根据所述样本关键点信息，以及该训练样本图像中包括的人脸区域的各个分割对象与所述样本关键点信息的关系，确定该训练样本图像对应的语义先验层信息；
将该训练样本图像对应的标示样本图像以及图像语义先验层信息，输入至预设网络模型，对所述预设网络模型进行训练，得到训练好的所述网络模型。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述语义先验层信息包括11层子语义先验层信息：头发先验层信息、面部先验层信息、左眉毛先验层信息、右眉毛先验层信息、左眼睛先验层信息、右眼睛先验层信息、鼻子先验层信息、上嘴唇先验层信息、口腔先验层信息、下嘴唇先验层信息、背景先验层信息。
5.根据权利要求4所述的方法，其特征在于，所述预先训练的网络模型的输入层数为所述人脸图像的通道数与所述语义先验层信息的层数之和。
6.一种人脸分割装置，其特征在于，包括：
第一获取模块，用于获取包括待分割人脸区域的人脸图像；
第一提取模块，用于提取所述待分割人脸区域的关键点信息；
第一确定模块，用于根据所述关键点信息以及所述待分割人脸区域中各个分割对象与所述关键点信息的对应关系，确定所述待分割人脸区域对应的语义先验层信息；其中，所述语义先验层信息表示所述待分割人脸区域中各个分割对象分别对应的限制分割区域；
第一输入模块，用于将所述语义先验层信息和所述人脸图像，输入至预先训练的网络模型，得到所述待分割人脸区域中各个分割对象分别对应的分割结果；其中，所述网络模型是根据多个训练样本图像分别对应的标示样本图像以及语义先验层信息训练得到的，标示样本图像用于标示对应训练样本图像包括的人脸区域的各个分割对象。
7.根据权利要求6所述的装置，其特征在于，所述关键点信息包括多个关键点子信息；
所述第一确定模块，包括：
计算子模块，用于根据所述关键点子信息，计算缩放系数；
确定子模块，用于针对每一分割对象，根据所述缩放系数和该分割对象对应的关键点子信息，确定该分割对象对应的限制分割区域的中心点；并确定以该中心点为中心的区域为该关键点的限制分割区域。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取多个训练样本图像；
第二确定模块，用于针对各个训练样本图像，确定该训练样本图像对应的标示样本图像；其中，标示样本图像用于标示该训练样本图像中包括的人脸区域的各个分割对象；
第二提取模块，用于提取该训练样本图像中包括的人脸区域的样本关键点信息；
第三确定模块，根据所述样本关键点信息，以及该训练样本图像中包括的人脸区域的各个分割对象与所述样本关键点信息的关系，确定该训练样本图像对应的语义先验层信息；
第二输入模块，用于将该训练样本图像对应的标示样本图像以及图像语义先验层信息，输入至预设网络模型，对所述预设网络模型进行训练，得到训练好的所述网络模型。
9.根据权利要求6至8任一项所述的装置，其特征在于，所述语义先验层信息包括11层子语义先验层信息：头发先验层信息、面部先验层信息、左眉毛先验层信息、右眉毛先验层信息、左眼睛先验层信息、右眼睛先验层信息、鼻子先验层信息、上嘴唇先验层信息、口腔先验层信息、下嘴唇先验层信息、背景先验层信息。
10.根据权利要求9所述的装置，其特征在于，所述预先训练的网络模型的输入层数为所述人脸图像的通道数与所述语义先验层信息的层数之和。
11.一种人脸分割设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811524275.XA CN109741338A (zh) | 2018-12-13 | 2018-12-13 | 一种人脸分割方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811524275.XA CN109741338A (zh) | 2018-12-13 | 2018-12-13 | 一种人脸分割方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109741338A true CN109741338A (zh) | 2019-05-10 |
Family
ID=66359359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811524275.XA Pending CN109741338A (zh) | 2018-12-13 | 2018-12-13 | 一种人脸分割方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109741338A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189340A (zh) * | 2019-06-03 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN111709878A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 人脸超分辨率实现方法、装置、电子设备及存储介质 |
| CN112001213A (zh) * | 2020-04-25 | 2020-11-27 | 深圳德技创新实业有限公司 | 一种基于3d点云分割的精准面瘫程度评测方法及装置 |
| CN112287720A (zh) * | 2019-07-23 | 2021-01-29 | 北京京东尚科信息技术有限公司 | 人脸解析标注方法、装置、电子设备及可读介质 |
| CN112465843A (zh) * | 2020-12-22 | 2021-03-09 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质 |
| CN112464839A (zh) * | 2020-12-04 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 人像分割方法、装置、机器人及存储介质 |
| CN112883854A (zh) * | 2021-02-04 | 2021-06-01 | 新绎健康科技有限公司 | 一种基于深度学习的面部区域定位方法及系统 |
| CN112990123A (zh) * | 2021-04-26 | 2021-06-18 | 北京世纪好未来教育科技有限公司 | 图像处理方法、装置、计算机设备和介质 |
| EP3955216A3 (en) * | 2021-03-25 | 2022-05-04 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for recognizing image, electronic device and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101604446A (zh) * | 2009-07-03 | 2009-12-16 | 清华大学深圳研究生院 | 用于疲劳检测的嘴唇图像分割方法及系统 |
| US20130051612A1 (en) * | 2011-08-26 | 2013-02-28 | Toyota Motor Engineering & Manufacturing Na | Segmenting spatiotemporal data based on user gaze data |
| CN104766316A (zh) * | 2015-03-31 | 2015-07-08 | 复旦大学 | 中医望诊中新型嘴唇分割算法 |
| CN108229269A (zh) * | 2016-12-31 | 2018-06-29 | 深圳市商汤科技有限公司 | 人脸检测方法、装置和电子设备 |
| CN108985181A (zh) * | 2018-06-22 | 2018-12-11 | 华中科技大学 | 一种基于检测分割的端对端人脸标注方法 |
-
2018
- 2018-12-13 CN CN201811524275.XA patent/CN109741338A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101604446A (zh) * | 2009-07-03 | 2009-12-16 | 清华大学深圳研究生院 | 用于疲劳检测的嘴唇图像分割方法及系统 |
| US20130051612A1 (en) * | 2011-08-26 | 2013-02-28 | Toyota Motor Engineering & Manufacturing Na | Segmenting spatiotemporal data based on user gaze data |
| CN104766316A (zh) * | 2015-03-31 | 2015-07-08 | 复旦大学 | 中医望诊中新型嘴唇分割算法 |
| CN108229269A (zh) * | 2016-12-31 | 2018-06-29 | 深圳市商汤科技有限公司 | 人脸检测方法、装置和电子设备 |
| CN108985181A (zh) * | 2018-06-22 | 2018-12-11 | 华中科技大学 | 一种基于检测分割的端对端人脸标注方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189340A (zh) * | 2019-06-03 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN112287720A (zh) * | 2019-07-23 | 2021-01-29 | 北京京东尚科信息技术有限公司 | 人脸解析标注方法、装置、电子设备及可读介质 |
| CN112001213A (zh) * | 2020-04-25 | 2020-11-27 | 深圳德技创新实业有限公司 | 一种基于3d点云分割的精准面瘫程度评测方法及装置 |
| CN112001213B (zh) * | 2020-04-25 | 2024-04-12 | 深圳德技创新实业有限公司 | 一种基于3d点云分割的精准面瘫程度评测方法及装置 |
| CN111709878A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 人脸超分辨率实现方法、装置、电子设备及存储介质 |
| CN111709878B (zh) * | 2020-06-17 | 2023-06-23 | 北京百度网讯科技有限公司 | 人脸超分辨率实现方法、装置、电子设备及存储介质 |
| US11710215B2 (en) | 2020-06-17 | 2023-07-25 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Face super-resolution realization method and apparatus, electronic device and storage medium |
| CN112464839A (zh) * | 2020-12-04 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 人像分割方法、装置、机器人及存储介质 |
| CN112465843A (zh) * | 2020-12-22 | 2021-03-09 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质 |
| CN112883854A (zh) * | 2021-02-04 | 2021-06-01 | 新绎健康科技有限公司 | 一种基于深度学习的面部区域定位方法及系统 |
| EP3955216A3 (en) * | 2021-03-25 | 2022-05-04 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for recognizing image, electronic device and storage medium |
| CN112990123A (zh) * | 2021-04-26 | 2021-06-18 | 北京世纪好未来教育科技有限公司 | 图像处理方法、装置、计算机设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741338A (zh) | 一种人脸分割方法、装置及设备 | |
| CN110163080B (zh) | 人脸关键点检测方法及装置、存储介质和电子设备 | |
| CN109359575B (zh) | 人脸检测方法、业务处理方法、装置、终端及介质 | |
| US10599914B2 (en) | Method and apparatus for human face image processing | |
| CN110874594B (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| CN108765278B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| US9396560B2 (en) | Image-based color palette generation | |
| WO2018036462A1 (zh) | 图像分割的方法、计算机设备及存储介质 | |
| CN111739027B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| CN108463823B (zh) | 一种用户头发模型的重建方法、装置及终端 | |
| CN110414428A (zh) | 一种生成人脸属性信息识别模型的方法 | |
| CN110287771B (zh) | 图像手掌区域提取方法及装置 | |
| KR101141643B1 (ko) | 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법 | |
| CN110070101A (zh) | 植物种类的识别方法及装置、存储介质、计算机设备 | |
| US20210174135A1 (en) | Method of matching image and apparatus thereof, device, medium and program product | |
| CN110288614A (zh) | 图像处理方法、装置、设备及存储介质 | |
| WO2014137806A2 (en) | Visual language for human computer interfaces | |
| CN111814620A (zh) | 人脸图像质量评价模型建立方法、优选方法、介质及装置 | |
| CN109242775B (zh) | 一种属性信息迁移方法、装置、设备以及可读存储介质 | |
| CN109033935B (zh) | 抬头纹检测方法及装置 | |
| CN118135643A (zh) | 眼部纹理修复 | |
| CN110619334B (zh) | 基于深度学习的人像分割方法、架构及相关装置 | |
| US11341759B2 (en) | Image classification using color profiles | |
| WO2022267653A1 (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| CN110728242A (zh) | 基于人像识别的图像匹配方法、装置、存储介质及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190510 |
|
| RJ01 | Rejection of invention patent application after publication |