CN109712144A - 面部图像的处理方法、训练方法、设备和存储介质 - Google Patents
面部图像的处理方法、训练方法、设备和存储介质 Download PDFInfo
- Publication number
- CN109712144A CN109712144A CN201811271595.9A CN201811271595A CN109712144A CN 109712144 A CN109712144 A CN 109712144A CN 201811271595 A CN201811271595 A CN 201811271595A CN 109712144 A CN109712144 A CN 109712144A
- Authority
- CN
- China
- Prior art keywords
- face
- key point
- image
- face key
- parted pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 90
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 25
- 230000001537 neural effect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种面部图像的处理方法、训练方法、设备和存储介质，该方法包括：获取待处理的面部图像，预先根据采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的人脸关键点分割模型，然后根据人脸关键点分割模型对面部图像进行处理，得到面部图像对应的人脸关键点和人脸分割信息，通过该模型可以同时获取到图像的人脸关键点和人脸分割信息，不需要对图像分别进行特征提取，节省处理时间，并且将人脸关键点和人脸分割用一个神经网络进行训练，神经网络可以同时收到关键点和分割信息的监督，有效提高处理结果的精准度。
Description
技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种面部图像的处理方法、训练方法、设备和存储介质。
背景技术
随着人工智能以及智能的终端设备的飞速发展，人脸识别技术广泛应用在各个技术领域。以AR技术为例，在很多AR应用场景下，经常会有既需要人脸关键点，又需要对人脸进行分割的需求，目前的方案中需要分别处理，对图像进行特征提取得到需要的人脸关键点，对图像上的人脸上的五官进行分割得到需要的分割区域。
然而，上述方式中处理过程中分别对图像进行特征提取，耗时较多，且处理过程中只关注关键点或分割，导致处理结果的精准度较低。
发明内容
本申请实施例提供一种面部图像的处理方法、训练方法、设备和存储介质，用于解决上述方式中处理过程中分别对图像进行特征提取，耗时较多，且处理过程中只关注关键点或分割，导致处理结果的精准度较低的问题。
本申请第一方面提供一种面部图像的处理方法，包括：
获取待处理的面部图像；
根据人脸关键点分割模型对所述面部图像进行处理，得到所述面部图像对应的人脸关键点和人脸分割信息；
其中，所述人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。
可选的，所述人脸分割信息的模型是用如下方式训练的：
采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型。
可选的，所述根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型，包括：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
可选的，所述获取待处理的面部图像，包括：
根据人脸检测模型，从待检测的图像中获取所述面部图像。
本申请第二方面提供一种人脸关键点分割模型的训练方法，包括：
采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型；
其中，所述人脸关键点分割模型用于对面部图像进行处理，同时获取人脸关键点和人脸分割信息。
可选的，所述根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型，包括：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
本申请第三方面提供一种面部图像的处理装置，包括：
获取模块，用于获取待处理的面部图像；
处理模块，用于根据人脸关键点分割模型对所述面部图像进行处理，得到所述面部图像对应的人脸关键点和人脸分割信息；
其中，所述人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。
可选的，所述人脸分割信息的模型是用如下方式训练的：
采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型。
可选的，所述根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型，包括：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
可选的，所述获取模块具体用于：
根据人脸检测模型，从待检测的图像中获取所述面部图像。
本申请第四方面提供一种人脸关键点分割模型的训练装置，包括：
采集模块，用于采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
训练模块，用于根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型；
其中，所述人脸关键点分割模型用于对面部图像进行处理，同时获取人脸关键点和人脸分割信息。
可选的，所述训练模块具体用于：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
本申请第五方面提供一种电子设备，包括：
处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现第一方面任一项所述的面部图像的处理方法。
本申请第六方面提供一种电子设备，包括：
处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现第二方面的人脸关键点分割模型的训练方法。
本申请第七方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现第一方面任一项所述的面部图像的处理方法。
本申请第八方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现第二方面的人脸关键点分割模型的训练方法。
本申请实施例提供的面部图像的处理方法、训练方法、设备和存储介质，获取待处理的面部图像，预先根据采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的人脸关键点分割模型，然后根据人脸关键点分割模型对面部图像进行处理，得到面部图像对应的人脸关键点和人脸分割信息，通过该人脸关键点分割模型可以同时获取到图像的人脸关键点和人脸分割信息，不需要对图像分别进行特征提取，节省处理时间，并且该人脸关键点分割模型是将人脸关键点和人脸分割用一个神经网络进行训练得到的，神经网络可以同时收到关键点和分割信息的监督，有效提高对图像的处理结果的精准度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的面部图像的处理方法实施例一的流程图；
图2为本申请实施例提供的面部图像的处理方法中人脸关键点的示意图；
图3为本申请实施例提供的面部图像的处理方法中人脸分割信息的示意图；
图4为本申请实施例提供的人脸关键点分割模型的训练方法实施例一的流程示意图；
图5为本申请实施例提供的人脸关键点分割模型训练的流程示意图；
图6为本申请实施例提供的面部图像的处理装置实施例一的结构示意图；
图7为本申请实施例提供的人脸关键点分割模型训练装置实施例一的结构示意图；
图8为本申请实施例提供的电子设备实施例一的结构示意图；
图9为本申请实施例提供的电子设备实施例二的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在目前的技术方案中，对人脸关键点和人脸分割信息进行获取的模型是不同的，并没有互相监督，在模型的训练过程中，只根据人脸关键点进行训练，或者是只根据人脸分割信息进行训练，很难满足关键点和分割任务的精准度。
另外，特别是在目前的AR项目中，经常会有既需要人脸关键点，又需要对人脸进行分割的需求，而且这两个任务会分别对图片的特征进行了提取，耗时较多，很难满足实时性。
针对上述存在的问题，本申请提供一种面部图像的处理方法，通过将人脸关键点和人脸分割进行联合学习，有效提高人脸关键点和分割的精准度和速度。
下面通过几个具体实施例对该面部图像的处理方法进行说明。本申请中涉及的技术方案可以在服务器，云服务器，手机电脑等终端上进行实现，对此本方案不做限制。
图1为本申请实施例提供的面部图像的处理方法实施例一的流程图，如图1所示，本实施例提供的面部图像的处理方法具体包括以下步骤：
S101：获取待处理的面部图像。
在本步骤中，电子设备需要获取面部图像，一般来说，需要进行及检测的图像中包括人物还可能包括其他部分，为了更进一步准确的达到对人脸关键点和人脸分割信息的，首先需要对待检测的图像进行处理，得到其中的面部图像。
一种具体的实现方式中，通过人脸检测模型从待检测的图像中检测出人脸的位置，或者面部的位置，并进行裁剪得到上述的面部图像，以便进行后续的处理。
S102：根据人脸关键点分割模型对面部图像进行处理，得到面部图像对应的人脸关键点和人脸分割信息。
在本方案中，需要预先根据人脸关键点和人脸分割信息进行联合的模型训练，训练得到一个可以同时获取图像中的人脸关键点和人脸分割信息的人脸关键点分割模型，能够对面部图像进行处理，该方案中，应理解该人脸关键点分割模型可以是电子设备预先根据采集的人脸图像样本训练得到的，也可以是在其他设备上训练并将该人脸关键点分割模型预先写入该电子设备对图像进行处理的，对此本方案不做限制。
应理解，该方案中的人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。
在该方案的具体实现中，将上述获取到的面部图像输入到该人脸关键点分割模型中进行分析处理，得到该面部图像的人脸关键点和人脸分割信息。
一般来说，人脸关键点指的是人脸上的能够标记重要特征的像素点，具体的以图2所示为例，图2为本申请实施例提供的面部图像的处理方法中人脸关键点的示意图，如图2所示，图中定位除了150个点的位置，这150个点分布在人脸的五官以及轮廓边缘上，输出结果可以直接显示该些人脸关键点在面部图像中的位置，也可以只显示这些位置的像素点，还可以显示或者输出人脸关键点在面部图像上的坐标，对此不做限制。
同样的通过该模型也可以得到人脸分割信息，人脸分割信息指的是对整个面部图像中人脸所在位置的所有像素点都进行分类，确定像素点的种类，即对像素点进行分区，以图3为例，图3为本申请实施例提供的面部图像的处理方法中人脸分割信息的示意图，如图3所示，图中示出了九雷，即将人脸上的像素点分出了九类，图中的不同区域分别表示人脸的左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴、脸部、头发、背景几个区域。在根据模型得到了该人脸分割信息之后，可以直接显示分割的区域示意图，也可以显示每个分割的区域对应的像素点的信息，对此本方案不做限制。
本实施例提供的面部图像的处理方法，通过预先将关键点和人脸分割实用一个神经网络进行训练得到人脸关键点分割模型，然后对获取到的面部图像采用该人脸关键点模型进行处理，同事得到人脸关键点和人脸分割信息，不需要对图像分别进行特征提取，只需要一次处理节省处理时间，有效提高对图像的处理结果的精准度。
图4为本申请实施例提供的人脸关键点分割模型的训练方法实施例一的流程示意图；在上述实施例的基础上，需要预先训练得到人脸关键点分割模型，并且在该方案的应用过程中可以对该模型不断的进行更新，模型的训练过程可在上述电子设备或者其他设备中进行训练，具体的该人脸分割信息的模型是用如下方式训练的，具体包括以下步骤：
S201：采集多个包括人脸的图像样本，并对图像样本中的人脸关键点和人脸分割信息进行标注。
在本步骤中，为了进行模型的训练，需要采集大量的用来训练模型的图像样本，并且对图像中的人脸关键点和人脸分割信息进行标定，即可以人为的将所有的图像样本中的人脸的所有关键点，例如上述的150个关键点标注出来，将人脸中的五官和头发等区域进行分割，即对人脸分割信息均进行标注。
S202：根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型。
本步骤中，首先根据神经网络初始化人脸关键点分割模型，即根据神经网络随机初始化得到一个初始的人脸关键点分割模型，然后将标定后的多个图像样本，分别输入该人脸关键点分割模型，得到输出结果，此时得到的结果一定不是标定的结果那么准确的，因此还需要将每个图像样本的输出结果和该图像样本的标注信息之间进行对比，获取所述输出结果和图像样本的标注信息之间的损失函数，然后根据所述损失函数对所述人脸关键点模型进行更新，并通过多次重复训练，可以将模型训练到越来越接近准确值的过程，通过大量的图像样本重复上述过程对模型进行训练，能够得到需要的同时可以获取到人脸关键点和人脸分割信息的模型。在该方案中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
图5为本申请实施例提供的人脸关键点分割模型训练的流程示意图；如图5所示，示出了一种具体的人脸关键点分割模型的训练流程，具体包括了以下几个流程：
01，采集人脸图片样本，首先收集人脸图片，用人脸检测模型检测出其中的人脸位置，并剪切出人脸区域为人脸图片。
02，对人脸图片进行标注，标注包括了人脸关键点和人脸分割信息。
03，根据神经网络模型随机初始化人脸关键点分割模型。
04，将人脸图片输入进人脸关键点分割模型，输出人脸关键点信息和人脸分割信息。
05，将人脸关键点信息和人脸关键点的标注信息一起进行求人脸关键点损失函数。
06，将人脸分割信息和人脸分割的标注信息一起求人脸分割信息的损失函数。
07，用人脸关键点损失函数和人脸分割信息的损失函数来更新人脸关键点分割模型。
重复上述过程多次可以得到需要的人脸关键点分割模型，按照上述模型训练方案，将人脸关键点和人脸分割信息用同一个模型进行训练，神经网络可以同时受到关键点和分割信息的监督，训练得到的人脸关键点分割模型能够同时得到人脸关键点和人脸分割信息。
采用该模型对面部图像进行处理，特别是在AR场景下，可以在依赖于人脸关键点和人脸分割的AR特效任务中取得很高的精准度和实时性，可以对视频或者图片中的人像进行贴纸、更换头发颜色和美颜等，改善了用户体验。
图6为本申请实施例提供的面部图像的处理装置实施例一的结构示意图，如图6所示，该面部图像的处理装置10包括：
获取模块11，用于获取待处理的面部图像；
处理模块12，用于根据人脸关键点分割模型对所述面部图像进行处理，得到所述面部图像对应的人脸关键点和人脸分割信息；
其中，所述人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。
本实施例提供的面部图像的处理装置，用于执行前述方法实施例中的技术方案，其实现原理和技术效果类似，电子设备获取待处理的面部图像，预先根据采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的人脸关键点分割模型，然后根据人脸关键点分割模型对面部图像进行处理，得到面部图像对应的人脸关键点和人脸分割信息，通过该模型可以同时获取到图像的人脸关键点和人脸分割信息，不需要对图像分别进行特征提取，节省处理时间，并且将人脸关键点和人脸分割用一个神经网络进行训练，神经网络可以同时收到关键点和分割信息的监督，有效提高处理结果的精准度。
在上述人脸关键点分割模型可以是该装置进行训练的，也可以是其他设备训练好预先设置在该装置中的，对此本方案不做限制：
具体实现中，该人脸关键点分割模型是按照下面的方式训练得到的：
采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型。
可选的，根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型，包括：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
可选的，所述获取模块11具体用于：
根据人脸检测模型，从待检测的图像中获取所述面部图像。
上述实施例提供的面部图像的处理装置，用于执行前述方法实施例中的的技术方案，其实现原理和技术效果类似，在此不再赘述。
图7为本申请实施例提供的人脸关键点分割模型的训练装置实施例一的结构示意图，如图7所示，该人脸关键点分割模型的训练装置20包括：
采集模块21，用于采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
训练模块22，用于根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型；
其中，所述人脸关键点分割模型用于对面部图像进行处理，同时获取人脸关键点和人脸分割信息。
可选的，所述训练模块22具体用于：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
图8为本申请实施例提供的电子设备实施例一的结构示意图，如图8所示，该电子设备，包括：
处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现前述任一实施例提供的面部图像的处理方法。
图9为本申请实施例提供的电子设备实施例二的结构示意图，如图9所示，该电子设备，包括：
处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现前述任一实施例提供的人脸关键点分割模型的训练方法。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现前述任一方法实施例提供的面部图像的处理方法。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现前述任一方法实施例提供的人脸关键点分割模型的训练方法。
在上述电子设备的具体实现中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(英文：read-only memory，缩写：ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetictape)、软盘(英文：floppy disk)、光盘(英文：optical disc)及其任意组合。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (16)
1.一种面部图像的处理方法，其特征在于，包括：
获取待处理的面部图像；
根据人脸关键点分割模型对所述面部图像进行处理，得到所述面部图像对应的人脸关键点和人脸分割信息；
其中，所述人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。
2.根据权利要求1所述的方法，其特征在于，所述人脸分割信息的模型是用如下方式训练的：
采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型。
3.根据权利要求2所述的方法，其特征在于，所述根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型，包括：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述获取待处理的面部图像，包括：
根据人脸检测模型，从待检测的图像中获取所述面部图像。
5.一种人脸关键点分割模型的训练方法，其特征在于，包括：
采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型；
其中，所述人脸关键点分割模型用于对面部图像进行处理，同时获取人脸关键点和人脸分割信息。
6.根据权利要求5所述的方法，其特征在于，所述根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型，包括：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
7.一种面部图像的处理装置，其特征在于，包括：
获取模块，用于获取待处理的面部图像；
处理模块，用于根据人脸关键点分割模型对所述面部图像进行处理，得到所述面部图像对应的人脸关键点和人脸分割信息；
其中，所述人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。
8.根据权利要求7所述的装置，其特征在于，所述人脸分割信息的模型是用如下方式训练的：
采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型。
9.根据权利要求8所述的装置，其特征在于，所述根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型，包括：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
10.根据权利要求7至9任一项所述的装置，其特征在于，所述获取模块具体用于：
根据人脸检测模型，从待检测的图像中获取所述面部图像。
11.一种人脸关键点分割模型的训练装置，其特征在于，包括：
采集模块，用于采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；
训练模块，用于根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型；
其中，所述人脸关键点分割模型用于对面部图像进行处理，同时获取人脸关键点和人脸分割信息。
12.根据权利要求11所述的装置，其特征在于，所述训练模块具体用于：
根据神经网络初始化人脸关键点分割模型；
将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；
获取所述输出结果和图像样本的标注信息之间的损失函数；
根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。
13.一种电子设备，其特征在于，包括：
处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现权利要求1至4任一项所述的面部图像的处理方法。
14.一种电子设备，其特征在于，包括：
处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现权利要求5或6所述的人脸关键点分割模型的训练方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现权利要求1至4任一项所述的面部图像的处理方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现权利要求5或6所述的人脸关键点分割模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811271595.9A CN109712144A (zh) | 2018-10-29 | 2018-10-29 | 面部图像的处理方法、训练方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811271595.9A CN109712144A (zh) | 2018-10-29 | 2018-10-29 | 面部图像的处理方法、训练方法、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109712144A true CN109712144A (zh) | 2019-05-03 |
Family
ID=66254213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811271595.9A Pending CN109712144A (zh) | 2018-10-29 | 2018-10-29 | 面部图像的处理方法、训练方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109712144A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189340A (zh) * | 2019-06-03 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN110443222A (zh) * | 2019-08-14 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于训练脸部关键点检测模型的方法和装置 |
| CN110852257A (zh) * | 2019-11-08 | 2020-02-28 | 深圳和而泰家居在线网络科技有限公司 | 一种人脸关键点的检测方法、装置及存储介质 |
| CN111047509A (zh) * | 2019-12-17 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 一种图像特效处理方法、装置及终端 |
| CN111048202A (zh) * | 2019-12-12 | 2020-04-21 | 苏州杰胜通信息技术有限公司 | 一种智能化中医诊断系统及其方法 |
| CN111709878A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 人脸超分辨率实现方法、装置、电子设备及存储介质 |
| CN111753793A (zh) * | 2020-06-30 | 2020-10-09 | 重庆紫光华山智安科技有限公司 | 模型训练方法、装置、人脸筛选方法及电子设备 |
| CN111932568A (zh) * | 2020-08-10 | 2020-11-13 | 北京金山云网络技术有限公司 | 人体图像分割方法、人体图像分割模型的训练方法和装置 |
| CN112101280A (zh) * | 2020-09-25 | 2020-12-18 | 北京百度网讯科技有限公司 | 人脸图像的识别方法、装置 |
| CN112258480A (zh) * | 2020-10-23 | 2021-01-22 | 厦门理工学院 | 一种基于点标注的弱监督腺体实例分割方法 |
| CN112464839A (zh) * | 2020-12-04 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 人像分割方法、装置、机器人及存储介质 |
| CN112668574A (zh) * | 2020-12-28 | 2021-04-16 | 深圳前海百递网络有限公司 | 包裹图像处理方法、装置、计算机设备和存储介质 |
| CN113139546A (zh) * | 2020-01-19 | 2021-07-20 | 北京达佳互联信息技术有限公司 | 图像分割模型的训练方法、图像分割的方法和装置 |
| CN113449539A (zh) * | 2020-03-24 | 2021-09-28 | 顺丰科技有限公司 | 动物体信息提取模型的训练方法、装置、设备及存储介质 |
| CN114743248A (zh) * | 2022-04-26 | 2022-07-12 | 深圳市优必选科技股份有限公司 | 人脸关键点检测方法、装置、可读存储介质及终端设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别系统 |
| CN108304765A (zh) * | 2017-12-11 | 2018-07-20 | 中国科学院自动化研究所 | 用于人脸关键点定位与语义分割的多任务检测装置 |
-
2018
- 2018-10-29 CN CN201811271595.9A patent/CN109712144A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304765A (zh) * | 2017-12-11 | 2018-07-20 | 中国科学院自动化研究所 | 用于人脸关键点定位与语义分割的多任务检测装置 |
| CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别系统 |
Non-Patent Citations (2)
| Title |
|---|
| KAIMING HE ET AL: "Mask R-CNN", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION 2017》 * |
| YUCHENG ZHAO ET AL: "Joint face alignment and segmentation via deep multi-task learning", 《 MULTIMEDIA TOOLS AND APPLICATIONS》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189340A (zh) * | 2019-06-03 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN110443222A (zh) * | 2019-08-14 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于训练脸部关键点检测模型的方法和装置 |
| CN110852257A (zh) * | 2019-11-08 | 2020-02-28 | 深圳和而泰家居在线网络科技有限公司 | 一种人脸关键点的检测方法、装置及存储介质 |
| CN110852257B (zh) * | 2019-11-08 | 2023-02-10 | 深圳数联天下智能科技有限公司 | 一种人脸关键点的检测方法、装置及存储介质 |
| CN111048202A (zh) * | 2019-12-12 | 2020-04-21 | 苏州杰胜通信息技术有限公司 | 一种智能化中医诊断系统及其方法 |
| CN111047509A (zh) * | 2019-12-17 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 一种图像特效处理方法、装置及终端 |
| CN113139546A (zh) * | 2020-01-19 | 2021-07-20 | 北京达佳互联信息技术有限公司 | 图像分割模型的训练方法、图像分割的方法和装置 |
| CN113139546B (zh) * | 2020-01-19 | 2024-08-06 | 北京达佳互联信息技术有限公司 | 图像分割模型的训练方法、图像分割的方法和装置 |
| CN113449539A (zh) * | 2020-03-24 | 2021-09-28 | 顺丰科技有限公司 | 动物体信息提取模型的训练方法、装置、设备及存储介质 |
| CN111709878A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 人脸超分辨率实现方法、装置、电子设备及存储介质 |
| US11710215B2 (en) | 2020-06-17 | 2023-07-25 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Face super-resolution realization method and apparatus, electronic device and storage medium |
| CN111709878B (zh) * | 2020-06-17 | 2023-06-23 | 北京百度网讯科技有限公司 | 人脸超分辨率实现方法、装置、电子设备及存储介质 |
| CN111753793B (zh) * | 2020-06-30 | 2022-11-22 | 重庆紫光华山智安科技有限公司 | 模型训练方法、装置、人脸筛选方法及电子设备 |
| CN111753793A (zh) * | 2020-06-30 | 2020-10-09 | 重庆紫光华山智安科技有限公司 | 模型训练方法、装置、人脸筛选方法及电子设备 |
| CN111932568A (zh) * | 2020-08-10 | 2020-11-13 | 北京金山云网络技术有限公司 | 人体图像分割方法、人体图像分割模型的训练方法和装置 |
| CN112101280A (zh) * | 2020-09-25 | 2020-12-18 | 北京百度网讯科技有限公司 | 人脸图像的识别方法、装置 |
| CN112258480A (zh) * | 2020-10-23 | 2021-01-22 | 厦门理工学院 | 一种基于点标注的弱监督腺体实例分割方法 |
| CN112258480B (zh) * | 2020-10-23 | 2023-05-30 | 厦门理工学院 | 一种基于点标注的弱监督腺体实例分割方法 |
| CN112464839A (zh) * | 2020-12-04 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 人像分割方法、装置、机器人及存储介质 |
| CN112668574A (zh) * | 2020-12-28 | 2021-04-16 | 深圳前海百递网络有限公司 | 包裹图像处理方法、装置、计算机设备和存储介质 |
| CN114743248A (zh) * | 2022-04-26 | 2022-07-12 | 深圳市优必选科技股份有限公司 | 人脸关键点检测方法、装置、可读存储介质及终端设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109712144A (zh) | 面部图像的处理方法、训练方法、设备和存储介质 | |
| US20190377930A1 (en) | Method and System for Face Recognition Via Deep Learning | |
| WO2017206400A1 (zh) | 图像处理方法、装置及电子设备 | |
| CN109801307A (zh) | 一种全景分割方法、装置及设备 | |
| EP2785058A1 (en) | Video advertisement broadcasting method, device and system | |
| CN110427859A (zh) | 一种人脸检测方法、装置、电子设备及存储介质 | |
| CN105205454A (zh) | 自动捕捉目标物的系统和方法 | |
| Lu et al. | UID-GAN: Unsupervised image deblurring via disentangled representations | |
| CN112101123B (zh) | 一种注意力检测方法及装置 | |
| KR101743764B1 (ko) | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 | |
| CN112633221B (zh) | 一种人脸方向的检测方法及相关装置 | |
| CN111369428A (zh) | 虚拟头像生成方法和装置 | |
| CN107944376A (zh) | 视频数据实时姿态识别方法及装置、计算设备 | |
| CN110175505A (zh) | 微表情类型的确定方法、装置、存储介质及电子装置 | |
| CN111814573A (zh) | 一种人脸信息的检测方法、装置、终端设备及存储介质 | |
| CN113160231A (zh) | 一种样本生成方法、样本生成装置及电子设备 | |
| CN109348287A (zh) | 视频摘要生成方法、装置、存储介质和电子设备 | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| CN110414522A (zh) | 一种字符识别方法及装置 | |
| CN106778751B (zh) | 一种非面部roi识别方法及装置 | |
| CN109587035B (zh) | 会话界面的头像展示方法、装置、电子设备及存储介质 | |
| CN105338335B (zh) | 一种立体图像显著图提取方法 | |
| CN111783677A (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
| CN116664603A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109598201B (zh) | 动作检测方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |