CN110189340A - 图像分割方法、装置、电子设备及存储介质 - Google Patents

图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110189340A
CN110189340A CN201910478373.2A CN201910478373A CN110189340A CN 110189340 A CN110189340 A CN 110189340A CN 201910478373 A CN201910478373 A CN 201910478373A CN 110189340 A CN110189340 A CN 110189340A
Authority
CN
China
Prior art keywords
image
hair
face
region
probability distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910478373.2A
Other languages
English (en)
Other versions
CN110189340B (zh
Inventor
李宣平
李岩
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910478373.2A priority Critical patent/CN110189340B/zh
Publication of CN110189340A publication Critical patent/CN110189340A/zh
Priority to US16/891,563 priority patent/US11288807B2/en
Application granted granted Critical
Publication of CN110189340B publication Critical patent/CN110189340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种图像分割方法、装置、电子设备及存储介质，属于计算机视觉领域，所述方法包括：获取待分割图像，对所述待分割图像进行人脸检测和人脸关键点检测；基于得到的第一人脸检测结果和第一人脸关键点检测结果，在所述待分割图像中裁剪出第一人脸区域；基于图像分割模型，对所述第一人脸区域进行头发分割，所述图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，所述标注掩码图提供了所述样本图像中的头发区域，所述头发概率分布图提供了所述样本图像的头发分割概率分布。本公开基于训练好的图像分割模型能够精细地进行头发分割，能够在确保分割效率的同时提高分割精度，该种头发分割方式效果较佳。

Description

图像分割方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉领域，尤其涉及图像分割方法、装置、电子设备及存储介质。
背景技术
头发是区分不同人脸的一个重要局部特征，对一个人的整体形象起着至关重要的作用。基于此，诸如头发分割等头发相关应用近年来受到越来越多的关注。其中，头发分割技术是一种对头发区域自动进行分割的技术，可应用在诸如发型换色、发饰试戴、发型识别、性别与年龄估计等场景下。
众所周知，对图像进行头发分割时，若能在确保分割效率的同时提高分割精度，则头发分割效果越好，越能满足应用需求。为此，如何进行图像分割，成为了本领域技术人员亟待解决的一个问题。
发明内容
本公开提供一种图像分割方法、装置、电子设备及存储介质，能够克服头发分割效率低以及精度不高的问题。
根据本公开实施例的第一方面，一种图像分割方法，包括：
获取待分割图像，对所述待分割图像进行人脸检测和人脸关键点检测；
基于得到的第一人脸检测结果和第一人脸关键点检测结果，在所述待分割图像中裁剪出第一人脸区域；
基于图像分割模型，对所述第一人脸区域进行头发分割，所述图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，所述标注掩码图提供了所述样本图像中的头发区域，所述头发概率分布图提供了所述样本图像的头发分割概率分布。
在一种可能的实现方式中，所述方法还包括：
获取训练样本集，所述训练样本集包括多个样本图像；
对于每个所述样本图像，对所述样本图像进行人脸检测和人脸关键点检测；基于得到的第二人脸检测结果和第二人脸关键点检测结果，在所述样本图像中裁剪出第二人脸区域，以及在所述样本图像的标注掩码图上裁剪出相应的头发掩码区域；
基于每个所述样本图像对应的头发掩码区域，生成所述头发概率分布图；
基于所述头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练所述图像分割模型。
在一种可能的实现方式中，所述基于每个所述样本图像对应的头发掩码区域，生成所述头发概率分布图，包括：
将各个头发掩码区域中相应位置点上的标注数据进行相加后求取平均值处理，得到所述头发概率分布图。
在一种可能的实现方式中，所述基于得到的第二人脸检测结果和第二人脸关键点检测结果，在所述样本图像中裁剪出第二人脸区域，以及在所述样本图像的标注掩码图上裁剪出相应的头发掩码区域，包括：
基于所述第二人脸检测结果，确定所述第二人脸区域的裁剪尺寸，以及所述第二人脸区域在所述样本图像中的裁剪位置；
基于所述第二人脸关键点检测结果，确定所述样本图像中包括人脸相对于水平方向的旋转角度；
基于所述裁剪尺寸、所述裁剪位置和所述旋转角度，在所述样本图像中裁剪所述第二人脸区域，以及在所述标注掩码图上裁剪所述头发掩码区域。
在一种可能的实现方式中，所述基于所述头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练所述图像分割模型，包括：
对于任意一个所述样本图像，将相应的人脸区域和所述头发概率分布图输入深度学习模型中；
基于目标损失函数，确定所述深度学习模型输出的预测结果与相应的头发掩码区域指示的标注结果是否匹配；
当所述预测结果与所述标注结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至收敛，得到所述图像分割模型。
在一种可能的实现方式中，所述将相应的人脸区域和所述头发概率分布图输入深度学习模型中，包括：
将相应的人脸区域和所述头发概率分布图进行组合处理，得到新的样本图像；
将所述新的样本图像输入所述深度学习模型中。
在一种可能的实现方式中，所述基于所述第二人脸关键点检测结果，确定所述样本图像中包括人脸相对于水平方向的旋转角度，包括：
基于所述第二人脸关键点检测结果中的左眼关键点和右眼关键点，确定所述样本图像中包括人脸相对于水平方向的旋转角度。
根据本公开实施例的第二方面，提供一种图像分割装置，包括：
获取模块，被配置为获取待分割图像，对所述待分割图像进行人脸检测和人脸关键点检测；
裁剪模块，被配置为基于得到的第一人脸检测结果和第一人脸关键点检测结果，在所述待分割图像中裁剪出第一人脸区域；
头发分割模块，被配置为基于图像分割模型，对所述第一人脸区域进行头发分割，所述图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，所述标注掩码图提供了所述样本图像中的头发区域，所述头发概率分布图提供了所述样本图像的头发分割概率分布。
在一种可能的实现方式中，所述装置还包括：训练模块，所述训练模块包括：
获取单元，被配置为获取训练样本集，所述训练样本集包括多个样本图像；
裁剪单元，被配置为对于每个所述样本图像，对所述样本图像进行人脸检测和人脸关键点检测；基于得到的第二人脸检测结果和第二人脸关键点检测结果，在所述样本图像中裁剪出第二人脸区域，以及在所述样本图像的标注掩码图上裁剪出相应的头发掩码区域；
生成单元，被配置为基于每个所述样本图像对应的头发掩码区域，生成所述头发概率分布图；
训练单元，被配置为基于所述头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练所述图像分割模型。
在一种可能的实现方式中，所述生成单元，还被配置为将各个头发掩码区域中相应位置点上的标注数据进行相加后求取平均值处理，得到所述头发概率分布图。
在一种可能的实现方式中，所述裁剪单元，还被配置为基于所述第二人脸检测结果，确定所述第二人脸区域的裁剪尺寸，以及所述第二人脸区域在所述样本图像中的裁剪位置；基于所述第二人脸关键点检测结果，确定所述样本图像中包括人脸相对于水平方向的旋转角度；基于所述裁剪尺寸、所述裁剪位置和所述旋转角度，在所述样本图像中裁剪所述第二人脸区域，以及在所述标注掩码图上裁剪所述头发掩码区域。
在一种可能的实现方式中，所述训练单元，还被配置为对于任意一个所述样本图像，将相应的人脸区域和所述头发概率分布图输入深度学习模型中；基于目标损失函数，确定所述深度学习模型输出的预测结果与相应的头发掩码区域指示的标注结果是否匹配；当所述预测结果与所述标注结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至收敛，得到所述图像分割模型。
在一种可能的实现方式中，所述训练单元，还被配置为将相应的人脸区域和所述头发概率分布图进行组合处理，得到新的样本图像；将所述新的样本图像输入所述深度学习模型中。
在一种可能的实现方式中，所述裁剪单元，还被配置为基于所述第二人脸关键点检测结果中的左眼关键点和右眼关键点，确定所述样本图像中包括人脸相对于水平方向的旋转角度。
根据本公开实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行上述第一方面所述的图像分割方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面所述的图像分割方法。
根据本公开实施例的第五方面，提供一种应用程序，所述应用程序中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面所述的图像分割方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在获取到待分割图像后，首先对待分割图像进行人脸检测和人脸关键点检测；之后，基于得到的人脸检测结果和人脸关键点检测结果，在待分割图像中裁剪人脸区域；之后，基于训练好的图像分割模型对人脸区域进行头发分割。由于在将待分割图像输入图像分割模型之前进行了裁剪，并基于裁剪的人脸区域进行头发分割，因此减少了大量的无用计算，提升了头发分割效率；另外，图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，其中，头发概率分布图提供了样本图像的头发分割概率分布，能够指示精细的头发分割，因此基于训练好的图像分割模型能够精细地进行头发分割，能够在确保分割效率的同时提高分割精度，该种头发分割方式效果较佳。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像分割方法涉及的实施环境示意图。
图2是根据一示例性实施例示出的一种图像分割方法的流程图。
图3是根据一示例性实施例示出的另一种图像分割方法的流程图。
图4是根据一示例性实施例示出的一种人脸检测的示意图。
图5是根据一示例性实施例示出的一种人脸关键点检测的示意图。
图6是根据一示例性实施例示出的一种裁剪人脸区域的示意图。
图7是根据一示例性实施例示出的一种头发概率分布图。
图8是根据一示例性实施例示出的一种训练图像分割模型的流程示意图。
图9是根据一示例性实施例示出的一种训练图像分割模型的整体流程图。
图10是根据一示例性实施例示出的一种头发区域的示意图。
图11是根据一示例性实施例示出的另一种图像分割方法的流程图。
图12是根据一示例性实施例示出的一种图像分割装置的框图。
图13是根据一示例性实施例示出的另一种图像分割装置的框图。
图14是根据一示例性实施例示出的一种电子设备的结构框图。
图15是根据一示例性实施例示出的另一种电子设备的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在对本公开实施例进行详细地解释说明之前，先对本公开实施例涉及到的一些名词进行解释。
头发掩码(mask)：其为二进制掩码，能够说明给定像素是否属于头发的一部分，比如，当某一像素属于头发时标识为1，否则标识为0。
在本公开实施例中，头发掩码由标注人员事先人工标注好。对于一个人脸图像，在标注阶段会生成一个尺寸大小一致的掩码图，这个掩码图在本文中也称之为该人脸图像的标注数据或标注掩码图。
作为一个示例，该标注掩码图中数值为1的区域用于指示该人脸图像中的头发区域，数值为0的区域用于指示该人脸图像中的非头发区域。
深度学习：其概念源于人工神经网络的研究，深度学习是机器学习中一种基于对数据进行表征学习的方法。换一种表达方式，深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络。
人脸检测(Face Detection)：给定一个图像，找出该图像中的所有人脸位置。
通常会用一个矩形框将人脸框起来，即输入是一个图像，输出是若干个包含人脸的矩形框和矩形框位置。
人脸关键点检测：也称为人脸关键定位或者人脸对齐，其是指给定一个人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等；
其中，通常将关键点的集合称作形状(shape)，形状包含了关键点的位置信息，而这个位置信息一般可以用两种形式表示，第一种是关键点相对于整张图像的位置，第二种是关键点相对于人脸矩形框的位置，本公开实施例对此不进行具体限定。
下面对本公开实施例提供的一种图像分割方法涉及的实施环境进行介绍说明。
本公开实施例提供的图像分割方法用于头发分割，该图像分割方法可应用在诸如发型换色、发饰试戴、发型识别、性别与年龄估计、头发渲染等场景下。
参见图1，该实施环境包括用于训练图像分割模型的第一电子设备101，以及基于训练好的图像分割模型进行头发分割的第二电子设备102。其中，第一电子设备101和第二电子设备102既可以是相同的设备，也不可以是不同的设备，本公开实施例对此不进行具体限定。
第一电子设备101用于基于训练样本集进行图像分割模型的训练，其为具有机器学习能力的计算机设备，比如，第一电子设备101可以是个人电脑、服务器等固定式计算机设备，还可以是平板电脑、智能手机等移动式计算机设备，本公开实施例对此同样不进行具体限定。
第二电子设备102同样为具有机器学习能力的计算机设备，其通常指代智能手机或平板电脑等移动式计算机设备。
相关技术提供的图像分割方法要么对诸如光照、遮挡、明暗变化等条件较为敏感，导致头发分割的准确率和鲁棒性较差，要么是将整个人脸图像作为图像分割模型的输入，进而输出和输入的人脸图像大小一致的头发分割结果，此类方法未利用头发和人脸的固有特性，例如头发一定是长在人脸附近，而不大可能长在脚上，导致存在大量无用计算。
基于此，本公开实施例提出了一种基于人脸对齐裁剪和先验概率分布的头发分割方案，该种方案依赖于人脸检测技术、人脸关键点检测技术和图像分割技术，该种方案不但能够实现头发的精细分割、分割精度较高，而且鲁棒性较好，对诸如光照、遮挡、明暗变化等较为鲁棒。
图2是根据一示例性实施例示出的一种图像分割方法的流程图，如图2所示，该方法用于电子设备中，包括以下步骤。
在步骤201中，获取待分割图像，对待分割图像进行人脸检测和人脸关键点检测。
在步骤202中，基于得到的第一人脸检测结果和第一人脸关键点检测结果，在待分割图像中裁剪出第一人脸区域。
在步骤203中，基于图像分割模型，对第一人脸区域进行头发分割，图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，标注掩码图提供了样本图像中的头发区域，头发概率分布图提供了样本图像的头发分割概率分布。
本公开实施例提供的方法，
在一种可能的实现方式中，所述方法还包括：
获取训练样本集，所述训练样本集包括多个样本图像；
对于每个所述样本图像，对所述样本图像进行人脸检测和人脸关键点检测；基于得到的第二人脸检测结果和第二人脸关键点检测结果，在所述样本图像中裁剪出第二人脸区域，以及在所述样本图像的标注掩码图上裁剪出相应的头发掩码区域；
基于每个所述样本图像对应的头发掩码区域，生成所述头发概率分布图；
基于所述头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练所述图像分割模型。
在一种可能的实现方式中，所述基于每个所述样本图像对应的头发掩码区域，生成所述头发概率分布图，包括：
将各个头发掩码区域中相应位置点上的标注数据进行相加后求取平均值处理，得到所述头发概率分布图。
在一种可能的实现方式中，所述基于得到的第二人脸检测结果和第二人脸关键点检测结果，在所述样本图像中裁剪出第二人脸区域，以及在所述样本图像的标注掩码图上裁剪出相应的头发掩码区域，包括：
基于所述第二人脸检测结果，确定所述第二人脸区域的裁剪尺寸，以及所述第二人脸区域在所述样本图像中的裁剪位置；
基于所述第二人脸关键点检测结果，确定所述样本图像中包括人脸相对于水平方向的旋转角度；
基于所述裁剪尺寸、所述裁剪位置和所述旋转角度，在所述样本图像中裁剪所述第二人脸区域，以及在所述标注掩码图上裁剪所述头发掩码区域。
在一种可能的实现方式中，所述基于所述头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练所述图像分割模型，包括：
对于任意一个所述样本图像，将相应的人脸区域和所述头发概率分布图输入深度学习模型中；
基于目标损失函数，确定所述深度学习模型输出的预测结果与相应的头发掩码区域指示的标注结果是否匹配；
当所述预测结果与所述标注结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至收敛，得到所述图像分割模型。
在一种可能的实现方式中，所述将相应的人脸区域和所述头发概率分布图输入深度学习模型中，包括：
将相应的人脸区域和所述头发概率分布图进行组合处理，得到新的样本图像；
将所述新的样本图像输入所述深度学习模型中。
在一种可能的实现方式中，所述基于所述第二人脸关键点检测结果，确定所述样本图像中包括人脸相对于水平方向的旋转角度，包括：
基于所述第二人脸关键点检测结果中的左眼关键点和右眼关键点，确定所述样本图像中包括人脸相对于水平方向的旋转角度。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
下面对本公开实施例提供的图像分割方法进行详细地解释说明。
图3是根据一示例性实施例示出的一种图像分割方法的流程图，如图3所示，包括以下步骤。
图像分割模型训练阶段
在步骤301中，第一电子设备获取训练样本集，该训练样本集包括多个样本图像。
在本公开实施例中，训练样本集中包括的样本图像可来自网络公开数据集，本公开实施例对此不进行具体限定。且，每一个样本图像中均包括人脸，即训练样本集中包括的样本图像均是人脸图像。
另外，每一个样本图像均对应一份标注数据，即人工预先会为每一个样本图像标注头发掩码，形成一个标注掩码图。其中，标注掩码图提供了相应的样本图像中的头发区域。
在步骤302中，对于每个样本图像，第一电子设备对该样本图像进行人脸检测和人脸关键点检测。
针对人脸检测，如图4所示，通常会将在该样本图像中检测到的人脸用检测框标注出来，并给出该检测框的位置信息，即给出检测到的人脸在该样本图像中的出现位置。
在一种可能的实现方式中，既可以采取深度学习的人脸检测算法进行人脸检测，也可以采取非深度学习的人脸检测算法进行人脸检测，本公开实施例对此不进行具体限定。作为一个示例，可基于预先标注好的训练数据，训练人脸检测模型用于人脸检测。
针对人脸关键点检测，如图5所示，人脸关键点包括但不限于：眉毛、眼睛、鼻子、嘴巴、人脸轮廓。
在一种可能的实现方式中，可根据多个人脸图像以及该多个人脸图像中检测出的人脸关键点坐标，进行模型训练，得到具有人脸关键点检测能力的网络模型。后续过程中，当要检测某一个图像中的人脸关键点时，将该图像输入到该网络模型中，基于该网络模型对该图像进行人脸关键点检测，从而确定该图像中的人脸关键点坐标。
在另一种可能的实现方式中，还可采取下述方式进行人脸关键点检测：
获取尺寸相同的多个人脸图像，然后生成平均人脸图像，其中，平均人脸图像中各个像素点的像素值为多个人脸图像中对应像素点的像素值的平均值；之后，根据多个人脸图像中人脸关键点的坐标求取平均值，将求取的平均值确定为平均人脸关键点的坐标。在对某一图像进行人脸关键点检测时，生成第一图像，第一图像中各个像素点的像素值为该图像和平均人脸图像中对应像素点的像素值之差；之后，基于检测模型和第一图像，获取该图像中的人脸关键点的坐标与平均人脸关键点的坐标之间的坐标差；最终，根据平均人脸关键点的坐标和坐标差，确定该图像中的人脸关键点坐标。
在步骤303中，第一电子设备基于得到的人脸检测结果和人脸关键点检测结果，在该样本图像中裁剪人脸区域，以及在该样本图像的标注掩码图上裁剪出相应的头发掩码区域。
需要说明的是，在本文中为了便于区分，上述人脸检测结果也称之为第二人脸检测结果，上述人脸关键点检测结果也称之为第二人脸关键点检测结果，上述人脸区域也称之为第二人脸区域。
在本公开实施例中，基于得到的人脸检测结果和人脸关键点检测结果，在该样本图像中裁剪人脸区域，以及在该样本图像的标注掩码图上裁剪出相应的头发掩码区域，包括：
3031、基于人脸检测结果，确定人脸区域的裁剪尺寸，以及人脸区域在该样本图像中的裁剪位置。
针对该步骤，在进行头发分割之前会先对图像进行裁剪。而在裁剪时，会考虑头发和人脸之间的关系，然后以人脸为中心裁剪出一个人脸区域。其中，裁剪原则为：既要保证裁剪出的人脸区域尽可能地包含头发，又要保证裁剪出的人脸区域不能过大，原因是：如果裁剪出的人脸区域未能包括全部头发，则会导致未在裁剪区域内的头发无法分割，而裁剪区域过大，又会导致大量的无用计算，影响头发分割效率，也难以应用于移动端。
基于以上考量，再结合大量经验，在一种可能的实现方式中，参见图6，人脸区域的裁剪尺寸为：人脸区域的宽度为人脸的3倍大小，长度为人脸的4倍大小。其中，此处的人脸大小指代的是人脸检测框的大小。作为一个示例，人脸检测框通常是一个长宽相等的矩形框，以人脸检测框的大小为L*L为例，则人脸区域的裁剪尺寸可为4L*3L。
在一种可能的实现方式中，裁剪位置可以人脸为中心进行裁剪，其中，人脸中心可以是人脸检测框的几何中心点，本公开实施例对此不进行具体限定。
3032、基于人脸关键点检测结果，确定该样本图像中包括人脸相对于水平方向的旋转角度。
针对该步骤，利用人脸的左右眼睛对称的特点，可基于左眼关键点和右眼关键点，确定该样本图像中包括人脸相对于水平方向的旋转角度。
在一种可能的实现方式中，假设左眼的平均关键点坐标为(x1,y1)，右眼的平均关键点坐标为(x2，y2)，则旋转角度alpha的计算公式为：alpha＝arctan(-(y2-y1)/(x2-x1))。
平均关键点：一般而言，眼睛可能有一个关键点(瞳孔位置)，也可能有多个点，如果是一个点，则没有平均关键点；如果有多个关键点，则需要根据多个点的位置，计算平均位置，也即平均关键点。
3033、基于裁剪尺寸、裁剪位置和旋转角度，在该样本图像中裁剪人脸区域，以及在标注掩码图上裁剪头发掩码区域。
由于已经确定了裁剪尺寸、裁剪位置以及人脸的旋转角度，因此便可在该样本图像中裁剪出人脸区域，以及，在该样本图像的标注掩码图上裁剪出头发分割标注的mask，即头发掩码区域。
需要说明的第一点是，人脸区域和头发掩码区域的尺寸大小一致，其中，头发掩码区域用于指示相应的人脸区域中的头发区域。作为一个示例，头发掩码区域中的一个数值1指代人脸区域中相应像素点属于头发，头发掩码区域中的一个数值0指代人脸区域中相应像素点属于非头发。
需要说明的第二点是，对于训练样本集中包括的任意一个样本图像，均执行上述步骤3031至步骤3033。换一种表达方式，在每一个样本图像中均会裁剪出一个人脸区域，以及在相应的标注掩码图上裁剪出一个大小一致的头发掩码区域。
在步骤304中，第一电子设备基于每个样本图像对应的头发掩码区域，生成头发概率分布图。
在本公开实施例中，会根据训练样本集中全部样本图像的头发掩码区域，来计算头发概率分布图。假设该训练样本集中包括10万个样本图像，则基于这10万个样本图像的头发掩码区域，生成头发概率分布图。其中，图7示出了头发概率分布图，该图中亮度越大的位置，属于头发的概率越高。
综上所述，基于每个样本图像对应的头发掩码区域，生成头发概率分布图，包括但不限于：将各个头发掩码区域中相应位置点上的标注数据进行相加后求取平均值处理，得到头发概率分布图。
在本公开实施例中，各个头发掩码区域的大小均一致。作为一个示例，标注数据包括0和1，其中，0代表人脸区域相应像素点为非头发区域，1代表人脸区域相应像素点为头发区域。
举例来说，假设有样本图像10万个，则裁剪出的头发掩码区域便有10万个，针对这10万个头发掩码区域中的任意一个位置点，假设有1万个头发掩码区域在该位置点上取值为1，9万个头发掩码区域在该位置点上取值为0，则该位置点为头发区域的概率为10％，即头发概率分布图提供了训练样本集中样本图像的头发分割概率分布，这种概率分布为先验概率分布，能够指示精细的头发分割。
在步骤305中，第一电子设备基于头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练图像分割模型。
在本公开实施例中，假设有样本图像10万个，则裁剪出的人脸区域和头发掩码区域分别为10万个，进而根据生成的头发概率分布图、10万个人脸区域和10万个头发掩码区域，训练图像分割模型。换一种表达方式，参见图8，本公开实施例将裁剪的人脸区域和相应的头发分割mask、图7所示的头发分布概率图作为训练图像和标签样本，来训练图像分割模型。即，模型的输入是裁剪的人脸区域和头发概率分布图，模型的输出是人脸区域对应的头发分割结果。
如图8所示，在一种可能的实现方式中，基于头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练图像分割模型，包括：
3051、对于任意一个样本图像，将相应的人脸区域和头发概率分布图输入深度学习模型中。
针对该步骤，将相应的人脸区域和头发概率分布图输入图像分割模型中，包括但不限于：将相应的人脸区域和头发概率分布图进行组合处理，得到新的样本图像；将新的样本图像输入图像分割模型中。换一种表达方式，本公开实施例将人脸肖像图像和头发概率分布图组合成新的数据矩阵，假设人脸区域的大小为H*W*3，头发概率分布图的大小为H*W，则新的数据矩阵为H*W*4，将新的数据矩阵和相应的头发分割mask作为训练数据，训练图像分割模型。
3052、基于目标损失函数，确定深度学习模型输出的预测结果与相应的头发掩码区域指示的标注结果是否匹配；当预测结果与标注结果不匹配时，反复循环地迭代更新深度学习模型的网络参数，直至收敛，得到图像分割模型。
其中，目标损失函数可为交叉熵损失函数，深度学习模型可为卷积神经网络，本公开实施例对此不进行具体限定。上述预测结果为当前深度学习模型输出的与人脸区域大小一致的头发分割结果。
需要说明的是，通过上述步骤301至步骤305完成了图像分割模型的训练。参见图9，图像分割模型训练过程的整体执行流程包括：
步骤a，对样本图像(均为包括人脸的人脸图像)进行人脸检测和人脸关键点检测。
步骤b，利用人脸检测结果和人脸关键点检测结果，在样本图像中裁剪人脸区域，以及在标注掩码图中裁剪头发掩码区域。
该步骤利用人脸关键点和人脸检测，裁剪人脸区域，并裁剪对应的标注数据，得到人脸肖像对应的头发mask。
步骤c，基于裁剪出的全部头发掩码区域生成头发概率分布图。
该步骤根据全部标注数据的头发mask，计算头发概率分布图
步骤d，基于裁剪出的人脸区域、头发掩码区域以及头发概率分布图，训练深度学习模型，得到用于头发分割的图像分割模型。
头发分割阶段
在另一个实施例中，基于训练好的图像分割模型，便可对任意一个人脸图像进行头发分割。而在完成头发分割后，可以得到一个诸如图10所示的头发区域。参见图11，第二电子设备基于训练好的图像分割模型进行头发分割，包括以下步骤：
1101、第二电子设备获取待分割图像。
1102、第二电子设备对待分割图像进行人脸检测和人脸关键点检测。
该步骤的实现方式可参考前述步骤302，此处不再赘述。
1103、第二电子设备基于得到的第一人脸检测结果和第一人脸关键点检测结果，在待分割图像中裁剪出第一人脸区域。
该步骤的实现方式可参考前述步骤303，此处不再赘述。
1104、第二电子设备基于训练好的图像分割模型对第一人脸区域进行头发分割。
即，将第一人脸区域输入训练好的图像分割模型中，进而图像分割模型会输出相应的头发分割结果。基于该头发分割结果即可得到头发区域，得到头发区域后可进行诸如发型换色、发饰试戴、发型识别、性别与年龄估计、头发渲染等，本公开实施例对此不进行具体限定。
本公开实施例提供的方法至少具有以下有益效果：
在模型训练过程中，首先对样本图像进行人脸检测和人脸关键点检测；之后，基于人脸检测结果和人脸关键点检测结果，在样本图像中裁剪人脸区域，以及在样本图像的标注掩码图上裁剪出相应的头发掩码区域；之后，基于每个样本图像对应的头发掩码区域生成头发概率分布图，进而基于头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练图像分割模型，由于对样本图像和标注掩码图进行了裁剪，因此在模型训练过程中减少了大量计算，加快了模型训练速度，提升了模型训练效率；另外，头发概率分布图提供了样本图像的头发分割概率分布，能够指示精细的头发分割，因此基于头发概率分布图进行模型训练，能够提升图像分割模型的分割精细度。
在头发分割阶段，在获取到待分割图像后，首先对待分割图像进行人脸检测和人脸关键点检测；之后，基于得到的人脸检测结果和人脸关键点检测结果，在待分割图像中裁剪人脸区域；之后，基于训练好的图像分割模型对人脸区域进行头发分割，由于在将待分割图像输入图像分割模型之前进行了裁剪，并基于裁剪的人脸区域进行头发分割，因此减少了大量的无用计算，提升了头发分割效率；另外，图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，其中，头发概率分布图提供了样本图像的头发分割概率分布，能够指示精细的头发分割，因此基于训练好的图像分割模型能够精细地进行头发分割，能够在确保分割效率的同时提高分割精度，该种头发分割方式效果较佳。
图12是根据一示例性实施例示出的一种图像分割装置的框图。参照图12，该装置包括获取模块1201，裁剪模块1202和头发分割模块1203。
获取模块1201，被配置为获取待分割图像，对所述待分割图像进行人脸检测和人脸关键点检测；
裁剪模块1202，被配置为基于得到的第一人脸检测结果和第一人脸关键点检测结果，在所述待分割图像中裁剪出第一人脸区域；
头发分割模块1203，被配置为基于图像分割模型，对所述第一人脸区域进行头发分割，所述图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，所述标注掩码图提供了所述样本图像中的头发区域，所述头发概率分布图提供了所述样本图像的头发分割概率分布。
本公开实施例提供的装置，在获取到待分割图像后，首先对待分割图像进行人脸检测和人脸关键点检测；之后，基于得到的人脸检测结果和人脸关键点检测结果，在待分割图像中裁剪人脸区域；之后，基于训练好的图像分割模型对人脸区域进行头发分割，由于在将待分割图像输入图像分割模型之前进行了裁剪，并基于裁剪的人脸区域进行头发分割，因此减少了大量的无用计算，提升了头发分割效率；另外，图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，其中，头发概率分布图提供了样本图像的头发分割概率分布，能够指示精细的头发分割，因此基于训练好的图像分割模型能够精细地进行头发分割，能够在确保分割效率的同时提高分割精度，该种头发分割方式效果较佳。
在一种可能的实现方式中，参见图13，该装置还包括：训练模块1204；
训练模块1204包括：
获取单元1204-1，被配置为获取训练样本集，所述训练样本集包括多个样本图像；
裁剪单元1204-2，被配置为对于每个所述样本图像，对所述样本图像进行人脸检测和人脸关键点检测；基于得到的第二人脸检测结果和第二人脸关键点检测结果，在所述样本图像中裁剪出第二人脸区域，以及在所述样本图像的标注掩码图上裁剪出相应的头发掩码区域；
生成单元1204-3，被配置为基于每个所述样本图像对应的头发掩码区域，生成所述头发概率分布图；
训练单元1204-4，被配置为基于所述头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练所述图像分割模型。
在一种可能的实现方式中，生成单元1204-3，还被配置为将各个头发掩码区域中相应位置点上的标注数据进行相加后求取平均值处理，得到所述头发概率分布图。
在一种可能的实现方式中，裁剪单元1204-2，还被配置为基于所述第二人脸检测结果，确定所述第二人脸区域的裁剪尺寸，以及所述第二人脸区域在所述样本图像中的裁剪位置；基于所述第二人脸关键点检测结果，确定所述样本图像中包括人脸相对于水平方向的旋转角度；基于所述裁剪尺寸、所述裁剪位置和所述旋转角度，在所述样本图像中裁剪所述第二人脸区域，以及在所述标注掩码图上裁剪所述头发掩码区域。
在一种可能的实现方式中，训练单元1204-4，还被配置为对于任意一个所述样本图像，将相应的人脸区域和所述头发概率分布图输入深度学习模型中；基于目标损失函数，确定所述深度学习模型输出的预测结果与相应的头发掩码区域指示的标注结果是否匹配；当所述预测结果与所述标注结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至收敛，得到所述图像分割模型。
在一种可能的实现方式中，训练单元1204-4，还被配置为将相应的人脸区域和所述头发概率分布图进行组合处理，得到新的样本图像；将所述新的样本图像输入所述深度学习模型中。
在一种可能的实现方式中，裁剪单元1204-2，还被配置为基于所述第二人脸关键点检测结果中的左眼关键点和右眼关键点，确定所述样本图像中包括人脸相对于水平方向的旋转角度。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图14是本公开实施例提供的一种电子设备的结构框图。
该设备1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)1401和一个或一个以上的存储器1402，其中，所述存储器1402中存储有至少一条指令，所述至少一条指令由所述处理器1401加载并执行以实现上述各个方法实施例提供的：第一电子设备执行的图像分割方法或第二电子设备执行的图像分割方法。
当然，该装置还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该装置还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中：第一电子设备执行的图像分割方法或第二电子设备执行的图像分割方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图15示出了本公开一个示例性实施例提供的另一种电子设备的结构框图。
通常，设备1500包括有：处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1501所执行以实现本公开中方法实施例提供的第一电子设备执行的图像分割方法或第二电子设备执行的图像分割方法。
在一些实施例中，设备1500还可选包括有：外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地，外围设备包括：射频电路1504、触摸显示屏1505、摄像头1506、音频电路1507、定位组件1508和电源1509中的至少一种。
外围设备接口1503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中，处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上；在一些其他实施例中，处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏1505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时，显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时，显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1505可以为一个，设置设备1500的前面板；在另一些实施例中，显示屏1505可以为至少两个，分别设置在设备1500的不同表面或呈折叠设计；在再一些实施例中，显示屏1505可以是柔性显示屏，设置在设备1500的弯曲表面上或折叠面上。甚至，显示屏1505还可以设置成非矩形的不规则图形，也即异形屏。显示屏1505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1506用于采集图像或视频。可选地，摄像头组件1506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1501进行处理，或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在设备1500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1507还可以包括耳机插孔。
定位组件1508用于定位设备1500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1509用于为设备1500中的各个组件进行供电。电源1509可以是交流电、直流电、一次性电池或可充电电池。当电源1509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，设备1500还包括有一个或多个传感器1510。该一个或多个传感器1510包括但不限于：加速度传感器1511、陀螺仪传感器1512、压力传感器1513、指纹传感器1514、光学传感器1510以及接近传感器1516。
加速度传感器1511可以检测以设备1500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1511可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1511采集的重力加速度信号，控制触摸显示屏1505以横向视图或纵向视图进行用户界面的显示。加速度传感器1511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1512可以检测设备1500的机体方向及转动角度，陀螺仪传感器1512可以与加速度传感器1511协同采集用户对设备1500的3D动作。处理器1501根据陀螺仪传感器1512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1513可以设置在设备1500的侧边框和/或触摸显示屏1505的下层。当压力传感器1513设置在设备1500的侧边框时，可以检测用户对设备1500的握持信号，由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在触摸显示屏1505的下层时，由处理器1501根据用户对触摸显示屏1505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1514用于采集用户的指纹，由处理器1501根据指纹传感器1514采集到的指纹识别用户的身份，或者，由指纹传感器1514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1514可以被设置设备1500的正面、背面或侧面。当设备1500上设置有物理按键或厂商Logo时，指纹传感器1514可以与物理按键或厂商Logo集成在一起。
光学传感器1510用于采集环境光强度。在一个实施例中，处理器1501可以根据光学传感器1510采集的环境光强度，控制触摸显示屏1505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1505的显示亮度；当环境光强度较低时，调低触摸显示屏1505的显示亮度。在另一个实施例中，处理器1501还可以根据光学传感器1510采集的环境光强度，动态调整摄像头组件1506的拍摄参数。
接近传感器1516，也称距离传感器，通常设置在设备1500的前面板。接近传感器1516用于采集用户与设备1500的正面之间的距离。在一个实施例中，当接近传感器1516检测到用户与设备1500的正面之间的距离逐渐变小时，由处理器1501控制触摸显示屏1505从亮屏状态切换为息屏状态；当接近传感器1516检测到用户与设备1500的正面之间的距离逐渐变大时，由处理器1501控制触摸显示屏1505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图15中示出的结构并不构成对设备1500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像分割方法，其特征在于，包括：
获取待分割图像，对所述待分割图像进行人脸检测和人脸关键点检测；
基于得到的第一人脸检测结果和第一人脸关键点检测结果，在所述待分割图像中裁剪出第一人脸区域；
基于图像分割模型，对所述第一人脸区域进行头发分割，所述图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，所述标注掩码图提供了所述样本图像中的头发区域，所述头发概率分布图提供了所述样本图像的头发分割概率分布。
2.根据权利要求1所述的图像分割方法，其特征在于，所述方法还包括：
获取训练样本集，所述训练样本集包括多个样本图像；
对于每个所述样本图像，对所述样本图像进行人脸检测和人脸关键点检测；基于得到的第二人脸检测结果和第二人脸关键点检测结果，在所述样本图像中裁剪出第二人脸区域，以及在所述样本图像的标注掩码图上裁剪出相应的头发掩码区域；
基于每个所述样本图像对应的头发掩码区域，生成所述头发概率分布图；
基于所述头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练所述图像分割模型。
3.根据权利要求2所述的图像分割方法，其特征在于，所述基于每个所述样本图像对应的头发掩码区域，生成所述头发概率分布图，包括：
将各个头发掩码区域中相应位置点上的标注数据进行相加后求取平均值处理，得到所述头发概率分布图。
4.根据权利要求2所述的图像分割方法，其特征在于，所述基于得到的第二人脸检测结果和第二人脸关键点检测结果，在所述样本图像中裁剪出第二人脸区域，以及在所述样本图像的标注掩码图上裁剪出相应的头发掩码区域，包括：
基于所述第二人脸检测结果，确定所述第二人脸区域的裁剪尺寸，以及所述第二人脸区域在所述样本图像中的裁剪位置；
基于所述第二人脸关键点检测结果，确定所述样本图像中包括人脸相对于水平方向的旋转角度；
基于所述裁剪尺寸、所述裁剪位置和所述旋转角度，在所述样本图像中裁剪所述第二人脸区域，以及在所述标注掩码图上裁剪所述头发掩码区域。
5.根据权利要求2所述的图像分割方法，其特征在于，所述基于所述头发概率分布图、裁剪出的人脸区域和头发掩码区域，训练所述图像分割模型，包括：
对于任意一个所述样本图像，将相应的人脸区域和所述头发概率分布图输入深度学习模型中；
基于目标损失函数，确定所述深度学习模型输出的预测结果与相应的头发掩码区域指示的标注结果是否匹配；
当所述预测结果与所述标注结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至收敛，得到所述图像分割模型。
6.根据权利要求5所述的图像分割方法，其特征在于，所述将相应的人脸区域和所述头发概率分布图输入深度学习模型中，包括：
将相应的人脸区域和所述头发概率分布图进行组合处理，得到新的样本图像；
将所述新的样本图像输入所述深度学习模型中。
7.根据权利要求4所述的图像分割方法，其特征在于，所述基于所述第二人脸关键点检测结果，确定所述样本图像中包括人脸相对于水平方向的旋转角度，包括：
基于所述第二人脸关键点检测结果中的左眼关键点和右眼关键点，确定所述样本图像中包括人脸相对于水平方向的旋转角度。
8.一种图像分割装置，其特征在于，包括：
获取模块，被配置为获取待分割图像，对所述待分割图像进行人脸检测和人脸关键点检测；
裁剪模块，被配置为基于得到的第一人脸检测结果和第一人脸关键点检测结果，在所述待分割图像中裁剪出第一人脸区域；
头发分割模块，被配置为基于图像分割模型，对所述第一人脸区域进行头发分割，所述图像分割模型是基于样本图像、标注掩码图以及头发概率分布图训练得到的，所述标注掩码图提供了所述样本图像中的头发区域，所述头发概率分布图提供了所述样本图像的头发分割概率分布。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行权利要求1至7中任一项所述的图像分割方法。
10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1至7中任一项所述的图像分割方法。
CN201910478373.2A 2019-06-03 2019-06-03 图像分割方法、装置、电子设备及存储介质 Active CN110189340B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910478373.2A CN110189340B (zh) 2019-06-03 2019-06-03 图像分割方法、装置、电子设备及存储介质
US16/891,563 US11288807B2 (en) 2019-06-03 2020-06-03 Method, electronic device and storage medium for segmenting image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910478373.2A CN110189340B (zh) 2019-06-03 2019-06-03 图像分割方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110189340A true CN110189340A (zh) 2019-08-30
CN110189340B CN110189340B (zh) 2022-01-21

Family

ID=67719983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910478373.2A Active CN110189340B (zh) 2019-06-03 2019-06-03 图像分割方法、装置、电子设备及存储介质

Country Status (2)

Country Link
US (1) US11288807B2 (zh)
CN (1) CN110189340B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689551A (zh) * 2019-10-14 2020-01-14 慧影医疗科技（北京）有限公司 四肢骨分割方法、装置、电子设备及可读存储介质
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110969631A (zh) * 2019-11-25 2020-04-07 杭州趣维科技有限公司 一种精细化照片染发方法及系统
CN110992374A (zh) * 2019-11-28 2020-04-10 杭州趣维科技有限公司 一种基于深度学习的头发精细化分割方法及系统
CN111523387A (zh) * 2020-03-24 2020-08-11 杭州易现先进科技有限公司 手部关键点检测的方法、设备和计算机设备
CN111754521A (zh) * 2020-06-17 2020-10-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备及存储介质
CN112464839A (zh) * 2020-12-04 2021-03-09 深圳市优必选科技股份有限公司 人像分割方法、装置、机器人及存储介质
CN112489169A (zh) * 2020-12-17 2021-03-12 脸萌有限公司 人像图像处理方法及装置
CN112862807A (zh) * 2021-03-08 2021-05-28 网易（杭州）网络有限公司 基于头发图像的数据处理方法及装置
CN112884787A (zh) * 2021-01-28 2021-06-01 北京有竹居网络技术有限公司 图像剪裁方法、装置、可读介质及电子设备
CN113610864A (zh) * 2021-07-23 2021-11-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113763228A (zh) * 2020-06-01 2021-12-07 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113808003A (zh) * 2020-06-17 2021-12-17 北京达佳互联信息技术有限公司 图像处理模型的训练方法、图像处理方法及装置
WO2022116163A1 (zh) * 2020-12-04 2022-06-09 深圳市优必选科技股份有限公司 人像分割方法、机器人及存储介质
WO2022156167A1 (zh) * 2021-01-22 2022-07-28 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质、计算机程序及程序产品
CN115601811A (zh) * 2022-10-17 2023-01-13 北京京东拓先科技有限公司（Cn） 面部痤疮的检测方法和装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853704B2 (en) * 2018-12-18 2020-12-01 Clarifai, Inc. Model-based image labeling and/or segmentation
US11688070B2 (en) * 2020-06-25 2023-06-27 Intel Corporation Video frame segmentation using reduced resolution neural network and masks from previous frames
CN112001872B (zh) * 2020-08-26 2021-09-14 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
CN112258605A (zh) * 2020-10-16 2021-01-22 北京达佳互联信息技术有限公司 特效添加方法、装置、电子设备及存储介质
CN112508027B (zh) * 2020-11-30 2024-03-26 北京百度网讯科技有限公司 用于实例分割的头部模型、实例分割模型、图像分割方法及装置
CN112508964B (zh) * 2020-11-30 2024-02-20 北京百度网讯科技有限公司 图像分割方法、装置、电子设备和存储介质
CN112465943B (zh) * 2020-12-04 2023-05-30 上海米哈游天命科技有限公司 一种发色渲染方法、装置、电子设备及存储介质
CN112884637B (zh) * 2021-01-29 2023-04-07 北京市商汤科技开发有限公司 特效生成方法、装置、设备及存储介质
US11861771B2 (en) * 2021-02-05 2024-01-02 Algoface, Inc. Virtual hair extension system
CN116596867B (zh) * 2023-05-05 2024-02-13 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103690A (zh) * 2011-03-09 2011-06-22 南京邮电大学 一种自动的头发区域分割方法
CN102436637A (zh) * 2010-09-29 2012-05-02 中国科学院计算技术研究所 从头部图像中自动分割头发的方法及其系统
CN102436636A (zh) * 2010-09-29 2012-05-02 中国科学院计算技术研究所 自动分割头发的方法及其系统
CN104246822A (zh) * 2012-03-22 2014-12-24 高通股份有限公司 图像增强
CN105404846A (zh) * 2014-09-15 2016-03-16 中国移动通信集团广东有限公司 一种图像处理方法及装置
CN105868769A (zh) * 2015-01-23 2016-08-17 阿里巴巴集团控股有限公司 图像中的人脸关键点定位方法及装置
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
WO2017181332A1 (zh) * 2016-04-19 2017-10-26 浙江大学 一种基于单幅图像的全自动三维头发建模方法
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技（深圳）有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN108304765A (zh) * 2017-12-11 2018-07-20 中国科学院自动化研究所 用于人脸关键点定位与语义分割的多任务检测装置
CN109670429A (zh) * 2018-12-10 2019-04-23 广东技术师范学院 一种基于实例分割的监控视频多目标人脸检测方法及系统
CN109712144A (zh) * 2018-10-29 2019-05-03 百度在线网络技术（北京）有限公司 面部图像的处理方法、训练方法、设备和存储介质
CN109741338A (zh) * 2018-12-13 2019-05-10 北京爱奇艺科技有限公司 一种人脸分割方法、装置及设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928601B2 (en) * 2014-12-01 2018-03-27 Modiface Inc. Automatic segmentation of hair in images
DE102016222190A1 (de) * 2016-11-11 2018-05-17 Henkel Ag & Co. Kgaa Verfahren und Einrichtung zum Ermitteln einer Farbhomogenität von Haaren
US10402689B1 (en) * 2017-04-04 2019-09-03 Snap Inc. Generating an image mask using machine learning
US10757319B1 (en) * 2017-06-15 2020-08-25 Snap Inc. Scaled perspective zoom on resource constrained devices
CN109907461A (zh) * 2018-05-31 2019-06-21 周超强 防儿童式智能吹风机
CN110120896B (zh) * 2019-04-15 2020-12-25 北京达佳互联信息技术有限公司 网络延迟控制方法、装置、电子设备及存储介质
CN110223218B (zh) * 2019-05-16 2024-01-12 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
US20210235845A1 (en) * 2020-01-31 2021-08-05 L'oreal Smart swappable cartridge system for cosmetic dispensing device

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436637A (zh) * 2010-09-29 2012-05-02 中国科学院计算技术研究所 从头部图像中自动分割头发的方法及其系统
CN102436636A (zh) * 2010-09-29 2012-05-02 中国科学院计算技术研究所 自动分割头发的方法及其系统
CN102103690A (zh) * 2011-03-09 2011-06-22 南京邮电大学 一种自动的头发区域分割方法
CN104246822A (zh) * 2012-03-22 2014-12-24 高通股份有限公司 图像增强
CN105404846A (zh) * 2014-09-15 2016-03-16 中国移动通信集团广东有限公司 一种图像处理方法及装置
CN105868769A (zh) * 2015-01-23 2016-08-17 阿里巴巴集团控股有限公司 图像中的人脸关键点定位方法及装置
WO2017181332A1 (zh) * 2016-04-19 2017-10-26 浙江大学 一种基于单幅图像的全自动三维头发建模方法
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技（深圳）有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN108304765A (zh) * 2017-12-11 2018-07-20 中国科学院自动化研究所 用于人脸关键点定位与语义分割的多任务检测装置
CN109712144A (zh) * 2018-10-29 2019-05-03 百度在线网络技术（北京）有限公司 面部图像的处理方法、训练方法、设备和存储介质
CN109670429A (zh) * 2018-12-10 2019-04-23 广东技术师范学院 一种基于实例分割的监控视频多目标人脸检测方法及系统
CN109741338A (zh) * 2018-12-13 2019-05-10 北京爱奇艺科技有限公司 一种人脸分割方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱道明 等: "《建筑安防技术》", 31 January 2013 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689551B (zh) * 2019-10-14 2020-07-17 慧影医疗科技（北京）有限公司 四肢骨分割方法、装置、电子设备及可读存储介质
CN110689551A (zh) * 2019-10-14 2020-01-14 慧影医疗科技（北京）有限公司 四肢骨分割方法、装置、电子设备及可读存储介质
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110969631A (zh) * 2019-11-25 2020-04-07 杭州趣维科技有限公司 一种精细化照片染发方法及系统
CN110969631B (zh) * 2019-11-25 2023-04-11 杭州小影创新科技股份有限公司 一种精细化照片染发方法及系统
US11678734B2 (en) 2019-11-25 2023-06-20 Beijing Dajia Internet Information Technology Co., Ltd. Method for processing images and electronic device
CN110929651B (zh) * 2019-11-25 2022-12-06 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110992374B (zh) * 2019-11-28 2023-09-05 杭州小影创新科技股份有限公司 一种基于深度学习的头发精细化分割方法及系统
CN110992374A (zh) * 2019-11-28 2020-04-10 杭州趣维科技有限公司 一种基于深度学习的头发精细化分割方法及系统
CN111523387B (zh) * 2020-03-24 2024-04-19 杭州易现先进科技有限公司 手部关键点检测的方法、设备和计算机设备
CN111523387A (zh) * 2020-03-24 2020-08-11 杭州易现先进科技有限公司 手部关键点检测的方法、设备和计算机设备
CN113763228B (zh) * 2020-06-01 2024-03-19 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113763228A (zh) * 2020-06-01 2021-12-07 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113808003B (zh) * 2020-06-17 2024-02-09 北京达佳互联信息技术有限公司 图像处理模型的训练方法、图像处理方法及装置
CN113808003A (zh) * 2020-06-17 2021-12-17 北京达佳互联信息技术有限公司 图像处理模型的训练方法、图像处理方法及装置
CN111754521A (zh) * 2020-06-17 2020-10-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备及存储介质
CN112464839A (zh) * 2020-12-04 2021-03-09 深圳市优必选科技股份有限公司 人像分割方法、装置、机器人及存储介质
WO2022116163A1 (zh) * 2020-12-04 2022-06-09 深圳市优必选科技股份有限公司 人像分割方法、机器人及存储介质
WO2022132032A1 (zh) * 2020-12-17 2022-06-23 脸萌有限公司 人像图像处理方法及装置
CN112489169B (zh) * 2020-12-17 2024-02-13 脸萌有限公司 人像图像处理方法及装置
CN112489169A (zh) * 2020-12-17 2021-03-12 脸萌有限公司 人像图像处理方法及装置
WO2022156167A1 (zh) * 2021-01-22 2022-07-28 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质、计算机程序及程序产品
CN112884787B (zh) * 2021-01-28 2023-09-15 北京有竹居网络技术有限公司 图像剪裁方法、装置、可读介质及电子设备
CN112884787A (zh) * 2021-01-28 2021-06-01 北京有竹居网络技术有限公司 图像剪裁方法、装置、可读介质及电子设备
CN112862807A (zh) * 2021-03-08 2021-05-28 网易（杭州）网络有限公司 基于头发图像的数据处理方法及装置
CN113610864A (zh) * 2021-07-23 2021-11-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113610864B (zh) * 2021-07-23 2024-04-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN115601811A (zh) * 2022-10-17 2023-01-13 北京京东拓先科技有限公司（Cn） 面部痤疮的检测方法和装置

Also Published As

Publication number Publication date
CN110189340B (zh) 2022-01-21
US20200294243A1 (en) 2020-09-17
US11288807B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
CN110189340A (zh) 图像分割方法、装置、电子设备及存储介质
CN110929651B (zh) 图像处理方法、装置、电子设备及存储介质
CN108594997B (zh) 手势骨架构建方法、装置、设备及存储介质
WO2019219065A1 (zh) 视频分析的方法和装置
CN109767487A (zh) 人脸三维重建方法、装置、电子设备及存储介质
CN109978989A (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
CN107844781A (zh) 人脸属性识别方法及装置、电子设备及存储介质
CN109034102A (zh) 人脸活体检测方法、装置、设备及存储介质
WO2019024717A1 (zh) 防伪处理方法及相关产品
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN109285178A (zh) 图像分割方法、装置及存储介质
CN110222789A (zh) 图像识别方法及存储介质
CN110263617A (zh) 三维人脸模型获取方法及装置
CN110956580B (zh) 图像换脸的方法、装置、计算机设备以及存储介质
CN110135336A (zh) 行人生成模型的训练方法、装置及存储介质
CN110059652A (zh) 人脸图像处理方法、装置及存储介质
CN111723803B (zh) 图像处理方法、装置、设备及存储介质
CN109522863A (zh) 耳部关键点检测方法、装置及存储介质
CN109978996B (zh) 生成表情三维模型的方法、装置、终端及存储介质
CN109360222A (zh) 图像分割方法、装置及存储介质
CN110163160A (zh) 人脸识别方法、装置、设备及存储介质
CN109325924A (zh) 图像处理方法、装置、终端及存储介质
CN110070143A (zh) 获取训练数据的方法、装置、设备及存储介质
CN109583370A (zh) 人脸结构网格模型建立方法、装置、电子设备及存储介质
CN110796083B (zh) 图像显示方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant