CN110992371B - 一种基于先验信息的人像分割方法、装置及电子设备 - Google Patents

一种基于先验信息的人像分割方法、装置及电子设备 Download PDF

Info

Publication number
CN110992371B
CN110992371B CN201911141767.5A CN201911141767A CN110992371B CN 110992371 B CN110992371 B CN 110992371B CN 201911141767 A CN201911141767 A CN 201911141767A CN 110992371 B CN110992371 B CN 110992371B
Authority
CN
China
Prior art keywords
image
sample image
target image
matrix
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911141767.5A
Other languages
English (en)
Other versions
CN110992371A (zh
Inventor
刘思阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911141767.5A priority Critical patent/CN110992371B/zh
Publication of CN110992371A publication Critical patent/CN110992371A/zh
Application granted granted Critical
Publication of CN110992371B publication Critical patent/CN110992371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种基于先验信息的人像分割方法、装置及电子设备。该方法包括：获得待人像分割的目标图像；获得目标图像中每个人体关键点的坐标；利用所获得的每个人体关键点的坐标，生成所述目标图像对应的分布图；利用预先训练的用于生成人像蒙版的神经网络模型，以所述目标图像对应的分布图作为先验信息，对所述目标图像进行图像处理，得到所述目标图像的人像蒙版；利用目标图像的人像蒙版，对目标图像进行人像分割，得到分割结果。通过本方案可以使得神经网络模型的处理速率得到提升，最终实现提高人像分割的分割速率的目的。

Description

一种基于先验信息的人像分割方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于先验信息的人像分割方法、装置及电子设备。
背景技术
人像分割是指将图像中的人像和背景进行分离，分成不同的区域。并且，人像分割主要应用于图像前景背景替换和背景虚化等美化操作。
现有技术中，在进行人像分割时，将待人像分割的图像输入至预先训练的用于生成人像蒙版的神经网络模型，得到图像的人像蒙版；进而，根据人像蒙版，对该图像进行人像分割，得到分割结果。
发明人在实现本发明的过程中发现，现有技术至少存在如下问题：
神经网络模型的处理速率较低，最终导致人像分割的分割速率较低。
发明内容
本发明实施例的目的在于提供一种基于先验信息的人像分割方法、装置及电子设备，以实现提高人像分割的分割速率的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种基于先验信息的人像分割方法，包括：
获得待人像分割的目标图像；
获得所述目标图像中每个人体关键点的坐标；
利用所获得的每个人体关键点的坐标，生成所述目标图像对应的分布图，所述目标图像对应的分布图为所述目标图像中人像躯干的概率分布图；
利用预先训练的用于生成人像蒙版的神经网络模型，以所述目标图像对应的分布图作为先验信息，对所述目标图像进行图像处理，得到所述目标图像的人像蒙版；其中，所述神经网络模型为利用样本图像和所述样本图像的真值人像蒙版，并以所述样本图像对应的分布图作为先验信息，所训练完成的模型；其中，所述样本图像对应的分布图为所述样本图像中人像躯干的概率分布图；
利用所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果。
可选地，所述利用目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果，包括：
将所述目标图像的人像蒙版的尺寸调整为所述目标图像的尺寸，得到调整后的人像蒙版；
利用调整后的人像蒙版，分割所述目标图像中的人像，得到分割结果。
可选地，所述神经网络模型的训练过程包括：
获得多个样本图像，以及，每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像对应的分布图；
针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练所述神经网络模型，得到该样本图像的预测人像蒙版；
基于每个样本图像的预测人像蒙版和真值人像蒙版的差异，计算综合损失值；
基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
可选地，该样本图像对应的分布图包括：该样本图像对应的第一分布图，该样本图像对应的第一分布图的尺寸为第一尺寸，所述第一尺寸为所述神经网络模型的用于特征提取的输入内容的尺寸；
所述针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练所述神经网络模型，得到该样本图像的预测人像蒙版的步骤，包括：
针对每个样本图像，将该样本图像的尺寸调整为所述第一尺寸，得到尺寸调整后的该样本图像，并将尺寸调整后的该样本图像的矩阵和该样本图像对应的第一分布图的矩阵进行数据拼接，得到该样本图像对应的第一拼接矩阵；
分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行数据处理，得到每个样本图像的预测人像蒙版；
相应的，所述利用所获得的每个人体关键点的坐标，生成所述目标图像对应的分布图，包括：
利用所获得的每个人体关键点的坐标，生成所述目标图像对应的第一分布图，所述目标图像对应的第一分布图的尺寸为该第一尺寸；
利用预先训练的用于生成人像蒙版的神经网络模型，以所述目标图像对应的分布图作为先验信息，对所述目标图像进行图像处理，得到所述目标图像的人像蒙版，包括：
将所述目标图像的尺寸调整为所述第一尺寸，得到尺寸调整后的所述目标图像，并将尺寸调整后的所述目标图像的矩阵和所述目标图像对应的第一分布图的矩阵进行数据拼接，得到所述目标图像对应的第一拼接矩阵；
将所述目标图像对应的第一拼接矩阵输入至预先训练完成的所述神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，对所述目标图像的特征矩阵进行数据处理，得到所述目标图像的人像蒙版。
可选地，该样本图像对应的分布图还包括：该样本图像对应的第二分布图，该样本图像对应的第二分布图的尺寸为第二尺寸，所述第二尺寸为所述特征矩阵的尺寸；
分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行数据处理，得到每个样本图像的预测人像蒙版，包括：
分别将每个样本图像对应的第一拼接矩阵和对应的第二分布图输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，并将每个样本图像的特征矩阵与该样本图像对应的第二分布图的矩阵进行数据拼接，得到每个样本图像对应的第二拼接矩阵，对每个样本图像对应的第二拼接矩阵进行数据处理，得到每个样本图像的预测人像蒙版；
所述方法还包括：
利用所获得的每个人体关键点的坐标，生成该目标图像对应的第二分布图，所述目标图像对应的第二分布图的尺寸为所述第二尺寸；
所述将所述目标图像对应的第一拼接矩阵输入至预先训练完成的所述神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，对所述目标图像的特征矩阵进行数据处理，得到所述目标图像的人像蒙版，包括：
将所述目标图像对应的第一拼接矩阵和所述目标图像对应的第二分布图输入至预先训练完成的所述神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，并将所述目标图像的特征矩阵与所述目标图像对应的第二分布图进行数据拼接，得到目标图像对应的第二拼接矩阵，对目标图像对应的第二拼接矩阵进行数据处理，得到所述目标图像的人像蒙版。可选地，生成任一样本图像对应的第一分布图的方式，包括：
生成一个具有所述第一尺寸的初始矩阵；
从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合；其中，所述坐标组合包含两个坐标；
将所述坐标组合包含的两个坐标映射到所述初始矩阵中，得到第一映射坐标和第二映射坐标；
确定所述初始矩阵中的搜索区域，所述搜索区域为包含所述第一映射坐标对应元素和所述第二映射坐标对应元素的区域；计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离，根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值，并返回从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合的步骤；其中，所述目标直线为所述第一映射坐标对应元素和所述第二映射坐标对应元构成的直线；
在该样本图像的人体关键点的坐标中，不存在未被映射处理的坐标组合时，针对所述矩阵中的每一元素，将该元素属于人像躯干中的点的各个概率值进行累加，得到累加值，将该累加值作为该元素的取值。
可选地，确定所述初始矩阵中包含所述两个映射坐标对应元素的搜索区域所利用的公式包括：
x_max＝min(max(a.x,b.x)+PD,W)；
x_min＝max(0,min(a.x,b.x)-PD)；
y_max＝min(max(a.y,b.y)+PD,H)；
y_min＝max(0,min(a.y,b.y)-PD)；
其中，(x_max，y_max)为所述搜索区域的右上角的元素的坐标，(x_min，y_min)为所述搜索区域的左下角的元素的坐标，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标，max()为从给定参数中选取最大值的函数，min()为用于从给定参数中选取最小值的函数，W和H分别为该样本图像对应的第一分布图的宽度和高度，PD为预设的外扩参数。
可选地，计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离所利用的公式包括：
其中，di为待计算距离的元素i到目标直线的距离，(x,y)为该元素i的坐标，A＝b.y-a.y，B＝a.x-b.x，C＝b.x×a.y-a.x×b.y，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标；
所述根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值所利用的公式为：
其中，pi为待计算概率的元素i属于人像躯干中的点的概率值，α为预设的调节参数。
第二方面，本发明实施例提供了一种基于先验信息的人像分割装置，包括：
图像获得模块，用于获得待人像分割的目标图像；
坐标获得模块，用于获得所述目标图像中每个人体关键点的坐标；
分布图生成模块，用于利用所获得的每个人体关键点的坐标，生成所述目标图像对应的分布图，所述目标图像对应的分布图为所述目标图像中人像躯干的概率分布图；
人像蒙版生成模块，用于利用预先训练的用于生成人像蒙版的神经网络模型，以所述目标图像对应的分布图作为先验信息，对所述目标图像进行图像处理，得到所述目标图像的人像蒙版；其中，所述神经网络模型为利用样本图像和所述样本图像的真值人像蒙版，并以所述样本图像对应的分布图作为先验信息，所训练完成的模型；其中，所述样本图像对应的分布图为所述样本图像中人像躯干的概率分布图；
分割模块，用于利用所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果。
可选地，所述分割模块具体用于：
将所述目标图像的人像蒙版的尺寸调整为所述目标图像的尺寸，得到调整后的人像蒙版；
利用调整后的人像蒙版，分割所述目标图像中的人像，得到分割结果。
可选地，所述神经网络模型通过训练模块所训练；所述训练模块包括：
数据获得子模块，用于获得多个样本图像，以及，每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
分布图生成子模块，用于针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像对应的分布图；
训练子模块，用于针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练所述神经网络模型，得到该样本图像的预测人像蒙版；
损失值计算子模块，用于基于每个样本图像的预测人像蒙版和真值人像蒙版的差异，计算综合损失值；
判断子模块，用于基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
可选地，该样本图像对应的分布图包括：该样本图像对应的第一分布图，该样本图像对应的第一分布图的尺寸为第一尺寸，所述第一尺寸为所述神经网络模型的用于特征提取的输入内容的尺寸；
所述训练子模块包括：
拼接单元，用于针对每个样本图像，将该样本图像的尺寸调整为所述第一尺寸，得到尺寸调整后的该样本图像，并将尺寸调整后的该样本图像的矩阵和该样本图像对应的第一分布图的矩阵进行数据拼接，得到该样本图像对应的第一拼接矩阵；
训练单元，用于分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行数据处理，得到每个样本图像的预测人像蒙版；
相应的，所述分布图生成模块具体用于：
利用所获得的每个人体关键点的坐标，生成所述目标图像对应的第一分布图，所述目标图像对应的第一分布图的尺寸为该第一尺寸；
所述人像蒙版生成模块包括：
第一处理子模块，用于将所述目标图像的尺寸调整为所述第一尺寸，得到尺寸调整后的所述目标图像，并将尺寸调整后的所述目标图像的矩阵和所述目标图像对应的第一分布图的矩阵进行数据拼接，得到所述目标图像对应的第一拼接矩阵；
第二处理子模块，用于将所述目标图像对应的第一拼接矩阵输入至预先训练完成的所述神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，对所述目标图像的特征矩阵进行数据处理，得到所述目标图像的人像蒙版。
可选地，该样本图像对应的分布图还包括：该样本图像对应的第二分布图，该样本图像对应的第二分布图的尺寸为第二尺寸，所述第二尺寸为所述特征矩阵的尺寸；
所述训练单元具体用于：
分别将每个样本图像对应的第一拼接矩阵和对应的第二分布图输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，并将每个样本图像的特征矩阵与该样本图像对应的第二分布图的矩阵进行数据拼接，得到每个样本图像对应的第二拼接矩阵，对每个样本图像对应的第二拼接矩阵进行数据处理，得到每个样本图像的预测人像蒙版；
相应的，所述分布图生成模块还用于利用所获得的每个人体关键点的坐标，生成该目标图像对应的第二分布图，所述目标图像对应的第二分布图的尺寸为所述第二尺寸；
所述第二处理子模块具体用于：
将所述目标图像对应的第一拼接矩阵和所述目标图像对应的第二分布图输入至预先训练完成的所述神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，并将所述目标图像的特征矩阵与所述目标图像对应的第二分布图进行数据拼接，得到目标图像对应的第二拼接矩阵，对目标图像对应的第二拼接矩阵进行数据处理，得到所述目标图像的人像蒙版。
可选地，分布图生成子模块生成任一样本图像对应的第一分布图的方式，包括：
生成一个具有所述第一尺寸的初始矩阵；
从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合；其中，所述坐标组合包含两个坐标；
将所述坐标组合包含的两个坐标映射到所述初始矩阵中，得到第一映射坐标和第二映射坐标；
确定所述初始矩阵中的搜索区域，所述搜索区域为包含所述第一映射坐标对应元素和所述第二映射坐标对应元素的区域；计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离，根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值，并返回从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合的步骤；其中，所述目标直线为所述第一映射坐标对应元素和所述第二映射坐标对应元素构成的直线；
在该样本图像的人体关键点的坐标中，不存在未被映射处理的坐标组合时，针对所述矩阵中的每一元素，将该元素属于人像躯干中的点的各个概率值进行累加，得到累加值，将该累加值作为该元素的取值。
可选地，确定所述初始矩阵中包含所述两个映射坐标对应位置点的搜索区域所利用的公式包括：
x_max＝min(max(a.x,b.x)+PD,W)；
x_min＝max(0,min(a.x,b.x)-PD)；
y_max＝min(max(a.y,b.y)+PD,H)；
y_min＝max(0,min(a.y,b.y)-PD)；
其中，(x_max，y_max)为所述搜索区域的右上角的元素的坐标，(x_min，y_min)为所述搜索区域的左下角的元素的坐标，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标，max()为从给定参数中选取最大值的函数，min()为用于从给定参数中选取最小值的函数，W和H分别为该样本图像对应的第一分布图的宽度和高度，PD为预设的外扩参数。
可选地，计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离所利用的公式包括：
计算所述搜索区域内各个位置点到所述搜索区域内目标直线的距离所利用的公式包括：
其中，di为待计算距离的元素i到目标直线的距离，(x,y)为该元素i的坐标，A＝b.y-a.y，B＝a.x-b.x，C＝b.x×a.y-a.x×b.y，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标；
所述根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值所利用的公式为：
其中，pi为待计算概率的元素i属于人像躯干中的点的概率值，α为预设的调节参数。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一基于先验信息的人像分割方法的步骤。
第四方面，本发明实施还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于先验信息的人像分割方法的步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一基于先验信息的人像分割方法的步骤。
本发明实施例所提供方案中，在人像分割时，获得待人像分割的目标图像中每个人体关键点的坐标；利用所获得的每个人体关键点的坐标，生成该目标图像对应的分布图；利用预先训练的神经网络模型，以该目标图像对应的分布图作为先验信息，对该目标图像进行图像处理，得到该目标图像的人像蒙版；利用该目标图像的人像蒙版，对该目标图像进行人像分割，得到分割结果。由于以目标图像的分布图作为先验信息，因此，神经网络模型可以结合该目标图像对应的分布图对目标图像的人体区域进行定位，而无需对整张目标图像进行数据分析处理，这样使得神经网络模型的处理速率得到提升，最终实现提高人像分割的分割速率的目的。另外，通过增加用于定位人体区域的先验信息，使得神经网络模型中用于提取特征矩阵的网络可以得到有效简化，而且模型训练的收敛速度也可以提升；其中，所谓的用于提取特征矩阵的网络得到有效简化可以为：该网络的网络层级得到减少。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种基于先验信息的人像分割方法的流程图；
图2为本发明实施例所提供的一种神经网络模型的训练过程的流程图；
图3(a)为本发明实施例示例性给出的一种神经网络模型的训练过程的原理图；
图3(b)为本发明实施例示例性给出的一种神经网络模型的训练过程的原理图；
图4(a)为示例性给出的标注有人体关键点的图像的示意图；
图4(b)为示例性给出的图4(a)所述图像对应的分布图的示意图；
图4(c)为示例性给出的图4(a)所述图像的人像蒙版的示意图；
图5为本发明实施例所提供的一种基于先验信息的人像分割装置的结构示意图；
图6为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高人像分割的分割速率，本发明实施例提供了一种基于先验信息的人像分割方法。下面将基于先验信息的人像分割方法简述为：人像分割方法。
其中，本发明实施例所提供的一种人像分割方法的执行主体可以为一种人像分割装置。该人像分割装置可以应用于电子设备中。在具体应用中，该电子设备可以为终端设备或者服务器，这都是合理的。并且，该人像分割装置可以为专门的应用软件或者现有应用软件中的插件。
如图1所示，本发明实施例所提供的一种人像分割方法可以包括如下步骤：
S101，获得待人像分割的目标图像；
其中，待人像分割的目标图像可以为视频中的视频帧，也可以为任意的存在人像分割需求的图像，本发明实施例对此不做限定。
并且，该待人像分割的目标图像的获得方式可以包括：人工手动上传的方式，也可以为从视频中或者多张图像中自动抽取的方式，这都是合理的。
S102，获得该目标图像中每个人体关键点的坐标；
S103，利用所获得的每个人体关键点的坐标，生成该目标图像对应的分布图；
其中，该目标图像对应的分布图为该目标图像中人像躯干的概率分布图。为了提高人像分割的分割速率，在获得待人像分割的目标图像后，本方案并非直接将目标图像输入至预先训练完成的神经网络模型，而是获得该目标图像中每个人体关键点的坐标；并利用所获得的每个人体关键点的坐标，生成该目标图像对应分布图，其中，该目标图像对应的分布图为该目标图像中人像躯干的概率分布图。后续，以该目标图像对应的分布图作为先验信息，生成目标图像的人像蒙版。
其中，目标图像中人像躯干的概率分布图为一图像，该图像中每个像素点的取值为该像素点属于目标躯干的概率，该目标躯干为该目标图像中人像躯干映射到该图像中的躯干。并且，目标图像中的人体关键点用于定位人体的身体关键部位，例如：头部、颈部、肩部、手部、腿部和/或脚部等部位；并且，针对任一身体关键部位，在定位该身体关键部位时，所需要的关键点可以为一个或多个。
可选地，在一种实现方式中，该人像分割装置可以对目标图像进行人体关键点识别，从而得到该目标图像中每个人体关键点的坐标。
当然，在具体应用中，由于该人像分割装置或者该人像分割装置以外的其他智能装置/模块，可能对该目标图像已经执行过人体关键点的识别处理，因此，该人像分割装置可以从自身之前所得到的处理结果或其他智能装置/模块处，获取该目标图像中每个人体关键点的坐标。这样，由于无需多次多次识别目标图像中人体关键点的坐标，因此，可以减少计算量，避免电子设备由于计算量较高而造成的发热、功耗过高等问题。举例而言：同一APP中提供有很多特性工具，例如AI(Artificial Intelligence，人工智能)换背景，AI瘦身，AI长腿等功能工具，在这些工具背后，各种AI算法对其进行支撑，比如人像分割和人体关键点识别；因此，在某一AI模块进行人像分割时，可以从其他AI模块中获取每个人体关键点的坐标，这样使得人像分割的计算量较少。基于该种处理思想，所述获得该目标图像中每个人体关键点的坐标的步骤可以包括：从所述人像分割装置以外的指定装置/模块中，获得该目标图像中每个人体关键点的坐标；或者，从所述人像分割装置预先识别的关于所述目标图像的关键点识别结果中，获得该目标图像中每个人体关键点的坐标。另外，所述利用所获得的每个人体关键点的坐标，生成该目标图像对应的分布图的具体实现方式可以存在多种。关于生成该目标图像对应的分布图的具体实现方式，可以参照后续的生成样本图像对应的分布图的具体实现方式。
S104，利用预先训练的用于生成人像蒙版的神经网络模型，以该目标图像对应的分布图作为先验信息，对该目标图像进行图像处理，得到该目标图像的人像蒙版；
其中，该神经网络模型为利用样本图像和该样本图像的真值人像蒙版，并以该样本图像对应的分布图作为先验信息，所训练完成的模型；其中，该样本图像对应的分布图为该样本图像中人像躯干的概率分布图。
可以理解的是，所谓的人像蒙版为：选区为人像区域的蒙版；并且，人像蒙版的选区的像素点为白色，而非选区的像素点为黑色。并且，在具体应用中，为了降低神经网络模型的复杂度，神经网络模型所输出的人像蒙版的尺寸可以小于神经网络模型的输入内容的尺寸；当然，该神经网络模型所输出的人像蒙版的尺寸也可以不小于神经网络模型的输入图像的尺寸。需要强调的是，本实施例中所提及的该神经网络模型的输入内容的尺寸为：用于提取图像特征的输入内容的尺寸。另外，可以理解的是，由于目标图像的尺寸为任一尺寸，那么，通过该神经网络模型输出的目标图像的人像蒙版的尺寸可以与目标图像的尺寸相同或不同。
本实施例中，神经网络模型的网络结构可以为多种。示例性的，在一种实现方式中，神经网络模型可以包括：用于提取图像特征的特征提取网络和用于基于图像特征生成人像蒙版的蒙版生成网络，该蒙版生成网络可以通过卷积组实现。其中，图像特征具体可以为特征矩阵。并且，特征提取网络可以包括但不局限于如下网络：LeNet、AlexNet、VGG、GoogLeNet、ResNet、MobileNet等特征提取网络。
为了方案清楚及布局清晰，后续对神经网络模型的训练过程进行介绍，以及所述利用预先训练的神经网络模型，以该目标图像对应的分布图作为先验信息，对该目标图像进行人像分割，得到该目标图像的人像蒙版的过程进行介绍。
S105，利用该目标图像的人像蒙版，对该目标图像进行人像分割，得到分割结果。
在获得该目标图像的人像蒙版后，可以利用该目标图像的人像蒙版，对该目标图像进行人像分割，得到分割结果。
由于目标图像的人像蒙版可以与目标图像的尺寸相同或不同，因为，为了实现有效的人像分割，在一种实现方式中，所述利用目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果，可以包括：
将该目标图像的人像蒙版的尺寸调整为目标图像的尺寸，得到调整后的人像蒙版；
利用调整后的人像蒙版，分割该目标图像中的人像，得到分割结果。
其中，对目标图像的人像蒙版进行尺寸调整时所利用的调整方式可以为任一种能够实现尺寸调整的方式。例如：可以通过双线性插值方式，将目标图像的人像蒙版的尺寸调整为该目标图像的尺寸，当然并不局限于此。
另外，利用调整后的人像蒙版，分割目标图像中的人像的方式可以为：将目标图像中，与调整后的人像蒙版的选区相对应的图像区域，作为人像区域。
为了方便理解目标图像的人体关键点、分布图以及人像蒙版的图像关系，图4(a)、图4(b)和图4(c)示例性的给出了标注有人体关键点的一图像、该图像对应的分布图以及该图像的人像蒙版的示意图。其中，图4(a)中各个人体关键点进行了从1-11的标号；图4(b)中通过白色像素点表征取值超过预定概率阈值的像素点，通过黑色像素点为取值未超过预定概率阈值的像素点；图4(c)中白色区域为选区而黑色区域为非选区。其中，预定概率阈值为用于区分是否属于躯干的判定标准。
本发明实施例所提供方案中，在人像分割时，获得待人像分割的目标图像中每个人体关键点的坐标；利用所获得的每个人体关键点的坐标，生成该目标图像对应的分布图；利用预先训练的神经网络模型，以该目标图像对应的分布图作为先验信息，对该目标图像进行图像处理，得到该目标图像的人像蒙版；利用该目标图像的人像蒙版，对该目标图像进行人像分割，得到分割结果。由于以目标图像的分布图作为先验信息，因此，神经网络模型可以结合该目标图像对应的分布图对目标图像的人体区域进行定位，而无需对整张目标图像进行数据分析处理，这样使得神经网络模型的处理速率得到提升，最终实现提高人像分割的分割速率的目的。另外，通过增加用于定位人体区域的先验信息，使得神经网络模型中用于提取特征矩阵的网络可以得到有效简化，而且模型训练的收敛速度也可以提升；其中，所谓的用于提取特征矩阵的网络得到有效简化可以为：该网络的网络层级得到减少。
为了方案清楚以及布局清晰，下面示例性的介绍神经网络模型的训练过程。
可选地，如图2所示，所述神经网络模型的训练过程可以包括：
S201，获得多个样本图像，以及，每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
其中，样本图像的尺寸可以为神经网络模型的输入内容所具有的尺寸，也可以不为神经网络模型的输入内容所具有的尺寸，这都是合理的；并且，每个样本图像的真值人像蒙版的尺寸与样本图像的尺寸可以相同。需要强调的是，该神经网络模型的输入内容所具有的尺寸为用于提取图像特征的输入内容的尺寸。
另外，每个样本图像的真值人像蒙版的生成方式可以为任一种能够生成人像蒙版的方式，例如：可以通过人工标注人像轮廓的方式，生成样本图像的真值人像蒙版，当然并不局限于此。而每个样本图像中每个人体关键点的坐标可以通过人工标注方式获得，或者，任一种能够识别关键点的方式所获得，当然并不局限于此。
S202，针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像对应的分布图；
可选地，在一种实现方式中，该样本图像对应的分布图包括：该样本图像对应的第一分布图，该样本图像对应的第一分布图的尺寸为第一尺寸，该第一尺寸为该神经网络模型的用于特征提取的输入内容的尺寸。此时，样本图像对应的第一分布图和样本图像作为用于提取图像特征的输入内容。相应的，基于该种实现方式，该目标图像对应的分布图包括：该目标图像对应的第一分布图，该目标图像对应的第一分布图的尺寸为该第一尺寸，此时，该目标图像和该目标图像对应的第一分布图，作为用于提取图像特征的输入内容。
可选地，在将概率分布图作为先验信息的同时，可以将概率分布图作为人像蒙版输出的进一步约束，从而进一步提升神经网络模型的处理速率。基于此，在另一种实现方式中，样本图像对应的分布图在包括样本图像对应的第一分布图的前提下，还可以包括样本图像对应的第二分布图，样本图像对应的第二分布图的尺寸为第二尺寸，该第二尺寸为该特征矩阵的尺寸。此时，样本图像和样本图像对应的第一分布图作为用于提取图像特征的输入内容，而样本图像对应的第二分布图和特征矩阵作为用于人像蒙版分析的输入内容。
S203，针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练该神经网络模型，得到该样本图像的预测人像蒙版；
为了方案清楚及布局清晰，后续对S203的具体实现方式进行介绍。
S204，基于每个样本图像的预测人像蒙版和真值人像蒙版的差异，计算综合损失值；
示例性的，基于每个样本图像的预测人像蒙版和真值人像蒙版的差异，计算综合损失值，包括：
针对每个样本图像，计算该样本图像的预测人像蒙版和真值人像蒙版的差异，得到第一损失值；
将所计算得到的第一损失值进行加权或求平均，得到综合损失值。
其中，计算第一损失值所利用的损失函数可以包括但不局限于：平方损失函数、对数损失函数或指数损失函数，等等。另外，各个第一损失值对应的权重可以根据实际情况设定，在此不做限定。
S205，基于该综合损失值，判断训练中的该神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的该神经网络模型；否则，调整该神经网络模型的网络参数，继续训练该神经网络模型。
其中，基于该综合损失值，判断训练中的该神经网络模型是否收敛具体可以为：判断该综合损失值是否小于预设阈值，如果小于，判定训练中的该神经网络模型收敛，否则，判定训练中的该神经网络模型未收敛。当判定训练中的该神经网络模型未收敛时，可以调整该神经网络模型的网络参数，继续训练该神经网络模型。所谓继续训练该神经网络模型，即返回S203。
下面对上述的针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练该神经网络模型，得到该样本图像的预测人像蒙版的步骤，进行示例性介绍。
可选地，在一种实现方式中，该样本图像对应的分布图包括：该样本图像对应的第一分布图；
相应的，所述针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练所述神经网络模型，得到该样本图像的预测人像蒙版的步骤，可以包括：
针对每个样本图像，将该样本图像的尺寸调整为所述第一尺寸，得到尺寸调整后的该样本图像，并将尺寸调整后的该样本图像的矩阵和该样本图像对应的第一分布图的矩阵进行数据拼接，得到该样本图像对应的第一拼接矩阵；
分别将每个样本图像对应的第一拼接矩阵输入至训练中的该神经网络模型，以使该神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行数据处理，得到每个样本图像的预测人像蒙版。
基于上述的具体训练方式，在对目标图像进行人像分割时，利用所获得的每个人体关键点的坐标，生成该目标图像对应的分布图可以包括：
利用所获得的每个人体关键点的坐标，生成该目标图像对应的第一分布图，该目标图像对应的第一分布图的尺寸为该第一尺寸；
利用预先训练的用于生成人像蒙版的神经网络模型，以该目标图像对应的分布图作为先验信息，对该目标图像进行图像处理，得到该目标图像的人像蒙版，可以包括：
将该目标图像的尺寸调整为该第一尺寸，得到尺寸调整后的该目标图像，并将尺寸调整后的该目标图像的矩阵和该目标图像对应的第一分布图的矩阵进行数据拼接，得到该目标图像对应的第一拼接矩阵；
将该目标图像对应的第一拼接矩阵输入至预先训练完成的该神经网络模型，以使该神经网络模型对该目标图像对应的第一拼接矩阵进行特征提取，得到该目标图像的特征矩阵，对该目标图像的特征矩阵进行数据处理，得到该目标图像的人像蒙版。
其中，尺寸调整过程中可以通过双线性插值的方式，将样本图像的尺寸调整为第一尺寸，当然并不局限于此。
针对上述过程，为了方便理解方案，对上述的训练过程中所涉及的各个矩阵以及相应的处理过程进行示例性的说明：
假设样本图像的图像尺寸为wi×hi，神经网络模型的输入内容的尺寸为win×hin，神经网络模型的输出图像的尺寸为wm×hm，即人像蒙版的尺寸为wm×hm；
那么，样本图像的矩阵的维度为：wi×hi×3；
尺寸调整后的样本图像的矩阵的维度为：win×hin×3；
样本图像对应的第一分布图的矩阵的维度为：win×hin×1；
样本图像对应的第一拼接矩阵的维度为：win×hin×4；
特征矩阵的维度为：wm×hm×n，其中，n为预设的网络参数，n越大效果越好。
另外，将调整后的样本图像的矩阵和样本图像对应的第一分布图的矩阵的拼接为：在第三轴的拼接，即关于图像尺寸的两轴不变，在关于通道尺寸的一轴进行拼接。
可以理解的是，在生成目标图像的人像蒙版的过程中，所涉及到的各个矩阵以及相应的处理过程的示例性的解释说明，类似于训练过程中所涉及的各个矩阵以及相应的处理过程。
针对该种实现方式中，以包括特征提取网络和特征图提取网络的数据生成模型为例，图3(a)给出了模型训练过程的原理示意图。其中，第一预处理用于：将wi×hi的样本图像调整为：win×hin的样本图像；第二预处理用于：基于样本图像中的人体关键点的坐标生成样本图像对应的第一分布图且所生成图像的尺寸为win×hin；特征提取网络的输入为：win×hin×4维度的第一拼接数据。
可见，在该种实现方式中，该神经网络模型在训练过程中，由于结合样本图像对应的第一分布图对样本图像的人体区域进行定位，而无需对整张样本图像进行数据分析处理，因此，可以使得神经网络模型的处理速率得到提升。进一步的，在利用神经网络网络，对目标图像进行人像分割时，关于目标图像的人像蒙版的识别速率得到提升，从而提升人像分割的分割速率。并且，通过增加了概率分布图作为先验信息，使得神经网络模型中用于提取特征矩阵的网络可以得到有效简化，而且模型训练的收敛速度也可以提升。所谓的用于提取特征矩阵的网络得到有效简化可以为：该网络的网络层级得到减少。
可选地，在另一种实现方式中，该样本图像对应的分布图在包括第一分布图的前提下，还可以包括样本图像对应的第二分布图，样本图像对应的第二分布图的尺寸为第二尺寸，该第二尺寸为该特征矩阵的尺寸；
相应的，上述的分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行数据处理，得到每个样本图像的预测人像蒙版的步骤，包括：
分别将每个样本图像对应的第一拼接矩阵和对应的第二分布图输入至训练中的所述神经网络模型，以使该神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，并将每个样本图像的特征矩阵与该样本图像对应的第二分布图的矩阵进行数据拼接，得到每个样本图像对应的第二拼接矩阵，对每个样本图像对应的第二拼接矩阵进行数据处理，得到每个样本图像的预测人像蒙版。
基于上述的具体训练方式，在对目标图像进行人像分割时，利用所获得的每个人体关键点的坐标，生成该目标图像对应的分布图可以包括：
利用所获得的每个人体关键点的坐标，生成该目标图像对应的第一分布图和该目标图像对应的第二分布图，该目标图像对应的第一分布图的尺寸为上述的第一尺寸，而该目标图像对应的第二尺寸为上述的第二尺寸；
利用预先训练的用于生成人像蒙版的神经网络模型，以该目标图像对应的分布图作为先验信息，对该目标图像进行人像分割，得到该目标图像的人像蒙版，包括：
将该目标图像的尺寸调整为该第一尺寸，得到尺寸调整后的目标图像，并将尺寸调整后的该目标图像的矩阵和该目标图像对应的第一分布图的矩阵进行数据拼接，得到该目标图像对应的第一拼接矩阵；
将该目标图像对应的第一拼接矩阵和该目标图像对应的第二分布图输入至预先训练完成的该神经网络模型，以使该神经网络模型对该目标图像对应的第一拼接矩阵进行特征提取，得到该目标图像的特征矩阵，并将该目标图像的特征矩阵与该目标图像对应的第二分布图进行数据拼接，得到目标图像对应的第二拼接矩阵，对目标图像对应的第二拼接矩阵进行数据处理，得到目标图像的人像蒙版。
针对上述过程，为了方便理解方案，对上述的训练过程中所涉及的各个矩阵以及相应的处理过程进行示例性的说明：
假设样本图像的图像尺寸为wi×hi，神经网络模型的输入内容的尺寸为win×hin，神经网络模型的输出图像的尺寸为wm×hm，即人像蒙版的尺寸为wm×hm；
那么，样本图像的矩阵的维度为：wi×hi×3；
尺寸调整后的样本图像的矩阵的维度为：win×hin×3；
样本图像对应的第一分布图的矩阵的维度为：win×hin×1；
样本图像对应的第二分布图的矩阵的维度为：wm×hm×1
样本图像对应的第一拼接矩阵的维度为：win×hin×4；
特征矩阵的维度为：wm×hm×n，其中，n为预设的网络参数，n越大效果越好；
第二拼接矩阵的维度为：wm×hm×(n+1)。
可以理解的是，在对目标图像进行人像分割的过程中，所涉及到的各个矩阵以及相应的处理过程的示例性的解释说明，类似于训练过程中所涉及的各个矩阵以及相应的处理过程。
另外，针对该种实现方式中，以包括特征提取网络和蒙版生成网络的数据生成模型为例，图3(b)给出了模型训练过程的原理示意图。其中，第一预处理用于：将wi×hi的样本图像调整为：win×hin的样本图像；第二预处理用于：基于样本图像中的人体关键点的坐标生成样本图像对应的第一分布图且所生成图像的尺寸为win×hin；第三预处理用于：基于样本图像中的人体关键点的坐标生成样本图像对应的第二分布图且所生成图像的尺寸为wm×hm；特征提取网络的输入为：win×hin×4维度的第一拼接矩阵；蒙版生成网络的输入为：wm×hm×n维度的特征矩阵以及wm×hm×1维度的样本图像对应的第二分布图。并且，蒙版生成网络用于：将wm×hm×n维度的特征矩阵以及wm×hm×1维度的样本图像对应的第二分布图进行拼接，得到第二拼接矩阵，并对第二拼接矩阵进行数据处理，得到wm×hm×1的人像蒙版。
可见，在该种实现方式中，该神经网络模型在训练过程中，由于结合样本图像对应的第一分布图对样本图像的人体区域进行定位，而无需对整张样本图像进行数据分析处理，同时，将样本图像对应的第二分布图作为输出人像蒙版的约束，因此，可以使得神经网络模型的处理速率得到提升。进一步的，在利用神经网络，对目标图像进行人像分割时，关于目标图像的人像蒙版的识别速率得到提升，从而提升人像分割的分割速率。并且，通过增加先验信息，使得神经网络模型中用于提取特征矩阵的网络可以得到有效简化，而且模型训练的收敛速度也可以提升。
为了方案清楚，下面对生成任一样本图像的第一样本分布图的方式进行举例介绍。
示例性的，生成任一样本图像对应的第一分布图的方式，包括：
生成一个具有所述第一尺寸的初始矩阵；
从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合；其中，所述坐标组合包含两个坐标；
将所述坐标组合包含的两个坐标映射到所述初始矩阵中，得到第一映射坐标和第二映射坐标；
确定所述初始矩阵中的搜索区域，所述搜索区域为包含所述第一映射坐标对应元素和所述第二映射坐标对应元素的区域；计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离，根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值，并返回从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合的步骤；其中，所述目标直线为所述第一映射坐标对应元素和第二映射坐标对应元素构成的直线；
在该样本图像的人体关键点的坐标中，不存在未被映射处理的坐标组合时，针对所述矩阵中的每一元素，将该元素属于人像躯干中的点的各个概率值进行累加，得到累加值，将该累加值作为该元素的取值。
上述的“第一映射坐标”中的“第一”和“第二映射坐标”中的“第二”仅仅用于从命名上区分：将坐标组合包含的两个坐标映射到初始矩阵所得到的两个映射坐标，并不具有任何限定性意义。
示例性的，确定初始矩阵中的搜索区域所利用的公式包括：
x_max＝min(max(a.x,b.x)+PD,W)；
x_min＝max(0,min(a.x,b.x)-PD)；
y_max＝min(max(a.y,b.y)+PD,H)；
y_min＝max(0,min(a.y,b.y)-PD)；
其中，(x_max，y_max)为所述搜索区域的右上角的元素的坐标，(x_min，y_min)为所述搜索区域的左下角的元素的坐标，(a.x,a.y)为第一映射坐标，(b.x,b.y)为第二映射坐标，max()为从给定参数中选取最大值的函数，min()为用于从给定参数中选取最小值的函数，W和H分别为该样本图像对应的第一分布图的宽度和高度，PD为预设的外扩参数。
其中，该预设的外扩参数的取值可以根据实际情况设定，在此不做限定。上述的确定初始矩阵中包含两个映射坐标对应元素的搜索区域所利用的公式中，第一个公式用于确定搜索区域的右上角的横坐标，第二个公式用于确定搜索区域的左下角的横坐标，第三个公式用于确定搜索区域的右上角的纵坐标，第四个公式用于确定搜索区域的左下角的纵坐标。由于搜索区域的右上角的坐标和左下角的坐标被确定出，因此，该搜索区域被确定得到。
另外，计算该搜索区域内各个元素到该搜索区域内目标直线的距离所利用的公式包括：
其中，di为待计算距离的元素i到目标直线的距离，(x,y)为该元素i的坐标，A＝b.y-a.y，B＝a.x-b.x，C＝b.x×a.y-a.x×b.y，(a.x,a.y)为第一映射坐标，(b.x,b.y)为第二映射坐标映射坐标；
所述根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值所利用的公式为：
其中，pi为待计算概率的元素i属于人像躯干中的点的概率值，α为预设的调节参数。并且，α的取值为1～20中的任一整数数值。
另外，该样本图像的人体关键点的坐标为多个，可以存在多种包含两个坐标的坐标组合。如果一坐标组合中存在一个坐标未被映射处理，则可认为该坐标组合为未被映射处理的坐标组合。并且，所谓的将该坐标组合包含的一坐标(x,y)映射到初始矩阵所利用的公式为：xi≈x/S1，yi≈y/s2，(xi，yi)为该坐标对应的映射坐标，s1为x轴方向上初始矩阵相对于该坐标所属图像的缩放系数，s2为y轴方向上初始矩阵相对于该坐标所属图像的缩放系数。
另外，关于样本图像对应的第二分布图的生成方式，可以参照样本图像对应的第一分布图的生成方式，区别点在于两张图像的尺寸不同。另外，目标图像对应的第一分布图和目标图像对应的第二分布图的生成方式，也可以参照样本图像对应的第一分布图的生成方式，在此不做赘述。
相对于上述方法实施例，本发明实施例还提供了一种基于先验信息的人像分割装置。如图5所示，该人像分割装置可以包括：
图像获得模块510，用于获得待人像分割的目标图像；
坐标获得模块520，用于获得所述目标图像中每个人体关键点的坐标；
分布图生成模块530，用于用于利用所获得的每个人体关键点的坐标，生成所述目标图像对应的分布图，所述目标图像对应的分布图为所述目标图像中人像躯干的概率分布图；
人像蒙版生成模块540，用于利用预先训练的用于生成人像蒙版的神经网络模型，以所述目标图像对应的分布图作为先验信息，对所述目标图像进行图像处理，得到所述目标图像的人像蒙版；其中，所述神经网络模型为利用样本图像和所述样本图像的真值人像蒙版，并以所述样本图像对应的分布图作为先验信息，所训练完成的模型；其中，所述样本图像对应的分布图为所述样本图像中人像躯干的概率分布图；
分割模块550，用于利用所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果。
可选地，所述分割模块550具体用于：将所述目标图像的人像蒙版的尺寸调整为所述目标图像的尺寸，得到调整后的人像蒙版；
利用调整后的人像蒙版，分割所述目标图像中的人像，得到分割结果。
可选地，所述神经网络模型通过训练模块所训练；所述训练模块包括：
数据获得子模块，用于获得多个样本图像，以及，每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
分布图生成子模块，用于针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像对应的分布图；
训练子模块，用于针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练所述神经网络模型，得到该样本图像的预测人像蒙版；
损失值计算子模块，用于基于每个样本图像的预测人像蒙版和真值人像蒙版的差异，计算综合损失值；
判断子模块，用于基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
可选地，该样本图像对应的分布图包括：该样本图像对应的第一分布图，该样本图像对应的第一分布图的尺寸为第一尺寸，所述第一尺寸为所述神经网络模型的用于特征提取的输入内容的尺寸；
所述训练子模块包括：
拼接单元，用于针对每个样本图像，将该样本图像的尺寸调整为所述第一尺寸，得到尺寸调整后的该样本图像，并将尺寸调整后的该样本图像的矩阵和该样本图像对应的第一分布图的矩阵进行数据拼接，得到该样本图像对应的第一拼接矩阵；
训练单元，用于分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行数据处理，得到每个样本图像的预测人像蒙版；
相应的，所述分布图生成模块具体用于：
利用所获得的每个人体关键点的坐标，生成所述目标图像对应的第一分布图，所述目标图像对应的第一分布图的尺寸为该第一尺寸；
所述人像蒙版生成模块包括：
第一处理子模块，用于将所述目标图像的尺寸调整为所述第一尺寸，得到尺寸调整后的所述目标图像，并将尺寸调整后的所述目标图像的矩阵和所述目标图像对应的第一分布图的矩阵进行数据拼接，得到所述目标图像对应的第一拼接矩阵；
第二处理子模块，用于将所述目标图像对应的第一拼接矩阵输入至预先训练完成的所述神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，对所述目标图像的特征矩阵进行数据处理，得到所述目标图像的人像蒙版。
可选地，该样本图像对应的分布图还包括：该样本图像对应的第二分布图，该样本图像对应的第二分布图的尺寸为第二尺寸，所述第二尺寸为所述特征矩阵的尺寸；
所述训练单元具体用于：
分别将每个样本图像对应的第一拼接矩阵和对应的第二分布图输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，并将每个样本图像的特征矩阵与该样本图像对应的第二分布图的矩阵进行数据拼接，得到每个样本图像对应的第二拼接矩阵，对每个样本图像对应的第二拼接矩阵进行数据处理，得到每个样本图像的预测人像蒙版；
相应的，所述分布图生成模块还用于利用所获得的每个人体关键点的坐标，生成该目标图像对应的第二分布图，所述目标图像对应的第二分布图的尺寸为所述第二尺寸；
所述第二处理子模块具体用于：
将所述目标图像对应的第一拼接矩阵和所述目标图像对应的第二分布图输入至预先训练完成的所述神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，并将所述目标图像的特征矩阵与所述目标图像对应的第二分布图进行数据拼接，得到目标图像对应的第二拼接矩阵，对目标图像对应的第二拼接矩阵进行数据处理，得到所述目标图像的人像蒙版。
可选地，分布图生成子模块生成任一样本图像对应的第一分布图的方式，包括：
生成一个具有所述第一尺寸的初始矩阵；
从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合；其中，所述坐标组合包含两个坐标；
将所述坐标组合包含的两个坐标映射到所述初始矩阵中，得到第一映射坐标和第二映射坐标；
确定所述初始矩阵中的搜索区域，所述搜索区域为包含所述第一映射坐标对应元素和所述第二映射坐标对应元素的区域；计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离，根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值，并返回从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合的步骤；其中，所述目标直线为所述第一映射坐标对应元素和所述第二映射坐标对应元素构成的直线；
在该样本图像的人体关键点的坐标中，不存在未被映射处理的坐标组合时，针对所述矩阵中的每一元素，将该元素属于人像躯干中的点的各个概率值进行累加，得到累加值，将该累加值作为该元素的取值。
可选地，确定所述初始矩阵中包含所述两个映射坐标对应位置点的搜索区域所利用的公式包括：
x_max＝min(max(a.x,b.x)+PD,W)；
x_min＝max(0,min(a.x,b.x)-PD)；
y_max＝min(max(a.y,b.y)+PD,H)；
y_min＝max(0,min(a.y,b.y)-PD)；
其中，(x_max，y_max)为所述搜索区域的右上角的元素的坐标，(x_min，y_min)为所述搜索区域的左下角的元素的坐标，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标，max()为从给定参数中选取最大值的函数，min()为用于从给定参数中选取最小值的函数，W和H分别为该样本图像对应的第一分布图的宽度和高度，PD为预设的外扩参数。
可选地，计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离所利用的公式包括：
计算所述搜索区域内各个位置点到所述搜索区域内目标直线的距离所利用的公式包括：
其中，di为待计算距离的元素i到目标直线的距离，(x,y)为该元素i的坐标，A＝b.y-a.y，B＝a.x-b.x，C＝b.x×a.y-a.x×b.y，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标；
所述根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值所利用的公式为：
其中，pi为待计算概率的元素i属于人像躯干中的点的概率值，α为预设的调节参数。
另外，本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现本发明实施例所提供的任一基于先验信息的人像分割方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于先验信息的人像分割方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于先验信息的人像分割方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (17)

1.一种基于先验信息的人像分割方法，其特征在于，包括：
获得待人像分割的目标图像；
获得所述目标图像中每个人体关键点的坐标；
利用所获得的每个人体关键点的坐标，生成所述目标图像对应的分布图，所述目标图像对应的分布图为所述目标图像中人像躯干的概率分布图；所述利用所获得的每个人体关键点的坐标，生成所述目标图像对应的分布图，包括：利用所获得的每个人体关键点的坐标，生成所述目标图像对应的第一分布图，所述目标图像对应的第一分布图的尺寸为第一尺寸；所述第一尺寸为神经网络模型的用于特征提取的输入内容的尺寸；所述神经网络模型为：预先训练的用于生成人像蒙版的模型；并且所述神经网络模型为利用样本图像和所述样本图像的真值人像蒙版，并以所述样本图像对应的分布图作为先验信息，所训练完成的模型；其中，所述样本图像对应的分布图为所述样本图像中人像躯干的概率分布图；
利用所获得的每个人体关键点的坐标，生成该目标图像对应的第二分布图；
利用所述神经网络模型，以所述目标图像对应的分布图作为先验信息，对所述目标图像进行图像处理，得到所述目标图像的人像蒙版；其中，所述利用所述神经网络模型，以所述目标图像对应的分布图作为先验信息，对所述目标图像进行图像处理，得到所述目标图像的人像蒙版，包括：将所述目标图像的尺寸调整为所述第一尺寸，得到尺寸调整后的所述目标图像，并将尺寸调整后的所述目标图像的矩阵和所述目标图像对应的第一分布图的矩阵进行数据拼接，得到所述目标图像对应的第一拼接矩阵；将所述目标图像对应的第一拼接矩阵和所述目标图像对应的第二分布图输入至预先训练完成的所述神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，并将所述目标图像的特征矩阵与所述目标图像对应的第二分布图进行数据拼接，得到目标图像对应的第二拼接矩阵，对目标图像对应的第二拼接矩阵进行数据处理，得到所述目标图像的人像蒙版；
利用所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果。
2.根据权利要求1所述的方法，其特征在于，所述利用目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果，包括：
将所述目标图像的人像蒙版的尺寸调整为所述目标图像的尺寸，得到调整后的人像蒙版；
利用调整后的人像蒙版，分割所述目标图像中的人像，得到分割结果。
3.根据权利要求1或2所述的方法，其特征在于，所述神经网络模型的训练过程包括：
获得多个样本图像，以及，每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像对应的分布图；
针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练所述神经网络模型，得到该样本图像的预测人像蒙版；
基于每个样本图像的预测人像蒙版和真值人像蒙版的差异，计算综合损失值；
基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
4.根据权利要求3所述的方法，其特征在于，该样本图像对应的分布图包括：该样本图像对应的第一分布图，该样本图像对应的第一分布图的尺寸为第一尺寸；
所述针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练所述神经网络模型，得到该样本图像的预测人像蒙版的步骤，包括：
针对每个样本图像，将该样本图像的尺寸调整为所述第一尺寸，得到尺寸调整后的该样本图像，并将尺寸调整后的该样本图像的矩阵和该样本图像对应的第一分布图的矩阵进行数据拼接，得到该样本图像对应的第一拼接矩阵；
分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行数据处理，得到每个样本图像的预测人像蒙版。
5.根据权利要求4所述的方法，其特征在于，该样本图像对应的分布图还包括：该样本图像对应的第二分布图，该样本图像对应的第二分布图的尺寸为第二尺寸，所述第二尺寸为所述特征矩阵的尺寸；
分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行数据处理，得到每个样本图像的预测人像蒙版，包括：
分别将每个样本图像对应的第一拼接矩阵和对应的第二分布图输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，并将每个样本图像的特征矩阵与该样本图像对应的第二分布图的矩阵进行数据拼接，得到每个样本图像对应的第二拼接矩阵，对每个样本图像对应的第二拼接矩阵进行数据处理，得到每个样本图像的预测人像蒙版；
所述目标图像对应的第二分布图的尺寸为所述第二尺寸。
6.根据权利要求4所述的方法，其特征在于，生成任一样本图像对应的第一分布图的方式，包括：
生成一个具有所述第一尺寸的初始矩阵；
从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合；其中，所述坐标组合包含两个坐标；
将所述坐标组合包含的两个坐标映射到所述初始矩阵中，得到第一映射坐标和第二映射坐标；
确定所述初始矩阵中的搜索区域，所述搜索区域为包含所述第一映射坐标对应元素和所述第二映射坐标对应元素的区域；计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离，根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值，并返回从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合的步骤；其中，所述目标直线为所述第一映射坐标对应元素和所述第二映射坐标对应元素构成的直线；
在该样本图像的人体关键点的坐标中，不存在未被映射处理的坐标组合时，针对所述矩阵中的每一元素，将该元素属于人像躯干中的点的各个概率值进行累加，得到累加值，将该累加值作为该元素的取值。
7.根据权利要求6所述的方法，其特征在于，确定所述初始矩阵中包含所述两个映射坐标对应元素的搜索区域所利用的公式包括：
x_max＝min(max(a.x,b.x)+PD,W)；
x_min＝max(0,min(a.x,b.x)-PD)；
y_max＝min(max(a.y,b.y)+PD,H)；
y_min＝max(0,min(a.y,b.y)-PD)；
其中，(x_max，y_max)为所述搜索区域的右上角的元素的坐标，(x_min，y_min)为所述搜索区域的左下角的元素的坐标，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标，max()为从给定参数中选取最大值的函数，min()为用于从给定参数中选取最小值的函数，W和H分别为该样本图像对应的第一分布图的宽度和高度，PD为预设的外扩参数。
8.根据权利要求6所述的方法，其特征在于，计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离所利用的公式包括：
其中，di为待计算距离的元素i到目标直线的距离，(x,y)为该元素i的坐标，A＝b.y-a.y，B＝a.x-b.x，C＝b.x×a.y-a.x×b.y，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标；
所述根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值所利用的公式为：
其中，pi为待计算概率的元素i属于人像躯干中的点的概率值，α为预设的调节参数。
9.一种基于先验信息的人像分割装置，其特征在于，包括：
图像获得模块，用于获得待人像分割的目标图像；
坐标获得模块，用于获得所述目标图像中每个人体关键点的坐标；
分布图生成模块，用于利用所获得的每个人体关键点的坐标，生成所述目标图像对应的分布图，所述目标图像对应的分布图为所述目标图像中人像躯干的概率分布图；所述分布图生成模块具体用于：
利用所获得的每个人体关键点的坐标，生成所述目标图像对应的第一分布图，所述目标图像对应的第一分布图的尺寸为第一尺寸；所述第一尺寸为神经网络模型的用于特征提取的输入内容的尺寸；所述神经网络模型为：预先训练的用于生成人像蒙版的模型；并且所述神经网络模型为利用样本图像和所述样本图像的真值人像蒙版，并以所述样本图像对应的分布图作为先验信息，所训练完成的模型；其中，所述样本图像对应的分布图为所述样本图像中人像躯干的概率分布图；
所述分布图生成模块还用于利用所获得的每个人体关键点的坐标，生成该目标图像对应的第二分布图；
人像蒙版生成模块，用于利用所述神经网络模型，以所述目标图像对应的分布图作为先验信息，对所述目标图像进行图像处理，得到所述目标图像的人像蒙版；其中，所述人像蒙版生成模块包括：
第一处理子模块，用于将所述目标图像的尺寸调整为所述第一尺寸，得到尺寸调整后的所述目标图像，并将尺寸调整后的所述目标图像的矩阵和所述目标图像对应的第一分布图的矩阵进行数据拼接，得到所述目标图像对应的第一拼接矩阵；
第二处理子模块，具体用于：
将所述目标图像对应的第一拼接矩阵和所述目标图像对应的第二分布图输入至预先训练完成的所述神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，并将所述目标图像的特征矩阵与所述目标图像对应的第二分布图进行数据拼接，得到目标图像对应的第二拼接矩阵，对目标图像对应的第二拼接矩阵进行数据处理，得到所述目标图像的人像蒙版；
分割模块，用于利用所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果。
10.根据权利要求9所述的装置，其特征在于，所述分割模块具体用于：
将所述目标图像的人像蒙版的尺寸调整为所述目标图像的尺寸，得到调整后的人像蒙版；
利用调整后的人像蒙版，分割所述目标图像中的人像，得到分割结果。
11.根据权利要求9或10所述的装置，其特征在于，所述神经网络模型通过训练模块所训练；所述训练模块包括：
数据获得子模块，用于获得多个样本图像，以及，每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
分布图生成子模块，用于针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像对应的分布图；
训练子模块，用于针对每个样本图像，以该样本图像对应的分布图作为先验信息，利用该样本图像训练所述神经网络模型，得到该样本图像的预测人像蒙版；
损失值计算子模块，用于基于每个样本图像的预测人像蒙版和真值人像蒙版的差异，计算综合损失值；
判断子模块，用于基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
12.根据权利要求11所述的装置，其特征在于，该样本图像对应的分布图包括：该样本图像对应的第一分布图，该样本图像对应的第一分布图的尺寸为第一尺寸；
所述训练子模块包括：
拼接单元，用于针对每个样本图像，将该样本图像的尺寸调整为所述第一尺寸，得到尺寸调整后的该样本图像，并将尺寸调整后的该样本图像的矩阵和该样本图像对应的第一分布图的矩阵进行数据拼接，得到该样本图像对应的第一拼接矩阵；
训练单元，用于分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行数据处理，得到每个样本图像的预测人像蒙版。
13.根据权利要求12所述的装置，其特征在于，该样本图像对应的分布图还包括：该样本图像对应的第二分布图，该样本图像对应的第二分布图的尺寸为第二尺寸，所述第二尺寸为所述特征矩阵的尺寸；
所述训练单元具体用于：
分别将每个样本图像对应的第一拼接矩阵和对应的第二分布图输入至训练中的所述神经网络模型，以使所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，并将每个样本图像的特征矩阵与该样本图像对应的第二分布图的矩阵进行数据拼接，得到每个样本图像对应的第二拼接矩阵，对每个样本图像对应的第二拼接矩阵进行数据处理，得到每个样本图像的预测人像蒙版；
相应的，所述目标图像对应的第二分布图的尺寸为所述第二尺寸。
14.根据权利要求12所述的装置，其特征在于，分布图生成子模块生成任一样本图像对应的第一分布图的方式，包括：
生成一个具有所述第一尺寸的初始矩阵；
从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合；其中，所述坐标组合包含两个坐标；
将所述坐标组合包含的两个坐标映射到所述初始矩阵中，得到第一映射坐标和第二映射坐标；
确定所述初始矩阵中的搜索区域，所述搜索区域为包含所述第一映射坐标对应元素和所述第二映射坐标对应元素的区域；计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离，根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值，并返回从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合的步骤；其中，所述目标直线为所述第一映射坐标对应元素和所述第二映射坐标对应元素构成的直线；
在该样本图像的人体关键点的坐标中，不存在未被映射处理的坐标组合时，针对所述矩阵中的每一元素，将该元素属于人像躯干中的点的各个概率值进行累加，得到累加值，将该累加值作为该元素的取值。
15.根据权利要求14所述的装置，其特征在于，确定所述初始矩阵中包含所述两个映射坐标对应位置点的搜索区域所利用的公式包括：
x_max＝min(max(a.x,b.x)+PD,W)；
x_min＝max(0,min(a.x,b.x)-PD)；
y_max＝min(max(a.y,b.y)+PD,H)；
y_min＝max(0,min(a.y,b.y)-PD)；
其中，(x_max，y_max)为所述搜索区域的右上角的元素的坐标，(x_min，y_min)为所述搜索区域的左下角的元素的坐标，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标，max()为从给定参数中选取最大值的函数，min()为用于从给定参数中选取最小值的函数，W和H分别为该样本图像对应的第一分布图的宽度和高度，PD为预设的外扩参数。
16.根据权利要求14所述的装置，其特征在于，计算所述搜索区域内各个元素到所述搜索区域内目标直线的距离所利用的公式包括：
计算所述搜索区域内各个位置点到所述搜索区域内目标直线的距离所利用的公式包括：
其中，di为待计算距离的元素i到目标直线的距离，(x,y)为该元素i的坐标，A＝b.y-a.y，B＝a.x-b.x，C＝b.x×a.y-a.x×b.y，(a.x,a.y)为所述第一映射坐标，(b.x,b.y)为所述第二映射坐标；
所述根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值所利用的公式为：
其中，pi为待计算概率的元素i属于人像躯干中的点的概率值，α为预设的调节参数。
17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
CN201911141767.5A 2019-11-20 2019-11-20 一种基于先验信息的人像分割方法、装置及电子设备 Active CN110992371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911141767.5A CN110992371B (zh) 2019-11-20 2019-11-20 一种基于先验信息的人像分割方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911141767.5A CN110992371B (zh) 2019-11-20 2019-11-20 一种基于先验信息的人像分割方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110992371A CN110992371A (zh) 2020-04-10
CN110992371B true CN110992371B (zh) 2023-10-27

Family

ID=70085203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911141767.5A Active CN110992371B (zh) 2019-11-20 2019-11-20 一种基于先验信息的人像分割方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110992371B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760986B (zh) * 2022-11-30 2023-07-25 北京中环高科环境治理有限公司 基于神经网络模型的图像处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337082A (zh) * 2013-05-22 2013-10-02 浙江大学 基于统计形状先验的视频分割方法
WO2018177237A1 (zh) * 2017-03-29 2018-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置和存储介质
CN109344702A (zh) * 2018-08-23 2019-02-15 北京华捷艾米科技有限公司 基于深度图像和彩色图像的行人检测方法及装置
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置
CN109948441A (zh) * 2019-02-14 2019-06-28 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110188634A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 人体体态模型的构建方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715626B2 (en) * 2005-03-23 2010-05-11 Siemens Medical Solutions Usa, Inc. System and method for vascular segmentation by Monte-Carlo sampling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337082A (zh) * 2013-05-22 2013-10-02 浙江大学 基于统计形状先验的视频分割方法
WO2018177237A1 (zh) * 2017-03-29 2018-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置和存储介质
CN109344702A (zh) * 2018-08-23 2019-02-15 北京华捷艾米科技有限公司 基于深度图像和彩色图像的行人检测方法及装置
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置
CN109948441A (zh) * 2019-02-14 2019-06-28 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110188634A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 人体体态模型的构建方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D image segmentation of deformable objects with joint shape-intensity prior models using level sets;Jing Yang等;《Medical Image Analysis》;全文 *
人体正面运动的尺度骨架模型初始化算法研究;洪涛等;《浙江大学学报(工学版)》(12);全文 *

Also Published As

Publication number Publication date
CN110992371A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
US10803554B2 (en) Image processing method and device
US10936911B2 (en) Logo detection
CN110909665B (zh) 一种多任务的图像处理方法、装置、电子设备及存储介质
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110909663B (zh) 一种人体关键点识别方法、装置及电子设备
CN110443140B (zh) 文本定位的方法、装置、计算机设备及存储介质
CN113343982B (zh) 多模态特征融合的实体关系提取方法、装置和设备
CN110929638B (zh) 一种人体关键点识别方法、装置及电子设备
CN110648397A (zh) 场景地图生成方法、装置、存储介质及电子设备
CN110969100B (zh) 一种人体关键点识别方法、装置及电子设备
CN111383232A (zh) 抠图方法、装置、终端设备及计算机可读存储介质
CN111814905A (zh) 目标检测方法、装置、计算机设备和存储介质
WO2022194079A1 (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN111027412B (zh) 一种人体关键点识别方法、装置及电子设备
CN110909664A (zh) 一种人体关键点识别方法、装置及电子设备
CN110992371B (zh) 一种基于先验信息的人像分割方法、装置及电子设备
CN111027551B (zh) 图像处理方法、设备和介质
CN110163910B (zh) 物体对象定位方法、装置、计算机设备和存储介质
CN112001285A (zh) 一种美颜图像的处理方法、装置、终端和介质
WO2022206679A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
CN112801045B (zh) 一种文本区域检测方法、电子设备及计算机存储介质
CN113963236A (zh) 目标检测方法及装置
CN113014928A (zh) 一种补偿帧生成方法及装置
CN113033256A (zh) 一种指尖检测模型的训练方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant