CN115170581A - 人像分割模型的生成方法、人像分割模型及人像分割方法 - Google Patents

人像分割模型的生成方法、人像分割模型及人像分割方法 Download PDF

Info

Publication number
CN115170581A
CN115170581A CN202110372546.XA CN202110372546A CN115170581A CN 115170581 A CN115170581 A CN 115170581A CN 202110372546 A CN202110372546 A CN 202110372546A CN 115170581 A CN115170581 A CN 115170581A
Authority
CN
China
Prior art keywords
image
portrait
convolution
mask
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110372546.XA
Other languages
English (en)
Inventor
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202110372546.XA priority Critical patent/CN115170581A/zh
Publication of CN115170581A publication Critical patent/CN115170581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人像分割模型的生成方法、人像分割模型及人像分割方法，所述人像分割模型的生成方法包括将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定训练图像对应的预测人像掩膜图；获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定预测人像掩膜图对应的权重图；基于权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型，本申请通过预测人像掩膜中的人像边缘来确定预测人像掩膜图中各像素点在训练过程中的权重值，通过基于该权重值对预设网络模型进行训练，可以提高训练得到的人像分割模型对应人像边缘的识别效果，从而可以提高人像分割的精确度。

Description

人像分割模型的生成方法、人像分割模型及人像分割方法
技术领域
本申请涉及图像处理技术领域，特别涉及一种人像分割模型的生成方法、人像分割模型及人像分割方法。
背景技术
双摄像头已经越来越多地应用于移动终端设备上，并且现有配置双摄的移动终端设备的拍照功能普遍配置有人像虚化功能。现有的人像虚化功能普遍基于人像分割模型分割到人像区域后做预览虚化，然而，目前使用的人像分割模型普遍存在精确度低的问题。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种人像分割模型的生成方法、人像分割模型及人像分割方法。
为了解决上述技术问题，本申请实施例第一方面提供了一种人像分割模型的生成方法，所述的生成方法包括：
将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图，其中，所述训练图像包括人像区域；
获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；
基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型。
所述人像分割模型的生成方法，其中，所述权重图的图像尺寸与所述预测人像掩膜图的图像尺寸相同，并且权重图包括预测人像掩膜图中的各掩膜像素点各自对应的权重值。
所述人像分割模型的生成方法，其中，所述基于人像边缘确定所述预测人像掩膜图对应的权重图具体包括：
对于所述预测人像掩膜图中的每个掩膜像素点，确定该掩膜像素点对所述人像边缘的距离，并将所述距离作为该掩膜像素点的权重值，以得到所述预测人像掩膜图中的各掩膜像素点各自对应的权重值；
采用所述预测人像掩膜图中的各掩膜像素点各自对应的权重值替换各掩膜像素点各自对应的像素值，以得到所述预测人像掩膜图对应的权重图。
所述人像分割模型的生成方法，其中，所述基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型具体包括：
对于预测人像掩膜图中的每个掩膜像素点，基于所述预测人像掩膜图及所述训练图像对应的目标人像掩膜图确定该掩膜像素点对应的候选损失值，以得到所述预测人像掩膜图中的各掩膜像素点各自对应的候选损失值；
基于所述权重图，将各掩膜像素点各自对应的候选损失值进行加权处理，以得到训练图像对应的目标损失值；
基于所述目标损失值对所述预设网络模型进行训练，以得到人像分割模型。
所述人像分割模型的生成方法，其中，所述预设网络模型包括若干因子化卷积模块，所述因子化卷积模块包括若干第一卷积层、若干第二卷积层以及融合层，所述第一卷层的卷积核的宽度与高度的比值与第二卷积核的宽度与高度的比值互为倒数，所述融合层的输入项包括与其连接的第一卷积层或第二卷积层的输出项以及因子化卷积模块的输入项。
所述人像分割模型的生成方法，其中，所述第一卷积层的宽度或者第二卷积层的宽度等于1。
所述人像分割模型的生成方法，其中，所述因子化卷积模块还包括两个第三卷积层，若干第一卷积层和若干第二卷积层交替级联于两个第三卷积层之间，所述融合层的输入项包括两个第三卷积层中的位于最后的第三卷积层的输出项，以及位于最前的第三卷积层的输入项。
所述人像分割模型的生成方法，其中，所述预设网络模型还包括第一卷积模块和第二卷积模块，所述第一卷积模块与所述第二卷积模块串行设置，所述若干因子化卷积模块中的一部分因子化卷积模块级联于所述第一卷积模块和所述第二卷积模块之间，所述若干因子化卷积模块中另一部分因子化卷积模块级联于所述第二卷积模块之后。
本实施例第二方面提供了一种人像分割方法，应用于如上所述的人像分割模型的生成方法所生成的人像分割模型，所述人像分割方法具体包括：
将待分割图像输入所述人像分割模型；
通过所述人像分割模型，确定所述待分割图像对应的人像掩膜图。
所述人像分割方法，其中，所述通过所述人像分割模型，确定所述待分割图像对应的人像掩膜图之后，所述方法还包括：
基于所述人像掩膜图，确定所述待分割图像的人像区域以及背景区域，其中，所述背景区域为所述待分割图像中除人像区域外的图像区域。
所述人像分割方法，其中，所述基于所述人像掩膜图，确定所述待分割图像的人像区域以及背景区域之后，所述方法还包括：
基于所述人像区域以及所述背景区域，对所述待分割图像进行分割，以得到待分割图像对应的人像图像和/或背景图像。
所述人像分割方法，其中，所述将待分割图像输入所述人像分割模型之前，所述方法还包括：
通过成像模组采集场景图像，并对所述场景图像的图像尺寸进行调整，以得到待分割图像，其中，所述待分割图像的图像尺寸小于场景图像的图像尺寸。
本实施例第三方面提供了一种人像分割模型，所述人像分割模型通过如权上所述的人像分割模型的生成方法训练得到的，所述人像分割模型包括依次级联的第一卷积模块、第一特征提取模块、第二卷积模块以及第二特征提取模块，所述第一特征提取模块包括第一预设数量的因子化卷积模块，所述第二特征提取模块包括第二预设数量的因子化卷积模块，其中，所述因子化卷积模块包括若干第一卷积层、若干第二卷积层以及融合层，所述第一卷层的卷积核的宽度与高度的比值与第二卷积核的宽度与高度的比值互为倒数，所述融合层的输入项包括与其连接的第一卷积层或第二卷积层的输出项以及因子化卷积模块的输入项。
所述人像分割模型，其中，所述第一卷积层的宽度或者第二卷积层的宽度等于1。
所述人像分割模型，其中，所述因子化卷积模块还包括两个第三卷积层，若干第一卷积层和若干第二卷积层交替级联于两个第三卷积层之间，所述融合层的输入项包括两个第三卷积层中的位于最后的第三卷积层的输出项，以及位于最前的第三卷积层的输入项。
本实施例第四方面提供了一种人像分割模型的生成装置，所述的生成装置包括：
确定模块，用于将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图，其中，所述训练图像包括人像区域；
获取模块，用于获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；
训练模块，用于基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型。
本申请实施例第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的人像分割模型的生成方法中的步骤，或者以实现如上所述的人像分割方法中的步骤。
本申请实施例第六方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的人像分割模型的生成方法中的步骤，或者实现如上所述的人像分割方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种人像分割模型的生成方法、人像分割模型及人像分割方法，所述人像分割模型的生成方法包括将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图；获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型，本申请通过预测人像掩膜中的人像边缘来确定预测人像掩膜图中各像素点在训练过程中的权重值，通过基于该权重值对预设网络模型进行训练，可以提高训练得到的人像分割模型对应人像边缘的识别效果，从而可以提高人像分割的精确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的人像分割模型的生成方法的流程图。
图2为本申请提供的人像分割模型的生成方法的预设网络模型的结构原理图。
图3为本申请提供的人像分割模型的生成方法的预设网络模型中的因子化卷积模块的结构原理图。
图4为本申请提供的人像分割模型的生成方法的预设网络模型中的因子化卷积模块的一个实施例的结构原理图。
图5为本申请提供的人像分割模型的生成方法的人像边缘的示例图。
图6为本申请提供的人像分割模型的生成方法的权重图的示例图。
图7为本申请提供的人像分割方法的流程图。
图8为本申请提供的人像分割模型的生成装置的结构原理图。
图9为本申请提供的图像虚化方法中的人像掩膜图的示意图。
图10为本申请提供的图像虚化方法中的视差图的示意图。
图11为本申请提供的图像虚化方法中的预览图像的示意图。
图12为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种人像分割模型的生成方法、人像分割模型及人像分割方法，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的移动电话，膝上形计算机或平板计算机之类的其他便携式设备。还应该理解的是，在某些实施例中，所述设备并非便携式通讯设备，而是具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备还可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。
终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、视频会议应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件由于程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数据相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放应用程序等。
可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的第一或多个功能以及终端上显示的相应信息。这样，终端的公共物理框架(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，双摄像头已经越来越多地应用于移动终端设备上，并且现有配置双摄的移动终端设备的拍照功能普遍配置有人像虚化功能。现有的人像虚化功能普遍基于人像分割模型分割到人像区域后做预览虚化，然而，目前使用的人像分割模型普遍存在精确度低的问题。
为了解决上述问题，在本申请实施例中，将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图；获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型，本申请通过预测人像掩膜中的人像边缘来确定预测人像掩膜图中各像素点在训练过程中的权重值，通过基于该权重值对预设网络模型进行训练，可以提高训练得到的人像分割模型对应人像边缘的识别效果，从而可以提高人像分割的精确度。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种人像分割模型的生成方法，如图1所示，所述方法包括：
S10、将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图。
具体地，预设训练样本包括若干训练图像组，若干训练图像组中的每个训练图像组均包括训练图像以及训练图像对应的目标人像掩膜图，训练图像包括人像区域，目标人像掩膜图为训练图像中的人像区域所对应的掩膜图像，在目标人像掩膜图中，与训练图像中的人像区域中的像素点相对应的像素点的像素值为第一预设值，与训练图像中除人像区域外的像素点相对应的像素点的像素值为第二预设值。此外，目标人像掩膜图用于作为通过预设网络模型输出的预测人像掩膜图的判断依据，以便于确定预设网络模型输出的预测人像掩膜图的精确性。例如，预设训练样本数据可以包括预设数量(例如，10万等)训练图像组，训练图像组包括训练图像以及训练图像对应的目标人像掩膜图，并在基于训练样本对分割网络模型进行训练时，可以训练样本进行90度旋转，对比度拉伸，亮度调整，添加噪声，饱和度调整，随机裁剪等数据增强操作，以提高训练样本的多样性。
所述预设网络模型的输入项为训练图像，输出项为预测人像掩膜图。如图2所示，所述预设网络模型包括依次级联的第一卷积模块100、第一特征提取模块200、第二卷积模块300以及第二特征提取模块400。相应的，所述将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图具体包括：
将所述预设训练样本中的训练图像输入第一卷积模块，通过所述第一卷积模块输出待处理图像对应的第一特征图；
将所述第一特征图输入所述第一特征提取模块，通过所述第一特征提取模块输出所述待处理图像对应的第二特征图；
将所述第二特征图输入所述第二卷积模块，通过所述第二卷积模块输出所述待处理图像对应的第三特征图；
将所述第三特征图输入所述第二特征提取模块，通过所述第二特征提取模块输出所述待处理图像对应的目标特征图，并基于所述目标特征图确定所述训练图像对应的预测人像掩膜图。
具体地，所述第一卷积模块100包括一卷积层A和一卷积单元a，卷积层A和卷积单元a级联，其中，所述卷积层A的卷积核可以为3*3，步长为2，所述卷积单元a包括卷积层，卷积单元a中的卷积层的卷积核可以为1*1，步长为1，并卷积单元a的输出项的通道数为卷积核的输出入的通道数的一般。在一个具体实现方式中，待处理图像为卷积层A的输入项，待处理图像的图像尺度为240*160*3，卷积层A的输出项的图像尺度为120*80*128；卷积单元a的输入项的图像尺度为120*80*128，卷积单元a的输出项的图像尺度为120*80*64。
所述第二卷积模块300包括一卷积层B和一卷积单元b，卷积层B和卷积单元b级联，其中，所述卷积层B的卷积核可以为3*3，步长为2，所述卷积单元包括卷积层，卷积单元b中的卷积层的卷积核可以为1*1，步长为1，并卷积单元b的输出项的通道数为卷积核的输出入的通道数的一致。在一个具体实现方式中，卷积层B的输入项的图像尺度为120*80*64，卷积层B的输出项的图像尺度为60*40*256；卷积单元a的输入项的图像尺度为60*40*256，卷积单元a的输出项的图像尺度为60*40*128。
所述第一特征提取模块200包括第一预设数量的因子化卷积模块500，所述第二特征提取模块400包括第二预设数量的因子化卷积模块500，第一特征提取模块中的第一预设数量的因子化卷积模块依次级联，并且相邻的两个因子化卷积模块之间连接有卷积层C，换句话说，第一预设数量的因子化卷积模块依次布置，相邻的两个因子化卷积模块通过卷积层C连接以形成第一特征提取模块。相应的，第二特征提取模块中的第二预设数量的因子化卷积模块依次级联，并且相邻的两个因子化卷积模块之间连接有卷积层C，换句话说，第二预设数量的因子化卷积模块依次布置，相邻的两个因子化卷积模块通过卷积层C连接以形成第二特征提取模块。在本实施例的一个实现方式中，卷积层C的卷积核尺寸可以为3*3，步长可以为1。
所述因子化卷积模块包括若干第一卷积层、若干第二卷积层502以及融合层503，所述第一卷层的卷积核的宽度与高度的比值与第二卷积核的宽度与高度的比值互为倒数，所述融合层的输入项包括与其连接的第一卷积层或第二卷积层的输出项以及因子化卷积模块的输入项。本实施例通过两个卷积核尺寸互为倒数的卷积层来实现卷积运算效果的情况下，减少了卷积的运算量，从而可以提高人像分割模块的运算速度以提高人像掩膜图的获取速度，进而可以提高预览图像虚化的实时性；同时通过减少人像分割模型的计算量，可以降低人像分割模型对应硬件设备的要求，从而可以提高人像分割模型的适用范围。在一个具体实现方式中，所述第一卷积层的卷积核的宽度或者所述第二卷积层的卷积核的宽度等于1，这样最大程度的减少人像分割模型的计算量，提高人像掩膜图的确定速度。
在本实施例的一个实现方式中，所述因子化卷积模块的若干第一卷积层的数量和若干第二卷积层的数量相同，并且如图3所示，若干第一卷积层501和若干第二卷积层502交替布置并依次级联，融合层503与若干第一卷积层和若干第二卷积层按照级联顺序位于最后的第一目标卷积层相连接，并且若干第一卷积层和若干第二卷积层按照级联顺序位于最前的第二目标卷积层的输入项为所述融合层的输入项，以通过所述融合层将所述第一目标卷积层的输出项与第二目标卷积层的输入项进行融合，以得到因子化卷积模块的输出项。
此外，在一个具体实现方式中，由于所述第一卷层的卷积核的宽度与高度的比值与第二卷积核的宽度与高度的比值互为倒数，从而当第一卷积层的卷积核的尺寸记为M*K时，第二卷积层的卷积核的尺寸为K*M，其中，M标识第一卷积层的卷积核的宽度，K表示第一卷积层的卷积核的高度，并且所述第一卷积层的卷积核的宽度M或者所述第二卷积层的卷积核的宽度K等于1。由此，所述第一卷积层和第二卷积层可以相当于一个参照卷积层，其中，该参照卷积层的卷积核尺寸为K*K。例如，第一卷积层的卷积核的宽度为1，那么第二卷积层的卷积核的高度为1，相应的，第一卷积层的卷积核的尺寸为1*K，第二卷积层的卷积核的尺寸为K*1，从而将卷积核的尺寸为K*K的卷积层拆分为卷积核尺寸为1*K的第一卷积层和卷积核尺寸为K*1的第二卷积层的乘积。
基于此，假设第一卷积层的卷积核为1*K，第二卷积层的卷积核K*1，那么第一卷积层和第二卷积层对应的卷积计算可以标识为：
Figure BDA0003009849060000111
其中，K0表示卷积核为1*K的第一卷积层，K1表示卷积核为K*1的第二卷积层；K表示卷积核为K*K的参照卷积层，V表示第二卷积层的输出项，U表示第一卷积层的输入项。
在本实施例的一个实现方式中，所述因子化卷积模块还包括两个第三卷积层，若干第一卷积层和若干第二卷积层交替布置且级联于两个第三卷积层之间，所述融合层的输入项包括两个第三卷积层中的位于最后的第三卷积层的输出项，以及位于最前的第三卷积层的输入项。换句话说，因子化卷积模块的输入项为两个第三卷积层中位于最前的第三卷积层的输入项，并且两个第三卷积层中位于最前的第三卷积层的输入项为所述融合层的输入项。
举例说明：如图4所示，因子化卷积模块包括第一卷积层A、第一卷积层B、第二卷积层C、第二卷积层D、第三卷积层E、第三卷积层F以及加法器，其中，第三卷积层E、第一卷积层A、第二卷积层C、第一卷积层B、第二卷积层D以及第三卷积层F依次级联，第三卷积层F与加法器相连接，并且第三卷积层E的输入项输入加法器，其中，第一卷积层A和第一卷积层B的卷积核尺寸可以均为1*3，第二卷积层C和第二卷积层D的卷积核尺寸可以均为3*1，第三卷积层E和第三卷积层F的卷积核尺寸可以均为3*3，第一卷积层A、第一卷积层B、第二卷积层C、第二卷积层D以及第三卷积层E的输出项的通道数均为c/2，第三卷积层F的输出项的通道数为c，第三卷积层E的输入项的通道数为c，c为正整数且为2的倍数。
S20、获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图。
具体地，所述人像边缘为预测人像掩膜图中的人像区域的区域边缘，例如，如图5所示，人像边缘为图5中白色区域的区域边缘。由此，在获取到预测人像掩膜图后，可以对人像掩膜图像进行边缘识别，以得到人像掩膜图中的人像区域的区域边缘，例如，采用Sobel算子，Laplacian算子或者Canny算子等。在获取到人像边缘后，可以基于人像边缘确定所述预测人像掩膜图对应的权重图，其中，所述权重图的图像尺寸与所述预测人像掩膜图的图像尺寸相同，例如，预测人像掩膜图的图像尺寸为240*240。所述权重图包括预测人像掩膜图中的各掩膜像素点各自对应的权重值。那么权重图的图像尺寸为240*240，并且权重图中的每个权重像素点的像素值均为预测人像掩膜图中该权重像素点对应的像素点的权重值，其中，该权重像素点在权重图的中的像素位置与其对应的像素点在预测人像掩膜图中的像素位置相同，例如，权重像素点在权重图中的像素位置为(10,25)，那么权重像素点对应的像素点在预测人像掩膜图中的像素位置为(10,25)。
在本实施例的一个实现方式中，所述基于人像边缘确定所述预测人像掩膜图对应的权重图具体包括：
对于所述预测人像掩膜图中的每个掩膜像素点，确定该掩膜像素点与所述人像边缘的距离，并将所述距离作为该掩膜像素点的权重值，以得到所述预测人像掩膜图中的各掩膜像素点各自对应的权重值；
根据获取到各掩膜像素点各自对应的权重值，确定所述预测人像掩膜图对应的权重图。
具体地，掩膜像素点与人像边缘的距离为掩膜像素点与人像边缘上的一个边缘点的欧式距离，其中，该边缘点为人像边缘上的指定像素点，或者是，该边缘点为人像边缘中与该掩膜像素点之间的欧式距离最小的边缘点等。在一个具体实现方式中，该边缘点为人像边缘中与该掩膜像素点之间的欧式距离最小的边缘点，也就是说，如图5所示，掩膜像素点与所述人像边缘的距离为掩膜像素点与人像边缘的之间的最小欧式距离。此外，在获取到掩膜像素点与所述人像边缘的距离为掩膜像素点与人像边缘的之间的最小欧式距离，可以将该最小欧式距离归一化，并将归一化后的最小欧式距离作为该掩膜像素点与所述人像边缘的距离，以使得每个掩膜像素点对应的权重值均为0-1之间的数值。
进一步，在获取到掩膜像素点与所述人像边缘的距离之后，将该距离作为该掩膜像素点对应的权重值，从而可以得到所述预测人像掩膜图中的各掩膜像素点各自对应的权重值。在获取到各掩膜像素点各自对应的权重值后，可以建立一个图像尺寸与预测人像掩膜图像尺寸的空白图像，然后对于预测人像掩膜中的每个掩膜像素点，在该空白图像中选取该掩膜像素点对应的候选像素点，并将候选像素点的像素值设置为该掩膜像素点的权重值，从而得到预测掩膜图像对应的权重图，例如，如图6所示权重图，权重图中人像边缘中的边缘点的权重值大于非边缘点的权重值，从而可以提高人像边缘在目标损失值的重要性，从而可以使得预设网络模型学习人像边缘的特征信息，从而提高训练得到的人像分割模型对人像边缘的识别精确度，从而提高人像分割模型分割得到的人像掩膜图中人像边缘的刀锐感。
S30、基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型。
具体地，所述基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练指的是基于基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图确定训练图像对应的目标损失值，并基于所述目标损失值对所述预设网络模型进行训练，当预设网络模型训练满足预设条件后，将训练后的预设网络模型作为人像分割模型，其中，预设条件为预先设置的，其可以包括训练次数阈值以及损失阈值，当预设网络模型训练次数达到次数阈值，或者目标损失值小于损失阈值时，预设网络模型训练均满足预设条件。例如，预设网络模型的训练的迭代次数(epoch)可以为300次，batchsize可以为16，并在基于目标损失值对预设网络模型进行训练是，可以采用随机梯度下降法SGD优化网络的梯度，初始学习率调整为0.05,在迭代到100和200次给学习率乘以0.1，动量Momentum为0.85。
在本实施例的一个实现方式中，所述基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型具体包括：
对于预测人像掩膜图中的每个掩膜像素点，基于所述训练图像对应的目标人像掩膜图确定该掩膜像素点对应的候选损失值，以得到所述预测人像掩膜图中的各掩膜像素点各自对应的候选损失值；
基于所述权重图，将各掩膜像素点各自对应的候选损失值进行加权处理，以得到所述训练图像对应的目标损失值；
基于所述目标损失值对所述预设网络模型进行训练，以得到人像分割模型。
具体地，所述预设网络模型的模型结构与人像分割模型的模型结构相同，预设网络模型与人像分割模型的不同之处在于：预设网络模型的模型参数为预设的初始模型参数，人像分割模型的模型参数为基于预设训练样本训练后的模型参数。由此，预设网络模型的模型结构这里就不再赘述，具体可以参照上述人像分割模型的模型结构。
所述候选损失值用于反映该掩膜像素点对应的像素值与目标人像掩膜图中的目标掩膜像素点的像素值的差异，其中，目标掩膜像素点为模板掩膜图中像素位置与该掩膜像素点的像素位置相同的像素点。例如，该掩膜像素点的像素位置为(100,100)，那么目标掩膜像素点在目标人像掩膜中的像素位置为(100,100)。在本实施例的一个实现方式中，所述候选损失值的计算公式可以为：
Figure BDA0003009849060000141
其中，Pi表示预测人像掩膜图中的第i个掩膜像素点的候选损失值，C为预测人像掩膜图的通道数，C为分类总数，本方法中C＝2,
Figure BDA0003009849060000142
表示预测人像掩膜图中的第c个通道的第i个像素点的像素值；
Figure BDA0003009849060000143
表示目标人像掩膜图中的第i个像素点的像素值。
进一步，在获取到候选损失值后，基于各掩膜像素点各自对应的候选像素值，确定训练图像的目标损失值，其中，所述目标损失值的计算公式可以为：
Figure BDA0003009849060000151
其中，L表示训练图像的目标损失值，N表示预测人像掩膜图中的掩膜像素点的数量，wi＝1+gi表示第i个掩膜像素点的加权系数，gi表示第i个掩膜像素点在权重图中的权重值，Pi表示预测人像掩膜图中的第i个掩膜像素点的候选损失值。
综上所述，本实施例提供了一种人像分割模型的生成方法、人像分割模型及人像分割方法，所述人像分割模型的生成方法包括将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图；获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型，本申请通过预测人像掩膜中的人像边缘来确定预测人像掩膜图中各像素点在训练过程中的权重值，通过基于该权重值对预设网络模型进行训练，可以提高训练得到的人像分割模型对应人像边缘的识别效果，从而可以提高人像分割的精确度。
基于上述人像分割模型的生成方法，本实施例提供了一种人像分割方法，如图7所示，所述的人像分割方法包括：
B10、将待分割图像输入所述人像分割模型；
B20、通过所述人像分割模型，确定所述待分割图像对应的人像掩膜图。
具体地，所述人像分割模型的输入项为待分割图像，输出项为人像掩膜图；换句话说，在将所述待分割图像输入人像分割模型后，人像分割模型会输出该待分割图像对应的人像掩膜。在获取到待分割图像对应的人像掩膜图后，可以基于该人像掩膜图确定该待分割图像的人像区域以及背景区域。
在本实施例的一个实现方式中，所述将待分割图像输入所述人像分割模型之前，所述方法还包括：
通过成像模组采集场景图像，并对所述场景图像的图像尺寸进行调整，以得到待分割图像，其中，所述待分割图像的图像尺寸小于场景图像的图像尺寸。
具体地，所述成像模组用于采集图像，所述场景图像为通过成像模型拍摄得到，其中，成像模组可以为包括一个成像器，也可以包括多个成像器，当成像模组包括一个成像器时，场景图像为通过该成像器拍摄得到，当成像模组包括多个成像器时，场景图像为通过成像模组中的主成像器拍的得到。此外，所述待分割图像的图像尺寸小于场景图像的图像尺寸，并且待分割图像的图像尺寸可以基于场景图像的图像尺寸确定，例如，待分割图像的图像尺寸为场景图像的图像尺寸的二分之一，四分之一等等。在一个具体实现方式中，待分割图像的图像尺寸为场景图像的图像尺寸的四分之一，这样通过缩小场景图像，可以减少获取人像掩膜图的计算量，从而可以提高人像掩膜图的获取速度。
在本实施例的一个实现方式中，所述通过所述人像分割模型，确定所述待分割图像对应的人像掩膜图之后，所述方法还包括：
基于所述人像掩膜图，确定所述待分割图像的人像区域以及背景区域。
具体地，所述人像区域为待分割图像中的人像所占图像区域，所述背景区域为所述待分割图像中除人像区域外的图像区域。所述人像掩膜图中可以标注出人像区域，那么基于标注的人像区域可以确定背景区域，还可以将人像区域和背景区域采用不同的像素值来区分，例如，人像区域中的各像素点的像素值均设置为1，背景区域中的各像素点的像素值均设置为0等。此外，在确定所述待分割图像的人像区域以及背景区域之后，可以提取到待分割图像对应的人像图像以及背景图像。由此，所述基于所述人像掩膜图，确定所述待分割图像的人像区域以及背景区域之后，所述方法还包括：
基于所述人像区域以及所述背景区域，对所述待分割图像进行分割，以得到待分割图像对应的人像图像和/或背景图像。
具体地，所述人像图像为待分割图像中的人像所占图像区域对应的图像，即将待分割图像中的背景区域去除所得到的图像，背景图像为待分割图像中除人像区域后的图像。此外，由于在获取人像掩膜图像时，待分割图像的图像尺寸可以小于获取到的场景图像的图像尺寸，从而在得到待分割图像对应的人像图像和/或背景图像，可以将将人像图像的图像尺寸和/或背景图像的图像尺寸调整到场景图像的图像尺寸。当然，在实际应用中，先将待分割图像对应的人像掩膜图上采样到场景图像的图像尺寸，然后基于上采样得到的人像掩膜直接对场景图像进行分割，以得到人像图像和背景图像。
基于上述人像分割模型的生成方法，本实施例提供了一种人像分割模型，所述人像分割模型包括依次级联的第一卷积模块、第一特征提取模块、第二特征提取模块以及第二卷积模块，所述第一特征提取模块包括第一预设数量的因子化卷积模块，所述第二特征提取模块包括第二预设数量的因子化卷积模块，其中，所述因子化卷积模块包括若干第一卷积层、若干第二卷积层以及融合层，所述第一卷层的卷积核的宽度与高度的比值与第二卷积核的宽度与高度的比值互为倒数，所述融合层的输入项包括与其连接的第一卷积层或第二卷积层的输出项以及因子化卷积模块的输入项。
在一个实现方式中，所述第一卷积层的宽度或者第二卷积层的宽度等于1。
在一个实现方式中，所述因子化卷积模块还包括两个第三卷积层，若干第一卷积层和若干第二卷积层交替串联于两个第三卷积层之间，所述融合层的输入项包括两个第三卷积层中的位于最后的第三卷积层的输出项，以及位于最前的第三卷积层的输入项。
此外值得说明的是，所述人像分割模型的模型结构与预设网络模型的模型结构相同，具体可以参照上述预设网络模型说明，这里就不再赘述。
基于上述人像分割模型的生成方法，本实施例提供了一种人像分割模型的生成装置，如图8所示，所述的生成装置包括：
确定模块1000，用于将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图，其中，所述训练图像包括人像区域；
获取模块2000，用于获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；
训练模块3000，用于基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型。
基于上述人像分割模型的生成方法，本实施例提供了一种图像虚化方法，所述图像虚化方法包括：
N10、获取待处理图像的人像掩膜图，以及所述待处理图像对应的候选预览图像；
N20、基于所述人像掩膜图确定所述待处理图像对应的视差图，并基于所述视差图及所述待处理图像的预览焦点确定所述待处理图像对应的融合数据；
N30、基于所述融合数据，将所述候选预览图像与所述待处理图像融合，以得到所述待处理图像对应的预览图像。
具体地，所述待处理图像可以是通过成像模组拍摄的图像，所述成像模组至少包括两个成像器，两个成像器分别为主成像器和辅助成像器。所述主成像器和辅助成像器设置在同一平面上，主成像器和辅助成像器可以是横向相邻设置在一起，也可以是竖向相邻设置。所述主成像器和辅助成像器可以为电子设备(例如，智能手机)的双摄像头，即主成像器和辅助成像器均为摄像头。例如，主成像器和辅助成像器可以为双后置摄像头或双前置摄像头，其中，主成像器和辅助成像器可以一个为彩色成像器另一个为黑白成像器(例如，主成像器彩色成像器，辅助成像器为黑白成像器)，主成像器和辅助成像器也可以采用焦距不一样的成像器，当然，主成像器和辅助成像器也可以采用一样的成像器。当然，所述成像模组还可以包括3个成像器(例如，具有三个摄像头的智能手机等)，也可以包括4个成像器等。
所述待处理图像可以是通过电子设备自身配置的成像模组获取的待处理图像，也可以是通过网络、蓝牙以及红外等途径获取其他电子设备的成像模组采集得到的待处理图像。在本实施例的一个具体实现方式中，所述待处理图像为通过电子设备自身配置的成像模组拍摄得到，并且所述待处理图像通过所述成像模组的主成像器拍摄得到的图像。可以理解的是，电子设备配置有成像模组，所述成像模组包括至少主成像器和辅助成像器；主成像器用于拍摄待处理图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定待处理图像的视差图。例如，配置有双摄像头的手机拍照图像时，双摄像头中主摄像头采集到图像A，双摄像头中辅助摄像头采集到图像B，那么图像A为待处理图像，图像B为用于确定所述图像A的深度图的辅助图像。
在本实施例的一个实现方式中，所述待处理图像为通过电子设备自身配置的成像模组处于预览状态所形成的预览图像，换句话说，当电子设备启动拍摄功能并进入预览状态时，通过成像模组的主成像器对待采集场景进行拍摄所形成的预览图像。由此，所述获取待处理图像的人像掩膜图具体可以为：当电子设备进入拍摄预览功能时，通过电子设备配置的成像模组的主成像器拍摄预览图像，并将拍摄得到的预览图像作为待处理图像。
所述人像掩膜图可以用于反映待处理图像中的人像区域，所述掩膜图像可以是基于传统算法确定得到，也可以是基于神经网络模型得到的。此外，如图9所示，在所述人像掩膜图中，待处理图像中的人像区域中的像素点对应的像素点像素值为第一预设像素值，待处理图像中的除人像区域外的图像区域中的像素点对应的像素点的像素值为第二预设像素值，并且第一预设像素值与第二预设像素值不同。例如，第一预设像素值为1，第二预设像素值为0等。
在本实施例的一个实现方式中，所述待处理图像对应的候选预览图像具体包括：
将所述待处理图像的图像尺寸调整为预设图像尺寸，并对调整后的待处理图像进行高斯模糊处理，以得到参考虚化图像；
将所述参考虚化图像的图像尺寸调整为待处理图像的图像尺寸，并将调整后的参考虚化图像作为所述待处理图像对应的候选预览图像。
具体地，所述预设图像尺寸可以为预先设置的，也可以是基于待处理图像的图像尺寸确定的，并且预设图像尺寸小于所述待处理图像的图像尺寸，通过缩小待处理图像的图像尺寸，可以减少待处理图像的高斯模糊处理的时间，从而可以提高预览图像的实时性。在本实施例的一个实现方式中，所述预设图像尺寸为基于待处理图像的图像尺寸确定得到，例如，待处理图像的图像尺寸为预设图像尺寸的倍数，例如，2倍、4倍等。
在本实施例的一个实现方式中，所述视差图为双目视差图，其可以包括待处理图像中的各第一像素点各自对应的视差，其中，视差指的是左右双目图像中的两个匹配图像块的中心像素点的水平距离。由此，在获取待处理图像的视差图时，需要通过获取待处理图像的成像模组获取到的辅助图像，基于该待处理图像以及该辅助图像确定该待处理图像对应的视差图。相应的，所述基于所述人像掩膜图确定所述待处理图像对应的视差图具体包括：
确定所述待处理图像对应的辅助图像，并基于所述待处理图像以及所述辅助图像确定所述待处理图像对应的候选视差图；
基于所述人像掩膜图，在所述候选视差图中选取所述待处理图像中的人像区域对应的目标视差区域；
将所述目标视差区域中的各视差像素点的视差值均设置为预设视差值，以得到所述待处理图像对应的视差图。
具体地，所述待处理图像为通过成像模组的主成像器拍摄得到的，辅助图像为通过成像模组的辅助成像器拍摄得到的，所述辅助图像用于辅助确定待处理图像的视差图。其中，所述候选视差图为待处理图像中的各第一像素点与各自对应的第二像素点的视差所构成，视差指的是左右双目图像中的两个匹配图像块的中心像素点的水平距离，其中，各第一像素点各自对应的第二像素点均包含于辅助图像内，并且各第一像素点在待处理图像中的像素位置与其对应的第二像素点在辅助图像中的像素位置相同。
在本实施例的一个实现方式中，为了提高视差图的确定速度，在计算视差图之前可以调整待处理图像的图像尺寸以及辅助图像的图像尺寸，并且调整后的待处理图像的图像尺寸等于调整后的辅助图像的图像尺寸，且小于调整前的待处理图像的图像尺寸。此外，对于调整后的待处理图像中的每个第一像素点，候选视差图中均存在一个候选视差像素点，该候选视差像素点用于反映该第一像素点与其对应的第二像素点的视差值，并且该候视差像素点在候选视差图中的像素位置与该第一像素点在调整后的待处理图像中的像素位置相同。当然，值得说明的是，在实际应用中，也可以不对待处理图像以及辅助图像进行图像尺寸调整，而直接基于待处理图像以及辅助图像确定待处理图像对应的候选视差图。此外，在基于待处理图像和辅助图像确定候选视差图时，可以采用SGBM算法来确定候选视差图，并且在获取到候选视差图之后，可以对所述候选视差图进行后处理以提高候选视差图的准确性，例如，所述后处理可以包括孔洞填充以及联合双边滤波算法等。其中，所述SGBM算法、孔洞填充以及联合双边滤波算法均为现有算法，这里就不一一赘述。
目标视差区域为目标人像所处图像区域在候选视差图中的对应区域，例如，当待处理图像的图像尺寸与候选视差图的图像尺寸相等时，目标视差区域为视差图像中图像区域位置与目标人像所处图像区域在待处理图像中的图像区域位置相同，如，目标人像所处图像区域在待处理图像中的图像区域位置为四个顶点分别为[100,100]、[100,200]、[200,200]以及[200,100]的矩形区域，那么目标视差区域在候选视差图中的图像区域位置为以[100,100]、[100,200]、[200,200]以及[200,100]的矩形区域。此外，当候选视差图的图像尺寸与待处理图像的图像尺寸不相同，可以想将待处理图像的图像尺寸调整为候选视差图的图像尺寸，之后再在候选视差图中确定目标人像对应的目标视差区域，例如，待处理图像的图像尺寸为480*480，候选视差图的图像尺寸为240*240，那么可以对待处理图像进行下采样，以将待处理图像的图像尺寸调整为240*240。
所述预设视差值可以为预先设置的，也可以是基于目标视差区域确定，用于替换目标视差区域中的各视差像素点的视差值，使得目标视差区域中的各视差像素点的视差值相同，以保证目标人像对应的图像区域的视差值的一致性，避免图像虚化时出现人像误虚或者漏虚的情况。在本实施例的一个实现方式中，所述预设视差值可以为目标视差区域中各视差像素点各自对应的视差值的平均值，由此，在获取到目标视差区域后，获取目标视差区域中的各视差像素点各自对应的视差值，再计算各视差像素点各自对应的视差值的平均值，以得到所述目标视差区域中的各视差像素点的视差均值，最后将目标视差区域中的各视差像素点各自对应的视差值设置为视差均值，以得到所述待处理图像对应的视差图，例如，如图10所示的视差图。当然，在实际应用中，所述目标视差区域中的各视差像素点的视差均值还可以是加权均值，也可以是目标视差区域中部分像素点的视差平均值，还可以是目标视差区域中的各视差像素点的视差值的最大值或者最小值等，这里就不一一赘述。
在本实施例的一个实现方式中，在获取到待处理图像对应的候选视差图后，可以检测待处理图像中是否存在包括预览焦点的目标人像，若存在包含预览焦点的目标人像，则在所述候选视差图中选取目标人像对应的目标视差区域；若不存在包含预览焦点的目标人像，则将候选视差图作为待处理图像对应的视图。这样一方面在预览焦点处于目标人像所处图像区域时，可以对目标人像对应的目标视差区域进行优化，从而可以提高目标人像对应的图像区域的视差值的一致性，减少人像的误虚和漏虚；另一方预览焦点为处于人像所处图像区域内，或者待处理图像为包含人像时，可以基于候选视差图对所述待处理图像进行虚化，从而本实施例适用于包括人像的待处理图像和未包括人像的待处理图像，从而提高人像分割模型的生成方法的适用范围。
此外，所述预览焦点为待处理图像的焦点位置，所述预览焦点可以根据采集到的待处理图像自动生成，也可以根据用户的选取操作生成的，也可以是外部设备发送的。例如，当成像装置中显示待处理图像时，可以接收用户对所述待处理图像执行的点击操作，并获取点击操作对点击点作为预览焦点，并将所述点击点的位置信息(例如，点击点在所述显示界面上对应的像素点对应的像素位置，如，(125,150)等)作为预览焦点的位置信息。
所述融合数据包括若干融合系数，若干融合系数中的每个融合系数均对应的待处理图像中的一个像素点，并且各融合系数各自对应的待处理图像中的像素点互不相同，其中，每个融合系数用于将虚化图像与待处理图像融合。在本实施例的一个实现方式，所述基于所述视差图及所述待处理图像的预览焦点确定所述待处理图像对应的融合数据具体包括：
对于所述视差图中的每个视差像素点，获取该视差像素点对应的视差值，根据所述视差值以及所述待处理图像的预览焦点的焦点视差值，确定该视差像素点对应的融合系数，以得到各视差像素点各自对应的融合系数；
将各视差像素点各自对应的融合系数作为所述待处理图像对应的融合数据。
具体地，所述预览焦点为待处理图像的焦点位置，预览焦点对应的焦点视差值为视差图中与预览焦点对应的视差像素点的像素值，例如，待处理图像中的预览焦点的像素位置为(100,100)，视差图的图像尺寸与待处理图像的图像尺寸相同，那么预览焦点的焦点视差为视差图中像素位置为(100,100)的视差像素点的像素值。
进一步，在获取到预设焦点对应的焦点视差值后，计算该视差值与焦点视差值的差值，并基于该差值计算该视差像素点对应的融合系数，其中，融合系数的计算公式可以为：
disp′＝Max_Disp*p/(1+p)
p＝exp(-(disp-focus_disp)2/σ)
其中，disp′表示融合系数，disp表示视差像素点的视差值，focus_disp表示焦点视差值，Max_Disp为大于256的常数，σ为大于0的常数，exp(·)为指数函数。在一个具体实现方式中，Max_Disp可以为570，σ可以为16。
在本实施的一个实现方式中，所述预览图像为用于预览显示的图像，例如，如图11所述的预览图像，其中，预览图像的图像尺寸与待处理图像的图像尺寸相同，并且对于预览图像中的每个预览像素点，该预览像素点的像素值为基于待处理图像中的第一像素点的像素值、候选预览图像中的第二像素点的像素值以及第一像素点对应的融合系数计算得到，其中，第一像素点为待处理图像中的像素点，第二像素点为候选预览图像中的像素点，并且第一像素点在待处理图像中的像素位置、第二像素点在候选预览图像中的像素位置以及该预览像素点在预览图像中的像素位置均相同。例如，预览像素点在预览图像中的像素位置为(50,60)，第一像素点在待处理图像中的像素位置为(50,60)，第二像素点在候选预览图像中的像素位置为(50,60)。在一个具体实现方式中，假设第一像素点的像素值为a，第二像素点的像素值为b，那么预览像素点的像素值c的计算公式可以为：c＝a*disp′+b*(1-disp′)其中，disp′表示融合系数。由此，所述融合图像可以表示为：
I_prvBokeh＝I*W+I_blur*(1-W)
其中，I_prvBokeh表示预览图像，I表示待处理图像，W表示融合数据，I_blur表示候选预览图像。
基于上述图像虚化方法，本实施例提供了一种图像虚化装置，所述图像虚化装置包括：
获取模块，用于获取待处理图像的人像掩膜图，以及所述待处理图像对应的候选预览图像；
确定模块，用于基于所述人像掩膜图确定所述待处理图像对应的视差图，并基于所述视差图及所述待处理图像的预览焦点确定所述待处理图像对应的融合数据；
融合模块，用于基于所述融合数据，将所述候选预览图像与所述待处理图像融合，以得到所述待处理图像对应的预览图像。
基于上述人像分割模型的生成方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的人像分割模型的生成方法中的步骤。
基于上述人像分割模型的生成方法，本申请还提供了一种终端设备，如图12所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述人像分割模型的生成装置的具体工作过程，存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (18)

1.一种人像分割模型的生成方法，其特征在于，所述的生成方法包括：
将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图，其中，所述训练图像包括人像区域；
获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；
基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型。
2.根据权利要求1所述人像分割模型的生成方法，其特征在于，所述权重图的图像尺寸与所述预测人像掩膜图的图像尺寸相同，并且权重图包括预测人像掩膜图中的各掩膜像素点各自对应的权重值。
3.根据权利要求1所述人像分割模型的生成方法，其特征在于，所述基于人像边缘确定所述预测人像掩膜图对应的权重图具体包括：
对于所述预测人像掩膜图中的每个掩膜像素点，确定该掩膜像素点对所述人像边缘的距离，并将所述距离作为该掩膜像素点的权重值，以得到所述预测人像掩膜图中的各掩膜像素点各自对应的权重值；
采用所述预测人像掩膜图中的各掩膜像素点各自对应的权重值替换各掩膜像素点各自对应的像素值，以得到所述预测人像掩膜图对应的权重图。
4.根据权利要求1所述人像分割模型的生成方法，其特征在于，所述基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型具体包括：
对于预测人像掩膜图中的每个掩膜像素点，基于所述预测人像掩膜图及所述训练图像对应的目标人像掩膜图确定该掩膜像素点对应的候选损失值，以得到所述预测人像掩膜图中的各掩膜像素点各自对应的候选损失值；
基于所述权重图，将各掩膜像素点各自对应的候选损失值进行加权处理，以得到训练图像对应的目标损失值；
基于所述目标损失值对所述预设网络模型进行训练，以得到人像分割模型。
5.根据权利要求1-4任一项所述人像分割模型的生成方法，其特征在于，所述预设网络模型包括若干因子化卷积模块，所述因子化卷积模块包括若干第一卷积层、若干第二卷积层以及融合层，所述第一卷层的卷积核的宽度与高度的比值与第二卷积核的宽度与高度的比值互为倒数，所述融合层的输入项包括与其连接的第一卷积层或第二卷积层的输出项以及因子化卷积模块的输入项。
6.根据权利要求5所述人像分割模型的生成方法，其特征在于，所述第一卷积层的宽度或者第二卷积层的宽度等于1。
7.根据权利要求5所述人像分割模型的生成方法，其特征在于，所述因子化卷积模块还包括两个第三卷积层，若干第一卷积层和若干第二卷积层交替级联于两个第三卷积层之间，所述融合层的输入项包括两个第三卷积层中的位于最后的第三卷积层的输出项，以及位于最前的第三卷积层的输入项。
8.根据权利要求5所述人像分割模型的生成方法，其特征在于，所述预设网络模型还包括第一卷积模块和第二卷积模块，所述第一卷积模块与所述第二卷积模块串行设置，所述若干因子化卷积模块中的一部分因子化卷积模块级联于所述第一卷积模块和所述第二卷积模块之间，所述若干因子化卷积模块中另一部分因子化卷积模块级联于所述第二卷积模块之后。
9.一种人像分割方法，其特征在于，应用于如权利要求1-8任一所述的人像分割模型的生成方法所生成的人像分割模型，所述人像分割方法具体包括：
将待分割图像输入所述人像分割模型；
通过所述人像分割模型，确定所述待分割图像对应的人像掩膜图。
10.根据权利要求9所述人像分割方法，其特征在于，所述通过所述人像分割模型，确定所述待分割图像对应的人像掩膜图之后，所述方法还包括：
基于所述人像掩膜图，确定所述待分割图像的人像区域以及背景区域，其中，所述背景区域为所述待分割图像中除人像区域外的图像区域。
11.根据权利要求10所述人像分割方法，其特征在于，所述基于所述人像掩膜图，确定所述待分割图像的人像区域以及背景区域之后，所述方法还包括：
基于所述人像区域以及所述背景区域，对所述待分割图像进行分割，以得到待分割图像对应的人像图像和/或背景图像。
12.根据权利要求9所述人像分割方法，其特征在于，所述将待分割图像输入所述人像分割模型之前，所述方法还包括：
通过成像模组采集场景图像，并对所述场景图像的图像尺寸进行调整，以得到待分割图像，其中，所述待分割图像的图像尺寸小于场景图像的图像尺寸。
13.一种人像分割模型，其特征在于，所述人像分割模型通过如权利要求1-8任一所述的人像分割模型的生成方法训练得到的，所述人像分割模型包括依次级联的第一卷积模块、第一特征提取模块、第二卷积模块以及第二特征提取模块，所述第一特征提取模块包括第一预设数量的因子化卷积模块，所述第二特征提取模块包括第二预设数量的因子化卷积模块，其中，所述因子化卷积模块包括若干第一卷积层、若干第二卷积层以及融合层，所述第一卷层的卷积核的宽度与高度的比值与第二卷积核的宽度与高度的比值互为倒数，所述融合层的输入项包括与其连接的第一卷积层或第二卷积层的输出项以及因子化卷积模块的输入项。
14.根据权利要求13所述人像分割模型，其特征在于，所述第一卷积层的宽度或者第二卷积层的宽度等于1。
15.根据权利要求13所述人像分割模型，其特征在于，所述因子化卷积模块还包括两个第三卷积层，若干第一卷积层和若干第二卷积层交替级联于两个第三卷积层之间，所述融合层的输入项包括两个第三卷积层中的位于最后的第三卷积层的输出项，以及位于最前的第三卷积层的输入项。
16.一种人像分割模型的生成装置，其特征在于，所述的生成装置包括：
确定模块，用于将预设训练样本中的训练图像输入预设网络模型，通过预设网络模型确定所述训练图像对应的预测人像掩膜图，其中，所述训练图像包括人像区域；
获取模块，用于获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；
训练模块，用于基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-8任意一项所述的人像分割模型的生成方法中的步骤，或者以实现如权利要求9-12任意一项所述的人像分割方法中的步骤。
18.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-8任意一项所述的人像分割模型的生成方法中的步骤，或者实现如权利要求9-12任意一项所述的人像分割方法中的步骤。
CN202110372546.XA 2021-04-07 2021-04-07 人像分割模型的生成方法、人像分割模型及人像分割方法 Pending CN115170581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110372546.XA CN115170581A (zh) 2021-04-07 2021-04-07 人像分割模型的生成方法、人像分割模型及人像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110372546.XA CN115170581A (zh) 2021-04-07 2021-04-07 人像分割模型的生成方法、人像分割模型及人像分割方法

Publications (1)

Publication Number Publication Date
CN115170581A true CN115170581A (zh) 2022-10-11

Family

ID=83476288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110372546.XA Pending CN115170581A (zh) 2021-04-07 2021-04-07 人像分割模型的生成方法、人像分割模型及人像分割方法

Country Status (1)

Country Link
CN (1) CN115170581A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789093A (zh) * 2023-12-28 2024-03-29 武汉言平科技有限公司 一种基于人工智能的音视频合成处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789093A (zh) * 2023-12-28 2024-03-29 武汉言平科技有限公司 一种基于人工智能的音视频合成处理方法

Similar Documents

Publication Publication Date Title
CN109493350B (zh) 人像分割方法及装置
US11882357B2 (en) Image display method and device
US10430075B2 (en) Image processing for introducing blurring effects to an image
US9196071B2 (en) Image splicing method and apparatus
EP4109392A1 (en) Image processing method and image processing device
CN114245905A (zh) 深度感知照片编辑
WO2020215644A1 (zh) 视频图像处理方法及装置
WO2021189733A1 (zh) 图像处理方法及装置、电子设备、存储介质
US20180330470A1 (en) Digital Media Environment for Removal of Obstructions in a Digital Image Scene
CN110852334B (zh) 用于自适应像素滤波的系统和方法
WO2020087729A1 (zh) 一种图像处理方法及装置、电子设备、存储介质
WO2020186385A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
WO2020001222A1 (zh) 图像处理方法、装置、计算机可读介质及电子设备
Dutta Depth-aware blending of smoothed images for bokeh effect generation
WO2023125440A1 (zh) 一种降噪方法、装置、电子设备及介质
CN115170383A (zh) 一种图像虚化方法、装置、存储介质及终端设备
Conde et al. Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report
CN111353965B (zh) 图像修复方法、装置、终端及存储介质
WO2014014135A1 (ko) 촬영된 이미지의 리포커싱 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
CN113962873A (zh) 一种图像去噪方法、存储介质及终端设备
CN115170581A (zh) 人像分割模型的生成方法、人像分割模型及人像分割方法
CN114677286A (zh) 一种图像处理方法、装置、存储介质及终端设备
CN112508801B (zh) 图像处理方法及计算设备
CN111754411B (zh) 图像降噪方法、图像降噪装置及终端设备
KR20150094108A (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination