CN112308866B - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112308866B CN112308866B CN202011219042.6A CN202011219042A CN112308866B CN 112308866 B CN112308866 B CN 112308866B CN 202011219042 A CN202011219042 A CN 202011219042A CN 112308866 B CN112308866 B CN 112308866B
- Authority
- CN
- China
- Prior art keywords
- image
- portrait
- segmentation
- value
- transparency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 164
- 210000000746 body region Anatomy 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 65
- 230000004927 fusion Effects 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 15
- 238000003709 image segmentation Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 description 22
- 230000004913 activation Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法、装置、电子设备及存储介质，该图像处理方法包括：获取待处理的人像图像，其中，所述人像图像中的人像区域包括身体区域以及头发区域；将所述人像图像输入至预先训练的人像分割模型，获得所述人像分割模型输出的透明度通道分割图像以及二值掩模图像，其中，所述透明度通道分割图像中头发区域的透明度值与除所述头发区域以外的其他区域的透明度值不同，所述二值掩模图像中身体区域的像素值与除所述身体区域以外的其他区域的像素值不同；将所述透明度通道分割图像与所述二值掩模图像进行合成，获得所述人像图像的人像分割图像。本方法可以提升人像分割的准确性。
Description
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
人像分割是一种将图像中的人像从背景中分离出来的技术，在电子设备的人像背景虚化、人像留色以及背景替换等诸多领域都有着广泛的应用。然而，电子设备在进行人像分割时，人像分割结果的准确性和精细化程度影响着用户的体验。
发明内容
鉴于上述问题，本申请提出了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取待处理的人像图像，其中，所述人像图像中的人像区域包括身体区域以及头发区域；将所述人像图像输入至预先训练的人像分割模型，获得所述人像分割模型输出的透明度通道分割图像以及二值掩模图像，其中，所述透明度通道分割图像中头发区域的透明度值与除所述头发区域以外的其他区域的透明度值不同，所述二值掩模图像中身体区域的像素值与除所述身体区域以外的其他区域的像素值不同；将所述透明度通道分割图像与所述二值掩模图像进行合成，获得所述人像图像的人像分割图像。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：图像获取模块、图像输入模块以及图像合成模块，其中，所述图像获取模块用于获取待处理的人像图像，其中，所述人像图像中的人像区域包括身体区域以及头发区域；所述图像输入模块用于将所述人像图像输入至预先训练的人像分割模型，获得所述人像分割模型输出的透明度通道分割图像以及二值掩模图像，其中，所述透明度通道分割图像中头发区域的透明度值与除所述头发区域以外的其他区域的透明度值不同，所述二值掩模图像中身体区域的像素值与除所述身体区域以外的其他区域的像素值不同；所述图像合成模块用于将所述透明度通道分割图像与所述二值掩模图像进行合成，获得所述人像图像的人像分割图像。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的图像处理方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。
本申请提供的方案，通过获取待处理的人像图像，人像图像中的人像区域包括身体区域以及头发区域，将待处理的人像图像输入至预先训练的人像分割模型，获得人像分割模型输出的透明度通道分割图像以及二值掩膜图像，该透明度通道分割图像中的头发区域的透明度值与除头发区域以外的其他区域的透明度值不同，该二值掩膜图像中身体区域的像素值与除身体区域以外的其他区域的像素值不同，然后将透明度通道图像与二值掩膜图像进行合成，获得人像图像的人像分割图像。实现在对人像图像进行人像分割时，对头发区域进行分割获得透明度通道分割图像，而身体区域采用二值分割获得二值掩膜图像，再合成获得人像分割图像，从而提升人像分割图像中头发区域的准确性，进而提升人像分割结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的图像处理方法流程图。
图2示出了根据本申请另一个实施例的图像处理方法流程图。
图3示出了本申请实施例提供的人像分割模型的原理示意图。
图4示出了本申请实施例提供的人像分割模型中第一编码器的结构示意图。
图5示出了根据本申请又一个实施例的图像处理方法流程图。
图6示出了本申请实施例提供的人像分割模型的训练过程的示意图。
图7示出了根据本申请一个实施例的图像处理装置的一种框图。
图8是本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备的框图。
图9是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
抠图是计算视觉领域一个基础的课题，而人像抠图是其中一个相当重要的应用。在当下各种电子设备中，都需要高精度的人像抠图技术，在人像虚化、背景替换等方面有着广泛的应用。随着深度学习的发展，目前通常使用卷积神经网络来处理人像抠图任务。在人像抠图任务中，主要是将人像作为前景，对图片中前景后景进行分割，计算得到透明度通道图即阿尔法(alpha)通道图，也就是对人像图像进行分割后，获得三分图。因此其依赖于提供的对人像进行分割后的三分图或者依赖于分割模型产生的三分图，三分图中主要是将前景、背景和不确定区域分别设置的不同的透明度，例如，前景的透明度设置为1，背景区域的透明度设置为0，不确定区域的透明度设置为0-1之间的透明度值，从而使得人像图像被划分为三个区域。
发明人经过长时间的研究发现，在传统的人像分割技术中，通常是根据像素值对人像区域进行分割，但是头发区域的发丝较为精细，因此利用像素值进行分割，会影响准确性。虽然有根据透明度进行人像分割的技术，但是其是对整个人体区域按照透明度进行分割，这就需要在训练模型时，对整个人像区域标注透明度信息，以便训练出可用直接输出透明度通道图像的模型，但是由于需要对整个人像区域标注透明度信息，这也带来了巨大的工作量。
针对上述问题，发明人提出了本申请实施例提供的图像处理方法、装置、电子设备以及存储介质，可以实现在对人像图像进行人像分割时，根据透明度通道对头发区域进行分割，而身体区域采用像素值进行二值分割，提升人像分割图像中头发区域的准确性，进而提升人像分割结果的准确性，并且采用的人像分割模型无需使用对整个人像区域进行透明度信息的标注，减少了工作量。其中，具体的图像处理方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请一个实施例提供的图像处理方法的流程示意图。在具体的实施例中，所述图像处理方法应用于如图7所示的图像处理装置400以及配置有所述图像处理装置400的电子设备100(图8)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表、笔记本电脑等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S110：获取待处理的人像图像，其中，所述人像图像中的人像区域包括身体区域以及头发区域。
在本申请实施例中，电子设备可以获取待进行人像分割的人像图像。其中，人像图像为包含有人像区域的图像，人像区域可以由身体区域以及头发区域构成等，在此不做限定。
作为一种实施方式，电子设备为智能手机、平板电脑、智能手表等设置有摄像头的移动终端时，可以通过前置摄像头或者后置摄像头对人物进行图像采集，从而获得人像图像，例如，电子设备可以通过后置摄像头采集人物图像，并将获得的图像作为待处理的人像图像。
作为又一种实施方式，电子设备可以从本地获取待处理的人像图像，也就是说，电子设备可以从本地存储的文件中获取待处理的人像图像，例如，电子设备为移动终端时，可以从相册获取待处理的人像图像，即电子设备预先通过摄像头采集人像图像后存储在本地相册，或者预先从网络下载人像图像后存储在本地相册等，然后在需要对人像图像进行人像分割时，从相册中读取待处理的人像图像。
作为再一种方式，电子设备为移动终端或者电脑时，也可以从网络下载待处理的人像图像，例如，电子设备可以通过无线网络、数据网络等从相应的服务器下载需求的人像图像。
作为还一种实施方式，电子设备也可以通过用户在其他设备的输入操作，对输入的待处理的人像图像进行接收，从而获得待处理的人像图像。当然，电子设备具体获取待处理的人像图像的方式可以不作为限定。
步骤S120：将所述人像图像输入至预先训练的人像分割模型，获得所述人像分割模型输出的透明度通道分割图像以及二值掩模图像。
在本申请实施例中，电子设备在获取到待处理的人像图像之后，可以将人像图像输入至预先训练的人像分割模型中，以得到人像分割模型输出的透明度通道分割图像以及二值掩膜图像。其中，透明度通道分割图像是根据图像的透明度通道信息，对头发区域进行分割后获得的透明度通道图像，在透明度通道分割图像中，分割出的头发区域的透明度值与图像中其他区域的透明度值不同，从而可以从透明度通道分割图像中区分出头发区域，例如，头发区域的透明度值可以为1，而其他区域的透明度值可以为0，又例如，头发区域的透明度值可以为0，而其他区域的透明度值可以为1；二值掩膜图像是指根据图像的像素值，对身体区域进行分割后获得的二值图像，二值掩膜图像中，身体区域的像素值与其他区域的像素值不同，从而可以区分出二值掩膜图像中的身体区域，例如，身体区域的像素值可以为255，而其他区域的像素值可以为0，又例如，身体区域的像素值可以为0，而其他区域的像素值可以为255，在此不做限定。以上身体区域可以理解为人像区域中除了头发以外的区域，可以由人脸区域和躯干区域(例如脖子、手臂、胸膛等)构成。
在一些实施方式中，电子设备可以在检测到对人像图像的处理指令时，将人像图像输入至预先训练的人像分割模型。示例性的，电子设备可以展示用于进行图像处理的界面，在检测到进行背景替换的操作时，由于背景替换需要分割出人像图像，因此可以将待处理的人像图像输入到预先训练的人像分割模型，以对人像进行分割。当然，以上应用场景仅为举例，并不代表对本申请实施例提供的图像处理方法实际的应用场景的限定。
步骤S130：将所述透明度通道分割图像与所述二值掩模图像进行合成，获得所述人像图像的人像分割图像。
在本申请实施例中，电子设备在获取到人像分割模型输出的透明度通道分割图像以及二值掩膜图像之后，由于透明度通道分割图像中包含分割出的头发区域，而二值掩膜图像中包含分割出的身体区域，因此可以将透明度通道分割图像与二值掩膜图像进行合成，从而获得分割出整个人像区域的人像分割图像。
在一些实施方式中，电子设备将所述透明度通道分割图像与所述二值掩模图像进行合成，获得所述人像图像的人像分割图像，可以包括：
根据所述透明度通道分割图像获取头发区域的区域图像；将所述区域图像合成于所述二值掩膜图像的对应区域。
在该实施方式中，电子设备可以根据透明度通道分割图像中头发区域与其他区域的透明度值的不同，从透明度通道分割图像中分离出头发区域的区域图像。由于二值掩膜图像中未分割出头发区域，因此可以根据头发区域在透明度通道分割图像中的像素坐标，将二值掩膜图像中相应像素坐标处的像素点进行替换，完成将头发区域与二值掩膜图像中分割出的身体区域的合成。在完成合成之后，还可以对整个图像添加透明度通道，并将身体区域的透明度值设置为与头发区域的透明度值相同，而其他区域可以设置为与身体区域和头发区域不同的透明度值，例如，头发区域以及身体区域的透明度值可以为1，其他区域的透明度值可以为0。
在一些方式中，电子设备还可以根据获得的人像分割图像，对人像分割图像中以上分割出的身体区域和头发区域进行像素值设定，当透明度通道分割图像中头发区域的像素值与身体区域的像素值不同时，可以将人像分割图像中头发区域的像素值设置为与身体区域相同，并且由于原本的二值掩膜图像中，身体区域与其他区域的像素值不同，因此处理后的人像分割图像中，整个人像区域的像素值相同，并且可以与其他区域区分。电子设备可以将处理后的人像分割图像进行显示，以便用户可以观察人像分割图像的分割效果。
本申请实施例提供的图像处理方法，实现在对人像图像进行人像分割时，利用人像分割模型对头发区域进行分割获得透明度通道分割图像，而身体区域采用二值分割获得二值掩膜图像，再合成获得人像分割图像，由于人像区域的头发区域利用透明度信息进行分割，从而提升人像分割图像中头发区域的准确性，进而提升人像分割结果的准确性。另外，人像分割模型不是将整个人像区域以透明度信息进行分割，从而无需在训练人像冯模型时，对训练样本图像的整个人像区域以透明度信息进行标注，减少了用户的工作量。
请参阅图2，图2示出了本申请另一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图2所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S210：获取待处理的人像图像，其中，所述人像图像中的人像区域包括身体区域以及头发区域。
步骤S220：对所述人像图像进行预处理。
在一些实施方式中，电子设备在将待处理的人像图像输入至预先训练的人像分割模型之前，还可以对人像图像进行预处理，以满足人像分割模型度输入图像的要求。可以理解的，该人像分割模型对于输入的图像的属性可能会有一些要求，输入的图像应当符合这些要求，人像分割模型才能够正确处理。然而，有时直接获得的人像图像并不能满足这些要求，因此需要对获得的人像图像进行预处理。
在一种情况下，电子设备对人像图像进行预处理，可以包括：
将所述人像图像的尺寸调整为预设尺寸，其中，所述预设尺寸为所述人像分割模型所需的输入图像的尺寸。
可以理解地，人像分割模型要求输入图像的尺寸为预设尺寸，例如128x128，如果原始图像不是预设尺寸，应当将其调整为预设尺寸，以便人像分割模型能够正确处理。
在一种情况下，人像分割模型要求输入图像的像素值应当归一化，例如，像素值应当为[0，1]之间的实数，如果尺寸调整后的图像的像素值未归一化，应当将其归一化，例如，尺寸调整后的图像的像素值表示为[0，255]之间的整数，可以通过除以255的方式进行归一化，以便人像分割模型能够正确处理。可以理解的，归一化可以有不同的定义，例如在另一种归一化的定义中，像素值应当为[－1，1]之间的实数，针对不同的归一化定义，归一化的方式应当相应地调整。
在一种情况下，电子设备对所述人像图像进行预处理，可以包括：将所述人像图像的像素值减去平均像素值，以及除以像素值方差。可以理解地，为对人像图像进行标准化，可以对人像图像的各个像素点的像素值减去该人像图像的像素点的平均像素值。另外，还可以计算像素点的像素值的方差，得到像素值方差，将各个像素点的像素值减去该人像图像的像素点的平均像素值之后，还可以将各个像素点的像素值除以该像素值方差。
步骤S230：将所述人像图像输入至预先训练的人像分割模型，获得所述人像分割模型输出的透明度通道分割图像以及二值掩模图像。
在本申请实施例中，请参阅图3，人像分割模型10可以包括：第一编码器11、第二编码器12、特征融合模块13、第一解码器14以及第二解码器15。第一编码器11以及第二编码器12的输入端用于输入图像，第一编码器11以及第二编码器12的输出端与特征融合模块13的输入端连接，特征融合模块13与第一解码器14以及第二解码器15的输入端连接。其中，所述第一编码器11用于提取所述人像图像的头部特征图；所述第二编码器12用于提取所述人像图像的原图特征图；所述特征融合模块13用于将所述头部特征图与所述原图特征图进行特征融合，获得融合特征图作为所述人像图像的特征图；所述第一解码器14用于根据所述人像图像的特征图，生成透明度通道分割图像，并输出透明度通道分割图像；所述第二解码器15用于根据所述人像图像的特征图，生成所述二值掩模图像，并输出二值掩模图像。其中，头部特征图为提取的人像图像的头部区域的图像特征；原图特征为对整个人像图像提取的图像特征。
在一些实施方式中，请参阅图3，电子设备在将人像图像输入至人像分割模型时，可以利用预先训练的头部检测模型，获取人像图像中的头部区域，头部区域由头发区域以及人脸区域构成；然后，将头部区域输入至人像分割模型中的第一编码器，将人像图像输入至第二编码器。
在一些实施方式中，请参阅图4，第一编码器11可以包括：第一卷积模块111、第二卷积模块112、第三卷积模块113、第四卷积模块114以及第五卷积模块115。其中，第一卷积模块111包括依次连接的一个第一卷积层和一个第二卷积层；第二卷积模块112包括依次连接的一个第一卷积层和两个第二卷积层；第三卷积模块113包括依次连接的一个第一卷积层和三个第二卷积层；第四卷积模块114包括依次连接的一个第一卷积层和三个第二卷积层；第五卷积模块115包括依次连接的一个第一卷积层和四个第二卷积层。第一卷积层由步长为2的卷积层、正则化层和ReLU激活函数层构成，第二卷积层由步长为1的卷积层、正则化层和ReLU激活函数层构成。
在第一卷积模块111、第二卷积模块112、第三卷积模块113以及第四卷积模块114中，其第一卷积层用于进行升维，即提升输入的特征图的通道数量。例如，在第一卷积模块111中，经过其第一卷积层后，特征图的通道数由3变为64，在第二卷积模块112中，经过其第一卷积层后，特征图的通道数由64变为128，在第三卷积模块113中，经过其第一卷积层后，特征图的通道数由128变为256，在第四卷积模块114中，经过其第一卷积层后，特征图的通道数由256变为512。第五卷积模块115的第一卷积层可以是针对每个通道独立地进行卷积运算，其针对输入的特征图的通道数不发生改变。
以上每个卷积模块的第二卷积层针对每个通道独立地进行卷积运算，其针对输入的特征图的通道数不发生改变。为提高运算速度，在一些实现方式中，第二卷积层的卷积步进可以设置为大于1的整数，在另一些实现方式中，为获得较大的感受野，第二卷积层可以采用带洞卷积，其扩张率为大于1的整数(扩张率为1可以认为就是普通卷积)。
在一些实施方式中，第二编码器12可以包括：第六卷积模块以及第七卷积模块。其中，第六卷积模块可以包括1个上述的第一卷积层以及与第一卷积层连接的2个上述的第二卷积层；第七卷积模块可以包括1个上述的第一卷积层以及与第一卷积层连接的3个上述的第二卷积层。其中，在第六卷积模块以及第七卷积模块中，第一卷积层同样用于进行升维，即提升输入的特征图的通道数量；第二卷积层针对每个通道独立地进行卷积运算，其针对输入的特征图的通道数不发生改变。
在一些实施方式中，特征融合模块13可以包括：双线性插值上采样层以及多个卷积层。其中，双线性插值上采样层用于将头部特征图的尺寸调整至原图特征图的尺寸；多个卷积层用于将经过调整尺寸后的头部特征图与原图特征图根据通道维度进行拼接，获得拼接后的特征图，以及降低所述拼接后的特征图的通道数，获得融合特征图。
在一些实施方式中，第一解码器14包括依次连接的第一双线性插值上采样层、第三卷积层、第二双线性插值上采样层、第四卷积层、第三双线性插值上采样层、第五卷积层以及第一分类层。其中，第一双线性插值上采样层以及第二双线性插值上采样层为2倍上采样层，第三卷积层、第四卷积层以及第五卷积层由步长为1的卷积层、正则化层以及relu激活函数构成。第一双线性插值上采样层、第二双线性插值上采样层以及第三双线性插值上采样层用于对编码器输出的特征图进行放大，例如放大为和待处理图像相同的尺寸，以便生成尺寸合适的分割图像。第一分类层用于根据特征图中各个像素点的透明度值，对各个像素进行二分类，第一分类层可以通过sigmoid激活函数实现。在该方式中，特征图经过第一解码器14的各层后，通道数减少，并最终输出单通道的透明度通道分割图像(即灰度图像)。透明度通道分割图像中，头发区域的灰度值与其他区域的灰度值不同。
在一些实施方式中，第二解码器15包括依次连接的第四双线性插值上采样层、第六卷积层、第七卷积层、第五双线性插值上采样层、第八卷积层、第六双线性插值上采样层、第九卷积层、第十卷积层、第七双线性插值上采样层以及第二分类层。其中，第四双线性插值上采样层、第五双线性插值上采样层以及第六双线性插值上采样层为2倍上采样层，第六卷积层、第七卷积层、第八卷积层、第九卷积层以及第十卷积层由步长为1的卷积层、正则化层以及relu激活函数构成。第四双线性插值上采样层、第五双线性插值上采样层、第六双线性插值上采样层以及第七双线性插值上采样层用于对编码器输出的特征图进行放大，例如放大为和待处理图像相同的尺寸，以便生成尺寸合适的分割图像。第二分类层用于根据特征图的各个像素点的像素值，对各个像素点进行二分类，第二分类层可以通过softmax激活函数实现。在该方式中，特征图经过第二解码器15的各层后，通道数减少，并最终输出双通道的透明度通道分割图像。
在以上方式中，第一编码器11可以输出128通道数的头部特征图，第二编码器12可以输出512通道数的原图特征图。特征融合模块13将头部特征图先通过双线性插值缩放到和原图特征图一样的尺寸，然后再与原图特征图在通道维度上进行拼接，变成一个通道数为640的特征图，特征融合模块13末尾输出一个256通道数的融合特征图。第一解码器14中的末尾采用双线性插值上采样，将特征图尺寸缩放到和头部区域(即头部区域的原图)同样的尺寸，最后输出时，将头部特征图经过sigmoid激活函数处理得到透明度通道分割图。第二解码器15的末尾双线性插值将特征图尺寸缩放到原图大小，然后进行softmax激活函数处理，最后输出二值掩膜图像。
步骤S240：将所述透明度通道分割图像与所述二值掩模图像进行合成，获得所述人像图像的人像分割图像。
在本申请实施例中，由于是将提取的头部区域以及人像图像输入至人像分割模型，且人像分割模型的第二解码器输出的二值掩膜图像为双通道的图像，因此可以将二值掩膜图像变为单通道的图像(即灰度图像)，然后根据头部区域在人像图像中的像素坐标，确定头部区域对应的透明度通道分割图像中分割出的头发区域在人像图像中的像素坐标，再将分割出的头发区域对二值掩膜图像中的相应像素坐标的像素进行替换，从而得到合成后的图像，即将分割出头发区域与分割出的身体区域进行合成的图像，获得人像图像的人像分割图像。
在一些实施方式中，电子设备在获得人像图像的人像分割图像之后，还可以根据人像分割图像，将人像图像的背景替换成指定背景。其中，电子设备可以获取指定背景的背景图像，根据人像分割图像从人像图像中取出人像区域，再根据人像区域在人像图像中的像素坐标，将背景图像中的相应像素坐标的像素进行替换，获得背景替换后的图像。当然，电子设备根据人像分割图像对人像图像的背景进行替换的方式并不局限于此。电子设备也可以根据人像分割图像对人像图像进行其他的处理，例如，美颜处理、人像虚化等。
本申请实施例提供的图像处理方法，提供了人像分割模型，人像分割模型可以输出分割出头发区域的透明度通道图像，以及分割出身体区域的二值掩膜图像，通过将分割出的头发区域合成于二值掩膜图像，即可获得人像分割图像，无需三分图的输入，避免了三分图的不准确性带来的误差。并且，采用了第一编码器提取头部特征，可以强化头发区域的提取精确度，进一步提升人像分割的准确性。
请参阅图5，图5示出了本申请又一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图5所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S310：获取样本图像集，所述样本图像集中包括多张人像样本图像，每张人像样本图像中包括以透明度通道值标注的头发区域，以及以像素值标注的身体区域。
在本申请实施例中，电子设备可以获取多张人像样本图像，以用于人像分割模型的训练。其中，人像样本图像可以来源于包含大量图像的训练集，例如COCO Dataest数据集，IMAGECLEF数据集等，在此不做限定。另外，可以获取对人像样本图像进行标注，每张人像样本图像中包括以透明度通道值标注的头发区域，以及以像素值标注的身体区域。
在一些实施方式中，可以将头发区域透明度设置第一透明度，将其他区域的透明度设置为第二透明度；并且将身体区域的像素值、头发区域以及其他区域的像素值设置为不同的像素值，使三个区域可以根据像素值区分，从而根据透明度值的不同可以确定出标注的人像区域，根据像素值的不同可以确定出标注的身体区域以及标注的头发区域。
步骤S320：将所述人像样本图像输入至初始模型，获得所述初始模型输出的透明度通道分割图像以及二值掩模图像。
步骤S330：根据所述初始模型输出的透明度通道分割图像、二值掩模图像、所述人像样本图像中以透明度通道值标注的头发区域以及以像素值标注的身体区域，计算总损失函数的值。
在一些实施方式中，电子设备计算总损失函数的值，可以包括：
根据所述初始模型输出的透明度通道分割图像以及所述人像样本图像中以透明度通道值标注的头发区域，计算头发区域的分割损失值作为第一损失函数的值；根据所述初始模型输出的二值掩模图像，以及所述人像样本图像中以像素值标注的身体区域，计算身体区域的分割损失值作为第二损失函数的值；根据将所述初始模型输出的透明度通道分割图像以及二值掩模图像进行合成后获得的人像分割图像，与所述人像样本图像，计算人像分割的分割损失值作为第三损失函数的值；根据所述第一损失函数的值、第二损失函数的值以及第三损失函数的值，确定总损失函数的值。
在该实施方式中，电子设备在获取到标注后的人脸样本图像之后，可以根据标注的区域，自动将人像图像中的身体区域设置为与头发区域相同的透明度，从而避免了进行手动标注身体区域的透明度，在训练模型时，可以获取到头发区域的透明度值，身体区域的像素值以及整个人像区域的透明度值，以计算损失函数的值。请参阅图6，电子设备根据人像样本图像中的标注，可以确定出人像样本图像中以透明度通道值标注的头发区域，根据分割出的头发区域与标注的头部区域之间的差异，即可计算出第一损失函数的值。同理，根据分割出的身体区域与标注的身体区域之间的差异，即可计算出第二损失函数的值；根据合成后的整个人像区域与标注的人像区域，即可计算出第三损失函数的值。
在一些方式中，由于标注的人像图像中头发区域以及整个人像区域均以透明度值进行区分，因此第一损失函数的值以及第三损失函数的值可以L2距离的形式计算，具体公式为：
其中，表示分割图像(透明度通道分割图像或人像分割图像)中像素点i的透明度值，/>表示人像样本图像中像素点i的透明度值。
电子设备可以使用交叉熵损失计算第二损失函数的值，具体公式为：
其中，yi表示为二值掩膜图像的像素点xi的真实类别标签(0表示背景或者1表示人像)，真实类别标签可以根据人像样本图像中标注的身体区域的像素值确定，pi表示为二值掩膜图像的像素点xi属于类别1的概率。对所有样本的对数损失表示对每个样本的对数损失的平均值。例如，可以根据以下公式计算总损失函数的值：
其中，表示总损失函数，/>表示第一损失函数，/>表示第二损失函数，/>表示第三损失函数。
在计算总损失函数值时，电子设备可以将第一损失函数的值、第二损失函数的值以及第三损失函数的值进行求和或者按照预设权重进行加权求和，从而得到总损失函数的值。
在一些实施方式中，也可以仅计算第一损失函数的值以及第二损失函数的值计算总损失函数的值，从而无需电子设备再对身体区域标注透明度信息。
步骤S340：基于所述总损失函数的值对所述初始模型进行迭代更新，获得所述人像分割模型。
在本申请实施例中，在获得总损失函数的值之后，则可以根据总损失函数的值对初始模型进行迭代训练，得到最终的人像分割模型。其中，初始模型可以采用前一个实施例中提到的模型结构。
在一些实施方式中，可以根据总损失函数，使用Adam优化器对初始模型进行迭代训练，直至初始模型的输出结果的损失值收敛，并将此时的模型进行保存，得到训练后的人像分割模型。其中，Adam优化器，结合了AdaGra(Adaptive Gradient，自适应梯度)和RMSProp两种优化算法的优点，对梯度的一阶矩估计(First Moment Estimation，即梯度的均值)和二阶矩估计(Second Moment Estimation，即梯度的未中心化的方差)进行综合考虑，计算出更新步长。
在一些实施方式中，迭代训练的终止条件可以包括：迭代训练的次数达到目标次数；或者初始模型的输出结果的总损失值满足设定条件。
在一种具体实施方式中，收敛条件是让总损失值尽可能小，使用初始学习率1e-3，学习率随步数余弦衰减，batch_size＝8，训练16个epoch后，即可认为收敛完成。其中，batch_size可以理解为批处理参数，它的极限值为训练集样本总数，epoch指使用训练集中的全部样本训练的次数,通俗的讲epoch的值就是整个数据集被轮几次，1个epoch等于使用训练集中的全部样本训练1次。
在另一种具体实施方式中，总损失值满足设定条件可以包括：总损失值小于设定阈值。当然，具体设定条件可以不作为限定。
在一些实施方式中，训练得到的人像分割模型可以存储于电子设备本地，该训练得到的人像分割模型也可以在与电子设备通信连接的服务器，将图像识别模型存储在服务器的方式，可以减少占用电子设备的存储空间，提升电子设备运行效率。
在一些实施方式中，人像分割模型还可以周期性的或者不定期的获取新的训练数据，对该人像分割模型进行训练和更新。例如，在存在人像图像被误分割时，则可以将该人像图像作为样本图像，对样本图像进行标注后，通过以上训练方式，再进行训练，从而可以提升人像分割模型的准确性。
步骤S350：获取待处理的人像图像，其中，所述人像图像中的人像区域包括身体区域以及头发区域。
步骤S360：将所述人像图像输入至预先训练的人像分割模型，获得所述人像分割模型输出的透明度通道分割图像以及二值掩模图像。
其中，所述透明度通道分割图像中头发区域的透明度值与除所述头发区域以外的其他区域的透明度值不同，所述二值掩模图像中身体区域的像素值与除所述身体区域以外的其他区域的像素值不同。
步骤S370：将所述透明度通道分割图像与所述二值掩模图像进行合成，获得所述人像图像的人像分割图像。
本申请实施例提供的图像处理方法，提供了人像分割模型的训练方法，仅需要对头发区域标注透明度通道，而身体区域可以采用二值分割方式的标注信息进行标注，极大的减少了训练模型时的工作量。
请参阅图7，其示出了本申请实施例提供的一种图像处理装置400的结构框图。该图像处理装置400应用上述的电子设备，该图像处理装置400包括：图像获取模块410、图像输入模块420以及图像合成模块430。其中，所述图像获取模块410用于获取待处理的人像图像，其中，所述人像图像中的人像区域包括身体区域以及头发区域；所述图像输入模块420用于将所述人像图像输入至预先训练的人像分割模型，获得所述人像分割模型输出的透明度通道分割图像以及二值掩模图像，其中，所述透明度通道分割图像中头发区域的透明度值与除所述头发区域以外的其他区域的透明度值不同，所述二值掩模图像中身体区域的像素值与除所述身体区域以外的其他区域的像素值不同；所述图像合成模块430用于将所述透明度通道分割图像与所述二值掩模图像进行合成，获得所述人像图像的人像分割图像。
在一些实施方式中，所述人像分割模型包括第一编码器、第二编码器、特征融合模块、第一解码器以及第二解码器。其中，所述第一编码器用于提取所述人像图像中头部区域的头部特征图，所述头部区域由头发区域以及人脸区域构成；所述第二编码器用于提取所述人像图像的原图特征图；所述特征融合模块用于将所述头部特征图与所述原图特征图进行特征融合，获得融合特征图作为所述人像图像的特征图；所述第一解码器用于根据所述人像图像的特征图，生成所述透明度通道分割图像；所述第二解码器用于根据所述人像图像的特征图，生成所述二值掩模图像。
在该实施方式中，该图像处理装置400还可以包括：头部检测模块。所述头部检测模块用于在所述将所述人像图像输入至预先训练的人像分割模型之前，利用预先训练的头部检测模型，获取所述人像图像中的头部区域。图像输入模块410可以具体用于：将所述头部区域输入至所述第一编码器，以及将所述人像图像输入至所述第二编码器。
在该实施方式中，所述特征融合模块将所述头部特征图与所述原图特征图进行特征融合，获得融合特征图，包括：所述特征融合模块将所述头部特征图的尺寸调整至所述原图特征图的尺寸；所述特征融合模块将调整尺寸后的所述头部特征图与所述原图特征图根据通道维度进行拼接，获得拼接后的特征图；所述特征融合模块降低所述拼接后的特征图的通道数，获得融合特征图。
在一些实施方式中，该图像处理装置400还可以包括：样本获取模块、样本输入模块、损失获取模块以及迭代更新模块。样本获取模块用于在所述将所述人像图像输入至预先训练的人像分割模型之前，获取样本图像集，所述样本图像集中包括多张人像样本图像，每张人像样本图像中包括以透明度通道值标注的头发区域，以及以像素值标注的身体区域；样本输入模块用于将所述人像样本图像输入至初始模型，获得所述初始模型输出的透明度通道分割图像以及二值掩模图像；损失获取模块用于根据所述初始模型输出的透明度通道分割图像、二值掩模图像、所述人像样本图像中以透明度通道值标注的头发区域以及以像素值标注的身体区域，计算总损失函数的值；迭代更新模块用于基于所述总损失函数的值对所述初始模型进行迭代更新，获得所述人像分割模型。
在该实施方式中，损失获取模块可以具体用于：根据所述初始模型输出的透明度通道分割图像以及所述人像样本图像中以透明度通道值标注的头发区域，计算头发区域的分割损失值作为第一损失函数的值；根据所述初始模型输出的二值掩模图像，以及所述人像样本图像中以像素值标注的身体区域，计算身体区域的分割损失值作为第二损失函数的值；根据将所述初始模型输出的透明度通道分割图像以及二值掩模图像进行合成后获得的人像分割图像，与所述人像样本图像，计算人像分割的分割损失值作为第三损失函数的值；根据所述第一损失函数的值、第二损失函数的值以及第三损失函数的值，确定总损失函数的值。
在一些实施方式中，该图像处理装置400还可以包括：预处理模块。预处理模块用于在所述将所述人像图像输入至预先训练的人像分割模型之前，对所述人像图像进行预处理。
在一些实施方式中，图像合成模块430可以具体用于：根据所述透明度通道分割图像获取头发区域的区域图像；将所述区域图像合成于所述二值掩膜图像的对应区域。
在一些实施方式中，该图像处理装置400还可以包括：背景替换模块。背景替换模块用于在所述将所述透明度通道分割图像与所述二值掩模图像进行合成，获得所述人像图像的人像分割图像之后，根据所述人像分割图像，将所述人像图像的背景替换成指定背景。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请提供的方案，通过获取待处理的人像图像，人像图像中的人像区域包括身体区域以及头发区域，将待处理的人像图像输入至预先训练的人像分割模型，获得人像分割模型输出的透明度通道分割图像以及二值掩膜图像，该透明度通道分割图像中的头发区域的透明度值与除头发区域以外的其他区域的透明度值不同，该二值掩膜图像中身体区域的像素值与除身体区域以外的其他区域的像素值不同，然后将透明度通道图像与二值掩膜图像进行合成，获得人像图像的人像分割图像，从而实现在对人像图像进行人像分割时，根据透明度通道对头发区域进行分割，而身体区域采用像素值进行分割，提升人像分割图像中头发区域的准确性，进而提升人像分割结果的准确性。
请参考图8，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表、笔记本电脑等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (11)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的人像图像，其中，所述人像图像中的人像区域包括身体区域以及头发区域；
将所述人像图像输入至预先训练的人像分割模型，获得所述人像分割模型输出的透明度通道分割图像以及二值掩模图像，其中，所述透明度通道分割图像中头发区域的透明度值与除所述头发区域以外的其他区域的透明度值不同，所述二值掩模图像中身体区域的像素值与除所述身体区域以外的其他区域的像素值不同；
根据所述透明度通道分割图像获取头发区域的区域图像；
根据所述头发区域在所述透明度通道分割图像中的像素坐标，将所述二值掩模图像中相应像素坐标处的像素点进行替换，获得所述人像图像的人像分割图像。
2.根据权利要求1所述的方法，其特征在于，所述人像分割模型包括第一编码器、第二编码器、特征融合模块、第一解码器以及第二解码器，其中，
所述第一编码器用于提取所述人像图像中头部区域的头部特征图，所述头部区域由头发区域以及人脸区域构成；
所述第二编码器用于提取所述人像图像的原图特征图；
所述特征融合模块用于将所述头部特征图与所述原图特征图进行特征融合，获得融合特征图作为所述人像图像的特征图；
所述第一解码器用于根据所述人像图像的特征图，生成所述透明度通道分割图像；
所述第二解码器用于根据所述人像图像的特征图，生成所述二值掩模图像。
3.根据权利要求2所述的方法，其特征在于，在所述将所述人像图像输入至预先训练的人像分割模型之前，所述方法还包括：
利用预先训练的头部检测模型，获取所述人像图像中的头部区域；
所述将所述人像图像输入至预先训练的人像分割模型，包括：
将所述头部区域输入至所述第一编码器，以及将所述人像图像输入至所述第二编码器。
4.根据权利要求2所述的方法，其特征在于，所述特征融合模块将所述头部特征图与所述原图特征图进行特征融合，获得融合特征图，包括：
所述特征融合模块将所述头部特征图的尺寸调整至所述原图特征图的尺寸；
所述特征融合模块将调整尺寸后的所述头部特征图与所述原图特征图根据通道维度进行拼接，获得拼接后的特征图；
所述特征融合模块降低所述拼接后的特征图的通道数，获得融合特征图。
5.根据权利要求1-4任一项所述的方法，其特征在于，在所述将所述人像图像输入至预先训练的人像分割模型之前，所述方法还包括：
获取样本图像集，所述样本图像集中包括多张人像样本图像，每张人像样本图像中包括以透明度通道值标注的头发区域，以及以像素值标注的身体区域；
将所述人像样本图像输入至初始模型，获得所述初始模型输出的透明度通道分割图像以及二值掩模图像；
根据所述初始模型输出的透明度通道分割图像、二值掩模图像、所述人像样本图像中以透明度通道值标注的头发区域以及以像素值标注的身体区域，计算总损失函数的值；
基于所述总损失函数的值对所述初始模型进行迭代更新，获得所述人像分割模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述初始模型输出的透明度通道分割图像、二值掩模图像、所述人像样本图像中以透明度通道值标注的头发区域以及以像素值标注的身体区域，计算总损失函数的值，包括：
根据所述初始模型输出的透明度通道分割图像以及所述人像样本图像中以透明度通道值标注的头发区域，计算头发区域的分割损失值作为第一损失函数的值；
根据所述初始模型输出的二值掩模图像，以及所述人像样本图像中以像素值标注的身体区域，计算身体区域的分割损失值作为第二损失函数的值；
根据将所述初始模型输出的透明度通道分割图像以及二值掩模图像进行合成后获得的人像分割图像，与所述人像样本图像，计算人像分割的分割损失值作为第三损失函数的值；
根据所述第一损失函数的值、第二损失函数的值以及第三损失函数的值，确定总损失函数的值。
7.根据权利要求1-4任一项所述的方法，其特征在于，在所述将所述人像图像输入至预先训练的人像分割模型之前，所述方法还包括：
对所述人像图像进行预处理。
8.根据权利要求1-4任一项所述的方法，其特征在于，在所述根据所述头发区域在所述透明度通道分割图像中的像素坐标，将所述二值掩模图像中相应像素坐标处的像素点进行替换，获得所述人像图像的人像分割图像之后，所述方法还包括：
根据所述人像分割图像，将所述人像图像的背景替换成指定背景。
9.一种图像处理装置，其特征在于，所述装置包括：图像获取模块、图像输入模块以及图像合成模块，其中，
所述图像获取模块用于获取待处理的人像图像，其中，所述人像图像中的人像区域包括身体区域以及头发区域；
所述图像输入模块用于将所述人像图像输入至预先训练的人像分割模型，获得所述人像分割模型输出的透明度通道分割图像以及二值掩模图像，其中，所述透明度通道分割图像中头发区域的透明度值与除所述头发区域以外的其他区域的透明度值不同，所述二值掩模图像中身体区域的像素值与除所述身体区域以外的其他区域的像素值不同；
所述图像合成模块用于根据所述透明度通道分割图像获取头发区域的区域图像，根据所述头发区域在所述透明度通道分割图像中的像素坐标，将所述二值掩模图像中相应像素坐标处的像素点进行替换，获得所述人像图像的人像分割图像。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-8任一项所述的方法。
11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011219042.6A CN112308866B (zh) | 2020-11-04 | 2020-11-04 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011219042.6A CN112308866B (zh) | 2020-11-04 | 2020-11-04 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112308866A CN112308866A (zh) | 2021-02-02 |
| CN112308866B true CN112308866B (zh) | 2024-02-09 |
Family
ID=74324981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011219042.6A Active CN112308866B (zh) | 2020-11-04 | 2020-11-04 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308866B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344842A (zh) * | 2021-03-24 | 2021-09-03 | 同济大学 | 一种超声图像的血管标注方法 |
| CN113313646B (zh) * | 2021-05-27 | 2024-04-16 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN113223023A (zh) * | 2021-05-31 | 2021-08-06 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN113409329B (zh) * | 2021-06-03 | 2023-11-14 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
| CN113658197B (zh) * | 2021-08-20 | 2023-09-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN114040129B (zh) * | 2021-11-30 | 2023-12-05 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108320294A (zh) * | 2018-01-29 | 2018-07-24 | 袁非牛 | 一种二代身份证照片的人像背景智能全自动替换方法 |
| CN108848325A (zh) * | 2018-06-26 | 2018-11-20 | 蒋大武 | 一种基于自然图像抠像的视频合成方法 |
| CN109903257A (zh) * | 2019-03-08 | 2019-06-18 | 上海大学 | 一种基于图像语义分割的虚拟头发染色方法 |
| CN111223108A (zh) * | 2019-12-31 | 2020-06-02 | 上海影卓信息科技有限公司 | 基于背景幕抠图和融合的方法和系统 |
| CN111862110A (zh) * | 2020-06-30 | 2020-10-30 | 辽宁向日葵教育科技有限公司 | 一种绿幕抠像方法、系统、设备和可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107204034B (zh) * | 2016-03-17 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及终端 |
| CN108573469A (zh) * | 2017-03-07 | 2018-09-25 | 富士通株式会社 | 图像处理装置和方法 |
| EP3376467B1 (en) * | 2017-03-14 | 2020-04-22 | Altostratus Capital LLC | Generation of alpha masks of video frames |
-
2020
- 2020-11-04 CN CN202011219042.6A patent/CN112308866B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108320294A (zh) * | 2018-01-29 | 2018-07-24 | 袁非牛 | 一种二代身份证照片的人像背景智能全自动替换方法 |
| CN108848325A (zh) * | 2018-06-26 | 2018-11-20 | 蒋大武 | 一种基于自然图像抠像的视频合成方法 |
| CN109903257A (zh) * | 2019-03-08 | 2019-06-18 | 上海大学 | 一种基于图像语义分割的虚拟头发染色方法 |
| CN111223108A (zh) * | 2019-12-31 | 2020-06-02 | 上海影卓信息科技有限公司 | 基于背景幕抠图和融合的方法和系统 |
| CN111862110A (zh) * | 2020-06-30 | 2020-10-30 | 辽宁向日葵教育科技有限公司 | 一种绿幕抠像方法、系统、设备和可读存储介质 |
Non-Patent Citations (9)
| Title |
|---|
| A survey on natural image matting with closed-form solutions;Xiaoqiang Li 等;《IEEE Access》;第7卷;第136658-136675页 * |
| Automatic skin and hair masking using fully convolutional networks;Siyang Qin 等;《2017 IEEE International Conference on Multimedia and Expo》;第103-108页 * |
| Generating Trimap for Image Matting Using Color Co-Fusion;Jinjiang Li 等;《IEEE Access》;第7卷;第19332-19354页 * |
| Image dehazing based on a transmission fusion strategy by automatic image matting;Feiniu Yuan 等;《Computer Vision and Image Understanding》;第194卷;第1-11页 * |
| 人体前景的自动抠图算法;冉清 等;《计算机辅助设计与图形学学报》(2);第108-117页 * |
| 图像及图像序列上的交互抠图技术研究;郝凯;《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》(第7期);第I138-2223页 * |
| 图像联合分割与联合抠图技术研究;夏天辰;《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》(第8期);第I138-1199页 * |
| 基于空间特征相关的图像去噪及分割算法研究;郭开武;《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》(第11期);第I138-317页 * |
| 基于视觉显著性信息的自然图像抠图算法;孙巍 等;《北京交通大学学报》;第39卷(第2期);第22-27、34页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112308866A (zh) | 2021-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112308866B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US10614574B2 (en) | Generating image segmentation data using a multi-branch neural network | |
| CN111488865B (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111814794B (zh) | 文本检测方法、装置、电子设备及存储介质 | |
| CN111488985B (zh) | 深度神经网络模型压缩训练方法、装置、设备、介质 | |
| CN108229301B (zh) | 眼睑线检测方法、装置和电子设备 | |
| CN111080660A (zh) | 一种图像分割方法、装置、终端设备及存储介质 | |
| WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
| CN111292334B (zh) | 一种全景图像分割方法、装置及电子设备 | |
| CN112700460B (zh) | 图像分割方法及系统 | |
| CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN114049674A (zh) | 一种三维人脸重建方法、装置及存储介质 | |
| CN111414823B (zh) | 人体特征点的检测方法、装置、电子设备以及存储介质 | |
| CN113516697A (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN113052143A (zh) | 手写数字生成方法和装置 | |
| CN116363561A (zh) | 一种时序动作定位方法、装置、设备及存储介质 | |
| CN114359739B (zh) | 目标识别方法及装置 | |
| WO2022226744A1 (en) | Texture completion | |
| CN115439713A (zh) | 模型训练方法及装置、图像分割方法、设备、存储介质 | |
| CN115147434A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN114821216A (zh) | 图片去网纹神经网络模型建模、使用方法及相关设备 | |
| CN113763313A (zh) | 文本图像的质量检测方法、装置、介质及电子设备 | |
| CN112069885A (zh) | 人脸属性识别方法、装置及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |