CN111402258A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法包括：获取需要进行人像分割的待分割图像；获取预训练的人像分割模型，所述预训练的人像分割模型包括：编码模块，特征金字塔模块和解码模块；调用所述编码模块对所述待分割图像进行编码处理，得到第一特征图集合；将所述第一特征图集合输入所述特征金字塔模块，得到第二特征图集合；调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜；根据所述人像分割掩膜，从所述待分割图像中分割出人像。本申请可以提高人像分割模型预测的精度，从而可更好的从图像中分割出人像。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请属于电子技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

人像分割，是一种将图像中的人像从背景中分离出来的技术。人像分割是计算机视觉领域的基础课题之一，在学术界与工业界都受到了广泛的重视。

相关技术中，当需要进行人像分割处理时，通常会将图像输入预先训练好的人像分割模型中，以使该人像分割模型对图像进行人像分割处理。然而，相关技术中，人像分割模型预测的精度较低。

发明内容

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以提高人像分割模型预测的精度，从而可更好的从图像中分割出人像。

本申请实施例提供一种图像处理方法，包括：

获取需要进行人像分割的待分割图像；

获取预训练的人像分割模型，所述预训练的人像分割模型包括：编码模块，特征金字塔模块和解码模块；

调用所述编码模块对所述待分割图像进行编码处理，得到第一特征图集合；

将所述第一特征图集合输入所述特征金字塔模块中，得到第二特征图集合；

调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜；

根据所述人像分割掩膜，从所述待分割图像中分割出人像。

本申请实施例提供一种图像处理装置，包括：

第一获取模块，用于获取需要进行人像分割的待分割图像；

第二获取模块，用于获取预训练的人像分割模型，所述预训练的人像分割模型包括：编码模块，特征金字塔模块和解码模块；

第一调用模块，用于调用所述编码模块对所述待分割图像进行编码处理，得到第一特征图集合；

输入模块，用于将所述第一特征图集合输入所述特征金字塔模块中，得到第二特征图集合；

第二调用模块，用于调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜；

分割模块，用于根据所述人像分割掩膜，从所述待分割图像中分割出人像。

本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法中的流程。

本申请实施例中，可将对图像进行编码处理得到的第一特征图集合输入特征金字塔模块，得到第二特征图集合；并调用解码模块对第二特征图集合进行解码处理，得到人像分割掩膜，从而可充分利用第一特征图集合，以更好的提取语义信息，进而可提高人像分割模型预测的精度，进而可更好的从图像中分割出人像。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像处理方法的流程示意图。

图2是本申请实施例提供的人像分割模型的第一种结构示意图。

图3是本申请实施例提供的第一网络块、第二网络块和第三网络块的结构示意图。

图4是本申请实施例提供的人像分割模型的第二种结构示意图。

图5是本申请实施例提供的人像分割模型的第三种结构示意图。

图6是本申请实施例提供的图像处理装置的结构示意图。

图7是本申请实施例提供的电子设备的第一种结构示意图。

图8是本申请实施例提供的电子设备的第二种结构示意图。

图9是本申请实施例提供的图像处理电路的结构示意图。

具体实施方式

请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等电子设备。

请参阅图1，图1是本申请实施例提供的图像处理方法的第一种流程示意图，流程可以包括：

在101中，获取需要进行人像分割的待分割图像。

其中，待分割图像是用于人像分割的对象。该待分割图像可包括人像。由于本申请实施例采用模型对待分割图像进行人像分割。而模型通常对输入的图像的属性有一些要求，待分割图像应当符合这些要求，以使模型能够正常处理。

可以理解的是，当电子设备获取的图像为不符合模型要求的图像时，电子设备可对该图像进行预处理，以使该图像符合模型的要求。

例如，模型要求输入图像的尺寸为预设尺寸，例如256×256。若电子设备获取的图像不为预设尺寸，那么，电子设备需将该图像的尺寸调整为预设尺寸，得到待分割图像。

又例如，模型要求输入图像的像素值应当归一化，例如，像素值应为[0,1] 之间的实数，若电子设备获取的图像未归一化，电子设备应当将其归一化，得到待分割图像。例如，某图像的像素值表示为[0,255]之间的整数，可以通过除以255的方式进行归一化。可以理解的是，归一化可以有不同的定义，例如在另一种归一化的定义中，像素值应当为[-1,1]之间的实数，针对不同的归一化定义，归一化的方式应当相应地调整。

在一些实施例中，电子设备可采用摄像头对包含人体的拍摄场景进行拍摄，得到待分割图像。

其中，电子设备在根据用户操作启动拍摄类应用程序(比如电子设备的系统应用“相机”)后，其摄像头所对准的场景即为拍摄场景。比如，用户通过手指点击电子设备上“相机”应用的图标启动“相机应用”后，若用户使用电子设备的摄像头对准某一场景，则该场景即为拍摄场景。根据以上描述，本领域技术人员应当理解的是，拍摄场景并非特指某一特定场景，而是跟随摄像头的指向所实时对准的场景。

在102中，获取预训练的人像分割模型，该预训练的人像分割模型包括：编码模块，特征金字塔模块和解码模块。

其中，如图2所示，图2为本申请实施例提供的预训练的人像分割模型的第一种结构示意图。在预测阶段，该预训练的人像分割模型可包括编码模块、特征金字塔模块和解码模块。其中，特征金字塔模块分别与编码模块和解码模块连接。

在103中，调用编码模块对待分割图像进行编码处理，得到第一特征图集合。

比如，当获取到预训练的人像分割模型之后，电子设备可调用该预训练的人像分割模型的编码模块对待分割图像进行编码处理，以提取出不同尺寸的特征图。该不同尺寸的特征图构成第一特征图集合。其中，该第一特征图集合中的特征图对应的通道数可以不同。

其中，该编码模块可以为多尺度编码器。该多尺度编码器的基础网络可选用MobileNetV2网络。由于该网络的特征提取能力较强，因此选用该网络可以更好地从待分割图像中提取出图像特征，形成特征图。且由于该网络为轻量级网络，因此选用该网络可实现较小的计算量，从而可部署到智能手机等电子设备中。

多尺度编码器可包括五层结构。第一层可接收该待分割图像，然后将该待分割图像输出至第二层。该第二层可根据该待分割图像，确定第一尺寸的特征图。例如，该第一尺寸的特征图的尺寸可以为待分割图像的尺寸的1/4，该第一尺寸的特征图对应的通道数可以为24，即该第一尺寸的特征图的数量为24。

第三层可接收第二层输出的第一尺寸的特征图，并根据该第一尺寸的特征图，确定第二尺寸的特征图。例如，该第二尺寸的特征图可以为待分割图像的尺寸的1/8，该第二尺寸的特征图对应的通道数可以为32。

第四层可接收第三层输出的第二尺寸的特征图，并根据该第二尺寸的特征图，确定第三尺寸的特征图。例如，该第三尺寸的特征图可以为待分割图像的尺寸的1/16，该第三尺寸的特征图对应的通道数可以为64。

第五层可接收第四层输出的第三尺寸的特征图，并根据该第三尺寸的特征图，确定第四尺寸的特征图。例如，该第四尺寸的特征图可以为待分割图像的尺寸的1/32，该第四尺寸的特征图对应的通道数可以为320。

第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图组成第一特征图集合。

需要说明的是，上述过程仅仅是得到第一特征图集合的示例，并不用于限制本申请。在实际应用中，还可以根据需求增加多尺度解码器的层数，以获取到更多尺寸的特征图。

其中，“第二层根据该待分割图像，确定第一尺寸的特征图”，可以包括：第二层对该待分割图像进行卷积、下采样处理，得到第一尺寸的特征图。可以理解的是，第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图也可以按照上述方式得到，此处不再赘述。

在本申请实施例中，当得到该第一特征图集合之后，电子设备可调用该编码模块可将该第一特征图集合输出至特征金字塔模块。

在104中，将第一特征图集合输入特征金字塔模块，得到第二特征图集合。

其中，该特征金字塔模块可对第一特征图集合中的特征图进行特征融合、卷积等处理，得到第二特征图集合。该第二特征图集合中的特征图对应的通道数可以相同。例如，该第二特征图集合中的特征图对应的通道数均可以为64、 128或256等。

在本申请实施例中，当得到该第二特征图集合之后，电子设备可调用该特征金字塔模块将该第二特征图集合输出至解码模块。

在105中，调用解码模块对第二特征图集合进行解码处理，得到人像分割掩膜。

比如，该解码模块可以为多尺度解码器。电子设备可调用该多尺度解码器对第二特征图集合中的特征图进行融合以及采样等解码处理，得到人像分割掩膜。

需要说明的是，人像分割掩膜可以为二值图像。例如，每个像素值只能取值为0或1。其中，当人像分割掩膜中的某个像素值取值为1时，表示该像素值属于前景。当人像分割掩膜中的某个像素值取值为0时，表示该像素值属于背景。在本申请实施例中，前景即为人像。

在106中，根据人像分割掩膜，从待分割图像中分割出人像。

比如，当得到人像分割掩膜之后，电子设备可根据该人像分割掩膜，从待分割图像中分割出人像。

例如，当人像分割掩膜的尺寸与待分割图像的尺寸相同时，电子设备可确定人像分割掩膜中像素值为1的像素点所在的位置。然后，电子设备可根据该位置将待分割图像对应位置的像素点保留。当人像分割掩膜的尺寸与待分割图像的尺寸不相同时，电子设备可先对人像分割掩膜的尺寸进行调整，以使得人像分割掩膜的尺寸与待分割图像的尺寸相同。然后，电子设备可确定调整后的人像分割掩膜中像素值为1的像素点所在的位置。接着，电子设备可根据该位置将待分割图像对应位置的像素点保留。

本申请实施例中，可将对图像进行编码处理得到的第一特征图集合输入特征金字塔模块，得到第二特征图集合；并调用解码模块对第二特征图集合进行解码处理，得到人像分割掩膜，从而可充分利用第一特征图集合，以更好的提取语义信息，进而可提高人像分割模型预测的精度，进而可更好的从图像中分割出人像。

在一些实施例中，该解码模块可包括第一子模块和第二子模块，“调用解码模块对第二特征图集合进行解码处理，得到人像分割掩膜”，可以包括：

(1)调用第一子模块将第二特征图集合中的特征图的尺寸调整至预设尺寸，得到调整后的特征图；

(2)调用第二子模块对调整后的特征图进行融合、卷积及采样处理，得到人像分割掩膜。

例如，假设第二特征图集合包括第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图，第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图对应的通道数均为128；预设尺寸为第五尺寸。那么，电子设备可将每个通道对应的第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图的尺寸分别由第一尺寸、第二尺寸、第三尺寸和第四尺寸调整至第五尺寸，得到多个通道对应的调整后的特征图。

可以理解的是，若预设尺寸为第一尺寸，那么，电子设备对第一尺寸的特征图进行尺寸调整之后所得到的也仍然是第一尺寸的特征图，仅仅可能只是两者所表示的特征有所不同。

需要说明的是，电子设备还可根据实际需要调用第一子模块将第二特征图集合中的特征图的尺寸调制至其他尺寸，此处不作具体限制。

随后，电子设备可调用第二子模块对每个通道对应的特征图进行融合处理，得到多个通道对应的融合后的特征图。接着，电子设备可对多个通道对应的融合后的特征图进行卷积处理，得到卷积后的特征图。其中，该卷积后的特征图对应的通道数可以为2。然后，电子设备可对卷积后的特征图进行上采样处理，得到上采样后的特征图。其中，该上采样后的特征图对应的通道数可以为2。其中，一个通道(假设其为通道C1)的上采样后的特征图中每个像素点的像素值表示该像素点属于人像的概率，另一个通道的上采样后的特征图中的每个像素点的像素值表示该像素点属于背景的概率。电子设备可根据通道C1的上采样后的特征图中每个像素点的像素值来确定人像分割掩膜中每个像素点的像素值，从而得到人像分割掩膜。其中，当上采样后的特征图中的某个像素点的像素值不小于0.5时，则人像分割掩膜中对应像素点的像素值为1；当上采样后的特征图中的某个像素点的像素值小于0.5时，则人像分割掩膜中对应像素点的像素值为0。

需要说明的是，对卷积后的特征图进行上采样处理是为了使得最终得到的人像分割掩膜的尺寸与待分割图像的尺寸相同，从而可更好地从待分割图像中分割出人像。

在一些实施例中，第一子模块包括第一网络块、第二网络块和第三网络块，“调用第一子模块将第二特征图集合中的特征图的尺寸调整至预设尺寸，得到调整后的特征图”，包括：

调用第一网络块、第二网络块和/或第三网络块将所述第二特征图集合中的特征图调整至预设尺寸，得到调整后的特征图。

比如，假设第二特征图集合中包括第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图，电子设备可使得第一尺寸的特征图经过第一网络块，从而将第一尺寸的特征图的尺寸调整至预设尺寸。电子设备可使得第二尺寸的特征图经过第二网络块，从而将第二尺寸的特征图的尺寸调整至预设尺寸。电子设备可使得第三尺寸的特征图经过依次连接的第三网络块和第二网络块，从而将第二尺寸的特征图的尺寸调整至预设尺寸。电子设备可使得第四尺寸的特征图经过依次连接的第三网络块N31、第三网络块N32和第二网络块，从而将第四尺寸的特征图的尺寸调整至预设尺寸。其中，预设尺寸可根据实际需求设置。例如，预设尺寸可以为待分割图像的尺寸的1/4或1/8 等。例如，假设待分割图像的尺寸为256×256，则预设尺寸为64×64。

在一些实施例中，第一网络块可包括依次连接的卷积层、归一化层和激活层。

第二网络块包括依次连接的卷积层、归一化层、激活层和上采样层。

第三网络块包括依次连接的卷积层、归一化层、激活层和上采样层。第三网络块的输入通道数与第三网络块的输出通道数相同。

例如，第一网络块、第二网络块和第三网络块的组成结构可以如图3所示。其中，第一网络块的输入通道数可以为128，输出通道数可以为64。第二网络块的输入通道数可以为128，输出通道数可以为64。第三网络块的输入输出通道数可以均为128。第二网络块和第三网络块中的上采样层都可以为2倍双线性插值上采样层。

比如，假设第二特征图集合包括第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图，电子设备可使得第一尺寸的特征图经过第一网络块的依次连接的卷积层、归一化层和激活层，从而将第一尺寸的特征图的尺寸调整至预设尺寸。电子设备可使得第二尺寸的特征图经过第二网络块的依次连接的卷积层、归一化层、激活层和上采样层，从而将第二尺寸的特征图的尺寸调整至预设尺寸。电子设备可使得第三尺寸的特征图经过第三网络块的依次连接的卷积层、归一化层、激活层和上采样层和第二网络块的依次连接的卷积层、归一化层、激活层和上采样层，从而将第二尺寸的特征图的尺寸调整至预设尺寸。电子设备可使得第四尺寸的特征图经过的第三网络块N31 的依次连接的卷积层、归一化层、激活层和上采样层、第三网络块N32的依次连接的卷积层、归一化层、激活层和上采样层和第二网络块的依次连接的卷积层、归一化层、激活层和上采样层，从而将第四尺寸的特征图的尺寸调整至预设尺寸。

需要说明的是，由于上述第一网络块并未包括上采样层，因此第一尺寸的特征图经过该第一网络块进行尺寸调整之后，所得到的特征图的尺寸仍为第一尺寸。然而，由于该第一网络块还包括卷积层、归一化层等，因此，虽然第一尺寸的特征图经过该第一网络块进行尺寸调整之后，所得到的特征图的尺寸虽然仍为第一尺寸，但所得到的特征图与第一尺寸的特征图已有所不同。以此类推，其他尺寸的特征图相对于尺寸调整前的特征图来说，尺寸和特征图中的特征均与尺寸调整前的特征图不同。

可以理解的是，图3仅仅是本申请实施例提出的一种示例，并不用于限制本申请，第一网络块、第二网络块和第三网络块的组成结构还可以是其他形式，此处不作具体限制。

在一些实施例中，第二子模块包括第一融合层、第一卷积层和第一上采样层，第一融合层、第一卷积层和第一上采样层依次连接，“调用第二子模块对调整后的特征图进行融合、卷积及采样处理，得到人像分割掩膜”，可以包括：

调用第一融合层对调整后的特征图进行融合处理，得到融合后的特征图；

调用第一卷积层对融合后的特征图进行卷积处理，得到卷积后的特征图；

调用第一上采样层对卷积后的特征图进行上采样处理，得到人像分割掩膜。

电子设备可调用第一融合层对每个通道对应的特征图进行融合处理，得到多个通道对应的融合后的特征图。接着，电子设备可调用第一卷积层对多个通道对应的融合后的特征图进行卷积处理，得到卷积后的特征图。其中，该卷积后的特征图对应的通道数可以为2。然后，电子设备可调用第一上采样层对卷积后的特征图进行上采样处理，得到一个双通道的特征图。其中，一个通道(假设为通道C1)的特征图中每个像素点的像素值表示该像素点属于人像的概率，另一个通道的特征图中每个像素点的像素值表示该像素点属于背景的概率。然后，电子设备可将通道C1的特征图中像素值不小于0.5的像素点的像素值更换为1，将像素值小于0.5的像素点的像素值更换为0，得到人像分割掩膜。需要说明的是，对卷积后的特征图进行上采样处理是为了使得最终得到的人像分割掩膜的尺寸与待分割图像的尺寸相同，从而可更好地从待分割图像中分割出人像。

其中，对多个特征图进行融合处理，即在多个特征图重合的基础上，将多个特征图中相同位置的像素值相加再计算平均值，将该平均值作为融合后的特征图的对应位置的像素值。

在一些实施例中，特征金字塔模块可包括第二卷积层、第三卷积层、第二上采样层和第二融合层，“将第一特征图集合输入特征金字塔模块，得到第二特征图集合”，可以包括：

(1)调用第二卷积层对第一特征图集合中的特征图分别进行卷积处理，得到第六特征图集合；

(2)调用第二上采样层对第六特征图集合中除最大尺寸的特征图之外的特征图分别进行上采样处理，得到第七特征图集合；

(3)调用第二融合层对第六特征图集合中除最小尺寸的特征图之外的每个特征图与第七特征图集合中的相应特征图进行融合处理，得到第八特征图集合；

(4)调用第三卷积层对第八特征图集合中的特征图分别进行卷积处理，得到第九特征图集合；

(5)第九特征图集合中的特征图和第六特征图集合中最小尺寸的特征图构成第二特征图集合。

例如，假设第一特征图集合包括第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图；第一尺寸的特征图对应的通道数为 24、第二尺寸的特征图对应的通道数为32、第三尺寸的特征图对应的通道数为64、第四尺寸的特征图对应的通道数为320；第二卷积层包括128个卷积核，第二上采样层为线性插值2倍上采样层。第一尺寸的特征图的尺寸为第二尺寸的特征图的尺寸的2倍，第二尺寸的特征图的尺寸为第三尺寸的特征图的尺寸的2倍，第三尺寸的特征图的尺寸为第四尺寸的特征图的尺寸的2倍。

电子设备可调用该第二卷积层的128个卷积核对第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图分别进行卷积处理，以将第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图对应的通道数统一为128，从而构成第六特征图集合。

随后，电子设备可调用线性插值2倍上采样层对统一通道数之后的第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图分别进行2倍的上采样处理，得到第一尺寸的目标特征图、第二尺寸的目标特征图和第三尺寸的目标特征图。第一尺寸的目标特征图、第二尺寸的目标特征图和第三尺寸的目标特征图组成第七特征图集合。

接着，电子设备可调用第二融合层对每个通道的相同尺寸的特征图进行融合处理，得到第一尺寸的融合特征图、第二尺寸的融合特征图和第三尺寸的融合特征图。例如，电子设备可对每个通道的第一尺寸的特征图和第一尺寸的目标特征图进行融合处理，得到第一尺寸的融合特征图。第一尺寸的融合特征图、第二尺寸的融合特征图和第三尺寸的融合特征图构成第八特征图集合。

然后，电子设备可调用第三卷积层对第八特征图集合中的特征图再次进行卷积处理，得到第九特征图集合。第九特征图集合中的特征图和第六特征图集合中最小尺寸的特征图可构成第二特征图集合。

在一些实施例中，“获取需要进行人像分割的待分割图像”之前，还可以包括：

(1)获取样本图像，以及样本图像对应的标注掩膜；

(2)获取监督模块；

(3)利用样本图像、样本图像对应的标注掩膜以及监督模块对人像分割模型进行训练。

如图4所示，在训练阶段，该人像分割模型的结构可包括编码模块、特征金字塔模块、解码模块和监督模块。其中，特征金字塔模块分别与编码模块、解码模块和监督模块连接。

其中，该样本图像可以为supervisely数据集中的图像。比如，电子设备可从supervisely数据集中获取样本图像，以及样本图像对应的标注掩膜。随后，电子设备可利用该样本图像，以及样本图像对应的标注掩膜对人像分割模型进行训练。

在一些实施例中，电子设备可采用该supervisely数据集，基于PyTorch框架，使用一个合适的图像处理器对该人像分割模型进行训练。其中，损失函数可采用交叉熵损失函数，评价函数可采用交并比IoU。

在一些实施例中，“利用样本图像、样本图像对应的标注掩膜以及监督模块对人像分割模型进行训练”，可以包括：

(1)调用编码模块对样本图像进行编码处理，得到第三特征图集合；

(2)将第三特征图集合输入特征金字塔模块，得到第四特征图集合；

(3)调用解码模块对第四特征图集合进行解码处理，得到期望掩膜；

(4)调用监督模块对第四特征图集合进行还原处理，得到多个监督掩膜；

(5)根据期望掩膜与标注掩膜的差异，以及每个监督掩模与标注掩膜的差异，调整人像分割模型的参数。

可以理解的是，模型的训练过程和模型的预测过程在一定程度上是较为相似的，因此，电子设备可以按照上述描述的如何根据待分割图像得到人像分割掩膜的方式根据每个样本图像得到每个样本图像对应的期望掩膜。另外，电子设备也可以按照上述描述的如何根据待分割图像得到第二特征图集合的方式根据每个样本图像得到每个样本图像对应的第四特征图集合。随后，电子设备可调用监督模块对每个样本图像对应的第四特征图集合中的特征图分别进行卷积和上采样等还原处理，得到每个样本图像对应的多个监督掩膜。其中，该期望掩膜和监督掩膜为2通道的图像，一个通道的图像中的每个像素点的像素值表示该像素点属于人像的概率，另一个通道的图像中的每个像素点的像素值表示该像素点属于背景的概率。

当得到每个样本对应的期望掩膜和多个监督掩膜之后，电子设备可采用交叉熵损失函数计算每个样本图像对应的期望掩膜与标注掩膜的损失值，以及每个样本图像对应的每个监督掩膜与标注掩膜的损失值，得到多个损失值。随后，电子设备可计算该多个损失值的和，得到每个样本图像对应的总损失值。然后，电子设备可计算多个样本图像对应的总损失值的平均值，将其作为人像分割模型对应的总损失值。当人像分割模型对应的总损失值收敛时，电子设备可保存人像分割模型的参数，得到训练后的人像分割模型。并在部署该训练后的人像分割模型时，移除监督模块，以减少计算量。

单个样本图像的交叉熵损失函数的公式可以为：

其中，L表示样本图像的损失值，y_i表示样本图像的第i个像素点的真实类别，取值为0或1，其中，0表示该像素点为背景，1表示该像素点为前景。 P_i表示样本图像的第i个像素点属于类别1的概率。

当得到每个样本对应的期望掩膜之后，电子设备可采用交并比IoU评价函数计算每个样本图像对应的评价值。随后，电子设备可计算多个样本图像的总评价值的平均值，将其作为人像分割模型对应的评价值，从而可通过该评价值对该人像分割模型进行评估。

单个样本图像的评价函数的公式可以为：

其中，IoU表示样本图像的评价值，X表示样本图像的期望掩膜，Y表示样本图像的标注掩膜。

在一些实施例中，监督模块可包括第四卷积层和第三上采样层，“调用监督模块对第四特征图集合进行还原处理，得到多个监督掩膜”，可以包括：

(1)调用第四卷积层对第四特征图集合中的特征图分别进行卷积处理，得到第五特征图集合；

(2)调用第三上采样层对第五特征图集合中的特征图分别进行上采样处理，得到多个监督掩膜。

例如，假设第四特征图集合包括第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图；第一尺寸的特征图的尺寸为待分割图像的尺寸的1/4；第二尺寸的特征图的尺寸为待分割图像的尺寸的1/8；第三尺寸的特征图的尺寸为待分割图像的尺寸的1/16；第四尺寸的特征图的尺寸为待分割图像的尺寸的1/32；第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图对应的通道数均为128，即第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图和第四尺寸的特征图的数量均为128；第四卷积层的数量可以为4，每个第四卷积层均可包括2个卷积核。第三上采样层的数量可以为4。第一个第三上采样层对应的采样倍数为4倍，第二个第三上采样层对应的采样倍数为8倍，第三个第三上采样层对应的采样倍数为16 倍，第四个上采样层对应的倍数为32倍。

电子设备可调用第一个第四卷积层的2个卷积核对第一尺寸的特征图进行卷积处理，使得其得到一对应的通道数为2的第一尺寸的特征图。然后，电子设备可调用第一个第三上采样层对该第一尺寸的特征图进行4倍的上采样处理，得到第一个监督掩膜。

以此类推，电子设备可调用第二个第四卷积层和第二个第三上采样层，根据第二尺寸的特征图，确定第二个监督掩膜。电子设备可调用第三个第四卷积层和第三个第三上采样层，根据第三尺寸的特征图，确定第三个监督掩膜。电子设备可调用第四个第四卷积层和第四个第三上采样层，根据第四尺寸的特征图，确定第四个监督掩膜，从而可从多个尺度对深层特征进行监督，并对深层的特征提供额外的梯度，可以提升人像分割的效果，降低假阳性的预测。

在一些实施例中，“获取样本图像”，可以包括：

(1)获取原始图像；

(2)对原始图像进行数据增强处理，得到样本图像。

例如，电子设备可从supervisely数据集中获取一些原始图像；然后，电子设备可对这些原始图像进行随机旋转、随机左右翻转、随机裁剪、Gamma变换等数据增强处理，得到样本图像，从而可增加训练的数据量，提高模型的泛化能力，并且可增加噪声数据，提升模型的鲁棒性。

可以理解的是，本申请实施例所提供的图像处理方法可以为美颜，替换背景等图像处理算法提供精确的人像分割掩模，可以使得人像背景虚化更为精准，可以作为快速证件照生成的核心算法。

还可以理解的是，本申请实施例并不对各特征图集合的特征图的数量进行限制，可以根据具体数据集情况灵活调整。

请参阅图5，图5是本申请实施例提供的人像分割模型的第三种结构示意图。

在训练阶段，电子设备可采用supervisely数据集，基于PyTorch框架，使用一个合适的图像处理器对该人像分割模型进行训练。

首先，电子设备可将supervisely数据集按2:8的比例划分为测试集和训练集，并对训练集中的图像进行随机旋转、随机左右翻转、随机裁剪、Gamma 变换等数据增强处理，得到样本图像。电子设备还可获取样本图像对应的标注掩膜M6，并构建人像分割模型，该人像分割模型可包括编码模块、特征金字塔模块、监督模块和解码模块。特征金字塔模块分别与编码模块、特征金字塔模块、监督模块和解码模块连接。

然后，电子设备可将样本图像输入至编码模块的第一层。电子设备可调用该编码模块的第一层将该样本图像输出至该编码模块的第二层。电子设备调用该编码模块的第二层根据该样本图像，确定尺寸为样本图像的尺寸的1/4的特征图F1，其中，特征图F1对应的通道数为24。电子设备可调用该编码模块的第二层将特征图F1输出至该编码模块的第三层。电子设备调用该编码模块的第三层根据特征图F1，确定尺寸为样本图像的尺寸的1/8的特征图F2，其中，特征图F2对应的通道数为32。电子设备可调用该编码模块的第三层将特征图 F2输出至该编码模块的第四层。电子设备调用该编码模块的第四层根据特征图F2，确定尺寸为样本图像的尺寸的1/16的特征图F3，其中，特征图F3对应的通道数为64。电子设备可调用该编码模块的第四层将特征图F3输出至该编码模块的第五层。电子设备调用该编码模块的第五层根据特征图F3，确定尺寸为样本图像的尺寸的1/32的特征图F4，其中，特征图F4对应的通道数为320。

特征图F1、F2、F3和F4可构成第一特征图集合。

电子设备还可调用该编码模块的第二层、第三层、第四层和第五层分别将特征图F1、特征图F2、特征图F3和特征图F4输出至特征金字塔模块。电子设备可调用该特征金字塔模块的卷积层c1对特征图F1进行卷积处理，得到尺寸为样本图像的尺寸的1/4的特征图F5，其中特征图F5对应的通道数为128。电子设备可调用该特征金字塔模块的卷积层c2对特征图F2进行卷积处理，得到尺寸为样本图像的尺寸的1/8的特征图F6，其中特征图F6对应的通道数为128。电子设备可调用该特征金字塔模块的卷积层c3对特征图F3进行卷积处理，得到尺寸为样本图像的尺寸的1/16的特征图F7，其中特征图F7对应的通道数为128。电子设备可调用该特征金字塔模块的卷积层c4对特征图F4进行卷积处理，得到尺寸为样本图像的尺寸的1/32的特征图F8，其中特征图F4 对应的通道数为128。

电子设备可调用该特征金字塔模块的线性插值2倍上采样层u1对特征图 F6进行2倍的上采样处理，得到尺寸为样本图像的尺寸的1/4的特征图F9，其中，特征图F9对应的通道数为128。电子设备可调用该特征金字塔模块的线性插值2倍上采样层u2对特征图F7进行2倍的上采样处理，得到尺寸为样本图像的尺寸的1/8的特征图F10，其中，特征图F10对应的通道数为128。电子设备可调用该特征金字塔模块的线性插值2倍上采样层u3对特征图F8进行2倍的上采样处理，得到尺寸为样本图像的尺寸的1/16的特征图F11，其中，特征图F11对应的通道数为128。

电子设备可对每个通道对应的特征图F5和F9进行融合处理，得到每个通道对应的特征图F12。其中，特征图F12对应的通道数为128。电子设备可对每个通道对应的特征图F6和F10进行融合处理，得到每个通道对应的特征图F13。其中，特征图F13对应的通道数为128。电子设备可对每个通道对应的特征图F7和F11进行融合处理，得到每个通道对应的特征图F14。其中，特征图F14对应的通道数为128。

其中，对两个特征图进行融合处理，得到目标特征图，可以包括：在两个特征图重合的基础上，将两个特征图中的相同位置的像素值相加再计算平均值，将该平均值作为目标特征图的相应位置的像素值。

电子设备可调用特征金字塔模块的卷积层c5对特征图F12进行卷积处理，得到特征图F15。其中，特征图F15对应的通道数为128。电子设备可调用特征金字塔模块的卷积层c6对特征图F13进行卷积处理，得到特征图F16。其中，特征图F16对应的通道数为128。电子设备可调用特征金字塔模块的卷积层c7对特征图F14进行卷积处理，得到特征图F17。其中，特征图F17对应的通道数为128。

特征图F8、F15、F16和F17可构成第二特征图集合。

电子设备可调用特征金字塔模块将特征图F8、F15、F16和F17输出至监督模块和解码模块。

电子设备可调用监督模块的卷积层c8和上采样层u4对特征图F15进行卷积处理及4倍的上采样处理，得到监督掩膜M1，其中，监督掩膜M1对应的通道数为2，尺寸与样本图像的尺寸相同。电子设备可调用监督模块的卷积层 c9和上采样层u5对特征图F16进行卷积处理及8倍的上采样处理，得到监督掩膜M2，其中，监督掩膜M2对应的通道数为2，尺寸与样本图像的尺寸相同。电子设备可调用监督模块的卷积层c10和上采样层u6对特征图F17进行卷积处理及16倍的上采样处理，得到监督掩膜M3，其中，监督掩膜M3对应的通道数为2，尺寸与样本图像的尺寸相同。电子设备可调用监督模块的卷积层c11和上采样层u7对特征图F8进行卷积处理及32倍的上采样处理，得到监督掩膜M4，其中，监督掩膜M4对应的通道数为2，尺寸与样本图像的尺寸相同。

电子设备可调用解码模块的第一网络块sgr将特征图F15的尺寸调整至样本图像的尺寸的1/4，得到调整后的特征图F18。可以理解的是，在本实施例中，由于该特征图F15的尺寸为样本图像的尺寸的1/4，因此，调整后的特征图F18的尺寸仍为样本图像的尺寸的1/4。电子设备可调用解码模块的第二网络块sgr2x1将特征图F16的尺寸调整至样本图像的尺寸的1/4，得到调整后的特征图F19。电子设备可调用解码模块的依次连接的第三网络块cgr2x1和第二网络块sgr2x2将特征图F17的尺寸调整至样本图像的尺寸的1/4，得到调整后的特征图F20。电子设备可调用解码模块的依次连接的第三网络块cgr2x3、 cgr2x2和第二网络块sgr2x3将特征图F8的尺寸调整至样本图像的尺寸的1/4，得到调整后的特征图F21。

其中，第一网络块sgr包括依次连接的卷积层、归一化层和激活层。第二网络块sgr2x1、sgr2x2和sgr2x3均包括依次连接的卷积层、归一化层、激活层和线性插值2倍上采样层。第三网络块cgr2x1、cgr2x2和cgr2x3均包括依次连接的卷积层、归一化层、激活层和线性插值2倍上采样层。其中，第三网络块cgr2x1、cgr2x2和cgr2x3的输入输出通道数相同。

电子设备可对调整后的特征图F18、F19、F20、F21进行融合处理，得到融合后的特征图F22。电子设备可调用卷积层c12的2个卷积核和上采样层u8 对融合后的特征图F22进行卷积处理及4倍的上采样处理，得到期望掩膜M5。其中，期望掩膜M5对应的通道数为2，尺寸与样本图像的尺寸相同。

随后，电子设备可计算标注掩膜M6分别与监督掩膜M1、M2、M3和 M4以及期望掩膜M5的交叉熵损失值，得到多个损失值，并将该多个损失值的平均值作为单个样本图像的损失值。然后，电子设备可将多个样本图像的损失值的平均值作为人像分割模型当前的总损失值。电子设备可根据该总损失值执行反向传播算法，以更新该人像分割模型的参数，直至总损失值收敛，电子设备可保存所得到的人像分割模型。

在预测阶段，电子设备可获取上述保存的人像分割模型，并移除该人像分割模型的监督模块。随后，电子设备可获取需要进行人像分割的待分割图像输入该人像分割模型中，从而得到人像分割掩膜。当得到该人像分割掩膜之后，电子设备即可根据该人像分割掩膜从待分割图像中分割出人像。

可以理解的是，模型的预测过程通常与模型的训练过程相似，因此电子设备如何利用该人像分割模型根据待分割图像得到人像分割掩膜可参考上述人像分割模型的训练过程，在此不再赘述。

请参阅图6，图6为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置200包括：第一获取模块201、第二获取模块202、第一调用模块203、第二调用模块204、第三调用模块205及分割模块206。

第一获取模块201，用于获取需要进行人像分割的待分割图像。

第二获取模块202，用于获取预训练的人像分割模型，所述预训练的人像分割模型包括：编码模块，特征金字塔模块和解码模块。

第一调用模块203，用于调用所述编码模块对所述待分割图像进行编码处理，得到第一特征图集合。

输入模块204，用于将所述第一特征图集合输入所述特征金字塔模块中，得到第二特征图集合。

第二调用模块205，用于调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜。

分割模块206，用于根据所述人像分割掩膜，从所述待分割图像中分割出人像。

在一些实施例中，所述解码模块包括第一子模块和第二子模块，所述第二调用模块205，可以用于：调用所述第一子模块将所述第二特征图集合中的特征图的尺寸调整至预设尺寸，得到调整后的特征图；调用所述第二子模块对所述调整后的特征图进行融合、卷积及采样处理，得到人像分割掩膜。

在一些实施例中，所述第一子模块包括第一网络块、第二网络块和第三网络块，所述第二调用模块205，可以用于：调用所述第一网络块、所述第二网络块和/或所述第三网络块将所述第二特征图集合中的特征图调整至预设尺寸，得到调整后的特征图。

在一些实施例中，所述第一网络块包括依次连接的卷积层、归一化层和激活层；所述第二网络块包括依次连接的卷积层、归一化层、激活层和上采样层；所述第三网络块包括依次连接的卷积层、归一化层、激活层和上采样层，所述第三网络块的输入通道数与所述第三网络块的输出通道数相同。

在一些实施例中，所述第二子模块包括第一融合层、第一卷积层和第一上采样层，所述第二调用模块205，可以用于：调用所述第一融合层对所述调整后的特征图进行融合处理，得到融合后的特征图；调用所述第一卷积层对所述融合后的特征图进行卷积处理，得到卷积后的特征图；调用所述第一上采样层对所述卷积后的特征图进行上采样处理，得到人像分割掩膜。

在一些实施例中，所述第一获取模块201，可以用于：获取样本图像，以及所述样本图像对应的标注掩膜；获取监督模块；利用所述样本图像、所述样本图像对应的标注掩膜和所述监督模块对人像分割模型进行训练。

在一些实施例中，所述第一获取模块201，可以用于：调用所述编码模块对所述样本图像进行编码处理，得到第三特征图集合；将所述第三特征图集合输入所述特征金字塔模块，得到第四特征图集合；调用所述解码模块对所述第四特征图集合进行解码处理，得到期望掩膜；调用所述监督模块对所述第四特征图集合进行还原处理，得到多个监督掩膜；根据所述期望掩膜与所述标注掩膜的差异，以及每个监督掩模与所述标注掩膜的差异，调整所述人像分割模型的参数。

在一些实施例中，所述监督模块包括第四卷积层和第三上采样层，所述第一获取模块201，可以用于：调用所述第四卷积层对所述第四特征图集合中的特征图分别进行卷积处理，得到第五特征图集合；调用所述第三上采样层对所述第五特征图集合中的特征图分别进行上采样处理，得到多个监督掩膜。

在一些实施例中，所述第一获取模块201，可以用于：获取原始图像；对所述原始图像进行数据增强处理，得到样本图像。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像处理方法中的流程。

例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图7，图7为本申请实施例提供的电子设备的结构示意图。

该电子设备300可以包括摄像模组301、存储器302、处理器303等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

摄像模组301可以包括透镜、图像传感器和图像信号处理器，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为数字化的原始图像，即RAW图像，并将该RAW图像提供给图像信号处理器处理。图像信号处理器可以对该RAW图像进行格式转换，降噪等处理，得到YUV图像。其中，RAW是未经处理、也未经压缩的格式，可以将其形象地称为“数字底片”。YUV是一种颜色编码方法，其中Y表示亮度，U表示色度，V表示浓度，人眼从YUV图像中可以直观的感受到其中所包含的自然特征。

存储器302可用于存储应用程序和数据。存储器302存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器303通过运行存储在存储器302的应用程序，从而执行各种功能应用以及数据处理。

处理器303是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器302内的应用程序，以及调用存储在存储器302内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备中的处理器303会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器302中，并由处理器 303来运行存储在存储器302中的应用程序，从而执行：

获取需要进行人像分割的待分割图像；

获取预训练的人像分割模型，所述预训练的人像分割模型包括：编码模块，特征金字塔模块和解码模块；

调用所述编码模块对所述待分割图像进行编码处理，得到第一特征图集合；

将所述第一特征图集合输入所述特征金字塔模块，得到第二特征图集合；

调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜；

根据所述人像分割掩膜，从所述待分割图像中分割出人像。

请参阅图8，电子设备300可以包括摄像模组301、存储器302、处理器 303、触摸显示屏304、扬声器305、麦克风306等部件。

摄像模组301可以包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括：摄像头、图像信号处理器(Image Signal Processor，ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器处理的一组原始图像数据。

图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。

图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取) 特征。

当接收到来自图像存储器的图像数据时，图像信号处理器可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器，以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图像处理器)进一步处理。此外，图像信号处理器的输出还可发送给图像存储器，且显示器可从图像存储器读取图像数据。在一种实施方式中，图像存储器可被配置为实现一个或多个帧缓冲器。

图像信号处理器确定的统计数据可发送给控制逻辑器。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。

控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据，确定摄像头的控制参数以及ISP控制参数。例如，摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数 (例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵等。

请参阅图9，图9为本实施例中图像处理电路的结构示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

例如图像处理电路可以包括：摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中，摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中，摄像头可为长焦摄像头或广角摄像头中的任一者。

摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数，从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外，第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。

此外，图中没有展示的，电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接，CPU用于实现全局控制。供电模块用于为各个模块供电。

存储器302存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器303通过运行存储在存储器302的应用程序，从而执行各种功能应用以及数据处理。

处理器303是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器302内的应用程序，以及调用存储在存储器302内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

触摸显示屏304可以用于接收用户对电子设备的触摸控制操作。扬声器 305可以播放声音信号。传感器306可包括陀螺仪传感器、加速度传感器、方向传感器、磁场传感器等，其可用于获取电子设备300的当前姿态。

在本实施例中，电子设备中的处理器303会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器302中，并由处理器 303来运行存储在存储器302中的应用程序，从而执行：

获取需要进行人像分割的待分割图像；

获取预训练的人像分割模型，所述预训练的人像分割模型包括：编码模块，特征金字塔模块和解码模块；

调用所述编码模块对所述待分割图像进行编码处理，得到第一特征图集合；

将所述第一特征图集合输入所述特征金字塔模块，得到第二特征图集合；

调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜；

根据所述人像分割掩膜，从所述待分割图像中分割出人像。

在一种实施方式中，所述解码模块包括第一子模块和第二子模块，处理器 303执行调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜时，可以执行：调用所述第一子模块将所述第二特征图集合中的特征图的尺寸调整至预设尺寸，得到调整后的特征图；调用所述第二子模块对所述调整后的特征图进行融合、卷积及采样处理，得到人像分割掩膜。

在一种实施方式中，所述第一子模块包括第一网络块、第二网络块和第三网络块，处理器303执行调用所述第一子模块将所述第二特征图集合中的特征图的尺寸调整至预设尺寸，得到调整后的特征图时，可以执行：调用所述第一网络块、所述第二网络块和/或所述第三网络块将所述第二特征图集合中的特征图调整至预设尺寸，得到调整后的特征图。

在一种实施方式中，所述第一网络块包括依次连接的卷积层、归一化层和激活层；所述第二网络块包括依次连接的卷积层、归一化层、激活层和上采样层；所述第三网络块包括依次连接的卷积层、归一化层、激活层和上采样层，所述第三网络块的输入通道数与所述第三网络块的输出通道数相同。

在一种实施方式中，所述第二子模块包括第一融合层、第一卷积层和第一上采样层，处理器303执行调用所述第二子模块对所述调整后的特征图进行融合、卷积及采样处理，得到人像分割掩膜时，可以执行：调用所述第一融合层对所述调整后的特征图进行融合处理，得到融合后的特征图；调用所述第一卷积层对所述融合后的特征图进行卷积处理，得到卷积后的特征图；调用所述第一上采样层对所述卷积后的特征图进行上采样处理，得到人像分割掩膜。

在一种实施方式中，处理器303执行获取需要进行人像分割的待分割图像之前，还可以执行：获取样本图像，以及所述样本图像对应的标注掩膜；获取监督模块；利用所述样本图像、所述样本图像对应的标注掩膜以及监督模块对所述人像分割模型进行训练。

在一种实施方式中，处理器303执行利用所述样本图像、所述样本图像对应的标注掩膜以及所述监督模块对所述人像分割模型进行训练时，可以执行：调用所述编码模块对所述样本图像进行编码处理，得到第三特征图集合；将所述第三特征图集合输入所述特征金字塔模块，得到第四特征图集合；调用所述解码模块对所述第四特征图集合进行解码处理，得到期望掩膜；调用所述监督模块对所述第四特征图集合进行还原处理，得到多个监督掩膜；根据所述期望掩膜与所述标注掩膜的差异，以及每个监督掩模与所述标注掩膜的差异，调整所述人像分割模型的参数。

在一种实施方式中，所述监督模块包括第四卷积层和第三上采样层，处理器303执行调用所述监督模块对所述第四特征图集合进行还原处理，得到多个监督掩膜时，可以执行：调用所述第四卷积层对所述第四特征图集合中的特征图分别进行卷积处理，得到第五特征图集合；调用所述第三上采样层对所述第五特征图集合中的特征图分别进行上采样处理，得到多个监督掩膜。

在一种实施方式中，处理器303执行获取样本图像时，可以执行：获取原始图像；对所述原始图像进行数据增强处理，得到样本图像。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM， Random Access Memory)等。

对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取需要进行人像分割的待分割图像；

获取预训练的人像分割模型，所述预训练的人像分割模型包括：编码模块，特征金字塔模块和解码模块；

调用所述编码模块对所述待分割图像进行编码处理，得到第一特征图集合；

将所述第一特征图集合输入所述特征金字塔模块中，得到第二特征图集合；

调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜；

根据所述人像分割掩膜，从所述待分割图像中分割出人像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述解码模块包括第一子模块和第二子模块，所述调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜，包括：

调用所述第一子模块将所述第二特征图集合中的特征图的尺寸调整至预设尺寸，得到调整后的特征图；

调用所述第二子模块对所述调整后的特征图进行融合、卷积及采样处理，得到人像分割掩膜。

3.根据权利要求2所述的图像处理方法，其特征在于，所述第一子模块包括第一网络块、第二网络块和第三网络块，所述调用所述第一子模块将所述第二特征图集合中的特征图的尺寸调整至预设尺寸，得到调整后的特征图，包括：

调用所述第一网络块、所述第二网络块和/或所述第三网络块将所述第二特征图集合中的特征图调整至预设尺寸，得到调整后的特征图。

4.根据权利要求3所述的图像处理方法，其特征在于，所述第一网络块包括依次连接的卷积层、归一化层和激活层；

所述第二网络块包括依次连接的卷积层、归一化层、激活层和上采样层；

所述第三网络块包括依次连接的卷积层、归一化层、激活层和上采样层，所述第三网络块的输入通道数与所述第三网络块的输出通道数相同。

5.根据权利要求2所述的图像处理方法，其特征在于，所述第二子模块包括第一融合层、第一卷积层和第一上采样层，所述调用所述第二子模块对所述调整后的特征图进行融合、卷积及采样处理，得到人像分割掩膜，包括：

调用所述第一融合层对所述调整后的特征图进行融合处理，得到融合后的特征图；

调用所述第一卷积层对所述融合后的特征图进行卷积处理，得到卷积后的特征图；

调用所述第一上采样层对所述卷积后的特征图进行上采样处理，得到人像分割掩膜。

6.根据权利要求1所述的图像处理方法，其特征在于，所述获取需要进行人像分割的待分割图像之前，还包括：

获取样本图像，以及所述样本图像对应的标注掩膜；

获取监督模块；

利用所述样本图像、所述样本图像对应的标注掩膜以及所述监督模块对人像分割模型进行训练。

7.根据权利要求6所述的图像处理方法，其特征在于，所述利用所述样本图像、所述样本图像对应的标注掩膜以及所述监督模块对人像分割模型进行训练，包括：

调用所述编码模块对所述样本图像进行编码处理，得到第三特征图集合；

将所述第三特征图集合输入所述特征金字塔模块，得到第四特征图集合；

调用所述解码模块对所述第四特征图集合进行解码处理，得到期望掩膜；

调用所述监督模块对所述第四特征图集合进行还原处理，得到多个监督掩膜；

根据所述期望掩膜与所述标注掩膜的差异，以及每个监督掩模与所述标注掩膜的差异，调整所述人像分割模型的参数。

8.根据权利要求7所述的图像处理方法，其特征在于，所述监督模块包括第四卷积层和第三上采样层，所述调用所述监督模块对所述第四特征图集合进行还原处理，得到多个监督掩膜，包括：

调用所述第四卷积层对所述第四特征图集合中的特征图分别进行卷积处理，得到第五特征图集合；

调用所述第三上采样层对所述第五特征图集合中的特征图分别进行上采样处理，得到多个监督掩膜。

9.根据权利要求6所述的图像处理方法，其特征在于，所述获取样本图像，包括：

获取原始图像；

对所述原始图像进行数据增强处理，得到样本图像。

10.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取需要进行人像分割的待分割图像；

第二获取模块，用于获取预训练的人像分割模型，所述预训练的人像分割模型包括：编码模块，特征金字塔模块和解码模块；

第一调用模块，用于调用所述编码模块对所述待分割图像进行编码处理，得到第一特征图集合；

输入模块，用于将所述第一特征图集合输入所述特征金字塔模块中，得到第二特征图集合；

第二调用模块，用于调用所述解码模块对所述第二特征图集合进行解码处理，得到人像分割掩膜；

分割模块，用于根据所述人像分割掩膜，从所述待分割图像中分割出人像。

11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至9任一项所述的图像处理方法。

12.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1至9任一项所述的图像处理方法。

Images