CN113223023A - 图像处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

一种图像处理方法及装置、电子设备、存储介质，该方法包括：通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到原始图像对应的第一人像分割结果及错误预测结果，第一人像分割结果用于标注原始图像中的人像区域，错误预测结果用于预测第一人像分割结果中被错误判断为人像区域的错误区域；根据错误预测结果确定待优化的目标图像区域；针对目标图像区域进行优化处理，得到目标图像区域对应的第二人像分割结果；根据目标图像区域对应的第二人像分割结果与上述第一人像分割结果，获取所述原始图像对应的目标人像分割结果。实施本申请实施例，能够减少电子设备的计算量，从而提升电子设备进行图像处理的效率，同时也降低了电子设备的功耗。

Description

图像处理方法及装置、电子设备、存储介质

技术领域

本申请涉及影像技术领域，尤其涉及一种图像处理方法及装置、电子设备、存储介质。

背景技术

当前，在使用电子设备进行拍摄或预览拍摄的时候，常常需要将所拍摄的人像区域分割出来(即抠图)，以便于后续针对人像区域或背景区域进行相应的虚化、增强等操作。然而，在实践中发现，传统的人像分割方式为了确保一定的精度，通常计算量较大，容易导致电子设备功耗过高，同时也降低了电子设备进行图像处理的效率。

发明内容

本申请实施例公开了一种图像处理方法及装置、电子设备、存储介质，能够在确保人像分割精度的情况下，减少电子设备的计算量，从而提升电子设备进行图像处理的效率，同时也降低了电子设备的功耗。

本申请实施例第一方面公开一种图像处理方法，包括：

通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到所述原始图像对应的第一人像分割结果及错误预测结果，所述第一人像分割结果用于标注所述原始图像中的人像区域，所述错误预测结果用于预测所述第一人像分割结果中被错误判断为人像区域的错误区域；

根据所述错误预测结果确定待优化的目标图像区域；

针对所述目标图像区域进行优化处理，得到所述目标图像区域对应的第二人像分割结果；

根据所述目标图像区域对应的第二人像分割结果与所述第一人像分割结果，获取所述原始图像对应的目标人像分割结果。

本申请实施例第二方面公开一种图像处理装置，包括：

识别单元，用于通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到所述原始图像对应的第一人像分割结果及错误预测结果，所述第一人像分割结果用于标注所述原始图像中的人像区域，所述错误预测结果用于预测所述第一人像分割结果中被错误判断为人像区域的错误区域；

区域确定单元，用于根据所述错误预测结果确定待优化的目标图像区域；

区域优化单元，用于针对所述目标图像区域进行优化处理，得到所述目标图像区域对应的第二人像分割结果；

分割优化单元，用于根据所述目标图像区域对应的第二人像分割结果与所述第一人像分割结果，获取所述原始图像对应的目标人像分割结果。

本申请实施例第三方面公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如本申请实施例第一方面公开的任意一种图像处理方法中的全部或部分步骤。

本申请实施例第四方面公开了一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时实现如本申请实施例第一方面公开的任意一种图像处理方法中的全部或部分步骤。

与相关技术相比，本申请实施例具有以下有益效果：

本申请实施例中，电子设备可以通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到该原始图像对应的第一人像分割结果及错误预测结果，其中，该第一人像分割结果用于标注原始图像中的人像区域，错误预测结果则用于预测该第一人像分割结果中被错误判断为人像区域的错误区域。在此基础上，电子设备可以根据上述错误预测结果确定待优化的目标图像区域，并针对该目标图像区域进行优化处理，得到该目标图像区域对应的第二人像分割结果。根据该目标图像区域对应的第二人像分割结果与上述第一人像分割结果，电子设备可以获取上述原始图像对应的目标人像分割结果。可见，实施本申请实施例，电子设备能够通过人像分割模型，对从原始图像初步分割得到的较为粗糙的第一人像分割结果进行优化，在优化的过程中，具体可以是针对上述第一人像分割结果中可能被错误判断为人像区域的部分图像区域进行优化，从而可以保留更多的毛发、轮廓边缘等人像细节，确保较高的人像分割精度；同时，仅针对少部分图像区域进行优化，即可获得相对准确的人像分割结果，也尽可能降低了电子设备的计算量，从而有效提升了电子设备进行图像处理的效率，并有利于降低电子设备的功耗。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种图像处理电路的结构示意图；

图2是本申请实施例公开的一种图像处理方法的流程示意图；

图3A是本申请实施例公开的一种第一人像分割结果的示意图；

图3B是本申请实施例公开的一种错误预测结果的示意图；

图3C是本申请实施例公开的一种待优化的目标图像区域的示意图；

图4是本申请实施例公开的另一种图像处理方法的流程示意图；

图5A是本申请实施例公开的通过一种人像分割模型对原始图像进行处理的流程示意图；

图5B是本申请实施例公开的通过另一种人像分割模型对原始图像进行处理的流程示意图；

图6是本申请实施例公开的又一种图像处理方法的流程示意图；

图7A是本申请实施例公开的一种对原始图像执行旋转操作的示意图；

图7B是本申请实施例公开的另一种对原始图像执行旋转操作的示意图；

图8是本申请实施例公开的一种图像处理方法的整体流程示意图；

图9是根据图8所示的整体流程进行图像处理所得到的图像处理效果示意图；

图10是本申请实施例公开的一种图像处理装置的模块化示意图；

图11是本申请实施例公开的一种电子设备的模块化示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在相关技术中，由于手机、智能可穿戴设备、平板电脑等电子设备的计算能力有限，为了实现精细度较高的某些图像处理功能，往往需要持续进行大量计算，容易导致电子设备功耗过高，同时也降低了电子设备进行图像处理的效率。例如，在对原始图像进行人像分割时，为了保留发丝细节，应用传统的人像分割方式往往耗时较长，且电子设备也极易因功耗过高而发烫。本申请实施例公开了一种图像处理方法及装置、电子设备、存储介质，能够在确保人像分割精度的情况下，减少电子设备的计算量，从而提升电子设备进行图像处理的效率，同时也降低了电子设备的功耗。

以下将结合附图进行详细描述。

请参阅图1，图1是本申请实施例公开的一种图像处理电路的结构示意图。该图像处理电路可应用于手机、智能可穿戴设备、平板电脑等电子设备，但不限于此。如图1所示，图像处理电路可包括成像设备(摄像头)110、姿态传感器120、图像存储器130、图像信号处理(Image Signal Processing，ISP)处理器140、逻辑控制器150以及显示器160。

图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波、频域滤波等。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一个实施例中，通过成像设备(摄像头)110中的透镜112和图像传感器114可以获取其采集的待分割的原始图像，并将原始图像发送至ISP处理器140。ISP处理器140通过人像分割模型对原始图像中的人像区域进行识别，可以得到该原始图像对应的第一人像分割结果及错误预测结果，其中，该第一人像分割结果可以用于标注原始图像中的人像区域，错误预测结果则可以用于预测上述第一人像分割结果中被错误判断为人像区域的错误区域。进一步地，ISP处理器140可以根据上述错误预测结果确定待优化的目标图像区域，并针对该目标图像区域进行优化处理，得到该目标图像区域对应的第二人像分割结果。在此基础上，ISP处理器140可以根据上述目标图像区域对应的第二人像分割结果以及第一人像分割结果，获取上述原始图像对应的目标人像分割结果。

在一些实施例中，ISP处理器140还可进一步根据生成的人像掩模对原始图像进行发丝级虚化等渲染处理，并将渲染后的图像输出至显示器160，以供用户观看。

请参阅图2，图2是本申请实施例公开的一种图像处理方法的流程示意图，该方法可以应用于包括上述图像处理电路的电子设备。如图2所示，该图像处理方法可以包括以下步骤：

202、通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到原始图像对应的第一人像分割结果及错误预测结果，该第一人像分割结果用于标注原始图像中的人像区域，该错误预测结果用于预测上述第一人像分割结果中被错误判断为人像区域的错误区域。

在本申请实施例中，待分割的原始图像可以包括电子设备的成像设备拍摄到的图像，也可以包括通过有线或者无线通信传输至该电子设备的图像，本申请实施例中不作具体限定。其中，上述原始图像可以包括多种不同类型的图像数据，如色彩数据(包括基于YUV颜色空间、RGB颜色空间等不同颜色空间的色彩数据)、纹理数据等。

电子设备在获取到上述原始图像之后，可以通过人像分割算法或人像抠图(Matting)算法对该原始图像中的人像区域进行识别，其中，人像区域可以指该原始图像中由被识别为人像的像素点所组成的区域。具体地，电子设备可以将上述原始图像作为人像分割模型的输入，并通过该人像分割模型对该原始图像中的人像区域进行识别，得到该原始图像对应的第一人像分割结果，该第一人像分割结果可以用于标注原始图像中的人像区域。可以理解，为了确保电子设备进行图像处理的效率，上述人像分割模型可以采用轻量级人像分割算法。

举例来说，轻量级人像分割算法可以包括基于图论的分割算法、基于聚类的分割算法、基于语义的分割算法和基于实例的分割算法等。示例性地，在采用基于语义的轻量级人像分割算法时，可以采用如Deeplab系列分割算法、U-Net分割算法、FCN分割算法等，以从原始图像中识别出相对粗糙的人像区域，并进行分割得到该原始图像对应的第一人像分割结果。

同时，通过上述图人像分割模型，电子设备还可以进一步得到原始图像对应的错误预测结果，该错误预测结果可以用于预测上述第一人像分割结果中被错误判断为人像区域的错误区域。具体地，电子设备在通过该人像分割模型得到上述第一人像分割结果后，可以基于该第一人像分割结果，预测其中可能被错误判断为人像的像素点或图像区域，进而得到相应的错误预测结果。

示例性的，上述第一人像分割结果可以通过灰度图或二值图来表示，即以灰度图中像素点的灰度值不为0的区域来表示人像区域，或者以二值图中像素点的值为1的区域来表示人像区域。以灰度图为例，当通过Softmax等函数(例如在人像分割模型中设置的Softmax层)来表征原始图像中的人像区域时，根据原始图像中的每个像素点被识别为人像区域的可能性，各个像素点均可以对应于一定的Softmax概率值，则在灰度图中可以基于该概率值确定每个像素点对应的灰度值。可选地，该灰度值可以与上述概率值成正比例关系。请参阅图3A，图3A是本申请实施例公开的一种第一人像分割结果的示意图。如图3A所示，在对原始图像310(以RGB人像图像为例)中的人像区域进行识别之后，可以得到第一人像分割结果320。为了便于显示，可以将第一人像分割结果320包括的各个像素点对应的概率值与255相乘，得到该第一人像分割结果对应的灰度图。进一步地，还可以通过二分法将该灰度图转换为二值图。因此，在第一人像分割结果320中，被识别为人像区域的概率值更接近1的像素点在灰度图中对应的灰度值可为255(白色)，被识别为人像区域的概率值更接近0的像素点在灰度图中对应的灰度值可为0(黑色)。从图3A中可明显看出，白色像素点对应于人像区域，黑色像素点对应于背景区域。

请一并参阅图3B，图3B是本申请实施例公开的一种错误预测结果的示意图。如图3B所示，通过人像分割模型对原始图像310识别得到的错误预测结果330可以与图3A所示的第一人像分割结果320相对应，即在该错误预测结果330中，第一人像分割结果320所存在的可能被误判为人像区域的错误区域可以通过白色像素点来表示，而预测未被误判的区域则包括剩下的黑色像素点所对应的图像区域。

204、根据错误预测结果确定待优化的目标图像区域。

在本申请实施例中，电子设备可以根据上述错误预测结果，从中确定出较有可能被错误判断为人像区域的图像区域，即预测其误判概率较高的图像区域，作为待优化的图像区域。在此基础上，电子设备可以在后续的步骤中针对该目标图像区域进行优化，以得到相对于上述第一人像分割结果而言更精细的第二人像分割结果。

在一些实施例中，上述错误预测结果可以包括预测错误区域掩膜，该预测错误区域掩膜可以用于标注第一人像分割结果中，被上述人像分割模型预测为误判的人像区域的图像区域。基于该预测错误区域掩膜，可以通过各种类型的算法确定出一定数量(如N个，其中N为正整数)待优化的目标图像区域。示例性地，上述算法可以包括统计、特征识别、特征匹配等，本申请实施例中不作具体限定，

示例性地，如图3C所示，在错误预测结果330中，各个待优化的目标图像区域331可以为正方形区域，即该目标图像区域331在错误预测结果330的长和宽两个方向上可以分别具有相同数量的像素点，从而方便后续针对该目标图像区域331进行统计和优化，降低电子设备的计算量和计算难度。在一些实施例中，上述目标图像区域331也可以为其他矩形区域(非正方形区域)、圆形区域、不规则区域等，以更贴合实际地表征可能被错误判断为人像区域的图像区域，提升错误预测的准确性和可靠性。

206、针对目标图像区域进行优化处理，得到该目标图像区域对应的第二人像分割结果。

在本申请实施例中，电子设备在确定出上述目标图像区域之后，可以针对该目标图像区域进行优化处理，以对该目标图像区域中的人像区域做进一步修正和确认，得到该目标图像区域对应的第二人像分割结果。具体地，类似于上述第一人像分割结果，该第二人像分割结果也可以通过目标图像区域中的各个像素点被识别为人像区域的概率值来表示，从而根据该第二人像分割结果，可以针对目标图像区域中的各个像素点在上述第一人像分割结果中的概率值进行修正，以得到更精细的第二人像分割结果。

示例性地，电子设备可以仅针对N个(N为正整数)目标图像区域进行优化，该N个目标图像区域可以是根据上述错误预测结果确定出的错误预测可能性较高的图像区域，从而可以仅针对少部分图像区域进行优化，即获得相对准确的人像分割结果，在确保较高的人像分割精度的前提下，也尽可能降低了电子设备的计算量，从而有效提升了电子设备进行图像处理的效率。

在一些实施例中，电子设备可以通过回归分析算法对上述目标图像区域进行优化处理。示例性地，电子设备可以根据目标图像区域中的每个像素点在上述原始图像、第一人像分割结果以及错误预测结果中各自的像素值，通过回归分析，计算出各个像素点被判断为人像区域的修正概率值，从而可以得到该目标图像区域对应的第二人像分割结果。

在另一些实施例中，电子设备也可以通过优化网络模型来对上述目标图像区域进行优化处理。具体地，电子设备可以将上述原始图像、第一人像分割结果以及错误预测结果中的目标图像区域作为优化网络模型的输入，并通过训练好的优化网络模型对其进行优化，得到目标图像区域对应的第二人像分割结果。可选地，该优化网络模型也可以属于上述人像分割模型的一部分，例如通过上述人像分割模型中的若干卷积层实现该优化网络模型。

208、根据目标图像区域对应的第二人像分割结果与第一人像分割结果，获取原始图像对应的目标人像分割结果。

在本申请实施例中，电子设备在获取上述目标图像区域对应的第二人像分割结果之后，可以将该第二人像分割结果与上述第一人像分割结果进行融合修正，以得到原始图像对应的目标人像分割结果。具体地，电子设备可以根据目标图像区域对应的第二人像分割结果，对该目标图像区域中的各个像素点在第一人像分割结果中对应的概率值进行修正，从而将被误判为人像区域的像素点修正为背景区域，将被误判为背景区域的像素点修正为人像区域，以保留更多的毛发、轮廓边缘等人像细节，大大提升了人像分割的精度。

可见，实施上述实施例所描述的图像处理方法，电子设备能够通过人像分割模型，对从原始图像初步分割得到的较为粗糙的第一人像分割结果进行优化，在优化的过程中，具体可以是针对上述第一人像分割结果中可能被错误判断为人像区域的部分图像区域进行优化，从而可以保留更多的毛发、轮廓边缘等人像细节，确保较高的人像分割精度；同时，仅针对少部分图像区域进行优化，即可获得相对准确的人像分割结果，也尽可能降低了电子设备的计算量，从而有效提升了电子设备进行图像处理的效率，并有利于降低电子设备的功耗。

请参阅图4，图4是本申请实施例公开的另一种图像处理方法的流程示意图，该方法可以应用于包括上述图像处理电路的电子设备，其中，上述人像分割模型可以包括编码器及解码器。如图4所示，该图像处理方法可以包括以下步骤：

402、通过编码器提取待分割的原始图像中的图像特征。

404、通过解码器根据上述图像特征识别原始图像中的人像区域，得到该原始图像对应的第一人像分割结果及错误预测结果。

在本申请实施例中，人像分割模型可以是包括M个网络层的任意一种神经网络模型，其中，M可以为大于或等于2的正整数。例如，该人像分割模型可包括但不限于：全卷积网络(Fully Convolutional Network，FCN)、DeepLab系列包括的任意一种卷积网络、U型网络(U-Net)。无论人像分割模型采用何种模型结构，都可利用符合规格的样本人像数据集对待训练的人像分割模型进行训练，使得训练后得到的人像分割模型可以学习到人像分割的能力，能够对输入的原始图像进行初步人像分割，输出第一人像分割结果。示例性地，符合规格的样本人像数据集可以包括多张RGB人像图像、对人像区域进行标注的人像图像、对易被错误判断为人像区域的错误区域进行预测的人像图像等。电子设备可采用有监督学习、无监督学习或者半监督学习等训练方式对人像分割模型进行训练，本申请实施例不做限定。在本申请实施例中，可以通过神经网络模型在训练过程中自学习到的图像特征与人像分割结果之间的映射关系对原始图像进行初步人像分割，避免了人工设计用于人像分割的图像特征带来的局限性，提高了本申请实施例公开的图像处理方法应用于人像分割场景时的泛化能力。

示例性的，请参阅图5A，图5A是本申请实施例公开的一种通过人像分割模型对原始图像进行处理的流程示意图。如图5A所示，人像分割模型510包括的M个网络层中，可以包括编码器511(Encoder)以及解码器512(Decoder)。其中，编码器511可包括多个卷积层；可选的，可采用MobileNet系列、ShuffleNet系统中的任意一种神经网络模型作为编码器511。解码器512可但不限于：卷积层、反卷积层、上采样层、批标准化层(Batch Normalization，BN)层、线性整流(Rectified Linear Unit，ReLU)层等。

编码器511的第一个网络层可接收输入的原始图像，并通过编码器511包括的m1个网络层逐层提取原始图像的图像特征。编码器511包括的每个网络层在提取出图像特征之后，可生成包括图像特征的特征图。其中，如图5A所示，编码器511包括的每个网络层输出的特征图的图像尺寸可以不同，排列位置在后的网络层输出的特征图的图像尺寸可小于排列位置在前的特征图的图像尺寸。

解码器512的第一个网络层可对编码器第m1个网络层输出的特征图进行处理，并通过解码器512包括的m2个网络层逐层还原编码器511提取出的图像特征，以及恢复像素点的空间信息。并且，解码器512和编码器511包括的网络层还可跳跃连接，以将编码器511的网络层提取到的图像特征融合至解码器512的网络层提取到的图像特征中，有利于提高人像分割模型的泛化能力，以及提高人像分割模型进行人像分割的准确性。

可选地，在该解码器512后还可以接有Softmax层(未图示)，以用于对原始图像中每个像素点被识别为人像区域的预测值进行归一化。即，将原始图像中每个像素点被识别为人像区域的预测值映射至[0,1]的概率范围内，最终得到Softmax层输出的第一人像分割结果。

可以理解，当人像分割模型510仅包括一个解码器512时，该解码器512除了输出上述第一人像分割结果，还可以同时输出相应的错误预测结果。可选地，该解码器512可以输出形式为HxWx2的双通道输出图像数据，其中H和W分别为该输出图像的高和宽。在此基础上，对上述输出图像进行分割(Split)操作，可以分别得到原始图像对应的单通道第一人像分割结果及单通道错误预测结果。

在一些实施例中，如图5B所示，解码器512也可以包括第一解码器512a及第二解码器512b，该第一解码器512a可以用于获取上述第一人像分割结果，第二解码器512b则可以用于获取上述错误预测结果。具体地，第一解码器512a可以根据编码器511从原始图像中提取的图像特征来识别该原始图像中的人像区域，得到相应的第一人像分割结果；第二解码器512b则可以根据上述图像特征，以及第一解码器512a获取的第一人像分割结果，预测该第一人像分割结果中被错误判断为人像区域的错误区域，得到原始图像对应的错误预测结果。

其中，上述人像分割模型可以是利用第一人像数据集及第二人像数据集进行训练得到的。具体地，该第一人像数据集可以用于训练上述解码器的人像分割功能，第二人像数据集则可以用于训练该解码器的错误预测功能。可选地，当上述解码器包括第一解码器和第二解码器时，该第一人像数据集可以用于训练第一解码器，第二人像数据集则可以用于训练第二解码器。

其中，该第一人像数据集可以包括多张第一样本人像图像及每张第一样本人像图像对应的人像掩膜；第二人像数据集则可以包括多张第二样本人像图像及每张第二样本人像图像对应的错误区域掩膜，该错误区域掩膜用于标注第二样本人像图像中被错误判断为人像区域的图像区域。

在一种实施例中，对上述人像分割模型的训练可以通过先训练人像分割部分(对应于第一解码器)，再训练错误预测部分(对应于第二解码器)来实现，从而可以仅采用同一个人像数据集作为样本。

具体地，电子设备可以将上述多张第一样本人像图像及每张第一样本人像图像对应的人像掩膜输入人像分割模型进行人像分割训练，并获取每张第一样本人像图像对应的人像预测结果。进一步地，电子设备可以将每张第一样本人像图像对应的人像掩膜分别与相应的人像预测结果进行比较，根据比较结果生成每张第一样本人像图像对应的错误区域掩膜。在此基础上，电子设备可以将多张第一样本人像图像及每张第一样本人像图像对应的错误区域掩膜输入人像分割模型进行错误预测训练，得到训练好的人像分割模型。

其中，在进行上述比较时，电子设备可以将目标第一样本人像图像对应的人像掩膜与相应的人像预测结果作差，得到错误预测差值图，该目标第一样本人像图像为上述多张第一样本人像图像中的任意一张。然后，可以分别判断错误预测差值图中的每个像素点是否大于错误预测阈值，并将大于错误预测阈值的像素点设置为第一像素值，以及将不大于错误预测阈值的像素点设置为第二像素值，得到全部像素点重新设置后的错误预测差值图作为目标第一样本人像图像对应的错误区域掩膜。

406、根据错误预测结果确定待优化的目标图像区域。

408、针对目标图像区域进行优化处理，得到该目标图像区域对应的第二人像分割结果。

410、根据目标图像区域对应的第二人像分割结果与第一人像分割结果，获取原始图像对应的目标人像分割结果。

其中，步骤406、步骤408以及步骤410与上述步骤204、步骤206以及步骤208类似，此处不再赘述。

可见，实施上述实施例所描述的图像处理方法，电子设备能够通过人像分割模型，对从原始图像初步分割得到的较为粗糙的第一人像分割结果进行优化，从而仅针对少部分图像区域进行优化，即可获得相对准确的人像分割结果，在确保人像分割精度的同时，也尽可能降低了电子设备的计算量，从而有效提升了电子设备进行图像处理的效率，并有利于降低电子设备的功耗；此外，通过样本人像数据集分别对上述人像分割模型的人像分割部分及错误预测部分进行训练，能够提升该人像分割模型识别人像区域及预测错误区域的准确性，进一步提升电子设备进行图像处理的可靠性。

请参阅图6，图6是本申请实施例公开的又一种图像处理方法的流程示意图，该方法可以应用于包括上述图像处理电路的电子设备，其中，上述人像分割模型可以包括编码器及解码器。如图6所示，该图像处理方法可以包括以下步骤：

602、通过编码器提取待分割的原始图像中的图像特征。

604、通过解码器根据上述图像特征识别原始图像中的人像区域，得到该原始图像对应的第一人像分割结果及错误预测结果。

其中，步骤602以及步骤604与上述步骤402以及步骤404类似，此处不再赘述。需要说明的是，在本申请实施例中，待分割的原始图像可以是电子设备拍摄得到，或者是由其他设备传输至电子设备的。因此，不同的原始图像的图像规格可能并不一致，每帧原始图像的图像规格与第一人像分割结果的输入图像的图像规格可能也不一致。其中，第一人像分割结果的输入图像的图像规格可以是基于第一人像分割结果的第一个网络层接收的输入图像的图像规格确定的。

在本申请实施例中，为了使得第一人像分割结果能够对原始图像进行人像分割，可先对原始图像进行预处理，预处理的操作可包括：旋转操作、缩放操作、归一化操作中的一种或多种操作。

旋转操作，可指将原始图像的某个像素点为中心旋转一定角度的操作。电子设备可根据原始图像的宽度和高度判断原始图像的拍摄方向，例如当宽度大于高度时，原始图像的拍摄方向为横拍；当高度大于宽度时，原始图像的拍摄方向为竖排。或者，根据拍摄到原始图像的拍摄装置记录的拍摄方向值判断原始图像的拍摄方向。其中，拍摄方向可包括：横拍或者竖拍。在判断出原始图像的拍摄方向与第一人像分割结果的输入图像的拍摄方向不一致时，电子设备可对原始图像执行旋转操作，使得旋转后的原始图像与输入图像的拍摄方向一致。其中，旋转的方向不做限定，可包括顺时针旋转或者逆时针旋转。

示例性的，请参阅图7A，图7A是本申请实施例公开的一种对原始图像执行旋转操作的示意图。假设第一人像分割结果的输入图像的拍摄方向为竖拍；若检测出预处理之前的原始图像710的拍摄方向为横拍，而输入图像的拍摄方向为竖排，则可将原始图像710按照逆时针方向旋转90°，得到竖拍的原始图像720。

示例性的，请参阅图7B，图7B是本申请实施例公开的另一种对原始图像执行旋转操作的示意图。假设第一人像分割结果的输入图像的拍摄方向为横拍；若检测出预处理之前得原始图像730的拍摄方向为竖拍，而输入图像的拍摄方向为横拍，则可将原始图像按照逆时针方向旋转90°，得到横拍的原始图像740。

缩放操作，可指对原始图像的图像尺寸进行缩小或放大的操作。在原始图像的图像尺寸小于第一人像分割结果的输入图像的图像尺寸时，电子设备可对原始图像进行放大操作；在原始图像的图像尺寸大于输入图像的图像尺寸时，电子设备可对原始图像进行缩小操作。示例性的，若第一人像分割结果的输入图像的图像尺寸为640*480，则需要将原始图像的图像尺寸缩小或放大至640*480。

归一化操作，可指对原始图像中各个像素点的图像数据值映射到至[0,1]的范围内。归一化操作可包括：将原始图像中每个像素点对应的RGB三通道的数值进行先减均值再除方差的操作。示例性的，假设均值为127.5，则针对原始图像中任意一个像素点对应的RGB通道的数值X，先减均值再除方差的操作可通过以下公式表示：(X-127.5)/127.5。或者，归一化操作可包括：将原始图像中每个像素点对应的RGB三通道的数值直接除以255。示例性的，针对原始图像中任意一个像素点对应的RGB通道的数值X，直接除以255的操作可通过以下公式表示：X/255。

606、上述错误预测结果包括预测错误区域掩膜，通过目标尺寸的窗口遍历该预测错误区域掩膜，并对每个被遍历的图像区域中被错误判断为人像区域的像素点进行统计，得到每个被遍历的图像区域对应的错误预测值。

其中，上述预测错误区域掩膜，可以用于标注第一人像分割结果中被预测为误判作人像区域的错误区域。在一些实施例中，上述人像分割模型可以在对原始图像中的人像区域进行识别，得到该原始图像对应的第一人像分割结果之后，再根据该第一人像分割结果确定相应的预测错误区域掩膜。在另一些实施例中，人像分割模型也可以在针对原始图像提取其图像特征后，根据该图像特征，同步获取原始图像对应的第一人像分割结果及上述预测错误区域掩膜。

在本申请实施例中，针对上述预测错误区域掩膜，电子设备可以通过目标尺寸的窗口进行遍历，以统计得到误判可能性最高、误判情况最严重的图像区域。示例性地，上述目标尺寸的窗口可以包括矩形窗口(如KxK大小的正方形窗口、HxL大小的长方形窗口等，其中，K、H、L均为正整数)。

具体举例来说，电子设备可以通过上述窗口遍历预测错误区域掩膜，并对每个被遍历的图像区域中被错误判断为人像区域的像素点进行统计。如图3C所示，上述统计即针对错误预测结果中每个被遍历的图像区域中的白色像素点进行统计，进而根据所选取的统计方法，可以相应得到每个被遍历的图像区域对应的错误预测值。示例性地，上述统计方法可以包括计数、加权计数(例如被遍历的图像区域中的不同位置可以对应不同的权重)、计算占比等。

608、根据该错误预测值从全部被遍历的图像区域中选取N个待优化的目标图像区域，其中，N为正整数。

具体地，通过选取固定数量N个待优化的目标图像块，可以针对用户所需的优化精度实现相应的优化。其中，N越大，则可进行精细优化的图像区域越多，同时计算量也越大；N越小，则可进行精细优化的图像区域越少，同时计算量也越小。通过选取合适的N的大小，可以结合电子设备的性能及图像处理效果实现平衡、较优的目标图像区域优化效果。

在一些实施例中，电子设备可以通过排序的方式，从全部被遍历的图像区域中选取排序顺序靠前的N个图像区域作为待优化的目标图像区域。示例性地，电子设备可以按照上述错误预测值从大到小的顺序，对全部被遍历的图像区域进行排序，并将排序靠前的N个错误预测值对应的图像区域确定为待优化的目标图像区域，从而可以针对误判可能性最高、误判情况最严重的部分图像区域进行优化，确保电子设备进行图像处理的效率。

610、分别从上述原始图像、第一人像分割结果及错误预测结果中获取目标图像区域对应的图像信息，并将该图像信息进行融合，得到输入图像。

在本申请实施例中，为了针对上述目标图像区域进行优化，可以将该目标图像区域对应的图像信息作为输入，通过训练好的优化网络模型来得到相应的优化输出结果。具体地，电子设备可以从上述原始图像、第一人像分割结果及错误预测结果中分别获取与该目标图像区域对应的图像信息，进而可以将上述图像信息融合得到相应的输入图像，作为优化网络模型的输入。

在一种实施例中，电子设备可以分别将目标图像区域内的各个像素点在原始图像的第一像素值、在第一人像分割结果的第二像素值及在错误预测结果的第三像素值进行拼接，得到目标图像区域对应的输入图像。具体举例来说，上述原始图像可以为RGB三通道图像，第一人像分割结果可以为单通道图像(即第一人像分割结果对应的人像掩膜)，错误预测结果可以为单通道图像(即错误预测结果对应的预测错误区域掩膜)，则电子设备可将目标图像区域内的各个像素点分别在该原始图像、第一人像分割结果及错误预测结果中对应的像素值进行拼接，得到五通道的输入图像。

在另一种实施例中，电子设备也可以根据目标图像区域内的各个像素点在原始图像的第一像素值、在第一人像分割结果的第二像素值及在错误预测结果的第三像素值进行计算，得到目标图像区域对应的单通道输入图像或多通道输入图像。示例性地，电子设备可以根据以上述第一像素值、第二像素值及第三像素值为自变量的函数关系式，计算得到输入图像的各个像素点对应的单通道像素值；也可以根据上述第一像素值、第二像素值及第三像素值之间的约束关系进行相互修正，再将修正后的像素值进行拼接，得到输入图像的各个像素点对应的多通道像素值。

612、将输入图像输入优化网络模型，通过该优化网络模型得到目标图像区域对应的第二人像分割结果。

其中，步骤612与上述步骤206类似，此处不再赘述。

614、根据目标图像区域对应的第二人像分割结果，替换该目标图像区域内的各个像素点在第一人像分割结果的像素值，得到原始图像对应的目标人像分割结果。

在本申请实施例中，目标图像区域对应的第二人像分割结果可以与上述第一人像分割结果具有相同的数据格式(例如Softmax层输出的归一化概率值格式、二值化格式等)，从而可以根据该第二人像分割结果替换目标图像区域内的各个像素点在第一人像分割结果中对应的像素值。通过进行上述替换，可以得到原始图像对应的目标人像分割结果，该目标人像分割结果可以具有比上述第一人像分割结果更精细化的毛发、轮廓边缘等人像细节，从而有效提升了电子设备进行人像分割的精确性，有利于实现发丝级的人像分割结果。

请一并参阅图8及图9，图8是本申请实施例公开的一种图像处理方法的整体流程示意图，图9是根据图8所示的整体流程进行图像处理所得到的图像处理效果示意图。如图8及图9所示，通过实施上述图像处理方法，能够通过人像分割模型，对从原始图像初步分割得到的较为粗糙的第一人像分割结果进行优化，得到精细化程度更高的目标人像分割结果，有效提升了电子设备进行人像分割的精确性。

可见，实施上述实施例所描述的图像处理方法，电子设备能够通过人像分割模型，对从原始图像初步分割得到的较为粗糙的第一人像分割结果进行优化，从而仅针对少部分图像区域进行优化，即可获得相对准确的人像分割结果，也尽可能降低了电子设备的计算量，从而有效提升了电子设备进行图像处理的效率；此外，该方法融合了原始图像、第一人像分割结果及错误预测结果等多种图像信息，大大提升了电子设备进行人像分割的精确性。

请参阅图10，图10是本申请实施例公开的一种图像处理装置的模块化示意图，该图像处理装置可以应用于包括上述图像处理电路的电子设备。如图10所示，该图像处理装置可以包括识别单元1001、区域确定单元1002、区域优化单元1003以及分割优化单元1004，其中：

识别单元1001，用于通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到原始图像对应的第一人像分割结果及错误预测结果，该第一人像分割结果用于标注原始图像中的人像区域，该错误预测结果用于预测上述第一人像分割结果中被错误判断为人像区域的错误区域；

区域确定单元1002，用于根据错误预测结果确定待优化的目标图像区域；

区域优化单元1003，用于针对目标图像区域进行优化处理，得到该目标图像区域对应的第二人像分割结果；

分割优化单元1004，用于根据目标图像区域对应的第二人像分割结果与第一人像分割结果，获取原始图像对应的目标人像分割结果。

可见，采用上述实施例所描述的图像处理装置，电子设备能够通过人像分割模型，对从原始图像初步分割得到的较为粗糙的第一人像分割结果进行优化，在优化的过程中，具体可以是针对上述第一人像分割结果中可能被错误判断为人像区域的部分图像区域进行优化，从而可以保留更多的毛发、轮廓边缘等人像细节，确保较高的人像分割精度；同时，仅针对少部分图像区域进行优化，即可获得相对准确的人像分割结果，也尽可能降低了电子设备的计算量，从而有效提升了电子设备进行图像处理的效率，并有利于降低电子设备的功耗。

在一种实施例中，上述人像分割模型可以包括编码器及解码器，上述识别单元1001可以包括未图示的编码子单元以及解码子单元，其中：

编码子单元，用于通过编码器提取待分割的原始图像中的图像特征；

解码子单元，用于通过解码器根据上述图像特征识别原始图像中的人像区域，得到该原始图像对应的第一人像分割结果及错误预测结果。

在一种实施例中，上述解码器可以包括第一解码器及第二解码器，其中，第一解码器用于获取上述第一人像分割结果，第二解码器用于获取上述错误预测结果。

在一种实施例中，上述人像分割模型可以是利用第一人像数据集及第二人像数据集进行训练得到的，其中，第一人像数据集包括多张第一样本人像图像及每张第一样本人像图像对应的人像掩膜；第二人像数据集包括多张第二样本人像图像及每张第二样本人像图像对应的错误区域掩膜，该错误区域掩膜用于标注第二样本人像图像中被错误判断为人像区域的图像区域。

在一种实施例中，上述多张第一样本人像图像可以与多张第二样本人像图像相同，图10所示的图像处理装置可以包括未图示的训练单元，其中，该训练单元可以用于：

将上述多张第一样本人像图像及每张第一样本人像图像对应的人像掩膜输入人像分割模型进行人像分割训练，并获取每张第一样本人像图像对应的人像预测结果；

将每张第一样本人像图像对应的人像掩膜分别与相应的人像预测结果进行比较，根据比较结果生成每张第一样本人像图像对应的错误区域掩膜；

将多张第一样本人像图像及每张第一样本人像图像对应的错误区域掩膜输入人像分割模型进行错误预测训练，得到训练好的人像分割模型。

示例性地，该训练单元在将每张第一样本人像图像对应的人像掩膜分别与相应的人像预测结果进行比较，以据比较结果生成每张第一样本人像图像对应的错误区域掩膜时，具体可以包括：

将目标第一样本人像图像对应的人像掩膜与相应的人像预测结果作差，得到错误预测差值图，该目标第一样本人像图像为上述多张第一样本人像图像中的任意一张；

分别判断错误预测差值图中的每个像素点是否大于错误预测阈值，将大于该错误预测阈值的像素点设置为第一像素值，以及将不大于该错误预测阈值的像素点设置为第二像素值，得到全部像素点重新设置后的错误预测差值图作为目标第一样本人像图像对应的错误区域掩膜。

可见，采用上述实施例所描述的图像处理装置，电子设备能够在确保人像分割精度的同时，也尽可能降低了电子设备的计算量，从而有效提升了电子设备进行图像处理的效率，并有利于降低电子设备的功耗；此外，通过样本人像数据集分别对上述人像分割模型的人像分割部分及错误预测部分进行训练，能够提升该人像分割模型识别人像区域及预测错误区域的准确性，进一步提升电子设备进行图像处理的可靠性。

在一种实施例中，上述错误预测结果可以包括预测错误区域掩膜，上述区域确定单元1002可包括未图示的统计子单元以及选取子单元，其中：

统计子单元，用于通过目标尺寸的窗口遍历预测错误区域掩膜，并对每个被遍历的图像区域中被错误判断为人像区域的像素点进行统计，得到每个被遍历的图像区域对应的错误预测值；

选取子单元，用于根据该错误预测值从全部被遍历的图像区域中选取N个待优化的目标图像区域，其中，N为正整数。

可选地，上述选取子单元，具体可以用于按照错误预测值从大到小的顺序，对全部被遍历的图像区域进行排序，并将排序靠前的N个错误预测值对应的图像区域确定为待优化的目标图像区域。

在一种实施例中，上述区域优化单元1003可以包括未图示的数据融合子单元以及网络优化子单元，其中：

数据融合子单元，用于分别从原始图像、第一人像分割结果及错误预测结果中获取目标图像区域对应的图像信息，并将该图像信息进行融合，得到输入图像；

网络优化子单元，用于将该输入图像输入优化网络模型，通过该优化网络模型得到目标图像区域对应的第二人像分割结果。

可选地，上述数据融合子单元，具体可以用于分别将目标图像区域内的各个像素点在原始图像的第一像素值、在第一人像分割结果的第二像素值及在错误预测结果的第三像素值进行拼接，得到目标图像区域对应的输入图像。

在一种实施例中，上述分割优化单元1004，具体可以用于根据目标图像区域对应的第二人像分割结果，替换该目标图像区域内的各个像素点在第一人像分割结果的像素值，得到原始图像对应的目标人像分割结果。

可见，采用上述实施例所描述的图像处理装置，电子设备还融合了原始图像、第一人像分割结果及错误预测结果等多种图像信息，大大提升了电子设备进行人像分割的精确性。

请参阅图11，图11是本申请实施例公开的一种电子设备的模块化示意图。如图11所示，该电子设备可以包括：

存储有可执行程序代码的存储器1101；

与存储器1101耦合的处理器1102；

其中，处理器1102调用存储器1101中存储的可执行程序代码，可以执行上述实施例所描述的任意一种图像处理方法中的全部或部分步骤。

此外，本申请实施例进一步公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机可以执行上述实施例所描述的任意一种图像处理方法中的全部或部分步骤。

此外，本申请实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机可以执行上述实施例所描述的任意一种图像处理方法中的全部或部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种图像处理方法及装置、电子设备、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到所述原始图像对应的第一人像分割结果及错误预测结果，所述第一人像分割结果用于标注所述原始图像中的人像区域，所述错误预测结果用于预测所述第一人像分割结果中被错误判断为人像区域的错误区域；

根据所述错误预测结果确定待优化的目标图像区域；

针对所述目标图像区域进行优化处理，得到所述目标图像区域对应的第二人像分割结果；

根据所述目标图像区域对应的第二人像分割结果与所述第一人像分割结果，获取所述原始图像对应的目标人像分割结果。

2.根据权利要求1所述的方法，其特征在于，所述人像分割模型包括编码器及解码器，所述通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到所述原始图像对应的第一人像分割结果及错误预测结果，包括：

通过所述编码器提取待分割的原始图像中的图像特征；

通过所述解码器根据所述图像特征识别所述原始图像中的人像区域，得到所述原始图像对应的第一人像分割结果及错误预测结果。

3.根据权利要求2所述的方法，其特征在于，所述解码器包括第一解码器及第二解码器，所述第一解码器用于获取所述第一人像分割结果，所述第二解码器用于获取所述错误预测结果。

4.根据权利要求1所述的方法，其特征在于，所述人像分割模型是利用第一人像数据集及第二人像数据集进行训练得到的，所述第一人像数据集包括多张第一样本人像图像及每张第一样本人像图像对应的人像掩膜；所述第二人像数据集包括多张第二样本人像图像及每张第二样本人像图像对应的错误区域掩膜，所述错误区域掩膜用于标注第二样本人像图像中被错误判断为人像区域的图像区域。

5.根据权利要求4所述的方法，其特征在于，所述多张第一样本人像图像与所述多张第二样本人像图像相同，在所述通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到所述原始图像对应的第一人像分割结果及错误预测结果之前，所述方法还包括：

将所述多张第一样本人像图像及每张第一样本人像图像对应的人像掩膜输入人像分割模型进行人像分割训练，并获取所述每张第一样本人像图像对应的人像预测结果；

将所述每张第一样本人像图像对应的人像掩膜分别与相应的人像预测结果进行比较，根据比较结果生成所述每张第一样本人像图像对应的错误区域掩膜；

将所述多张第一样本人像图像及每张第一样本人像图像对应的错误区域掩膜输入所述人像分割模型进行错误预测训练，得到训练好的人像分割模型。

6.根据权利要求5所述的方法，其特征在于，所述将所述每张第一样本人像图像对应的人像掩膜分别与相应的人像预测结果进行比较，根据比较结果生成所述每张第一样本人像图像对应的错误区域掩膜，包括：

将目标第一样本人像图像对应的人像掩膜与相应的人像预测结果作差，得到错误预测差值图，所述目标第一样本人像图像为所述多张第一样本人像图像中的任意一张；

分别判断所述错误预测差值图中的每个像素点是否大于错误预测阈值，将大于所述错误预测阈值的像素点设置为第一像素值，以及将不大于所述错误预测阈值的像素点设置为第二像素值，得到全部像素点重新设置后的错误预测差值图作为所述目标第一样本人像图像对应的错误区域掩膜。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述错误预测结果包括预测错误区域掩膜，所述根据所述错误预测结果确定待优化的目标图像区域，包括：

通过目标尺寸的窗口遍历所述预测错误区域掩膜，并对每个被遍历的图像区域中被错误判断为人像区域的像素点进行统计，得到所述每个被遍历的图像区域对应的错误预测值；

根据所述错误预测值从全部被遍历的图像区域中选取N个待优化的目标图像区域，其中，N为正整数。

8.根据权利要求7所述的方法，其特征在于，所述根据所述错误预测值从全部被遍历的图像区域中选取N个待优化的目标图像区域，包括：

按照所述错误预测值从大到小的顺序，对全部被遍历的图像区域进行排序，并将排序靠前的N个错误预测值对应的图像区域确定为待优化的目标图像区域。

9.根据权利要求1至6任一项所述的方法，其特征在于，所述针对所述目标图像区域进行优化处理，得到所述目标图像区域对应的第二人像分割结果，包括：

分别从所述原始图像、所述第一人像分割结果及所述错误预测结果中获取所述目标图像区域对应的图像信息，并将所述图像信息进行融合，得到输入图像；

将所述输入图像输入优化网络模型，通过所述优化网络模型得到所述目标图像区域对应的第二人像分割结果。

10.根据权利要求9所述的方法，其特征在于，所述分别从所述原始图像、所述第一人像分割结果及所述错误预测结果中获取所述目标图像区域对应的图像信息，并将所述图像信息进行融合，得到输入图像，包括：

分别将所述目标图像区域内的各个像素点在所述原始图像的第一像素值、在所述第一人像分割结果的第二像素值及在所述错误预测结果的第三像素值进行拼接，得到所述目标图像区域对应的输入图像。

11.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述目标图像区域对应的第二人像分割结果与所述第一人像分割结果，得到所述原始图像对应的目标人像分割结果，包括：

根据所述目标图像区域对应的第二人像分割结果，替换所述目标图像区域内的各个像素点在所述第一人像分割结果的像素值，得到所述原始图像对应的目标人像分割结果。

12.一种图像处理装置，其特征在于，包括：

识别单元，用于通过人像分割模型对待分割的原始图像中的人像区域进行识别，得到所述原始图像对应的第一人像分割结果及错误预测结果，所述第一人像分割结果用于标注所述原始图像中的人像区域，所述错误预测结果用于预测所述第一人像分割结果中被错误判断为人像区域的错误区域；

区域确定单元，用于根据所述错误预测结果确定待优化的目标图像区域；

区域优化单元，用于针对所述目标图像区域进行优化处理，得到所述目标图像区域对应的第二人像分割结果；

分割优化单元，用于根据所述目标图像区域对应的第二人像分割结果与所述第一人像分割结果，获取所述原始图像对应的目标人像分割结果。

13.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至11任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的方法。

Images