CN115346233A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开一种图像处理方法、装置、电子设备及存储介质，该方法包括：识别待分割的原始图像的人像区域，得到原始图像的初步人像分割结果，初步人像分割结果包括原始图像中的各个像素点被识别为人像区域的第一概率；从初步人像分割结果中选取出待优化的N个目标像素点，N为大于或等于1的正整数，目标像素点被识别为人像区域的第一概率满足选取条件；根据N个目标像素点各自对应的图像特征对N个目标像素点进行优化，以将初步人像分割结果中的N个目标像素点被识别为人像区域的第一概率更新为第二概率；根据更新后的初步人像分割结果生成原始图像对应的人像掩模。实施本申请实施例，能够提高从图像中分割出人像区域的分割精度。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及影像技术领域，具体涉及一种图像处理方法、装置电子设备及存储介质。

背景技术

目前，智能手机等电子设备上装载的应用程序可提供自动人像抠图、自动消除背景或者针对人像的运动跟踪等功能。要实现上述功能，前提是计算机可以从图像中准确分割出人像区域。然而，在实践中发现，目前的图像处理方法在分割时，对于毛发或人像轮廓边缘等人像细节的分割不够准确，存在分割精度较低的问题。

发明内容

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，能够提高从图像中分割出人像区域的分割精度，提高人像分割的准确性。

本申请实施例公开一种图像处理方法，所述方法包括：识别待分割的原始图像的人像区域，得到所述原始图像的初步人像分割结果，所述初步人像分割结果包括所述原始图像中的各个像素点被识别为人像区域的第一概率；从所述初步人像分割结果中选取出待优化的N个目标像素点，所述N为大于或等于1的正整数，所述目标像素点被识别为人像区域的第一概率满足选取条件；根据所述N个目标像素点各自对应的图像特征对所述N个目标像素点进行优化，以将所述初步人像分割结果中的所述N个目标像素点被识别为人像区域的第一概率更新为第二概率；根据更新后的初步人像分割结果生成所述原始图像对应的人像掩模。

本申请实施例公开一种图像处理装置，所述装置包括：分割模块，用于识别待分割的原始图像的人像区域，得到所述原始图像的初步人像分割结果，所述初步人像分割结果包括所述原始图像中的各个像素点被识别为人像区域的第一概率；识别模块，用于从所述初步人像分割结果中选取出待优化的N个目标像素点，所述N为大于或等于1的正整数，所述目标像素点被识别为人像区域的第一概率满足选取条件；优化模块，用于根据所述N个目标像素点各自对应的图像特征对所述N个目标像素点进行优化，以将所述初步人像分割结果中的所述N个目标像素点被识别为人像区域的第一概率更新为第二概率；生成模块，用于根据更新后的初步人像分割结果生成所述原始图像对应的人像掩模。

本申请实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任意一种图像处理方法。

本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例公开的任意一种图像处理方法。

与相关技术相比，本申请实施例具有以下有益效果：

电子设备识别待分割的原始图像的人像区域，得到初步人像分割结果，初步人像分割结果中包括原始图像中各个像素点被识别为人像区域的第一概率。从初步人像分割结果中选取出对应的第一概率满足选取条件的N个目标像素点，并基于N个目标像素点各自对应的图像特征对N个目标像素点进行优化。相较于优化前的N个目标像素点对应的第一概率，优化后N个目标像素点被识别为人像区域的第二概率的准确性更高，目标像素点的分割准确性提高。因此，在初步人像分割结果中N个目标像素点被识别为人像区域的第一概率更新为第二概率之后，基于更新后的初步人像分割结果生成的人像掩模可以保留更多可以保留较多毛发、轮廓边缘等人像细节，有利于提高从图像中分割出人像区域的分割精度。同时，从初步人像分割结果中选取出部分像素点作为目标像素点进行优化，可以减少优化所需的计算量，提高图像处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种图像处理电路的结构示意图；

图2是本申请实施例公开的一种图像处理方法的流程示意图；

图3A是本申请实施例公开的一种初步人像分割结果的示例图；

图3B是本申请实施例公开的一种待优化的目标像素点的示例图；

图4是本申请实施例公开的另一种图像处理方法的流程示意图；

图5是本申请实施例公开的一种通过第一分割模型对原始图像进行处理的流程示意图；

图6是本申请实施例公开的一种目标像素点在初步人像分割结果和第一特征图中的坐标位置的示例图；

图7是本申请实施例公开的另一种图像处理方法的流程示意图；

图8A是本申请实施例公开的一种对原始图像执行旋转操作的示例图；

图8B是本申请实施例公开的另一种对原始图像执行旋转操作的示例图；

图9A是本申请实施例公开的一种对目标像素点进行优化的流程示意图；

图9B是本申请实施例公开的另一种对目标像素点进行优化的流程示意图；

图10是本申请实施例公开的一种图像处理装置的结构示意图；

图11是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在相关技术中，由于智能手机、智能平板或者嵌入式设备等电子设备的计算资源有限，为了减少人像分割等图像处理方法的耗时和计算功耗，往往通过降低图像分辨率的方式减少电子设备的计算量。然而，图像分辨率的降低容易导致图像信息丢失，导致在对图像进行人像分割时，难以处理好边缘细节，图像整体的分割准确率较低。例如，在对图像进行人像分割时，人像的头发边缘模糊不清，或者未保留发丝细节。本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，能够提高从图像中分割出人像区域的分割精度。以下分别进行详细说明。

请参阅图1，图1是本申请实施例公开的一种图像处理电路的结构示意图。该图像处理电路可应用于智能手机、智能平板、智能手表等电子设备，但不限于此。如图1所示，图像处理电路可包括成像设备(摄像头)110、姿态传感器120、图像存储器130、图像信号处理(Image Signal Processing，ISP)处理器140、逻辑控制器150以及显示器160。

图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一个实施例中，通过成像设备(摄像头)110中的透镜112和图像传感器114获取待采集待分割的原始图像，并将原始图像发送至ISP处理器140。ISP处理器140识别原始图像的人像区域，以得到原始图像的初步人像分割结果。ISP处理器140从初步人像分割结果中选取出被识别为人像区域的第一概率满足选取条件的N个目标像素点，并根据N个目标像素点各自对应的图像特征对N个目标像素点进行优化；N为大于或等于1的正整数。优化后，ISP处理器140将初步人像分割结果中的N个目标像素点被识别为人像区域的第一概率更新为第二概率，根据更新后的初步人像分割结果生成原始图像对应的人像掩模。

在一些实施例中，ISP处理器140还可进一步根据生成的人像掩模对原始图像进行发丝级虚化等渲染处理，并将渲染后的图像输出至显示器160，以供用户观看。

请参阅图2，图2是本申请实施例公开的一种图像处理方法的流程示意图，图2所示的方法可适用于包括上述图像处理电路的电子设备。如图2所示，该方法可包括：

210、识别待分割的原始图像的人像区域，得到原始图像的初步人像分割结果。

在本申请实施例中，待分割的原始图像可为电子设备的成像设备拍摄到的图像，也可以是通过有线或者无线通信传输至电子设备中的，具体不做限定。原始图像可包括多种不同的图像数据，包括但不限于：基于YUV颜色空间的色彩数据、基于RGB颜色空间的色彩数据、纹理数据。

在本申请实施例中，电子设备在获取到原始图像之后，可通过人像分割方法或人像抠图(Matting)方法识别原始图像中的人像区域，人像区域可指原始图像中由被识别为人像的像素点所组成的区域。其中：

人像分割方法可包括但不限于：基于图论的分割方法、基于聚类的分割方法、基于语义的分割方法和基于实例的分割方法等从原始图像中识别出人像区域。示例性的，采用基于图论的分割方法时，电子设备可将原始图像分为若干个子图，被划分为人像区域的子图在内部保持相似度最大，而子图之间的相似度保持最小。采用基于图论的分割方法可包括但不限于：归一化切割(NormalizedCut)算法、图割(GraphCut)算法。

示例性的，采用基于聚类的分割方法时，电子设备可先初始化一个粗糙的聚类，使用迭代的方式将原始图像中特征相似的像素点聚到同一超像素，迭代直至收敛，从而得到被聚类为人像区域的多个像素点。基于聚类的分割方法在聚类时，可包括但不限于：k聚类(k-means)算法、简单线性迭代聚类(Simple Linear Iterative Clustering，SLIC)算法。

示例性的，采用基于语义的分割方法时，电子设备可采用卷积神经网络对原始图像中每个像素点进行归一化(Softmax)交叉熵分类，实现对人像区域的分割。卷积神经网络可包括但不限于：全卷积网络(Fully Convolutional Network，FCN)、DeepLab系列包括的任意一种卷积网络。

示例性的，采用基于实例的分割算法时，电子设备可以先基于语义的分割方法从原始图像中分割出人像区域，再对分割出的人像区域进行边框回归(Bounding BoxRegression)检测，以区分属于不同实例的人像区域。

人像Matting方法可包括但不限于：不使用深度学习(Deep Learning，DL)技术的传统Matting方法和使用DL的人像Matting方法。

示例性的，传统Matting方法可包括贝叶斯(Bayes)Matting算法、基于数据驱动的机器学习(非深度学习)Matting算法、基于封闭式表面Matting算法等。Bayes Matting算法可基于Bayes理论求解最大后验概率问题(Maximum A Posteriori，MAP)，从而从原始图像中分割出人像区域；基于数据驱动的机器学习Matting算法，可通过数据建立alpha值与像素点颜色之间的映射关系，一个像素点的alpha用于指示该像素点中人像区域参与的比例；基于封闭式表面Matting算法假定局部颜色分布遵循颜色线性模型，在没有明确估计前景和背景颜色的情况下以封闭的形式求解，从而分割出人像区域。

示例性的，使用DL的人像Matting方法，可将人像Matting看作回归问题，通过大量的数据学习，提取图像特征，输出原始图像的alpha值，从而根据各个像素点的alpha值分割出人像区域。

需要说明的是，本申请实施例对从原始图像中识别出人像区域的实施方式不做限定，包括但不限于上述的人像分割方法或人像Matting方法。电子设备从原始图像中识别人像区域的过程，可看作计算原始图像中每个像素点被识别为人像区域的第一概率的过程，第一概率的值越高，该像素点越有可能属于人像区域。因此，电子设备可得到包括原始图像中各个像素点被识别为人像区域的第一概率的初步人像分割结果。

示例性的，可通过灰度图表示初步人像分割结果，灰度图中像素点的灰度值可用于指示像素点在原始图像中被识别为人像区域的第一概率，且灰度值于第一概率成正比例关系。请参阅图3A，图3A是本申请实施例公开的一种初步人像分割结果的示例图。如图3A所示，在对原始图像310进行人像区域识别之后，得到初步人像分割结果320。为了便于显示，可以将初步人像分割结果320包括的各个像素点的第一概率与255相乘，得到初步人像分割结果对应的灰度图。因此，在初步人像分割结果320中，被识别为人像区域的第一概率为1的像素点在灰度图中对应的灰度值可为255(白色)，初步人像分割结果320中被识别为人像区域的第一概率为0的像素点在灰度图中对应的灰度值可为0(黑色)。从图3A中可明显看出，白色像素点对应于人像区域，黑色像素点对应于背景区域。

220、从初步人像分割结果中选取出待优化的N个目标像素点。

在本申请实施例中，N为大于或等于1的正整数，目标像素点被识别为人像区域的第一概率满足选取条件。选取条件可参考实际的业务需求设定，可选取容易被错误分割的像素点作为目标像素点，具体不做限定。例如，处于人像区域和背景区域的交界边缘的像素点往往容易被错误分割，因此可选区人像区域和背景区域交界边缘的像素点作为待优化的目标像素点。示例性的，请参阅图3B，图3B是本申请实施例公开的一种待优化的目标像素点的示例图。如图3B所示，白色像素点321为从初步人像分割结果中选取出的目标像素点。

在本申请实施例中，初步分割结果包括的每个像素点被识别为人像区域的第一概率的值在[0,1]的数值范围内，容易被错误分割的像素点对应的第一概率往往处于[0,1]的中段。因此，选取条件可根据位于[0,1]中段的概率阈值设置，概率阈值的具体数值可参考业务需求设定，本申请实施例不做限定。

在一个实施例中，步骤220可包括：从初步人像分割结果中，选取出被识别为人像区域的第一概率落入概率范围的像素点作为待优化的目标像素点；概率范围基于概率阈值设置。示例性，概率阈值可设置为0.5，概率范围可设置为[0.4,0.6]。在该实施例中，N的数值取决于第一概率落入概率范围的像素点的数量，针对由不同的原始图像得到的初步人像分割结果，N的数值可能不同。

在一个实施例中，步骤220可包括：确定初步人像分割结果中各个像素点被识别为人像区域的第一概率于概率阈值之间的差值，并按照差值从小到大的顺序选取排列在前N个像素点作为待优化的目标像素点。即，选取第一概率距离概率阈值最近的N个像素点作为目标像素点，N的取值可根据实际的业务需求设定。示例性的，概率阈值可设置为0.5，可选取第一概率距离0.5最近的3个像素点作为目标像素点，最终可将第一概率分别为0.51、0.49、0.505的像素点选取为目标像素点。

需要说明的是，N的取值可能影响图像处理算法的人像分割准确率以及计算效率。当N越大，选取的待优化的目标像素点越多，则人像分割准确率的提升越大，但同时计算量也会增加。反之，当N越小，选取的待优化的目标像素点越少，则人像分割准确率的提升较小，但计算量也会相应减少，有利于图像处理算法在智能手机、智能手表等小型移动终端上的应用。因此，在本申请实施例中，N的取值可综合考虑对人像分割的精度需求和电子设备的计算能力进行设置。

230、根据N个目标像素点各自对应的图像特征对N个目标像素点进行优化，以将初步人像分割结果中的N个目标像素点被识别为人像区域的第一概率更新为第二概率。

在本申请实施例中，针对选取出的N个目标像素点，可根据使用上述的人像分割方法或者人像Matting方法中的任意一种方法进行优化，以更新N个目标像素点被识别为人像区域的概率。在优化时，电子设备可以根据各个目标像素点的图像特征再次识别目标像素点为人像区域的第二概率，上述的图像特征可包括但不限于：颜色特征、纹理特征、位置特征。

目标像素点被识别为人像区域的第二概率可能与第一概率不同，相当于针对N个目标像素点，以第二次人像分割的结果为准，而非以初步人像分割结果为准。在本申请实施例中，从初步人像分割结果中选取出部分像素点作为目标像素点进行优化，而非以初步人像分割结果整体进行优化，可以减少优化所需的计算量，提高图像处理效率。

可选的，在优化时，电子设备可采用与步骤210不同的方法确定目标像素点被识别为人像区域的第二概率。示例性的，若采用基于图论的分割方法对原始图像进行识别，得到初步人像分割结果，则可以采用基于聚类的分割方法对N个目标像素点进行优化；或者，若采用基于语义的分割方法对原始图像进行识别，得到初步人像分割结果，则可以采用BayesMatting算法对N个目标像素点进行优化；或者，若采用基于DL的人像Matting方法对原始图像进行识别，得到初步人像分割结果，则可以NormalizedCut算法对目标像素点进行优化。

240、根据更新后的初步人像分割结果生成原始图像对应的人像掩模。

在本申请实施例中，更新后的初步人像分割结果可包括N个目标像素点被识别为人像区域的第二概率，以及除N个目标像素点以外的其它像素点被识别为人像区域的第一概率。电子设备可将更新后的初步人像分割结果包括的各个像素点被识别为人像区域的概率与掩模阈值进行比较，以根据比较结果生成原始图像的人像掩模，人像掩模用于指示原始图像中的人像区域。示例性的，可将掩模阈值设置为a，a∈[0,1]。在更新后的初步人像分割结果中，被识别为人像区域的概率大于a的像素点在人像掩模中的取值为255；被识别为人像区域的概率小于或等于a的像素点在人像掩模中的取值为0。

电子设备在生成人像掩模之后，可将原始图像与人像掩模相乘，相乘后原始图像中的人像区域被保留，而除人像区域以外的背景区域则会被消除，达到了从原始图像中抠取出人像区域的效果。由于更新后的初步人像分割结果针对容易被错误分割的目标像素点进行了优化，特别是可以使得人像区域与背景区域交界边缘的像素点被准确分割为人像区域的概率上升，从而使得生成人像掩模中可以保留较多毛发、轮廓边缘等人像细节。

在抠取出人像区域之后，电子设备可进一步对人像区域执行一种或多种图像处理操作，包括但不限于：对抠取出的人像区域进行发丝级虚化等渲染处理，或者以抠取出的人像区域为基础对原始图像中的人像进行运动跟踪。

综上，在前述实施例中，电子设备可以先对待分割的原始图像进行初步分割，得到初步人像分割结果；并在初步人像分割结果中选取出需要优化的N个目标像素点，对目标像素点进行优化，以对初步人像分割结果进行更新，从而可以提高目标像素点的人像分割准确率，进而提高了人像分割的精度，使得从原始图像中抠取出的人像区域的边缘清晰准确。

请参阅图4，图4是本申请实施例公开的另一种图像处理方法的流程示意图，图4所示的方法可适用于上述的电子设备。如图4所示，该方法可包括：

410、通过第一分割模型中级联的M个网络层逐层提取待分割的原始图像中的图像特征，并根据M个网络层中每个网络层输出的图像特征识别原始图像中各个像素点被识别为人像区域的第一概率，得到原始图像的初步人像分割结果。

在本申请实施例中，第一分割模型可以是包括M个网络层的任意一种神经网络模型，M为大于或等于2的正整数。例如，第一分割模型可包括但不限于：全卷积网络(FullyConvolutional Network，FCN)、DeepLab系列包括的任意一种卷积网络、U型网络(U-Net)。无论第一分割模型采用何种模型结构，都可利用第一人像数据集对待训练的第一分割模型进行训练，使得训练后得到的第一分割模型可以学习到人像分割的能力，能够对输入的原始图像进行初步人像分割，输出初步人像分割结果。其中，第一人像数据集包括多张对人像区域进行标注的第一样本人像图像；电子设备可采用有监督学习、无监督学习或者半监督学习等训练方式对第一分割模型进行训练，本申请实施例不做限定。在本申请实施例中，可以通过神经网络模型在训练过程中自学习到的图像特征与人像分割结果之间的映射关系对原始图像进行初步人像分割，避免了人工设计用于人像分割的图像特征带来的局限性，提高了本申请实施例公开的图像处理方法应用于人像分割场景时的泛化能力。

示例性的，请参阅图5，图5是本申请实施例公开的一种通过第一分割模型对原始图像进行处理的流程示意图。如图5所示，第一分割模型510包括的M个网络层中，至少可以包括编码器511(Encoder)、解码器512(Decoder)以及归一化(Softmax)层513。编码器511和解码器中可分别包括m1和m2个网络层，m1、m2均为大于或等于2，且小于M的正整数。编码器511可包括多个卷积层；可选的，可采用MobileNet系列、ShuffleNet系统中的任意一种神经网络模型作为编码器511。解码器512可但不限于：卷积层、反卷积层、上采样层、批标准化层(Batch Normalization，BN)层、线性整流(Rectified Linear Unit，ReLU)层。

编码器511的第一个网络层可接收输入的原始图像，并通过编码器511包括的m1个网络层逐层提取原始图像的图像特征。编码器511包括的每个网络层在提取出图像特征之后，可生成包括图像特征的特征图。其中，如图5所示，编码器511包括的每个网络层输出的特征图的图像尺寸可以不同，排列位置在后的网络层输出的特征图的图像尺寸可小于排列位置在前的特征图的图像尺寸。

解码器512的第一个网络层可对编码器第m1个网络层输出的特征图进行处理，并通过解码器512包括的m2个网络层逐层还原编码器511提取出的图像特征，以及恢复像素点的空间信息。并且，解码器512和编码器511包括的网络层还可跳跃连接，以将编码器511的网络层提取到的图像特征融合至解码器512的网络层提取到的图像特征中，有利于提高第一分割模型的泛化能力，以及提高第一分割模型进行人像分割的准确性。

Softmax层513可用于对原始图像中每个像素点被识别为人像区域的预测值进行归一化。即，用于将原始图像中每个像素点被识别为人像区域的预测值映射至[0,1]的概率范围内，最终得到Softmax层513输出的初步人像分割结果。

420、从初步人像分割结果中选取出待优化的N个目标像素点。

在本申请实施例中，电子设备可根据选取条件从初步人像分割结果中选取出N个目标像素点，选取条件的设置可参见前述实施例，以下内容不再赘述。

430、从第一分割模型中的第X个网络层输出的第一特征图中获取每个目标像素点对应的第一图像特征，并从第一分割模型中第Y个网络层输出的第二特征图中获取每个目标像素点对应的第二图像特征。

在本申请实施例中，X为大于或等于1，且小于M的正整数；Y为大于X，且小于M的正整数。即，第Y个网络层排列在第X个网络层之后，电子设备可从第一分割模型浅层的网络层中提取出与目标像素点对应的第一图像特征，再从第一分割模型高层的网络层中提取出与目标像素点对应的第二图像特征。

在本申请实施例中，第X个网络层和第Y个网络层可以是从第一分割模型中任意选取的两个网络层，可参考第一分割模型中各个网络层的特性进行选取。可选的，当第一分割模型包括编码器、解码器和归一化(Softmax)层时，第X个网络层可以是编码器中的任意一个网络层，第Y个网络层可以是解码器包括的任意一个网络层，或者第Y个网络层可以是Softmax层。需要说明的是，在第一分割模型中，解码器可以与编码器连接，Softmax层可以与解码器层连接。示例性的，第X个网络层可以是编码器中的第4个网络层，第Y个网络层可以是Softmax层。

在本申请实施例中，第一分割模型包括的每个网络层提取到的图像特征可以通过特征图的形式输出。第X个网络输出的第一特征图以及第Y个网络输出的第二特征图可以是通道维度不为1的张量，电子设备可通过多维数组表示第一特征图和第二特征图。因此，电子设备从第一特征图中获取N个目标像素点中每个目标像素点对应的第一图像特征，可指从第一特征图中获取与每个目标像素点相对应的坐标位置上的值。电子设备从第二特征图中获取N个目标像素点中每个目标像素点对应的第二图像特征，可指从第二特征图中获取与每个目标像素点相对应的坐标位置上的值。

示例性，请参阅图6，图6是本申请实施例公开的一种目标像素点在初步人像分割结果和第一特征图中的坐标位置的示例图。如图6所示，初步人像分割结果610可为二维图像，第一特征图620可为三维张量。目标像素点在初步人像分割结果610中的坐标位置可如图6中点611所示，目标像素点在第一特征图620中的坐标位置可如图6中点621所示，图6中虚线可用于指示目标像素点的坐标位置在初步人像分割结果和第一特征图中的映射关系。电子设备从第X个网络输出的第一特征图中获取目标像素点对应的第一图像特征，可指获取第一特征图中点621的坐标位置上的值。

440、根据N个目标像素点各自对应的第一图像特征和第二图像特征对N个目标像素点进行优化，以将初步人像分割结果中的N个目标像素点被识别为人像区域的第一概率更新为第二概率。

在本申请实施例中，第一分割模型不同的网络层提取出的图像特征可能并不相同。电子设备将从浅层网络中获取到的第一图像特征，与从高层网络中获取到的第二图像特征为基础，对待优化的目标像素点进行优化，可以通过不同的图像特征判断目标像素点是否应该为识别为人像区域，从而有利于提高目标像素点的人像分割准确率。

在一个实施例中，电子设备根据N个目标像素点各自对应的第一图像特征和第二图像特征对N个目标像素点进行优化，可包括：电子设备先对N个目标像素点中每个目标像素点的第一图像特征和第二图像特征进行融合，得到每个目标像素点的融合图像特征，并根据N个目标像素点的融合图像特征对N个目标像素点进行优化。在优化时，电子设备可使用前述的任意一种人像分割方法或者人像Matting方法对融合图像特征进行处理，具体不做限定。基于先融合再优化的方式，电子设备可将第一分割模型的浅层网络和高层网络提取出图像特征相结合，以用于目标像素点的优化；且先融合再优化的方式可有效减少计算量，有利于在计算量相对较低的同时提高对目标像素点的人像分割准确率。

其中，融合每个目标像素点的第一图像特征和第二图像特征，可包括但不限于：对每个目标像素点的第一图像特征和第二图像特征在通道维度上进行拼接，将拼接后得到的图像特征作为融合图像特征；或者，对每个目标像素点的第一图像特征和第二图像特征进行相加，将相加后得到的图像特征作为融合图像特征。

需要说明的是，由于第二图像特征是从网络层级较高的第Y个网络层中获取到的，第Y个网络层更接近第一分割模型的输出层，第Y个网络层的通道数可能少于第X个网络层的通道数。因此，第二图像特征的通道维度可能少于第一图像特征的通道维度。若相加之前每个目标像素点的第一图像特征和第二图像特征的通道维度不同，则可以先对第一图像特征和/或第二图像特征进行卷积操作，以改变第一图像特征和/或第二图像特征的通道维度，并在第一图像特征和第二图像特征的通道维度相对时，再对二者进行相加。

在一个实施例中，电子设备根据N个目标像素点各自对应的第一图像特征和第二图像特征对N个目标像素点进行优化，也可包括：电子设备可分别根据N个目标像素点各自对应的第一图像特征和第二图像特征识别每个目标像素点中的人像区域，以得到N个目标像素点的第一优化结果和第二优化结果。第一优化结果和第二优化结果中均可包括每个目标像素点被识别为人像区域的优化概率，第一优化结果可以是基于第一图像特征识别出的，第二优化结果可以是基于第二图像特征识别出的。电子设备可对第一优化结果和第二优化结果进行融合，例如，可对第一优化结果和第二优化结果中各个目标像素点被识别为人像区域的优化概率进行平均，将每个目标像素点的优化概率平均值作为每个目标像素点被识别为人像区域的第二概率。

450、根据更新后的初步人像分割结果生成原始图像对应的人像掩模。

在本申请实施例中，电子设备执行步骤450的实施方式可参见前述实施例，以下内容不再赘述。

在前述实施例中，电子设备可采用训练得到的第一分割模型对原始图像进行初步人像分割，以得到初步人像分割结果，可以避免人工设计用于人像分割的图像特征带来的局限性，提高了本申请实施例公开的图像处理方法应用于人像分割场景时的泛化能力。此外，在对选取出的目标像素点进行优化时，以从第一分割模型的浅层网络和高层网络中提取出图像特征为依据，对目标像素点被识别为人像区域的概率进行优化，有利于基于不同的图像特征提高目标像素点的人像分割准确率，从而可以提高人像分割精度。

请参阅图7，图7是本申请实施例公开的另一种图像处理方法的流程示意图，图7所示的方法可适用于上述的电子设备。如图7所示，该方法可包括：

710、对待分割的原始图像进行预处理，以使预处理后的原始图像的图像规格与第一分割模型的输入图像的图像规格一致。

在本申请实施例中，待分割的原始图像可以是电子设备拍摄得到，或者是由其他设备传输至电子设备的。因此，不同的原始图像的图像规格可能并不一致，每帧原始图像的图像规格与第一分割模型的输入图像的图像规格可能也不一致。其中，第一分割模型的输入图像的图像规格可以是基于第一分割模型的第一个网络层接收的输入图像的图像规格确定的。

在本申请实施例中，为了使得第一分割模型能够对原始图像进行人像分割，可先对原始图像进行预处理，预处理的操作可包括：旋转操作、缩放操作、归一化操作中的一种或多种操作。

旋转操作，可指将原始图像的某个像素点为中心旋转一定角度的操作。电子设备可根据原始图像的宽度和高度判断原始图像的拍摄方向，例如当宽度大于高度时，原始图像的拍摄方向为横拍；当高度大于宽度时，原始图像的拍摄方向为竖排。或者，根据拍摄到原始图像的拍摄装置记录的拍摄方向值判断原始图像的拍摄方向。其中，拍摄方向可包括：横拍或者竖拍。在判断出原始图像的拍摄方向与第一分割模型的输入图像的拍摄方向不一致时，电子设备可对原始图像执行旋转操作，使得旋转后的原始图像与输入图像的拍摄方向一致。其中，旋转的方向不做限定，可包括顺时针旋转或者逆时针旋转。

示例性的，请参阅图8A，图8A是本申请实施例公开的一种对原始图像执行旋转操作的示例图。假设第一分割模型的输入图像的拍摄方向为竖拍；若检测出预处理之前的原始图像810的拍摄方向为横拍，而输入图像的拍摄方向为竖排，则可将原始图像810按照逆时针方向旋转90°，得到竖拍的原始图像820。

示例性的，请参阅图8B，图8B是本申请实施例公开的另一种对原始图像执行旋转操作的示例图。假设第一分割模型的输入图像的拍摄方向为横拍；若检测出预处理之前得原始图像830的拍摄方向为竖拍，而输入图像的拍摄方向为横拍，则可将原始图像按照逆时针方向旋转90°，得到横拍的原始图像840。

缩放操作，可指对原始图像的图像尺寸进行缩小或放大的操作。在原始图像的图像尺寸小于第一分割模型的输入图像的图像尺寸时，电子设备可对原始图像进行放大操作；在原始图像的图像尺寸大于输入图像的图像尺寸时，电子设备可对原始图像进行缩小操作。示例性的，若第一分割模型的输入图像的图像尺寸为640*480，则需要将原始图像的图像尺寸缩小或放大至640*480。

归一化操作，可指对原始图像中各个像素点的图像数据值映射到至[0,1]的范围内。归一化操作可包括：将原始图像中每个像素点对应的RGB三通道的数值进行先减均值再除方差的操作。示例性的，假设均值为127.5，则针对原始图像中任意一个像素点对应的RGB通道的数值X，先减均值再除方差的操作可通过以下公式表示：(X-127.5)/127.5。或者，归一化操作可包括：将原始图像中每个像素点对应的RGB三通道的数值直接除以255。示例性的，针对原始图像中任意一个像素点对应的RGB通道的数值X，直接除以255的操作可通过以下公式表示：X/255。

720、通过第一分割模型中级联的M个网络层逐层提取待分割的原始图像中的图像特征，并根据M个网络层中每个网络层输出的图像特征识别原始图像中各个像素点被识别为人像区域的第一概率，得到原始图像的初步人像分割结果。

在本申请实施例中，第一分割模型可包括编码器、与编码器连接的解码器和与解码器连接的Softmax层。将原始图像输入至编码器，经过编码器、解码器和Softmax层的逐层处理，可得到Softmax层的输出的原始图像的初步人像分割结果。可选的，第一分割模型可为轻量级分割模型。轻量级分割模型可指参数数量较少且计算代价较小的神经网络模型。当第一分割模型为轻量级分割模型时，编码器可采用轻量级的核心网络(backbone)，例如采用MobileNet系列、ShuffleNet系列包括的网络作为编码器。并且，解码器可采用通道数相对较少的卷积层。轻量级分割模型可以部署在计算资源有限的电子设备，如智能手机、智能平板、嵌入式设备。利用轻量级的第一分割模型对原始图像进行人像分割，可以在计算资源有限的电子设备上利用深度学习模型的优势进行人像分割。

730、从初步人像分割结果中选取出待优化的N个目标像素点。

740、从第一分割模型中的第X个网络层输出的第一特征图中获取每个目标像素点对应的第一图像特征，并从第一分割模型中第Y个网络层输出的第二特征图中获取每个目标像素点对应的第二图像特征。

在本申请实施例中，电子设备执行步骤730-740的实施方式可参见前述实施例，以下内容不再赘述。

750、融合每个目标像素点的第一图像特征和第二图像特征，得到每个目标像素点的融合图像特征。

在本申请实施例中，融合每个目标像素点的第一图像特征和第二图像特征，可包括但不限于：对每个目标像素点的第一图像特征和第二图像特征在通道维度上进行拼接，将拼接后得到的图像特征作为融合图像特征；或者，对每个目标像素点的第一图像特征和第二图像特征进行相加，将相加后得到的图像特征作为融合图像特征。需要说明的是，在本申请实施例中，融合操作针对目标像素点，而非对第一特征图和第二特征图进行整体融合。

示例性的，从第X个网络层获取到的N个目标像素点对应的第一图像特征为N×d1维，d1为大于或等于1的正整数；从第Y个网络层获取到的N个目标像素点对应的第二图像特征为N×d2维，d2为大于或等于1的正整数。由于第Y个网络层更接近第一分割模型的输出层，因此第Y个网络层输出的特征图的通道数可能较少，d2可以小于d1。融合每个目标像素点的第一图像特征和第二图像特征，可得到N×D维的融合图像特征，D可以为d1与d2之和。

760、通过第二分割模型对N个目标像素点的融合图像特征进行分析，得到N个目标像素点被识别为人像区域的第二概率。

在本申请实施例中，第二分割模型可以是任意一种基于深度学习的神经网络模型，或者是机器学习模型，具体不做限定。例如，基于深度学习的神经网络模型可以为包括卷积层、全连接层、BN层、ReLU层的神经网络模型。机器学习模型可以包括支持向量机(Support Vector Machine，SVM)、随机森林分类器等。利用第二分割模型对目标像素点进行优化，也可避免人工设计图像特征的局限性，提高图像处理方法应用于人像分割的泛化能力。同时，由于第一分割模型的可解释性较低，若在优化时采用传统的特征匹配方法进行优化，可能无法充分利用第一分割模型提取出的图像特征包括的信息，反而会导致目标像素点的人像分割准确率下降。而在本申请实施例中，利用第二分割模型进行优化，可以第一分割模型的解释性低导致的问题，第二分割模型可通过机器学习或深度学习充分挖掘第一分割模型提取出的图像特征中的信息，有利于提高人像分割的准确性，实现对目标像素点的优化。

在本申请实施例中，第二分割模型也可以是利用第二人像数据集进行训练得到的，第二人像数据集包括多张对人像区域进行标注的第二样本人像图像。电子设备可采用有监督学习、无监督学习或者半监督学习等训练方式对第二分割模型进行训练，本申请实施例不做限定。此外，训练第二分割模型和训练第一分割模型时分别使用的人像数据集可以相同也可以不同，具体不做限定。

示例性的，请参阅图9A，图9A是本申请实施例公开的一种对目标像素点进行优化的流程示意图。如图9A所示，包括第一分割模型910和第二分割模型920。其中，第一分割模型910包括编码器911、解码器912和Softmax层913。第二分割模型920包括至少3个级联的网络层。电子设备可从编码器911包括的网络层911a输出的第一特征图中获取与N个目标像素点对应的第一图像特征，以及从Softmax层913输出的第二特征图中获取与N个目标像素点对应的第二图像特征。电子设备对第一图像特征和第二图像特征进行融合，得到N×D维的融合图像特征。N×D维的融合图像特征输入至第二分割模型920，经过第二分割模型920包括的各个网络层的逐级处理，得到第二分割模型920输出的N×2维的分割结果，该N×2维的分割结果包括N个目标像素点中每个目标像素点被识别为人像区域的第二概率。

示例性的，请参阅图9B，图9B是本申请实施例公开的另一种对目标像素点进行优化的流程示意图。如图9B所示，包括第一分割模型910和第二分割模型930。在图9B中，第一分割模型910的模型结构可以与图9A中相同。与图9A不同的是，图9B中第二分割模型930可以是SVM分类器930。与图9A类似，电子设备可对N个目标像素点在第一分割模型910的浅层网络(编码器中的网络层911a)与高层网络(Softmax层913)中获取到的图像特征进行融合，并将融合后得到的N×D维的融合图像特征输入至SVM分类器930。经过SVM分类器930对N×D维的融合图像特征的处理，得到过SVM分类器930输出的N×2维的分割结果，该N×2维的分割结果包括N个目标像素点中每个目标像素点被识别为人像区域的第二概率。

轻量级的第一分割模型在减少人像分割计算量的同时可能牺牲了分割的准确性，导致在区域边缘等图像细节上的分割准确性较差。因此，在本申请实施例中，当第一分割模型对原始图像进行处理得到初步人像分割结果之后，再利用第二分割模型对初步人像分割结果中待优化的目标像素点进行二次分割，有利于弥补轻量级的第一分割模型在细节分割上的缺陷，提高目标像素点的人像分割准确性，从而提高图像整体的人像分割精度。

770、根据各个目标像素点在初步人像分割结果中的图像坐标，将初步人像分割结果中各个目标像素点被识别为人像区域的第一概率替换为第二概率，以得到更新后的初步人像分割结果。

在本申请实施例中，当电子设备从第一特征图和第二特征图中单独选取出目标像素点对应的图像特征进行融合时，目标像素点在融合图像特征中的坐标位置可能与目标像素点在初步人像分割结果中的坐标位置并不相同。因此，电子设备在执行前述的步骤730选取出N个待优化的目标像素点时，可记录各个目标像素点在初步人像分割结果中的索引位置。在执行步骤760获得第二分割模型输出的N个目标像素点被识别为人像区域的第二概率之后，可以根据记录的索引位置，在初步人像分割结果中将各个目标像素点从第一概率替换为第二概率。

780、根据更新后的初步人像分割结果生成原始图像对应的人像掩模。

可见，在前述实施例中，利用轻量级的第一分割模型对原始图像进行初次分割，以生成初步分割结果；再从初步分割结果中选取出待优化的目标像素点，利用训练好的第二分割模型对目标像素点进行优化，以对初步分割结果进行更新，从而可以减少图像处理方法整体计算量的同时，保证图像整体的人像分割精度，使得本申请实施例提出的图像处理方法可以在计算资源有限的电子设备上取得较好的性能。

请参阅图10，图10是本申请实施例公开的一种图像处理装置的结构示意图，该图像处理装置可适用于前述的电子设备。如图10所示，该图像处理装置1000，可包括：分割模块1010、识别模块1020、优化模块1030、生成模块1040。

分割模块1010，可用于识别待分割的原始图像的人像区域，得到原始图像的初步人像分割结果，初步人像分割结果包括原始图像中的各个像素点被识别为人像区域的第一概率；

识别模块1020，可用于从初步人像分割结果中选取出待优化的N个目标像素点，N为大于或等于1的正整数，目标像素点被识别为人像区域的第一概率满足选取条件；

优化模块1030，可用于根据N个目标像素点各自对应的图像特征对N个目标像素点进行优化，以将初步人像分割结果中的N个目标像素点被识别为人像区域的第一概率更新为第二概率；

生成模块1040，可用于根据更新后的初步人像分割结果生成原始图像对应的人像掩模。

在一个实施例中，分割模块1010，具体可用于通过第一分割模型中级联的M个网络层逐层提取待分割的原始图像中的图像特征，并根据M个网络层中每个网络层输出的图像特征识别原始图像中各个像素点被识别为人像区域的第一概率，得到原始图像的初步人像分割结果；第一分割模型是利用包括多张人像图像的人像数据集进行训练得到的。

在一个实施例中，优化模块1030，可包括：选取单元和优化单元。

选取单元，可用于从第一分割模型中的第X个网络层输出的第一特征图中获取每个目标像素点对应的第一图像特征；X为大于或等于1，且小于M的正整数；以及，

可用于从第一分割模型中第Y个网络层输出的第二特征图中获取每个目标像素点对应的第二图像特征；Y为大于X的正整数。

优化单元，可用于根据N个目标像素点各自对应的第一图像特征和第二图像特征对N个目标像素点进行优化。

在一个实施例中，第一分割模型包括编码器、与编码器连接的解码器以及与解码器连接的归一化层；第X个网络层为编码器包括的任意一层网络；第Y个网络层为解码器包括的任意一层网络；或者，第Y个网络层为归一化层。

在一个实施例中，优化单元，具体可用于融合每个目标像素点的第一图像特征和第二图像特征，得到每个目标像素点的融合图像特征；以及，根据N个目标像素点的融合图像特征对N个目标像素点进行优化。

在一个实施例中，优化单元，具体可用于通过第二分割模型对N个目标像素点的融合图像特征进行分析，得到N个目标像素点被识别为人像区域的第二概率；第二分割模型是利用包括多张人像图像的人像数据集进行训练得到的；以及，可用于根据各个目标像素点在初步人像分割结果中的图像坐标，将初步人像分割结果中各个目标像素点被识别为人像区域的第一概率替换为第二概率。

在一个实施例中，图像处理装置1000还可包括：预处理模块。

预处理模块，可用于在分割模块1010通过第一分割模型中级联的M层网络提取待分割的原始图像中的图像特征之前，对待分割的原始图像进行预处理，以使预处理后的原始图像的图像规格与第一分割模型的输入图像的图像规格一致；预处理的操作至少包括：旋转操作、缩放操作、归一化操作中的一种或多种操作。

在一个实施例中，识别模块1020，具体可用于从初步人像分割结果中，选取出被识别为人像区域的第一概率落入概率范围的像素点作为待优化的目标像素点，概率范围基于概率阈值设置。

在一个实施例中，识别模块1020，具体可用于确定初步人像分割结果中的各个像素点被识别为人像区域的第一概率与概率阈值之间的差值，并按照差值从小到大的顺序选取排列在前N个的像素点作为待优化的目标像素点。

可见，在前述实施例中，图像处理装置可先对待分割的原始图像进行初步分割，得到初步人像分割结果；并在初步人像分割结果中选取出需要优化的N个目标像素点，对目标像素点进行优化，以对初步人像分割结果进行更新，从而可以提高目标像素点的人像分割准确率，进而提高了人像分割的精度，使得从原始图像中抠取出的人像区域的边缘清晰准确。

请参阅图11，图11是本申请实施例公开的一种电子设备的结构示意图。如图11所示，该电子设备1100可以包括：

存储有可执行程序代码的存储器1110；

与存储器1110耦合的处理器1120；

其中，处理器1120调用存储器1110中存储的可执行程序代码，执行前述实施例公开的任意一种图像处理方法。需要说明的是，图11所示的电子设备还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件，本实施例不作赘述。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现前述实施例公开的任意一种图像处理方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行前述实施例公开的任意一种图像处理方法。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种图像处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

识别待分割的原始图像的人像区域，以得到所述原始图像的初步人像分割结果，所述初步人像分割结果包括所述原始图像中的各个像素点被识别为人像区域的第一概率；

从所述初步人像分割结果中选取出待优化的N个目标像素点，所述N为大于或等于1的正整数，所述目标像素点被识别为人像区域的第一概率满足选取条件；

根据所述N个目标像素点各自对应的图像特征对所述N个目标像素点进行优化，以将所述初步人像分割结果中的所述N个目标像素点被识别为人像区域的第一概率更新为第二概率；

根据更新后的初步人像分割结果生成所述原始图像对应的人像掩模。

2.根据权利要求1所述的方法，其特征在于，所述识别待分割的原始图像的人像区域，并基于所述人像区域得到所述原始图像的初步人像分割结果，包括：

通过第一分割模型中级联的M个网络层逐层提取待分割的原始图像中的图像特征，并根据所述M个网络层中每个网络层输出的图像特征识别所述原始图像中各个像素点被识别为人像区域的第一概率，得到所述原始图像的初步人像分割结果；所述第一分割模型是利用第一人像数据集进行训练得到的，所述第一人像数据集包括多张对人像区域进行标注的第一样本人像图像。

3.根据权利要求2所述的方法，其特征在于，所述根据每个所述目标像素点对应的图像特征对所述N个目标像素点进行优化，包括：

从所述第一分割模型中的第X个网络层输出的第一特征图中获取每个所述目标像素点对应的第一图像特征；X为大于或等于1，且小于M的正整数；

从所述第一分割模型中第Y个网络层输出的第二特征图中获取每个所述目标像素点对应的第二图像特征；Y为大于X，且小于或等于M的正整数；

根据所述N个目标像素点各自对应的所述第一图像特征和所述第二图像特征对所述N个目标像素点进行优化。

4.根据权利要求3所述的方法，其特征在于，所述第一分割模型包括编码器、与所述编码器连接的解码器以及与所述解码器连接的归一化层；

所述第X个网络层为所述编码器包括的任意一层网络；

所述第Y个网络层为所述解码器包括的任意一层网络；或者，所述第Y个网络层为所述归一化层。

5.根据权利要求3所述的方法，其特征在于，所述根据所述N个目标像素点各自对应的所述第一图像特征和所述第二图像特征对所述N个目标像素点进行优化，包括：

融合每个所述目标像素点的第一图像特征和第二图像特征，得到每个所述目标像素点的融合图像特征；

根据所述N个目标像素点的融合图像特征对所述N个目标像素点进行优化。

6.根据权利要求5所述的方法，其特征在于，所述根据所述N个目标像素点的融合图像特征对所述N个目标像素点进行优化，包括：

通过第二分割模型对所述N个目标像素点的融合图像特征进行分析，得到所述N个目标像素点被识别为人像区域的第二概率；所述第二分割模型是利用包括多张人像图像的第二人像数据集进行训练得到的，所述第二人像数据集包括多张对人像区域进行标注的第二样本人像图像；

根据各个所述目标像素点在所述初步人像分割结果中的图像坐标，将所述初步人像分割结果中各个所述目标像素点被识别为人像区域的第一概率替换为所述第二概率。

7.根据权利要求2所述的方法，其特征在于，在所述通过第一分割模型中级联的M层网络提取待分割的原始图像中的图像特征之前，所述方法还包括：

对待分割的原始图像进行预处理，以使预处理后的原始图像的图像规格与所述第一分割模型的输入图像的图像规格一致；预处理的操作至少包括：旋转操作、缩放操作、归一化操作中的一种或多种操作。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述从所述初步人像分割结果中选取出待优化的N个目标像素点，包括：

从所述初步人像分割结果中，选取出被识别为人像区域的第一概率落入概率范围的像素点作为待优化的目标像素点，所述概率范围基于概率阈值设置。

9.根据权利要求1-7任一项所述的方法，其特征在于，所述从所述初步人像分割结果中选取出待优化的N个目标像素点，包括：

确定所述初步人像分割结果中的各个像素点被识别为人像区域的第一概率与概率阈值之间的差值，并按照所述差值从小到大的顺序选取排列在前N个的像素点作为待优化的目标像素点。

10.一种图像处理装置，其特征在于，所述装置包括：

分割模块，用于识别待分割的原始图像的人像区域，得到所述原始图像的初步人像分割结果，所述初步人像分割结果包括所述原始图像中的各个像素点被识别为人像区域的第一概率；

识别模块，用于从所述初步人像分割结果中选取出待优化的N个目标像素点，所述N为大于或等于1的正整数，所述目标像素点被识别为人像区域的第一概率满足选取条件；

优化模块，用于根据所述N个目标像素点各自对应的图像特征对所述N个目标像素点进行优化，以将所述初步人像分割结果中的所述N个目标像素点被识别为人像区域的第一概率更新为第二概率；

生成模块，用于根据更新后的初步人像分割结果生成所述原始图像对应的人像掩模。

11.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。

Images