CN112634298B - 图像处理方法及装置、存储介质、终端 - Google Patents

Abstract

一种图像处理方法及装置、存储介质、终端，所述方法包括：获取原始图像，并根据所述原始图像得到所述原始图像的掩模图像，其中，所述原始图像包括主体区域和背景区域，所述原始图像包括第一主体边缘，所述掩模图像包括第二主体边缘，所述第一主体边缘与所述第二主体边缘一一对应；对所述原始图像进行边缘检测，以得到所述原始图像的主体边缘特征图，所述主体边缘特征图用于指示所述第一主体边缘的位置；根据所述主体边缘特征图对所述第二主体边缘进行修正，以得到修正后的掩模图像；根据所述修正后的掩模图像对所述背景区域进行虚化，以得到目标图像。根据本发明的方案，能够在焦外成像时准确呈现原始图像中主体的边缘。

Description

图像处理方法及装置、存储介质、终端

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像处理方法及装置、存储介质、终端。

背景技术

摄像技术在日常生活中的应用越来越多，焦外成像(Bokeh)是摄像技术中最常用的功能之一。焦外成像是指在焦点以外成像，能够通过虚化图像中的背景来突出图像中的主体。

随着摄像技术的不断发展，焦外成像对于具有摄像功能的终端而言越来越重要，人们对于终端在焦外成像时的虚化效果要求越来越高，尤其是虚化后的图像中主体边缘的准确度。

因此，虚化后的图像中主体边缘的准确呈现已经成为重点研究方向，亟需一种在焦外成像时能够提高主体边缘的准确性的方法，避免出现主体部分误虚化、背景无虚化等问题。

发明内容

本发明解决的技术问题是在焦外成像时如何准确呈现主体边缘，避免出现主体误虚化、背景无虚化等问题。

为解决上述技术问题，本发明实施例提供一种图像处理方法，所述方法包括：获取原始图像，并根据所述原始图像得到所述原始图像的掩模图像，其中，所述原始图像包括主体区域和背景区域，所述原始图像包括第一主体边缘，所述掩模图像包括第二主体边缘，所述第一主体边缘与所述第二主体边缘一一对应；对所述原始图像进行边缘检测，以得到所述原始图像的主体边缘特征图，所述主体边缘特征图用于指示所述第一主体边缘的位置；根据所述主体边缘特征图对所述第二主体边缘进行修正，以得到修正后的掩模图像；根据所述修正后的掩模图像对所述背景区域进行虚化，以得到目标图像。

可选的，对所述原始图像进行边缘检测，以得到所述主体边缘特征图包括：采用边缘检测算子扫描所述原始图像，以得到所述主体边缘特征图。

可选的，所述边缘检测算子包括以下一项或多项：一阶微分边缘检测算子、二阶微分边缘检测算子。

可选的，所述主体边缘特征图包括所述第一主体边缘的边缘特征点，根据所述主体边缘特征图对所述第二主体边缘进行修正包括：根据与所述第二主体边缘对应的第一主体边缘上的边缘特征点在所述主体边缘特征图中的位置，在所述掩模图像中确定边缘标记，所述边缘标记与所述边缘特征点一一对应；对于所述第二主体边缘上的像素点，在所述像素点处梯度方向上查找所述边缘标记；如果在梯度方向上查找到边缘标记，则剔除所述第二主体边缘上的该像素点，并将查找到的边缘标记所在的像素点作为所述第二主体边缘上新的像素点，以得到修正后的第二主体边缘。

可选的，所述修正后的掩模图像包括所述修正后的第二主体边缘，根据所述修正后的掩模图像对所述背景区域进行虚化之前，所述方法还包括：在所述修正后的掩模图像中确定具有第一预设宽度的第一边带区域，所述第一边带区域包括所述修正后的第二主体边缘，所述第一边带区域的轮廓与所述修正后的第二主体边缘的轮廓形状相同，所述第一边带区域与所述第二主体边缘一一对应；对所述第一边带区域内的像素点在梯度方向上进行灰度值渐变处理。

可选的，根据所述修正后的掩模图像对所述背景区域进行虚化之前，所述方法还包括：对于所述修正后的第二主体边缘，在其对应的第一边带区域内，将第一类像素点的灰度值变换为第一预设灰度值，并将第二类像素点的灰度值变换为第二预设灰度值；其中，所述第一类像素点为灰度值小于等于预设阈值的像素点，所述第二类像素点为灰度值大于所述预设阈值的像素点，所述第一预设灰度值小于所述第二预设灰度值。

可选的，所述预设阈值为所述第一主体边缘上边缘特征点的灰度值的平均值。

可选的，所述主体边缘特征图包括所述第一主体边缘的边缘特征点，根据所述主体边缘特征图对所述第二主体边缘进行修正包括：在所述掩模图像中确定具有第二预设宽度的第二边带区域，所述第二边带区域包括所述第二主体边缘，所述第二边带区域的轮廓与所述第二主体边缘的轮廓形状相同，所述第二边带区域与所述第二主体边缘一一对应；根据与所述第二主体边缘对应的第一主体边缘的边缘特征点在所述主体边缘特征图中的位置，在所述掩模图像中确定边缘标记，所述边缘标记与所述边缘特征点一一对应；对于所述第二主体边缘上的像素点，在所述第二边带区域内，查找所述像素点处梯度方向上的边缘标记；如果在梯度方向上查找到所述边缘标记，则剔除所述第二主体边缘上的该像素点，并将查找到的边缘标记所在的像素点作为所述第二主体边缘上新的像素点，以得到修正后的第二主体边缘。

可选的，所述第二预设宽度根据所述原始图像的尺寸确定，所述原始图像的尺寸越大，所述第二预设宽度越大。

可选的，在所述掩模图像中确定具有第二预设宽度的第二边带区域包括：对所述掩模图像进行形态学处理，以得到所述第二边带区域。

可选的，所述形态学处理包括以下一项或多项：腐蚀、膨胀。

可选的，所述修正后的掩模图像包括所述修正后的第二主体边缘，根据所述修正后的掩模图像对所述背景区域进行虚化之前，所述方法还包括：对于所述修正后的第二主体边缘，对其对应的第二边带区域内的像素点进行所述灰度值渐变处理。

可选的，所述修正后的掩模图像包括所述修正后的第二主体边缘，根据所述修正后的掩模图像对所述背景区域进行虚化之前，所述方法还包括：对于所述修正后的第二主体边缘，在其对应的第二边带区域内，将第一类像素点的灰度值变换为第一预设灰度值，并将第二类像素点的灰度值变换为第二预设灰度值；其中，所述第一类像素点为灰度值小于等于预设阈值的像素点，所述第二类像素点为灰度值大于所述预设阈值的像素点，所述第一预设灰度值小于所述第二预设灰度值。

可选的，如果所述掩模图像的尺寸小于所述原始图像的尺寸，则根据所述主体边缘特征图，对所述第二主体边缘进行修正之前，所述方法还包括：将所述掩模图像进行上采样处理，以使上采样处理后的掩模图像的尺寸与所述原始图像一致。

为了解决上述技术问题，本发明实施例还提供一种图像处理装置，所述装置包括：获取模块，用于获取原始图像，并根据所述原始图像得到所述原始图像的掩模图像，其中，所述原始图像包括主体区域和背景区域，所述原始图像包括第一主体边缘，所述掩模图像包括第二主体边缘，所述第一主体边缘与所述第二主体边缘一一对应；边缘检测模块，用于对所述原始图像进行边缘检测，以得到所述原始图像的主体边缘特征图，所述主体边缘特征图用于指示所述第一主体边缘的位置；边缘修正模块，用于根据所述主体边缘特征图对所述第二主体边缘进行修正，以得到修正后的掩模图像；虚化模块，用于根据所述修正后的掩模图像对所述背景区域进行虚化，以得到目标图像。

本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述图像处理方法的步骤。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图像处理方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明实施例提供了一种图像处理方法，所述方法包括：获取原始图像，并根据所述原始图像得到所述原始图像的掩模图像，其中，所述原始图像包括主体区域和背景区域，所述原始图像包括第一主体边缘，所述掩模图像包括第二主体边缘，所述第一主体边缘与所述第二主体边缘一一对应；对所述原始图像进行边缘检测，以得到所述原始图像的主体边缘特征图，所述主体边缘特征图用于指示所述第一主体边缘的位置；根据所述主体边缘特征图对所述第二主体边缘进行修正，以得到修正后的掩模图像；根据所述修正后的掩模图像对所述背景区域进行虚化，以得到目标图像。本发明实施例的方案中，主体边缘特征图是对原始图像进行边缘检测得到的，能够指示第一主体边缘的位置，也即，主体边缘特征图能够指示原始图像中真实的主体边缘的位置，采用主体边缘特征图对掩模图像中的第二主体边缘进行修正，可以使修正后的掩模图像中的第二主体边缘更加贴合于第一主体边缘，以使得最后虚化得到的目标图像中的主体边缘更加准确。

进一步，本发明实施例的方案中，在掩模图像中，根据第一主体边缘上的边缘特征点在主体边缘特征图中的位置确定对应的边缘标记，由此可以在掩模图像中标记出第一主体边缘的边缘特征点的准确位置，然后在第二主体边缘的各个像素点的梯度方向上查找边缘标记，如果在梯度方向上查找到边缘标记，则剔除第二主体边缘上的该像素点，并将查找到的边缘标记所在的像素点作为第二主体边缘上新的像素点，使得第二主体边缘得到修正。

进一步，本发明实施例的方案中，在修正后的掩模图像中确定具有第一边带区域，该第一边带区域包括修正后的第二主体边缘且轮廓与修正后的第二主体边缘的轮廓形状相同，然后在第一边带区域内对像素点在梯度方向上进行灰度值渐变处理，可以使修正后的第二主体边缘更加柔和、平滑，提高抗锯齿效果。

进一步，本发明实施例的方案中，在修正后的掩模图像中，将第一边带区域内的第一类像素点的灰度值变换为第一预设灰度值，并将第二类像素点的灰度值变换为第二预设灰度值，通过将第一边带区域内的像素点进行二分类处理，增强第一边带区域内主体区域和背景区域的对比度，突出修正后的第二主体边缘的位置特征，以便提高后续虚化的准确性。

进一步，本发明实施例中采用一个或多个边缘检测算子扫描原始图像，能够提取到原始图像中第一主体边缘的边缘特征点，从而使得主体边缘特征图能够指示第一主体边缘的准确位置。

附图说明

图1是本发明实施例中一种图像处理方法的应用场景示意图。

图2是本发明实施例中一种图像处理方法的流程示意图。

图3是图2中步骤S203的一种具体实施方式的流程示意图。

图4是图2中步骤S203的一种具体实施方式的效果示意图。

图5是本发明实施例中一种图像处理装置的结构示意图。

具体实施方式

如背景技术所述，亟需一种在焦外成像时能够提高主体边缘的准确性的方法，避免出现主体部分误虚化、背景无虚化等问题。

本发明的发明人经过研究发现，目前单反进行焦外成像通常是通过较多的光学模组实现，是一个严格的光学过程，具有明确的物理意义，主体边缘虚化的准确性较高，但这种依靠大量的光学模组来提高焦外成像的效果与当前人们越来越追求轻便快捷的趋势是相背离的，越来越多的终端(例如手机、平板电脑等)选择从软件角度采用图像处理技术进行焦外成像。

具体而言，终端首先得到用于虚化原始图像的掩模图像，利用掩模图像对原始图像的背景区域进行虚化，以得到最终具有虚化效果的目标图像，但是通过图像处理技术得到的掩模图像中的主体边缘通常是不太准确的，从而导致虚化后的目标图像会出现主体误虚化、背景无虚化以及主体边缘处出现较多锯齿的现象。

为了解决上述技术问题，本发明实施例提供一种图像处理方法，所述方法包括：获取原始图像，并根据所述原始图像得到所述原始图像的掩模图像，其中，所述原始图像包括主体区域和背景区域，所述原始图像包括第一主体边缘，所述掩模图像包括第二主体边缘，所述第一主体边缘与所述第二主体边缘一一对应；对所述原始图像进行边缘检测，以得到所述原始图像的主体边缘特征图，所述主体边缘特征图用于指示所述第一主体边缘的位置；根据所述主体边缘特征图对所述第二主体边缘进行修正，以得到修正后的掩模图像；根据所述修正后的掩模图像对所述背景区域进行虚化，以得到目标图像。本发明实施例的方案中，本发明实施例的方案中，主体边缘特征图是对原始图像进行边缘检测得到的，能够指示第一主体边缘的位置，也即，主体边缘特征图能够指示原始图像中真实的主体边缘的位置，采用主体边缘特征图对掩模图像中的第二主体边缘进行修正，可以使修正后的掩模图像中的第二主体边缘更加贴合于第一主体边缘，以使得最后虚化得到的目标图像中的主体边缘更加准确。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参考图1，图1是本发明实施例中一种图像处理方法的应用场景示意图。所述方法可以由具有拍照、摄像功能的终端执行，所述终端可以是手机、电脑、单反、物联网设备等，但并不限于此。所述终端可以包括一个或多个用于采集图像或视频的摄像头，所述摄像头可以通过应用程序的指令触发开启，以实现拍照或摄像功能。所述摄像头可以是长焦摄像头、广角摄像头等，关于终端上摄像头的数量和种类，本发明实施例不做任何限制。

下面结合图1对本发明实施例中一种图像处理方法的应用场景进行非限制性的说明。

具体而言，终端获取到原始图像11后，可以根据原始图像11得到该原始图像的掩模图像12，然后根据掩模图像12对原始图像11进行虚化，以得到虚化后的目标图像13。

其中，原始图像11可以包括主体区域和背景区域，所述主体区域可以包括一个或多个主体，图1中示出的主体为人像，掩模图像12可以用于指示原始图像11中的主体区域和背景区域。具体而言，掩模图像12中包含主体边缘(图未示)，主体边缘以内的区域对应原始图像11中的主体区域，主体边缘以外的区域对应原始图像11中的背景区域，终端可以根据掩模图像12对原始图像11中的背景区域进行虚化，得到目标图像13。由于目标图像13中的背景区域是虚化的，能够更加突出目标图像13中的主体。

在现有技术中，与原始图像11中主体的边缘相比，掩模图像12中的主体边缘通常存在一定的偏差，从而使得目标图像13中部分的主体区域被误虚化、部分的背景区域未虚化、目标图像13中主体边缘包含较多锯齿等问题。

具体而言，如果终端只包括单个摄像头，该终端通常将原始图像输入神经网络模型中以得到掩模图像，为了满足图像处理的速度的要求，在根据原始图像得到掩模图像前，需要先对原始图像进行下采样处理，这样会丢失很多原始图像中主体边缘的特征，因此得到的掩模图像中的主体边缘与原始图像中的主体边缘存在较大的偏差。

此外，如果终端包括主摄像头和副摄像头，在焦外成像时，主摄像头在采集主摄图像时，副摄像头采集副摄图像，该主摄图像为原始图像11，终端分别在主摄图像和副摄图像中提取特征点，主摄图像中的特征点与副摄图像中的特征点具有一一对应的关系。然后终端计算主摄图像中每个特征点与副摄图像中对应的特征点的视差，对于主摄图像中没有被提取为特征点的像素点，采用标定算法、深度计算算法等方法直接设定该像素点的视差，以得到掩模图像。由于没有被提取为特征点的像素点处的视差是根据算法计算得到的，与该像素点处的真实视差具有一定的偏差，因此这种方法得到的掩模图像在主体边缘处准确度也较差。

由此，本发明实施例对掩模图像12中的主体边缘进行修正，使得掩模图像12中的主体边缘更加贴近于原始图像11中主体的边缘，从而使目标图像13中的主体边缘更加准确。

参照图2，图2是本发明实施例中一种图像处理方法的流程示意图。图2所示的图像处理方法具体可以包括如下步骤：

步骤S201：获取原始图像，并根据所述原始图像得到所述原始图像的掩模图像，其中，所述原始图像包括主体区域和背景区域，所述原始图像包括第一主体边缘，所述掩模图像包括第二主体边缘，所述第一主体边缘与所述第二主体边缘一一对应；

步骤S202：对所述原始图像进行边缘检测，以得到所述原始图像的主体边缘特征图，所述主体边缘特征图用于指示所述第一主体边缘的位置；

步骤S203：根据所述主体边缘特征图对所述第二主体边缘进行修正，以得到修正后的掩模图像；

步骤S204：根据所述修正后的掩模图像对所述背景区域进行虚化，以得到目标图像。

在步骤S201的具体实施中，用户打开终端上用于拍摄图像的应用程序进入拍照模式后，触发终端上的摄像头采集原始图像，以获取到所述原始图像。所述原始图像可以是彩色图像，也可以是灰度图像，本发明实施例对原始图像的格式和/或类型并不做任何限制。需要说明的是，所述原始图像也可以是终端从外部接收到的，也可以是存储在终端本地的图像，但并不限于此。

进一步地，所述原始图像包括主体区域和背景区域，所述主体区域包括一个或多个主体。原始图像中的主体位于焦平面，是原始图像中需要突出呈现的对象。所述主体可以是人、也可以是动物、物体等，本发明实施例对于主体的种类和数量并不做任何限制。

进一步地，所述背景区域是指原始图像中主体区域以外的部分，在焦外成像时，背景区域是终端是需要进行虚化的部分。所述背景区域可以是单色背景，例如：证件照中的单色背景；也可以是自然风光、办公场所等复杂场景下的背景。

需要说明的是，对于原始图像中的每一主体，该主体的边缘将该主体所处的区域与背景区域相区分，本发明实施例中将原始图像中的主体边缘记为第一主体边缘，原始图像可以包括一个或多个第一主体边缘，第一主体边缘与原始图像中的主体一一对应。

进一步地，终端根据所述原始图像得到所述原始图像的掩模图像，其中，本发明实施例将掩模图像中包括的主体边缘记为第二主体边缘，掩模图像可以包括一个或多个第二主体边缘，第二主体边缘与第一主体边缘一一对应，第二主体边缘与其对应的第一主体边缘相比存在一定的偏差。根据原始图像得到掩模图像的具体方法可以参照上文关于图1的相关描述，在此不再赘述。

在步骤S202的具体实施中，终端对原始图像进行边缘检测，以得到原图图像的主体边缘特征图。其中，主体边缘特征图的尺寸大小与所述原始图像的尺寸大小是相同的。

需要说明的是，终端获取原始图像后，可以先根据原始图像得到掩模图像，再对原始图像进行边缘检测以得到主体边缘特征图；也可以先对原始图像进行边缘检测以得到主体边缘特征图，再根据原始图像得到掩模图像；还可以同时根据原始图像得到掩模图像和主体边缘特征图，本发明实施例对得到掩模图像和主体边缘特征图的顺序不作任何限制。

进一步地，终端可以采用一个或多个边缘检测算子扫描原始图像，以得到原始图像的主体边缘特征图。所述边缘检测算子可以包括一阶微分边缘检测算子，例如prewitt算子、sobel算子、Roberts交叉梯度算子等；也可以包括二阶微分边缘检测算子，例如：lapacian算子、LOG算子等；还可以包括非微分边缘检测算子，例如，canny算子等。需要说明的是，本发明实施例中，也可以采用其他边缘检测方法来提取所述原始图像中的第一主体边缘，以得到主体边缘特征图，本发明实施例对此不作任何限制。

进一步地，对于原始图像中的每个第一主体边缘，终端对原始图像进行边缘检测时，可以提取到该第一主体边缘上第一预设数量个边缘特征点。也即，所述主体边缘特征图可以包括各个第一主体边缘上的第一预设数量个边缘特征点。其中，所述边缘特征点用于指示第一主体边缘在原始图像中的位置，所述第一预设数量可以是预先设置的，第一预设数量越大，所述主体边缘特征图指示的第一主体边缘的位置越准确。

进一步地，在采用边缘检测算子扫描原始图像之前，可以先对原始图像进行预处理，例如：对原始图像进行数据增强处理等，但并不限于此。通过对原始图像进行预处理，强化原始图像中的第一主体边缘的位置特征，使原始图像中第一主体边缘更加清晰或突出，便于后续根据主体边缘特征图对掩模图像中的第二主体边缘进行修正。

在步骤S203的具体实施中，根据所述主体边缘特征图对第二主体边缘进行修正，以得到修正后的掩模图像。

需要说明的是，步骤S201中得到的掩模图像的尺寸可能会小于原始图像的尺寸，例如，如果终端只包含单摄像头，掩模图像是根据下采样后的原始图像得到的，掩模图像的尺寸与下采样后的原始图像的尺寸大小相同。由于主体边缘特征图的尺寸大小与原始图像的尺寸大小一致，根据所述主体边缘特征图对掩模图像中第二主体边缘进行修正时，所述掩模图像的尺寸大小也应当与原始图像的尺寸大小相同。依次，如果所述掩模图像的尺寸小于所述原始图像的尺寸，终端在根据所述主体边缘特征图，对所述第二主体边缘进行修正之前，可以先对所述掩模图像进行上采样处理，以使上采样处理后的掩模图像的尺寸与所述原始图像一致。

进一步地，如果所述原始图像中包括多个第一主体边缘，掩模图像中包括对应的多个第二主体边缘，则可以根据主体边缘特征图中的第一主体边缘依次对各个第二主体边缘进行修正；终端也可以同时根据主体边缘特征图中多个第一主体边缘上的边缘特征点，分别对各个第一主体边缘对应的第二主体边缘进行修正。

具体而言，同一个第一主体边缘或者同一个第二主体边缘的灰度等级通常是相同的，不同的第一主体边缘上像素点的灰度等级通常是不同的，不同的第二主体边缘上像素点的灰度等级通常是不同的，此外，具有对应关系的第一主体边缘与第二主体边缘上的像素点的灰度等级是相同的。本发明实施例中，终端可以根据第二主体边缘上像素点的灰度等级的不同，依次查找出掩模图像中各个第二主体边缘，并对各个第二主体边缘进行修正，不会遗漏第一主体边缘和/或第二主体边缘。

参考图3，图3示出了图2中步骤S203的一种具体实施方式的流程示意图。

在步骤S301中，根据与所述第二主体边缘对应的第一主体边缘上的边缘特征点在所述主体边缘特征图中的位置，在所述掩模图像中确定边缘标记，所述边缘标记与所述边缘特征点一一对应。

具体而言，对于掩模图像中的每个第二主体边缘，首先在主体边缘特征图中确定与该第二主体边缘对应的第一主体边缘。

在一个非限制性实施例中，主体边缘特征图中包括多个第一主体边缘，如上文所述，具有对应关系的第一主体边缘与第二主体边缘上的像素点的灰度等级是相同的，终端可以根据第二主体边缘上像素点的灰度值确定该灰度值所属的灰度等级，并在主体边缘特征图中查找灰度等级相同的第一主体边缘，以确定对应的第一主体边缘。

进一步地，终端可以读取该第一主体边缘上第一预设数量个边缘特征点在主体边缘特征图中的位置，例如，所述位置可以是各个边缘特征点在主体边缘特征图中的坐标值；然后根据每一边缘特征点的位置，在掩模图像中确定第一预设数量个边缘标记，边缘标记与边缘特征点一一对应。

其中，所述边缘标记用于指示所述主体边缘特征图中的边缘特征点映射到所述掩模图像中的位置。

由此，终端通过在掩模图像中确定与边缘特征点一一对应的边缘标记，可以在掩模图像中标记出原始图像中第一主体边缘的准确位置，便于后续将第一主体边缘上的边缘特征点的位置作为导向信息来修正第二主体边缘。

在步骤S302中，对于所述第二主体边缘上的像素点，在所述像素点处梯度方向上查找所述边缘标记。

具体而言，对于第二主体边缘上的每一像素点，在该像素点处的梯度方向上查找是否存在步骤S301中标记的边缘标记。

在步骤S303中，如果在梯度方向上查找到边缘标记，可以剔除所述第二主体边缘上的该像素点，并将查找到的边缘标记所在的像素点作为所述第二主体边缘上新的像素点，以得到修正后的第二主体边缘。

具体而言，对于第二主体边缘上的每一像素点，如果在该像素点的梯度方向上查找到所述边缘标记，终端可以从第二主体边缘中剔除该像素点，并将查找到的边缘标记所在的像素点作为所述第二边缘上的新的像素点。

进一步地，如果在该像素点的梯度方向上没有查找到边缘标记，则可以对该像素点不做任何处理。

进一步地，如果在该像素点的梯度方向上查找到多个边缘标记，则可以从第二主体边缘中剔除该像素点，并选择距离该像素点最近的边缘标记所在的像素点作为第二主体边缘上的新的像素点。

进一步地，对于每个第二主体边缘，遍历该第二主体边缘上的各个像素点，并对每个像素点进行上述步骤S302和步骤S303的操作，从而得到修正后的掩模图像，修正后的掩模图像包括一个或多个修正后的第二主体边缘。

进一步地，由于修正后的第二主体边缘上可能会存在锯齿现象，对掩模图像中第二主体边缘进行修正后，终端还可以对修正后的第二主体边缘进行灰度值渐变处理，使灰度值渐变处理后的第二主体边缘更加柔和、平滑，从而提高抗锯齿效果。

具体而言，终端在修正后的掩模图像中确定具有第一预设宽度的第一边带区域，第一边带区域与第二主体边缘一一对应。对于每一修正后的第二主体边缘，与其对应的第一边带区域包括该修正后的第二主体边缘，并且第一边带区域的轮廓与该修正后的第二主体边缘的轮廓形状相同。

其中，所述第一预设宽度可以是预先设置的，所述第一预设宽度可以根据原始图像的尺寸确定，原始图像的尺寸越大，第一预设宽度越大。所述第一预设宽度也可以根据原始图像的分辨率决定，所述第一预设宽度可以为第二预设数量个像素的宽度，所述第二预设数量可以根据原始图像的分辨率决定。在一个非限制性实施例中，原始图像的分辨率为600×800像素，第二预设数量为10，此时第一预设宽度为该原始图像中10个像素的宽度。

进一步地，对所述第一边带区域内的像素点在梯度方向上进行灰度值渐变处理。

具体而言，终端可以先确定修正后的掩模图像中主体区域的像素点的灰度值，以及背景区域的像素点的灰度值，例如，计算主体区域的所有像素点的灰度值的平均值，记为主体区域灰度值，再计算主体区域的所有像素点的灰度值的平均值，记为背景区域灰度值。

进一步地，终端确定第一边带区域在梯度方向上包括的像素点数量，根据所述主体区域灰度值、背景区域灰度值以及第一边带区域在梯度方向上包括的像素点数量，确定第一边带区域内各个像素点的灰度值。其中，在同一梯度方向上，越靠近主体区域的像素点的灰度值越小，越靠近背景区域的像素点的灰度值越大，也即，在同一梯度方向上，从第一边带区域与主体区域的交界处到第一边带区域与背景区域的交界处，像素点的灰度值呈递增趋势。

由此，本发明实施例在第一边带区域内对像素点在梯度方向上进行灰度值渐变处理，可以使修正后的第二主体边缘更加柔和、平滑，提高抗锯齿效果。

进一步地，终端在对第一边带区域内的像素点进行灰度值渐变处理后，还可以对第一边带区域内的像素点进行二分类处理。

具体而言，将灰度值小于等于预设阈值的像素点记为第一类像素点，灰度值大于所述预设阈值的像素点记为所述第二类像素点，将第一类像素点的灰度值变换为第一预设灰度值，并将第二类像素点的灰度值变换为第二预设灰度值。其中，所述预设阈值可以是预先设置的。

需要说明的是，主体区域的像素点的灰度值通常较小，背景区域的灰度值通常较大，本发明实施例中将第一类像素点视为主体区域的像素点，将第二类像素点视为背景区域的像素点，通过将第一边带区域内的像素点进行二分类处理，增强第一边带区域内主体区域和背景区域的对比度，突出修正后的第二主体边缘的位置特征，以便提高后续虚化的准确性。

在一个非限制性实施例中，所述预设阈值是与被修正的第二主体边缘对应的第一主体边缘上边缘特征点的灰度值的平均值。因此，将第一边带区域内像素点进行二分类处理后的结果能够更加接近于原始图像中主体区域和背景区域的真实情况，准确性较高。

在本发明的另一个非限制性实施例中，在步骤S302之前，终端还可以在掩模图像中确定第二预设宽度的第二边带区域，第二边带区域与第二主体边缘一一对应。具体而言，可以对掩模图像进行形态学处理，以得到第二边带区域，所述形态学处理可以包括腐蚀和/或膨胀。

关于在掩模图像中确定第二边带区域的方法的更多内容，可以参照上文关于确定第一边带区域的相关描述，在此不再赘述。

进一步地，终端修正第二主体边缘时，对于第二主体边缘上的每个像素点，在第二边带区域内查找该像素点处的梯度方向上的边缘标记，如果第二边带区域内查找到所述边缘标记，则剔除所述第二主体边缘上的该像素点，并将查找到的边缘标记所在的像素点作为所述第二主体边缘上新的像素点，以得到修正后的第二主体边缘。

由于终端只在第二边带区域内查找该像素点处的梯度方向上的边缘标记，从而可以大大降低计算成本和复杂度，加快图像处理的速度。

进一步地，对于修正后的第二主体边缘，终端还可以该第二主体边缘对应的第二边带区域内的像素点进行灰度值渐变处理。

进一步地，终端在对第二边带区域内的像素点进行灰度值渐变处理后，还可以对第二边带区域内的像素点进行二分类处理。

关于对第二边带区域内的像素点进行灰度值渐变处理以及二分类处理的具体过程、原理以及有益效果，可以参照上文关于对第一边带区域内的像素点进行灰度值渐变处理以及二分类处理的相关描述，在此不再赘述。

参考图4，图4是图2中步骤S203的一种具体实施方式的效果示意图，图4示出了经过步骤S203处理后得到的修正后的掩模图像。

与图1中的掩模图像12相比，图4中修正后的掩模图像41中的主体边缘更加贴合于原始图像41中主体的边缘，并且明显减少了主体边缘上的锯齿数量，主体边缘更加柔和平滑。

继续参考图2，在步骤S204的具体实施中，得到修正后的掩模图像后，可以根据修正后的掩模图像对原始图像中的背景区域进行虚化，从而得到虚化后的目标图像。

进一步地，得到修正后的掩模图像后，可以对修正后的掩模图像以及原始图像进行相同倍数的下采样，然后根据下采样后的掩模图像和下采样后的原始图像，得到虚化后的目标图像，由此可以在保证虚化准确度的同时，降低虚化过程的复杂度，加快图像处理的速度。

参照图5，图5是本发明实施例中一种图像处理装置，本发明实施例中的图像处理装置可以包括：获取模块51、边缘检测模块52、边缘修正模块53、虚化模块54，其中，

获取模块51，用于获取原始图像，并根据所述原始图像得到所述原始图像的掩模图像，其中，所述原始图像包括主体区域和背景区域，所述原始图像包括第一主体边缘，所述掩模图像包括第二主体边缘，所述第一主体边缘与所述第二主体边缘一一对应；边缘检测模块52，用于对所述原始图像进行边缘检测，以得到所述原始图像的主体边缘特征图，所述主体边缘特征图用于指示所述第一主体边缘的位置；边缘修正模块53，用于根据所述主体边缘特征图对所述第二主体边缘进行修正，以得到修正后的掩模图像；虚化模块54，用于根据所述修正后的掩模图像对所述背景区域进行虚化，以得到目标图像。

关于本发明实施例中的图像处理装置的工作原理、工作方式的更多内容，可以参照上述图2至图3的相关描述，在此不再赘述。

本发明实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图2和图3所述的图像处理方法的步骤。所述存储介质可以是计算机可读存储介质，例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述图2和图3所述的图像处理方法的步骤。所述终端可以是计算机、平板电脑、手机等终端设备，但并不限于此。

具体地，在本发明实施例中，所述处理器可以为中央处理单元(centralprocessing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specificintegrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (17)

1.一种图像处理方法，其特征在于，所述方法包括：

获取原始图像，并根据所述原始图像得到所述原始图像的掩模图像，其中，所述原始图像包括主体区域和背景区域，所述原始图像包括第一主体边缘，所述掩模图像包括第二主体边缘，所述第一主体边缘与所述第二主体边缘一一对应；

对所述原始图像进行边缘检测，以得到所述原始图像的主体边缘特征图，所述主体边缘特征图用于指示所述第一主体边缘的位置；

根据所述主体边缘特征图对所述第二主体边缘进行修正，以得到修正后的掩模图像；

根据所述修正后的掩模图像对所述背景区域进行虚化，以得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，对所述原始图像进行边缘检测，以得到所述主体边缘特征图包括：

采用边缘检测算子扫描所述原始图像，以得到所述主体边缘特征图。

3.根据权利要求2所述的图像处理方法，其特征在于，所述边缘检测算子包括以下一项或多项：一阶微分边缘检测算子、二阶微分边缘检测算子。

4.根据权利要求1所述的图像处理方法，其特征在于，所述主体边缘特征图包括所述第一主体边缘的边缘特征点，根据所述主体边缘特征图对所述第二主体边缘进行修正包括：

根据与所述第二主体边缘对应的第一主体边缘上的边缘特征点在所述主体边缘特征图中的位置，在所述掩模图像中确定边缘标记，所述边缘标记与所述边缘特征点一一对应；

对于所述第二主体边缘上的像素点，在所述像素点处梯度方向上查找所述边缘标记；

如果在梯度方向上查找到边缘标记，则剔除所述第二主体边缘上的该像素点，并将查找到的边缘标记所在的像素点作为所述第二主体边缘上新的像素点，以得到修正后的第二主体边缘。

5.根据权利要求4所述的图像处理方法，其特征在于，所述修正后的掩模图像包括所述修正后的第二主体边缘，根据所述修正后的掩模图像对所述背景区域进行虚化之前，所述方法还包括：

在所述修正后的掩模图像中确定具有第一预设宽度的第一边带区域，所述第一边带区域包括所述修正后的第二主体边缘，所述第一边带区域的轮廓与所述修正后的第二主体边缘的轮廓形状相同，所述第一边带区域与所述第二主体边缘一一对应；

对所述第一边带区域内的像素点在梯度方向上进行灰度值渐变处理。

6.根据权利要求5所述的图像处理方法，其特征在于，根据所述修正后的掩模图像对所述背景区域进行虚化之前，所述方法还包括：

对于所述修正后的第二主体边缘，在其对应的第一边带区域内，将第一类像素点的灰度值变换为第一预设灰度值，并将第二类像素点的灰度值变换为第二预设灰度值；

其中，所述第一类像素点为灰度值小于等于预设阈值的像素点，所述第二类像素点为灰度值大于所述预设阈值的像素点，所述第一预设灰度值小于所述第二预设灰度值。

7.根据权利要求6所述的图像处理方法，其特征在于，所述预设阈值为所述第一主体边缘上边缘特征点的灰度值的平均值。

8.根据权利要求1所述的图像处理方法，其特征在于，所述主体边缘特征图包括所述第一主体边缘的边缘特征点，根据所述主体边缘特征图对所述第二主体边缘进行修正包括：

在所述掩模图像中确定具有第二预设宽度的第二边带区域，所述第二边带区域包括所述第二主体边缘，所述第二边带区域的轮廓与所述第二主体边缘的轮廓形状相同，所述第二边带区域与所述第二主体边缘一一对应；

根据与所述第二主体边缘对应的第一主体边缘的边缘特征点在所述主体边缘特征图中的位置，在所述掩模图像中确定边缘标记，所述边缘标记与所述边缘特征点一一对应；

对于所述第二主体边缘上的像素点，在所述第二边带区域内，查找所述像素点处梯度方向上的边缘标记；

如果在梯度方向上查找到所述边缘标记，则剔除所述第二主体边缘上的该像素点，并将查找到的边缘标记所在的像素点作为所述第二主体边缘上新的像素点，以得到修正后的第二主体边缘。

9.根据权利要求8所述的图像处理方法，其特征在于，所述第二预设宽度根据所述原始图像的尺寸确定，所述原始图像的尺寸越大，所述第二预设宽度越大。

10.根据权利要求8所述的图像处理方法，其特征在于，在所述掩模图像中确定具有第二预设宽度的第二边带区域包括：

对所述掩模图像进行形态学处理，以得到所述第二边带区域。

11.根据权利要求10所述的图像处理方法，其特征在于，所述形态学处理包括以下一项或多项：腐蚀、膨胀。

12.根据权利要求8所述的图像处理方法，其特征在于，所述修正后的掩模图像包括所述修正后的第二主体边缘，根据所述修正后的掩模图像对所述背景区域进行虚化之前，所述方法还包括：

对于所述修正后的第二主体边缘，对其对应的第二边带区域内的像素点进行灰度值渐变处理。

13.根据权利要求8所述的图像处理方法，其特征在于，所述修正后的掩模图像包括所述修正后的第二主体边缘，根据所述修正后的掩模图像对所述背景区域进行虚化之前，所述方法还包括：

对于所述修正后的第二主体边缘，在其对应的第二边带区域内，将第一类像素点的灰度值变换为第一预设灰度值，并将第二类像素点的灰度值变换为第二预设灰度值；

其中，所述第一类像素点为灰度值小于等于预设阈值的像素点，所述第二类像素点为灰度值大于所述预设阈值的像素点，所述第一预设灰度值小于所述第二预设灰度值。

14.根据权利要求1所述的图像处理方法，其特征在于，如果所述掩模图像的尺寸小于所述原始图像的尺寸，则根据所述主体边缘特征图，对所述第二主体边缘进行修正之前，所述方法还包括：

将所述掩模图像进行上采样处理，以使上采样处理后的掩模图像的尺寸与所述原始图像一致。

15.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取原始图像，并根据所述原始图像得到所述原始图像的掩模图像，其中，所述原始图像包括主体区域和背景区域，所述原始图像包括第一主体边缘，所述掩模图像包括第二主体边缘，所述第一主体边缘与所述第二主体边缘一一对应；

边缘检测模块，用于对所述原始图像进行边缘检测，以得到所述原始图像的主体边缘特征图，所述主体边缘特征图用于指示所述第一主体边缘的位置；

边缘修正模块，用于根据所述主体边缘特征图对所述第二主体边缘进行修正，以得到修正后的掩模图像；

虚化模块，用于根据所述修正后的掩模图像对所述背景区域进行虚化，以得到目标图像。

16.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，执行权利要求1至14中任一项所述图像处理方法的步骤。

17.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至14中任一项所述图像处理方法的步骤。

Images