CN114841852A - 图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本公开实施例提供一种图像处理方法、装置、设备及存储介质。在对待处理图像进行处理，得到包含多个色块的目标图像时，可以先对待处理图像进行色彩量化处理，得到大致分块的图像，然后对于色彩量化处理后的图像中的任一像素点，可以从该像素点的邻近像素点中确定像素值变化程度较小的目标像素点，基于这些目标像素点的色彩调整该像素点的色彩，使得该像素点的色彩与目标像素点的色彩基本一致，从而形成色块。通过上述方法，可以形成更加自然的色块，同时，可以通过控制目标像素点的筛选条件来控制最终生成的色块的大小以及色块的密集程度等属性信息，可调控性较强。

Description

图像处理方法、装置、设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

在一些场景，需要得到包含多个色块的图像，以使图像达到某种特定的显示效果。比如，以对图像进行滤镜处理，将图像风格转换为漫画风格的场景为例，对于漫画风格的图像，图像背景中如果包括一些大小、颜色不同的色块，更能贴合漫画风格，但是目前转换后的漫画风格的图像中往往会出现一大片单一纯色，导致漫画风格效果不佳。

发明内容

本公开提供一种图像处理方法、装置、设备及存储介质。

根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：

获取待处理图像；

对所述待处理图像进行色彩量化处理；

针对色彩量化处理后的图像中的像素，基于目标像素的色彩对所述像素的色彩进行校正，得到包含多个色块的目标图像；其中，所述像素校正后的色彩与所述目标像素的色彩的差异小于预设阈值，所述目标像素为所述像素的邻近像素中像素值变化程度小于第一预设程度的多个像素。

在一些实施例中，所述像素值变化程度通过各像素的梯度表征，所述目标像素的梯度小于预设梯度阈值，所述预设梯度阈值基于所述目标图像中的色块的属性信息确定，所述属性信息用于描述所述色块的显示效果。

在一些实施例中，所述属性信息包括以下一种或多种：所述色块的大小、所述色块的数量、以及所述色块的密集程度。

在一些实施例中，所述待处理图像中包括目标对象，所述方法还包括：

从所述待处理图像中截取所述目标对象对应的图像区域，并对所截取的图像区域进行风格转换处理，得到风格转换后的目标图像区域；

在得到包含多个色块的目标图像之后，所述方法还包括：

利用所述目标图像区域替换所述目标图像中所述目标对象对应的图像区域。

在一些实施例中，所述目标图像中的色块的属性信息基于所述目标图像区域的风格确定。

在一些实施例中，在对待处理图像进行色彩量化处理之前，所述方法还包括：

从所述待处理图像中确定第一图像区域，所述第一图像区域的色彩与所述目标对象的色彩接近；

对所述第一图像区域的色彩进行调整，调整后的第一图像区域的色彩与所述目标图像区域中的目标对象的色彩一致；

所述对待处理图像进行色彩量化处理，包括：

对包含所述调整后的第一图像区域的待处理图像进行色彩量化处理。

在一些实施例中，所述对所述第一图像区域的色彩进行调整，包括：

确定所述第一图像区域中的边缘像素，所述边缘像素为像素值变化程度大于第二预设程度的像素；

利用第一调整幅度对所述第一图像区域中的边缘像素进行调整，利用第二调整幅度对所述第一图像区域中的非边缘像素进行调整，其中，所述第一调整幅度小于所述第二调整幅度。

在一些实施例中，在对待处理图像进行色彩量化处理之前，所述方法还包括：

对所述待处理图像进行去噪处理；

在利用所述目标图像区域替换所述目标图像中的所述目标对象对应的图像区域之前，所述方法还包括：

调整所述目标图像的对比度和/或饱和度。

在一些实施例中，所述调整所述目标图像的对比度和/或饱和度，包括：

从预先设置的多个色彩映射表中选取与所述目标图像区域的风格匹配的目标色彩映射表，所述色彩映射表用于表征对比度和/或饱和度调整前后图像中像素点的像素值的对应关系；

基于所述目标色彩映射表调整所述目标图像的对比度和/或饱和度。

在一些实施例中，在利用所述目标图像区域替换所述目标图像中的所述目标对象对应的图像区域之前，所述方法还包括：

对待处理图像进行边缘提取，得到边缘图像；

将所述边缘图像融合到所述目标图像中，得到融合后的图像；

所述利用所述目标图像区域替换所述目标图像中的所述目标对象对应的图像区域，包括：

利用所述目标图像区域替换所述融合后的图像中的所述目标对象对应的图像区域。

在一些实施例中，所述待处理图像为LAB域的图像，对待处理图像进行色彩量化处理，包括：

对所述LAB域图像的L通道的数值进行色彩量化处理。

根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：

获取模块，用于获取待处理图像；

色彩量化模块，用于对所述待处理图像进行色彩量化处理；

校正模块，用于针对色彩量化处理后的图像中的像素，基于目标像素的色彩对所述像素的色彩进行校正，得到包含多个色块的目标图像；其中，所述像素校正后的色彩与所述目标像素的色彩的差异小于预设阈值，所述目标像素为所述像素的邻近像素中像素值变化程度小于第一预设程度的多个像素。

根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括处理器、存储器、存储在所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时，可实现上述第一方面提及的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述存储介质上存储有计算机指令，所述计算机指令被执行时实现上述第一方面提及的方法。

本公开实施例中，在对待处理图像进行处理，得到包含多个色块的目标图像时，可以先对待处理图像进行色彩量化处理，得到大致分块的图像，然后对于色彩量化处理后的图像中的任一像素点，可以从该像素点的邻近像素点中确定像素值变化程度较小的目标像素点，基于这些目标像素点的色彩调整该像素点的色彩，使得该像素点的色彩与目标像素点的色彩基本一致，从而形成色块。本公开实施例通过对待处理图像进行色彩量化处理后，再基于图像中的与该像素邻近的目标像素点来调整该像素点的色彩，可以得到包含多个色块的图像，且形成的色块更加自然，同时，由于是通过各像素的邻近像素的像素值的变化程度来选取每个像素点的目标像素点，因而可以通过控制色彩量化过程中的量化相关的参数，以及目标像素点的筛选条件来控制最终生成的色块的大小以及色块的密集程度等属性信息，来达到用户想要的显示效果，可调控性较强。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1是本公开实施例的一种包含色块和不含色块的漫画风格图像。

图2是本公开实施例的一种图像处理方法。

图3是本公开实施例的一种采用两种方式对人脸区域和背景区域进行风格转换，导致人脸和脖子颜色差异较大的示意图。

图4是本公开实施例的一种对将人脸图像转换为漫画风格人脸的示意图。

图5是本公开实施例的一种图像处理装置的逻辑结构示意图。

图6是本公开实施例的一种设备的逻辑结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。

在一些特定的场景，通常希望图像中可以包括一些大小、颜色、形状各不同的色块，以使图像和场景更加贴合，提升显示效果。以漫画风格的图像为例，如图1所示，图1中图像(a)中的图像背景为一大片区域显示一种颜色，不包含色块，图像1中图像(b)的图像背景包括随机分布有大小、形状不同的色块(由于图像为灰度图，因而通过灰度的深浅表示不同的颜色)。很明显，背景中包含色块的图像与漫画风格更加贴近，可以达到更加逼真效果。

在生成包含色块的图像中，容易想到得到一种方式是将图像划分成多个区域，不同区域设置成不同颜色，但是这种方式需要人工进行较多的干预，可调节性差，且最终得到色块不够自然，效果不太理想。

为了可以生成包含色块的图像，且图像中的色块可以更加自然，本公开实施提供了一种图像处理方法，在对待处理图像进行处理，得到包含多个色块的目标图像时，可以先对待处理图像进行色彩量化处理，得到大致分块的图像，然后对于色彩量化处理后的图像中的任一像素点，可以从该像素点的邻近像素点中确定像素值变化程度较小的目标像素点，基于这些目标像素点的色彩调整该像素点的色彩，使得该像素点的色彩与目标像素点的色彩基本一致，从而形成色块。本公开实施例通过对待处理图像进行色彩量化处理后，再基于图像中的与该像素邻近的目标像素点来调整该像素点的色彩，可以得到包含多个色块的图像，且形成的色块更加自然，由于是通过各像素的邻近像素的像素值的变化程度来选取每个像素点的目标像素点，因而可以通过控制色彩量化处理过程中量化相关的参数，以及目标像素点的筛选条件来控制最终生成的色块的大小以及色块的密集程度等属性信息，来达到用户想要的显示效果，可调控性较强。

本公开实施例中的图像处理方法可以用于各种具备图像处理功能的电子设备，比如，可以是手机、电脑、或者云端服务器。在一些场景，该方法可以由安装有图像或视频处理软件的设备执行，该图像或视频处理软件可以专门用于生成包含色块的图像或视频，或者该图像或视频处理软件也可以是对图像或视频进行风格转换的处理软件，在对图像或视频进行风格转换的同时，可以在图像或视频中生成色块。

具体的，如图2所示，该图像处理方法包括以下步骤：

S202、获取待处理图像；

在步骤S202中，可以获取待处理图像，其中，待处理图像可以是需要生成色块的任意图像。待处理图像可以是单独的一帧图像，也可以是一段视频中的多个视频帧。在一些场景，待处理图像可以经过风格转换，具备目标风格的图像，为了使得目标风格更加逼真，可以对待处理图像进行进一步处理，生成包含色块的图像。

S204、对待处理图像进行色彩量化处理；

在步骤S204中，可以对待处理图像进行色彩量化处理。色彩量化处理包括将某个像素值区间内的像素值映射为同一个像素值，比如，将像素值位于230-239这一像素值区间内的像素点的像素值均映射为230。通过对待处理图像进行色彩量化处理，可以得到大致分块的图像。当然，由于色彩量化处理即可以得到初步分块的图像，因而也可以基于最终想要生成的色块的属性信息调整量化过程中的相关参数。其中，色块的属性信息可以是用于描述色块显示效果的各种信息，比如，色块的大小、数量、密集程度等。

量化过程中相关的参数可以是量化步长。其中，量化步长可以是待映射成一个像素值的像素区间的长度，比如，假设将位于像素值区间101-110的像素值均映射成105，则量化步长为10。假设将位于像素值区间101-120的像素值均映射成115，则量化步长为20。其中，量化步长的大小一定程度上决定了初步划分的色块的大小，比如，量化步长越大，则会将更多的像素点映射成同一个像素值(即同一个色块)，那么生成的色块数量会变少，面积变大。反之，量化步长越小，则生成的色块数量越多，面积越小。

S206、针对色彩量化处理后的图像中的像素，基于目标像素的色彩对所述像素的色彩进行校正，得到包含多个色块的目标图像；其中，所述像素校正后的色彩与所述目标像素的色彩的差异小于预设阈值，所述目标像素为所述像素的邻近像素中像素值变化程度小于预设程度的多个像素。

在步骤S206中，在对待处理图像进行色彩量化处理后，虽然可以得到大致分块的图像，但是各色块中不可避免会出现一些颜色和周围像素差异较大的像素点，导致一个色块中像素的色彩不够均匀。因此，可以针对色彩量化处理后的图像中的部分或者全部像素，确定每个像素的邻近像素中像素值变化程度较小的多个目标像素，基于目标像素的色彩对该像素的色彩进行校正，使得该像素的色彩和目标像素的色彩一致或基本一致，具体的，可以控制每个像素的色彩和目标像素的色彩的差异小于预设阈值，预设阈值可以根据实际情况确定，如希望各色块的颜色尽量均匀，则预设阈值可以设置的小一些。针对每个像素点，都重复上述步骤，即可以得到包含多个色块的目标图像。其中，目标像素为位于每个像素的邻近像素中像素值变化程度小于第一预设程度的多个像素。其中，邻近像素可以是位于每个像素周围的多个像素，比如，可以以每个像素P0为中心，按照由近及远的顺序分别判定该像素P0的周围像素P1的像素值变化程度，如果周围像素P1的像素值变化程度较小，说明该周围像素P1的色彩与像素P0所在色块的色彩较为接近，两者可以属于同一色块，因而周围像素P1可以筛选出来作为该像素P0的目标像素。反之，则认为两者属于不同的色块。此外，第一预设程度的大小决定了色块的大小、数量、密集程度等属性信息，该属性信息可用于描述色块的显示效果。如果希望色块大一些，数量多一些，则可以将第一预设程度设置得大一些，反之，则将预设程度设置的小一些。通过设置目标像素的筛选条件，可以控制生成的色块的属性信息，可控性较好。

通过本公开实施例提供的图像处理方法，可以生成包含色块的图像，且图像中色块过渡自然，并且可以通过控制色彩量化处理过程中量化相关的参数，以及目标像素的筛选条件来控制生成色块的大小、数量等属性信息，得到符合不同场景需求的包含色块的图像。

在确定每个像素的目标像素时，可以基于每个像素的邻近像素的像素值变化程度确定，其中，像素值变化程度体现了该邻近像素与附近的像素的差异。像素值的变化程度可以通过多种方式表征，在一些实施例中，每个像素的邻近像素的像素值的变化程度可以通过各邻近像素的梯度表征，梯度越大，即表示该邻近像素与附近的像素的色彩差异较大，由于选取目标像素是希望将与位于每个像素附近，且色彩较为接近的一部分像素选出来，作为一个色块，因而，可以将梯度小于预设梯度阈值的邻近像素作为每个像素的目标像素。此外，由于预设梯度阈值的大小会影响到最终生成的色块的属性信息，因而，可以基于想要生成的目标图像中色块的属性信息设置预设梯度阈值。比如，如果想要生成的色块大一些，则可以将梯度阈值设置的大一些，反之，则小一些。针对不同的场景，可能对色块的属性信息具有不同的需求，因而可以基于色块的属性信息调整梯度阈值。

在一些实施例中，属性信息可以是色块的大小、色块的数量以及色块的密集程度中的一种或者多种。

由于相比于RGB(红Red、绿Green、蓝Blue)图像，LAB(其中，L代表明度，A表示从绿色到红色的分量，B表示从蓝色到黄色的分量)域图像可以更好的反映像素点的亮度关系，因而，如果在LAB域对图像进行处理，生成包含色块的目标图像，生成的色块效果更好。所以，在一些实施例中，待处理图像可以是LAB域图像。比如，对于获取的RGB图像，可以先转换成LAB域图像，然后在利用LAB域图像生成包含色块的目标图像，针对LAB域图像，可以保持A、B通道的数值不变，仅对L通道的数值进行色彩量化处理，然后再基于每个像素的目标像素的L通道数值对该像素的L通道数值进行校正，得到包含多个色块的目标图像。

为了让图像可以呈现不同的风格，目前，很多图像处理软件都可以提供风格转换的功能，比如，将一帧人脸图像转换成漫画风格的人脸图像、素描风格的人脸图像、或卡通风格的人脸图像。对于有些风格的图像，如果图像背景中包含色块，可能会更加贴近该种风格，提升整体的显示效果。比如，针对漫画风格的图像，如果图像背景中包含色块，则可以使图像整体效果更加逼真，更贴近漫画风格。在一些实施例中，在对图像进行风格转换时，针对图像中的某些关键对象，比如，前景对象，可以截取出来，利用精度更高的神经网络或算法输出这些关键对象风格转换后的图像，而对于图像背景或者更不重要的部分，则可以用一般的算法来进行风格的转换(避免利用神经网络或高精度算法对整张图像进行处理，消耗计算资源多，在性能一般的终端上无法部署)，从而既可以保证风格转换的精度，又可以提高处理效率。比如，待处理图像中可以包括目标对象，目标对象可以是人脸、动物的头部、某个物体等，在进行风格转换时，可以从待处理图像中截取该目标对象对应的图像区域，并对所截取的图像区域进行风格转换，得到风格转换后的目标图像区域，比如，可以将目标对象转换为卡通风格、漫画风格、素描风格等各类风格。然后可以将待处理图像按照上述方法进行处理，得到包含多个色块的目标图像，然后可以利用风格换换后的目标图像区域替换目标图像中该目标对象对应的图像区域，即可以得到目标对象进行了风格转换且背景中又包含色块的图像。

举个例子，假设待处理图像为一帧人脸图像，因而可以先从待处理图像中截取人脸区域，利用精度较高的神经网络对人脸区域进行风格转换，将人脸转换成漫画人脸，同时，可以对待处理图像进行色彩量化及校正处理，得到包含色块的目标图像，然后用漫画人脸替换目标图像中的人脸，即可以得到漫画人脸图像，同时背景中的色块可以使得图像的整体效果更贴近漫画风格。

由于针对不同风格的图像，图像背景中的色块的属性信息可以不一样，比如，不同风格的图像中，色块的大小、密集程度、数量可以设置得不一样，使得色块与图像风格更贴近。所以，在一些实施例中，可以根据目标对象进行风格转换后得到的目标图像区域的风格确定目标图像中色块的大小、密集程度等属性信息，然后基于色块的属性信息设置选取各像素的目标像素时参考的梯度阈值。

由于在对待处理图像进行风格转换时，目标对象对应的图像区域以及背景区域是分两路进行处理，因而，通常会出现待处理图像中原本和目标对象的色彩一致的部分背景区域，在经过处理后，其色彩与经过风格转换后的目标对象的色彩不一样，从而导致当用目标图像区域替换目标图像中的目标对象时，出现颜色分层的现象，严重影响图像的显示效果。比如，如图3所示，将人脸图像中的人脸区域截取出来，用神经网络转换成漫画人脸后，再覆盖到利用滤镜处理后的背景图像上，会出现人脸的肤色和脖子的肤色明显不一致的问题。为了解决该问题，在一些实施例中，在对待处理图像进行色彩量化处理，以生成色块之前，可以先从待处理图像中确定色彩与目标对象的色彩接近的图像区域，以下称为第一图像区域，比如，目标对象是人脸，第一图像区域可以是和人体肤色接近的区域，比如，脖子、手臂等区域。然后可以对第一图像区域的色彩进行调整，使得调整后的该第一图像区域的色彩与目标图像区域中的目标对象的色彩一致。通过这种方法可以尽量减少因目标对象对应的图像区域和背景区域是采用两种方式进行风格转换，导致原本应该颜色一致的部位出现颜色分层的问题。其中，对第一图像区域的色彩进行调整可以是磨皮处理、美白处理、提升图像中暖色调占比等处理，具体可以基于实际情况设置。

在一些实施例中，在对第一图像区域的色彩进行调整的过程中，为了避免对第一图像区域中的细节部位产生影响，比如，在对人体皮肤进行磨皮、美白等处理过程中，可能会对皮肤与头发交界处产生影响，使得头发部分也变白，导致边界等细节部分消失，影响最终的展示效果。因而，可以针对第一图像区域的边缘像素和非边缘像素的色彩采用不同的调整幅度进行调整，尽量保留图像中的细节部分。比如，可以确定第一图像区域中的边缘像素和非边缘像素，边缘像素为像素值变化程度大于第二预设程度的像素，比如，可以是梯度大于预设梯度阈值的像素，反之，则为非边缘像素。然后可以利用第一调整幅度对第一图像区域中的边缘像素的色彩进行调整，利用第二调整幅度对第一图像区域中的非边缘像素的色彩进行调整，其中，第一调整幅度小于第二调整幅度。即对于非边缘像素，可以进行较大强度的处理，而对于边缘像素，则尽量进行强度较小、较柔和的处理，以保留图像中的边缘。

在一些实施例中，为了提升图像进行风格转换后的显示效果，在为图像生成色块之前，可以先对待处理图像进行去噪处理，以过滤掉图像中的噪声。在去噪的过程中，可以采用一些保留边缘的去噪方式，以尽量保留图像的细节。比如，可以采用双边滤波的去噪方式。

在一些实施例中，在利用风格转换后的目标图像区域替换目标图像中的目标对象对应的图像区域之前，可以先调整目标图像的对比度、饱和度中的一种或多种，使得目标图像的整体色调与风格转换后的目标图像的色调更接近。

在一些实施例中，为了避免颜色校正处理、去噪处理、生成色块等处理过程中，会影响图像中的边缘部分，导致细节丢失。还可以在对待处理图像进行各项处理之前，先对待处理图像进行边缘提取，得到展示待处理图像边缘细节的边缘图像，然后再对待处理图像进行颜色校正处理、去噪处理、生成色块等一项或多项处理，得到目标图像，最后再将边缘图像融合到目标图像中，得到风格与目标图像区域一致且充分保留边缘细节的背景图像，然后再将风格转换后的目标图像区域替换该背景图像中目标对象对应的图像区域。

在对图像进行风格转换的过程中，除了要考虑图像的显示效果，还需要考虑处理效率，即尽可能降低处理过程中的耗时，提升用户体验。在一些实施例中，为了提升处理速度，可以采用GPU对图像进行各项处理，同时可以结合图像渲染引擎(OpenGL等)，来提高处理速度。

在一些实施例中，在调整目标图像的对比度、饱和度时，也可以先基于不同的风格预先设置多个色彩映射表，色彩映射表用于表征图像中像素点的像素值在饱和度或者对比度调整前后的对应关系，然后可以基于目标图像区域的风格从该预先设置的多个色彩映射表中选取和该风格匹配的目标色彩映射表，基于该目标色彩映射表调整目标图像的对比度和/或饱和度。通过预先设置色彩映射表，可以加快在对比度、饱和度调整过程中的处理速度。

在一些实施例中，在对待处理图像进行处理之前，可以先对待处理图像进行下采样处理，降低图像的分辨率，然后再进行后续的一系列处理，以减小需要处理的数据量，提高处理速度，在处理完后，即可以再对处理完的图像进行上采样处理，还原图像原有的分辨率。

为了进一步解释本公开实施例提供的图像处理方法，以下结合一个具体的实施例加以解释。

目前，各种图像处理软件都可以提供滤镜功能，以将图像转换成不同风格的图像。比如，以人脸图像为例，可以转换成漫画风格、卡通风格、素描风格的人脸。在对图像进行风格转换的过程中，希望可以得到效果较好的图像，且尽量降低处理耗时。如图4所示，本实施例以生成漫画风格的人脸图像为例，介绍一种可以提升图像显示效果，且加快处理速度的图像风格转换方法。整个图像处理过程可以参考图，具体包括以下步骤：

(1)从人脸图像原图A中截取人脸区域，利用预先训练的神经网络对人脸区域进行风格转换，得到漫画人脸图像B。而对于除人脸以外的背景图像部分，则采用以下步骤进行风格转换处理。

(2)对人脸原图A进行边缘提取，得到边缘图像C。

由于对人脸原图A进行各项处理的过程中，可能会导致图像的边缘受到影响，图像细节丢失。因此，为了尽可能保留图像细节，可以先对人脸原图A进行边缘提取，得到边缘图像C，再对人脸原图A进行各项处理后，再将边缘图像C融合到处理后的图像中，以尽量保证边缘。

(3)对人脸原图A进行颜色校正处理，得到图像D。

颜色校正处理过程中，可以提取人脸原图A中与皮肤颜色接近的区域(比如，脖子、手臂等部位)，对这些区域进行颜色校正，比如，可以是美白处理、磨皮处理，使得这些区域的颜色校正后，与漫画人脸图像B中人脸的颜色一致。这样既可以避免将漫画人脸图像B中的漫画人脸替换背景图像中的人脸后，两者颜色差异太大，出现颜色断层。此外，在对人脸原图A进行颜色校正处理时，针对图像中的边缘像素和非边缘像素可以采用不同的处理强度，比如，针对非边缘像素，可以采用处理强度可以大一些，而针对边缘像素，处理强度可以弱一些，以尽量避免颜色校正处理后，破坏图像中的边缘，使得图像细节丢失。

(3)对图像D进行去噪处理，得到图像E。

在去噪过程中，可以采用双边滤波的去噪方式，以尽量保留图像细节。

(4)对图像E进行处理，得到包含色块的图像F，使得图像风格更加贴近漫画风格。

可以先对图像E进行色彩量化处理，针对色彩量化处理后的图像中的各像素点，可以从该像素点的邻近像素点中确定梯度小于预设梯度阈值的目标像素点，然后利用目标像素点的像素值对该像素点的像素值进行修正，使得该像素点和目标像素点的色彩大体一致，形成一个色块。针对每个像素点都重复上述步骤，可以得到多个色块。其中，可以基于图像的风格确定要形成的色块的大小、数量、以及密集程度等属性信息，然后根据属性信息灵活设置上述梯度阈值，来确定各像素的目标像素点。

(5)对图像F再次进行去噪处理，去除生成色块过程中产生的噪声，得到图像G。

同理，去噪过程中，可以采用双边滤波的去噪方式，以尽量保留图像细节。

(6)调整图像G的对比度，得到图像H。

在调整图像G的对比度时，为了提高处理速度，可以预先设置色彩映射表，利用色彩映射表来调整图像G的对比度。

(7)调整图像H的饱和度，得到图像I。

在调整图像H的饱和度时，为了提高处理速度，可以预先设置色彩映射表，利用色彩映射表来调整图像H的饱和度。

(8)将边缘图像C与图像I融合，得到图像J。

通过将提取出来的边缘图像C融合到图像J中，可以尽量保留图像的细节。

(9)利用漫画人脸图像B替换到图像J中的人脸，得到整体风格转换后的图像K。

此外，为了提升处理速度，在对人脸原图A进行处理之前，可以先对人脸原图A进行下采样处理，以提高处理速度，在完成各项处理后，再对图像进行上采样处理，恢复原有的分辨率。另外，对背景图像部分进行处理可以采用GPU实现，以提高处理速度。

通过本实施例提供的方法，可以得到效果较好的漫画人脸，且整体的处理速度较快，耗时较低，可以满足用户即时处理的需求。

其中，不难理解，上述各实施例中的描述的方案在不存在冲突的情况，可以进行组合，本公开实施例中不一一例举。

相应的，本公开实施例还提供了一种图像处理装置，如图5所示，所述装置包括：

获取模块51，用于获取待处理图像；

色彩量化模块52，用于对所述待处理图像进行色彩量化处理；

校正模块53，用于针对色彩量化处理后的图像中的像素，基于目标像素的色彩对所述像素的色彩进行校正，得到包含多个色块的目标图像；其中，所述像素校正后的色彩与所述目标像素的色彩的差异小于预设阈值，所述目标像素为所述像素的邻近像素中像素值变化程度小于第一预设程度的多个像素。

在一些实施例中，所述像素值变化程度通过各像素的梯度表征，所述目标像素的梯度小于预设梯度阈值，所述预设梯度阈值基于所述目标图像中的色块的属性信息确定，所述属性信息用于描述所述色块的显示效果。

在一些实施例中，所述属性信息包括以下一种或多种：所述色块的大小、所述色块的数量、以及所述色块的密集程度。

在一些实施例中，所述待处理图像中包括目标对象，所述装置还用于：

从所述待处理图像中截取所述目标对象对应的图像区域，并对所截取的图像区域进行风格转换处理，得到风格转换后的目标图像区域；

在得到包含多个色块的目标图像之后，所述装置还用于：

利用所述目标图像区域替换所述目标图像中所述目标对象对应的图像区域。

在一些实施例中，所述目标图像中的色块的属性信息基于所述目标图像区域的风格确定。

在一些实施例中，在对待处理图像进行色彩量化处理之前，所述装置还用于：

从所述待处理图像中确定第一图像区域，所述第一图像区域的色彩与所述目标对象的色彩接近；

对所述第一图像区域的色彩进行调整，调整后的第一图像区域的色彩与所述目标图像区域中的目标对象的色彩一致；

所述色彩量化模块用于对待处理图像进行色彩量化处理，具体用于：

对包含所述调整后的第一图像区域的待处理图像进行色彩量化处理。

在一些实施例中，所述装置用于对所述第一图像区域的色彩进行调整时，具体用于：

确定所述第一图像区域中的边缘像素，所述边缘像素为像素值变化程度大于第二预设程度的像素；

利用第一调整幅度对所述第一图像区域中的边缘像素进行调整，利用第二调整幅度对所述第一图像区域中的非边缘像素进行调整，其中，所述第一调整幅度小于所述第二调整幅度。

在一些实施例中，在对待处理图像进行色彩量化处理之前，所述装置还用于：

对所述待处理图像进行去噪处理；

在利用所述目标图像区域替换所述目标图像中的所述目标对象对应的图像区域之前，所述装置还用于：

调整所述目标图像的对比度和/或饱和度。

在一些实施例中，所述装置用于调整所述目标图像的对比度和/或饱和度时，具体用于：

从预先设置的多个色彩映射表中选取与所述目标图像区域的风格匹配的目标色彩映射表，所述色彩映射表用于表征对比度和/或饱和度调整前后图像中像素点的像素值的对应关系；

基于所述目标色彩映射表调整所述目标图像的对比度和/或饱和度。

在一些实施例中，在利用所述目标图像区域替换所述目标图像中的所述目标对象对应的图像区域之前，所述装置还用于：

对待处理图像进行边缘提取，得到边缘图像；

将所述边缘图像融合到所述目标图像中，得到融合后的图像；

所述装置用于利用所述目标图像区域替换所述目标图像中的所述目标对象对应的图像区域时，具体用于：

利用所述目标图像区域替换所述融合后的图像中的所述目标对象对应的图像区域。

在一些实施例中，所述待处理图像为LAB域的图像，所述色彩量化模块用于对待处理图像进行色彩量化处理时，具体用于：

对所述LAB域图像的L通道的数值进行色彩量化处理。

其中，上述装置执行图像处理方法的具体步骤可以参考上述方法实施例中的描述，在此不再赘述。

进一步的，本公开实施例还提供一种设备，如图6所示，所述设备包括处理器61、存储器62、存储于所述存储器62可供所述处理器61执行的计算机指令，所述处理器61执行所述计算机指令时实现上述实施例中任一项所述的方法。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本公开实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本公开实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如，妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。

以上所述仅是本公开实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开实施例的保护范围。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像；

对所述待处理图像进行色彩量化处理；

针对色彩量化处理后的图像中的像素，基于目标像素的色彩对所述像素的色彩进行校正，得到包含多个色块的目标图像；其中，所述像素校正后的色彩与所述目标像素的色彩的差异小于预设阈值，所述目标像素为所述像素的邻近像素中像素值变化程度小于第一预设程度的多个像素。

2.根据权利要求1所述的方法，其特征在于，所述像素值变化程度通过各像素的梯度表征，所述目标像素的梯度小于预设梯度阈值，所述预设梯度阈值基于所述目标图像中的色块的属性信息确定，所述属性信息用于描述所述色块的显示效果。

3.根据权利要求2所述的方法，其特征在于，所述属性信息包括以下一种或多种：所述色块的大小、所述色块的数量、以及所述色块的密集程度。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述待处理图像中包括目标对象，所述方法还包括：

从所述待处理图像中截取所述目标对象对应的图像区域，并对所截取的图像区域进行风格转换处理，得到风格转换后的目标图像区域；

在得到包含多个色块的目标图像之后，所述方法还包括：

利用所述目标图像区域替换所述目标图像中所述目标对象对应的图像区域。

5.根据权利要求4所述的方法，其特征在于，所述目标图像中的色块的属性信息基于所述目标图像区域的风格确定。

6.根据权利要求4或5所述的方法，其特征在于，在对待处理图像进行色彩量化处理之前，所述方法还包括：

从所述待处理图像中确定第一图像区域，所述第一图像区域的色彩与所述目标对象的色彩接近；

对所述第一图像区域的色彩进行调整，调整后的第一图像区域的色彩与所述目标图像区域中的目标对象的色彩一致；

所述对待处理图像进行色彩量化处理，包括：

对包含所述调整后的第一图像区域的待处理图像进行色彩量化处理。

7.根据权利要求6所述的方法，其特征在于，所述对所述第一图像区域的色彩进行调整，包括：

确定所述第一图像区域中的边缘像素，所述边缘像素为像素值变化程度大于第二预设程度的像素；

利用第一调整幅度对所述第一图像区域中的边缘像素进行调整，利用第二调整幅度对所述第一图像区域中的非边缘像素进行调整，其中，所述第一调整幅度小于所述第二调整幅度。

8.根据权利要求4-7任一项所述的方法，其特征在于，在对待处理图像进行色彩量化处理之前，所述方法还包括：

对所述待处理图像进行去噪处理；

在利用所述目标图像区域替换所述目标图像中的所述目标对象对应的图像区域之前，所述方法还包括：

调整所述目标图像的对比度和/或饱和度。

9.根据权利要求8所述的方法，其特征在于，所述调整所述目标图像的对比度和/或饱和度，包括：

从预先设置的多个色彩映射表中选取与所述目标图像区域的风格匹配的目标色彩映射表，所述色彩映射表用于表征对比度和/或饱和度调整前后图像中像素点的像素值的对应关系；

基于所述目标色彩映射表调整所述目标图像的对比度和/或饱和度。

10.根据权利要求4-9任一项所述的方法，其特征在于，在利用所述目标图像区域替换所述目标图像中的所述目标对象对应的图像区域之前，所述方法还包括：

对待处理图像进行边缘提取，得到边缘图像；

将所述边缘图像融合到所述目标图像中，得到融合后的图像；

所述利用所述目标图像区域替换所述目标图像中的所述目标对象对应的图像区域，包括：

利用所述目标图像区域替换所述融合后的图像中的所述目标对象对应的图像区域。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述待处理图像为LAB域的图像，对待处理图像进行色彩量化处理，包括：

对所述LAB域图像的L通道的数值进行色彩量化处理。

12.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取待处理图像；

色彩量化模块，用于对所述待处理图像进行色彩量化处理；

校正模块，用于针对色彩量化处理后的图像中的像素，基于目标像素的色彩对所述像素的色彩进行校正，得到包含多个色块的目标图像；其中，所述像素校正后的色彩与所述目标像素的色彩的差异小于预设阈值，所述目标像素为所述像素的邻近像素中像素值变化程度小于第一预设程度的多个像素。

13.一种电子设备，其特征在于，所述电子设备包括处理器、存储器、存储于所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时实现如权利要求1-11任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上包括可供计算机执行的计算机指令，所述计算机执行所述计算机指令时实现如权利要求1-11任一项所述的方法。

Images