CN111815659A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域，通过对原始图像进行滤波处理，得到第一图像，对第一图像进行边缘提取处理得到第二图像，以及对第一图像进行颜色量化处理得到第三图像，将第二图像和第三图像叠加得到第四图像，最后计算第四图像的平滑结构张量，并对第四图像进行线积分卷积处理，得到目标图像，由于先对原始图像进行滤波处理，从而降低原始图像的噪声，进而改善了第四图像的平滑结构张量的计算结果，提高了漫画特效处理后的图像的整体效果，另外，线积分卷积是对第四图像进行的，因此，可以有效的去除因颜色量化造成的边缘锯齿，从而提高图像处理的效果。

Description

图像处理方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

目前，在短视频以及视频直播领域中，漫画特效处理方式非常流行，它能把视频中画面实时的转化成漫画效果，因此，高效的漫画特效算法成了国内外图像视频领域专家争相研究的对象。

现有技术中，在对视频中的图像进行漫画特效处理时，先对原始图像进行平滑结构张量的计算，然后，对计算完平滑结构张量的图像进行滤波处理，再对滤波处理后的图像进行图像边缘提取，将提取边缘后的图像与对原始图像进行平滑结构张量计算后的结果进行线积分卷积，另外，还需对滤波处理后的图像进行颜色量化处理，将颜色量化处理后的图像与线积分卷积后的图像进行叠加处理得到目标图像。

但是，目前这种漫画特效处理方式，是先计算原始图像的平滑结构张量，再进行滤波处理，但如果原始图像有噪声的话，则该噪声会影响平滑结构张量的计算结果，进而影响到漫画特效处理后的图像质量，另外，现有技术是先将提取边缘后的图像与对原始图像进行平滑结构张量计算的结果进行线积分卷积，然后再和颜色量化处理后的图像进行叠加，这样得到的目标图像中会存在因颜色量化造成的边缘锯齿，影响图像处理的效果。

发明内容

本发明提供一种图像处理方法、装置、电子设备及计算机可读存储介质，以解决现有的由于原始图像中存在噪声影响平滑结构张量的计算结果，以及得到的目标图像中存在因颜色量化造成的边缘锯齿，从而影响图像处理效果的问题。

为了解决上述问题，本发明公开了一种图像处理方法，所述方法包括：

对原始图像进行滤波处理，得到第一图像；

提取所述第一图像的图像边缘，得到第二图像；

对所述第一图像进行颜色量化处理，得到第三图像；

将所述第二图像和所述第三图像进行叠加，得到第四图像；

计算所述第四图像的平滑结构张量；

根据所述平滑结构张量对所述第四图像进行线积分卷积，得到目标图像。

可选地，所述对原始图像进行滤波处理，得到第一图像的步骤，包括：

对所述原始图像进行一次双边滤波处理，得到第一图像。

可选地，所述对所述原始图像进行一次双边滤波处理，得到第一图像的步骤，包括：

根据所述原始图像中的每个第一目标像素在第一方向上邻近的N个像素，依次对每个所述第一目标像素进行一次滤波处理，得到第一中间图像；所述第一目标像素为所述原始图像中的任意一个像素；

根据所述第一中间图像中的每个第二目标像素在第二方向上邻近的N个像素，依次对每个所述第二目标像素进行一次滤波处理，得到第一图像；所述第二目标像素为所述第一中间图像中的任意一个像素；

其中，N为大于或等于1的正整数；所述第一方向为水平方向，所述第二方向为竖直方向，或者，所述第一方向为竖直方向，所述第二方向为水平方向。

可选地，在所述提取所述第一图像的图像边缘，得到第二图像的步骤之前，还包括：

对所述第一图像进行压缩处理，使得压缩后的所述第一图像的长度和宽度均小于压缩前所述第一图像的长度和宽度。

可选地，所述提取所述第一图像的图像边缘，得到第二图像的步骤，包括：

采用扩展高斯差分算法提取所述第一图像的边缘，得到所述第二图像；

其中，所述扩展高斯差分算法为：

其中，u＝G_σ(n)-τ*G_kσ(n)，u为变形后的高斯差分结果，G_σ(n)为高斯核为σ的高斯滤波结果，G_kσ(n)为高斯核为kσ的高斯滤波结果，k为常数，τ是用来调整高斯差分结果的截止效果强度的常数，n为所述第一图像中像素的灰度值；T_ε,φ,u为扩展高斯差分结果，其用于表征所述第一图像中像素的边缘程度，ε为阈值，φ为边缘接收系数。

可选地，所述对所述第一图像进行颜色量化处理，得到第三图像的步骤，包括：

采用颜色量化算法依次对所述第一图像中的每个像素进行颜色量化处理，得到所述第三图像；

其中，所述颜色量化算法如下：

其中，C为所述第一图像中像素的像素值，C_O为所述第三图像中像素的像素值，d为量化系数，

为对

的结果进行向下取整。

可选地，所述将所述第二图像和所述第三图像叠加，得到第四图像的步骤，包括：

将所述第二图像和所述第三图像按照图像叠加算法进行叠加，得到所述第四图像；

其中，所述图像叠加算法如下：

C_rgb＝F_rgb*F_a+(1-F_a)*B_rgb*B_a，

C_a＝F_a+(1-F_a)*B_a

其中，F_rgb为所述第二图像中像素的RGB值，F_a为所述第二图像中像素的alpha值，B_rgb为所述第三图像中像素的RGB值，B_a为所述第三图像中像素的alpha值，C_rgb为所述第四图像中像素的RGB值，C_a为所述第四图像中像素的alpha值。

为了解决上述问题，本发明还公开了一种图像处理装置，所述装置包括：

滤波处理模块，用于对原始图像进行滤波处理，得到第一图像；

图像边缘提取模块，用于提取所述第一图像的图像边缘，得到第二图像；

颜色量化处理模块，用于对所述第一图像进行颜色量化处理，得到第三图像；

图像叠加模块，用于将所述第二图像和所述第三图像进行叠加，得到第四图像；

平滑结构张量计算模块，用于计算所述第四图像的平滑结构张量；

线积分卷积模块，用于根据所述平滑结构张量对所述第四图像进行线积分卷积，得到目标图像。

可选地，所述滤波处理模块包括：

滤波处理子模块，用于对所述原始图像进行一次双边滤波处理，得到第一图像。可选地，所述滤波处理子模块包括：

第一滤波处理单元，用于根据所述原始图像中的每个第一目标像素在第一方向上邻近的N个像素，依次对每个所述第一目标像素进行一次滤波处理，得到第一中间图像；所述第一目标像素为所述原始图像中的任意一个像素；

第二滤波处理单元，用于根据所述第一中间图像中的每个第二目标像素在第二方向上邻近的N个像素，依次对每个所述第二目标像素进行一次滤波处理，得到第一图像；所述第二目标像素为所述第一中间图像中的任意一个像素；

其中，N为大于或等于1的正整数；所述第一方向为水平方向，所述第二方向为竖直方向，或者，所述第一方向为竖直方向，所述第二方向为水平方向。

可选地，所述图像处理装置还包括：

图像压缩模块，用于对所述第一图像进行压缩处理，使得压缩后的所述第一图像的长度和宽度均小于压缩前所述第一图像的长度和宽度。

可选地，所述图像边缘提取模块包括：

图像边缘提取子模块，用于采用扩展高斯差分算法提取所述第一图像的边缘，得到所述第二图像；

其中，所述扩展高斯差分算法为：

其中，u＝G_σ(n)-τ*G_kσ(n)，u为变形后的高斯差分结果，G_σ(n)为高斯核为σ的高斯滤波结果，G_kσ(n)为高斯核为kσ的高斯滤波结果，k为常数，τ是用来调整高斯差分结果的截止效果强度的常数，n为所述第一图像中像素的灰度值；T_ε,φ,u为扩展高斯差分结果，其用于表征所述第一图像中像素的边缘程度，ε为阈值，φ为边缘接收系数。

可选地，所述颜色量化处理模块包括：

颜色量化处理子模块，用于采用颜色量化算法依次对所述第一图像中的每个像素进行颜色量化处理，得到所述第三图像；

其中，所述颜色量化算法如下：

其中，C为所述第一图像中像素的像素值，C_O为所述第三图像中的像素的像素值，d为量化系数，

为对

的结果进行向下取整。

可选地，所述图像叠加模块包括：

图像叠加子模块，用于将所述第二图像和所述第三图像按照图像叠加算法进行叠加，得到所述第四图像；

其中，所述图像叠加算法如下：

C_rgb＝F_rgb*F_a+(1-F_a)*B_rgb*B_a，

C_a＝F_a+(1-F_a)*B_a

其中，F_rgb为所述第二图像中像素的RGB值，F_a为所述第二图像中像素的alpha值，B_rgb为所述第三图像中像素的RGB值，B_a为所述第三图像中像素的alpha值，C_rgb为所述第四图像中像素的RGB值，C_a为所述第四图像中像素的alpha值。

为了解决上述问题，本发明还公开了一种电子设备，包括处理器、存储器及存储在存在所述储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述图像处理方法的步骤。

为了解决上述问题，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像处理方法的步骤。

与现有技术相比，本发明包括以下优点：

在本发明实施例中，通过对原始图像进行滤波处理，得到第一图像；提取第一图像的图像边缘，得到第二图像；对第一图像进行颜色量化处理，得到第三图像；将第二图像和第三图像进行叠加，得到第四图像；计算第四图像的平滑结构张量；根据平滑结构张量对第四图像进行线积分卷积，得到目标图像。通过在图像处理过程中先对原始图像进行滤波处理，得到第一图像，然后，再对第一图像进行后续处理，滤波处理可以降低原始图像的噪声，进而可以改善后续第二图像和第三图像叠加后的第四图像的平滑结构张量的计算结果，从而提高漫画特效处理后的图像的整体效果，另外，线积分卷积是对图像边缘提取后的第二图像和颜色量化后的第三图像叠加后的第四图像进行的，因此，可以有效的去除因颜色量化造成的边缘锯齿，从而提高图像处理的效果。

附图说明

图1示出了本发明实施例一提供的一种图像处理方法的流程图；

图2示出了本发明实施例二提供的一种图像处理方法的流程图；

图3示出了本发明实施例提供的一种图像处理方法中的原始图像；

图4示出了本发明实施例提供的一种图像处理方法中的第二图像；

图5示出了本发明实施例提供的一种图像处理方法中的第三图像；

图6示出了本发明实施例提供的一种图像处理方法中的第四图像；

图7示出了本发明实施例提供的一种图像处理方法中的目标图像；

图8示出了本发明实施例提供的一种图像处理装置的结构框图；

图9示出了本发明实施例提供的另一种图像处理装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参照图1，示出了本发明实施例一提供的一种图像处理方法的流程图，具体可以包括以下步骤：

步骤101，对原始图像进行滤波处理，得到第一图像。

在本发明实施例中，首先获取原始图像，该原始图像可以通过移动终端的摄像头采集的图像，也可以是存储在移动终端中的任一图像，或者是从网络上下载的任一图像，获取原始图像后，对原始图像进行滤波处理，通过滤波处理，可以减少原始图像中的噪声，从而可以改善后续图像处理的效果。

步骤102，提取所述第一图像的图像边缘，得到第二图像。

在本发明实施例中，在获取到第一图像后，提取第一图像的图像边缘，将提取到的图像边缘作为第二图像，该第二图像用于为后续图像混合得到目标图像提供边缘信息。

步骤103，对所述第一图像进行颜色量化处理，得到第三图像。

在本发明实施例中，在获取到第一图像后，需要对第一图像进行颜色量化处理，即将第一图像中的相似颜色合并为同一种颜色，以减少第一图像中的颜色数量，从而也有利于提高后续图像处理的效率。

步骤104，将所述第二图像和所述第三图像进行叠加，得到第四图像。

在本发明实施例中，当对第一图像进行边缘提取，得到第二图像，以及对第一图像进行颜色量化得到第三图像后，将第二图像和第三图像叠加可得到第四图像，从而使第四图像中包含了第二图像中的边缘信息和第三图像中的颜色量化信息。

步骤105，计算所述第四图像的平滑结构张量。

在本发明实施例中，将第二图像和第三图像叠加得到第四图像后，计算第四图像中每个像素的平滑结构张量，在第四图像中选取预定像素点f，预定像素点的梯度结构张量的计算公式如下：

其中，

为预定像素点沿x方向上的R，G，B的梯度，

为预定像素点沿y方向上的R，G，B的梯度，J为预定像素点的梯度向量，J^T为预定像素点的梯度向量的转置，(g_ij)为预定像素点的梯度结构张量，计算完预定像素点的梯度结构张量后，对预定像素点的梯度结构张量进行平滑处理，得到预定像素点的平滑结构张量，即预定像素点的矢量方向，预定像素点为第四图像中的任意一像素点，平滑处理可以采用任意一种平滑处理方法。

在本发明实施例中，将第二图像和第三图像叠加得到第四图像后，计算第四图像中每个像素的平滑结构张量，该平滑结构张量代表了第四图像中每个像素的矢量方向，即通过平滑结构张量的计算可以得到第四图像中每个像素的矢量方向，该平滑结构张量的计算结果用于后续对第四图像进行线积分卷积时提供像素点的矢量方向。

步骤106，根据所述平滑结构张量对所述第四图像进行线积分卷积，得到目标图像。

在本发明实施例中，计算完第四图像的平滑结构张量后，根据该平滑结构张量对第四图像进行线积分卷积，得到目标图像，即把一幅矢量场数据用图像的方式可视化出来。在得到的第四图像的平滑结构张量中，对于其中某一个固定位置的像素点，只有该像素点的矢量方向，要把该具有矢量方向的像素点可视化显示出来，采用线积分卷积在第四图像中沿着平滑结构张量中当前像素点的矢量方向前进一定的距离，得到新的坐标位置，记录下这个位置在第四图像中的像素值，之后这个新位置也有它对应的矢量方向，沿着这个方向继续前进，并执行记录对应的像素值，不同位置的点构成了一条曲线，这条曲线上不同位置的点具有不同的权重值，将该权重值与每个位置对应的第四图像中的像素值做加权平均，从而得到可视化的像素值，该像素值用于将同一矢量方向上的断断续续的边连成一条实体边。

在进行线积分卷积时，需根据以下算法确定线积分卷积的矢量方向，

其中，

λ₁为(1)式预定像素点的梯度结构张量(g_ij)的特征值的最大值，λ₂为(1)式预定像素点的梯度结构张量(g_ij)的特征值的最小值(λ₂不参与线积分卷积计算)，v₁为切线方向，用于在进行线积分卷积时提供矢量方向。

在本发明实施例中，对于第四图像中的每个像素点，沿其矢量方向进行积分，这样第四图像中在同一矢量方向上的断断续续的边就会连成一条实体边。同时，由于第四图像是由边缘提取后的图像和颜色量化后的图像叠加后生成的，即对第四图像进行线积分卷积的步骤是在对第一图像进行颜色量化处理后进行的，因此，线积分卷积可以有效去除因颜色量化处理造成的目标图像出现边缘锯齿的现象。

此外，本发明实施例的图像处理方案是基于OpenGL(Open Graphics Library，开放图形库)实现的，在OpenGL下进行图像处理时，可以同时并行处理多个像素，与现有的通过CPU(Central Processing Unit，中央处理器)实现图像处理方法相比，图像处理效率得到很大提升。

在本发明实施例中，通过在图像处理过程中先对原始图像进行滤波处理，得到第一图像，然后，再对第一图像进行后续处理，滤波处理可以降低原始图像的噪声，进而可以改善后续第二图像和第三图像叠加后的第四图像的平滑结构张量的计算结果，从而提高漫画特效处理后的图像的整体效果，另外，线积分卷积是对图像边缘提取后的第二图像和颜色量化后的第三图像叠加后的第四图像进行的，因此，可以有效的去除因颜色量化造成的边缘锯齿，从而提高图像处理的效果。

实施例二

参照图2，示出了本发明实施例二提供的一种图像处理方法的流程图，具体可以包括以下步骤：

步骤201，对原始图像进行滤波处理，得到第一图像。

在本发明实施例中，步骤201具体可以为：对所述原始图像进行一次双边滤波处理，得到第一图像。

在本发明实施例中，先获取原始图像，如图3所示，然后，只需要对原始图像进行一次双边滤波处理，即可得到第一图像，现有技术中对计算完平滑结构张量的图片需要经过多次双边滤波，因此，与现有技术相比，本发明实施例能够很大程度上提升图像处理的效率。

一种具体的实施方式，根据所述原始图像中的每个第一目标像素在第一方向上邻近的N个像素，依次对每个所述第一目标像素进行一次滤波处理，得到第一中间图像；所述第一目标像素为所述原始图像中的任意一个像素；根据所述第一中间图像中的每个第二目标像素在第二方向上邻近的N个像素，依次对每个所述第二目标像素进行一次滤波处理，得到第一图像；所述第二目标像素为所述第一中间图像中的任意一个像素；其中，N为大于或等于1的正整数；所述第一方向为水平方向，所述第二方向为竖直方向，或者，所述第一方向为竖直方向，所述第二方向为水平方向。

在本发明实施例中，从原始图像中选取第一目标像素，沿第一方向上，在第一目标像素的两侧共选取N个临近第一目标像素的像素，根据选取的N个像素对第一目标像素进行一次双边滤波，第一目标像素为原始图像中的任意一个像素，根据上述对第一目标像素进行滤波处理的步骤对原始图像中的每个像素进行滤波处理，得到第一中间图像。

在得到第一中间图像后，从第一中间图像中选取第二目标像素，沿第二方向上，在第二目标像素的两侧共选取N个临近第二目标像素的像素，根据选取的N个像素对第二目标像素进行一次双边滤波，第二目标像素为第一中间图像中的任意一个像素，根据上述对第二目标像素进行滤波处理的步骤对第一中间图像中的每个像素进行滤波处理，得到第一图像。

其中，N为大于或等于1的正整数；第一方向为水平方向，第二方向为竖直方向，或者，第一方向为竖直方向，第二方向为水平方向。

其中，双边滤波算法如下：

以对原始图像进行滤波处理，得到第一中间图像为例，对公式(3)进行说明，其中，I^filtered为第一中间图像中的每个像素的RGBA的值，W_p为原始图像中临近第一目标像素的N个像素的权重值的和，m_i为该N个像素中第i个像素的坐标，I(m_i)为该N个像素中第i个像素的RGBA的值，m为原始图像中第一目标像素的坐标，I(m)为第一目标像素的RGBA的值，f_r为高斯核为r的高斯函数，g_s高斯核为s的高斯函数。

另一种具体的实施方式，在原始图像中选取第一目标像素，以第一目标像素为中心建立预设区域，选取预设区域内除第一目标像素以外的所有像素对第一目标像素进行一次双边滤波处理，双边滤波处理的算法如公式(3)，该预设区域可以为正方形或圆形等，第一目标像素为原始图像中的任意一个像素，根据上述对第一目标像素进行滤波处理的步骤对原始图像中的每个像素进行滤波处理，得到第一图像。

在本发明实施例中，在对原始图像进行滤波处理得到第一图像的过程中，先依次对原始图像中的第一目标像素沿第一方向进行一次滤波处理，得到第一中间图像，再依次对第一中间图像中的第二目标像素沿第二方向上进行一次滤波处理，得到第一图像，上述对原始图像进行滤波处理的过程不需要选取第一目标像素周围预设区域内的所有像素，并根据选取的第一目标像素周围预设区域内的所有像素对第一目标像素进行滤波处理，因此，提高了滤波处理的效率。

步骤202，对所述第一图像进行压缩处理，使得压缩后的所述第一图像的长度和宽度均小于压缩前所述第一图像的长度和宽度。

在本发明实施例中，通过对原始图像进行滤波处理得到第一图像后，需要对第一图像进行压缩处理，使压缩后的第一图像的长度和宽度均小于压缩前的第一图像的长度和宽度，图像压缩可采用任一图像压缩方法进行处理，本发明对此不做限定。

优选的，将第一图像的长度压缩为原来的1/2，将第一图像的宽度压缩为原来的1/2，从而使得压缩后的图像的尺寸为压缩前的图像的尺寸的1/4，从第一目标图像生成之后到得到目标图像之前，图像处理中各步骤中的图像的尺寸均为压缩后的图像的尺寸，从而提高了后续图像处理的效率。

步骤203，提取所述第一图像的图像边缘，得到第二图像。

在本发明实施例中，步骤203具体包括：采用扩展高斯差分算法提取所述第一图像的边缘，得到所述第二图像；

其中，所述扩展高斯差分算法为：

其中，u＝G_σ(n)-τ*G_kσ(n)，u是变形后的高斯差分结果，G_σ(n)为高斯核为σ的高斯滤波结果，G_kσ(n)为高斯核为kσ的高斯滤波结果，k为常数，τ是用来调整高斯差分结果的截止效果强度的常数，n为第一图像中像素的灰度值；T_ε,φ,u为扩展高斯差分结果，其用于表征所述第一图像中像素的边缘程度，ε为阈值，φ为边缘接收系数。

在本发明实施例中，通过先获取第一图像中每个像素的灰度值n，将该灰度值代入u＝G_σ(n)-τ·G_kσ(n)，得到变形后的高斯差分结果u，再将变形后的高斯差分结果u代入公式(4)中得到扩展高斯差分结果T_ε,φ,u，根据T_ε,φ,u确定该像素是否为第一图像中图像的边缘像素，例如，当T_ε,φ,u为1时，确定该像素是最强边缘像素，当T_ε,φ,u为0时，确定该像素不是边缘像素。

在本发明实施例中，采用扩展高斯差分算法提取第一图像的边缘，得到第二图像，扩展高斯差分算法与传统的高斯差分算法相比引入了新的常数τ，通过调整τ值可以得到更多的风格的第二图像，当τ＝1时，则此时为一个普通的高斯差分，扩展高斯差分算法可调节的参数更多，能满足用户的更多需求。通过扩展高斯差分算法提取第一图像的边缘，得到第二图像，如图4所示，该图像的每个像素的RGBA各通道(R：red，红色通道；G：green，绿色通道；B：blue，蓝色通道；A：alpha，灰度通道)的值相等，比如RGBA各通道的值为(0.5,0.5,0.5,0.5)，扩展高斯差分算法与传统的Sobel，Prewitt，Canny算法相比，提取的图像边缘更加连续。

步骤204，对所述第一图像进行颜色量化处理，得到第三图像。

在本发明实施例中，步骤204具体包括：采用颜色量化算法依次对所述第一图像中的每个像素进行颜色量化处理，得到所述第三图像；其中，所述颜色量化算法如下：

其中，C为所述第一图像中像素的像素值，C_O为所述第三图像中像素的像素值，d为量化系数，

为对

的结果进行向下取整，即对第一图像中的像素值C与量化系数d的比值结果取整数部分，例如，C取169，d取8，

为21.125，则

为21。

在本发明实施例中，获取第一图像中每个像素的像素值C，将第一图像中每个像素的像素值C代入公式(5)中，对应得到颜色量化后的第三图像中各像素的像素值C_O，如图5所示为对第一图像进行颜色量化处理后得到的第三图像，通过对第一图像进行颜色量化处理，可以减少第一图像中的颜色数量，有利于图像处理效率的提高，例如，当d＝8时，可以把原始RGB图像各通道256种颜色量化成256/8＝32种。

步骤205，将所述第二图像和所述第三图像进行叠加，得到第四图像。

在本发明实施例中，步骤205具体包括：将所述第二图像和所述第三图像按照图像叠加算法进行叠加，得到所述第四图像；其中，所述图像叠加算法如下：

C_rgb＝F_rgb*F_a+(1-F_a)*B_rgb*B_a (6)

C_a＝F_a+(1-F_a)*B_a (7)

其中，F_rgb为所述第二图像中像素的RGB值，F_a为所述第二图像中像素的alpha值，B_rgb为所述第三图像中像素的RGB值，B_a为所述第三图像中像素的alpha值，C_rgb为所述第四图像中像素的RGB值，C_a为所述第四图像中像素的alpha值。

在本发明实施例中，在得到第二图像和第三图像后，将第二图像作为前景图像，获取第二图像中每个像素的RGB值F_rgb和alpha值F_a，将第三图像作为背景图像，获取第三图像中每个像素的RGB值B_rgb和alpha值B_a，然后将F_rgb，F_a，B_rgb和B_a代入公式(6)计算图像叠加后的第四图像的中每个像素的RGB值C_rgb，将F_a和B_a代入公式(7)中计算图像叠加后的第四图像的中每个像素的alpha值C_a，通过图像叠加算法使叠加后的第四图像中包含了第二图像中的边缘信息和第三图像中的颜色量化信息，如图6所示，为第二图像和第三图像叠加后得到的第四图像。

步骤206，计算所述第四图像的平滑结构张量。

此步骤与上述实施例一的步骤105原理类似，在此不再赘述。

步骤207，根据所述平滑结构张量对所述第四图像进行线积分卷积，得到目标图像。

此步骤与上述实施例一的步骤106原理类似，在此不再赘述。

在本发明实施例中，根据平滑结构张量对第四图像进行线积分卷积，得到目标图像如图7所示，线积分卷积是对图像边缘提取后的第二图像和颜色量化后的第三图像叠加后的第四图像进行的，因此，目标图像中不存在因颜色量化造成的边缘锯齿。

在本发明实施例中，通过对原始图像只进行一次双边滤波处理，提高了原始图像滤波处理的效率，也有效的减少了原始图像中的噪声，进而可以改善后续第二图像和第三图像叠加后的第四图像的平滑结构张量的计算结果，从而提高漫画特效处理后的图像的整体效果；并且，通过将滤波处理后的第一图像进行压缩处理，以使从滤波处理步骤之后到获取目标图像之前的过程中所处理的图像的尺寸均是压缩后的图像尺寸，从而显著的提高了图像处理的效率；另外，线积分卷积是对图像边缘提取后的第二图像和颜色量化后的第三图像叠加后的第四图像进行的，因此，可以有效的去除因颜色量化造成的边缘锯齿，从而提高图像处理的效果。

实施例三

参见图8，示出了本发明实施例提供的一种图像处理装置的结构框图。

所述图像处理装置800，包括：

滤波处理模块801，用于对原始图像进行滤波处理，得到第一图像。

图像边缘提取模块802，用于提取所述第一图像的图像边缘，得到第二图像。

颜色量化处理模块803，用于对所述第一图像进行颜色量化处理，得到第三图像。

图像叠加模块804，用于将所述第二图像和所述第三图像进行叠加，得到第四图像。

平滑结构张量计算模块805，用于计算所述第四图像的平滑结构张量。

线积分卷积模块806，用于根据所述平滑结构张量对所述第四图像进行线积分卷积，得到目标图像。

参照图9，示出了本发明实施例提供的另一种图像处理装置的结构框图。

在图8的基础上，可选地，所述滤波处理模块801包括：

滤波处理子模块8011，用于对所述原始图像进行一次双边滤波处理，得到第一图像。

可选地，所述滤波处理子模块8011包括：

第一滤波处理单元80111，用于根据所述原始图像中的每个第一目标像素在第一方向上邻近的N个像素，依次对每个所述第一目标像素进行一次滤波处理，得到第一中间图像；所述第一目标像素为所述原始图像中的任意一个像素。

第二滤波处理单元80112，用于根据所述第一中间图像中的每个第二目标像素在第二方向上邻近的N个像素，依次对每个所述第二目标像素进行一次滤波处理，得到第一图像；所述第二目标像素为所述第一中间图像中的任意一个像素。

其中，N为大于或等于1的正整数；所述第一方向为水平方向，所述第二方向为竖直方向，或者，所述第一方向为竖直方向，所述第二方向为水平方向。

可选地，所述图像处理装置800还包括：

图像压缩模块807，用于对所述第一图像进行压缩处理，使得压缩后的所述第一图像的长度和宽度均小于压缩前所述第一图像的长度和宽度。

可选地，所述图像边缘提取模块802包括：

图像边缘提取子模块8021，用于采用扩展高斯差分算法提取所述第一图像的边缘，得到所述第二图像。

其中，所述扩展高斯差分算法为：

其中，u＝G_σ(n)-τ*G_kσ(n)，u为变形后的高斯差分结果，G_σ(n)为高斯核为σ的高斯滤波结果，G_kσ(n)为高斯核为kσ的高斯滤波结果，k为常数，τ是用来调整高斯差分结果的截止效果强度的常数，n为所述第一图像中像素的灰度值；T_ε,φ,u为扩展高斯差分结果，其用于表征所述第一图像中像素的边缘程度，ε为阈值，φ为边缘接收系数。

可选地，所述颜色量化处理模块803包括：

颜色量化处理子模块8031，用于采用颜色量化算法依次对所述第一图像中的每个像素进行颜色量化处理，得到所述第三图像。

其中，所述颜色量化算法如下：

其中，C为所述第一图像中像素的像素值，C_O为所述第三图像中的像素的像素值，d为量化系数，

为对

的结果进行向下取整。

可选地，所述图像叠加模块804包括：

图像叠加子模块8041，用于将所述第二图像和所述第三图像按照图像叠加算法进行叠加，得到所述第四图像。

其中，所述图像叠加算法如下：

C_rgb＝F_rgb*F_a+(1-F_a)*B_rgb*B_a (6)

C_a＝F_a+(1-F_a)*B_a (7)

其中，F_rgb为所述第二图像中像素的RGB值，F_a为所述第二图像中像素的alpha值，B_rgb为所述第三图像中像素的RGB值，B_a为所述第三图像中像素的alpha值，C_rgb为所述第四图像中像素的RGB值，C_a为所述第四图像中像素的alpha值。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本发明实施例中，通过在图像处理过程中先对原始图像进行滤波处理，得到第一图像，然后，再对第一图像进行后续处理，滤波处理可以降低原始图像的噪声，进而可以改善后续第二图像和第三图像叠加后的第四图像的平滑结构张量的计算结果，从而提高漫画特效处理后的图像的整体效果，另外，线积分卷积是对图像边缘提取后的第二图像和颜色量化后的第三图像叠加后的第四图像进行的，因此，可以有效的去除因颜色量化造成的边缘锯齿，从而提高图像处理的效果。

相应的，本发明实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本发明实施例一和实施例二所述的图像处理方法的步骤。

本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一和实施例二所述的图像处理方法的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的图像处理方法、装置、电子设备及计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

对原始图像进行滤波处理，得到第一图像；

提取所述第一图像的图像边缘，得到第二图像；

对所述第一图像进行颜色量化处理，得到第三图像；

将所述第二图像和所述第三图像进行叠加，得到第四图像；

计算所述第四图像的平滑结构张量；

根据所述平滑结构张量对所述第四图像进行线积分卷积，得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述对原始图像进行滤波处理，得到第一图像的步骤，包括：

对所述原始图像进行一次双边滤波处理，得到第一图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述对所述原始图像进行一次双边滤波处理，得到第一图像的步骤，包括：

根据所述原始图像中的每个第一目标像素在第一方向上邻近的N个像素，依次对每个所述第一目标像素进行一次滤波处理，得到第一中间图像；所述第一目标像素为所述原始图像中的任意一个像素；

根据所述第一中间图像中的每个第二目标像素在第二方向上邻近的N个像素，依次对每个所述第二目标像素进行一次滤波处理，得到第一图像；所述第二目标像素为所述第一中间图像中的任意一个像素；

其中，N为大于或等于1的正整数；所述第一方向为水平方向，所述第二方向为竖直方向，或者，所述第一方向为竖直方向，所述第二方向为水平方向。

4.根据权利要求1所述的图像处理方法，其特征在于，在所述提取所述第一图像的图像边缘，得到第二图像的步骤之前，还包括：

对所述第一图像进行压缩处理，使得压缩后的所述第一图像的长度和宽度均小于压缩前所述第一图像的长度和宽度。

5.根据权利要求1所述的图像处理方法，其特征在于，所述提取所述第一图像的图像边缘，得到第二图像的步骤，包括：

采用扩展高斯差分算法提取所述第一图像的边缘，得到所述第二图像；

其中，所述扩展高斯差分算法为：

其中，u＝G_σ(n)-τ*G_kσ(n)，u为变形后的高斯差分结果，G_σ(n)为高斯核为σ的高斯滤波结果，G_kσ(n)为高斯核为kσ的高斯滤波结果，k为常数，τ是用来调整高斯差分结果的截止效果强度的常数，n为所述第一图像中像素的灰度值；T_ε,φ,u为扩展高斯差分结果，其用于表征所述第一图像中像素的边缘程度，ε为阈值，φ为边缘接收系数。

6.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一图像进行颜色量化处理，得到第三图像的步骤，包括：

采用颜色量化算法依次对所述第一图像中的每个像素进行颜色量化处理，得到所述第三图像；

其中，所述颜色量化算法如下：

其中，C为所述第一图像中像素的像素值，C_O为所述第三图像中像素的像素值，d为量化系数，

为对

的结果进行向下取整。

7.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第二图像和所述第三图像叠加，得到第四图像的步骤，包括：

将所述第二图像和所述第三图像按照图像叠加算法进行叠加，得到所述第四图像；

其中，所述图像叠加算法如下：

C_rgb＝F_rgb*F_a+(1-F_a)*B_rgb*B_a，

C_a＝F_a+(1-F_a)*B_a

其中，F_rgb为所述第二图像中像素的RGB值，F_a为所述第二图像中像素的alpha值，B_rgb为所述第三图像中像素的RGB值，B_a为所述第三图像中像素的alpha值，C_rgb为所述第四图像中像素的RGB值，C_a为所述第四图像中像素的alpha值。

8.一种图像处理装置，其特征在于，所述装置包括：

滤波处理模块，用于对原始图像进行滤波处理，得到第一图像；

图像边缘提取模块，用于提取所述第一图像的图像边缘，得到第二图像；

颜色量化处理模块，用于对所述第一图像进行颜色量化处理，得到第三图像；

图像叠加模块，用于将所述第二图像和所述第三图像进行叠加，得到第四图像；

平滑结构张量计算模块，用于计算所述第四图像的平滑结构张量；

线积分卷积模块，用于根据所述平滑结构张量对所述第四图像进行线积分卷积，得到目标图像。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。

Images