CN117333375A - 图像虚化方法、装置、终端设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种图像虚化方法，该方法包括：获取待虚化图像和待虚化图像对应的虚化参数；通过像素累加处理，获取待虚化图像对应的积分图像；根据虚化参数，确定待虚化图像在积分图像中对应的偏移像素；根据偏移像素，对待虚化图像进行虚化处理，得到目标图像。本申请提供的图像虚化方法，减少计算过程中的相乘计算，提升了对图像虚化处理的速度。

Description

图像虚化方法、装置、终端设备及计算机可读存储介质

技术领域

本申请涉及图像虚化技术领域，具体涉及一种图像虚化方法、装置、终端设备及计算机可读存储介质。

背景技术

在手机的拍照功能中，拍照背景虚化功能已逐渐成为标配，例如：照片中包括人像以及背景，其中可以将背景进行虚化的照片图像，即为一种虚化图像。其中拍照虚化功能，可以模拟单反相机，拍摄出前景突出，背景虚化的图片，进而受到用户的追捧。

随着手机分辨率的越来越高，像素处理个数越来越多，背景虚化基于单像素虚化的过程也就耗时变得越长，用户拍照体验变差。如果将图片缩小到小尺寸处理以后再放大回原尺寸，这个过程中存在信息的损耗，而且虚化的边缘也会变差。同时受制于部分手机的处理性能，例如处理器的计算性能较低时，进行虚化拍照的耗时便会增加。

目前的拍照虚化在进行滤波操作的过程中，一般采用的是圆形虚化核或其他对称的虚化核，处理过程是以中心像素点为圆心，将虚化核中的元素与对应虚化区域进行逐点相乘，再进行累加然后求均值，用来替换中心像素的值。这种虚化方式存在很大的计算冗余，导致计算效率低。

发明内容

本申请提供了一种图像虚化方法，该方法可以减少图像虚化的处理时间。

第一方面，本申请提供一种图像虚化方法，包括：

获取待虚化图像和所述待虚化图像对应的虚化参数；

通过像素累加处理，获取所述待虚化图像对应的积分图像；

根据所述虚化参数，确定所述待虚化图像在所述积分图像中对应的偏移像素；

根据所述偏移像素，对所述待虚化图像进行虚化处理，得到目标图像。第二方面，本申请还提供一种图像虚化装置，包括：

第一获取模块，用于获取待虚化图像和所述待虚化图像对应的虚化参数；

第二获取模块，用于通过像素累加处理，获取所述待虚化图像对应的积分图像；

确定模块，用于根据所述虚化参数，确定所述待虚化图像在所述积分图像中对应的偏移像素；

虚化模块，用于根据所述偏移像素，对所述待虚化图像进行虚化处理，得到目标图像。

第三方面，本申请还提供一种终端设备，终端设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序以实现任一项本申请中的图像虚化方法中的步骤。

第四方面，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现任一项本申请中的图像虚化方法中的步骤。

本申请提供的图像虚化方法、装置、终点设备及计算机可读存储介质，通过获取待虚化图像的虚化参数，以及待虚化图像的像素值进行累加处理，得到积分图像，如此，可以根据虚化参数确定待虚化图像中的待虚化像素在积分图像中对应的偏移像素，然后直接根据偏移像素在积分图像中的积分像素值，对待虚化图像中的待虚化像素进行虚化处理，对于每个待虚化的像素点，无需进行相乘、累加求均值，缩短了虚化处理的时间，提升了对图像虚化处理的速度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中提供的图像虚化系统的场景示意图；

图2是本申请实施例中图像虚化方法的一个实施例流程示意图；

图3是本申请实施例中经过图像虚化方法处理的图像效果图；

图4是本申请实施例中图像虚化装置的一个功能模块示意图；

图5是本申请实施例中终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请提供了一种图像虚化方法、装置、终端设备和存储介质，以下分别进行详细说明。

请参阅图1，图1为本申请实施例所提供的图像虚化系统的场景示意图，该图像虚化系统可以包括终端设备100和存储设备200，该存储设备200可以向该终端设备100传输数据。如图1中的终端设备100，可以获取该存储设备200中的存储的待虚化图像，以执行本申请中的图像虚化方法。

本申请实施例中，终端设备100其包括但不限可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等。

本申请的实施例中，终端设备100和存储设备200之间可通过任何通信方式实现通信，包括但不限于，基于第三代合作伙伴计划(3rd Generation Partnership Project，3GPP)、长期演进(Long Term Evolution，LTE)、全球互通微波访问(WorldwideInteroperability for Microwave Access，WiMAX)的移动通信，或基于TCP/IP协议族(TCP/IP Protocol Suite，TCP/IP)、用户数据报协议(User Datagram Protocol，UDP)的计算机网络通信等。

需要说明的是，本申请实施例中，该终端设备100自带摄像装置时，例如该终端设备100为移动手机时，该终端设备100可以不通过存储设备200获取Raw数据，该终端设备100可以通过自身的摄像装置拍摄，从而得到Raw数据，以执行本申请中的图像虚化方法。

需要说明的是，图1所示的图像虚化系统的场景示意图仅仅是一个示例，本申请实施例描述的图像虚化系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着图像虚化系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

如图2所示，图2为本申请实施例中图像虚化方法的一个实施例流程示意图，图像虚化方法可以包括如下步骤201～204：

201、获取待虚化图像和待虚化图像对应的虚化参数。

待虚化图像可以为任意一种形式的图像，例如：bmp，jpg，gif，psd，png等格式的图像，若要对图像进行虚化处理，通常需要涉及对亮度的处理，因此可以将图像变为yuv颜色域显示的图像，进而进行图像的虚化处理。

此外，一般情况下，对图像进行虚化处理时，需要创建一个虚化核，通过虚化核在图像中需要进行虚化的区域上进行移动，从而虚化移动路径中的像素点的像素值。此外，虚化核的大小可以根据具体的情况进行设置，获取该虚化核可以直接获取该待虚化图像预先设定好的虚化核即可。然而，本申请的虚化参数可以为一种虚化参数表，该虚化参数表可以根据该虚化核生成，且该虚化参数表中存储有用于确定积分图像中偏移像素的偏移距离以及偏移方向，具体的该虚化参数表可以根据虚化核进行计算。其中，虚化参数表具体可参见下文的说明。

202、通过像素累加处理，获取待虚化图像对应的积分图像。

在现有技术中，对图像进行虚化处理时，根据上述步骤可得，一般为通过虚化核进行图像中待虚化区域的虚化工作。而具体的虚化流程为，将虚化核中的各个元素值与图像中对应的像素值进行相乘，并将各个相乘的结果相加，最终在对相加的结果根据虚化核中元素值的个数求平均数，该平均数则为虚化后的像素值，再将该像素值替换图像中与该虚化核对应的像素值即可。例如：假设该存在一个虚化核为[0,0,1,0,0]虚化核，同时为了方便理解，带虚化的图像也可以假设为仅有一个像素行，该像素行为[1,2,3,4,5](实际情况中，图像通常不为一个像素行，而为多个像素行排列组成，但也存在例外，例如阵线相机拍摄的图像，就为像素行为单行的图像)。此时，根据上述流程，虚化的步骤包括：将该虚化核覆盖该图像，即将该[0,0,1,0,0]的虚化核与[1,2,3,4,5]的图像对应，此时根据上述流程可得：0x1+0x2+1x3+0x4+0x5＝3，此时该虚化核中的元素值为1，且元素值为1的个数也为1，因此在将3/1＝3，最终得到虚化的像素值为3，并将该虚化的像素值替换与该虚化核[0,0,1,0,0]对应的像素[1,2,3,4,5]中的各个像素值即可，此时[1,2,3,4,5]变为[3,3,3,3,3]，该图像便完成了模糊操作。

然而根据上述流程可得，该过程一共经过了5次乘法，4次加法以及1次除法，而乘法与除法在指令中，需要占用4个指令集，加法和减法仅占用1个或2个指令集，因此可以看出上述流程中由于涉及了较多的乘法以及除法，所以指令集较为冗余。

而积分图像是通过对图像中的像素值进行累加，若依旧以[1,2,3,4,5]这一个图像进行举例，则累加之后，该[1,2,3,4,5]图像变为[1,1+2,1+2+3,1+2+3+4,1+2+3+4+5]＝[1,3,6,10,15]。

此时根据上述流程可得，根据虚化核[0,0,1,0,0]进行虚化的得到的虚化像素值为3，而根据该积分图像可得，若将第三列的像素值6减第二列的像素值3，再除以虚化核中的元素值为1的个数，则得到的值与该虚化像素值相同，因此若通过相同的虚化核和该积分图像进行虚化像素值的计算时，相比于现有技术，可以减少虚化过程中至少5次乘法操作，同时将4次加法代替为1次减法，因此能够减少指令集，从而提高虚化速度。

为了更好实施本申请，在本申请实施例中，通过像素累加处理，获取待虚化图像对应的积分图像，包括：

获取待虚化图像的亮度通道图像；对待虚化图像的亮度通道图像进行权重计算，得到权重系数图；根据权重系数图，对待虚化图像进行权重分配，得到权重图像；对权重图像中的像素进行累加处理，得到待虚化图像对应的积分图像。

对待虚化图像的亮度通道图像进行权重计算，得到权重系数图对权重图像中的像素进行累加处理，得到待虚化图像对应的积分图像

根据上述描述可得，虚化过程中需要依靠亮度信息，因此需要通过yuv颜色域图像进行虚化，而yuv图像中y通道图像又表征亮度信息，因此又称亮度通道图像，下文中的y通道图像均指代亮度通道图像。因此，若需要进行权重计算时，需要通过y通道图像计算权重。而计算权重的目的在于，用户在查看虚化图像时，用户存在查看侧重点，因此在虚化时，可以对用户查看点较为重要的地方进行着重虚化，查看侧重点较轻的地方做轻微虚化即可，这样能够减少虚化工作量，然而通过用户的查看侧重点仅为一种计算权重的方式，具体情况中，可以根据不同要素，计算权重，此处不做限定。而本实施例中计算y通道图像的权重时，可以根据以下公式①进行计算：

W_i,j＝1+c*exp(((Y_4_i,j-255)/var)²)……①

其中，Y_4为完成了下采样所得y通道图像；若y通道图像与uv通道图像大小相同，则不需要进行下采样缩放，则Y_4直接代表y通道图像即可。I与j代表像素的行列坐标，其中Y_4为，若y通道图像与uv通道图像尺寸不同时，完成缩放的y通道图像，此外c和var用于控制光斑的亮度，本公式中var＝25，c＝4。

当完成y通道图像的权重计算，得到权重系数图之后，由于是针对yuv图像进行的虚化，因此将该权重系数分别与yuv图像中每个通道图像相乘，即可得到权重yuv颜色域图像。需要说明的是，yuv图像中的y通道图像可能为uv通道图像的4倍，若y通道图像为uv通道图像的4倍，先对y通道图像进行缩放，使得缩放后的y通道图像与uv通道图像大小一样后，此时再将yuv图像中每个通道图像分别与权重系数图相乘。其中，缩放的方式可以将y通道图像进行下采样操作，使得缩放后的y通道图像与uv通道图像的大小一致。

为了更好实施本申请，在本申请实施例中，对权重图像中的像素进行累加处理，得到待虚化图像对应的积分图像，包括：

针对yuv颜色域图像中每个通道图像，确定该通道图像中每行像素的排列顺序；针对该通道图像中的每行像素，根据排列顺序，确定与该行像素相邻的前一行像素，将前一行像素中每个像素的像素值累加到该行像素中对应像素的像素值上，得到该行像素累加后的像素值；基于各通道图像中各行像素累加后的像素值，得到积分图像。

上述实施例中，说明了图像为[1,2,3,4,5]时的累加方式，然而通常情况中，图像中的像素行不为单行，且图像中的像素列也不为单列，方便后续的计算，可以将图像以行的方式，对图像中的各个像素行进行排序，同时在将相同列数，上的像素进行累加即可。因此可以通过如下公式②进行计算：

其中，Integral_Y_4为y通道的积分图像(若y通道图像与uv通道图像大小不同，需要对y通道图像进行缩放)，w(r,c)为权重系数图，r代表行坐标，c代表列坐标，需要说明的是，若r＝0或c＝0时，则代表为第一行或第一列，具体原因为，在程序中，第一行用0表示，例如：存在一个包括5行的图像矩阵，则r＝0时，对应该图像矩阵的第1行；r＝1时，对应该图像的第2行；r＝2时，对应该图像矩阵的第3行；r＝3时，对应该图像矩阵的第4行；r＝4时，对应该图像矩阵的第5行。列坐标同理，且若下文出现的r或c等字母代表行坐标与纵坐标时，均与该表示方式相同；且对uv通道图像进行累加的积分计算时也参照公式②。

因此，按照上述公式，例如若图像(已与权重系数图相乘)大小为3x3：则根据上述公式可得，累加之后的积分图像为：第一行为[1,2,3,]，第二行为：[1+1,2+2,3+3]＝[2,4,6]，第三行为：[1+2,2+4,3+6]＝[3,6,9]，最终，完成累加之后的积分图像为：

为了更好实施本申请，在本申请实施例中，对待虚化图像的亮度通道图像进行权重计算，得到权重系数图，包括：

对y通道图像进行二值化分割，得到分割图像，分割图像中包括至少一个目标分割区域；对至少一个目标分割区域进行光源检测，确定光源区域；对光源区域对应的像素点的像素值进行权重计算，确定权重系数图。

根据上述实施例可得，计算权重的方式可以根据注意力机制或者进行高斯变换等方式，然而为了减小权重系数图中的误差，能够更加贴且实际情况，可以计算y通道图像中亮度强弱。

其中，对y通道图像进行二值化分割，中的分割阈值可以设定为250，即y通道图像中，像素值大于250的像素点转化为1，像素值小于或等于250的像素点转化为0，则可以完成该y通道图像的二值化分割。而元素值为1的像素点构成的像素区域则为本实施例中目标分割区域。此后，再对该分割区域中的像素值进行计算，由于y通道图像为亮度通道图像，因此计算亮度通道图像中的分割区域中的像素值可以确定分割区域中的像素的亮度，因此可以确定是否为光源，例如：计算分割区域中原本像素值的大小，确定像素值是否大于预设的像素值，从而确定该像素值是否为光源。可以理解是，本实施例中的光源语义为亮度较高。

为了更好实施本申请，在本申请实施例中，对至少一个目标分割区域进行光源检测，确定光源区域，包括：

确定至少一个目标分割区域中各个目标分割区域的区域面积以及各个目标分割区域的最小外接矩形的矩形面积；确定各目标分割区域的区域面积与各自对应的矩形面积的面积比；将面积比大于预设的面积比阈值的目标分割区域确定为光源区域。

除上述实施例之外，可以通过计算像素值的大小确定目标分割区域是否为光源区域之外，还可以通过计算目标分割区域的面积，从而确定目标分割区域是否为光源区域。

其中，该面积比阈值可以为0.4，计算目标分割区域的面积以及目标分割区域的最小外接矩形面积可以根据相应的现有的面积计算方式进行计算，该面积计算方法不属于本申请的内容，此处不做赘述。

203、根据虚化参数，确定待虚化图像在积分图像中对应的偏移像素。

根据上述实施例可得，根据积分图像可以减小指令集的冗余情况，具体此处不再赘述。同时，虚化参数可以为一种虚化参数表。但，根据上述实施例中，具体根据积分图像计算虚化像素值时，存在一个问题。例如：根据上述实施例中的案例可得，若根据虚化核为[0,0,1,0,0]对图像[1,2,3,4,5]进行虚化时，根据现有技术计算得到的虚化像素值为3。然而，根据该虚化核[0,0,1,0,0]和该图像的积分图像[1,3,6,10,15]计算时，若仍需要得到虚化像素为3时，需要确定积分图像中坐标为(0,2)以及(0,1)的像素值，即6和3，并将两者相减，最后在除以1，即可以得到像素值为3的虚化像素。由此，该问题为需要如何确定积分图像中两个相减的像素坐标位置。

由于，通过积分图像进行虚化处理时，依旧需要使用到相同的虚化核，因此，可以根据该虚化核，在积分图像中寻找具体需要的两个相减的像素坐标位置。因此，可以根据该虚化核，生成一个虚化参数表，用于确定积分图像中两个相减的像素坐标。然而，若需要根据虚化核生成虚化参数表，则虚化核需要为圆形虚化核，其中，可以根据以下公式③，生成对应的虚化参数表：

其中，r，c是圆形虚化核r_matrix中的第r行，第c列的值，radius为圆形模糊核的半径。因此，若模糊核r_matrix为依旧为上述实施例中的模糊核，即[0,0,1,0,0]。由于该模糊核需要为圆形模糊核，因此将该模糊核的原本样貌为：

0	0	1	0	0
					0	1	1	1	0
1	1	1	1	1
					0	1	1	1	0
0	0	1	0	0

因此，该模糊核[0,0,1,0,0]的半径为2，元素指的是虚化核中的数值，即虚化核中值为0和1的数，因此将半径为2的上述公式②中，可得该模糊核的虚化参数表为：该虚化参数表中的0和1便为虚化偏移值，其中该虚化参数表中第一行的虚化偏移值可以表征为向左平移，第二行的虚化偏移值可以表征为向右平移，虚化偏移值具体的数值表征为偏移的像素距离。

可以理解是上述步骤中，用于确定积分图像中两个相减的像素坐标中对应的像素即为偏移像素。根据上述步骤203可得，虚化参数表中第一行的虚化偏移值可以表征为向左平移，第二行的虚化偏移值可以表征为向右平移，虚化偏移值具体的数值表征为偏移的像素距离。因此，若根据该积分图像[1,3,6,10,15]计算虚化像素值时，便可以根据两个像素之间相差一个像素位置，计算两个像素值的像素差值，即计算(0,0)和(0,1)、(0,1)和(0,2)等等相差一个像素位置的像素值差值即可。从而，最终可以确定该积分图像中(0,2)像素位置的像素值6与该积分图像中(0,1)像素位置的像素值3的差值，除以元素值为1的个数之后的虚化像素值为3，从而得到与现有技术相同的虚化像素值，因此积分图像中(0,2)像素位置和(0,1)像素位置的像素即为偏移像素。换言之，偏移像素为根据虚化参数表中的偏移方向和偏移距离，从而可以确定积分图像中完成偏移的两个像素。而该步骤中，依旧没有使用乘法的操作，因此可以减少占用指令集较多的乘法。

204、根据偏移像素，对待虚化图像进行虚化处理，得到目标图像。

根据上述步骤可得，根据虚化参数表可以确定积分图像中两个做差值的像素，并得到相应的虚化像素值，以代替原待虚化图像中对应的像素值。由于步骤202中，对积分图像说明时，已经说明了具体的如何进行替换的操作，故此处不再赘述。

为了更好实施本申请，在本申请实施例中，根据虚化参数，确定待虚化图像在积分图像中对应的偏移像素，包括：

确定待虚化图像的虚化半径图；对虚化半径图进行第一掩膜处理，得到背景虚化掩膜图；确定待虚化图像中与背景虚化掩膜图对应的第一目标区域；根据虚化参数，确定积分图像中与第一目标区域中的待虚化像素对应的偏移像素；根据偏移像素，对待虚化图像进行虚化处理，得到目标图像，包括：根据第一目标区域中的待虚化像素对应的偏移像素在积分图像中的积分像素值，对第一目标区域中的待虚化像素进行虚化处理，得到目标图像。

根据上述实施例可得，在对待虚化图像进行虚化处理时，上述实施例中列举了计算像素行为单行时，如何进行虚化的方式。然而，实际情况中，也需要处理正常类型的图像，例如像素行与像素列均不为单一时的图像。因此，若图像的像素行数量较多时，需要确定图像中具体哪些像素位置的像素需要进行虚化，因此需要利用掩膜图像作为参考，从而确定具体的需要进行虚化的像素。其中，根据掩膜图像作为参考图像，确定对应图像中需要进行处理的像素。

此外，计算待虚化图像的虚化半径图，需要获取该待虚化图像对应的深度图像、焦点位置(x,y)和虚化强度参数，获取深度图像和焦点位置的方式可以根据现有技术进行获得，具体此处不做限定，虚化强度参数可以按照具体的情况进行设定，故计算待虚化图像的虚化半径图可以根据如下公式④进行计算：

其中，r_i,j是虚化半径图中第i行，第j列的像素值，D_i,j是深度图中第i行，第j列的值，D_focus是焦点处深度值，D_max是深度图中最大值，Δd表示深度容忍阈值，本公式中可以取值为3。

当完成虚化半径图的计算之后，可以通过二值化的方式的虚化半径图进行第一掩膜处理，具体的可以设置一个二值化分割阈值，该虚化半径图中像素值大于该二值化分割阈值的像素为1；小于或等于该二值化分割阈值的像素值为0，从而生成背景虚化掩膜图。

此时，可以确定背景虚化掩膜图中掩膜值为1的位置，从而根据掩膜值为1的位置，在待虚化图像中确定与该掩膜值对应位置的像素为待虚化像素，即掩膜值为1的位置可以为第一目标区域。之后，在根据上述各个实施例中，对待虚化像素进行虚化处理的方式进行虚化处理即可，具体此处不再赘述。

为了更好实施本申请，在本申请实施例中，根据第一目标区域中的待虚化像素对应的偏移像素在积分图像中的积分像素值，对第一目标区域中的待虚化像素进行虚化处理，得到目标图像，包括：

根据第一目标区域中的待虚化像素对应的偏移像素在积分图像中的积分像素值，对第一目标区域中的待虚化像素进行虚化处理，得到第一虚化图像；对虚化半径图进行第二掩膜处理，得到边缘掩膜图像；确定第一虚化图像中与边缘掩膜图像对应的第二目标区域，对第二目标区域中的边缘像素进行虚化处理，得到目标图像。

为了提高虚化的质量，在根据背景虚化掩膜图进行虚化处理之上，再通过引入额外的掩膜图，从而确定虚化像素与未虚化像素的边界，并对该边界进行模糊处理，使得最终得到的完成虚化的图像更加自然。

其中，根据背景掩膜图像中的第一目标区域进行虚化处理的方式与上述各个实施例相同，具体此处不再赘述。而对虚化半径图进行第二掩膜处理时，依旧可以进行二值化处理，具体的，可以对虚化半径图计算拉普拉斯二阶梯度，其中梯度大于预设的梯度二值化阈值的像素对应的位置，掩膜值为1即可，从而得到边缘掩膜图像。因此，根据背景掩膜图像的原理相同，可以根据边缘掩膜图像确定第一虚化图像中需要进行优化的像素，从而得到最终完成虚化的图像。其中，根据边缘掩膜图像进行虚化的方式，可以通过简单的高斯去噪即可。

为了更好实施本申请，在本申请实施例中，对第二目标区域中的边缘像素进行虚化处理，得到目标图像，包括：

对第二目标区域中的边缘像素进行虚化处理，得到初始虚化图像；对虚化半径图进行二值化处理、腐蚀处理以及高斯模糊，确定融合系数；根据融合系数，对初始虚化图像以及待虚化图像进行融合，得到目标图像。

为了提高对该边界(边缘像素)进行模糊处理，提高最终得到的完成虚化的图像自然效果，可以在简单的高斯去噪的基础上，添加融合系数。具体的，本实施例中计算融合系数的方式，可以先对虚化半径图进行二值化处理，本实施例中的二值化阈值可以取0，并对包括二值化信息的半径虚化图分别再进行腐蚀处理以及高斯模糊即可，具体的腐蚀处理和高斯模糊为现有技术，此处不再赘述。

此外，根据融合系数进行融合的方式可以通过如下公式⑤进行计算：

blur_Y(m,n)＝(Coeffs(m,n)*Y(m,n)+(256-Coeffs(m,n))*blur_Y_2(m,n))>>8……⑤

其中，Coeffs为二值化处理、腐蚀处理以及高斯模糊得到的融合系数；blur_Y_2为初始虚化图像，其中若blur_Y_2的尺寸大小与uv通道图像尺寸大小不同时还需要对blur_Y_2进行上采样，将blur_Y_2的大小缩放至与uv通道图像大小尺寸相同；m,n表示图像中像素点坐标位置；>>表示右移逻辑运算；Y(m,n)为亮度通道图像。同理，对uv通道图像也根据该公式⑤进行相同的计算。

为了更好实施本申请，在本申请实施例中，根据虚化参数表中的虚化偏移值，确定积分图像中与第一目标区域中的待虚化像素对应的偏移像素，包括：

确定第一目标区域中的待虚化像素的坐标；根据待虚化像素的坐标、虚化半径图的虚化半径和虚化参数，确定待虚化像素的第一虚化偏移值和第二虚化偏移值；根据第一虚化偏移值和第二虚化偏移值，确定积分图像中待虚化像素的偏移像素。

根据上述实施例可得，模糊核可以为单行。然而正常情况下，模糊核通常不为单行矩阵，假设一个半径为3的模糊核如下所示：

0	0	0	1	0	0	0
							0	1	1	1	1	1	0
0	1	1	1	1	1	0
							1	1	1	1	1	1	1
0	1	1	1	1	1	0
							0	1	1	1	1	1	0
0	0	0	1	0	0	0

因此根据上述公式②可得，该模糊核对应加速表为：

0	-2	-2	-3	-2	-2	0
							1	3	3	4	3	3	1

该加速表中的负号依旧表示向左平移，正号表示向右平移，数值表示平移单位。此时便可以根据如下代码计算出第一虚化偏移值和第二虚化偏移值，从而计算出待虚化图像的积分图像中的需要做差值处理的具体两个像素，第一偏移像素和第二偏移像素。

Sum_val＝0；

Radius＝R(i,j)；0，2

For m＝i-Radius to i+Radius:

n_low＝j+Table(0,m+Radius)；4

n_high＝j+Table(1,m+Radius)；2+1

Sum_val+＝(Integral_Y_4(m,n_high)–Integral_Y_4(m,n_low))。

其中：uv通道图像的虚化操作方式相同；Integral_Y_4为积分图像，table为虚化参数表，Radius为虚化核的半径；(Integral_Y_4(m,n_high)为积分图像中的第一偏移像素，Integral_Y_4(m,n_low)为积分图像中的第二偏移像素；Sum_val为两个偏移像素值的差值，i与j为yuv通道图像中的待虚化像素的位置。

为了更好实施本申请，在本申请实施例中，根据第一目标区域中的待虚化像素对应的偏移像素在积分图像中的积分像素值，对第一目标区域中的待虚化像素进行虚化处理，包括：

确定虚化核中元素值为目标值的元素的数量；根据第一目标区域中的待虚化像素对应的偏移像素在积分图像中的积分像素值和元素值为目标值的元素的数量，确定得到虚化像素值；将虚化像素值替换第一目标区域中的待虚化像素的像素值。根据上述实施例可得，在求得具体的偏移像素之后，还需要根据虚化核中元素值的数量进行平均计算，从而得到最终的虚化像素，因此计算最终的虚化像素可以根据以下代码进行计算：

blur_Y_4(i,j)＝Sum_val/1(r_matrix)。

其中，1(r_matrix)表示r_matrix中元素为1的个数。

如图3所示，图3为根据本申请实施例进行图像虚化的效果图。根据图3中图像可以清晰的得到，图像中的背景已经完成虚化处理。

本申请提供的图像虚化方法，可以根据待虚化的图像生成对应的虚化参数表，通过该虚化参数表快速的引导至待虚化图像中需要虚化的像素点，缩短了寻找待虚化像素点的时间，提升了对图像虚化处理的速度。

为了更好实施本申请实施例中的图像虚化方法，在图像虚化方法之上，本申请实施例中还提供了一种图像虚化装置，如图4所示，装置300包括：

获取模块301，用于获取待虚化图像的yuv颜色域图像以及待虚化图像的虚化核；

积分模块302，用于对yuv颜色域图像的像素值进行累加处理，得到积分图像；

生成模块303，用于根据虚化核的虚化半径以及虚化核中元素的元素值，生成虚化参数表，虚化参数表中存储有虚化偏移值；

确定模块304，用于根据虚化参数表中的虚化偏移值，确定yuv颜色域图像中的待虚化像素在积分图像中对应的偏移像素；

虚化模块305，用于根据偏移像素在积分图像中的积分像素值，对yuv颜色域图像中的待虚化像素进行虚化处理，得到完成虚化处理的目标图像。

本申请提供的图像虚化装置，可以根据获取模块301获取待虚化的图像，再根据积分模块302生成该待虚化图像对应的积分图像，再通过生成模块303生成对应的虚化参数表，再通过确定模块304确定积分图像中具体的偏移像素的像素值，从而根据虚化模块305可以根据偏移像素的像素值对待虚化图像进行虚化，缩短了寻找待虚化像素点的时间，提升了对图像虚化处理的速度。

在本申请一些实施方式中，积分模块302具体用于：

对待虚化图像的亮度通道图像进行权重计算，得到权重系数图；

根据权重系数图，对待虚化图像进行权重分配，得到权重图像；

对权重图像中的像素进行累加处理，得到待虚化图像对应的积分图像。

在本申请一些实施方式中，积分模块302具体还用于：

对亮度通道图像进行二值化分割，得到分割图像，分割图像中包括至少一个目标分割区域；

对至少一个目标分割区域进行光源检测，确定光源区域；

对光源区域对应的像素点的像素值进行权重计算，确定权重系数图。

在本申请一些实施方式中，积分模块302具体还用于：

确定至少一个目标分割区域中各个目标分割区域的区域面积以及各个目标分割区域的最小外接矩形的矩形面积；

确定各目标分割区域的区域面积与各自对应的矩形面积的面积比；

将面积比大于预设的面积比阈值的目标分割区域确定为光源区域。

在本申请一些实施方式中，积分模块302具体还用于：

针对待虚化图像中每个通道的通道图像，确定每个通道图像中每行像素的排列顺序；

针对每个通道图像中的每行像素，根据排列顺序，确定与每个行像素相邻的前一行像素，将前一行像素中每个像素的像素值累加到该行像素中对应像素的像素值上，得到该行像素累加后的像素值；

基于各通道图像中各行像素累加后的像素值，得到积分图像。

在本申请一些实施方式中，虚化模块304具体用于：

确定待虚化图像的虚化半径图；

对虚化半径图进行第一掩膜处理，得到背景虚化掩膜图；

确定待虚化图像中与背景虚化掩膜图对应的第一目标区域；

根据虚化参数，确定积分图像中与第一目标区域中的待虚化像素对应的偏移像素，根据第一目标区域中的待虚化像素对应的偏移像素在积分图像中的积分像素值，对第一目标区域中的待虚化像素进行虚化处理，得到目标图像。

在本申请一些实施方式中，虚化模块304具体还用于：

根据第一目标区域中的待虚化像素对应的偏移像素在积分图像中的积分像素值，对第一目标区域中的待虚化像素进行虚化处理，得到第一虚化图像；

对虚化半径图进行第二掩膜处理，得到边缘掩膜图像；

确定第一虚化图像中与边缘掩膜图像对应的第二目标区域，对第二目标区域中的边缘像素进行虚化处理，得到目标图像。

在本申请一些实施方式中，虚化模块304具体还用于：

对第二目标区域中的边缘像素进行虚化处理，得到初始虚化图像；

对虚化半径图进行二值化处理、腐蚀处理以及高斯模糊，确定融合系数；

根据融合系数，对初始虚化图像以及待虚化图像进行融合，得到目标图像。

在本申请一些实施方式中，虚化模块304具体还用于：

确定第一目标区域中的待虚化像素的坐标；

根据待虚化像素的坐标、虚化半径图的虚化半径和虚化参数，确定待虚化像素的第一虚化偏移值和第二虚化偏移值；

根据第一虚化偏移值和第二虚化偏移值，确定积分图像中待虚化像素的第一偏移像素和第二偏移像素。

在本申请一些实施方式中，虚化模块304具体还用于：

获取虚化核中元素值的数量；

根据偏移像素在积分图像中的积分像素值和元素值的数量，确定虚化像素值；

将虚化像素值替换第一目标区域中的待虚化像素的像素值。

本申请实施例还提供一种终端设备，设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序以实现本申请实施例中任一项的图像虚化方法中的步骤。其中，该终端设备，其集成了本申请实施例所提供的任一种图像虚化方法，如图5所示，其示出了本申请实施例所涉及的终端设备的结构示意图，具体来讲：

该终端设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图5中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；处理器401可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

终端设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该终端设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，终端设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，终端设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，例如：

获取待虚化图像和待虚化图像对应的虚化参数；

通过像素累加处理，获取待虚化图像对应的积分图像；

根据虚化参数，确定待虚化图像在积分图像中对应的偏移像素；

根据偏移像素，对待虚化图像进行虚化处理，得到目标图像。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种图像虚化方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：

获取待虚化图像和待虚化图像对应的虚化参数；

通过像素累加处理，获取待虚化图像对应的积分图像；

根据虚化参数，确定待虚化图像在积分图像中对应的偏移像素；

根据偏移像素，对待虚化图像进行虚化处理，得到目标图像。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像虚化方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种图像虚化方法，其特征在于，包括：

获取待虚化图像和所述待虚化图像对应的虚化参数；

通过像素累加处理，获取所述待虚化图像对应的积分图像；

根据所述虚化参数，确定所述待虚化图像在所述积分图像中对应的偏移像素；

根据所述偏移像素，对所述待虚化图像进行虚化处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述通过像素累加处理，获取所述待虚化图像对应的积分图像，包括：

获取所述待虚化图像的亮度通道图像；

对所述待虚化图像的亮度通道图像进行权重计算，得到权重系数图；

根据所述权重系数图，对所述待虚化图像进行权重分配，得到权重图像；

对所述权重图像中的像素进行累加处理，得到所述待虚化图像对应的积分图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述待虚化图像的亮度通道图像进行权重计算，得到权重系数图，包括：

对所述亮度通道图像进行二值化分割，得到分割图像，所述分割图像中包括至少一个目标分割区域；

对所述至少一个目标分割区域进行光源检测，确定光源区域；

对所述光源区域对应的像素点的像素值进行权重计算，确定权重系数图。

4.根据权利要求3所述的方法，其特征在于，所述对所述至少一个目标分割区域进行光源检测，确定光源区域，包括：

确定所述至少一个目标分割区域中各个目标分割区域的区域面积以及各个目标分割区域的最小外接矩形的矩形面积；

确定各所述目标分割区域的区域面积与各自对应的矩形面积的面积比；

将所述面积比大于预设的面积比阈值的目标分割区域确定为光源区域。

5.根据权利要求2所述的方法，其特征在于，所述对所述权重图像中的像素进行累加处理，得到所述待虚化图像对应的积分图像，包括：

针对所述待虚化图像中每个通道的通道图像，确定所述每个通道图像中每行像素的排列顺序；

针对所述每个通道图像中的每行像素，根据所述排列顺序，确定与所述每个行像素相邻的前一行像素，将所述前一行像素中每个像素的像素值累加到该行像素中对应像素的像素值上，得到该行像素累加后的像素值；

基于各所述通道图像中各行像素累加后的像素值，得到积分图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述虚化参数，确定所述待虚化图像在所述积分图像中对应的偏移像素，包括：

确定所述待虚化图像的虚化半径图；

对所述虚化半径图进行第一掩膜处理，得到背景虚化掩膜图；

确定所述待虚化图像中与所述背景虚化掩膜图对应的第一目标区域；

根据所述虚化参数，确定所述积分图像中与所述第一目标区域中的待虚化像素对应的偏移像素；

所述根据所述偏移像素，对所述待虚化图像进行虚化处理，得到目标图像，包括：

根据所述第一目标区域中的待虚化像素对应的偏移像素在所述积分图像中的积分像素值，对所述第一目标区域中的待虚化像素进行虚化处理，得到目标图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一目标区域中的待虚化像素对应的偏移像素在所述积分图像中的积分像素值，对所述第一目标区域中的待虚化像素进行虚化处理，得到目标图像，包括：

根据所述第一目标区域中的待虚化像素对应的偏移像素在所述积分图像中的积分像素值，对所述第一目标区域中的待虚化像素进行虚化处理，得到第一虚化图像；

对所述虚化半径图进行第二掩膜处理，得到边缘掩膜图像；

确定所述第一虚化图像中与所述边缘掩膜图像对应的第二目标区域，对第二目标区域中的边缘像素进行虚化处理，得到目标图像。

8.根据权利要求7所述的方法，其特征在于，所述对第二目标区域中的边缘像素进行虚化处理，得到目标图像，包括：

对所述第二目标区域中的边缘像素进行虚化处理，得到初始虚化图像；

对所述虚化半径图进行二值化处理、腐蚀处理以及高斯模糊，确定融合系数；

根据所述融合系数，对所述初始虚化图像以及所述待虚化图像进行融合，得到目标图像。

9.根据权利要求6所述的方法，其特征在于，所述根据所述虚化参数，确定所述积分图像中与所述第一目标区域中的待虚化像素对应的偏移像素，包括：

确定所述第一目标区域中的待虚化像素的坐标；

根据所述待虚化像素的坐标、所述虚化半径图的虚化半径和所述虚化参数，确定所述待虚化像素的第一虚化偏移值和第二虚化偏移值；

根据所述第一虚化偏移值和所述第二虚化偏移值，确定所述积分图像中所述待虚化像素的偏移像素。

10.根据权利要求6至9任意一项所述的方法，其特征在于，所述根据所述第一目标区域中的待虚化像素对应的偏移像素在所述积分图像中的积分像素值，对所述第一目标区域中的待虚化像素进行虚化处理，包括：

确定预设的虚化核中元素值为目标值的元素的数量；

根据所述第一目标区域中的待虚化像素对应的偏移像素在所述积分图像中的积分像素值和元素值为目标值的元素的数量，确定得到虚化像素值；

将所述虚化像素值替换所述第一目标区域中的待虚化像素的像素值。

11.一种图像虚化装置，其特征在于，包括：

第一获取模块，用于获取待虚化图像和所述待虚化图像对应的虚化参数；

第二获取模块，用于通过像素累加处理，获取所述待虚化图像对应的积分图像；

确定模块，用于根据所述虚化参数，确定所述待虚化图像在所述积分图像中对应的偏移像素；

虚化模块，用于根据所述偏移像素，对所述待虚化图像进行虚化处理，得到目标图像。

12.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至10任一项所述的图像虚化方法中的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至10任一项所述的图像虚化方法中的步骤。