CN111242843A - 图像虚化方法、图像虚化装置、设备及存储装置 - Google Patents

Abstract

本申请公开了一种图像虚化方法、图像虚化装置、设备及存储装置。其中，图像虚化方法包括：确定待虚化图像中包含的像素点的权重和像素值，其中，待虚化图像中前景像素点的权重低于背景像素点的权重；利用权重和像素值对背景像素点进行虚化处理，得到虚化背景图；根据虚化背景图和前景像素点，得到虚化后的图像。上述方案，可实现图像虚化，且消除光晕问题。

Description

图像虚化方法、图像虚化装置、设备及存储装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像虚化方法、图像虚化装置、设备及存储装置。

背景技术

随着科技发展，人们对图像要求越来越高。例如，对于一些人物照或者特写照等图像，人们都希望图像能够实现虚化效果。然而，普通相机如手机相机，其拍摄的图像不能获取虚化效果，往往通过后期处理技术来完成图像虚化处理。

然而，目前图像虚化处理的效果并不理想，普遍存在光晕问题。光晕问题，也可以称作“颜色泄露”，具体地，即图像边界处前景颜色泄露到背景中，从而导致边界处有一圈模糊的过渡效果。因此，图像虚化而导致的光晕问题极其影响虚化观感。

发明内容

本申请主要是提供一种图像虚化方法、图像虚化装置、设备及存储装置，能够实现图像虚化，且消除光晕问题。

为了解决上述问题，本申请第一方面提供了一种图像虚化方法，包括：确定待虚化图像中包含的像素点的权重和像素值，其中，待虚化图像中前景像素点的权重低于背景像素点的权重；利用权重和像素值对背景像素点进行虚化处理，得到虚化背景图；根据虚化背景图和前景像素点，得到虚化后的图像。

因此，确定待虚化图像中包含的像素点的权重和像素值，并利用权重和像素值对背景像素点进行虚化处理，得到虚化背景图，由于利用了像素点的权重，从而减少前景颜色对背景颜色的影响；根据虚化背景图和前景像素点，从而得到虚化后的图像，即可实现图像虚化。由于前景像素点为待虚化图像的原始清晰前景，为虚化后的图像提供清晰前景，又由于虚化背景图为利用权重和像素值进行虚化处理而来，为虚化后的图像提供背景，从而使得虚化后的图像呈现前景清晰、背景虚化的效果，消除光晕问题，大大提高实现图像虚化处理的质量。

其中，所述利用所述权重和像素值对所述背景像素点进行虚化处理，得到虚化背景图，包括：利用所述权重分别对每个所述像素点的像素值进行加权，并根据加权后的像素值进行滤波处理，得到每个所述像素点的第一滤波结果；对每个所述像素点的权重进行滤波处理，得到每个所述像素点的第二滤波结果；利用每个所述像素点的第一滤波结果和第二滤波结果，得到虚化背景图。

因此，虚化背景图的获取方式是分别对加权后的像素值、像素点的权重进行滤波处理，获得滤波结果，进而得到虚化背景图。

其中，所述利用每个所述像素点的第一滤波结果和第二滤波结果，得到虚化背景图，包括：将每个所述像素点的第一滤波结果与第二滤波结果的商，作为所述虚化背景图对应像素点的像素值；或者，分别获取每个所述像素点的第二滤波结果与预设约束值的和，并将每个所述像素点的第一滤波结果与所述像素点对应的所述和之间的商，作为所述虚化背景图对应像素点的像素值。

因此，虚化背景图对应像素点的值是作商处理的结果，相当于进行了归一化，并且虚化背景图前景与背景交接的过渡部分全部由背景的虚化结果组成，大大减少前景颜色对背景颜色的影响。

其中，所述利用所述权重分别对每个所述像素点的像素值进行加权，并根据加权后的像素值进行滤波处理，得到每个所述像素点的第一滤波结果，包括：利用所述权重分别对每个所述像素点的值进行加权，得到每个所述像素点的加权结果；利用预设滤波函数对每个所述像素点的加权结果进行滤波处理，得到每个所述像素点的第一滤波结果；所述对每个所述像素点的权重进行滤波处理，得到每个所述像素点的第二滤波结果，包括：利用预设滤波函数对每个所述像素点的权重进行滤波处理，得到每个所述像素点的第二滤波结果。

因此，获取加权结果并进行滤波处理的过程是对整个待虚化图像进行加权平均的过程，使得每个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到，并利用预设滤波函数进行滤波处理，使得最终的虚化背景图可观性强。

其中，所述确定待虚化图像中包含的像素点的权重，包括：确定所述待虚化图像中前景像素点、背景像素点和过渡像素点，其中，所述过渡像素点为所述待虚化图像中除所述前景像素点和背景像素点以外的像素点；分别确定所述待虚化图像中的前景像素点、背景像素点和过渡像素点的权重，其中，所述过渡像素点的权重大于所述前景像素点的权重且小于所述背景像素点的权重。

因此，分别确定待虚化图像中前景像素点、背景像素点和过渡像素点，而后得到对应的权重，可对位于待虚化图像不同位置的像素点赋予不同大小的权重。

其中，所述确定所述待虚化图像中的过渡像素点的权重，包括：获取所述待虚化图像中所述过渡像素点的深度信息和前景深度信息；并基于所述过渡像素点的深度信息与所述前景深度信息之间的差值，确定所述过渡像素点的权重，其中，所述前景深度信息是基于至少一个所述前景像素点的深度信息得到；或者，根据所述待虚化图像的前景分割结果获取所述过渡像素点属于前景的概率，并基于所述概率确定所述过渡像素点的权重；或者，按照所述过渡像素点与所述前景像素点之间的距离以及所述过渡像素点与所述背景像素点之间的距离，确定所述过渡像素点的权重。

因此，提供确定待虚化图像中的过渡像素点的权重的不同方式，包括根据过渡像素点的深度信息与所述前景深度信息之间的差值，而确定过渡像素点的权重；可以根据其属于前景的概率而确定其权重值；还可以根据过渡像素点与前景像素点之间的距离以及过渡像素点与背景像素点之间的距离，而确定其权重值。

其中，所述差值与所述过渡像素点的权重正相关；或者，所述过渡像素点属于前景的概率与所述过渡像素点的权重负相关；或者，所述过渡像素点到前景像素点的距离与所述过渡像素点的权重正相关，所述过渡像素点到背景像素点的距离与所述过渡像素点的权重负相关。

因此，针对待虚化图像中的过渡像素点的权重的不同获取方式，明确权重的对应关系。

为解决上述问题，本申请第二方面提供了一种图像虚化装置，包括：确定模块、虚化模块和获得模块；其中确定模块，用于确定待虚化图像中包含的像素点的权重和像素值，其中，所述待虚化图像中前景像素点的权重低于背景像素点的权重；虚化模块，用于利用所述权重和像素值对所述背景像素点进行虚化处理，得到虚化背景图；获得模块，用于根据所述虚化背景图和所述前景像素点，得到虚化后的图像。。

因此，确定模块确定待虚化图像中包含的像素点的权重和像素值后，虚化模块利用权重和像素值对背景像素点进行虚化处理，得到虚化背景图，获得模块即可根据虚化背景图和所述前景像素点，得到虚化后的图像，该虚化后的图像呈现前景清晰、背景虚化的效果，消除光晕问题，大大提高实现图像虚化处理的质量。

为解决上述问题，本申请第三方面提供了一种图像虚化设备，包括相互耦接的处理器和存储器，其中，处理器用于执行存储器存储的计算机程序以执行上述第一方面的图像虚化方法。

因此，处理器执行存储器存储的计算机程序，从而实现待虚化图像的虚化。另外，由于前景像素点为待虚化图像的原始清晰前景，为虚化后的图像提供清晰前景，又由于虚化背景图为利用权重和像素值进行虚化处理而来，为虚化后的图像提供背景，从而使得虚化后的图像呈现前景清晰、背景虚化的效果，消除光晕问题，大大提高实现图像虚化处理的质量。

为解决上述问题，本申请第四方面提供了一种存储装置，存储有能够实现上述第一方面的图像虚化方法的计算机程序。

因此，存储装置存储的计算机程序，可实现图像虚化。另外，由于前景像素点为待虚化图像的原始清晰前景，为虚化后的图像提供清晰前景，又由于虚化背景图为利用权重和像素值进行虚化处理而来，为虚化后的图像提供背景，从而使得虚化后的图像呈现前景清晰、背景虚化的效果，消除光晕问题，大大提高实现图像虚化处理的质量。

附图说明

图1是本申请图像虚化方法一实施例的流程示意图；

图2是本申请图像虚化方法一实施例步骤S120的流程示意图；

图3是本申请图像虚化装置一实施例的框架示意图；

图4是本申请图像虚化设备一实施例的结构示意图；

图5是本申请存储装置一实施例的框架示意图；

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

请参阅图1，图1是本申请图像虚化方法一实施例的流程示意图。具体而言，本实施例方法包括以下步骤：

步骤S110：确定待虚化图像中包含的像素点的权重和像素值，其中，待虚化图像中前景像素点的权重低于背景像素点的权重。

待虚化图像可以由任意图像采集器件采集得到，例如可以为普通相机，如但不限于手机相机，也可以为单反相机，在此不作任何限定。值得注意的是，对图像进行光斑虚化时，虚化力度远大于普通虚化，从而更容易在待虚化图像的前景与背景交接的过渡部分产生光晕问题。由此，本申请提供一些图像虚化方法实施例，以消除光晕问题。

本文的待虚化图像包含前景部分和背景部分。换言之，该待虚化图像中包含前景像素点和背景像素点，可确定待虚化图像中的前景像素点和背景像素点，并根据像素点为前景像素点或背景像素点来确定其权重。其中，前景像素点的权重低于背景像素点的权重，例如，前景像素点的权重为0，背景像素点的权重为1。当然，在其他实施例中，前景像素点和背景像素点的权重可设置为其他数值，本申请不做具体限定，只要前景像素点权重低于背景像素点的权重即可。

可以理解的是，待虚化图像还可能包含前景像素点和背景像素点以外的像素点，即属于前景和背景之间过渡部分的过渡像素点，该过渡像素点即为不明确属于前景或背景的。此时，可确定待虚化图像中的前景像素点、背景像素点以及过渡像素点，并根据像素点为前景像素点、背景像素点或过渡像素点来其确定权重。其中，前景像素点的权重低于背景像素点的权重，而过渡像素点的权重大于前景像素点的权重且小于背景像素点的权重。

具体地，上述待虚化图像中的前景像素点、背景像素点以及过渡像素点的确定，可根据待虚化图像的深度信息确定，例如，将深度信息大于或等于第一预设深度值的像素点确定为前景像素点，将深度信息小于或等于第二预设深度值的像素点确定为背景像素点，将深度信息大于第二预设深度值且小于第一预设深度值的像素点确定为过渡像素点。又或者，可对待虚化图像进行前景分割，得到包含各像素点属于前景的概率的前景分割结果，基于该前景分割结果，将属于前景的概率为1的像素点确定为前景像素点，将属于前景的概率为0的像素点确定为背景像素点，将属于前景的概率大于0值且小于1的像素点确定为过渡像素点。

在确定前景像素点、背景像素点以及过渡像素点之后，则可进一步确定其权重。在一具体应用场景中，确定待虚化图像中每个像素点的权重时，可以将待虚化图像中的前景像素点的权重为0，待虚化图像中的背景像素点的权重为1，待虚化图像中的过渡像素点的权重大于0且小于1，例如为0.3、0.5、0.7等。

其中，该过渡像素点的权重值具体可根据其深度信息、前景分割结果、与前景像素点之间的距离等进行确定。

在一些实施例中，过渡像素点的权重可以根据过渡像素点的深度信息与前景深度信息之间的差值，而确定过渡像素点的权重。待虚化图像的像素点的深度信息指示图像的景深层次，从而可利用深度信息确定像素点的权重。具体地，获取待虚化图像中过渡像素点的深度信息和前景深度信息，前景深度信息是基于至少一个前景像素点的深度信息得到的，例如，前景深度信息为所有前景像素点的深度信息的平均值；获取过渡像素点的深度信息与前景深度信息之间的差值，该差值与过渡像素点的权重可以为正相关(即差值越小，过渡像素点的权重越小)，从而基于过渡像素点的深度信息与前景深度信息之间的差值，确定过渡像素点的权重。例如，可预先设置不同深度差值范围所对应的权重，该预设设置的权重大于0且小于1，且深度差值越小，对应的权重越小；故在确定过渡像素点权重时，统计待虚化图像中的前景像素点的深度信息的平均值以作为前景深度信息，并获取过渡像素点的深度信息与前景深度信息之间的差值，在该预先设置的不同深度差值范围中查找出该差值所属于的深度差值范围，并获取与该深度差值范围对应的权重作为该过渡像素点的权重。

在一些实施例中，过渡像素点的权重可以根据其属于前景的概率而确定其权重值。具体地，根据待虚化图像的前景分割结果获取过渡像素点属于前景的概率，并基于概率确定过渡像素点的权重。其中，过渡像素点属于前景的概率与过渡像素点的权重可以为负相关(即概率越大，过渡像素点的权重越小)。在一具体应用场景中，利用算法检测人像等生物体，将人像作为待虚化图像的前景，除人像以外的待虚化图像作为待虚化图像的背景，利用人像分割技术将前景与背景分割，获得前景分割结果。从前景分割结果中获取每个过渡像素点属于前景的概率，若该过渡像素点属于前景的概率越高，则对应的权重越接近0。例如，可预先设置不同概率范围所对应的权重，该预设设置的权重大于0且小于1，且概率越大，对应的权重越小；故在确定过渡像素点权重时，从前景分割结果中获取过渡像素点属于前景的概率，在该预先设置的不同概率范围中查找出该概率所属于的概率范围，并获取与该概率范围对应的权重作为该过渡像素点的权重。

在一些实施例中，过渡像素点的权重可以根据过渡像素点与前景像素点之间的距离和/或过渡像素点与背景像素点之间的距离，而确定其权重值。具体地，过渡像素点到前景像素点的距离与过渡像素点的权重可以为正相关，过渡像素点到背景像素点的距离与过渡像素点的权重可以为负相关。例如，确定待虚化图像中与一过渡像素点最近的前景像素点和背景像素点，获取该过渡像素点与最近前景像素点之间的前景距离，以及过渡像素点与最近背景像素点之间的背景距离，可从预存的不同前景距离与权重的对应关系中，选择与该前景距离对应的权重作为过渡像素点的权重，其中前景距离越大，过渡像素点的权重越大；或者，获取前景距离与背景距离之间的比值，基于该比值确定过渡像素点的权重，其中，比值越小，过渡像素点的权重越大。

在一实施例中，确定待虚化图像中包含的像素点的权重时，可利用获取待虚化图像的掩码图中的像素值确定。例如，利用掩码图中对应待虚化图像的不同像素点的像素值，确定待虚化图像中对应像素点的权重。其中，掩码图的每个像素点的像素值表示待虚化图像对应像素点是前景像素点、背景像素点和过渡像素点，即掩码图能够区分待虚化图像的前景、背景和过渡部分。掩码图中每个像素点的像素值与待虚化图像的像素点的像素值一一对应，掩码图的像素值大小对应待虚化图像的像素点是前景或背景的可能性，即掩码图的像素值的大小可以与待虚化图像的对应像素点为前景的概率成正比或反比。例如，待虚化图像的像素点属于前景的概率越高，则掩码图中的对应像素值越小，由此，掩码图中表示待虚化图像对应像素点是前景像素点的像素值最小，掩码图中表示待虚化图像对应像素点是背景像素点的像素值最大。

在获取待虚化图像的掩码图时，可利用待虚化图像中的深度信息，确定待虚化图像的掩码图；也可以利用待虚化图像的前景分割结果如人像分割结果，确定待虚化图像的掩码图。待虚化图像的深度信息指示图像的景深层次，利用深度信息得到待虚化图像的掩码图，例如，通过双目相机图像计算得到的深度图信息，凸显景深而产生的层次效果。对于待虚化图像中包含如但不限于人等生物体的实施例中，可以将该生物体作为前景部分，以人像为例，可利用算法检测人像，将人像与背景分割，获得待虚化图像的人像分割结果，基于人像分割结果，人像所在区域的掩码图的像素值对应到待虚化图像的像素点属于前景。

在一具体实施例中，在获取待虚化图像的掩码图之后，可基于掩码图的每个像素点的像素值，确定待虚化图像中对应像素点的权重。具体如，掩码图中表示待虚化图像对应像素点是前景像素点的像素值为0，掩码图中表示待虚化图像对应像素点是背景像素点的像素值为1，掩码图中表示属于待虚化图像的前景和背景之间的过渡部分的像素点的像素值大于0且小于1，且表示对应过渡部分的像素点属于前景的概率越高，掩码图中对应的像素值越接近0。故，直接将掩码图的每个像素值作为待虚化图像中对应像素点的权重。

又例如，掩码图中表示待虚化图像对应像素点是前景像素点的像素值为0，掩码图中表示待虚化图像对应像素点是背景像素点的像素值为255，掩码图中属于待虚化图像的前景和背景之间的过渡部分的像素点的像素值大于0且小于255，且表示对应过渡部分的像素点属于前景的概率越高，掩码图中对应的像素值越接近0，如上，可直接将掩码图中的像素值作为待虚化图像的像素点的权重，于是，待虚化图像的前景像素点的权重为0，待虚化图像的背景像素点的权重为255，属于待虚化图像的前景和背景之间的过渡部分的像素点的权重为大于0且小于255的值。当然，也可以将掩码图转换成0至1范围内，再利用该转换后的掩码图确定权重。具体地，将掩码图中的每个像素值除以该掩码图中的最大像素值，得到转换后的掩码图。本例中将原掩码图中每个像素值除以255即可得到转换后的掩码图。故在得到转换后的掩码图之后，再将转换后的掩码图的每个像素值作为待虚化图像中对应像素点的权重。

步骤S120：利用权重和像素值对背景像素点进行虚化处理，得到虚化背景图。

为获取虚化背景图，利用待虚化图像中包含的像素点的权重和像素值对背景像素点进行虚化处理。虚化处理为对像素点的像素值或权重进行滤波处理，得到滤波结果，进而利用滤波结果得到虚化背景图。具体请参阅图2，图2是本申请图像虚化方法一实施例步骤S120的流程示意图。具体而言，步骤S120包括以下步骤：

步骤S121：利用权重分别对每个像素点的像素值进行加权，并根据加权后的像素值进行滤波处理，得到每个像素点的第一滤波结果。

为对待虚化图像进行虚化处理，本申请涉及第一滤波结果和第二滤波结果，并且两者均通过图像滤波方式得以实现。

为获取到待虚化图像每个像素点的第一滤波结果，具体步骤如下：利用权重分别对每个像素点的值进行加权，得到每个像素点的加权结果，再利用预设滤波函数对每个像素点的加权结果进行滤波处理，得到每个像素点的第一滤波结果。获取加权结果并进行滤波处理的过程是对整个待虚化图像进行加权平均的过程，使得每个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到。预设滤波函数可以为高斯滤波函数等的滤波函数，在此不作任何限定。

步骤S122：对每个像素点的权重进行滤波处理，得到每个像素点的第二滤波结果。

利用预设滤波函数对每个像素点的权重进行滤波处理，得到每个像素点的第二滤波结果。与获取第一滤波结果不同的是，第二滤波结果直接对像素点的权重进行滤波处理。预设滤波函数可以为高斯滤波函数等现有技术中的滤波函数，在此不作任何限定。

可以理解的，上述第一滤波结果与第二滤波结果的获取顺序不作限定。也即，在另一实施例中，可先对每个像素点的权重进行滤波处理，得到每个像素点的第二滤波结果，然后利用权重分别对每个像素点的值进行加权得到加权结果后并对加权结果进行滤波处理，得到每个像素点的第一滤波结果，或者将该两个步骤同步进行。

步骤S123：利用每个像素点的第一滤波结果和第二滤波结果，得到虚化背景图。

在本实施例中，获取到第一滤波结果和第二滤波结果后，将每个像素点的第一滤波结果与第二滤波结果的商，作为虚化背景图对应像素点的像素值。虚化背景图对应像素点的像素值是作除处理的结果，相当于进行了归一化。如前，第一滤波结果对应的是利用权重对像素点的像素值进行加权后的加权结果，而第二滤波结果对应的是像素点的权重，两者均运用到待虚化图像的像素点的权重，而虚化背景图对应像素点的像素值是作除处理的结果，相当于进行了归一化。若直接对整个待虚化图像进行滤波处理后得到虚化后的图像，该虚化后的图像的前景与背景交接的过渡部分中，前景颜色会泄露到背景中，导致光晕问题严重，而本申请虚化背景图的前景与背景交接的过渡部分全部由背景的虚化结果组成，大大减少前景颜色对背景颜色的影响，得到的虚化背景图背景部分虚化观感强。

在一些实施例中，为预防上述归一化作商时除数为零，使得像素点的第一滤波结果与第二滤波结果的商不符合计算要求，可将像素点的第二滤波结果与预设约束值的和作为上述作商时中的除数。具体地，在得到虚化背景图时，分别获取每个像素点的第二滤波结果与预设约束值的和，并将每个像素点的第一滤波结果与该像素点的对应和之间的商，作为虚化背景图对应像素点的像素值。例如，在上述步骤得到的像素点x_i的第一滤波结果为f(x_i·m_i),第二滤波结果为f(m_i),故得到虚化背景图中对应像素点x_i的值为

其中，m_i为像素点x_i的权重，ε为预设约束值。

具体地，预设约束值为小于或等于1/256的正数，例如为0.0001。预设约束值使得第一滤波结果与第二滤波结果相除时，分母不为零即可，具体数值为小于或等于1/256的任意正数。同时，因预设约束值数值较小，也不会对商结果产生较大影响。

步骤S130：根据虚化背景图和前景像素点，得到虚化后的图像。

前景像素点为虚化后的图像提供清晰的前景，虚化背景图为虚化后的图像提供虚化的背景。故将虚化背景图和前景像素点融合后，可以得到前景清晰、背景虚化的虚化后的图像。

在一实施例中，利用前述掩码图，从虚化背景图中获得背景部分的像素点；利用待虚化图像的前景像素点获得虚化后的图像的前景部分；融合获得的背景部分和前景部分，获得虚化后的图像。具体如，掩码图中表示待虚化图像对应像素点是前景像素点的像素值为0，掩码图中表示待虚化图像对应像素点是背景像素点的像素值为1，掩码图中表示属于待虚化图像的前景和背景之间的过渡部分的像素点的像素值大于0且小于1。利用公式

对虚化背景图和前景像素点进行处理，得到虚化后的图像。其中，y_i为虚化后的图像中第i像素点的值，

为虚化背景图中第i像素点的值，

为待虚化图像的前景像素点中第i像素点的值，α_i为掩码图中第i像素点的值。即，将虚化背景图中第i像素点的值与掩码图中第i像素点的值相乘，得到虚化后的图像背景的像素点的值；而用1与掩码图中第i像素点之间的差值，再与待虚化图像的前景像素点中第i像素点的值相乘，得到虚化后的图像前景的像素点的值；最后将虚化后的图像前景的像素点的值与虚化后的图像背景的像素点的值相加，即可获得整个虚化后的图像。可以理解的是，若该掩码图的像素值超过0至1的范围，如掩码图中表示待虚化图像对应像素点是前景像素点的像素值为0，掩码图中表示待虚化图像对应像素点是背景像素点的像素值为255，掩码图中属于待虚化图像的前景和背景之间的过渡部分的像素点的像素值大于0且小于255，则可将该掩码图的每个像素值除以255以得到0至1范围的掩码图，然后在利用该掩码图进行上述融合步骤。

相较于直接对整个待虚化图像进行滤波处理后得到虚化背景图像时，本申请前景像素点的权重低于背景像素点的权重，并利用权重和像素值对背景像素点进行虚化处理，得到虚化背景图，与待虚化图像的前景像素点融合得到的虚化后的图像，减少前景颜色对背景颜色的影响，可基本消除光晕问题，故本实施例虚化得到的图像能够得到较强的虚化观感。

通过上述方式，确定待虚化图像中包含的像素点的权重和像素值，其中，待虚化图像中前景像素点的权重低于背景像素点的权重；利用权重和像素值对背景像素点进行虚化处理，得到虚化背景图，由于利用了像素点的权重，从而减少前景颜色对背景颜色的影响；根据虚化背景图和前景像素点，从而得到虚化后的图像，即可实现图像虚化。由于前景像素点为待虚化图像的原始清晰前景，为虚化后的图像提供清晰前景，又由于虚化背景图为利用权重和像素值进行虚化处理而来，为虚化后的图像提供背景，从而使得虚化后的图像呈现前景清晰、背景虚化的效果，消除光晕问题，大大提高实现图像虚化处理的质量。

请参阅图3，图3为本申请图像虚化装置一实施例的结构示意图。如图3所示，该图像虚化装置30包括确定模块31、虚化模块32和获得模块33；其中，确定模块31，用于确定待虚化图像中包含的像素点的权重和像素值，其中，待虚化图像中前景像素点的权重低于背景像素点的权重；虚化模块32，用于利用权重和像素值对背景像素点进行虚化处理，得到虚化背景图；获得模块33，用于根据虚化背景图和前景像素点，得到虚化后的图像。

在一实施例中，虚化模块32包括第一滤波单元、第二滤波单元和获得单元。其中，第一滤波单元，用于利用权重分别对每个像素点的像素值进行加权，并根据加权后的像素值进行滤波处理，得到每个像素点的第一滤波结果；第二滤波单元，用于对每个像素点的权重进行滤波处理，得到每个像素点的第二滤波结果；获得单元，用于利用每个像素点的第一滤波结果和第二滤波结果，得到虚化背景图。

在一实施例中，虚化模块32的获得单元还用于将每个像素点的第一滤波结果与第二滤波结果的商，作为虚化背景图对应像素点的像素值；或者，分别获取每个像素点的第二滤波结果与预设约束值的和，并将每个像素点的第一滤波结果与像素点对应的和之间的商，作为虚化背景图对应像素点的像素值。

在一实施例中，虚化模块32的第一滤波单元用于利用权重分别对每个像素点的值进行加权，得到每个像素点的加权结果；利用预设滤波函数对每个像素点的加权结果进行滤波处理，得到每个像素点的第一滤波结果。而虚化模块32的第二滤波单元用于利用预设滤波函数对每个像素点的权重进行滤波处理，得到每个像素点的第二滤波结果。

在一实施例中，确定模块31还用于确定待虚化图像中前景像素点、背景像素点和过渡像素点，其中，过渡像素点为待虚化图像中除前景像素点和背景像素点以外的像素点；分别确定待虚化图像中的前景像素点、背景像素点和过渡像素点的权重，其中，过渡像素点的权重大于前景像素点的权重且小于背景像素点的权重。

在一实施例中，确定模块31还用于获取待虚化图像中过渡像素点的深度信息和前景深度信息；并基于过渡像素点的深度信息与前景深度信息之间的差值，确定过渡像素点的权重，其中，前景深度信息是基于至少一个前景像素点的深度信息得到；或者，根据待虚化图像的前景分割结果获取过渡像素点属于前景的概率，并基于概率确定过渡像素点的权重；按照过渡像素点与前景像素点之间的距离以及过渡像素点与背景像素点之间的距离，确定过渡像素点的权重。进一步地，差值与过渡像素点的权重正相关；或者，过渡像素点属于前景的概率与过渡像素点的权重负相关；或者，过渡像素点到前景像素点的距离与过渡像素点的权重正相关，过渡像素点到背景像素点的距离与过渡像素点的权重负相关。

请参阅图4，图4为本申请图像虚化设备一实施例的框架示意图。具体而言，本实施例中图像虚化设备40包括相互耦接的处理器41和存储器42，其中，处理器41用于执行存储器42存储的计算机程序以执行上述的图像虚化方法。

处理器41控制存储器42及其自身以实现上述图像虚化方法任一实施例的步骤。处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器41可以由多个成电路芯片共同实现。

在一实施例中，图像虚化设备40还可以进一步包括摄像器件43，处理器41还用于控制摄像器件43，以使摄像器件43对图像拍摄，得到待虚化图像。在另一实施例中，图像虚化设备40也可以不包括摄像器件43，图像虚化设备40包括通信电路，处理器41通过通信电路与外部摄像器件连接，以获取得到外部摄像器件拍摄得到的待虚化图像。

请参阅图5，图5为本申请存储装置50一实施例的框架示意图。本申请存储装置50存储有能够被处理器运行的程序指501，程序指令501用于实现上述任一图像虚化方法的实施例中步骤。

该存储装置50具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令501的介质，或者也可以为存储有该程序指令501的服务器，该服务器可将存储的程序指令501发送给其他设备运行，或者也可以自运行该存储的程序指令501。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种图像虚化方法，其特征在于，包括：

确定待虚化图像中包含的像素点的权重和像素值，其中，所述待虚化图像中前景像素点的权重低于背景像素点的权重；

利用所述权重和像素值对所述背景像素点进行虚化处理，得到虚化背景图；

根据所述虚化背景图和所述前景像素点，得到虚化后的图像。

2.根据权利要求1所述的方法，其特征在于，所述利用所述权重和像素值对所述背景像素点进行虚化处理，得到虚化背景图，包括：

利用所述权重分别对每个所述像素点的像素值进行加权，并根据加权后的像素值进行滤波处理，得到每个所述像素点的第一滤波结果；

对每个所述像素点的权重进行滤波处理，得到每个所述像素点的第二滤波结果；

利用每个所述像素点的第一滤波结果和第二滤波结果，得到虚化背景图。

3.根据权利要求2所述的方法，其特征在于，所述利用每个所述像素点的第一滤波结果和第二滤波结果，得到虚化背景图，包括：

将每个所述像素点的第一滤波结果与第二滤波结果的商，作为所述虚化背景图对应像素点的像素值；或者，

分别获取每个所述像素点的第二滤波结果与预设约束值的和，并将每个所述像素点的第一滤波结果与所述像素点对应的所述和之间的商，作为所述虚化背景图对应像素点的像素值。

4.根据权利要求2所述的方法，其特征在于，所述利用所述权重分别对每个所述像素点的像素值进行加权，并根据加权后的像素值进行滤波处理，得到每个所述像素点的第一滤波结果，包括：

利用所述权重分别对每个所述像素点的值进行加权，得到每个所述像素点的加权结果；

利用预设滤波函数对每个所述像素点的加权结果进行滤波处理，得到每个所述像素点的第一滤波结果；

所述对每个所述像素点的权重进行滤波处理，得到每个所述像素点的第二滤波结果，包括：

利用预设滤波函数对每个所述像素点的权重进行滤波处理，得到每个所述像素点的第二滤波结果。

5.根据权利要求1所述的方法，其特征在于，所述确定待虚化图像中包含的像素点的权重，包括：

确定所述待虚化图像中前景像素点、背景像素点和过渡像素点，其中，所述过渡像素点为所述待虚化图像中除所述前景像素点和背景像素点以外的像素点；

分别确定所述待虚化图像中的前景像素点、背景像素点和过渡像素点的权重，其中，所述过渡像素点的权重大于所述前景像素点的权重且小于所述背景像素点的权重。

6.根据权利要求5所述的方法，其特征在于，所述确定所述待虚化图像中的过渡像素点的权重，包括：

获取所述待虚化图像中所述过渡像素点的深度信息和前景深度信息；并基于所述过渡像素点的深度信息与所述前景深度信息之间的差值，确定所述过渡像素点的权重，其中，所述前景深度信息是基于至少一个所述前景像素点的深度信息得到；或者，

根据所述待虚化图像的前景分割结果获取所述过渡像素点属于前景的概率，并基于所述概率确定所述过渡像素点的权重；或者，

按照所述过渡像素点与所述前景像素点之间的距离和/或所述过渡像素点与所述背景像素点之间的距离，确定所述过渡像素点的权重。

7.根据权利要求6所述的方法，其特征在于，所述差值与所述过渡像素点的权重正相关；或者，

所述过渡像素点属于前景的概率与所述过渡像素点的权重负相关；或者，

所述过渡像素点到前景像素点的距离与所述过渡像素点的权重正相关，所述过渡像素点到背景像素点的距离与所述过渡像素点的权重负相关。

8.一种图像虚化装置，其特征在于，包括：

确定模块，用于确定待虚化图像中包含的像素点的权重和像素值，其中，所述待虚化图像中前景像素点的权重低于背景像素点的权重；

虚化模块，用于利用所述权重和像素值对所述背景像素点进行虚化处理，得到虚化背景图；

获得模块，用于根据所述虚化背景图和所述前景像素点，得到虚化后的图像。

9.一种图像虚化设备，其特征在于，包括相互耦接的处理器和存储器，其中，

所述处理器用于执行所述存储器存储的计算机程序以执行权利要求1至7任一项所述的方法。

10.一种存储装置，其特征在于，存储有能够实现如权利要求1-7中任一项所述方法的计算机程序。

Images