CN111583104B - 光斑虚化方法及装置、存储介质、计算机设备 - Google Patents

Abstract

一种光斑虚化方法及装置、存储介质、计算机设备，所述方法包括：获取原始图像；获取所述原始图像对应的光斑模板；对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像；对得到的映射图像和所述光斑模板进行加权计算，得到光斑效果图像；对光斑效果图像执行亮部拉伸的逆运算，得到光斑虚化图像。通过该方法，能够在节约硬件成本的同时，提高光斑虚化的效果。

Description

光斑虚化方法及装置、存储介质、计算机设备

技术领域

本发明涉及图像处理领域，尤其涉及一种光斑虚化方法及装置、存储介质、计算机设备。

背景技术

随着智能手机和拍照设备的发展，摄像功能在用户手机中的功能越来越重要。其中大光圈效果是摄像的重要和创意的应用之一，其模拟单反的散焦效果，突出主题，虚化背景。单反在对背景虚化时，当非景深范围存在高亮的物体，比如夜景灯光、烛光、阳光下树叶间的缝隙，会在这些区域形成瑰丽的焦外光斑效果。其中，光斑为在图像虚化模糊中,对有光源区域进行高亮表现的一种艺术效果。

然而，对于一些智能手机、低成本的成像设备中由于硬件特性和成本，光圈小，不能实现直接自然的光斑虚化效果。现有技术也可利用数字图像处理技术模拟实现光斑虚化效果，也即实现光学的大光圈效果，能获得突出主体、虚化背景的散焦效果的图像，也称为焦外成像、散景(Bokeh)图像。发明人经研究发现，现有的利用数字图像处理技术实现图像的光斑虚化方法的效果较差。

由此亟需一种光斑虚化的方法，能够在节约硬件成本的同时，提高光斑虚化的效果。

发明内容

本发明解决的技术问题是在节约硬件成本的同时，提高光斑虚化的效果。

为解决上述技术问题，本发明实施例提供一种光斑虚化方法，所述方法包括：获取原始图像；获取所述原始图像对应的光斑模板；对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像；对得到的映射图像和所述光斑模板进行加权计算，得到光斑效果图像；对所述光斑效果图像执行亮部拉伸的逆运算，得到光斑虚化图像。

可选的，所述对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像，包括：对所述原始图像的部分或全部的像素按照以下公式进行幂次处理，得到原始图像的各个像素对应的映射像素，所述映射图像包括多个映射像素：lut(i)＝(i/(2ⁿ-1))^g；其中，lut(i)为原始图像中像素值为i的像素对应的映射像素值，i的取值范围为0到2ⁿ-1，n为原始图像中每一像素的比特值，g为大于1的预设实数。

可选的，所述对光斑效果图像执行亮部拉伸的逆运算，包括：按照以下公式对光斑效果图像中的像素进行计算，得到光斑效果图像中各个像素对应的处理像素，所述光斑虚化图像包括多个处理像素：lut’(map)＝map^-g×(2ⁿ-1)；其中，lut’(map)为光斑效果图像中像素值为map的像素对应的处理像素值，map的取值范围为0到1，n为原始图像中每一像素的比特值，g为大于1的预设实数。

可选的，所述对所述原始图像进行亮部拉伸之前，还包括：对所述原始图像进行降采样；所述对所述原始图像进行亮部拉伸，包括：对降采样后的原始图像进行亮部拉伸；所述得到光斑虚化图像之后，还包括：对所述光斑虚化图像进行上采样。

可选的，所述获取所述原始图像对应的光斑模板，包括：至少根据所述原始图像的尺寸、分辨率、颜色中的一个或多个特征获取匹配的光斑模板。

可选的，所述获取所述原始图像对应的光斑模板，包括：获取输入的模板选择指令，并根据所述模板选择指令获取对应的光斑模板。

可选的，所述获取原始图像之后，还包括：获取所述原始图像的一路颜色/亮度信号，并用获取的信号代替所述原始图像的信号。

本发明实施例还提供一种光斑虚化装置，所述装置包括：图像获取模块，用于获取原始图像；模板获取模块，用于获取所述原始图像对应的光斑模板；亮度拉伸模块，用于对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像；光斑添加模块，用于对得到的映射图像和所述光斑模板进行加权计算，得到光斑效果图像；图像生成模块，用于对所述光斑效果图像执行亮部拉伸的逆运算，得到光斑虚化图像。

本发明实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一项所述光斑虚化方法的步骤。

本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一项所述光斑虚化方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明实施例提供的光斑虚化方法，能够为获取的原始图像按照对应的光斑模板进行光斑虚化，在执行光斑虚化时，先对原始图像进行亮部拉伸，将原始图像的高灰度值区域细节进行增强，以提高光斑虚化的效果；且该方法的实现不依赖硬件设备，仅通过数字图像处理技术即可完成，能够有效节约硬件成本。

进一步地，可利用颜色查找表(Lookup Table，简称LUT)通过幂次变换对原始图像进行亮部拉伸，在幂次变换时为避免影响处理结果可对原始图像中的各个像素执行灰度值的归一化；同样地，可利用LUT的逆查表执行幂次变换的逆运算，并将归一化后各个像素的灰度值还原到与原始图像的各像素相同的比特数。

进一步地，在执行亮部拉伸前对原始图像进行降采样，可有效减少光斑虚化处理时的数据计算量，以提高处理效率。

进一步地，在对原始图像进行光斑虚化时，可由终端自动匹配，也可允许用户选择对应的光斑模板，实现个性化处理，更好地满足用户的需求。

进一步地，选择原始图像的一路颜色/亮度信号代替原始图像的信号，能够显著减少光斑虚化时的计算量，以提高处理效率。

附图说明

图1是本发明实施例一种光斑虚化方法的流程示意图；

图2是本发明实施例另一种光斑虚化方法的流程示意图；

图3是本发明实施例一种光斑虚化装置的结构示意图。

具体实施方式

如背景技术中所述，现有的利用数字图像处理技术实现图像的光斑虚化方法的效果较差。

为解决该问题，本发明实施例提供了一种光斑虚化方法及装置、存储介质、计算机设备，实现了在节约硬件成本的同时，提高光斑虚化的效果。该方案处理效率高、节约硬件成本，效果优美，实现媲美单反的散焦效果。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

请参见图1，图1是本发明实施例一种光斑虚化方法的流程示意图，该方法具体可以包括以下步骤：

步骤S101，获取原始图像；

原始图像为需要经过光斑虚化处理的图像，可以为通过手机、电脑等终端通过图像采集设备(如图像传感器等)获取的图像，该原始图像由多个像素组成。

可选的，原始图像可以为以红(Red，简写为R)、绿(Green，简写为G)、蓝(Blue，简写为B)三个颜色通道表示，也即RGB图像；也可以以亮度空间表示，如YUV空间或HSV空间；其中，YUV，包括三个分量，“Y”表示明亮度(Luminance或Luma)，也就是灰度值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。HSV空间是以色调(H)，饱和度(S)，明度(V)进行像素表示的空间。

需要说明的是，原始图像可采用包括但不限于上述列举的表示形式。

步骤S102，获取所述原始图像对应的光斑模板；

其中，光斑模板为根据常用的光斑形状、大小等特性设定的光斑类型，例如圆形光斑、正方形光斑、星形光斑等。光斑模板的大小可以表示为m×n，其中，m，n的取值范围可以为m＝1,3,5,…；n＝1,3,5,…；光斑模板的大小自由设定，光斑形状自由设定，自动生成掩模。

可选的，光斑模板可存储于实现图1所述的光斑虚化方法的设备端，以供该设备在执行光斑虚化时获取。

在获取原始图像后，为该原始图像匹配对应的光斑模板，可通过预设的匹配规则为原始图像选择合适的光斑模板。

可选的，预设的匹配规则可以根据原始图像的分辨率、尺寸等特征进行设定。

步骤S103，对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像；

亮部拉伸即将原始图像进行高灰度值(对应原始图像中的亮部)区域进行拉伸，以得到原始图像对应的映射图像。

可选的，可采用幂次变换的方式对原始图像进行亮部拉伸，幂次变换时的幂取大于1的值。

需要说明的是，对原始图像进行亮部拉伸的方法包括但不限于幂次变换，其他可实现亮部拉伸效果的方法都可用于步骤S103。

步骤S104，对得到的映射图像和所述光斑模板进行加权计算，得到光斑效果图像；

将步骤S103得到的映射图像与步骤S102获取的光斑模板进行加权计算，以对映射图像按照光斑模板进行虚化处理得到光斑虚化后的图像，也即光斑效果图像。

步骤S105，对所述光斑效果图像执行亮部拉伸的逆运算，得到光斑虚化图像。

与步骤S103相对应地，在得到光斑效果图像后，需要将之前亮部拉伸的图像进行还原，使得处理后的图像与原始图像除光斑效果外保持一致。通过对光斑效果图像执行亮部拉伸的逆运算，得到光斑虚化图像。

可选的，当步骤S103采用幂次变换的方式对原始图像进行亮部拉伸时，则可通过幂次变换的逆运算将亮部拉伸后的图像进行还原。

可选的，在执行步骤S103或步骤S104之前，可对原始图像进行降采样，以减少对原始图像进行亮部拉伸或加权计算时的计算量。

可选的，可设置仅对一原始图像的指定区域做光斑虚化处理，以满足用户个性化处理需求。

通过图1所述的光斑虚化方法，能够为获取的原始图像按照对应的光斑模板进行光斑虚化，在执行光斑虚化时，先对原始图像进行亮部拉伸，将原始图像的高灰度区域细节进行增强，以提高光斑虚化的效果；且该方法的实现不依赖硬件设备，仅通过数字图像处理技术即可完成，能够有效节约硬件成本。

在一个实施例中，步骤S103所述对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像，包括：对所述原始图像的部分或全部的像素按照以下公式(1)进行幂次处理，得到原始图像的各个像素对应的映射图像，所述映射图像包括多个映射像素：

lut(i)＝(i/(2ⁿ-1))^g (1)

其中，lut(i)为原始图像中像素值为i的像素对应的映射像素值，i的取值范围为0到2ⁿ-1，n为原始图像中每一像素的比特值，g为大于1的预设实数。映射像素值为映射像素的像素值。

具体地，在对原始图像利用每次变换实现亮部拉伸时，可先将该原始图像的灰度值进行归一化，原始图像包括多个像素，各个像素的像素值以i表示，且i的取值为0到2ⁿ-1，则归一化后的原始图像可以表示为1/(2ⁿ-1)。理由是若输入的图像矩阵是CV_8U格式时，若对其进行幂运算，大于255的值会自动截断为255，为避免自动截断影响处理结果，先对原始图像的灰度值进行归一化运算。其次，归一化后的值经过幂次计算最大值为1，能有效保证数据存储的正确性。如不归一化，幂次设置大，灰度值经过幂次计算会造成内存越界风险。

再对归一化的原始图像进行幂次处理，幂次g为大于1的预设实数，具体数值可根据需要设定，以获取希望得到的亮部拉伸效果。

可选的，步骤S103可通过颜色查找表(Lookup Table，简称LUT)实现。

进而，所述步骤S105中对光斑效果图像执行亮部拉伸的逆运算，包括：按照以下公式(2)对光斑效果图像中的像素进行计算，得到光斑效果图像中各个像素对应的处理像素，所述光斑虚化图像包括多个处理像素：

lut’(map)＝map^-g×(2ⁿ-1) (2)

其中，lut’(map)为光斑效果图像中像素值为map的像素对应的处理像素值，map的取值范围为0到1，n为原始图像中每一像素的比特值，g为大于1的预设实数。处理像素值为处理像素的像素值。

此时，同样利用LUT进行逆查表操作，对光斑效果图像进行幂次变换的还原，此时与公式(1)对应地，若步骤S103中对原始图像进行了归一化，则步骤S105也需要进行归一化的还原，对应公式(2)中计算与2ⁿ-1的乘积的部分。

本实施例中，可利用LUT通过幂次变换对原始图像进行亮部拉伸，在幂次变换时为避免影响处理结果可对原始图像中的各个像素执行灰度值的归一化；同样地，可利用LUT的逆查表执行幂次变换的逆运算，并将归一化后各个像素的灰度值还原到与原始图像的各像素相同的比特数。具体的计算方式可参见上述公式(1)和公式(2)。

在一个实施例中，请参见图2，图2是本发明实施例一种光斑虚化方法的部分流程示意图；步骤S103所述对所述原始图像进行亮部拉伸之前，还包括：步骤S201，对所述原始图像进行降采样；

步骤S103所述对所述原始图像进行亮部拉伸，可以进一步包括：步骤S202，对降采样后的原始图像进行亮部拉伸；

所述步骤S105得到光斑虚化图像之后，还包括：

步骤S203，对所述光斑虚化图像进行上采样。

也即在执行亮部拉伸操作前，先对原始图像进行降采样，以减小亮部拉伸时的计算量。同样地，在执行亮部拉伸的逆运算之后，再对得到的光斑虚化图像进行上采样。

可选的，对原始图像进行可按照1/k的比例进行金字塔降采样处理，其中k＝1，2，3，…,得到采样后的图像。

本实施例中，在执行亮部拉伸前对原始图像进行降采样，可有效减少光斑虚化处理时的数据计算量，以提高处理效率。

在一个实施例中，请继续参见图1，步骤S102所述获取所述原始图像对应的光斑模板，可以包括：至少根据所述原始图像的尺寸、分辨率、颜色中的一个或多个特征获取匹配的光斑模板。

步骤S102中，若自动匹配原始图像的光斑模板，可基于上述特征中的一个或多个进行自动匹配。

可选的，步骤S102所述获取所述原始图像对应的光斑模板，还可以包括：获取输入的模板选择指令，并根据所述模板选择指令获取对应的光斑模板。

模板选择指令是用户输入的用于选择光斑模板的指令，例如可在手机、电脑等设备的屏幕上展示可供用户选择的光斑模板，用户可选中其中一个或多个光斑模板作为本次处理的原始图像的光斑模板。

本实施例中，在对原始图像进行光斑虚化时，可由终端自动匹配，也可允许用户选择对应的光斑模板，实现个性化处理，更好地满足用户的需求。

在一个实施例中，请继续参见图1，步骤S101所述获取原始图像之后，还可以包括：获取所述原始图像的一路颜色/亮度信号，并用获取的信号代替所述原始图像的信号。

当原始图像包括多路信号时，如RGB颜色空间的原始图像包括R、G、B三路信号，可从中选择一路信号来代替原始图像。同样地，当原始图像包括多种亮度信号，如YUV空间的原始图像包含Y、U、V三种亮度信号，也可从中选择一路来代替原始图像。

本实施例中，选择原始图像的一路颜色/亮度信号代替原始图像的信号，能够显著减少光斑虚化时的计算量，以提高处理效率。

本发明实施例还提供一种光斑虚化装置30，请参见图3，该装置可以包括：

图像获取模块301，用于获取原始图像；

模板获取模块302，用于获取所述原始图像对应的光斑模板；

亮度拉伸模块303，用于对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像；

光斑添加模块304，用于对得到的映射图像和所述光斑模板进行加权计算，得到光斑效果图像；

图像生成模块305，用于对所述光斑效果图像执行亮部拉伸的逆运算，得到光斑虚化图像。

在一个实施例中，所述亮度拉伸模块303还可以用于对所述原始图像的部分或全部的像素按照以下公式进行幂次处理，得到原始图像的各个像素对应的映射像素，所述映射图像包括多个映射像素：

lut(i)＝(i/(2ⁿ-1))^g

其中，lut(i)为原始图像中像素值为i的像素对应的映射像素值，i的取值范围为0到2ⁿ-1，n为原始图像中每一像素的比特值，g为大于1的预设实数。

在一个实施例中，所述图像生成模块305还可以用于按照以下公式对光斑效果图像中的像素进行计算，得到光斑效果图像中各个像素对应的处理像素，所述光斑虚化图像包括多个处理像素：

lut’(map)＝map^-g×(2ⁿ-1)

其中，lut’(map)为光斑效果图像中像素值为map的像素对应的处理像素值，map的取值范围为0到1，n为原始图像中每一像素的比特值，g为大于1的预设实数。

在一个实施例中，图3所述的光斑虚化装置30还可以包括：

降采样模块，用于对所述原始图像进行降采样；

所述亮度拉伸模块303，还可以用于对降采样后原始图像进行亮部拉伸；

所述光斑虚化装置还可以包括：

上采样模块，用于对所述光斑虚化图像进行上采样。

在一个实施例中，图像获取模块301还可以用于至少根据所述原始图像的尺寸、分辨率、颜色中的一个或多个特征获取匹配的光斑模板。

在一个实施例中，模板获取模块302，还可以用于获取输入的模板选择指令，并根据所述模板选择指令获取对应的光斑模板。

在一个实施例中，图3所述的光斑虚化装置30还可以包括：

信号获取模块，用于获取所述原始图像的一路颜色/亮度信号，并用获取的信号代替所述原始图像的信号。

关于所述光斑虚化装置30的工作原理、工作方式的更多内容，可以参照图1至图2中的相关描述，这里不再赘述。

进一步地，本发明实施例还公开一种存储介质，其上存储有计算机指令，计算机指令运行时执行上述图1至图2所示实施例中的光斑虚化方法的技术方案。优选地，存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。存储介质可以包括ROM、RAM、磁盘或光盘等。

进一步地，本发明实施例还公开一种计算机设备，包括存储器和处理器，存储器上存储有能够在处理器上运行的计算机指令，处理器运行计算机指令时执行上述图1至图3所示实施例中的光斑虚化方法的技术方案。该计算机设备可指手机、电脑、服务器等。

具体地，在本发明实施例中，所述处理器可以为中央处理单元(centralprocessing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specificintegrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本申请实施例对此不做任何限定。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种光斑虚化方法，其特征在于，所述方法包括：

获取原始图像；

获取所述原始图像对应的光斑模板；

对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像；

对得到的映射图像和所述光斑模板进行加权计算，得到光斑效果图像；

对所述光斑效果图像执行亮部拉伸的逆运算，得到光斑虚化图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像，包括：

对所述原始图像的部分或全部的像素按照以下公式进行幂次处理，得到原始图像的各个像素对应的映射像素，所述映射图像包括多个映射像素：

lut(i)＝(i/(2ⁿ-1))^g

其中，lut(i)为原始图像中像素值为i的像素对应的映射像素值，i的取值范围为0到2ⁿ-1，n为原始图像中每一像素的比特值，g为大于1的预设实数。

3.根据权利要求2所述的方法，其特征在于，所述对光斑效果图像执行亮部拉伸的逆运算，包括：

按照以下公式对光斑效果图像中的像素进行计算，得到光斑效果图像中各个像素对应的处理像素，所述光斑虚化图像包括多个处理像素：

lut’(map)＝map^-g×(2ⁿ-1)

其中，lut’(map)为光斑效果图像中像素值为map的像素对应的处理像素值，map的取值范围为0到1，n为原始图像中每一像素的比特值，g为大于1的预设实数。

4.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行亮部拉伸之前，还包括：

对所述原始图像进行降采样；

所述对所述原始图像进行亮部拉伸，包括：

对降采样后的原始图像进行亮部拉伸；

所述得到光斑虚化图像之后，还包括：

对所述光斑虚化图像进行上采样。

5.根据权利要求1至4任一所述的方法，其特征在于，所述获取所述原始图像对应的光斑模板，包括：

至少根据所述原始图像的尺寸、分辨率、颜色中的一个或多个特征获取匹配的光斑模板。

6.根据权利要求1至4任一所述的方法，其特征在于，所述获取所述原始图像对应的光斑模板，包括：

获取输入的模板选择指令，并根据所述模板选择指令获取对应的光斑模板。

7.根据权利要求1至4任一所述的方法，其特征在于，所述获取原始图像之后，还包括：

获取所述原始图像的一路颜色/亮度信号，并用获取的信号代替所述原始图像的信号。

8.一种光斑虚化装置，其特征在于，所述装置包括：

图像获取模块，用于获取原始图像；

模板获取模块，用于获取所述原始图像对应的光斑模板；

亮度拉伸模块，用于对所述原始图像进行亮部拉伸，得到所述原始图像的映射图像；

光斑添加模块，用于对得到的映射图像和所述光斑模板进行加权计算，得到光斑效果图像；

图像生成模块，用于对所述光斑效果图像执行亮部拉伸的逆运算，得到光斑虚化图像。

9.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至7任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至7中任一项所述方法的步骤。

Images