CN115834860A - 背景虚化方法、装置、设备、存储介质和程序产品 - Google Patents

Abstract

本申请提供了一种背景虚化方法、装置、设备、存储介质和程序产品。该方法包括：通过获取两个摄像头当前的第一参数，然后获取当前的第一VCM值，并根据第一VCM值确定是否对第一参数进行优化，若确定对第一参数进行优化，对第一参数进行优化处理，并基于优化后的第一参数对当前图像进行背景虚化处理。若确定不对第一参数进行优化，则基于第一参数对当前图像进行背景虚化处理。本申请不需要摄像头模组的标定参数，可以根据当前拍摄场景确定是否对摄像头已知参数进行优化，使得当前拍摄场景所使用的参数精度更高，从而使背景虚化效果更佳。

Description

背景虚化方法、装置、设备、存储介质和程序产品

技术领域

本申请涉及图像处理技术领域，尤其涉及一种背景虚化方法、装置、设备、存储介质和程序产品。

背景技术

随着移动通信技术的发展，终端设备由单摄像头发展成双摄像头、三摄像头乃至更多摄像头。但是由于终端设备作为移动端，体积小，无法承载与单反相机同样的硬件，要实现浅景深的背景虚化效果，就需要依靠算法实现。

在相关技术中，在双摄像头的终端设备中，通常可以基于双摄的立体视觉实现背景虚化，具体的，可以获取场景的深度，根据拍摄主体与背景的景深不同进行识别，针对不同像素逐渐模糊，从而虚化背景。

但是，同一个场景由双摄像头拍摄的一对图像，由于两个摄像头具有不同的内参数，拍摄出的图像视角间有明显的空间变换和尺度差异，使得背景虚化效果不佳。

发明内容

本申请提供一种背景虚化方法、装置、设备、存储介质和程序产品，用以解决相关技术中双摄像头具有不同的内参数，拍摄出的图像视角间有明显的空间变换和尺度差异，使得背景虚化效果不佳的问题。

第一方面，本申请提供一种背景虚化方法，包括：

获取两个摄像头当前的第一参数；

获取当前的第一音圈马达VCM值；

根据所述第一VCM值，确定是否对所述第一参数进行优化；

若确定对所述第一参数进行优化，对所述第一参数进行优化处理，并基于优化后的第一参数对当前图像进行背景虚化处理；

若确定不对所述第一参数进行优化，则基于所述第一参数对所述当前图像进行背景虚化处理。

在一种可能的实施方式中，所述根据所述第一VCM值，确定是否对所述第一参数进行优化，包括：

获取前一次对图像进行背景虚化处理时记录的第二VCM值；

当所述第一VCM值与所述第二VCM值的差值小于或者等于预设阈值，确定不对所述第一参数进行优化；

当所述第一VCM值与所述第二VCM值的差值大于所述预设阈值，则确定对所述第一参数进行优化；

其中，所述第一参数包括两个摄像头传感器之间的物理距离和镜头焦距。

在一种可能的实施方式中，所述对所述第一参数进行优化处理，包括：

获取两个图像传感器拍摄到的两个第一图像；

确定两个第一图像中的特征点在三维空间中投影点的第一重投影误差；

基于所述第一重投影误差，构建第一误差函数；

基于所述第一误差函数，对所述第一参数进行优化处理，得到所述第一误差函数对应的第一误差值；

根据所述第一误差值，确定所述优化后的第一参数。

在一种可能的实施方式中，所述确定两个第一图像中的特征点在三维空间中投影点的第一重投影误差，包括：

对每个第一图像进行特征点检测，得到第一特征点，并对所述第一特征点进行均匀分布处理，得到第二特征点；

将两个第一图像对应的第二特征点进行相似度匹配，得到第一点集和第二点集，所述第一点集和所述第二点集中分别存储两个第一图像中匹配成功的第二特征点的坐标；

基于所述第一参数，确定所述第一点集和所述第二点集中的第二特征点在三维空间中投影点的第二重投影误差。

在一种可能的实施方式中，所述根据所述第一误差值，确定所述优化后的第一参数，包括：

当所述第一误差值小于或者等于预设阈值时，确定所述第一误差值对应的第一参数为优化后的第一参数；

当所述第一误差值大于预设阈值时，获取所述两个图像传感器新拍摄到的两个第二图像，并确定两个第二图像中的特征点在三维空间中投影点的第二重投影误差，基于所述第二重投影误差，构建第二误差函数，基于所述第二误差函数，对所述第一参数进行优化处理，得到所述第二误差函数对应的第二误差值，直至所述第二误差值小于或者等于所述预设阈值，确定所述第二误差值对应的第一参数为优化后的第一参数。

在一种可能的实施方式中，所述方法还包括：

记录本次背景虚化处理所使用的所述第一VCM值，所述第一VCM值用于确定下一次对图像进行背景虚化处理时使用的参数是否进行优化。

在一种可能的实施方式中，所述基于优化后的第一参数对当前图像进行背景虚化处理，包括：

基于所述优化后的第一参数，对两个图像传感器拍摄到的两个第一图像进行立体校正；

对校正后的两个第一图像进行立体匹配，得到参考图像对应的视差图，所述视差图中包括所述参考图像中每个像素点对应的视差值，所述参考图像为所述两个第一图像中的一个；

将所述视差图转换为深度图；

根据所述深度图，确定所述当前图像背景虚化后的图像。

第二方面，本申请提供一种背景虚化装置，包括：

第一获取模块，用于获取两个摄像头当前的第一参数；

第二获取模块，用于获取当前的第一音圈马达VCM值；

确定模块，用于根据所述第一VCM值，确定是否对所述第一参数进行优化；

第一处理模块，用于若确定对所述第一参数进行优化，对所述第一参数进行优化处理，并基于优化后的第一参数对当前图像进行背景虚化处理；

第二处理模块，用于若确定不对所述第一参数进行优化，则基于所述第一参数对所述当前图像进行背景虚化处理。

在一种可能的实施方式中，所述确定模块具体用于：

获取前一次对图像进行背景虚化处理时记录的第二VCM值；

当所述第一VCM值与所述第二VCM值的差值小于或者等于预设阈值，确定不对所述第一参数进行优化；

当所述第一VCM值与所述第二VCM值的差值大于所述预设阈值，则确定对所述第一参数进行优化；

其中，所述第一参数包括两个摄像头传感器之间的物理距离和镜头焦距。

在一种可能的实施方式中，所述第一处理模块具体用于：

获取两个图像传感器拍摄到的两个第一图像；

确定两个第一图像中的特征点在三维空间中投影点的第一重投影误差；

基于所述第一重投影误差，构建第一误差函数；

基于所述第一误差函数，对所述第一参数进行优化处理，得到所述第一误差函数对应的第一误差值；

根据所述第一误差值，确定所述优化后的第一参数。

在一种可能的实施方式中，所述第一处理模块具体用于：

对每个第一图像进行特征点检测，得到第一特征点，并对所述第一特征点进行均匀分布处理，得到第二特征点；

将两个第一图像对应的第二特征点进行相似度匹配，得到第一点集和第二点集，所述第一点集和所述第二点集中分别存储两个第一图像中匹配成功的第二特征点的坐标；

基于所述第一参数，确定所述第一点集和所述第二点集中的第二特征点在三维空间中投影点的第二重投影误差。

在一种可能的实施方式中，所述第一处理模块具体用于：

当所述第一误差值小于或者等于预设阈值时，确定所述第一误差值对应的第一参数为优化后的第一参数；

当所述第一误差值大于预设阈值时，获取所述两个图像传感器新拍摄到的两个第二图像，并确定两个第二图像中的特征点在三维空间中投影点的第二重投影误差，基于所述第二重投影误差，构建第二误差函数，基于所述第二误差函数，对所述第一参数进行优化处理，得到所述第二误差函数对应的第二误差值，直至所述第二误差值小于或者等于所述预设阈值，确定所述第二误差值对应的第一参数为优化后的第一参数。

在一种可能的实施方式中，所述装置还包括：

记录模块，用于记录本次背景虚化处理所使用的所述第一VCM值，所述第一VCM值用于确定下一次对图像进行背景虚化处理时使用的参数是否进行优化。

在一种可能的实施方式中，所述第一处理模块具体用于：

基于所述优化后的第一参数，对两个图像传感器拍摄到的两个第一图像进行立体校正；

对校正后的两个第一图像进行立体匹配，得到参考图像对应的视差图，所述视差图中包括所述参考图像中每个像素点对应的视差值，所述参考图像为所述两个第一图像中的一个；

将所述视差图转换为深度图；

根据所述深度图，确定所述当前图像背景虚化后的图像。

第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的背景虚化方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被计算机执行时用于实现如第一方面所述的背景虚化方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被计算机执行时用于实现第一方面所述的背景虚化方法。

第六方面，本申请实施例提供一种芯片，所述芯片上存储有计算机程序，所述计算机程序被所述芯片执行时使得第一方面所述的背景虚化方法被执行。

在一种可能的实施方式中，所述芯片为芯片模组中的芯片。

第七方面，本申请实施例提供一种模组设备，所述模组设备包括电源模组、存储模组以及芯片模组；

其中，所述电源模组用于为所述模组设备提供电能；

所述存储模组用于存储数据和指令；

所述芯片模组用于执行第一方面所述的背景虚化方法。

本申请提供的一种背景虚化方法、装置、设备、存储介质和程序产品，通过获取两个摄像头当前的第一参数，然后获取当前的第一VCM值，并根据第一VCM值确定是否对第一参数进行优化，若确定对第一参数进行优化，对第一参数进行优化处理，并基于优化后的第一参数对当前图像进行背景虚化处理。若确定不对第一参数进行优化，则基于第一参数对当前图像进行背景虚化处理。本申请不需要摄像头模组的标定参数，可以根据当前拍摄场景确定是否对摄像头已知参数进行优化，使得当前拍摄场景所使用的参数精度更高，从而使背景虚化效果更佳。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请适用的一种应用场景的示意图；

图2为本申请实施例一提供的一种背景虚化方法的流程示意图；

图3为本申请实施例二提供的另一种背景虚化方法的流程示意图；

图4为本申请示例的一个特征点对应的N对像素点的示意图；

图5为本申请示例的投影点的示意图；

图6为本申请实施例三提供的一种背景虚化装置的结构示意图；

图7为本申请实施例四提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

为了便于理解，首先对本申请所涉及的名词进行解释：

(1)标定：获取摄像头内参数以及外参数的过程。

(2)内参数：摄像头自身硬件参数，如主点坐标、焦距、镜头畸变等。

(3)外参数：两个摄像头的空间相对位置描述(旋转、平移)。

(4)基线：左右相机光心连线。

(5)极平面：两个摄像机光心决定的平面。

(6)极点：基线与两个摄像机图像平面的交点；

(7)极线：极平面与图像平面交线。

(8)视差：视差是从有一定距离的两个点上观察同一个目标所产生的方向差异。

(9)立体校正：图像立体校正通常是指对两幅图像分别进行一次平面投影变换，使两幅图像的对应极线在同一条水平向上，而极点被映射到无穷远处，这样可以使两幅图像只存在水平方向上的视差。

(10)立体匹配：立体匹配也称作视差估计，或者双目深度估计。其输入是一对在同一时刻捕捉到的经过极线校正的左右图像。立体匹配的输出是由参考图像(一般以左图作为参考图像)中每个像素对应的视差值所构成的视差图。

(11)深度：图像中每个像素相对拍摄源的距离。

(12)音圈马达(Voice Coil Motor，VCM)，通过VCM可以调节镜头的位置，实现对焦功能，呈现清晰的图像。

(13)主动测距：人为控制光源和声源对物体目标进行照射，根据物体表面的反射特性及光学、声学特性来获取被拍摄目标的三维信息。

(14)被动测距：不需要人为地设置辐射源，只利用场景在自然光照下的二维图像来重建景物的三维信息。

(15)特征点：可以简单理解为图像中比较显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。

(16)特征点匹配：匹配出两个不同视角的图像中的同一个特征点，描述子大致相同即认为是同一点，描述子即相同特征点之间的共同点和联系，描述子的条件自行设置。

随着移动通信技术的发展，摄像在用户终端设备中是重要的功能，由单摄像头逐渐发展成双摄像头、三摄像头乃至更多摄像头，达到媲美单反的效果。单反相机拍出背景虚化的照片，依靠的是大的感光元件、大光圈和较长的焦距，而终端设备作为移动端，体积小，无法承载与单反同样的硬件，想要实现浅景深的背景虚化效果，就需要依靠算法实现。

目前背景虚化常用方法有：人像分割算法、深度学习方法，基于双摄像头的立体视觉。其中，人像分割算法会存在无法准确识别人物轮廓的问题，尤其是人物的发梢、袖口等细节部位，未正确识别出的部位将会和背景一样被模糊处理。而深度学习方法则需要大量精确的数据集。基于双摄像头的立体视觉是通过获取场景的深度，根据拍摄主体与背景的景深不同进行识别，针对不同像素逐渐模糊，从而虚化背景。

但是，同一个场景由双摄像头拍摄的一对图像，由于两个摄像头具有不同的内参数，拍摄出的图像视角间有明显的空间变换和尺度差异，使得背景虚化效果不佳。想要准确获取深度图的前提是将双摄像头的图像的视角变换到同一平面，在一种可能的实现方式中，可以对两幅图像进行立体校正，而立体校正不可缺少的是摄像头模组在生产时标定得到的摄像头参数。

标定是双摄像系统在使用前必须进行的步骤。若是没有标定得到的摄像头参数，则无法进行立体校正，使后续立体匹配获取视差图等操作更困难、耗时更长。但是，每一个摄像头模组在生产时，由于工艺误差的存在，透镜装置过程中会存在偏差，所以每一个模组的参数都不相同，需要对每一个摄像头模组分别进行标定，标定方法例如可以是定焦情况下基于二维标定板的张正友标定法。

但是，对每一个摄像头模组都进行标定不仅耗时长，成本高，而且由于工厂内场景条件限制，不能对每一个拍摄距离下都进行标定，只能标定几组指定范围内的拍摄距离，在用户使用背景虚化的功能时，选取最接近的一组参数进行立体校正与立体匹配，这样造成的误差是较大的，会导致背景虚化效果不理想，如边缘、镂空等细节问题。除此之外，立体校正的目的是将实际的双目系统校正为理想的双目系统，而理想双目系统即是两个摄像头内参数一致，两个图像平面平行。然而，为避免镜头对空间的过多利用，当前主流终端设备双摄系统通常采用广角镜头和长焦镜头，两个内参完全不同的摄像头组成的双摄系统也会影响标定精度。

而且，由于工艺误差等原因导致的每个摄像头模组参数都存在差异性，导致厂商生产多少终端设备，就要进行多少次双摄像模组的标定，这是目前各厂商都想要避免的一步。近年来，随着终端设备的摄像头类型的多样性的发展，激光雷达被一些厂商用在了终端设备的摄像头模组中，可以不利用摄像头参数，通过主动测距的方式获得场景的深度信息，但是成本较高。

所以，本申请提供一种背景虚化方法，在用户使用终端设备的摄像功能时，根据当前VCM值确定是否对前一次用于背景虚化处理的第一参数进行优化，若当前VCM值与前一次对图像进行背景虚化处理进行参数优化时记录的VCM值相差较大，则对第一参数进行优化后，基于优化后的第一参数对当前图像进行背景虚化处理，从而实现不需要摄像头模组的标定参数，也可以根据当前拍摄场景确定是否对摄像头已知参数进行优化，使得当前拍摄场景所使用的参数精度更高，从而使背景虚化效果更佳。

为了便于理解，下面结合图1的示例，对本申请实施例所适用的应用场景进行说明。

图1为本申请适用的一种应用场景的示意图，请参见图1，包括终端设备101和被拍摄目标102，终端设备101中包括至少两个摄像头，用户通过终端设备101的至少两个摄像头对被拍摄目标102进行拍摄，通过获取当前拍摄所使用的第一VCM值，根据第一VCM值确定是否对至少两个摄像头中的两个摄像头当前的第一参数进行优化，以通过第一参数或者优化后的第一参数对当前拍摄的图像进行背景虚化处理。

本申请实施例中，终端设备可以是任意一种具有摄像功能的设备，本申请实施例可以适用于预览和录像(video)等模式，该设备包括但不限于：终端设备也可以称为用户设备(User Equipment，UE)、手机(Mobile Phone)、平板电脑(Pad)、平板、销售点(Point ofsales，pos)机、带无线收发功能的电脑(如笔记本电脑、掌上电脑等)、移动互联网设备(Mobile Internet Device，MID)、虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备、扩展现实(Extended Reality，XR)设备、工业控制(industrial control)中的无线终端、无人驾驶(Self Driving)中的无线终端、远程医疗(Remote Medical)中的无线终端、智能电网(Smart Grid)中的无线终端、运输安全(Transportation Safety)中的无线终端、智慧城市(Smart City)中的无线终端、智慧家庭(Smart Home)中的无线终端、蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol，SIP)电话、无线本地环路(Wireless Local Loop，WLL)站、个人数字助理(Personal Digital Assistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备，5G网络中的终端设备或者未来演进的公用陆地移动通信网络(Public Land Mobile Network，PLMN)中的终端设备等。

其中，可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立存在，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请实施例一提供的一种背景虚化方法的流程示意图，该方法可以由终端设备执行，也可以由设置在终端设备中的背景虚化装置执行，该装置可以是芯片、也可以是芯片模组、还可以是集成开发环境(integrated development environment，IDE)等，下面以终端设备为例进行说明，参考图2，该方法包括如下步骤。

S201、获取两个摄像头当前的第一参数。

在用户使用终端设备的摄像功能时，终端设备可以获取终端设备中至少两个摄像头中的两个摄像头当前的第一参数，其中，第一参数包括两个摄像头传感器之间的物理距离和镜头焦距。

可以理解，当前的第一参数可以是前一次终端设备对图像进行背景虚化处理时所使用的参数。

S202、获取当前的第一音圈马达VCM值。

终端设备可以获取用户调节镜头的位置实现对焦功能，呈现清晰的图像时对应的第一VCM值，第一VCM值可以用于与前一次终端设备对图像进行背景虚化处理进行参数优化时记录的VCM值对比，以确定拍摄场景深度是否有变化，从而确定是否需要对第一参数进行优化。

S203、根据第一VCM值，确定是否对第一参数进行优化。

终端设备获取第一VCM值后，可以根据第一VCM值确定是否需要对第一参数进行优化。

示例性的，终端设备可以将第一VCM值与第二VCM值进行比较，以确定当前拍摄场景深度与前一次拍摄场景深度是否发生变化，当第一VCM值与第二VCM值的差值在一定范围内，则可以认为当前拍摄场景深度与前一次拍摄场景深度没有变化，或者，也可以认为当前拍摄场景深度与前一次拍摄场景深度的变化较小，然后可以确定不对第一参数进行优化。反之，当第一VCM值与第二VCM值的差值不在上述范围内，则可以认为当前拍摄场景深度与前一次拍摄场景深度有变化，可以确定对第一参数进行优化。

其中，第二VCM值是终端设备前一次对图像进行背景虚化处理时记录的。

S204、若确定对第一参数进行优化，对第一参数进行优化处理，并基于优化后的第一参数对当前图像进行背景虚化处理。

当终端设备确定对第一参数进行优化，可以对第一参数进行优化处理，然后可以基于优化后的第一参数对当前图像进行背景虚化处理，得到背景虚化后的图像。

其中，终端设备对第一参数进行优化处理的方式例如可以是：终端设备可以基于两个摄像头拍摄到的图像中的特征点间的空间约束关系(例如两个第一图像中的特征点在三维空间中投影点的重投影误差等)，对第一参数进行优化。

S205、若确定不对第一参数进行优化，则基于第一参数对当前图像进行背景虚化处理。

当终端设备确定不对第一参数进行优化，说明可以使用终端设备前一次对图像进行背景虚化处理时使用的参数(即第一参数)对当前图像进行背景虚化处理。

在本实施例中，通过获取两个摄像头当前的第一参数，然后获取当前的第一VCM值，并根据第一VCM值确定是否对第一参数进行优化，若确定对第一参数进行优化，对第一参数进行优化处理，并基于优化后的第一参数对当前图像进行背景虚化处理。若确定不对第一参数进行优化，则基于第一参数对当前图像进行背景虚化处理。本申请不需要摄像头模组的标定参数，可以根据当前拍摄场景确定是否对摄像头已知参数进行优化，使得当前拍摄场景所使用的参数精度更高，从而使背景虚化效果更佳。

下面，通过实施例二对本申请提供的另一种背景虚化方法进行说明。

图3为本申请实施例二提供的另一种背景虚化方法的流程示意图，该方法可以由终端设备执行，也可以由设置在终端设备中的背景虚化装置执行，该装置可以是芯片、也可以是芯片模组、还可以是集成开发环境(integrated development environment，IDE)等，下面以终端设备为例进行说明，参考图3，该方法包括如下步骤。

S301、获取两个摄像头当前的第一参数。

S302、获取当前的第一音圈马达VCM值。

S301和S302的相关描述可以参考实施例一中的S201和S202，这里不再赘述。

S303、根据第一VCM值，确定是否对第一参数进行优化。

若确定对第一参数进行优化，执行S304，若确定不对第一参数进行优化，执行S310。

在一种可能的实现方式中，终端设备可以获取前一次对图像进行背景虚化处理时记录的第二VCM值，然后将第一VCM值与第二VCM值进行对比，当第一VCM值与第二VCM值的差值小于或者等于预设阈值，则确定不对第一参数进行优化，当第一VCM值与第二VCM值的差值大于预设阈值，则确定对第一参数进行优化。

S304、获取两个图像传感器拍摄到的两个第一图像。

S305、确定两个第一图像中的特征点在三维空间中投影点的第一重投影误差。

终端设备获取两个第一图像后，可以通过以下方式确定两个第一图像中的特征点在三维空间中的投影点的第一重投影误差：

(1)对每个第一图像进行特征点检测，得到第一特征点，并对第一特征点进行均匀分布处理，得到第二特征点，示例性的，可以通过四叉树算法对第一特征点进行处理，得到第二特征点。

(2)将两个第一图像对应的第二特征点进行相似度匹配，得到第一点集和第二点集，第一点集和第二点集中分别存储两个第一图像中匹配成功的第二特征点的坐标。

可选的，终端设备将两个第一图像对应的第二特征点进行相似度匹配的方式可以如下：

以每个特征点为原点，在预设半径对应的圆的范围内确定随机N对像素点，然后将每一对像素点的灰度值进行对比，以某对像素点a和b为例，若像素点a的灰度值小于像素点b的灰度值，则这对像素点的对比结果为0，若像素点a的灰度值大于或者等于像素点b，则这对像素点的对比结果为1。为了便于理解，如图4所示，图4为一个特征点对应的N对像素点的示意图，其中，N对像素点的坐标是提前预设的。

然后每一个特征点可以得到一串以0和1组成的描述子，该描述子包括N个比特数。例如N为128，则特征点的描述子包括128个比特数。

然后将两个第一图像的左上角作为原点，确定两个第一图像中各个特征点的位置坐标，例如两个第一图像分别称为图像A和图像B，终端设备可以将图像A中的特征点1对应的描述子，与图像B中，以特征点2为基准的预设范围内的特征点对应的描述子均进行匹配(特征点1和特征点2分别在图像A和图像B中的位置坐标相同)。

示例性的，上述预设范围可以是以特征点2为圆心的一个圆，也可以是以特征点2的像素值为长和宽，确定一个以特征点2为左上角点的矩形，也可以是其他形式的，本申请不做限定。

其中，确定描述子之间是否匹配，可以有以下几种方式：

方式1

在方式1中，若特征点和特征点对应的描述子相同，则可以确定为匹配，若特征点和特征点对应的描述子不相同，则可以确定为不匹配。

方式2

在方式2中，若描述子之间有百分之八十的比特数相同，则可以确定为匹配，若描述子之间相同比特数的数量低于百分之八十，则可以确定为不匹配。

将特征点1对应的描述子，与图像B中，以特征点2为基准的预设范围内的特征点对应的描述子均进行匹配之后，将图像A和图像B中匹配成功的特征点分别存储到第一点集和第二点集中。可以理解，在方式2中，图像B中与图像A中的某个特征点匹配的特征点的个数可能有多个，当存在多个时，则选择多个中匹配度最高的一个作为与图像A的该特征点匹配的特征点，其中，匹配度最高可以是相同比特数的数量最多的。

(3)基于第一参数，确定第一点集和第二点集中的第二特征点的三维空间投影点的第一重投影误差。

可以通过公式(1)确定投影点：

其中，u和v为投影点坐标，X_w、Y_w和Z_w为第二特征点在三维空间中对应的空间点的坐标(即第二特征点对应的拍摄目标中的实际的点)，u₀和v₀为摄像头理论的主点坐标，R为3×3的矩阵，矩阵中的元素可以是任意的初始值，例如0.1，T为3×1的矩阵，矩阵中的第一个元素的值为第一参数中的两个摄像头传感器之间的物理距离，第二个元素和第三个元素可以是任意的初始值，例如0.1，f_x和f_y是指副摄像头的镜头焦距，副摄像头为投影点所在的图像对应的摄像头，例如图5中示例的投影点的示意图，副摄像头为右图对应的摄像头。

X_w、Y_w和Z_w可以通过以下公式(2)确定：

其中，Z_cleft和Z_cright为比例因子，示例性的，Z_cleft和Z_cright均可以设置为有效焦距，即光心到图像平面的距离，u_l和v_l为可以是第一点集中的第二特征点的坐标，u_r和v_r为可以是第二点集中与第一点集中的第二特征点匹配的特征点的坐标，f_lx和f_ly是指第一点集中的第二特征点所在的图像对应的摄像头的镜头焦距，f_rx和f_ry是指第二点集中的第二特征点所在的图像对应的摄像头的镜头焦距，Rl和Rr分别为3×3的矩阵，矩阵中的元素可以是任意的初始值，Tl和Tr分别为3×1的矩阵，矩阵中第一个元素的值为第一参数中的两个摄像头传感器之间的物理距离，第二个元素和第三个元素可以是任意的初始值。

对于公式(2)方程组的求解，可以通过奇异值分解来求解，最小奇异值的特征向量就是方程组的解，即得到X_w、Y_w和Z_w。

第一重投影误差可以包括x方向和y方向上的两个误差，即u与u_r的差值，v与v_r的差值。

S306、基于第一重投影误差，构建第一误差函数。

基于第一重投影误差，构建的第一误差函数可以是公式(3)的形式：

S307、基于第一误差函数，对第一参数进行优化处理，得到第一误差函数对应的第一误差值。

终端设备可以通过公式(1)中的第一参数的值，对第一误差函数进行非线性最小二乘优化，使得公式(3)的差值最小，然后记录此时调整后的第一参数。

然后通过上述调整后的第一参数，对第一点集和第二点集中的每对匹配第二特征点进行对齐去畸变，将对齐去畸变后的第二特征点在y方向求差值，得到每对匹配第二特征点的误差值，将多对匹配第二特征点的误差值求均值，即得到第一误差值。

S308、根据第一误差值，确定优化后的第一参数。

在一种可能的实现方式中，当第一误差值小于或者等于预设阈值时，确定第一误差值对应的第一参数为优化后的第一参数，第一误差值对应的第一参数为上述调整后的第一误差值。

在另一种可能的实现方式中，当第一误差值大于预设阈值时，获取两个图像传感器新拍摄到的两个第二图像，并确定两个第二图像中的特征点在三维空间中投影点的第二重投影误差，基于第二重投影误差，构建第二误差函数，基于第二误差函数，对第一参数进行优化处理，得到第二误差函数对应的第二误差值，直至第二误差值小于或者等于预设阈值，然后确定第二误差值对应的第一参数为优化后的第一参数。

S309、基于优化后的第一参数对当前图像进行背景虚化处理。

具体的，终端设备可以通过以下方式对当前图像进行背景虚化处理：

基于优化后的第一参数，对两个图像传感器拍摄到的两个第一图像进行立体校正，也就是对两个第一图像分别进行一次平面投影变换，使两个第一图像的对应极线在同一条水平向上，而极点被映射到无穷远处，这样可以使两个第一图像只存在水平方向上的视差。

然后对校正后的两个第一图像进行立体匹配，即将经过极线校正的两个第一图像作为左右图像，输入到立体匹配算法中，然后得到参考图像对应的视差图，视差图中包括参考图像中每个像素点对应的视差值，参考图像为两个第一图像中的一个，一般以左图作为参考图像。

然后将视差图转换为深度图，具体的，终端设备可以通过以下公式(4)将视差图转换为深度图：

其中，d为构成深度图的深度值，f为主摄像头的镜头焦距，例如图5中的左摄像头，disp为视差图中的视差值。

确定深度图后，终端设备可以根据深度图，确定当前图像背景虚化后的图像。

S310、基于第一参数对当前图像进行背景虚化处理。

在本步骤中，基于第一参数对当前图像进行背景虚化处理，可以参考S309中基于优化后的第一参数对当前图像进行背景虚化处理，将优化后的第一参数替换为第一参数进行理解即可，这里不再赘述。

可选的，上述方法还包括：

记录本次背景虚化处理所使用的第一VCM值，第一VCM值用于确定下一次对图像进行背景虚化处理时使用的参数是否进行优化。

在本实施例中，通过获取两个摄像头当前的第一参数，然后获取当前的第一VCM值，并根据第一VCM值确定是否对第一参数进行优化。若确定对第一参数进行优化，获取两个图像传感器拍摄到的两个第一图像，确定两个第一图像中的特征点在三维空间中投影点的第一重投影误差，然后基于第一重投影误差，构建第一误差函数，然后基于第一误差函数，对第一参数进行优化处理，得到第一误差函数对应的第一误差值，然后根据第一误差值，确定优化后的第一参数，并基于优化后的第一参数对当前图像进行背景虚化处理。若确定不对第一参数进行优化，则基于第一参数对当前图像进行背景虚化处理。本申请不需要摄像头模组的标定参数，可以根据当前拍摄场景确定是否对摄像头已知参数进行优化，使得当前拍摄场景所使用的参数精度更高，从而使背景虚化效果更佳。

另外，本申请提供的背景虚化处理方法还可以有以下技术效果：

(1)可以使双摄模组无需在模组厂进行标定板标定，给厂商更便捷的生产模式。

(2)终端设备模组发生偏移(如被摔)时，在没有标定板及标定环境的终端设备维护站点内，可以使用该方法对摄像头参数进行校正，给商家较为方便的方案。

图6为本申请实施例三提供的一种背景虚化装置的结构示意图。参考图6，该装置60包括：第一获取模块601，第二获取模块602、确定模块603、第一处理模块604和第二处理模块605。

第一获取模块601，用于获取两个摄像头当前的第一参数。

第二获取模块602，用于获取当前的第一音圈马达VCM值。

确定模块603，用于根据第一VCM值，确定是否对第一参数进行优化。

第一处理模块604，用于若确定对第一参数进行优化，对第一参数进行优化处理，并基于优化后的第一参数对当前图像进行背景虚化处理。

第二处理模块605，用于若确定不对第一参数进行优化，则基于第一参数对当前图像进行背景虚化处理。

在一种可能的实施方式中，确定模块603具体用于：

获取前一次对图像进行背景虚化处理时记录的第二VCM值。

当第一VCM值与第二VCM值的差值小于或者等于预设阈值，确定不对第一参数进行优化。

当第一VCM值与第二VCM值的差值大于预设阈值，则确定对第一参数进行优化。

其中，第一参数包括两个摄像头传感器之间的物理距离和镜头焦距。

在一种可能的实施方式中，第一处理模块604具体用于：

获取两个图像传感器拍摄到的两个第一图像；

确定两个第一图像中的特征点在三维空间中投影点的第一重投影误差。

基于第一重投影误差，构建第一误差函数。

基于第一误差函数，对第一参数进行优化处理，得到第一误差函数对应的第一误差值。

根据第一误差值，确定优化后的第一参数。

在一种可能的实施方式中，第一处理模块具体用于：

对每个第一图像进行特征点检测，得到第一特征点，并对第一特征点进行均匀分布处理，得到第二特征点。

将两个第一图像对应的第二特征点进行相似度匹配，得到第一点集和第二点集，第一点集和第二点集中分别存储两个第一图像中匹配成功的第二特征点的坐标。

基于第一参数，确定第一点集和第二点集中的第二特征点在三维空间中投影点的第二重投影误差。

在一种可能的实施方式中，第一处理模块604具体用于：

当第一误差值小于或者等于预设阈值时，确定第一误差值对应的第一参数为优化后的第一参数。

当第一误差值大于预设阈值时，获取两个图像传感器新拍摄到的两个第二图像，并确定两个第二图像中的特征点在三维空间中投影点的第二重投影误差，基于第二重投影误差，构建第二误差函数，基于第二误差函数，对第一参数进行优化处理，得到第二误差函数对应的第二误差值，直至第二误差值小于或者等于预设阈值，确定第二误差值对应的第一参数为优化后的第一参数。

在一种可能的实施方式中，装置60还包括：

记录模块，用于记录本次背景虚化处理所使用的第一VCM值，第一VCM值用于确定下一次对图像进行背景虚化处理时使用的参数是否进行优化。

在一种可能的实施方式中，第一处理模块604具体用于：

基于优化后的第一参数，对两个图像传感器拍摄到的两个第一图像进行立体校正。

对校正后的两个第一图像进行立体匹配，得到参考图像对应的视差图，视差图中包括参考图像中每个像素点对应的视差值，参考图像为两个第一图像中的一个。

将视差图转换为深度图。

根据深度图，确定当前图像背景虚化后的图像。

本实施例的装置，可用于执行上述方法实施例的技术方案，具体实现方式和技术效果类似，这里不再赘述。

图7为本申请实施例四提供的一种电子设备的结构示意图，如图7所示，电子设备70可以包括：至少一个处理器701和存储器702。

存储器702，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。

存储器702可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-volatile Memory)，例如至少一个磁盘存储器。

处理器701用于执行存储器702存储的计算机执行指令，以实现前述方法实施例所描述的方法。其中，处理器701可能是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

可选的，电子设备70还可以包括：通信接口703。在具体实现上，如果通信接口703、存储器702和处理器701独立实现，则通信接口703、存储器702和处理器701可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果通信接口703、存储器702和处理器701集成在一块芯片上实现，则通信接口703、存储器702和处理器701可以通过内部接口完成通信。

电子设备70可以为芯片、芯片模组、集成开发环境(Integrated DevelopmentEnvironment，IDE)、终端设备等。

本实施例的电子设备，可用于执行上述方法实施例的技术方案，具体实现方式和技术效果类似，这里不再赘述。

本申请实施例五提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、RAM、磁盘或者光盘等各种可以存储计算机执行指令的介质，具体的，该计算机可读存储介质中存储有计算机执行指令，该计算机执行指令被计算机执行时使得上述方法实施例所示的技术方案被执行，具体实现方式和技术效果类似，这里不再赘述。

本申请实施例六提供一种计算机程序产品，包括计算机程序，计算机程序被计算机执行时，使得上述方法实施例所示的技术方案被执行，具体实现方式和技术效果类似，这里不再赘述。

本申请实施例七提供一种芯片，芯片上存储有计算机程序，计算机程序被芯片执行时，使得上述方法实施例所示的技术方案被执行。

在一种可能的实现方式中，芯片还可以为芯片模组。

本申请实施例八提供一种模组设备，该模组设备包括电源模组、存储模组以及芯片模组。

其中，电源模组用于为模组设备提供电能。

存储模组用于存储数据和指令。

芯片模组用于执行上述方法实施例所示的技术方案，具体实现方式和技术效果类似，这里不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

本申请中“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。

“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c中的每一个本身可以是元素，也可以是包含一个或多个元素的集合。

本申请中“至少一个”是指一个或多个。“多个”是指两个或两个以上。本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。例如，第一阈值和第二阈值，只是为了区分不同的阈值，而并不是表示这两个阈值的大小、优先级或者重要程度等的不同。

在本申请中，“示例的”“在一些实施例中”“在另一些实施例中”等用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。

本申请中“的(of)”、“相应的(corresponding，relevant)”、“对应的(corresponding)”、“关联的”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。本申请实施例中通信、传输有时可以混用，应当指出的是，在不强调区别是，其所表达的含义是一致的。例如传输可以包括发送和/或接收，可以为名词，也可以是动词。

本申请中“等于”可以与“小于”连用，也可以与“大于”连用，但不同时与“小于”和“大于”连用。当“等于”与“小于”连用时，适用于“小于”所采用的技术方案。当“等于”与“大于”连用时，适用于“大于”所采用的技术方案。

Claims (11)

1.一种背景虚化方法，其特征在于，所述方法包括：

获取两个摄像头当前的第一参数；

获取当前的第一音圈马达VCM值；

根据所述第一VCM值，确定是否对所述第一参数进行优化；

若确定对所述第一参数进行优化，对所述第一参数进行优化处理，并基于优化后的第一参数对当前图像进行背景虚化处理；

若确定不对所述第一参数进行优化，则基于所述第一参数对所述当前图像进行背景虚化处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一VCM值，确定是否对所述第一参数进行优化，包括：

获取前一次对图像进行背景虚化处理时记录的第二VCM值；

当所述第一VCM值与所述第二VCM值的差值小于或者等于预设阈值，确定不对所述第一参数进行优化；

当所述第一VCM值与所述第二VCM值的差值大于所述预设阈值，则确定对所述第一参数进行优化；

其中，所述第一参数包括两个摄像头传感器之间的物理距离和镜头焦距。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一参数进行优化处理，包括：

获取两个图像传感器拍摄到的两个第一图像；

确定两个第一图像中的特征点在三维空间中投影点的第一重投影误差；

基于所述第一重投影误差，构建第一误差函数；

基于所述第一误差函数，对所述第一参数进行优化处理，得到所述第一误差函数对应的第一误差值；

根据所述第一误差值，确定所述优化后的第一参数。

4.根据权利要求3所述的方法，其特征在于，所述确定两个第一图像中的特征点在三维空间中投影点的第一重投影误差，包括：

对每个第一图像进行特征点检测，得到第一特征点，并对所述第一特征点进行均匀分布处理，得到第二特征点；

将两个第一图像对应的第二特征点进行相似度匹配，得到第一点集和第二点集，所述第一点集和所述第二点集中分别存储两个第一图像中匹配成功的第二特征点的坐标；

基于所述第一参数，确定所述第一点集和所述第二点集中的第二特征点在三维空间中投影点的第二重投影误差。

5.根据权利要求3或4所述的方法，其特征在于，所述根据所述第一误差值，确定所述优化后的第一参数，包括：

当所述第一误差值小于或者等于预设阈值时，确定所述第一误差值对应的第一参数为优化后的第一参数；

当所述第一误差值大于预设阈值时，获取所述两个图像传感器新拍摄到的两个第二图像，并确定两个第二图像中的特征点在三维空间中投影点的第二重投影误差，基于所述第二重投影误差，构建第二误差函数，基于所述第二误差函数，对所述第一参数进行优化处理，得到所述第二误差函数对应的第二误差值，直至所述第二误差值小于或者等于所述预设阈值，确定所述第二误差值对应的第一参数为优化后的第一参数。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

记录本次背景虚化处理所使用的所述第一VCM值，所述第一VCM值用于确定下一次对图像进行背景虚化处理时使用的参数是否进行优化。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于优化后的第一参数对当前图像进行背景虚化处理，包括：

基于所述优化后的第一参数，对两个图像传感器拍摄到的两个第一图像进行立体校正；

对校正后的两个第一图像进行立体匹配，得到参考图像对应的视差图，所述视差图中包括所述参考图像中每个像素点对应的视差值，所述参考图像为所述两个第一图像中的一个；

将所述视差图转换为深度图；

根据所述深度图，确定所述当前图像背景虚化后的图像。

8.一种背景虚化装置，其特征在于，包括：

第一获取模块，用于获取两个摄像头当前的第一参数；

第二获取模块，用于获取当前的第一音圈马达VCM值；

确定模块，用于根据所述第一VCM值，确定是否对所述第一参数进行优化；

第一处理模块，用于若确定对所述第一参数进行优化，对所述第一参数进行优化处理，并基于优化后的第一参数对当前图像进行背景虚化处理；

第二处理模块，用于若确定不对所述第一参数进行优化，则基于所述第一参数对所述当前图像进行背景虚化处理。

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-7中任一项所述的背景虚化方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的背景虚化方法。

11.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的背景虚化方法。

Images