CN115529411B - 视频虚化方法和装置 - Google Patents

Abstract

本申请实施例提供一种视频虚化方法和装置，涉及终端技术领域，应用于终端设备，方法包括：终端设备获取第一路图像数据以及第二路图像数据；终端设备对第一路图像数据以及第二路图像数据进行深度计算，得到深度图像数据；终端设备对第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据；防抖处理用于将第一路图像数据中的部分图像数据裁剪掉；终端设备利用深度图像数据对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果。这样，使得终端设备可以通过在虚化处理前的防抖处理，减少图像的数据量，进而减少视频虚化方法的功耗。

Description

视频虚化方法和装置

技术领域

本申请涉及终端技术领域，尤其涉及一种视频虚化方法和装置。

背景技术

随着互联网的普及和发展，人们对于终端设备的功能需求也越发多样化，例如用户可以利用终端设备进行视频录制。由于视频录制过程中，终端设备可以拍摄得到较为清晰的前景和后景，使得视频录制结果难以获得较好的空间感和电影感。因此，终端设备可以通过视频虚化，优化视频录制结果。

通常情况下，终端设备可以基于双目摄像头(包括主路摄像头以及辅路摄像头)获取主路图像数据以及辅路图像数据，利用主路图像数据以及辅路图像数据计算得到深度图像，利用深度图像对主路图像数据进行虚化处理，并进行防抖处理，得到虚化处理结果。

然而，上述视频虚化方法的功耗开销较大。

发明内容

本申请实施例提供一种视频虚化方法和装置，终端设备可以基于多个摄像头获取的多帧图像，利用多帧图像生成深度图像，并对主路摄像头中的图像进行防抖处理，进而基于深度图像以及防抖处理后的图像进行图像虚化，得到虚化处理结果，使得终端设备可以通过在虚化处理前的防抖处理，减少图像的数据量，进而减少视频虚化方法的功耗。

第一方面，本申请实施例提供一种视频虚化方法，应用于终端设备，终端设备包括第一摄像头以及第二摄像头，方法包括：终端设备获取第一路图像数据以及第二路图像数据；其中，第一路图像数据是基于第一摄像头的拍摄得到的，第二路图像数据是基于第二摄像头的拍摄得到的；终端设备对第一路图像数据以及第二路图像数据进行深度计算，得到深度图像数据；终端设备对第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据；防抖处理用于将第一路图像数据中的部分图像数据裁剪掉；终端设备利用深度图像数据对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果。这样，终端设备可以基于多个摄像头获取的多帧图像，利用多帧图像生成深度图像，并对主路摄像头中的图像进行防抖处理，进而基于深度图像以及防抖处理后的图像进行图像虚化，得到虚化处理结果，使得终端设备可以通过在虚化处理前的防抖处理，减少图像的数据量，进而减少视频虚化方法的功耗。

其中，第一摄像头可以为本申请实施例中的主路摄像头，第二摄像头可以为本申请实施例中的辅路摄像头；第一路图像数据可以为申请实施例中的主路图像数据，第二路图像数据可以为本申请实施例中的辅路图像数据。

在一种可能的实现方式中，终端设备利用深度图像对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果之前，方法还包括：终端设备对深度图像数据进行防抖处理，得到防抖处理后的深度图像数据；终端设备利用深度图像对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果，包括：终端设备利用防抖处理后的深度图像数据对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果。这样，使得终端设备可以通过对深度图像的进一步防抖处理，减少图像的数据量，进而减少视频虚化方法的功耗。

在一种可能的实现方式中，终端设备对第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据，包括：终端设备利用陀螺仪数据生成变换矩阵；其中，陀螺仪数据是基于陀螺仪传感器检测得到的，变换矩阵用于防抖处理；终端设备利用变换矩阵对第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据。这样，终端设备可以通过陀螺仪数据对第一路图像数据进行防抖处理，进而避免由于终端设备的略微抖动对后续视频处理的影响。

在一种可能的实现方式中，终端设备对第一路图像数据以及第二路图像数据进行深度计算，得到深度图像数据之前，方法还包括：终端设备对第一路图像数据以及第二路图像数据分别进行图像前处理，得到图像前处理后的第一路图像数据以及图像前处理后的第二路图像数据；终端设备对第一路图像数据以及第二路图像数据进行深度计算，得到深度图像数据，包括：终端设备对图像前处理后的第一路图像数据以及图像前处理后的第二路图像数据进行深度计算，得到深度图像数据。这样，终端设备可以通过图像前处理将RAW域的图像数据处理为YUV域，该YUV格式可以降低图像处理时的内存消耗，便于算法向多种硬件配置的产品进行迁移。

在一种可能的实现方式中，图像前处理包括下述一种或多种：去坏点校正处理、未经加工RAW域降噪处理、黑电平校正处理、光学阴影校正处理、自动白平衡处理、颜色插值处理、色彩校正处理、色调映射处理、伽马Gamma校正处理或图像转换处理。

在一种可能的实现方式中，终端设备对第一路图像数据以及第二路图像数据进行深度计算，得到深度图像数据之前，方法还包括：终端设备利用第一路图像数据对第二路图像数据进行Gamma校正处理，得到Gamma校正处理后的第二路图像数据；Gamma校正处于用于将第二路图像数据的亮度处理为与第一路图像数据的亮度一致；终端设备对第一路图像数据以及第二路图像数据进行深度计算，得到深度图像数据，包括：终端设备对第一路图像数据以及Gamma校正处理后的第二路图像数据进行深度计算，得到深度图像数据。这样，终端设备可以通过Gamma校正处理调整第二路图像数据的亮度使得其与第一路图像的亮度一致，进而提高图像的质量。

在一种可能的实现方式中，终端设备利用深度图像数据对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果之前，方法还包括：终端设备对防抖处理后的第一路图像数据进行噪声处理，得到噪声处理后的第一路图像数据；终端设备对噪声处理后的第一路图像数据进行亮度处理以及颜色处理，得到亮度以及颜色处理后的第一路图像数据；终端设备对亮度以及颜色处理后的第一路图像数据进行图像缩放处理，得到图像缩放处理后的第一路图像数据；终端设备利用深度图像数据对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果，包括：终端设备利用深度图像数据对图像缩放处理后的第一路图像数据进行虚化处理，得到虚化处理结果。这样，使得终端设备可以通过噪声处理、亮度处理以及颜色处理、以及图像缩放处理提高图像的质量。

在一种可能的实现方式中，终端设备获取第一路图像数据以及第二路图像数据，包括：终端设备显示第一界面；第一界面中包括用于设置光圈的第一控件；当终端设备接收到针对第一控件的操作时，终端设备显示第二界面；第二界面中包括至少一个光圈数值、以及用于开启视频录制的第二控件；当终端设备接收到在至少一个光圈数值中针对目标光圈数值的操作，并且接收到针对第二控件的操作时，终端设备基于目标光圈数值获取第一路图像数据以及第二路图像数据。这样，用户可以在视频录制时根据不同的需要，选择不通过的光圈数值，进而拍摄得到不同虚化程度的视频。

在一种可能的实现方式中，方法还包括：终端设备显示第三界面；第三界面中包括虚化处理结果、以及用于结束视频录制的第三控件；在终端设备接收到针对第三控件的操作时，终端设备将虚化处理结果编码为第一视频，并将第一视频存储在图库应用中。

在一种可能的实现方式中，方法还包括：当终端设备接收到打开图库应用的操作时，终端设备显示第四界面；其中，第四界面中包括第一视频，以及第一视频对应的第一标识，第一标识用于指示第一视频是基于虚化处理得到的。这样，用户可以根据该第一视频对应的第一标识，准确的找出进行虚化处理的图像，进而提高用户使用视频录制功能的使用体验。

第二方面，本申请实施例提供一种视频虚化装置，处理单元，用于获取第一路图像数据以及第二路图像数据；其中，第一路图像数据是基于第一摄像头的拍摄得到的，第二路图像数据是基于第二摄像头的拍摄得到的；处理单元，用于对第一路图像数据以及第二路图像数据进行深度计算，得到深度图像数据；处理单元，用于对第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据；防抖处理用于将第一路图像数据中的部分图像数据裁剪掉；处理单元，用于利用深度图像数据对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果。

在一种可能的实现方式中，处理单元，还用于对深度图像数据进行防抖处理，得到防抖处理后的深度图像数据；处理单元，还用于利用防抖处理后的深度图像数据对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果。

在一种可能的实现方式中，处理单元，具体用于利用陀螺仪数据生成变换矩阵；其中，陀螺仪数据是基于陀螺仪传感器检测得到的，变换矩阵用于防抖处理；处理单元，还具体用于利用变换矩阵对第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据。

在一种可能的实现方式中，处理单元，还用于对第一路图像数据以及第二路图像数据分别进行图像前处理，得到图像前处理后的第一路图像数据以及图像前处理后的第二路图像数据；处理单元，还用于对图像前处理后的第一路图像数据以及图像前处理后的第二路图像数据进行深度计算，得到深度图像数据。

在一种可能的实现方式中，图像前处理包括下述一种或多种：去坏点校正处理、未经加工RAW域降噪处理、黑电平校正处理、光学阴影校正处理、自动白平衡处理、颜色插值处理、色彩校正处理、色调映射处理、伽马Gamma校正处理或图像转换处理。

在一种可能的实现方式中，所处理单元，还用于利用第一路图像数据对第二路图像数据进行Gamma校正处理，得到Gamma校正处理后的第二路图像数据；Gamma校正处于用于将第二路图像数据的亮度处理为与第一路图像数据的亮度一致；处理单元，还用于对第一路图像数据以及Gamma校正处理后的第二路图像数据进行深度计算，得到深度图像数据。

在一种可能的实现方式中，处理单元，还用于对防抖处理后的第一路图像数据进行噪声处理，得到噪声处理后的第一路图像数据；处理单元，还用于对噪声处理后的第一路图像数据进行亮度处理以及颜色处理，得到亮度以及颜色处理后的第一路图像数据；处理单元，还用于对亮度以及颜色处理后的第一路图像数据进行图像缩放处理，得到图像缩放处理后的第一路图像数据；处理单元，还用于利用深度图像数据对图像缩放处理后的第一路图像数据进行虚化处理，得到虚化处理结果。

在一种可能的实现方式中，显示单元，用于显示第一界面；第一界面中包括用于设置光圈的第一控件；当终端设备接收到针对第一控件的操作时，显示单元，还用于显示第二界面；第二界面中包括至少一个光圈数值、以及用于开启视频录制的第二控件；当终端设备接收到在至少一个光圈数值中针对目标光圈数值的操作，并且接收到针对第二控件的操作时，处理单元，还用于基于目标光圈数值获取第一路图像数据以及第二路图像数据。

在一种可能的实现方式中，显示单元，还用于显示第三界面；第三界面中包括虚化处理结果、以及用于结束视频录制的第三控件；在终端设备接收到针对第三控件的操作时，处理单元，还用于将虚化处理结果编码为第一视频，并将第一视频存储在图库应用中。

在一种可能的实现方式中，当终端设备接收到打开图库应用的操作时，处理单元，还用于显示第四界面；其中，第四界面中包括第一视频，以及第一视频对应的第一标识，第一标识用于指示第一视频是基于虚化处理得到的。

第三方面，本申请实施例提供一种视频虚化装置，包括处理器和存储器，存储器用于存储代码指令；处理器用于运行代码指令，使得电子设备以执行如第一方面或第一方面的任一种实现方式中描述的视频虚化方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的视频虚化方法。

第五方面，一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的视频虚化方法。

应当理解的是，本申请的第二方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种场景示意图；

图2为一种视频虚化方法的流程示意图；

图3为本申请实施例提供的一种终端设备的结构示意图；

图4为本申请实施例提供的一种视频虚化方法的流程示意图；

图5为本申请实施例提供的一种图像前处理的流程示意图；

图6为本申请实施例提供的一种视频虚化处理的界面示意图；

图7为本申请实施例提供的另一种视频虚化处理的界面示意图；

图8为本申请实施例提供的一种查看虚化处理的视频内容的界面示意图；

图9为本申请实施例提供的一种视频虚化装置的结构示意图；

图10为本申请实施例提供的另一种终端设备的硬件结构示意图；

图11为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

下面对本申请实施例中所描述的词汇进行说明。可以理解，该说明是为更加清楚的解释本申请实施例，并不必然构成对本申请实施例的限定。

光圈：可以为用来控制光线透过镜头，进入机身内感光面的光量的装置，通常设置在镜头内。通常情况下，终端设备可以采用光圈值F表示光圈大小，例如光圈值F越小表示光圈越大，则单位时间内通过的光线也就越多，图像虚化效果越强；光圈值F越大表示光圈越小，则单位时间内通过的光线也就越少，图像虚化效果越弱。

直方图规定化(或称直方图匹配)：可以为通过灰度映像函数，将原灰度直方图改造成所希望的灰度直方图。可以理解的是，直方图规定化实现了图像灰度的均衡分布，对提高图像对比度、提升图像角度具有明显的作用。

RAW：或称为原始图像数据，其可以为图像感应器将捕捉到的光源信号转化为数字信号时的原始数据。RAW文件中记录了摄像头的原始信息，同时记录了由摄像头拍摄所产生的一些元数据，如图像感光度的设置、快门速度、光圈值、白平衡数值等数据。RAW格式是未经处理、且未经压缩的格式。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一值和第二值仅仅是为了区分不同的值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

示例性的，图1为本申请实施例提供的一种场景示意图。如图1所示，该场景中可以包括终端设备101，例如该终端设备101可以为手机等，以及利用终端设备101拍摄得到的画面102，该画面102中可以包括位于前景的用户103以及位于后景的用户104。

通常情况下，当终端设备接收到用户触发开启录制视频的控件的操作时，终端设备可以基于摄像头采集到包含画面102的视频数据。在画面102中，终端设备可以拍摄得到较为清晰的用户103以及用户104。由于清晰的视频画面难以体现出较好的空间感和电影感，因此终端设备可以通过图2对应的实施例，对基于双目摄像头获取的多帧图像进行虚化处理。

示例性的，图2为一种视频虚化方法的流程示意图。在图2对应的实施例中，双目摄像头可以包括主路摄像头以及辅路摄像头。

如图2所示，视频虚化方法可以包括如下步骤：

S201、终端设备利用主路摄像头以及辅路摄像头获取图像数据。

其中，该图像数据中可以包括：主路图像数据以及辅路图像数据，该主路图像数据是基于主路摄像头的拍摄得到的，该辅路图像数据是基于辅路摄像头的拍摄得到的；该主路图像数据的格式以及辅路图像数据的格式均可以为RAW格式。

S202、终端设备分别对主路图像数据以及辅路图像数据进行图像前处理，得到图像前处理后的主路图像数据，以及图像前处理后的辅路图像数据。

其中，该图像前处理用于将RAW(或称为原始图像数据)格式的图像数据处理为YUV(或理解为亮度和色度)格式的图像数据。

S203、终端设备对图像前处理后的主路图像数据以及图像前处理后的辅路图像数据，进行伽马(Gamma)校正处理以及深度计算，得到深度图像数据。

其中，该Gamma校正处理用于对图像前处理后的辅路图像数据的亮度进行处理，使其与该图像前处理后的主路图像数据的亮度一致。例如，终端设备可以利用图像前处理后的主路图像数据的亮度，对图像前处理后的辅路图像数据进行亮度调整，得到Gamma校正处理后的辅路图像数据。

进一步的，该深度计算用于获取深度图像数据，该深度图像数据可以为包含深度信息的图像数据。例如，终端设备可以通过对双目图像，如图像前处理后的主路图像数据、以及Gamma校正处理后的辅路图像数据的深度计算得到深度图像。

示例性的，终端设备可以通过双目深度估计算法，对图像前处理后的主路图像数据、以及Gamma校正处理后的辅路图像数据，进行深度计算，得到深度图像数据。

其中，该双目深度估计算法可以包括下述一种或多种，例如：对应像素差的绝对值之和(sum of absolute differences，SAD)算法、对应像素差的平方之和(sum of squareddifferences，SSD)算法、半全局匹配(semi global matching，SGM)算法等方法，本申请实施例中对计算得到深度图像数据的方法不做限定。

S204、终端设备对深度图像数据以及图像前处理后的主路图像数据进行虚化处理，得到虚化图像数据。

示例性的，终端设备可以通过高斯模糊处理、以及神经网络模型等方法进行虚化处理，本申请实施例中对该虚化处理方法不做限定。

S205、终端设备对虚化图像数据进行图像后处理得到虚化处理结果。

其中，该图像后处理可以包括：图像矫正和调整处理、噪声处理、亮度和颜色处理、以及图像缩放处理等。

可以理解的是，终端设备可以基于上述S201-S205所示的步骤中利用双目摄像头得到的图像数据，进行虚化处理。然而，由于在进行视频虚化处理过程中，终端设备要先对基于双目摄像头得到的图像数据进行虚化处理，再对虚化处理后的图像数据进行防抖处理以及其他图像后处理，使得整个处理过程的计算量较大，功耗较大。

可能的实现方式中，终端设备可以基于单目摄像头获取多张单目图像数据，并利用多张单目图像数据进行深度计算，得到深度图像，进而利用深度图像进行虚化处理。然而，由于基于单目图像数据计算得到的深度图像的准确性较低，因此基于该深度图像数据得到的虚化图像的效果不好。

有鉴于此，本申请实施例提供一种视频虚化方法，使得终端设备可以对双目摄像头获取的多帧图像，分别进行图像前处理，获取图像前处理后的图像所对应的深度图像，以及对图像前处理后的图像中的主路图像进行防抖处理对图像进行裁剪，进而对深度图像以及防抖处理后的图像进行虚化，得到虚化处理结果，通过防抖处理对图像进行裁剪来减少图像的数据量，利用防抖处理后的图像进行虚化处理可以显著减少视频虚化方法的功耗。

可以理解的是，上述终端设备也可以称为终端，(terminal)、用户设备(userequipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。终端设备可以为拥有双目摄像头的手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmentedreality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。

因此，为了能够更好地理解本申请实施例，下面对本申请实施例的终端设备的结构进行介绍。示例性的，图3为本申请实施例提供的一种终端设备的结构示意图。

终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，指示器192，摄像头193，以及显示屏194等。

可以理解的是，本申请实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)等无线通信的解决方案。

终端设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端设备可以支持一种或多种视频编解码器。这样，终端设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

摄像头193用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头193，N为大于1的正整数。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。

终端设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。耳机接口170D用于连接有线耳机。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。

传感器模块180可以包括下述一种或多种传感器，例如：压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，或骨传导传感器等(图3中未示出)。

本申请实施例中，陀螺仪传感器可以用于确定终端设备的运动姿态。在一些实施例中，可以通过陀螺仪传感器确定终端设备围绕三个轴(即，x，y和z轴)的角加速度。陀螺仪传感器可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器检测终端设备抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备的抖动，实现防抖。

本申请实施例中，加速度传感器用于检测终端设备在各个方向上(一般为三轴)的加速度的大小，进而识别终端设备的姿态。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入，产生与终端设备的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

终端设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等，在此不再赘述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，图4为本申请实施例提供的一种视频虚化方法的流程示意图。在图4对应的实施例中，双目摄像头可以包括主路摄像头以及辅路摄像头。

可能的实现方式中，该双目摄像头可以包括：支持1x-3.5x的主摄像头(或理解为主路摄像头)以及超广角摄像头(或理解为辅路摄像头)；或者，该双目摄像头也可以包括：支持3.5x以上的长焦摄像头(或理解为主路摄像头)以及主摄像头(或理解为辅路摄像头)。

可能的实现方式中，终端设备中也可以包括多个摄像头，例如包括3个摄像头，该3个摄像头中的至少2个摄像头可以用于实现上述双目摄像头的功能，本申请实施例中对此不做限定。

如图4所示，视频虚化方法可以包括如下步骤：

S401、终端设备利用主路摄像头以及辅路摄像头获取图像数据。

其中，该图像数据中可以包括：主路图像数据以及辅路图像数据，该主路图像数据是基于主路摄像头的拍摄得到的，该辅路图像数据是基于辅路摄像头的拍摄得到的；该主路图像数据的格式以及辅路图像数据的格式均可以为RAW格式。

S402、终端设备分别对主路图像数据以及辅路图像数据进行图像前处理，得到图像前处理后的主路图像数据以及图像前处理后的辅路图像数据。

其中，图像前用于将RAW格式的图像数据处理为YUV格式的图像数据。

示例性的，图5为本申请实施例提供的一种图像前处理的流程示意图。如图5所示，该图像前处理可以包括：去坏点校正处理、RAW域降噪处理、黑电平校正处理、光学阴影校正处理/自动白平衡处理、颜色插值处理、色调映射处理、色彩校正处理、Gamma校正处理、以及图像转换处理等。

针对去坏点校正处理，坏点可以为亮度或者色彩与周围其他像素的点有较大的区别的点。例如，终端设备可以通过在全黑环境下检测亮点和彩点，以及在高亮环境下检测黑点和彩点的方法确定坏点。在去坏点校正处理中，终端设备可以通过在亮度域上取周围像素点的均值的方式消除坏点。

针对RAW域降噪处理，噪声可以在图像上表现为引起较强视觉效果的孤立像素点或像素块。在RAW域降噪处理中，终端设备可以通过低通滤波器(low pass filter，LPF)、或双边滤波器(bilateral filtering)等去除RAW域中的噪声。

针对黑电平校正处理，在调试摄像头的过程，把摄像头放入封闭的密封箱中，会发现画面呈现黑色，但是黑色的程度不够黑，这是由于暗电流的影响，使得传感器输出的图像数据并不是我们需要的黑平衡。在黑电平校正处理中，终端设备可以通过找到校正值，并将所有的区域的像素减去此校正值，使得画面呈现纯黑色。

针对光学阴影校正处理，由于镜头本身的物理性质，可能造成画面四周亮度相对中心亮度逐渐降低的情况，同时由于边缘入射角大，会造成相邻像素间串扰，以及角落偏色的情况。在光学阴影校正处理中，终端设备可以根据一定的校正方法计算每个像素对应的亮度校正值，从而补偿周边衰减的亮度。其中，该校正方法可以为二次项校正、或四次项校正等。

针对自动白平衡处理，由于色温的影响，使得一张白纸在低色温下会偏黄，高色温下会偏蓝。在自动白平衡处理中，白平衡可以使得白色物体在任何色温下都可以呈现出白色，避免偏色情况。其中，自动白平衡方法可以包括：灰度世界、或完美反射法等。

针对颜色插值处理，由于每个像素只感知一种颜色分量，因此可以通过颜色插值使每个像素上同时包含RGB三个分量，因此颜色插值处理可以用于将RAW格式的图像数据转化为RGB格式的图像数据。

针对色调映射处理，用于对图像的整体亮度进行调整，使得亮度调整后的画面可以更接近于真实世界中呈现的亮度。

针对色彩校正处理，由于用户眼睛可见光的频谱响应度和半导体传感器频谱响应度之间存在差别，以及受透镜等的影响，使得RGB值颜色会存在偏差。在色彩校正处理中，终端设备需要进行颜色校正，例如终端设备可以利用一个3x3的颜色变化矩阵进行颜色校正。

针对Gamma校正处理，Gamma校正处理用于对输入图像的灰度值进行的非线性操作，使得输出图像的灰度值与输入图像的灰度值呈指数关系。

针对图像转换处理，可以用于将红绿蓝RGB格式的图像数据转化为YUV格式的图像数据。

S403、终端设备对图像前处理后的主路图像数据以及图像前处理后的辅路图像数据，进行Gamma校正处理以及深度计算，得到深度图像数据。

其中，该Gamma校正处理用于对图像前处理后的辅路图像数据的亮度进行处理，使其与该图像前处理后的主路图像数据的亮度一致；该深度计算用于获取深度图像数据。

示例性的，终端设备可以获取该图像前处理后的主路图像数据对应的灰度直方图，以及该图像前处理后的辅路图像数据对应的灰度直方图，并通过直方图规定化，将该图像前处理后的辅路图像数据的灰度直方图，处理为与该图像前处理后的主路图像数据对应的灰度直方图一致，实现对于该图像前处理后的辅路图像数据的Gamma校正处理。

可以理解的是，深度计算方法可以参见S203所示的步骤中的描述，该亮度校正方法、以及深度计算方法可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

可能的实现方式中，终端设备也可以存储通过该深度计算得到的深度图像数据，使得后续终端设备可以利用该深度图像数据对虚化处理结果进行调整。

S404、终端设备利用变换矩阵对深度图像数据进行位置校正处理，得到位置校正处理后的图像数据。

示例性的，终端设备可以获取陀螺仪数据，并通过电子防抖处理单元获取当前图像数据对应的变换(warp)矩阵。进一步的，终端设备可以利用warp矩阵，对当前图像数据(如深度图像数据)进行位置校正，得到位置校正处理后的图像数据。例如，终端设备可以利用变换矩阵，对当前图像数据进行裁剪，如分别在当前图像数据的横纵方向各裁剪掉图像数据的10％-20％等，使得裁剪后的图像数据可以抵消终端设备的抖动带来的影响。其中，该陀螺仪数据可以为终端设备基于陀螺仪传感器获取的角加速度数据，该角加速度数据可以用于表征终端设备的位姿。

S405、终端设备对图像前处理后的主路图像数据进行图像后处理，得到图像后处理后的主路图像数据。

其中，该图像后处理可以包括：图像矫正和调整处理、噪声处理、亮度和颜色处理、以及图像缩放处理等。

针对图像矫正和调整处理，可以用于去除由于终端设备的抖动对图像的影响。示例性的，终端设备可以利用warp矩阵，对当前图像进行位置校正。该位置校正方法可以参见S404所示的步骤中的描述，在此不再赘述。

针对噪声处理，可以用于去除当前图像中的噪声影响。其中，终端设备可以通过低通滤波器、或双边滤波器等去除当前图像中的噪声。

针对亮度和颜色处理，可以用于调整由于光线条件等对于拍摄对象的亮度和颜色的影响。其中，该颜色处理方法可以包括：基于色彩校正矩阵的颜色处理方法等。该亮度处理方法可以包括：局部色调映射方法等。

针对图像缩放处理，可以用于将当前图像从一种分辨率转换为另一种分辨率。其中，该图像缩放处理方法可以包括：最近邻插值、线性插值、区域插值、或三次样条插值等方法。

可以理解的是，该图像矫正和调整处理方法、噪声处理方法、亮度和颜色处理方法、以及图像缩放处理方法均可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

S406、终端设备对位置校正处理后的图像数据以及图像后处理后的主路图像数据进行虚化处理，得到虚化处理结果。

示例性的，终端设备可以通过高斯模糊处理、以及神经网络模型等方法进行虚化处理，本申请实施例中对该虚化处理方法不做限定。

S407、终端设备将虚化处理结果送显至显示器，并作为视频预览，和/或，终端设备对虚化处理结果进行存储，并作为视频录制。

一种实现中，终端设备可以将虚化处理结果送显至显示器，并且对虚化处理结果进行实时存储，使得终端设备可以在视频预览界面中实时显示虚化处理结果，并且也可以在接收到用户结束视频录制的操作时，将存储的虚化处理结果编码为虚化处理的视频内容。在此场景中，终端设备不仅可以实现在视频预览界面中显示虚化处理结果，还可以在接收到用户回放该视频录制内容的操作时，显示虚化处理的视频内容。

可以理解的是，终端设备将虚化处理结果送显至显示器，并且对虚化处理结果进行实时存储的处理方法，可以实现在直播场景、以及视频通话等场景中的视频预览需求以及视频录制需求。

另一种实现中，终端设备可以对虚化处理结果进行实时存储，并在接收到用户结束视频录制的操作时，将存储的虚化处理结果编码为虚化处理的视频内容；或者，终端设备也可以对S401中获取的图像数据进行实时存储，并在接收到用户结束视频录制的操作时，将存储的图像数据进行如S402-S406所示的步骤，得到虚化处理结果，并编码为虚化处理的视频内容。在此场景中，终端设备的视频预览界面中可以不显示，但在接收到用户回放该视频录制内容的操作时，显示虚化处理的视频内容。

可以理解的是，终端设备对虚化处理结果进行实时存储的方法，可以实现用户对于终端设备的视频录制需求。

可以理解的是，本申请实施例中对该虚化处理结果的后续处理流程不做具体限定。

基于此，终端设备可以对双目摄像头获取的多帧图像，利用多帧图像生成深度图像，并对主路摄像头中的图像进行防抖处理，进而基于深度图像以及防抖处理后的图像进行图像虚化，得到虚化处理结果，使得终端设备可以通过在虚化处理前的防抖处理，减少图像的数据量，进而减少视频虚化方法的功耗。

在图4对应的实施例的基础上，可能的实现方式中，终端设备可以在本设备中执行S401-S407所示的步骤；或者，终端设备可以在服务器中执行视频虚化方法，例如终端设备在S401中获取图像数据后，可以将图像数据发送至服务器，使得服务器可以执行S402-S406所示的步骤得到虚化处理结果，服务器可以将虚化处理结果发送至终端设备，使得终端设备可以基于虚化处理结果进行后续存储处理或送显处理。

可以理解的是，本申请实施例中对视频虚化方法的处理设备，不做具体限定。

在图4对应的实施例的基础上，可能的实现方式中，S401可以包括：当终端设备接收到用户开启视频虚化的操作时，终端设备利用主路摄像头以及辅路摄像头获取图像数据。

示例性的，图6为本申请实施例提供的一种视频虚化处理的界面示意图。在图6对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

当终端设备接收到用户开启相机应用中的录制功能的操作时，终端设备可以显示如图6中的a所示的界面，该界面可以为录像功能对应的界面。如图6中的a所示的界面，该界面中可以包括相机应用的一级菜单中的一个或多个功能控件，例如：光圈控件、夜景控件、人像控件、录像控件、短视频控件、或用于开启相机应用中的更多功能的更多控件等。该界面中还可以包括下述的一种或多种，例如：基于摄像头实时采集到的画面，例如预览图像603，用于开启视频录制的控件601、用于打开图库的控件、用于切换摄像头的控件、用于对相机应用进行设置的设置控件、或用于调整拍摄倍数的控件、用于设置闪光灯开启或关闭的闪光灯控件、以及用于设置视频虚化程度的控件602等。其中，该用于设置视频虚化程度的控件602可以显示为光圈的样式。

在如图6中的a所示的界面中，当终端设备接收到用户针对该用于设置视频虚化程度的控件602的操作时，终端设备可以显示图6中的b所示的界面，该界面中可以显示视频虚化对应的光圈数值，例如该光圈数值可以包括：F0.95、F2.4、F4、F7.1、以及F16等。

如图6中的b所示的界面，在光圈调整结束的基础上，当终端设备接收到用户针对该用于开启视频录制的控件601的操作时，终端设备可以执行S401所示的步骤，利用主路摄像头以及辅路摄像头获取图像数据，并通过对图像数据的虚化处理显示如图7中的a(或b、或c)所示的界面。

可能的实现方式中，当用户未对图6中的b所示的界面中的光圈数值进行调整时，直接触发该控件601时，终端设备也可以默认基于F4的光圈数值进行视频虚化处理。

可能的实现方式中，终端设备也可以支持用户在开启视频录制的过程中，对于光圈数值的调整，并在接收到用户对于光圈数值调整的操作时，基于调整后的光圈数值进行视频虚化处理。

可能的实现方式中，终端设备也可以支持用户对于该用于设置视频虚化程度的控件602的关闭功能，使得终端设备可以基于正常录像功能进行视频录制。

可以理解的是，终端设备不仅可以支持视频录制界面中对于光圈的调整，还可以支持直播场景、以及视频通话等场景中对于光圈的调整，本申请实施例中对此不做限定。

基于此，终端设备不仅可以支持视频录制虚化功能，还可以支持用户对于光圈的调整(或理解为对于视频虚化程度的调整)，进而增强用户使用视频虚化功能的使用体验。

进一步的，图7为本申请实施例提供的另一种视频虚化处理的界面示意图。

一种实现中，如图6中的a(或b)所示的界面中，当终端设备接收到用户针对该用于开启视频录制的控件601的操作时，终端设备可以对虚化处理结果进行存储，并显示如图7中的a所示的界面。如图7中的a所示的界面，该界面中可以包括：基于终端设备实时采集到的预览画面701、以及用于结束视频录制的控件702。其中，该预览画面701可以为未经过视频虚化处理的画面，该预览画面701中可以包括：前景清晰的人物以及后景清晰的人物；该图7中的a所示的界面中显示的其他内容与图6中的a所示的界面类似，在此不再赘述。可以理解的是，如图7中的a对应的场景中，终端设备可以不支持视频的实时虚化处理。

另一种实现中，如图6中的a(或b)所示的界面中，当终端设备接收到用户针对该用于开启视频录制的控件601的操作时，终端设备可以将虚化处理结果送显至显示器，并显示如图7中的b(或c)所示的界面。

如图7中的b所示的界面，该界面中可以包括：基于终端设备实时采集到的预览画面703。其中，该预览画面703可以为经过视频虚化处理的画面，该预览画面703中可以包括前景清晰的人物以及后景虚化的人物；该图7中的b所示的界面中显示的其他内容与图6中的a所示的界面类似，在此不再赘述。其中，图7中的b(或c)中的虚线图可以理解为本申请实施例中的虚化。

如图7中的c所示的界面，该界面中可以包括：基于终端设备实时采集到的预览画面704。其中，该预览画面704可以为经过视频虚化处理的画面，该预览画面704中可以包括前景虚化的人物以及后景清晰的人物；该图7中的c所示的界面中显示的其他内容与图6中的a所示的界面类似，在此不再赘述。

参见图7中的b所示的界面以及图7中的c所示的界面，终端设备可以根据需求进行不同程度的视频虚化处理，使得预览界面中可以显示不同的虚化处理结果。例如，当终端设备接收到用户触发该前景人物所在的区域的操作时，终端设备可以对后景人物进行虚化处理；或者，当终端设备接收到用户触发该后景人物所在的区域的操作时，终端设备可以对前景人物进行虚化处理。

可能的实现方式中，在视频虚化处理的过程中，终端设备也可以支持自动对焦追踪功能。例如，在如图7中的c所示的前景人物虚化以及后景人物清晰的画面中，当终端设备检测到后景人物没有看镜头所在方向，而是将目光转向前景人物所在方向时，则终端设备可以将焦点转移到前景人物，并通过虚化处理，使得终端设备可以显示如图7中的b所示的前景人物清晰以及后景人物虚化的界面。

基于此，终端设备不仅可以实现虚化处理结果的实时预览，还可以支持自动对焦追踪等功能，根据画面内容调整虚化处理结果，使得虚化处理结果更符合用户的需求，进而增加用户使用视频虚化功能的使用体验。

在图4对应的实施例的基础上，可能的实现方式中，当终端设备接收到用户查看虚化处理的视频内容的操作时，终端设备可以显示该虚化处理的视频内容对应的标识。

示例性的，图8为本申请实施例提供的一种查看虚化处理的视频内容的界面示意图。

当终端设备接收到用户打开图库应用的操作时，终端设备可以显示如图8所示的界面，该界面中可以包括：图库应用的文字标识、用于搜索图像或视频的文本框、以及多个图像和视频，例如在今天拍摄的视频1，以及在昨天拍摄的视频2、视频3和视频4等。其中，该视频1的周围可以显示标识801，该视频4的周围可以显示标识802，该标识801(或标识802)用于指示该视频1(或视频4)经过视频虚化处理。

基于此，终端设备可以提供该用于指示视频是否经过视频虚化处理的标识，使得用户可以根据该标识清晰的确定多个视频中哪个视频是基于视频虚化处理得到的，增强用户使用视频虚化功能的使用体验。

可以理解的是，本申请实施例提供的界面仅作为一种示例，并不能构成对本申请实施例的进一步限定。

上面结合图4-图8，对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。如图9所示，图9为本申请实施例提供的一种视频虚化装置的结构示意图，该视频虚化装置可以是本申请实施例中的终端设备，也可以是终端设备内的芯片或芯片系统。

如图9所示，视频虚化装置90可以用于通信设备、电路、硬件组件或者芯片中，该视频虚化装置包括：显示单元901、以及处理单元902。其中，显示单元901用于支持视频虚化装置90执行的显示的步骤；处理单元902用于支持视频虚化装置90执行信息处理的步骤。

本申请实施例提供一种视频虚化装置90，处理单元902，用于获取第一路图像数据以及第二路图像数据；其中，第一路图像数据是基于第一摄像头的拍摄得到的，第二路图像数据是基于第二摄像头的拍摄得到的；处理单元902，用于对第一路图像数据以及第二路图像数据进行深度计算，得到深度图像数据；处理单元902，用于对第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据；防抖处理用于将第一路图像数据中的部分图像数据裁剪掉；处理单元902，用于利用深度图像数据对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果。

在一种可能的实现方式中，处理单元902，还用于对深度图像数据进行防抖处理，得到防抖处理后的深度图像数据；处理单元902，还用于利用防抖处理后的深度图像数据对防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果。

在一种可能的实现方式中，处理单元902，具体用于利用陀螺仪数据生成变换矩阵；其中，陀螺仪数据是基于陀螺仪传感器检测得到的，变换矩阵用于防抖处理；处理单元902，还具体用于利用变换矩阵对第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据。

在一种可能的实现方式中，处理单元902，还用于对第一路图像数据以及第二路图像数据分别进行图像前处理，得到图像前处理后的第一路图像数据以及图像前处理后的第二路图像数据；处理单元902，还用于对图像前处理后的第一路图像数据以及图像前处理后的第二路图像数据进行深度计算，得到深度图像数据。

在一种可能的实现方式中，图像前处理包括下述一种或多种：去坏点校正处理、未经加工RAW域降噪处理、黑电平校正处理、光学阴影校正处理、自动白平衡处理、颜色插值处理、色彩校正处理、色调映射处理、伽马Gamma校正处理或图像转换处理。

在一种可能的实现方式中，所处理单元902，还用于利用第一路图像数据对第二路图像数据进行Gamma校正处理，得到Gamma校正处理后的第二路图像数据；Gamma校正处于用于将第二路图像数据的亮度处理为与第一路图像数据的亮度一致；处理单元902，还用于对第一路图像数据以及Gamma校正处理后的第二路图像数据进行深度计算，得到深度图像数据。

在一种可能的实现方式中，处理单元902，还用于对防抖处理后的第一路图像数据进行噪声处理，得到噪声处理后的第一路图像数据；处理单元902，还用于对噪声处理后的第一路图像数据进行亮度处理以及颜色处理，得到亮度以及颜色处理后的第一路图像数据；处理单元902，还用于对亮度以及颜色处理后的第一路图像数据进行图像缩放处理，得到图像缩放处理后的第一路图像数据；处理单元902，还用于利用深度图像数据对图像缩放处理后的第一路图像数据进行虚化处理，得到虚化处理结果。

在一种可能的实现方式中，显示单元901，用于显示第一界面；第一界面中包括用于设置光圈的第一控件；当终端设备接收到针对第一控件的操作时，显示单元901，还用于显示第二界面；第二界面中包括至少一个光圈数值、以及用于开启视频录制的第二控件；当终端设备接收到在至少一个光圈数值中针对目标光圈数值的操作，并且接收到针对第二控件的操作时，处理单元902，还用于基于目标光圈数值获取第一路图像数据以及第二路图像数据。

在一种可能的实现方式中，显示单元901，还用于显示第三界面；第三界面中包括虚化处理结果、以及用于结束视频录制的第三控件；在终端设备接收到针对第三控件的操作时，处理单元902，还用于将虚化处理结果编码为第一视频，并将第一视频存储在图库应用中。

在一种可能的实现方式中，当终端设备接收到打开图库应用的操作时，处理单元902，还用于显示第四界面；其中，第四界面中包括第一视频，以及第一视频对应的第一标识，第一标识用于指示第一视频是基于虚化处理得到的。

可能的实现方式中，该视频虚化装置90中也可以包括通信单元903。具体的，通信单元用于支持视频虚化装置90执行数据的发送以及数据的接收的步骤。其中，该通信单元903可以是输入或者输出接口、管脚或者电路等。

可能的实施例中，视频虚化装置还可以包括：存储单元904。处理单元902、存储单元904通过线路相连。存储单元904可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。存储单元904可以独立存在，通过通信线路与视频虚化装置具有的处理单元902相连。存储单元904也可以和处理单元902集成在一起。

存储单元904可以存储终端设备中的方法的计算机执行指令，以使处理单元902执行上述实施例中的方法。存储单元904可以是寄存器、缓存或者RAM等，存储单元904可以和处理单元902集成在一起。存储单元904可以是只读存储器(read-only memory，ROM)或者可存储静态信息和指令的其他类型的静态存储设备，存储单元904可以与处理单元902相独立。

图10为本申请实施例提供的另一种终端设备的硬件结构示意图，如图10所示，该终端设备包括处理器1001，通信线路1004以及至少一个通信接口(图10中示例性的以通信接口1003为例进行说明)。

处理器1001可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路1004可包括在上述组件之间传送信息的电路。

通信接口1003，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网(wireless local area networks，WLAN)等。

可能的，该终端设备还可以包括存储器1002。

存储器1002可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1004与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器1002用于存储执行本申请方案的计算机执行指令，并由处理器1001来控制执行。处理器1001用于执行存储器1002中存储的计算机执行指令，从而实现本申请实施例所提供的视频虚化方法。

可能的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器1001可以包括一个或多个CPU，例如图10中的CPU0和CPU1。

在具体实现中，作为一种实施例，终端设备可以包括多个处理器，例如图10中的处理器1001和处理器1005。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

示例性的，图11为本申请实施例提供的一种芯片的结构示意图。芯片110包括一个或两个以上(包括两个)处理器1120和通信接口1130。

在一些实施方式中，存储器1140存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

本申请实施例中，存储器1140可以包括只读存储器和随机存取存储器，并向处理器1120提供指令和数据。存储器1140的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

本申请实施例中，存储器1140、通信接口1130以及存储器1140通过总线系统1110耦合在一起。其中，总线系统1110除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图11中将各种总线都标为总线系统1110。

上述本申请实施例描述的方法可以应用于处理器1120中，或者由处理器1120实现。处理器1120可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1120中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1120可以是通用处理器(例如，微处理器或常规处理器)、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器1120可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。其中，软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory，EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1140，处理器1120读取存储器1140中的信息，结合其硬件完成上述方法的步骤。

在上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中，计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如，可用介质可以包括磁性介质(例如，软盘、硬盘或磁带)、光介质(例如，数字通用光盘(digital versatile disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

作为一种可能的设计，计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory，CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD)，激光盘，光盘，数字通用光盘(digital versatile disc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

上述的组合也应包括在计算机可读介质的范围内。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频虚化方法，其特征在于，应用于终端设备，所述终端设备包括第一摄像头以及第二摄像头，所述方法包括：

所述终端设备获取第一路图像数据以及第二路图像数据；其中，所述第一路图像数据是基于所述第一摄像头的拍摄得到的，所述第二路图像数据是基于所述第二摄像头的拍摄得到的；

所述终端设备对所述第一路图像数据以及所述第二路图像数据进行深度计算，得到深度图像数据；所述终端设备对所述深度图像数据进行防抖处理，得到防抖处理后的深度图像数据；

所述终端设备对所述第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据；所述防抖处理用于将所述第一路图像数据中的部分图像数据裁剪掉；

所述终端设备利用所述防抖处理后的深度图像数据对所述防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果；其中，所述虚化处理包括不同程度的虚化处理，所述终端设备可根据用户需求进行不同程度的虚化处理，所述虚化处理结果根据不同程度的虚化处理显示不同的虚化处理结果；

所述终端设备对所述第一路图像数据进行防抖处理，得到防抖处理后的第一路图像数据，包括：

所述终端设备利用陀螺仪数据生成变换矩阵；其中，所述陀螺仪数据是基于陀螺仪传感器检测得到的，所述陀螺仪数据为角加速度数据，所述角加速度数据用于表征所述终端设备的位姿，所述变换矩阵用于所述防抖处理；

所述终端设备利用所述变换矩阵对所述第一路图像数据进行防抖处理，得到所述防抖处理后的第一路图像数据。

2.根据权利要求1所述的方法，其特征在于，所述终端设备对所述第一路图像数据以及所述第二路图像数据进行深度计算，得到深度图像数据之前，所述方法还包括：

所述终端设备对所述第一路图像数据以及所述第二路图像数据分别进行图像前处理，得到图像前处理后的第一路图像数据以及图像前处理后的第二路图像数据；

所述终端设备对所述第一路图像数据以及所述第二路图像数据进行深度计算，得到深度图像数据，包括：所述终端设备对所述图像前处理后的第一路图像数据以及所述图像前处理后的第二路图像数据进行深度计算，所述得到深度图像数据。

3.根据权利要求2所述的方法，其特征在于，所述图像前处理包括下述一种或多种：去坏点校正处理、未经加工RAW域降噪处理、黑电平校正处理、光学阴影校正处理、自动白平衡处理、颜色插值处理、色彩校正处理、色调映射处理、伽马Gamma校正处理或图像转换处理。

4.根据权利要求1所述的方法，其特征在于，所述终端设备对所述第一路图像数据以及所述第二路图像数据进行深度计算，得到深度图像数据之前，所述方法还包括：

所述终端设备利用第一路图像数据对所述第二路图像数据进行Gamma校正处理，得到Gamma校正处理后的第二路图像数据；所述Gamma校正处于用于将所述第二路图像数据的亮度处理为与所述第一路图像数据的亮度一致；

所述终端设备对所述第一路图像数据以及所述第二路图像数据进行深度计算，得到深度图像数据，包括：所述终端设备对所述第一路图像数据以及所述Gamma校正处理后的第二路图像数据进行深度计算，得到所述深度图像数据。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述终端设备利用所述深度图像数据对所述防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果之前，所述方法还包括：

所述终端设备对所述防抖处理后的第一路图像数据进行噪声处理，得到噪声处理后的第一路图像数据；

所述终端设备对所述噪声处理后的第一路图像数据进行亮度处理以及颜色处理，得到亮度以及颜色处理后的第一路图像数据；

所述终端设备对所述亮度以及颜色处理后的第一路图像数据进行图像缩放处理，得到图像缩放处理后的第一路图像数据；

所述终端设备利用所述防抖处理后的深度图像数据对所述防抖处理后的第一路图像数据进行虚化处理，得到虚化处理结果，包括：所述终端设备利用所述防抖处理后的深度图像数据对所述图像缩放处理后的第一路图像数据进行虚化处理，得到所述虚化处理结果。

6.根据权利要求1所述的方法，其特征在于，所述终端设备获取第一路图像数据以及第二路图像数据，包括：所述终端设备显示第一界面；所述第一界面中包括用于设置光圈的第一控件；

当所述终端设备接收到针对所述第一控件的操作时，所述终端设备显示第二界面；所述第二界面中包括至少一个光圈数值、以及用于开启视频录制的第二控件；

当所述终端设备接收到在所述至少一个光圈数值中针对目标光圈数值的操作，并且接收到针对所述第二控件的操作时，所述终端设备基于所述目标光圈数值获取所述第一路图像数据以及所述第二路图像数据。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述终端设备显示第三界面；所述第三界面中包括所述虚化处理结果、以及用于结束视频录制的第三控件；

在所述终端设备接收到针对所述第三控件的操作时，所述终端设备将所述虚化处理结果编码为第一视频，并将所述第一视频存储在图库应用中。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

当所述终端设备接收到打开所述图库应用的操作时，所述终端设备显示第四界面；其中，所述第四界面中包括所述第一视频，以及所述第一视频对应的第一标识，所述第一标识用于指示所述第一视频是基于虚化处理得到的。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使得所述终端设备执行如权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如权利要求1至8任一项所述的方法。