CN115393182A - 图像处理方法、装置、处理器、终端及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、处理器、终端及存储介质，涉及图像拍摄领域。方法包括：确定第一图像帧的第一实际焦平面和目标焦平面，第一实际焦平面为第一图像帧中第一实际对焦区域所处的焦平面，目标焦平面为第一图像帧中目标对焦区域所处的焦平面，两平面不同；基于第一实际焦平面和目标焦平面确定过渡焦平面，过渡焦平面位于第一实际焦平面和所述目标焦平面之间；基于过渡焦平面对第二图像帧进行深度计算，得到第二图像帧的目标深度信息，第二图像帧为第一图像帧之后的图像帧；向第二处理器传输第二图像帧和目标深度信息，以便第二处理器基于目标深度信息对第二图像帧进行虚化处理。本方案保证了焦平面切换过程中虚化效果的平滑性。

Description

图像处理方法、装置、处理器、终端及存储介质

技术领域

本申请实施例涉及图像拍摄领域，特别涉及一种图像处理方法、装置、处理器、终端及存储介质。

背景技术

背景虚化是摄影中用于突出特定物体的重要手段，为使摄像效果接近单反相机，终端通过虚化算法模仿光学虚化效果。

在虚化拍摄过程中，需要清晰成像的拍摄主体与光学对焦主体间往往存在一定偏差，相关技术中，在虚化拍摄下，执行主体切换操作时，清晰区域往往直接从对焦主体切换为拍摄主体，进而图像虚化效果发生跃变，影响用户体验。

发明内容

本申请实施例提供了一种图像处理方法、装置、处理器、终端及存储介质，能够提高焦平面切换过程中图像虚化效果变化的平滑性。所述技术方案如下：

一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

确定第一图像帧的第一实际焦平面和目标焦平面，所述第一实际焦平面为所述第一图像帧中实际对焦区域所处的焦平面，所述目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

基于所述第一实际焦平面和所述目标焦平面确定过渡焦平面，所述过渡焦平面位于所述第一实际焦平面和所述目标焦平面之间；

基于所述过渡焦平面对第二图像帧进行深度计算，得到所述第二图像帧的目标深度信息，所述第二图像帧为所述第一图像帧之后的图像帧；

向第二处理器传输所述第二图像帧以及所述目标深度信息，以便所述第二处理器基于所述目标深度信息对所述第二图像帧进行虚化处理。

另一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

接收第一处理器传输的第二图像帧以及目标深度信息，所述第二图像帧是第一图像帧之后的图像帧，所述目标深度信息由所述第一处理器基于过渡焦平面对所述第二图像帧进行深度计算，所述过渡焦平面基于所述第一图像帧的第一实际焦平面和第一目标焦平面确定得到，且所述过渡焦平面位于所述第一实际焦平面和所述第一目标焦平面之间，所述第一目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

基于所述目标深度信息对所述第二图像帧进行虚化处理。

另一方面，本申请实施例提供了一种图像处理系统，所述系统包括第一处理器和第二处理器；

所述第一处理器，用于确定第一图像帧的第一实际焦平面和目标焦平面，所述第一实际焦平面为所述第一图像帧中第一实际对焦区域所处的焦平面，所述目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；基于所述第一实际焦平面和所述目标焦平面确定过渡焦平面，所述过渡焦平面位于所述第一实际焦平面和所述目标焦平面之间；基于所述过渡焦平面对第二图像帧进行深度计算，得到所述第二图像帧的目标深度信息，所述第二图像帧为所述第一图像帧之后的图像帧；向所述第二处理器传输所述第二图像帧以及所述目标深度信息；

所述第二处理器，用于接收所述第一处理器传输的所述第二图像帧以及所述目标深度信息；基于所述目标深度信息对所述第二图像帧进行虚化处理。

另一方面，本申请实施例提供了一种图像处理装置，所述装置用于第一处理器，所述装置包括：

第一确定模块，用于确定第一图像帧的第一实际焦平面和目标焦平面，所述第一实际焦平面为所述第一图像帧中实际对焦区域所处的焦平面，所述目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

第二确定模块，用于基于所述第一实际焦平面和所述目标焦平面确定过渡焦平面，所述过渡焦平面位于所述第一实际焦平面和所述目标焦平面之间；

计算模块，用于基于所述过渡焦平面对第二图像帧进行深度计算，得到所述第二图像帧的目标深度信息，所述第二图像帧为所述第一图像帧之后的图像帧；

传输模块，用于向第二处理器传输所述第二图像帧以及所述目标深度信息，以便所述第二处理器基于所述目标深度信息对所述第二图像帧进行虚化处理。

另一方面，本申请实施例提供了一种图像处理装置，所述装置用于第二处理器，所述装置包括：

接收模块，用于接收第一处理器传输的第二图像帧以及目标深度信息，所述第二图像帧是第一图像帧之后的图像帧，所述目标深度信息由所述第一处理器基于过渡焦平面对所述第二图像帧进行深度计算，所述过渡焦平面基于所述第一图像帧的第一实际焦平面和第一目标焦平面确定得到，且所述过渡焦平面位于所述第一实际焦平面和所述第一目标焦平面之间，所述第一目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

图像处理模块，用于基于所述目标深度信息对所述第二图像帧进行虚化处理。

另一方面，本申请实施例提供了一种处理器，所述处理器包括可编程逻辑电路和/或程序指令，当所述处理器运行时，用于实现如上述方面所述的第一处理器，或，第二处理器侧的图像处理方法。

另一方面，本申请实施例提供了一种终端，所述终端包括第一处理器、第二处理器和存储器，所述至少一段程序由所述第一处理器和所述第二处理器加载并执行以实现如上述方面所述的图像处理方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上述方面所述的图像处理方法。

另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面所述的图像处理方法。

本申请实施例中，终端在图像虚化过程中利用第一处理器确定目标焦平面，也即确定下一帧图像中需要清晰成像的平面，进而基于目标焦平面与第一实际焦平面确定过渡焦平面，以便作为第二图像帧等过渡帧的图像焦平面，在第一处理器计算得到基于过渡焦平面的目标深度信息后，第二处理器基于目标深度信息对第二图像帧进行虚化处理，在虚化图像变换拍摄主体时，终端通过先行确定目标焦平面以及相应的过渡焦平面，实现了图像的虚化效果在各过渡帧间的平滑过渡，提高了虚化效果变化过程的平滑性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个示例性实施例提供的终端的结构方框图；

图2示出了本申请一个示例性实施例提供的图像处理方法的流程图；

图3示出了本申请一个示例性实施例提供的目标焦平面确定过程的流程图；

图4示出了本申请一个示例性实施例提供的过渡焦平面确定过程的流程图；

图5示出了本申请一个示例性实施例提供的图像处理流程的示意图；

图6示出了本申请一个示例性实施例提供的图像处理过程的原理示意图；

图7示出了本申请一个示例性实施例提供的图像处理装置的结构框图；

图8示出了本申请另一个示例性实施例提供的图像处理装置的结构框图；

图9示出了本申请一个示例性实施例提供的图像处理系统的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

为了方便理解，下面对本申请实施例中涉及的名词进行说明。

焦平面(Focal Plane)：是指在凸透镜两侧的焦点所在的垂直于光轴的平面，拍摄时被摄物最清晰的像所在的位置。当无限远的平行光线进入摄像头时，光线会向透镜主轴折射而聚成一点，也即镜头的焦点，亦即被摄物结像的最清晰点。由透镜的主焦点和众多的副焦点构成的垂直于主轴的平面称为焦平面，摄像头内安装感光片的位置即为第二焦平面位置，也即像方焦平面。与其对应的，垂直于系统主光轴的第一焦平面为物方焦平面，由物方焦平面上轴外任意一点发出的所有光线，通过光学系统以后，对应一束和光轴成一定夹角的平行光线，位于物方焦平面的物体在像平面上可呈现清晰的像。本申请实施例中提及焦平面均为物方焦平面。

虚化：一种相机拍摄技术，在拍摄时，位于第一焦平面之外的物体在第二焦平面上呈现为一个有一定直径的圆，即为弥散圆(Circle of Confusion)，基于人眼的辨认能力有限，直径在一定范围内的圆，并不会被人眼辨认，符合上述条件的弥散圆即为容许弥散圆，而物体成像时呈现为容许弥散圆的所处范围即为景深，位于景深范围之外的物体呈现在图像中是模糊的像。景深越浅，取景范围内被虚化的景物范围越大，传统相机通过调节光圈和焦距即可调整景深，而手机等设备则不具备相应的调节功能，仅能通过虚化算法对图像进行虚化处理，模仿光学虚化效果。

深度计算：一种计算图像中景物各点与视点距离的方法，基于景物距离也即深度信息，可以建立反映景物前后关系的深度图(Depth Map)。目前相机拍摄的图像或视频仅部分记录真实世界在二维平面上的颜色投影，而并不直接反应实际场景的三维结构也即深度，深度是指场景中某一点到相机中心所在的XY平面的距离，从真实拍摄的图像和视频中恢复深度信息是计算机视觉领域的经典问题。关于基于图像的深度计算，常见的计算方法主要有多视图立体法(Multi-view Stereo)、光度立体视觉法(Photometric Stereo)、色度成形法(Shape from Shading)、散焦推断法(Depth from Defocus)以及基于机器学习的方法等。

在拍摄过程中，用户可以通过背景虚化达到突出拍摄主体的目的，在传统的光学拍摄中，通过调整相机使用的光圈大小和焦距，即可调整所摄景深，也即调整图像中的虚化范围，而在终端拍摄过程中，受限于摄像头尺寸，摄像头的光圈大小以及焦距均是固定的，由此终端仅能通过虚化算法实现虚化效果以及实现调节虚化范围。在拍摄过程中，终端首先获取摄像头传输的图像数据，进而对图像数据进行深度计算，得到图像的深度图。终端基于焦平面位置确定前景图像，并结合设置参数确定景深范围，进而将处于景深范围以外的图像部分进行模糊处理，以此达到虚化效果。由于终端摄像头的对焦过程同样基于对焦算法完成，在拍摄过程中，往往存在用户的目标突出对象并不位于焦平面的情况，并且在视频拍摄中，用户的目标突出对象随拍摄情景的变化常常发生变动，因此仅通过焦平面位置确认前景物体的方式一定程度上影响了虚化效果的呈现。

本申请实施例提供了一种虚化效果变换方案，采用本方案，在图像拍摄的过程中，终端可以基于拍摄场景动态确定目标焦平面，通过确定实际焦平面和目标焦平面的深度信息，终端梯度确定位于实际焦平面与目标焦平面之间的中间态焦平面，进而基于中间态焦平面确定过渡帧的深度信息，通过过渡帧平滑虚化中心切换时的图像跃变，优化了焦平面切换过程中的虚化效果。

请参考图1，其示出了本申请一个示例性实施例提供的终端的结构方框图。本实施例以图像处理过程为图像虚化处理为例进行说明，终端100可以包括一个或多个如下部件：第一处理器110、第二处理器120、存储器130和图像传感器140。

第一处理器110是用于处理图像数据，并生成和打包图像深度信息和图像帧传输至第二处理器120的处理器。第一处理器可以是前端处理器。本申请实施例中，第一处理器110中集成有NPU(Neural Network Processing Unit，神经网络处理器)，第一处理器110可以对图像帧进行场景识别，确定图像主体，并且可以对图像进行深度计算得到图像深度图，在其他可能实施例中，第一处理器110中还可以设置其他类型的处理器，本实施例对此不作限定。

第二处理器120是用于接收图像深度信息以及图像帧，并对图像帧进行虚化处理的处理器。第二处理器可以是后端处理器。本申请实施例中，第二处理器120可以是AP(Application Process)，第二处理器120可以包括一个或者多个处理核心。第二处理器120利用各种接口和线路连接整个终端100内的各个部分，通过运行或执行存储在存储器130内的指令、程序、代码集或指令集，以及调用存储在存储器130内的数据，执行终端100的各种功能和处理数据。可选地，第二处理器120可以采用数字信号处理(Digital SignalProcessing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。第二处理器120可集成中央处理器(Central Processing Unit，CPU)、图像处理器(GraphicsProcessing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到第二处理器120中，单独通过一个处理器进行实现。

存储器130可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器130包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器130可用于存储指令、程序、代码、代码集或指令集。存储器130可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据终端100的使用所创建的数据(比如音频数据、电话本)等。

图像传感器(Image Sensor)140用于将图像光学信号转换为电子信号，并向后传输图像数据。本申请实施例中，由存储器130存储图像传感器140传输的图像数据，该图像数据用于第一处理器110进行场景识别以及深度计算，还用于第二处理器120进行图像虚化处理，以得到目标虚化图像。

除此之外，本领域技术人员可以理解，上述附图所示出的终端100的结构并不构成对终端的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端100中还包括显示屏、扬声器、输入单元、传感器(比如加速度传感器、角速度传感器、光线传感器等等)、音频电路、WiFi模块、电源、蓝牙模块等部件，在此不再赘述。

请参考图2，其示出了本申请一个示例性实施例提供的对焦方法流程图。本实施例以图像处理过程为图像虚化处理为例，且本实施例以该方法用于图1所示终端的第一处理器和第二处理器为例进行说明，该方法可以包括如下步骤。

步骤201，第一处理器确定第一图像帧的第一实际焦平面和目标焦平面，第一实际焦平面为第一图像帧中实际对焦区域所处的焦平面，目标焦平面为第一图像帧中目标对焦区域所处的焦平面，目标焦平面不同于第一实际焦平面。

基于图像中各景物距离感光元件的距离不同，各景物位于不同的空间平面上，其中，空间平面即为与图像传感器所在平面平行的平面。在呈现虚化效果的图像中，所有位于焦平面上的物体均在图像中呈现清晰的像，相应的，在焦平面以外的物体在图像中呈现模糊的像，其中焦平面为各空间平面中的一个平面。

在一种可能的实施方式中，第一处理器确定第一图像帧中的光学对焦区域所在的平面为实际焦平面，该实际焦平面为第一图像帧中呈现清晰图像的平面。基于拍摄主体可能发生变化，并且拍摄主体所在平面可能发生变化，第一处理器确定目标对焦区域，并确定该目标对焦区域所在空间平面为目标焦平面，在之后的一帧图像帧中，位于目标焦平面的物体在图像中呈现清晰的像。

步骤202，第一处理器基于第一实际焦平面和目标焦平面确定过渡焦平面，过渡焦平面位于第一实际焦平面和目标焦平面之间。

若第一实际焦平面和目标焦平面在深度空间中相距较远，在将图像的焦平面自第一实际焦平面切换至目标焦平面时，图像变换清晰区域和模糊区域的过程较为明显，也即图像的虚化效果将发生跃变。在本申请实施例中，为提高虚化效果的平滑性，第一处理器设置过渡帧，在过渡帧中位于过渡焦平面的物体呈现清晰的像。

在一种可能的实施方式中，第一处理器确定位于第一实际焦平面和目标焦平面之间的至少一个空间平面为过渡焦平面，在第一处理器确定有至少两个过渡焦平面时，第一过渡焦平面为距离第一实际焦平面最近的过渡焦平面，而后过渡焦平面的位置逐渐接近目标焦平面。

步骤203，第一处理器基于过渡焦平面对第二图像帧进行深度计算，得到第二图像帧的目标深度信息，第二图像帧为第一图像帧之后的图像帧。

其中，第二图像帧为过渡帧中的其中一帧图像帧，且第二图像帧为图像传感器输出的图像帧。在虚化处理中，第二处理器确定焦平面为清晰平面，无需进行模糊处理，相应的，第二处理器对焦平面之外的物体进行模糊处理。在光学相机中，基于物体距离焦平面的距离远近，物体在像平面上呈现模糊程度不同的像，且模糊程度与距离焦平面的距离呈正相关。为使虚化效果接近光学相机的虚化效果，第二处理器需基于上述相对距离对图像各区域进行不同程度的模糊处理。

在一种可能的实施方式中，第一处理器以过渡焦平面为图像焦平面对第二图像帧进行深度计算，得到图像中各物体相对于过渡焦平面的深度信息，也即第二图像帧的目标深度信息。

步骤204，第一处理器向第二处理器传输第二图像帧以及目标深度信息，以便第二处理器基于目标深度信息对第二图像帧进行虚化处理。

在图像虚化过程中，仅第二处理器中包含有虚化算法，本申请实施例中，第一处理器通过确定目标焦平面以及过渡焦平面，确定了符合用户需求的空间平面为焦平面，相较于相关技术中，第二处理器基于光学对焦确定的实际焦平面对图像进行虚化，提高了图像虚化效果的平滑性。在一种可能的实施方式中，第一处理器将第二图像帧和目标深度信息通过MIPI(Mobile Industry Processor Interface，移动行业处理器接口)接口传输至第二处理器，并由第二处理器进行虚化处理。

步骤205，第二处理器接收第一处理器传输的第二图像帧以及目标深度信息，第二图像帧是第一图像帧之后的图像帧，目标深度信息由第一处理器基于过渡焦平面对第二图像帧进行深度计算得到。

其中，过渡焦平面为第一处理器基于第一图像帧的第一实际焦平面和第一目标焦平面确定得到，且过渡焦平面位于第一实际焦平面和所述第一目标焦平面之间，第一目标焦平面为第一图像帧中目标对焦区域所处的焦平面，目标焦平面不同于第一实际焦平面。

步骤206，第二处理器基于目标深度信息对第二图像帧进行虚化处理。

其中，目标深度信息包含有图像中全部物体相对于过渡焦平面的相对上深度。在一种可能的实施方式中，第二处理器基于所接受的目标深度信息确定第二图像帧中的过渡焦平面对应深度的平面为焦平面，并令位于该焦平面的物体呈现清晰的像，相应的，对位于该焦平面之外的物体所在图像区域进行模糊处理，并且基于目标深度信息中的相对深度进行不同程度的模糊处理。

可选的，第二处理器可以对位于过渡焦平面物体的成像区域进行增强图像清晰度等处理，以便解决第二图像帧的光学对焦不同于上述区域时造成的图像清晰度不足的问题。

可选的，在完成虚化处理后，第二处理器可以利用不同算法，在基于焦平面过渡实现虚化效果平滑过渡的基础上，在各图像帧中增加水波效果、流体效果等增加图像平滑感的图像效果。

综上所述，在本申请实施例中，终端在图像虚化过程中通过第一处理器确定目标焦平面，也即确定下一帧图像中需要清晰成像的平面进而第一处理器基于目标焦平面与第一实际焦平面确定过渡焦平面，以便作为第二图像帧等过渡帧的图像焦平面，在第一处理器计算得到基于过渡焦平面的目标深度信息后，第二处理器基于目标深度信息对第二图像帧进行虚化处理，在虚化图像变换拍摄主体时，终端通过先行确定目标焦平面以及相应的过渡焦平面，实现了图像的虚化效果在各过渡帧间的平滑过渡，提高了虚化效果变化过程的平滑性。

在使用虚化效果进行拍摄的过程中，当用户改变拍摄主体时，图像中的清晰区域以及模糊区域随之改变，相关技术中，拍摄主体改变时，图像中各区域的显示效果直接发生改变，造成图像虚化效果的跃变。为提高拍摄主体切换时各图像帧间虚化效果的平滑性，本申请实施例在触发拍摄主体切换之前，先行确定目标对焦区域，进而确定目标焦平面，并基于目标焦平面确定至少一个过渡焦平面，对应得到至少一帧过渡图像帧。请参考图3，其示出了本申请一个示例性实施例提供的确定目标焦平面方法的流程图。本实施例以该方法用于图1所示的终端为例进行说明，该方法可以包括如下步骤：

步骤301，第一处理器对历史图像帧进行图像识别，得到图像识别结果，历史图像帧为第一图像帧之前的图像帧。

用户希望通过虚化效果突出显示图像中的某一景物或人像，该景物或人像即为图像的拍摄主体，基于图像内容第一处理器可以确定用户希望突出显示的拍摄主体。为确定用户的目标拍摄对象，第一处理器识别所述历史图像帧中包含的拍摄对象，以确定第一处理器的图像识别结果。

在一种可能的实施方式中，第二处理器向第一处理器传输的场景参数，以便第一处理器基于场景参数识别历史图像帧中包含的拍摄对象，并基于拍摄对象在所述历史图像帧中的变化情况，确定图像识别结果，场景参数用于表征当前所处的拍摄场景，且不同拍摄场景对应不同拍摄对象。在拍摄过程中，用户在应用程序中选择设置适合于当前拍摄场景的场景参数，其中，场景参数可以包括拍摄模式，例如基于当前拍照应用处于人像模式，第二处理器向第一处理器传输指示人像模式的场景参数，可选的，场景参数中还可以包括曝光参数等。

进一步的，第一处理器接收第二处理器传输的场景参数，场景参数用于表征当前所处的拍摄场景。例如，第一处理器接收第二处理器传输的当前拍摄模式，在上述拍摄模式为人像模式的情况下，第一处理器确定当前的拍摄场景为人像场景，或是在上述拍摄模式为静物模式的情况下，第一处理器确定当前拍摄场景为静物场景。

第一处理器结合上述拍摄场景对第一图像帧进行图像识别，以便确定下一帧图像的拍摄主体，因此第一处理器在进行图像识别时，首要识别图像中的拍摄对象。在基于场景参数确定当前拍摄场景的基础上，在一种可能的实施方式中，第一处理器基于场景参数识别历史图像帧中包含的拍摄对象，其中，不同拍摄场景对应不同拍摄对象。例如，在第一处理器所接收场景参数为当前拍摄模式，且当前拍摄模式为人像模式的情况下，第一处理器确定当前处于人像场景，也即确定人像为当前拍摄场景下的拍摄对象，进而第一处理器读取储存于存储器中的历史图像帧，并对其中的人像区域进行识别分析。

可选的，第一处理器可以依据拍摄模式确定拍摄对象类型，在图像中包含有多个同类型的物体时，第一处理器可以结合其他场景参数，例如物体像素区域所占图像比例、物体像素区域在图像中的显示位置等进一步确定拍摄对象。示意性的，第一处理器基于拍摄模式确定当前处于人像场景，在历史图像帧中显示有两个人像，且其中一个人像位于图像的中央区域，而另一人像则位于图像的右侧区域，进而第一处理器确定前者为拍摄对象；或是，在拍摄场景为人像场景的情况下，在历史图像帧中显示有一大一小两个人像，则第一处理器确定其中所占图像面积更大的人像为拍摄主体。

进一步的，第一处理器基于拍摄对象在历史图像帧中的变化情况，确定图像识别结果，变化情况包括姿态变化情况和运动状态变化情况中的至少一种。其中，姿态变化情况是指拍摄对象在图像中呈现姿态的变化情况，例如在以人像为拍摄对象的拍摄场景中，第一处理器基于对比前后历史图像帧中的拍摄对象，确定该拍摄对象的头部姿态发生变化，且该拍摄对象逐渐将头转向图像右侧，也即第一处理器确定拍摄主体具有向右转头的姿态变化；运动变化情况是指拍摄对象在历史图像帧中显示位置的变化情况，也即拍摄对象基于运动的位移情况，例如，在以人像为拍摄对象的场景中，基于历史图像帧中，作为拍摄对象的人像其显示位置逐渐自图像左侧向右移动，第一处理器确定该拍摄对象处于向右运动的变化情况中。可选的，在物体前后运动的情景下，第一处理器可以基于图像显示区域的大小变化，确定拍摄对象的运动变化状态。

可选的，在第一处理器基于拍摄对象的运动状态变化确定图像识别结果时，上述运动状态可以是拍摄对象的主动运动状态，也即拍摄对象相对于图像中其他物体的运动情况，相应的上述运动状态也可以是拍摄对象的被动运动状态，也即在拍摄过程中，随用户移动终端(摄像头)位置，拍摄对象在图像中的显示位置发生变化。

可选的，第一处理器可以基于拍摄对象对历史图像帧设置特征点，并比较各历史图像帧中特征点的变化特征确定拍摄对象的变化情况，进而确定拍摄对象的姿态变化情况或是运动变化情况。

步骤302，第一处理器基于图像识别结果，确定目标对焦区域。

其中，图像识别结果中包含有历史图像帧中拍摄对象的变化情况，第一处理器可以基于该变化情况分析确定用户下一帧图像中拍摄对象的显示位置，也即目标对焦区域。

关于确定目标对焦区域的方法，可以是以下任一种，或是以下方式的组合：

1、第一处理器基于图像识别结果中包含的姿态变化情况，确定姿态指向位置，将姿态指向位置对应的区域确定为目标对焦区域。

在一种可能的实施方式中，第一处理器在历史图像帧中的拍摄对象显示位置设置特征点，并对比各历史图像帧中特征点的变化特征，在基于特征点变化特征确定当前拍摄对象的姿态变化情况，也即图像识别结果，基于上述特征点的变化特征，第一处理器进一步确定上述姿态变化中姿态的指向位置，基于拍摄对象通过姿态变化强调姿态指向位置对应区域，第一处理器确定上述图像区域中的物体为拍摄对象，进而确定该拍摄对象的显示区域为目标对焦区域。

在一个示意性的例子中，第一图像帧中包含有两人像，且其中一人像位于图像中央区域，另一人像位于图像右侧，进而第一处理器对读取存储器中的历史图像帧并基于场景参数确定前者为当前拍摄对象，第一处理器对该人像设置特征点，基于各历史图像帧中的特征点变化情况，第一处理器确定该人像的头部姿态逐渐从面向前方变为面向右侧，也即人像存在向右侧转头的姿态变化情况。进而，基于上述姿态变化情况，第一处理器确定拍摄对象的姿态指向图像右侧，并将位于拍摄对象右侧的另一人像为新的拍摄对象，进而确定该人像显示区域为目标对焦区域。

2、第一处理器基于图像识别结果中包含的运动状态变化情况，确定目标运动位置，将目标运动位置对应的区域确定为目标对焦区域。

在一种可能的实施方式中，第一处理器通过对比各历史图像帧中的拍摄对象的显示位置变化特征或是显示区域的尺寸变化特征确定运动状态变化情况，并基于上述变化特征确定该拍摄对象的目标运动位置，进而确定下一帧拍摄图像的可能显示位置，并确定上述位置对应的显示区域为目标对焦区域。

在一个示意性的例子中，第一图像帧有包含有一株植物，且该植物位于图像的中央区域并占有图像的1/3显示区域，第一处理器基于当前处于静物模式以及物体显示位置等确定拍摄参数确定该株植物为拍摄对象。进而，第一处理器读取存储器中的历史图像帧并对各历史图像帧中的该株植物显示位置或显示尺寸进行对比，基于该植物在图像中的显示尺寸逐渐增大，第一处理器确定该株植物存在向终端(摄像头)靠近的运动变化情况，并且通过对比各历史图像帧中，该拍摄对象显示区域的变化程度，第一处理器确定该株植物相对于终端(摄像头)的移动速率，进而确定该拍摄对象的下一帧显示位置也即目标运动位置。第一处理器可以确定上述目标运动位置为目标对焦区域。

步骤303，第一处理器将目标对焦区域所处的焦平面确定为目标焦平面。

第一处理器通过确定目标对焦区域确定下一帧拍摄对象的显示区域，也即下一帧图像中需要清晰显示的图像区域。基于在图像虚化过程中，第二处理器确定位于焦平面的物体在图像中呈现清晰的像，第一处理器确定上述目标显示区域所在平面为目标焦平面，以便第二处理器确定该平面为成像清晰的平面。

可选的，第二处理器可以基于用户执行的点击操作确定目标对焦区域，也即，基于用户在图像预览界面点击图像任一区域，第二处理器获取该点击操作的坐标点，并通过图像识别确定该坐标点位于图像某一物体显示区域中，进而确定上述图像区域即为目标对焦区域。相应的，终端可以通过眼球追踪技术等方式确定用户希望突出显示的目标对焦区域。

可选的，第一处理器可以基于终端中的传感器元件，例如陀螺仪，确定终端的移动方向，进而确定用户持有终端进行追焦的目标拍摄对象，并确定该目标拍摄对象所在区域为目标对焦区域，该区域所在平面为目标对焦平面。

可选的，在获取第二图像帧的情况下，第一处理器结合第一图像帧的图像识别结果以及场景参数可以对第二图像帧进行图像识别，当第二图像帧的图像识别结果和第一图像帧的图像识别结果相差较大时，第一处理器可以基于第二图像帧的场景识别结果确定目标对焦区域，进而确定相应的目标焦平面，以便后续第一处理器基于准确的目标焦平面确定合适的过渡焦平面。

综上所述，第一处理器结合第二处理器传输的场景参数对历史图像帧进行图像识别，确定历史图像帧中的拍摄对象，并进而通过确定历史图像帧中拍摄对象的变化情况确定图像识别结果，第一处理器基于该图像识别结果确定目标对焦区域，进而确定目标对焦区域所在平面为目标焦平面；在本申请实施例中，第一处理器通过图像识别确定下一帧图像中的拍摄对象显示区域，并将其所在平面确定为目标焦平面，为后续第一处理器确定过渡焦平面确定了目标平面。

在确定目标焦平面的情况下，第一处理器可以在基于光学对焦进行拍摄对象的切换之前，即开始逐帧移动虚化效果中的清晰区域。相较于相关技术中，终端基于光学对焦触发直接切换清晰区域，前后帧之间的虚化区域位置差异较大，在本申请实施例中，终端可以基于目标焦平面和实际焦平面确定至少一个过渡焦平面。上述过渡焦平面位于目标焦平面和实际焦平面之间，且过渡焦平面的平面位置逐渐从实际焦平面向目标焦平面移动，该过渡焦平面用于充当过渡帧的焦平面，也即过渡帧以过渡焦平面为图像的清晰平面，通过设置过渡帧，在切换焦平面的过程中，虚化区域逐渐移动变化，保证了各帧之间虚化效果变化的平滑性。请参考图4，其示出了本申请一个示例性实施例提供的过渡焦平面确定方法的流程图。本实施例以该方法用于图1所示的终端为例进行说明，该方法可以包括如下步骤：

步骤401，第一处理器确定第一图像帧的第一实际焦平面。

在本申请实施例中，第一处理器通过确定过渡焦平面利用过渡帧实现焦平面切换过程中清晰区域逐帧移动的虚化效果，由此，过渡焦平面是位于第一实际焦平面和目标焦平面之间的空间平面。相应于上述申请实施例中确定的目标焦平面，第一处理器确定第一图像帧的第一实际焦平面，以进一步确定过渡焦平面。

在一种可能的实施方式中，第二处理器向第一处理器传输的对焦参数，以便第一处理器基于对焦参数确定第一实际对焦区域，并将第一实际对焦区域所处的平面确定为第一实际焦平面。

可选的，第二处理器获取对焦参数，对焦参数中包含有像距等。

进一步的，第一处理器获取第二处理器传输的对焦参数，并在基于对焦参数确定第一实际对焦区域后，将第一实际对焦区域所处的平面确定为第一实际焦平面。可选的，第一处理器可以获取对焦参数中的像距数据，并基于像距结合高斯成像公式进行计算：

基于上述计算，第一处理器得到对焦区域的物距信息，并确定处于该物距的第一实际对焦区域，进而第一处理器确定第一实际对焦区域所在平面为第一实际焦平面。

可选的，第一处理器可以依据对焦参数中的3A统计数据等确定实际对焦过程中的对焦区域，例如，在终端通过反差对焦实现自动对焦的情况下，第一处理器可以通过对焦参数确定对比度最高的图像区域，该区域即为对焦区域，进而第一处理器可以确定该区域所在平面为第一实际焦平面。需要说明的是，上述基于对焦参数确定对焦区域的方式仅做说明用，本申请对此不作限定，在应用中基于终端采用不同的对焦算法实现对焦，对焦参数各不相同，第一处理器可以基于不同的对焦参数确定对焦区域。

步骤402，第一处理器确定第一实际焦平面的第一深度，以及目标焦平面的第二深度。

在图像虚化过程中，为提高焦平面切换过程的平滑性，第一处理器通过设置以过渡焦平面作为图像焦平面的过渡帧，在第一图像帧和以目标焦平面作为图像焦平面的目标图像帧之间进行虚化区域的过渡。因此，其中过渡焦平面为位于第一实际焦平面和目标焦平面之间的空间平面。

在一种可能的实施方式中，第一处理器对第一图像帧进行深度计算，并计算得到第一实际焦平面的深度，也即第一实际焦平面距离终端(摄像头)的距离，进而第一处理器确定该距离为第一深度；相应的，第一处理器通过对第一图像帧进行深度计算确定目标焦平面与终端(摄像头)间的距离，也即得到目标焦平面的第二深度。

步骤403，第一处理器基于第一深度和第二深度确定至少一个过渡焦平面，过渡焦平面的深度位于第一深度和第二深度之间。

基于过渡焦平面是位于第一实际焦平面和目标焦平面之间的平面，过渡焦平面的深度相应的位于第一实际焦平面的第一深度和目标焦平面的第二深度之间。基于过渡焦平面的深度特征，第一处理器可以确定至少一个深度满足上述条件的空间平面为过渡焦平面。并且为保证第一处理器可以基于过渡焦平面实现平滑切换效果，各个过渡焦平面之间，以及第一实际焦平面或目标焦平面与过渡焦平面之间距离需相等。

在一种可能的实施方式中，第一处理器基于第一深度与第二深度的深度差值，确定过渡帧数，过渡帧数与深度差值呈正相关关系。第一深度和第二深度间的差异基于第一图像帧内容的不同而不同，在二者差异较小时，第一实际焦平面与目标焦平面相距较近，通过较少帧数的过渡帧，即可完成焦平面从第一实际焦平面向目标焦平面的平滑切换，而在第一深度和第二深度间相距较远时，第一处理器需要在第一实际焦平面和目标焦平面之间设置多个相距较近的过渡焦平面，从而避免焦平面切换时发生图像虚化效果的跃变，进而对应于过渡焦平面的个数，第一处理器需确定相应帧数的过渡帧。其中，过渡帧为第一图像帧之后的图像帧。

在一个示意性的例子中，第一处理器对第一图像帧进行深度计算，并确定第一实际焦平面的第一深度为4m，且目标焦平面的第二深度为8m，基于第一深度和第二深度间的深度差异为4m，第一处理器可以确定通过3帧过渡帧完成焦平面切换的过渡；相应的在第一深度为4m，且第二深度为6m的情况下，基于第一深度和第二深度间的深度差异为2m，第一处理器可以确定过渡帧帧数为1帧。

进一步的，第一处理器基于深度差值和过渡帧数确定过渡帧步长。为保证各个过渡焦平面之间，以及第一实际焦平面或目标焦平面与过渡焦平面之间距离需相等，进而保证切换效果的平滑性，第一处理器基于深度差值和过度帧数确定固定的过渡帧步长。其中，过渡帧步长是指第一过渡帧的过渡焦平面和第一实际焦平面间的深度差值，并且各过渡焦平面之间的深度差值也为该过渡帧步长，也即第一处理器以过渡帧步长为移动步长，基于第一实际焦平面深度确定各过渡焦平面的深度。

在一个示意性的例子中，第一处理器确定第一实际焦平面的第一深度为4m，且目标焦平面的第二深度为8m，基于第一深度和第二深度间的深度差异为4m，第一处理器可以确定过渡帧数为3帧，进而第一处理器根据深度差异为4m和过渡帧数为3帧计算得到过渡帧步长为1m，也即当过渡帧步长为1m时，各过渡帧的过渡焦平面以相同的深度差1m向目标焦平面移动。

在确定过度帧数和过渡帧步长的情况下，第一处理器基于过渡帧步长和第一深度确定至少一个过渡焦平面，其中，相邻过渡焦平面之间间隔过渡帧步长。

在一种可能的实施方式中，第一处理器对第一图像帧进行深度计算，进而确定第一实际焦平面的第一深度，基于确定的过渡帧数和过渡帧步长，第一处理器确定过渡焦平面以及过渡焦平面的深度。其中，过渡焦平面的个数等于过渡帧数，并且第一过渡帧的过渡焦平面深度即为第一深度加/减过渡帧步长，第一处理器基于第一深度和第二深度的大小关系确定第一深度与过渡帧步长间采用加运算或减运算，例如，当第一深度大于第二深度时，为使过渡焦平面向目标焦平面靠近，第一处理器确定过渡焦平面的深度为第一深度减去过渡帧步长。

在一个示意性的例子中，第一处理器通过深度计算得到第一深度为4m，且第二深度为8m，进而第一处理器确定过渡帧数为3，过渡帧步长为1m。基于第一深度小于第二深度，为使过渡焦平面向目标焦平面靠近，第一处理器确定第一过渡帧的过渡焦平面为第一实际焦平面的第一深度与过渡帧步长的和，也即深度为5m，相应的，第二过渡帧的过渡焦平面的深度为6m，以此类推，第一处理器得到深度分别为5m、6m、7m的三个过渡焦平面。

可选的，在第一图像帧和第二图像帧的图像差异较大时，第一处理器可以基于第二图像帧的第二实际焦平面计算过度帧数，并在采用上述过渡帧步长的情况下，基于第二实际焦平面的深度计算过渡焦平面深度，进而保证清晰区域逐渐从第一图像帧中的实际对焦区域向上述确定的目标对焦区域逐渐移动。

综上所述，第一处理器基于第一图像帧的第一实际焦平面和目标焦平面的深度及其深度差异确定过渡帧数，也即过渡焦平面个数，进而第一处理器基于上述深度差异和过渡焦平面个数确定过渡帧步长，进而基于该过渡帧步长，第一处理器确定相邻深度差异相等的过渡焦平面；本申请实施例通过确定过渡帧数和过渡帧步长计算并得到个数适宜且间距相等的过渡焦平面，通过将该过渡焦平面作为过渡帧的图像焦平面，保证了焦平面切换中图像虚化效果在各个过渡帧间平滑变化。

在对图像进行虚化处理的过程中，终端基于图像中各景物与图像焦平面的相对深度确定其模糊程度，其中，相对深度与模糊程度呈正比，也即距离焦平面越远的位置图像越模糊，以此使得图像虚化效果更接近于光学相机的虚化效果。在本申请实施例中，基于确定的过渡焦平面，第一处理器可以通过深度计算，确定过渡焦平面的深度信息。关于第一处理器确定过渡焦平面深度信息的方法，该方法可以包括如下步骤：

1、确定第二图像帧的第二原始深度信息，第二原始深度信息中包含与第二图像帧的第二实际焦平面的相对深度。

图像传感器输出的二维图像仅能直观的体现图像中各景物的长宽信息，而无法直接体现物体在深度维度的位置数据，因而第一处理器需要通过对图像帧进行深度计算，确定图像中各物体距离终端(摄像头)的距离。并且，为接近于光学虚化效果，第一处理器需要获取图像中各物体距离过渡焦平面的相对距离，也即相对深度，其中，相对深度可以由各物体的深度与焦平面的深度作差获得。基于过渡焦平面是相对于实际焦平面进行过移动所得空间平面，且对于同一帧图像帧，图像帧中各物体的绝对深度不变，也即各物体与终端(摄像头)间的距离不变，第一处理器可以基于第二实际焦平面的相对深度也即第二原始深度信息得到过渡焦平面深度信息。

基于图像内容的变化情况不同，本步骤可以采用以下任一种方式：

(1)在第二图像帧与第一图像帧的图像差异小于差异阈值的情况下，将第一图像帧的第一原始深度信息确定为第二图像帧的第二原始深度信息。

在一种可能的实施方式中，第一处理器可以设置表征图像帧间图像内容差异大小的差异阈值，其中，图像内容差异可以体现为图像中各物体显示位置的差异或是各物体显示尺寸的差异等，本申请对此不作限定。在第二图像帧与第一图像帧间的图像差异小于差异阈值的情况下，相较于第一图像帧，第二图像帧中的物体并未有较大变化，因此，在该情况下，第一处理器可以基于第一图像帧的第一实际焦平面确定过渡焦平面，确定过渡焦平面的方法同步骤430，此处不再赘述。

进一步的，在上述情况下，基于过渡焦平面依据第一实际焦平面获得，第一处理器将第一图像帧的第一原始深度信息确定为第二图像帧的第二原始深度信息。其中，第一原始深度信息中包含有在第一图像帧中，全部物体相较于第一实际焦平面的相对深度。

(2)在第二图像帧与第一图像帧的图像差异大于差异阈值的情况下，基于第二图像帧的第二实际焦平面，确定第二图像帧的第二原始深度信息。

基于第一处理器设置的差异阈值，在第二图像帧与第一图像帧间的图像差异大于该差异阈值的情况下，相较于第一图像帧，第二图像帧中物体的显示位置或显示尺寸变化较大。进而，在上述情况下，第一处理器需基于第二图像帧中的第二实际焦平面确定过渡焦平面，相应的第一处理器以第二图像帧的第二实际焦平面对应的深度信息为第二原始深度信息。

2、基于第二实际焦平面与过渡焦平面之间的深度差值，对第二原始深度信息进行深度变换，得到第二图像帧的目标深度信息，目标深度信息中包含与过渡焦平面的相对深度。

在一种可能的方式中，同步骤401，第一处理器基于第二处理器传输的对焦参数确定第二实际对焦区域，进而确定第二实际对焦区域所在平面为第二实际焦平面，并通过深度计算确定第二实际焦平面的深度。由于同一帧图像中各物体的绝对深度不变，且相对深度为各物体的绝对深度与焦平面深度的差值，进而第一处理器可以基于第二实际焦平面和过渡焦平面的深度差值，确定第二原始深度信息和目标深度信息间的差异。

在一个示意性的例子中，第一处理器通过深度计算确定第一深度为4m，且第二深度为8m，同时第一处理器基于过渡帧数为3帧以及过渡帧步长为1m确定3各过渡焦平面，在第一处理器获取第二图像帧也即第一过渡图像帧的情况下，基于第一处理器确定第二图像帧与第一图像帧间的图像差异小于差异阈值，确定第一原始深度信息即为第二原始深度信息。第一处理器基于该帧图像的对焦参数确定第二实际焦平面，进而通过深度计算得到第二实际焦平面的深度为4m，并得到图像物体与第二实际焦平面的相对深度，此处以一位于焦平面外的树木距离终端(摄像头)6m为例，相应的该树木与第二实际焦平面间的相对深度为2m。基于过渡帧步长，第一处理器确定第二图像帧的过渡焦平面深度为5m，也即向树木靠近1m，进而基于第二实际焦平面与过渡焦平面间的深度差异为1m，第一处理器确定目标深度信息，其中树木与过渡焦平面的相对深度为1m。

综上所述，第一处理器在判断第二图像帧和第一图像帧差异的基础上，基于过渡焦平面的深度，计算得到指示图像中各物体与过渡焦平面间相对深度的目标深度信息，进而第一处理器得到基于以过渡焦平面为图像焦平面的图像深度信息，以便第二处理器基于该深度信息对第二图像帧进行虚化处理。

请参考图5，其示出了本申请一个示例性实施例提供的图像处理方法的系统流程示意图。本实施例以该流程用于图1所示的终端为例进行说明。

步骤501，如图6所示，基于当前拍照应用处于虚化模式，第一处理器610获取第二处理器620传输的对焦参数601，并基于对焦参数确定第一图像帧602的第一实际焦平面。

步骤502，如图6所示，第一处理器610从存储器630中读取历史图像帧603，并结合第二处理器620传输的场景参数604通过图像识别单元611图像帧进行图像识别，得到指示目标拍摄对象的目标拍摄区域。

步骤503，第一处理器确定目标拍摄区域所在平面为目标焦平面。

步骤504，如图6所示，第一处理器610通过深度信息计算单元612确定第一实际焦平面的第一深度和目标焦平面的第二深度，进而基于第一深度和第二深度确定过渡焦平面，过渡焦平面中至少包含一个平面。其中，第一处理器基于深度差值计算过渡帧数和过渡帧步长，并通过深度信息计算单元612确定过渡焦平面的深度605。

步骤505，基于第二图像帧606和第一图像帧间的图像差异，第一处理器确定第二原始深度信息，其中，在上述图像差异小于差异阈值的情况下，第一处理器确定第一图像帧的原始深度信息为第二原始深度信息，相应的，在上述图像差异大于差异阈值的情况下，第一处理器确定第二图像帧的原始深度信息为第二原始深度信息。

步骤506，如图6所示，基于第二实际焦平面和过渡焦平面间的深度差值，第一处理器通过深度信息计算单元对第二原始深度进行深度变换计算，并得到基于过渡焦平面的图像相对深度信息，也即目标深度信息607。

步骤507，如图6所示，第二处理器620在获取第一处理器610传输第二图像帧606以及目标深度信息607后，通过虚化处理单元621对第二图像帧进行虚化处理。

请参考图7，其示出了本申请一个示例性实施例提供的图像处理装置的结构框图，该装置包括：

第一确定模块701，用于确定第一图像帧的第一实际焦平面和目标焦平面，所述第一实际焦平面为所述第一图像帧中实际对焦区域所处的焦平面，所述目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

第二确定模块702，用于基于所述第一实际焦平面和所述目标焦平面确定过渡焦平面，所述过渡焦平面位于所述第一实际焦平面和所述目标焦平面之间；

计算模块703，用于基于所述过渡焦平面对第二图像帧进行深度计算，得到所述第二图像帧的目标深度信息，所述第二图像帧为所述第一图像帧之后的图像帧；

传输模块704，用于向第二处理器传输所述第二图像帧以及所述目标深度信息，以便所述第二处理器基于所述目标深度信息对所述第二图像帧进行虚化处理。

可选的，所述第一确定模块701，用于：

对历史图像帧进行图像识别，得到图像识别结果，所述历史图像帧为所述第一图像帧之前的图像帧；

基于所述图像识别结果，确定所述目标对焦区域；

将所述目标对焦区域所处的焦平面确定为所述目标焦平面。

可选的，在对历史图像帧进行图像识别，得到图像识别结果的情况下，所述第一确定模块702，用于：

识别所述历史图像帧中包含的拍摄对象；

基于所述拍摄对象在所述历史图像帧中的变化情况，确定所述图像识别结果，所述变化情况包括姿态变化情况和运动状态变化情况中的至少一种；

在基于所述图像识别结果，确定所述目标对焦区域的情况下，所述第一确定模块701，用于：

基于所述图像识别结果中包含的所述姿态变化情况，确定姿态指向位置；将所述姿态指向位置对应的区域确定为所述目标对焦区域；和/或，

基于所述图像识别结果中包含的所述运动状态变化情况，确定目标运动位置；将所述目标运动位置对应的区域确定为所述目标对焦区域。

可选的，在识别所述历史图像帧中包含的拍摄对象的情况下，所述第一确定模块701，用于：

接收所述第二处理器传输的场景参数，所述场景参数用于表征当前所处的拍摄场景；

基于所述场景参数识别所述历史图像帧中包含的所述拍摄对象，其中，不同拍摄场景对应不同拍摄对象。

可选的，所述第二确定模块702，用于：

确定所述第一实际焦平面的第一深度，以及所述目标焦平面的第二深度；

基于所述第一深度和所述第二深度确定至少一个所述过渡焦平面，所述过渡焦平面的深度位于所述第一深度和所述第二深度之间。

可选的，在基于所述第一深度和所述第二深度确定至少一个所述过渡焦平面的情况下，所述第二确定模块702，用于：

基于所述第一深度与所述第二深度的深度差值，确定过渡帧数，所述过渡帧数与所述深度差值呈正相关关系；

基于所述深度差值和所述过渡帧数确定过渡帧步长；

基于所述过渡帧步长和所述第一深度确定至少一个所述过渡焦平面，其中，相邻过渡焦平面之间间隔所述过渡帧步长。

可选的，所述计算模块703，用于：

确定所述第二图像帧的第二原始深度信息，所述第二原始深度信息中包含与所述第二图像帧的第二实际焦平面的相对深度；

基于所述第二实际焦平面与所述过渡焦平面之间的深度差值，对所述第二原始深度信息进行深度变换，得到所述第二图像帧的所述目标深度信息，所述目标深度信息中包含与所述过渡焦平面的相对深度。

可选的，在确定所述第二图像帧的第二原始深度信息的情况下，所述计算模块703，用于：

在所述第二图像帧与所述第一图像帧的图像差异小于差异阈值的情况下，将所述第一图像帧的第一原始深度信息确定为所述第二图像帧的所述第二原始深度信息；

在所述第二图像帧与所述第一图像帧的图像差异大于差异阈值的情况下，基于所述第二图像帧的第二实际焦平面，确定所述第二图像帧的所述第二原始深度信息。

可选的，在确定第一图像帧的第一实际焦平面的情况下，所述第一确定模块701，用于：

获取所述第二处理器传输的对焦参数；

基于所述对焦参数确定所述实际对焦区域；

将所述实际对焦区域所处的平面确定为所述第一实际焦平面。

请参考图8，其示出了本申请一个示例性实施例提供的图像处理装置的结构框图，该装置包括：

接收模块801，用于接收第一处理器传输的第二图像帧以及目标深度信息，所述第二图像帧是第一图像帧之后的图像帧，所述目标深度信息由所述第一处理器基于过渡焦平面对所述第二图像帧进行深度计算，所述过渡焦平面基于所述第一图像帧的第一实际焦平面和第一目标焦平面确定得到，且所述过渡焦平面位于所述第一实际焦平面和所述第一目标焦平面之间，所述第一目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

图像处理模块802，用于基于所述目标深度信息对所述第二图像帧进行图像处理。

可选的，所述装置还包括：

发送模块，用于向所述第一处理器传输的对焦参数，以便所述第一处理器基于所述对焦参数确定所述第一实际对焦区域，并将所述第一实际对焦区域所处的平面确定为所述第一实际焦平面。

可选的，所述发送模块，还用于：

向所述第一处理器传输的场景参数，以便所述第一处理器基于所述场景参数识别历史图像帧中包含的拍摄对象，并基于所述拍摄对象在所述历史图像帧中的变化情况，确定图像识别结果，所述场景参数用于表征当前所处的拍摄场景，且不同拍摄场景对应不同拍摄对象。

综上所述，第一处理器通过第一确定模块进行图像识别确定目标焦平面，其中，第二处理器通过发送模块向第一处理器传输场景参数，以便第一处理器确定下一帧的清晰平面。而后，基于第二处理器通过发送模块传输的对焦参数，第一处理器确定第一实际焦平面。

进而第一处理器根据两焦平面，通过第二确定模块确定过渡焦平面，且过渡焦平面位于第一实际焦平面和目标焦平面之间，通过令过渡焦平面作为过渡帧的图像焦平面，可以提高虚化效果切换过程中的平滑性。在确定过渡焦平面的情况下，第一处理器利用计算模块对第二图像帧进行深度计算，确定基于过渡焦平面的目标深度信息，并通过传输模块向第二处理器传输。

第二处理器通过接收模块接收第一处理器传输的第二图像帧以及目标深度信息，并通过虚化处理模块对第二图像帧进行虚化处理，进而获得以过渡焦平面为图像焦平面的虚化图像帧。通过在第一图像帧和目标图像帧之间设置过渡帧，终端提高了焦平面切换过程中虚化效果变换的平滑性。

请参考图9，其示出了本申请一个示例性实施例提供的图像处理系统的结构框图，所述图像处理系统包括第一处理器901和第二处理器902；

所述第一处理器901，用于确定第一图像帧的第一实际焦平面和目标焦平面，所述第一实际焦平面为所述第一图像帧中第一实际对焦区域所处的焦平面，所述目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；基于所述第一实际焦平面和所述目标焦平面确定过渡焦平面，所述过渡焦平面位于所述第一实际焦平面和所述目标焦平面之间；基于所述过渡焦平面对第二图像帧进行深度计算，得到所述第二图像帧的目标深度信息，所述第二图像帧为所述第一图像帧之后的图像帧；向所述第二处理器传输所述第二图像帧以及所述目标深度信息；

所述第二处理器902，用于接收所述第一处理器传输的所述第二图像帧以及所述目标深度信息；基于所述目标深度信息对所述第二图像帧进行虚化处理。

本申请实施例还提供了一种处理器，该处理器包括可编程逻辑电路和/或程序指令，当该处理器运行时，用于实现如上述实施例所述的第一处理器，或，第二处理器侧的图像处理方法。

本申请实施例还提供了一种计算机可读存储介质，该存储介质存储有至少一段程序，至少一段程序用于被处理器执行以实现如上述实施例所述的图像处理方法。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的图像处理方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (19)

1.一种图像处理方法，其特征在于，所述方法包括：

确定第一图像帧的第一实际焦平面和目标焦平面，所述第一实际焦平面为所述第一图像帧中第一实际对焦区域所处的焦平面，所述目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

基于所述第一实际焦平面和所述目标焦平面确定过渡焦平面，所述过渡焦平面位于所述第一实际焦平面和所述目标焦平面之间；

基于所述过渡焦平面对第二图像帧进行深度计算，得到所述第二图像帧的目标深度信息，所述第二图像帧为所述第一图像帧之后的图像帧；

向第二处理器传输所述第二图像帧以及所述目标深度信息，以便所述第二处理器基于所述目标深度信息对所述第二图像帧进行虚化处理。

2.根据权利要求1所述的方法，其特征在于，所述确定第一图像帧的目标焦平面，包括：

对历史图像帧进行图像识别，得到图像识别结果，所述历史图像帧为所述第一图像帧之前的图像帧；

基于所述图像识别结果，确定所述目标对焦区域；

将所述目标对焦区域所处的焦平面确定为所述目标焦平面。

3.根据权利要求2所述的方法，其特征在于，所述对历史图像帧进行图像识别，得到图像识别结果，包括：

识别所述历史图像帧中包含的拍摄对象；

基于所述拍摄对象在所述历史图像帧中的变化情况，确定所述图像识别结果，所述变化情况包括姿态变化情况和运动状态变化情况中的至少一种；

所述基于所述图像识别结果，确定所述目标对焦区域，包括：

基于所述图像识别结果中包含的所述姿态变化情况，确定姿态指向位置；将所述姿态指向位置对应的区域确定为所述目标对焦区域；和/或，

基于所述图像识别结果中包含的所述运动状态变化情况，确定目标运动位置；将所述目标运动位置对应的区域确定为所述目标对焦区域。

4.根据权利要求3所述的方法，其特征在于，所述识别所述历史图像帧中包含的拍摄对象，包括：

接收所述第二处理器传输的场景参数，所述场景参数用于表征当前所处的拍摄场景；

基于所述场景参数识别所述历史图像帧中包含的所述拍摄对象，其中，不同拍摄场景对应不同拍摄对象。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第一实际焦平面和所述目标焦平面确定过渡焦平面，包括：

确定所述第一实际焦平面的第一深度，以及所述目标焦平面的第二深度；

基于所述第一深度和所述第二深度确定至少一个所述过渡焦平面，所述过渡焦平面的深度位于所述第一深度和所述第二深度之间。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一深度和所述第二深度确定至少一个所述过渡焦平面，包括：

基于所述第一深度与所述第二深度的深度差值，确定过渡帧数，所述过渡帧数与所述深度差值呈正相关关系；

基于所述深度差值和所述过渡帧数确定过渡帧步长；

基于所述过渡帧步长和所述第一深度确定至少一个所述过渡焦平面，其中，相邻过渡焦平面之间间隔所述过渡帧步长。

7.根据权利要求1所述的方法，其特征在于，所述基于所述过渡焦平面对第二图像帧进行深度计算，得到所述第二图像帧的目标深度信息，包括：

确定所述第二图像帧的第二原始深度信息，所述第二原始深度信息中包含与所述第二图像帧的第二实际焦平面的相对深度；

基于所述第二实际焦平面与所述过渡焦平面之间的深度差值，对所述第二原始深度信息进行深度变换，得到所述第二图像帧的所述目标深度信息，所述目标深度信息中包含与所述过渡焦平面的相对深度。

8.根据权利要求7所述的方法，其特征在于，所述确定所述第二图像帧的第二原始深度信息，包括：

在所述第二图像帧与所述第一图像帧的图像差异小于差异阈值的情况下，将所述第一图像帧的第一原始深度信息确定为所述第二图像帧的所述第二原始深度信息；

在所述第二图像帧与所述第一图像帧的图像差异大于差异阈值的情况下，基于所述第二图像帧的第二实际焦平面，确定所述第二图像帧的所述第二原始深度信息。

9.根据权利要求1所述的方法，其特征在于，所述确定第一图像帧的第一实际焦平面，包括：

获取所述第二处理器传输的对焦参数；

基于所述对焦参数确定所述第一实际对焦区域；

将所述第一实际对焦区域所处的平面确定为所述第一实际焦平面。

10.一种图像处理方法，其特征在于，第二处理器所述方法包括：

接收第一处理器传输的第二图像帧以及目标深度信息，所述第二图像帧是第一图像帧之后的图像帧，所述目标深度信息由所述第一处理器基于过渡焦平面对所述第二图像帧进行深度计算，所述过渡焦平面基于所述第一图像帧的第一实际焦平面和第一目标焦平面确定得到，且所述过渡焦平面位于所述第一实际焦平面和所述第一目标焦平面之间，所述第一目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

基于所述目标深度信息对所述第二图像帧进行虚化处理。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

向所述第一处理器传输对焦参数，以便所述第一处理器基于所述对焦参数确定所述第一实际对焦区域，并将所述第一实际对焦区域所处的平面确定为所述第一实际焦平面。

12.根据权利要求10所述的方法，其特征在于，所述方法还包括：

向所述第一处理器传输场景参数，以便所述第一处理器基于所述场景参数识别历史图像帧中包含的拍摄对象，并基于所述拍摄对象在所述历史图像帧中的变化情况，确定图像识别结果，所述场景参数用于表征当前所处的拍摄场景，且不同拍摄场景对应不同拍摄对象。

13.一种图像处理系统，其特征在于，所述图像处理系统包括第一处理器和第二处理器；

所述第一处理器，用于确定第一图像帧的第一实际焦平面和目标焦平面，所述第一实际焦平面为所述第一图像帧中第一实际对焦区域所处的焦平面，所述目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；基于所述第一实际焦平面和所述目标焦平面确定过渡焦平面，所述过渡焦平面位于所述第一实际焦平面和所述目标焦平面之间；基于所述过渡焦平面对第二图像帧进行深度计算，得到所述第二图像帧的目标深度信息，所述第二图像帧为所述第一图像帧之后的图像帧；向所述第二处理器传输所述第二图像帧以及所述目标深度信息；

所述第二处理器，用于接收所述第一处理器传输的所述第二图像帧以及所述目标深度信息；基于所述目标深度信息对所述第二图像帧进行图像处理。

14.一种图像处理装置，其特征在于，所述装置包括：

第一确定模块，用于确定第一图像帧的第一实际焦平面和目标焦平面，所述第一实际焦平面为所述第一图像帧中实际对焦区域所处的焦平面，所述目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

第二确定模块，用于基于所述第一实际焦平面和所述目标焦平面确定过渡焦平面，所述过渡焦平面位于所述第一实际焦平面和所述目标焦平面之间；

计算模块，用于基于所述过渡焦平面对第二图像帧进行深度计算，得到所述第二图像帧的目标深度信息，所述第二图像帧为所述第一图像帧之后的图像帧；

传输模块，用于向第二处理器传输所述第二图像帧以及所述目标深度信息，以便所述第二处理器基于所述目标深度信息对所述第二图像帧进行虚化处理。

15.一种图像处理装置，其特征在于，所述装置包括：

接收模块，用于接收第一处理器传输的第二图像帧以及目标深度信息，所述第二图像帧是第一图像帧之后的图像帧，所述目标深度信息由所述第一处理器基于过渡焦平面对所述第二图像帧进行深度计算，所述过渡焦平面基于所述第一图像帧的第一实际焦平面和第一目标焦平面确定得到，且所述过渡焦平面位于所述第一实际焦平面和所述第一目标焦平面之间，所述第一目标焦平面为所述第一图像帧中目标对焦区域所处的焦平面，所述目标焦平面不同于所述第一实际焦平面；

处理模块，用于基于所述目标深度信息对所述第二图像帧进行处理。

16.一种处理器，其特征在于，所述处理器包括可编程逻辑电路和/或程序指令，当所述处理器运行时，用于实现如权利要求1至9任一所述的图像处理方法，或者，用于实现如权利要求10至12任一所述的图像处理方法。

17.一种终端，其特征在于，所述终端包括第一处理器、第二处理器和存储器，所述第一处理器用于加载并执行所述存储器中存储的程序以实现如权利要求1至9任一所述的图像处理方法；

所述第二处理器用于加载并执行所述存储器中存储的程序以实现如权利要求10至12任一所述的图像处理方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至12任一所述的图像处理方法。

19.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至12任一所述的图像处理方法。

Images