CN115022526B - 全景深图像生成方法和装置 - Google Patents

Abstract

本申请实施例提供一种全景深图像生成方法和装置，涉及终端技术领域，方法包括：终端设备显示第一界面；第一界面为拍摄全景深图像的界面，第一界面中包括用于拍摄的控件；终端设备接收针对用于拍摄的控件的操作；响应于针对用于拍摄的控件的操作，终端设备获取待拍摄对象在不同对焦点处的多张图像；终端设备融合多张图像中各自的清晰区域得到全景深图像。这样，使得终端设备可以通过相机对焦序列的下发，计算多张图像各自的清晰区域，并基于图像融合的方法将各图像中的清晰区域融合到一张图像中，从而得到清晰度较高的全景深图像。

Description

全景深图像生成方法和装置

技术领域

本申请涉及终端技术领域，尤其涉及一种全景深图像生成方法和装置。

背景技术

随着终端设备的普及，越来越多的用户通过拍照记录生活。在拍照场景中，为了满足用户对于拍照体验的需求，摄像头的光圈通常设置的比较大，使得终端设备可以通过大光圈增加进光量以达到较好的照片虚化效果。然而，光圈越大，景深越浅，基于大光圈可以得到带有较好的虚化效果的图像，但一定程度上影响了图像的清晰度，例如出现前景清晰背景模糊的图像。

通常情况下，终端设备可以通过用户对于拍照距离、拍照角度或拍照姿势等的调整，以减少景深对于拍照清晰度的影响。

然而，上述方法得到的图像的清晰度仍然较低，难以得到全图清晰的图像。

发明内容

本申请实施例提供一种全景深图像生成方法和装置，使得终端设备可以通过相机对焦序列的下发，计算多张图像各自的清晰区域，并基于图像融合的方法将各图像中的清晰区域融合到一张图像中，从而得到清晰度较高的全景深图像。

第一方面，本申请实施例提供一种全景深图像生成方法，方法包括：终端设备显示第一界面；第一界面为拍摄全景深图像的界面，第一界面中包括用于拍摄的控件；终端设备接收针对用于拍摄的控件的操作；响应于针对用于拍摄的控件的操作，终端设备获取待拍摄对象在不同对焦点处的多张图像；终端设备融合多张图像中各自的清晰区域得到全景深图像。这样，使得终端设备可以通过相机对焦序列的下发，计算多张图像各自的清晰区域，并基于图像融合的方法将各图像中的清晰区域融合到一张图像中，从而得到清晰度较高的全景深图像。

在一种可能的实现方式中，终端设备显示第一界面之前，方法还包括：终端设备接收打开第一应用的操作；响应于打开第一应用的操作，终端设备显示第二界面；其中，第二界面中包括用于开启全景深模式的控件；用于开启全景深模式的控件位于第二界面的顶部；终端设备接收选定用于开启全景深模式的控件的操作；终端设备显示第一界面，包括：响应于用于开启全景深模式的控件的操作，终端设备显示第一界面。这样，用户可以通过第二界面的顶部的该用于开启全景深模式的控件，快速开启第一界面，并基于该全景深模式得到全图清晰的全景深图像。其中，该第一应用为相机应用；该第二界面为打开第一应用后显示的界面。

在一种可能的实现方式中，终端设备显示第一界面之前，方法还包括：终端设备接收打开第一应用的操作；响应于打开第一应用的操作，终端设备显示第三界面；其中，第三界面中包括第一菜单栏；第一菜单栏中包括用于开启全景深模式的控件；终端设备接收选定用于开启全景深模式的控件的操作；终端设备显示第一界面，包括：响应于用于开启全景深模式的控件的操作，终端设备显示第一界面。这样，用户可以通过第一菜单栏中的该用于开启全景深模式的控件，快速开启第一界面，并基于该全景深模式得到全图清晰的全景深图像。

在一种可能的实现方式中，终端设备显示第一界面之前，方法还包括：终端设备接收打开第一应用的操作；响应于打开第一应用的操作，终端设备显示第四界面；其中，第四界面中包括第二菜单栏；第二菜单栏中包括用于开启第一应用的更多功能的控件；终端设备接收选定用于开启第一应用的更多功能的控件的操作；响应于用于开启第一应用的更多功能的控件的操作，终端设备显示第五界面；第五界面中包括用于开启全景深模式的控件；终端设备接收选定用于开启全景深模式的控件的操作；终端设备显示第一界面，包括：响应于用于开启全景深模式的控件的操作，终端设备显示第一界面。这样，用户可以通过更多功能对应的界面中的该用于开启全景深模式的控件，开启第一界面，并基于该全景深模式得到全图清晰的全景深图像。

在一种可能的实现方式中，第一界面中还包括提示信息；提示信息用于提示持稳终端设备。这样，用户可以基于该提示信息持稳设备，避免由于相机抖动对全景深图像生成的影响。其中，该提示信息可以为：正在使用全景深模式，请持稳您的设备。

在一种可能的实现方式中，终端设备获取待拍摄对象在不同对焦点处的多张图像，包括：终端设备获取待拍摄对象在预设的对焦点处的多张图像；预设的对焦点的个数为多个。这样，终端设备可以通过预设的对焦点实现快速对焦，增加生成全景深图像的速度。

在一种可能的实现方式中，终端设备获取待拍摄对象在不同对焦点处的多张图像，包括：终端设备获取待拍摄对象对应的预览图像；预览图像中包括深度信息；终端设备基于深度信息对待拍摄对象进行聚类，得到待拍摄对象中的多个对象；终端设备对多个对象分别进行对焦，得到多张图像。这样，终端设备可以实现根据图像内容自适应调整对焦点，使得基于对焦点得到的图像的准确性较高，进而可以基于该多处对焦点处下发的图像，得到较为清晰的全景深图像。

在一种可能的实现方式中，多张图像至少包括第一对焦图像以及第二对焦图像，终端设备融合多张图像中各自的清晰区域得到全景深图像，包括：终端设备获取第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域；终端设备对第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域进行融合，得到全景深图像。这样，终端设备可以基于对多个对焦图像中的清晰区域的融合，得到全图清晰的全景深图像。

在一种可能的实现方式中，终端设备获取第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域，包括：终端设备分别对第一对焦图像以及第二对焦图像进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。这样，终端设备可以基于图像二分类，划分出图像的模糊部分和清晰部分。

在一种可能的实现方式中，终端设备分别对第一对焦图像以及第二对焦图像进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域，包括：终端设备利用第一对焦图像对第二对焦图像进行图像配准处理，得到配准处理后的第二对焦图像；终端设备分别对第一对焦图像以及配准处理后的第二对焦图像进行图像平滑处理，得到平滑后的第一对焦图像以及平滑后的第二对焦图像；终端设备将第一对焦图像以及平滑后的第一对焦图像进行相减，得到第一焦点区域，并且，将配准处理后的第二对焦图像以及平滑后的第二对焦图像进行相减，得到第二焦点区域；终端设备分别对第一焦点区域以及第二焦点区域进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。这样，使得终端设备可以基于图像配准处理、以及图像平滑处理等步骤，得到画面质量较好的对焦图像。

在一种可能的实现方式中，终端设备分别对第一焦点区域以及第二焦点区域进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域，包括：终端设备利用第一焦点区域以及第一对焦图像进行导向图滤波处理，得到滤波后的第一焦点区域，并且，利用第二焦点区域以及配准处理后的第二对焦图像进行导向图滤波处理，得到滤波后的第二焦点区域；终端设备分别对滤波后的第一焦点区域以及滤波后的第二焦点区域进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。这样，终端设备可以基于导向图滤波，突出图像中的边缘区域。

在一种可能的实现方式中，终端设备对第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域进行融合，得到全景深图像，包括：终端设备利用第一对焦图像以及配准处理后的第二对焦图像，进行鬼影检测，得到鬼影区域；终端设备利用鬼影区域，对第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域进行融合，得到全景深图像。这样，终端设备可以基于鬼影检测，缓解由于相机抖动引起的帧间内容变化对生成全景深图像的影响。

在一种可能的实现方式中，还包括：终端设备接收打开第二应用的操作；响应于打开第二应用的操作，终端设备显示第六界面；第六界面中包括全景深图像，以及全景深图像对应的标识，标识用于指示全景深图像的图像类型。这样，终端设备可以提供用于辨识图像是否属于全景深功能下的处理的标识，进而用户可以清晰的确定多个图像中哪个图像是基于全景深功能得到的全景深图像，增加用户的使用体验。

第二方面，本申请实施例提供一种全景深图像生成装置，装置包括：显示单元，用于显示第一界面；第一界面为拍摄全景深图像的界面，第一界面中包括用于拍摄的控件；处理单元，用于接收针对用于拍摄的控件的操作；响应于针对用于拍摄的控件的操作，处理单元，还用于获取待拍摄对象在不同对焦点处的多张图像；处理单元，还用于融合多张图像中各自的清晰区域得到全景深图像。

在一种可能的实现方式中，处理单元，还用于接收打开第一应用的操作；响应于打开第一应用的操作，显示单元，还用于显示第二界面；其中，第二界面中包括用于开启全景深模式的控件；用于开启全景深模式的控件位于第二界面的顶部；处理单元，还用于接收选定用于开启全景深模式的控件的操作；响应于用于开启全景深模式的控件的操作，显示单元，还用于显示第一界面。

在一种可能的实现方式中，处理单元，还用于接收打开第一应用的操作；响应于打开第一应用的操作，显示单元，还用于显示第三界面；其中，第三界面中包括第一菜单栏；第一菜单栏中包括用于开启全景深模式的控件；处理单元，还用于接收选定用于开启全景深模式的控件的操作；响应于用于开启全景深模式的控件的操作，显示单元，还用于显示第一界面。

在一种可能的实现方式中，处理单元，还用于接收打开第一应用的操作；响应于打开第一应用的操作，显示单元，还用于显示第四界面；其中，第四界面中包括第二菜单栏；第二菜单栏中包括用于开启第一应用的更多功能的控件；处理单元，还用于接收选定用于开启第一应用的更多功能的控件的操作；响应于用于开启第一应用的更多功能的控件的操作，显示单元，还用于显示第五界面；第五界面中包括用于开启全景深模式的控件；处理单元，还用于接收选定用于开启全景深模式的控件的操作；响应于用于开启全景深模式的控件的操作，显示单元，还用于显示第一界面。

在一种可能的实现方式中，第一界面中还包括提示信息；提示信息用于提示持稳终端设备。

在一种可能的实现方式中，处理单元，具体用于获取待拍摄对象在预设的对焦点处的多张图像；预设的对焦点的个数为多个。

在一种可能的实现方式中，处理单元，具体用于：获取待拍摄对象对应的预览图像；预览图像中包括深度信息；基于深度信息对待拍摄对象进行聚类，得到待拍摄对象中的多个对象；对多个对象分别进行对焦，得到多张图像。

在一种可能的实现方式中，处理单元，具体用于获取第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域；对第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域进行融合，得到全景深图像。

在一种可能的实现方式中，处理单元，具体用于：分别对第一对焦图像以及第二对焦图像进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。

在一种可能的实现方式中，处理单元，具体用于：利用第一对焦图像对第二对焦图像进行图像配准处理，得到配准处理后的第二对焦图像；分别对第一对焦图像以及配准处理后的第二对焦图像进行图像平滑处理，得到平滑后的第一对焦图像以及平滑后的第二对焦图像；将第一对焦图像以及平滑后的第一对焦图像进行相减，得到第一焦点区域，并且，将配准处理后的第二对焦图像以及平滑后的第二对焦图像进行相减，得到第二焦点区域；分别对第一焦点区域以及第二焦点区域进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。

在一种可能的实现方式中，处理单元，具体用于：利用第一焦点区域以及第一对焦图像进行导向图滤波处理，得到滤波后的第一焦点区域，并且，利用第二焦点区域以及配准处理后的第二对焦图像进行导向图滤波处理，得到滤波后的第二焦点区域；分别对滤波后的第一焦点区域以及滤波后的第二焦点区域进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。

在一种可能的实现方式中，处理单元，具体用于：利用第一对焦图像以及配准处理后的第二对焦图像，进行鬼影检测，得到鬼影区域；利用鬼影区域，对第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域进行融合，得到全景深图像。

在一种可能的实现方式中，处理单元，还用于接收打开第二应用的操作；响应于打开第二应用的操作，显示单元，还用于显示第六界面；第六界面中包括全景深图像，以及全景深图像对应的标识，标识用于指示全景深图像的图像类型。

第三方面，本申请实施例提供一种全景深图像生成装置，包括处理器和存储器，存储器用于存储代码指令；处理器用于运行代码指令，使得电子设备以执行如第一方面或第一方面的任一种实现方式中描述的全景深图像生成方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的全景深图像生成方法。

第五方面，一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的全景深图像生成方法。

应当理解的是，本申请的第三方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种场景示意图；

图2为本申请实施例提供的一种终端设备的结构示意图；

图3为本申请实施例提供的一种拍摄原理示意图；

图4为本申请实施例提供的一种全景深图像生成方法的流程示意图；

图5为本申请实施例提供的一种开启全景深功能的界面示意图；

图6为本申请实施例提供的另一种开启全景深功能的界面示意图；

图7为本申请实施例提供的又一种开启全景深功能的界面示意图；

图8为本申请实施例提供的一种对焦示意图；

图9为本申请实施例提供的一种对焦序列下发及处理的流程示意图；

图10为本申请实施例提供的一种对焦序列融合示意图；

图11为本申请实施例提供的一种全景深图像的效果示意图；

图12为本申请实施例提供的另一种全景深图像的效果示意图；

图13为本申请实施例提供的一种查看全景深图像的界面示意图；

图14为本申请实施例提供的另一种全景深图像生成方法的流程示意图；

图15为本申请实施例提供的一种全景深图像生成装置的结构示意图；

图16为本申请实施例提供的一种控制设备的硬件结构示意图；

图17为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

下面对本申请实施例中所描述的词汇进行说明。可以理解，该说明是为更加清楚的解释本申请实施例，并不必然构成对本申请实施例的限定。

光圈：可以为用来控制光线透过镜头，进入机身内感光面的光量的装置，通常设置在镜头内。通常情况下，终端设备可以采用光圈值F表示光圈大小，例如光圈值F越小表示光圈越大，光圈值F越大表示光圈越小。

景深：可以理解为在摄像机镜头或者其他成像器中，能够取得清晰图像的成像范围，或可以理解为焦点之前以及焦点之后所形成的清晰范围。其中，焦点可以包括光线通过镜头聚焦在感光元件上时，获取到的一个最清晰的点。前景深可以包括在焦点之前的清晰范围，后景深可以包括在焦点之后的清晰范围。

影响景深的重要因素可包括光圈、镜头以及距离拍摄物体的距离等。当光圈越大(光圈值F越小)时，景深越浅，当光圈越小(光圈值F越大)时，景深越深；当镜头焦距越长时，景深越浅，当镜头焦距越短时，景深越深。

全景深：可以理解为前景深与后景深的和，该全景深可以使得拍摄景物处于景深范围内。本申请实施例中，终端设备的相机应用中设置有全景深功能，该全景深功能用于拍摄得到全图清晰的全景深图像。

预览流数据：可以为基于终端设备的摄像头实时采集到的预览数据。本申请实施例中，当终端设备接收到用户开启与拍照或录像等相关的应用程序的操作时，终端设备可以采集摄像头捕捉到的每一帧画面，并实时显示在该应用程序的界面中，该界面中呈现的预览数据可以为预览流数据。

拍照流数据：可以为基于终端设备中的拍摄控件获取数据，并对该数据进行相关处理得到的拍照数据。本申请实施例中，当终端设备接收到用户触发全景深功能中的拍摄控件的操作时，终端设备可以获取对应焦点下的对焦序列，并基于对该对焦序列中的各图像的清晰区域的融合，得到全景深图像。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一值和第二值仅仅是为了区分不同的值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

为了满足用户对于拍摄体验的需求，摄像头的光圈通常设置的比较大，使得终端设备可以通过大光圈增加进光量以达到更好照片的虚化效果。然而，基于大光圈得到的图像中，景深范围以外的图像是被虚化的，因此对于需要拍摄得到全图清晰图像的用户来说，大光圈成为阻碍图像清晰度提升，得到全景深图像的关键因素。

示例性的，图1为本申请实施例提供的一种场景示意图。如图1所示，该场景中可以包括具有拍照功能的终端设备101，例如该终端设备101可以为手机等，以及用户利用终端设备101拍摄的画面102以及画面103，例如该画面102以及画面103中均可以包括近景树木、以及远景山脉等拍摄对象。

通常情况下，当终端设备接收到用户触发用于拍照的控件的操作时，终端设备可以获取基于摄像头采集到画面102以及画面103，由于终端设备的景深以及对焦区域的限制，使得终端设备可以拍摄得到如画面102所示的，近景树木清晰而远景山脉模糊的图像(为便于理解，本申请实施例中可以将如画面102中的虚线区域理解为模糊区域)；或者，终端设备可以拍摄得到如画面103所示的，近景树木模糊而远景山脉清晰的图像等。进而，终端设备无法同时得到满足近景树木以及远景山脉均处清晰的风景图像，从而影响图像的拍摄效果。

可能的实现方式中，终端设备可以通过用户对于拍摄模式、拍照距离、拍照角度、或者拍照姿势等的调整，以减少景深对于拍摄的影响。

示例性的，用户可以通过终端设备中的广角小光圈模式，缓解由于大光圈导致的画面虚化的问题。然而，广角的解析力远低于主摄像头的解析力，从而使得基于广角镜头拍摄得到的图像的清晰度较低，并且该清晰度不如主摄像头，进而难以得到全景深图像。

示例性的，用户可以通过调整拍摄角度以减少景深对于成像的影响。然而，拍摄场景众多，用户需要根据不同的拍摄场景调整拍摄角度，影响用户的拍摄体验。

示例性的，用户可以通过调整拍照距离，并使用长焦镜头解决背景虚化问题。然而，在拍摄过程中，用户不仅需要距离拍摄物体远一些，还需要调整长焦镜头中的变焦倍率到需要拍摄的图像大小。上述拍摄过程需要用户多次进行位置移动以及对终端设备进行参数调整，影响用户的拍摄体验。另外，并非所有终端设备均具备光学变焦镜头，而对于使用数字变焦算法的终端设备，用户调远拍照距离后拍摄得到的图像的清晰度较低，并且该清晰度不如主摄镜头，进而难以得到全景深图像。

示例性的，用户可以通过大光圈编辑模式，通过先拍照后对焦的处理方式，将光圈调到最小以得到较为清晰的图像。然而，在该方法中需要用户对拍摄模式进行重新编辑，步骤繁琐，影响用户的拍摄体验，并且即使调整到最小光圈，拍摄得到的图像中依然包含景深信息，例如，该景深信息可以使得图像中背景的清晰度较低，例如该清晰度小于普通拍照模式下图像中背景的清晰度，进而难以得到全景深图像。

有鉴于此，本申请实施例提供一种全景深图像生成方法，终端设备可以通过对焦序列的下发，计算多张图像各自的清晰区域，并基于图像融合的方法将各图像中的清晰区域融合到一张图像中，从而得到清晰度较高的全景深图像。

可以理解的是，本申请实施例提供的一种全景深图像生成方法，该方法不仅可以应用于终端设备拍摄包含前后景物的画面、拍摄包含近中远景物的画面、还可以应用于拍摄近乎平面但处于不同景深范围的文档等场景，本申请实施例中，对该全景深图像的拍摄场景不做具体限定。

可以理解的是，上述终端设备也可以称为终端，(terminal)、用户设备(userequipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。终端设备可以为具有拍摄功能等的手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmentedreality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请实施例中对终端设备所采用的具体技术和具体设备形态不做限定。

因此，为了能够更好地理解本申请实施例，下面对本申请实施例的终端设备的结构进行介绍。示例性的，图2为本申请实施例提供的一种终端设备的结构示意图。

终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，指示器192，摄像头193，以及显示屏194等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)等无线通信的解决方案。

终端设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。本申请实施例中，该显示屏194可以显示全景深功能下的预览界面和拍摄界面等，还可以通过显示提示信息的方式给用户以相关提示，例如显示屏194可以显示：正在使用全景深模式，请持稳您的设备的提示信息。

终端设备可以通过图像信号处理器(image signal processor，ISP)，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。

摄像头193用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头193，N为大于1的正整数。摄像头193可以为前置摄像头也可以为后置摄像头。本申请实施例中，终端设备可以基于摄像头193得到对焦序列，并基于对该对焦序列中的各图像的清晰区域的融合得到全景深图像。

示例性的，图3为本申请实施例提供的一种拍摄原理示意图。如图3所示，摄像头193可以包括镜头(lens)和感光元件(sensor)，该感光元件可以为电荷耦合元件(charge-coupled device，CCD)或者互补金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)等任意感光器件。

如图3所示，在拍摄过程中，被拍摄物体的反射光线经过镜头可以生成光学图像，该光学图像投射到感光元件上，感光元件将接收到的光学图像对应的光信号转换为电信号，进而，摄像头193可以将得到的电信号发送至数字信号处理(digital signalprocessing，DSP)模块进行数字信号处理，最终得到一帧数字图像。

类似的，在录制视频的过程中，DSP可按照上述拍摄原理得到连续的多帧的数字图像，该连续的多帧数字图像按照一定帧率编码后可形成一段视频。由于人类眼睛的特殊生理结构，当所看画面的帧率高于16fps时，人眼就会认为是看到的画面是连贯的，此现象可称为视觉停留。为了保证用户观看视频的连贯性，终端设备可按照一定帧率(例如24fps或30fps)对DSP输出的多帧数字图像进行编码。例如，如果DSP通过摄像头193采集到300帧数字图像，则终端设备可按照30fps的预设帧率，将该300帧数字图像编码为一段10秒(300帧/30fps＝10)的视频。

其中，DSP输出的一帧或多帧数字图像可通过显示屏194在终端设备上输出，也可以将该数字图像存储在内部存储器121(或外部存储器120)中，本申请实施例对此不做任何限制。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端设备可以支持一种或多种视频编解码器。这样，终端设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端设备的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。处理器110通过运行存储在内部存储器121的指令，从而执行终端设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备使用过程中所创建的数据(比如终端设备拍摄获得的照片，确定的目标拍摄参数，音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

在本申请实施例中，处理器110通过运行存储在内部存储器121的指令，可以下发多张对焦序列，计算多张图像各自的清晰区域，并基于图像融合的方法将各图像中的清晰区域融合到一张图像中，从而得到清晰度较高的全景深图像。

终端设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。耳机接口170D用于连接有线耳机。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。陀螺仪传感器180B可以用于确定终端设备的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。加速度传感器180E可检测终端设备在各个方向上(一般为三轴)加速度的大小。距离传感器180F，用于测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。骨传导传感器180M可以获取振动信号。本申请的实施例中，终端设备可以通过触摸传感器180K接收用户用于指示开始和/或停止拍摄的操作。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入，产生与终端设备的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

本申请的实施例中，在全景深功能下，显示屏194可以显示预览界面或拍摄界面等界面。处理器110通过运行存储在内部存储器121的指令，可以通过对焦序列的下发，计算多张图像各自的清晰区域，并基于图像融合的方法将各图像中的清晰区域融合到一张图像中，从而得到清晰度较高的全景深图像。

终端设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等，在此不再赘述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，用户可以手持终端设备，并利用终端设备中的全景深功能拍摄景物。例如，用户可以利用终端设备中的全景深功能拍摄包含近景树木、以及远景山脉的景物，进而终端设备可以基于本申请实施例提供的全景深图像生成方法，拍摄得到清晰的全景深图像。

示例性的，图4为本申请实施例提供的一种全景深图像生成方法的流程示意图。如图4所示，该全景深图像生成方法可以包括如下步骤：

S401、当终端设备接收到用户打开相机应用中的全景深功能的操作时，终端设备可以显示全景深功能对应的预览界面。

本申请实施例中，该打开相机应用中的全景深功能的操作可以包括下述一种或多种：触摸操作、按键操作、隔空手势操作或语音操作等；该相机应用可以为终端设备的系统支持的应用，或者该相机应用也可以为具有拍照功能以及全景深功能的应用等。

示例性的，用户可以通过下述多种方式(如图5-图7对应的实施例)打开相机应用中的全景深功能。其中，在图5-图7对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

一种实现中，当终端设备接收到用户打开相机应用的操作时，该相机应用的主界面的上方可以包括用于打开全景深功能的控件，进一步的，当终端设备接收到用户针对该用于打开全景深功能的控件的操作时，终端设备可以显示全景深功能对应的预览界面。示例性的，图5为本申请实施例提供的一种开启全景深功能的界面示意图。

当手机接收到用户打开相机应用的操作时，手机可以显示如图5中的a所示的界面，该界面可以为相机应用的主界面。如图5中的a所示，该界面中可以包括相机应用的一级菜单500中的一个或多个功能控件，例如：光圈控件、夜景控件、人像控件、拍照功能对应的控件501、录像控件、短视频控件、或用于开启相机应用中的更多功能的更多控件等。该界面中还可以包括下述的一种或多种，例如：基于摄像头实时采集到的画面，例如预览图像502，拍摄控件503、用于打开图库的控件、用于切换摄像头的控件、用于对相机应用进行设置的设置控件、或用于调整拍摄倍数的控件、用于开启人工智能(artificial intelligence，AI)摄影功能的控件、用于设置闪光灯开启或关闭的闪光灯控件、以及用于开启全景深功能的全景深控件504等。其中，该用于打开图库的控件可用于开启图库应用程序。该图库应用程序可以为智能手机、平板电脑等电子设备上的一款图片管理的应用程序，又可以称为“相册”，本实施例对该应用程序的名称不做限制。

可以理解的是，如图5中的a所示的界面，该用于开启全景深功能的全景深控件504可以显示为，由上到下逐渐变大(或由下到上逐渐变小)的三个正方形构成的图标，且由该三个正方形构成的图标在左斜下方45度(或在右斜上方45度)上呈对称图形，本申请实施例中对该全景深控件的具体形态不做具体限定。

在如图5中的a所示的界面中，当手机接收到用户触发该全景深控件504的操作时，手机可以进入如图5中的b所示的界面。如图5中的b所示的界面，该界面中可以包括：提示信息505、拍摄控件503、以及处于选中状态的全景深控件504等，该界面中显示的其他内容可以与如图5中的a所示的界面类似，在此不再赘述。其中，该提示信息505可以为：正在使用全景深模式，请持稳您的设备，本申请实施例中对该提示信息的内容不做具体限制；该处于选中状态的全景深控件504可以为灰度显示等状态。进而，用户可以通过如图5种的b所示的拍摄控件503拍摄得到全景深图像。

另一种实现中，当终端设备接收到用户打开相机应用的操作时，该相机应用的主界面的一级菜单中可以包括用于打开全景深功能的控件；进一步的，当终端设备接收到用户针对该用于打开全景深功能的控件的操作时，终端设备可以显示全景深功能对应的预览界面。示例性的，图6为本申请实施例提供的另一种开启全景深功能的界面示意图。

当手机接收到用户打开相机应用的操作时，手机可以显示如图6中的a所示的界面，该界面可以为相机应用的主界面(或理解为拍照功能对应的界面)。如图6中的a所示，该界面中可以包括下述一种或多种，例如：拍照功能对应的拍摄控件601、预览图像602、用于打开全景深功能的全景深控件603、用于开启AI摄影功能的控件、用于设置闪光灯开启或关闭的闪光灯控件等，该界面中显示的其他内容与图5所示的界面类似，在此不再赘述。

如图6中的a所示的界面中，当手机接收到用户触发该全景深控件603的操作时，手机可以显示如图6中的b所示的界面。如图6中的b所示的界面，该界面中可以显示预览图像602以及用于生成全景深图像的拍摄控件604，且该界面中显示的其他内容与如图5所示的界面类似，在此不再赘述。进而，用户可以通过如图6中的b所示的拍摄控件604拍摄得到全景深图像。

又一种实现中，当终端设备接收到用户打开相机应用的操作时，该相机应用的主界面中可以显示用于开启更多功能的控件；当终端设备接收到用户针对该用于开启更多功能的控件的触发操作时，终端设备可以显示用于打开全景深功能的控件以及其他功能控件；进一步的，当终端设备接收到用户针对该用于打开全景深功能的控件的触发操作时，终端设备可以显示全景深功能对应的预览界面。示例性的，图7为本申请实施例提供的又一种开启全景深功能的界面示意图。

当手机接收到用户打开相机应用的操作时，手机可以显示如图7中的a所示的界面，该界面可以为相机应用的主界面(或理解为拍照功能对应的界面)。如图7中的a所示的界面，该界面中可以包括一级菜单700中的多个功能控件，例如可以包括下述一种或多种：光圈控件、夜景控件、人像控件、拍照功能对应的控件、录像控件、短视频控件、以及更多控件701等，该界面中显示的其他内容与图6中的a所示的界面类似，在此不再赘述。

如图7中的a所示的界面中，当手机接收到用户触发该更多控件701的操作时，手机可以显示如图7中的b所示的界面。如图7中的b所示的界面，该界面中可以包括下述一种或多种功能控件，例如：光圈控件、夜景控件、人像控件、拍照功能对应的控件、录像控件、短视频控件、更多控件、高动态范围(high-dynamic range，HDR)控件、慢动作控件、微电影控件、全景深控件702、动态照片控件、用于下载更多功能的下载控件、用于调整更多控件中的各功能的位置的编辑控件、或用于查看更多控件中的各功能的详情信息的详情控件等。

进一步的，如图7中的b所示的界面中，当手机接收到用户触发该全景深控件702的操作时，手机可以显示如图7中的c所示的界面。如图7中的c所示的界面，该界面中可以包括预览图像703、用于生成全景深图像的拍摄控件704、全景深功能对应的标识705、以及用于关闭全景深功能的控件706等，该界面中显示的其他内容与如图6中的b所示的界面类似，在此不再赘述。进而，用户可以通过如图7中的c所示的拍摄控件704拍摄得到全景深图像。

可能的实现方式中，当手机接收到用户触发该用于关闭全景深功能的控件706的操作时，手机可以关闭全景深功能，并切换至如图7中的a所示的界面。

可以理解的是，该打开相机应用中的全景深功能的方式可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

S402、当终端设备接收用户开始全景深拍摄的操作时，终端设备下发对焦序列。

本申请实施例中，该开始全景深拍摄的操作可以包括下述一种或多种：触摸操作、按键操作、隔空手势操作或语音操作等。该对焦序列中可以包含多张对焦图像，且该多张对焦图像对应的对焦点可以不同。示例性的，终端设备可以基于下述方法下发对焦序列。

一种实现中，终端设备可以基于自适应类别的K均值(Kmeans)聚类算法生成K类图像，并基于该图像中的K个聚类中心，得到对焦点位置(或理解为相应对焦距离所在位置)，进而得到该对焦点位置对应的对焦图像。

本申请实施例中，该Kmeans算法用于将相似的样本归到一个类别中。具体的，在给定K值和K个初始类簇中心点的情况下，Kmeans算法可以将每个点(或理解为数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(或理解为取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的迭代次数。

可以理解的是，上述方法可以实现根据图像内容自适应调整对焦点，使得基于对焦点得到的图像的准确性较高，进而可以基于该多处对焦点处下发的图像，得到较为清晰的全景深图像。

示例性的，终端设备可以获取预览流数据的深度信息，并通过自适应类别的K均值(Kmeans)聚类算法根据深度信息得到该预览流数据中的K类图像并标记其聚类中心，将该K类中心点作为下发拍照的对焦点位置进行K次对焦，得到该K次对焦得到的K张对焦图像。可以理解的是，该聚类中的个数与对焦次数相同。其中，终端设备可以基于相位对焦、双摄深度算法或3D感光技术等方式获取预览流数据中的拍摄对象的深度信息，该双摄深度算法可以理解为采用双摄像头的深度相机获取拍照场景中的拍摄对象的深度信息的算法。

示例性的，图8为本申请实施例提供的一种对焦示意图。如图8所示，终端设备可以获取图像800的深度信息，并基于K均值聚类算法标记得到多个聚类中心，例如该聚类中心可以包括下述一种或多种：对焦框801对应的聚类中心(或理解为图8中的树木对应的中心)、或对焦框802对应的聚类中心(或理解为图8中的山脉对应的中心)等。如图8所示，2个聚类中心可以对应于2次对焦。

进一步的，如图8所示，终端设备可以实现类似于手动对焦的方式，分别利用马达将镜头分别推送到该对焦框801对应的聚类中心所在的对焦点，以及该对焦框802对应的聚类中心所在的对焦点，进而得到由上述2次对焦得到的2张对焦图像。

可以理解的是，该聚类中心的个数可以理解为对焦的次数；该K的取值可以为2、3、4等，本申请实施例中对此不做限定，并且上述方法可以根据拍摄对象灵活调整对焦点，提高生成全景深图像的准确性。

另一种实现中，终端设备可以在相机预设的K个对焦点处下发指令，得到对焦序列。

示例性的，每个相机均可以具有其特有的景深范围，终端设备可以在该景深范围内预设K个对焦点(或理解为预设K个焦距)，并在接收到用户触发开始全景深拍摄的操作时，利用马达将镜头依次推送到该K个对焦点对应的位置，得到由K张对焦图像构成的对焦序列。例如，当终端设备预设4个对焦点时，则终端设备在拍摄时，可以获取拍摄对象分别在该预设的4个对焦点处的对焦图像，得到包含4个对焦图像的对焦序列。其中，该4个对焦点所在的位置均可以不同。

可以理解的是，该预设的K个对焦点可以为基于对用户拍摄习惯的学习得到的，或者，该预设的K个对焦点也可以为用户根据拍摄对象预先设置的，本申请实施例中对此不做限定。

可以理解的是，该终端设备中的预设的对焦点的个数可以为2个、3个或4个等，本申请实施例中对此不做限定。

可以理解的是，上述方法可以通过预设的对焦点实现快速对焦，增加生成全景深图像的速度。

综上，S402所示的步骤中描述得到对焦序列的方法可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

S403、终端设备对上述对焦序列进行图像处理，得到图像处理后的对焦序列。

本申请实施例中，该图像处理方法可以包括下述一种或多种，例如：配准处理、图像平滑处理、导向图滤波处理、图像二分类处理、或鬼影区域检测等。

在上述图像处理方法中，针对配准处理，该配准处理可以用于将同一目标的多幅图像在空间位置上对准。示例性的，终端设备可以采用加速鲁棒特征(speed up robustfeatures，SURF)算法或者神经网络算法等方法对图像进行配准处理。具体的，该SURF的原理可以理解为提取各相邻帧的关键点，并对该关键点进行旋转或平移等操作，将配准帧对齐到参考帧。其中，该参考帧可以为相邻两帧中的第一帧，该配准帧可以为相邻两帧中的第二帧。

针对图像平滑处理，该平滑处理用于减少图像中的噪声，改善图像质量。示例性的，终端设备可以采用高斯滤波、均值滤波、中值滤波或双边滤波等方法进行图像平滑处理。

针对导向图滤波处理，该导向图滤波用于突出图像中的边缘区域。具体的，该导向图滤波可以理解为一种图像滤波技术，通过一张引导图G，对输入图像进行滤波处理，使得最后的输出图像大体上与输入图像相似，且纹理部分与引导图G相似。

针对图像二分类，该图像二分类用于对图像进行分类。本申请实施例中，该图像二分类可以用于分离图像中的模糊区域和清晰区域。

针对鬼影区域检测，该鬼影检测可以用于计算由于运动对象引起的图像配准后的图像与相邻图像之间的偏差，该偏差可以用鬼影面积来表示。鬼影面积越大，说明该偏差越大。其中，运动对象是指对焦图像所在的场景中存在的运动的人、运动的物、或其他由相机抖动引起的帧间内容变化等。

示例性的，图9为本申请实施例提供的一种对焦序列下发及处理的流程示意图。如图9所示，该对焦序列下发及处理方法可以大致包括：实线框901对应的对焦序列下发过程、实线框902对应的多帧对焦图像融合处理过程、以及该实线框903对应的生成全景深图像过程等。

如图9所示，针对实线框901对应的对焦序列下发过程，终端设备可以基于S402所示的步骤中的两种方法，例如方式1，对包含深度信息的预览图像进行自适应K均值聚类生成对应的聚类数目，并根据各聚类中心获取对焦点以及对焦次数，进而使得相机应用程序包(android application package，APK)下发相应对焦点处的图像，得到对焦序列，例如该对焦序列中可以包括图像1和图像2；或者，方式2，终端设备通过固定多个对焦位置，使得相机APK下发相应对焦点处的图像，得到图像1和图像2。

如图9所示，针对实线框902对应的多帧对焦图像融合处理过程，该处理过程可以包括：虚线框904对应的图像配准以及鬼影检测处理过程，虚线框905对应的基于导向图的焦点区域提取处理过程，以及虚线框906对应的融合决策图像计算处理过程。

具体的，终端设备可以通过SURF等图像配准方法对图像1和图像2进行配准，得到图像1以及对齐图像2(或理解为经过配准后的图像2)。其中，该对齐图像可以理解为与参考图像保持整体位置一致的图像。

终端设备利用滤波器，例如5×5的高斯滤波器分别对图像1和对齐图像2进行平滑处理，得到平滑图像1和平滑图像2。其中，该平滑图像1和平滑图像2均可以理解为区域平滑度提高但边缘模糊(或理解为边缘锐度降低)的图像。

终端设备将图像1与平滑图像1进行图像相减，可以得到焦点区域1，并且，终端设备将对齐图像2与平滑图像2进行图像相减，可以得到焦点区域2。其中，该焦点区域1以及焦点区域2均可以理解为包含较多边缘信息的区域。

终端设备将图像1(或可以理解为导向图滤波中的导向图)与焦点区域1进行导向图滤波，可以得到基于图像1的精确焦点区域1，并且，终端设备将对齐图像2(或可以理解为导向图滤波中的导向图)与焦点区域2进行导向图滤波，可以得到基于对齐图像2的精确焦点区域2。其中，该精确焦点区域1以及精确焦点区域2可以理解为经过信息增强的边缘区域。

终端设备基于精确焦点区域1以及精确焦点区域2，在对应的位置上进行图像二分类，例如清晰边缘区域为一类，模糊边缘的为一类；终端设备可以将清晰区域定义为255，将模糊区域定义为0，得到精确焦点区域1以及精确焦点区域2分别对应的二值图像，将任一二值图像，例如该精确焦点区域1对应的二值图像作为初始决策图像。其中，该二值图像可以理解为图像中的每个像素点均有两种可能的取值，或者可以理解为，该图像中的任何像素点的灰度值均为0(可以理解为黑色)或者255(可以理解为白色)。

终端设备基于图像1以及对齐图像2进行鬼影检测，得到鬼影区域，并基于鬼影区域以及初始决策图像得到精确决策图像。其中，该鬼影区域可以使用二值图像中的清晰的决策区域代替。

S404、终端设备对上述图像处理后的对焦序列进行图像融合，得到全景深图像。

本申请实施例中，该图像融合方法用于将对焦序列中的清晰区域进行融合，例如该图像融合方法可以为图像加权和。如图9所示，如图像1乘以决策系数与对齐图像2与(1-决策系数)相乘的和，或也可以称为alpha matting算法。

示例性的，当α取1时，终端设备可以获取精确决策图像中的灰度值为255时对应的图像1中的清晰区域，以及，获取精确决策图像中的灰度值为0时对应的对齐图像2中的清晰区域，进而融合得到全景深图像。

如图9所示，针对实线框903对应的生成全景深图像过程，终端设备基于该精确决策图像，对图像1以及对齐图像2中的清晰区域进行图像融合处理，得到全景深图像。例如，融合公式可以为：αA+(1-α)B。其中，该A可以为图像1，该B可以为对齐图像2，该α可以理解为基于精确决策图像得到的决策系数，α的取值可以为0或1。

可能的实现方式中，当对焦序列为多张时，则可以在先前结果上每次递增一张图形进行清晰度融合，得到再次融合后的全景深图像。示例性的，图10为本申请实施例提供的一种对焦序列融合示意图。

如图10所示，若对焦序列中包含图像1、图像2、以及图像3等图像。则终端设备可以基于如图9对应的实施例中的图像处理方法对图像1和图像2进行处理，并融合得到融合图像1。针对图像3，则终端设备可以基于如图9对应的实施例中的图像处理方法对融合图像1和图像3进行处理，并融合得到融合图像2。

可以理解的是，若对焦序列中包含的图像个数为4个或多个等时，则其他图像的融合处理过程可以参见如图10对应的实施例，在此不再赘述。

综合S401-S404所示的步骤，终端设备可以基于上述图像下发及处理方法得到清晰的全景深图像。示例性的，图11为本申请实施例提供的一种全景深图像的效果示意图，图12为本申请实施例提供的另一种全景深图像的效果示意图。

如图11所示，当终端设备接收用户在全景深功能中针对拍摄控件的触发操作时，终端设备可以获取如图11中的a所示的前景树木清晰且后景山脉模糊的图像，以及如图11中的b所示的前景树木模糊且后景树木清晰的图像，并基于对如图11中的a所示的图像以及如图11中的b所示的图像中的清晰区域的融合，得到如图11中的c所示的前景树木清晰且后景树木清晰的全景深图像。

如图12所示，当终端设备接收用户在全景深功能中针对拍摄控件的触发操作时，终端设备可以获取如图12中的a所示的前景清晰且后景(例如显示为贴近用户，体验为先，持续循序改进、创新等文字内容)模糊的图像，以及如图12中的b所示的后景清晰且前景模糊的图像，并基于对如图12中的a所示的图像、以及如12中的b所示的图像中的清晰区域的融合，得到如图12中的c所示的前景清晰且后景清晰的全景深图像。

基于此，终端设备可以通过对焦序列的下发，计算多张图像之间的清晰区域，并基于图像融合的方法将各图像中的清晰区域融合到一张图像中，从而得到清晰度较高的全景深图像。

在图4对应的实施例的基础上，可能的实现方式中，当用户在图库应用中查找全景深图像时，终端设备可以显示基于全景深图像生成方法得到的全景深图像对应的标识。

示例性的，图13为本申请实施例提供的一种查看全景深图像的界面示意图。在图13对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

当终端设备接收到用户打开图库应用的操作时，终端设备可以显示如图13所示的界面，该界面中可以包括：图库应用的标识、用于搜索图像的文本框、用于打开更多功能的控件1301，以及多个图像，例如在今天拍摄的图像1，以及在昨天拍摄的图像2、图像3和图像4等。其中，该图像1的周围可以显示用于标识该图像为全景深图像的标识，例如标识1302。

基于此，终端设备可以提供用于辨识图像是否属于全景深功能下的处理的标识，进而用户可以清晰的确定多个图像中哪个图像是基于全景深功能得到的全景深图像。

可以理解的是，本申请实施例提供的终端设备的界面仅作为一种示例，并不构成对本申请实施例的限定。

基于上述实施例中所描述的内容，为了更好的理解本申请各实施例，示例性的，图14为本申请实施例提供的另一种全景深图像生成方法的流程示意图。

如图14所示，该全景深图像生成方法可以包括如下步骤：

S1401、终端设备显示第一界面；第一界面为拍摄全景深图像的界面，第一界面中包括用于拍摄的控件。

其中，该第一界面可以为如图5中的b所示的界面，或如图6中的b所示的界面，或如图7中的c所示的界面。在如图5中的b所示的界面中，该用于拍摄的控件可以为拍摄控件503；在如图6中的b所示的界面中，该用于拍摄的控件可以为拍摄控件604；在如图7中的c所示的界面中，该用于拍摄的控件可以为拍摄控件704。

S1402、终端设备接收针对用于拍摄的控件的操作。

其中，该用于拍摄的控件的操作可以为针对拍摄控件的触发操作，例如可以为点击操作或长按操作等。

S1403、响应于针对用于拍摄的控件的操作，终端设备获取待拍摄对象在不同对焦点处的多张图像。

S1404、终端设备融合多张图像中各自的清晰区域得到全景深图像。

可选的，S1401之前，还包括：终端设备接收打开第一应用的操作；响应于打开第一应用的操作，终端设备显示第二界面；其中，第二界面中包括用于开启全景深模式的控件；用于开启全景深模式的控件位于第二界面的顶部；终端设备接收选定用于开启全景深模式的控件的操作；终端设备显示第一界面，包括：响应于用于开启全景深模式的控件的操作，终端设备显示第一界面。

其中，该第一应用可以为相机应用；该第二界面为打开第一应用后显示的界面，例如该第二界面可以为如图5中的a所示的界面；如图5中的a所示的界面，该用于开启全景深模式的控件可以为全景深控件504。

可选的，S1404之前还包括：终端设备接收打开第一应用的操作；响应于打开第一应用的操作，终端设备显示第三界面；其中，第三界面中包括第一菜单栏；第一菜单栏中包括用于开启全景深模式的控件；终端设备接收选定用于开启全景深模式的控件的操作；终端设备显示第一界面，包括：响应于用于开启全景深模式的控件的操作，终端设备显示第一界面。

其中，该第三界面可以为如图6中的a所示的界面；如图6中的a所示的界面，该第一菜单栏可以为显示光圈、夜景、人像、拍照、录像、短视频以及全景深等对应的菜单栏，该用于开启全景深模式的控件可以为全景深控件603。

可选的，S1401之前还包括：终端设备接收打开第一应用的操作；响应于打开第一应用的操作，终端设备显示第四界面；其中，第四界面中包括第二菜单栏；第二菜单栏中包括用于开启第一应用的更多功能的控件；终端设备接收选定用于开启第一应用的更多功能的控件的操作；响应于用于开启第一应用的更多功能的控件的操作，终端设备显示第五界面；第五界面中包括用于开启全景深模式的控件；终端设备接收选定用于开启全景深模式的控件的操作；终端设备显示第一界面，包括：响应于用于开启全景深模式的控件的操作，终端设备显示第一界面。

其中，该第四界面可以为如图7中的a所示的界面；如图7中的a所示的界面，该第二菜单栏可以为一级菜单700，该用于开启第一应用的更多功能的控件可以为更多控件701；该第五界面可以为如图7中的b所示的界面；如图7中的b所示的界面，该用于开启全景深模式的控件可以为全景深控件702。

可选的，第一界面中还包括提示信息；提示信息用于提示持稳终端设备。

其中，该提示信息可以为如图5中的b所示(或如图6中的b所示、或如图7中的c所示)的提示信息。其中，该提示信息可以为：正在使用全景深模式，请持稳您的设备。

可选的，S1403包括：终端设备获取待拍摄对象在预设的对焦点处的多张图像；预设的对焦点的个数为多个。

其中，该预设的对焦点可以参见S402所示的步骤中关于预设的对焦点的描述，在此不再赘述。

可选的，S1403包括：终端设备获取待拍摄对象对应的预览图像；预览图像中包括深度信息；终端设备基于深度信息对待拍摄对象进行聚类，得到待拍摄对象中的多个对象；终端设备对多个对象分别进行对焦，得到多张图像。

其中，该通过聚类算法获取多张图像的方法可以参见S402所示的步骤中通过聚类算法获取对焦序列的描述，在此不再赘述。

可选的，多张图像至少包括第一对焦图像以及第二对焦图像，S1404包括：

S14041、终端设备获取第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。

S14042、终端设备对第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域进行融合，得到全景深图像。

其中，该图像融合过程可以参见S404所示的步骤中图像融合的过程，在此不再赘述。

可选的，S14041包括：终端设备分别对第一对焦图像以及第二对焦图像进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。

其中，该图像二分类的过程参见S403中针对图像二分类部分的描述，在此不再赘述。

可选的，终端设备分别对第一对焦图像以及第二对焦图像进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域，包括：终端设备利用第一对焦图像对第二对焦图像进行图像配准处理，得到配准处理后的第二对焦图像；终端设备分别对第一对焦图像以及配准处理后的第二对焦图像进行图像平滑处理，得到平滑后的第一对焦图像以及平滑后的第二对焦图像；终端设备将第一对焦图像以及平滑后的第一对焦图像进行相减，得到第一焦点区域，并且，将配准处理后的第二对焦图像以及平滑后的第二对焦图像进行相减，得到第二焦点区域；终端设备分别对第一焦点区域以及第二焦点区域进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。

其中，该图像配准、以及图像平滑的过程参见S403中图像处理部分的描述，在此不再赘述。

可选的，终端设备分别对第一焦点区域以及第二焦点区域进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域，包括：终端设备利用第一焦点区域以及第一对焦图像进行导向图滤波处理，得到滤波后的第一焦点区域，并且，利用第二焦点区域以及配准处理后的第二对焦图像进行导向图滤波处理，得到滤波后的第二焦点区域；终端设备分别对滤波后的第一焦点区域以及滤波后的第二焦点区域进行图像二分类，得到第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域。

其中，该导向图滤波的处理过程参见S403中图像处理部分的描述，在此不再赘述。

可选的，S14042包括：终端设备利用第一对焦图像以及配准处理后的第二对焦图像，进行鬼影检测，得到鬼影区域；终端设备利用鬼影区域，对第一对焦图像中的清晰区域以及第二对焦图像中的清晰区域进行融合，得到全景深图像。

其中，该鬼影检测过程参见S403中图像处理部分的描述，在此不再赘述。

可选的，还包括：终端设备接收打开第二应用的操作；响应于打开第二应用的操作，终端设备显示第六界面；第六界面中包括全景深图像，以及全景深图像对应的标识，标识用于指示全景深图像的图像类型。

其中，该第二应用可以为图库应用；该第六界面可以为如图13所示的界面；如图13所示的界面，该全景深图像对应的标识可以为标识1302。

上面结合图4-图14，对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。如图15所示，图15为本申请实施例提供的一种全景深图像生成装置的结构示意图，该全景深图像生成装置可以是本申请实施例中的终端设备，也可以是终端设备内的芯片或芯片系统。

如图15所示，全景深图像生成装置150可以用于通信设备、电路、硬件组件或者芯片中，该全景深图像生成装置包括：显示单元1501、以及处理单元1502等。其中，显示单元1501用于支持全景深图像生成方法执行的显示的步骤；处理单元1502用于支持全景深图像生成装置执行信息处理的步骤。

处理单元1502可以和显示单元1501可以集成在一起，处理单元1502和显示单元1501可能会发生通信。

在一种可能的实现方式中，该全景深图像生成装置还可以包括：存储单元1503。其中，存储单元1503可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。

存储单元1503可以独立存在，通过通信总线与处理单元1502相连。存储单元1503也可以和处理单元1502集成在一起。

以全景深图像生成装置可以是本申请实施例中的终端设备的芯片或芯片系统为例，存储单元1503可以存储终端设备的方法的计算机执行指令，以使处理单元1502执行上述实施例中终端设备的方法。存储单元1503可以是寄存器、缓存或者随机存取存储器(random access memory，RAM)等，存储单元1503可以和处理单元1502集成在一起。存储单元1503可以是只读存储器(read-only memory，ROM)或者可存储静态信息和指令的其他类型的静态存储设备，存储单元1503可以与处理单元1502相独立。

在一种可能的实现方式中，全景深图像生成装置还可以包括：通信单元1504。其中，通信单元1504用于支持全景深图像生成装置与其它设备交互。示例性的，当该全景深图像生成装置是终端设备时，该通信单元1504可以是通信接口或接口电路。当该全景深图像生成装置是终端设备内的芯片或芯片系统时，该通信单元1504可以是通信接口。例如通信接口可以为输入/输出接口、管脚或电路等。

本实施例的装置对应地可用于执行上述方法实施例中执行的步骤，其实现原理和技术效果类似，此处不再赘述。

图16为本申请实施例提供的一种控制设备的硬件结构示意图，如图16所示，该控制设备包括处理器1601，通信线路1604以及至少一个通信接口(图16中示例性的以通信接口1603为例进行说明)。

处理器1601可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路1604可包括在上述组件之间传送信息的电路。

通信接口1603，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网(wireless local area networks，WLAN)等。

可能的，该控制设备还可以包括存储器1602。

存储器1602可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1604与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器1602用于存储执行本申请方案的计算机执行指令，并由处理器1601来控制执行。处理器1601用于执行存储器1602中存储的计算机执行指令，从而实现本申请实施例所提供的方法。

可能的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器1601可以包括一个或多个CPU，例如图16中的CPU0和CPU1。

在具体实现中，作为一种实施例，控制设备可以包括多个处理器，例如图16中的处理器1601和处理器1605。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

示例性的，图17为本申请实施例提供的一种芯片的结构示意图。芯片170包括一个或两个以上(包括两个)处理器1720和通信接口1730。

在一些实施方式中，存储器1740存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

本申请实施例中，存储器1740可以包括只读存储器和随机存取存储器，并向处理器1720提供指令和数据。存储器1740的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

本申请实施例中，存储器1740、通信接口1730以及处理器1720通过总线系统1710耦合在一起。其中，总线系统1710除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图17中将各种总线都标为总线系统1710。

上述本申请实施例描述的方法可以应用于处理器1720中，或者由处理器1720实现。处理器1720可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1720中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1720可以是通用处理器(例如，微处理器或常规处理器)、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器1720可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。其中，软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory，EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1740，处理器1720读取存储器1740中的信息，结合其硬件完成上述方法的步骤。

在上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中，计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如，可用介质可以包括磁性介质(例如，软盘、硬盘或磁带)、光介质(例如，数字通用光盘(digital versatile disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

作为一种可能的设计，计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory，CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD)，激光盘，光盘，数字通用光盘(digital versatile disc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

上述的组合也应包括在计算机可读介质的范围内。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种全景深图像生成方法，其特征在于，应用于终端设备，所述方法包括：

所述终端设备显示第一界面；所述第一界面为拍摄全景深图像的界面，所述第一界面中包括用于拍摄的控件；

所述终端设备接收针对所述用于拍摄的控件的操作；

响应于针对所述用于拍摄的控件的操作，所述终端设备获取待拍摄对象在不同对焦点处的多张图像；所述多张图像至少包括第一对焦图像以及第二对焦图像；

所述终端设备利用所述第一对焦图像对所述第二对焦图像进行图像配准处理，得到配准处理后的第二对焦图像；

所述终端设备分别对所述第一对焦图像以及所述配准处理后的第二对焦图像进行图像平滑处理，得到平滑后的第一对焦图像以及平滑后的第二对焦图像；

所述终端设备将所述第一对焦图像以及所述平滑后的第一对焦图像进行相减，得到第一焦点区域，并且，将所述配准处理后的第二对焦图像以及所述平滑后的第二对焦图像进行相减，得到第二焦点区域；

所述终端设备分别对所述第一焦点区域以及所述第二焦点区域进行图像二分类，得到所述第一对焦图像中的清晰区域以及所述第二对焦图像中的清晰区域；

所述终端设备对所述第一对焦图像中的清晰区域以及所述第二对焦图像中的清晰区域进行融合，得到全景深图像。

2.根据权利要求1所述的方法，其特征在于，所述终端设备显示第一界面之前，所述方法还包括：

所述终端设备接收打开第一应用的操作；

响应于所述打开第一应用的操作，所述终端设备显示第二界面；其中，所述第二界面中包括用于开启全景深模式的控件；所述用于开启全景深模式的控件位于所述第二界面的顶部；

所述终端设备接收选定所述用于开启全景深模式的控件的操作；

所述终端设备显示第一界面，包括：响应于所述用于开启全景深模式的控件的操作，所述终端设备显示所述第一界面。

3.根据权利要求1所述的方法，其特征在于，所述终端设备显示第一界面之前，所述方法还包括：

所述终端设备接收打开第一应用的操作；

响应于所述打开第一应用的操作，所述终端设备显示第三界面；其中，所述第三界面中包括第一菜单栏；所述第一菜单栏中包括用于开启全景深模式的控件；

所述终端设备接收选定所述用于开启全景深模式的控件的操作；

所述终端设备显示第一界面，包括：响应于所述用于开启全景深模式的控件的操作，所述终端设备显示所述第一界面。

4.根据权利要求1所述的方法，其特征在于，所述终端设备显示第一界面之前，所述方法还包括：

所述终端设备接收打开第一应用的操作；

响应于所述打开第一应用的操作，所述终端设备显示第四界面；其中，所述第四界面中包括第二菜单栏；所述第二菜单栏中包括用于开启所述第一应用的更多功能的控件；

所述终端设备接收选定所述用于开启所述第一应用的更多功能的控件的操作；

响应于所述用于开启所述第一应用的更多功能的控件的操作，所述终端设备显示第五界面；所述第五界面中包括用于开启全景深模式的控件；

所述终端设备接收选定所述用于开启全景深模式的控件的操作；

所述终端设备显示第一界面，包括：响应于所述用于开启全景深模式的控件的操作，所述终端设备显示所述第一界面。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一界面中还包括提示信息；所述提示信息用于提示持稳所述终端设备。

6.根据权利要求1所述的方法，其特征在于，所述终端设备获取待拍摄对象在不同对焦点处的多张图像，包括：

所述终端设备获取所述待拍摄对象在预设的对焦点处的多张图像；所述预设的对焦点的个数为多个。

7.根据权利要求1所述的方法，其特征在于，所述终端设备获取待拍摄对象在不同对焦点处的多张图像，包括：

所述终端设备获取所述待拍摄对象对应的预览图像；所述预览图像中包括深度信息；

所述终端设备基于所述深度信息对所述待拍摄对象进行聚类，得到所述待拍摄对象中的多个对象；

所述终端设备对所述多个对象分别进行对焦，得到所述多张图像。

8.根据权利要求1所述的方法，其特征在于，所述终端设备分别对所述第一焦点区域以及所述第二焦点区域进行图像二分类，得到所述第一对焦图像中的清晰区域以及所述第二对焦图像中的清晰区域，包括：

所述终端设备利用所述第一焦点区域以及所述第一对焦图像进行导向图滤波处理，得到滤波后的第一焦点区域，并且，利用所述第二焦点区域以及所述配准处理后的第二对焦图像进行导向图滤波处理，得到滤波后的第二焦点区域；

所述终端设备分别对所述滤波后的第一焦点区域以及所述滤波后的第二焦点区域进行图像二分类，得到所述第一对焦图像中的清晰区域以及所述第二对焦图像中的清晰区域。

9.根据权利要求8所述的方法，其特征在于，所述终端设备对所述第一对焦图像中的清晰区域以及所述第二对焦图像中的清晰区域进行融合，得到所述全景深图像，包括：

所述终端设备利用所述第一对焦图像以及所述配准处理后的第二对焦图像，进行鬼影检测，得到鬼影区域；

所述终端设备基于所述鬼影区域以及所述第一对焦图像对应的二值图像确定精确决策图像；

所述终端设备基于所述精确决策图像确定决策系数，并基于所述决策系数对所述第一对焦图像中的清晰区域以及所述第二对焦图像中的清晰区域进行融合，得到所述全景深图像。

10.根据权利要求1所述的方法，其特征在于，还包括：

所述终端设备接收打开第二应用的操作；

响应于所述打开第二应用的操作，所述终端设备显示第六界面；所述第六界面中包括所述全景深图像，以及所述全景深图像对应的标识，所述标识用于指示所述全景深图像的图像类型。

11.一种电子设备，包括存储器、处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使得所述电子设备执行如权利要求1至10任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如权利要求1至10任一项所述的方法。

Images