CN116320740A - 拍摄对焦方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种拍摄对焦方法、装置、电子设备和存储介质，属于摄影技术领域。拍摄对焦方法，包括：在获取到预览图像的情况下，对预览图像进行目标处理，得到预览图像的语义信息、主体信息和深度信息；根据语义信息、主体信息和深度信息，确定预览图像中的目标区域；基于目标区域执行对焦操作。

Description

拍摄对焦方法、装置、电子设备和存储介质

技术领域

本申请属于摄影技术领域，具体涉及一种拍摄对焦方法、装置、电子设备和存储介质。

背景技术

当用户在使用电子设备进行拍摄时，电子设备通常会选定画面中的一个区域作为焦点进行对焦。

相关技术中，自动对焦的方式包括画面中心对焦、人脸检测对焦、目标检测对焦，上述对焦方式均存在对焦不准确、对焦速度慢的问题。

发明内容

本申请实施例的目的是提供一种拍摄对焦方法、装置、电子设备和存储介质，提高了对焦准确性的同时，还加快了对焦速度，防止了电子设备对焦的目标区域内的深度差异过大导致得对焦不准的问题。

第一方面，本申请实施例提供了一种拍摄对焦方法，包括：在获取到预览图像的情况下，对预览图像进行目标处理，得到预览图像的语义信息、主体信息和深度信息；根据语义信息、主体信息和深度信息，确定预览图像中的目标区域；基于目标区域执行对焦操作。

第二方面，本申请实施例提供了一种拍摄对焦装置，包括：处理模块，用于在获取到预览图像的情况下，对预览图像进行目标处理，得到预览图像的语义信息、主体信息和深度信息；确定模块，用于根据语义信息、主体信息和深度信息，确定预览图像中的目标区域；对焦模块，用于基于目标区域执行对焦操作。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的方法的步骤。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的方法。

本申请实施例中，在电子设备通过摄像头采集到预览图像之后，电子设备获取预览图像对应的语义信息、主体信息和深度信息，通过对上述三种信息进行处理，能够确定用户所需拍摄的目标对象，并基于目标对象确定对焦的目标区域，电子设备对预览图像中的目标区域进行对焦拍摄，提高了对焦准确性的同时，还加快了对焦速度。

本申请实施例通过对预览图像进行目标处理，能够得到预览图像中的语义信息、主体信息和深度信息，并通过上述语义信息、主体信息和深度信息识别预览图像中目标区域，保证目标区域中包括用户所需拍摄的目标对象，提高了对焦准确性的同时，还加快了对焦速度，防止了电子设备对焦的目标区域内的深度差异过大导致得对焦不准的问题。

附图说明

图1示出了本申请实施例提供的拍摄对焦方法的流程示意图；

图2示出了本申请实施例提供的拍摄对焦装置的结构示意图；

图3示出了根据本申请实施例的电子设备的结构框图；

图4为实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图1至图4，通过具体的实施例及其应用场景对本申请实施例提供的拍摄对焦方法、拍摄对焦装置、电子设备和存储介质进行详细地说明。

在本申请的一些实施例中提供了一种拍摄对焦方法。图1示出了本申请实施例提供的拍摄对焦方法的流程示意图。如图1所示，拍摄对焦方法包括：

步骤102，在获取到预览图像的情况下，对预览图像进行目标处理，得到预览图像的语义信息、主体信息和深度信息；

在通过电子设备执行拍摄的过程中，电子设备通过摄像头采集图像数据以得到预览图像。

需要说明的是，电子设备可以将预览图像输入至预设模型中，以获取预览图像对应的语义信息、主体信息和深度信息。预设模型能够对预览图像进行语义分割、主体识别和深度估计，并输出相应的语义信息、主体信息和深度信息。

其中，语义信息为对预览图像进行语义分割得到的信息，语义信息的类别包括：人像、动物、交通工具、植物等。

主体信息为对预览图像进行主体检测得到的信息，主体信息包括预览图像中的前景物体。

深度信息为对预览图像进行深度估计得到的信息，深度信息包括预览图像整体的深度图。

步骤104，根据语义信息、主体信息和深度信息，确定预览图像中的目标区域；

其中，目标区域为电子设备对预览图像进行拍摄时的对焦区域。

步骤106，基于目标区域执行对焦操作。

本申请实施例中，在电子设备通过摄像头采集到预览图像之后，电子设备获取预览图像对应的语义信息、主体信息和深度信息，通过对上述三种信息进行处理，能够确定用户所需拍摄的目标对象，并基于目标对象确定对焦的目标区域，电子设备对预览图像中的目标区域进行对焦拍摄，提高了对焦准确性的同时，还加快了对焦速度。

具体来说，电子设备根据预览图像对应的语义信息和主体信息能确定预览图像中的目标对象所在的区域，语义信息能够代表预览图像中各个对象的个体类别，主体信息能够代表各个对象的个体位置，根据个体类别、个体位置和整个预览图像的深度信息能够准确确定用户所需拍摄的目标对象。再根据目标对象在预览图像中的深度信息识别目标区域，使电子设备能够对所需拍摄的目标对象在主体最突出的位置进行对焦，提高了对焦的准确性。

本申请实施例通过对预览图像进行目标处理，能够得到预览图像中的语义信息、主体信息和深度信息，并通过上述语义信息、主体信息和深度信息识别预览图像中目标区域，保证目标区域中包括用户所需拍摄的目标对象，提高了对焦准确性的同时，还加快了对焦速度，防止了电子设备对焦的目标区域内的深度差异过大导致得对焦不准的问题。

在本申请的一些实施例中，根据语义信息、主体信息和深度信息，确定预览图像中的目标区域，包括：根据语义信息和主体信息，确定预览图像对应的第一掩膜图，第一掩膜图中的拍摄对象与语义信息和主体信息相关联；根据深度信息，确定第一掩膜图中的目标区域，目标区域位于第一掩膜图中的拍摄对象所处的区域内。

其中，第一掩膜图为根据语义信息和主体信息确定的预览图像的掩膜图，该第一掩膜图中的拍摄对象为用户所需拍摄的目标对象。

本申请实施例中，电子设备根据预览图像的语义信息和主体信息能够识别到预览图像中的用户所需拍摄的目标对象所在的区域，从而确定预览图像对应第一掩膜图。由于第一掩膜图为预览图像的掩膜图，故根据预览图像的深度信息能够确定第一掩膜图中拍摄对象所处区域中相对突出的区域，即用于对焦的目标区域。

具体来说，电子设备能够根据语义信息和主体信息确定预览图像中的所需拍摄的目标对象。在确定目标对象之后，基于深度信息确定预览图像的目标对象所处区域中相对突出的区域，并将该区域确定为对焦的目标区域。

本申请实施例通过预览图像对应的语义信息和主体信息能够快速识别到预览图像中用户所需拍摄的目标对象，提高了识别的效率。并通过深度信息确定目标对象所处区域中用于对焦的目标区域，保证了目标区域内的深度差异较小，提高了对焦的准确性。

在本申请的一些实施例中，根据语义信息和主体信息，确定预览图像中的第一掩膜图，包括：根据语义信息，确定预览图像的多个第二掩膜图；根据深度信息筛选多个第二掩膜图中的目标掩膜图；根据主体信息，确定预览图像对应的第三掩膜图，第三掩膜图中的拍摄对象与主体信息相关联；对目标掩膜图和第三掩膜图进行融合处理，得到第一掩膜图。

其中，第二掩膜图为根据语义信息划分得到的掩膜图，每个掩膜图中均存在一个拍摄对象。具体来说，根据语义信息对预览图像进行语义分割，以识别到预览图像中不同种类的拍摄对象，每个拍摄对象均对应一个第二掩膜图。

第二掩膜图中的目标掩膜图为第二掩膜图中最可能包括所需拍摄的目标对象的掩膜图。

第三掩膜图为根据主体信息识别到的掩膜图，第三掩膜图中至少包括一个拍摄对象，且第三掩膜图中的拍摄对象为相对靠近镜头的拍摄对象。

将目标掩膜图与第三掩膜图进行融合处理，能够得到第一掩膜图。由于目标掩膜图为根据语义信息分割得到包括单独一个拍摄对象的掩膜图，且第三掩膜图为根据主体识别到的掩膜图，其中包括最靠近摄像头的至少一个拍摄对象，故将融合得到的第一掩膜图中的拍摄对象作为用户所需拍摄的目标对象，能够保证识别得到目标对象的准确性。

具体来说，电子设备根据语义信息对预览图像进行划分，以得到多个第二掩膜图，不同的第二掩膜图中的拍摄对象的类别不同。电子设备能够根据深度信息筛选第二掩膜图中的目标掩膜图，并将目标掩膜图与根据主体信息识别到的第三掩膜图进行融合，以得到第一掩膜图。

本申请实施例中，通过将根据语义信息确定的第二掩膜图，并基于深度信息对第二掩膜图进行筛选，得到的目标掩膜图，与根据主体信息得到的第三掩膜图进行融合，得到第一掩膜图，能够保证第一掩膜图中的拍摄对象为用户所需拍摄的目标对象，提高了确定目标对象的准确性，从而提高了根据目标区域进行对焦的准确性。

在本申请的一些实施例中，筛选多个第二掩膜图中的目标掩膜图，包括：根据深度信息，确定每个第二掩膜图的平均深度值；获取每个第二掩膜图的面积信息和位置信息；根据每个第二掩膜图对应的平均深度值、面积信息和位置信息，筛选多个第二掩膜图中的目标掩膜图。

本申请实施例中，在筛选多个第二掩膜图中的目标掩膜图的过程中，需要首先获取每个第二掩膜图的平均深度值、面积信息和位置信息。通过对上述平均深度值、面积信息和位置信息进行加权计算，能够得到每个第二掩膜图的分数值，根据分数值的高低筛选第二掩膜图中的目标掩膜图，保证目标掩膜图中的拍摄对象较接近用户所需拍摄目标对象。

通过连通域算法计算每个第二掩膜图的中心坐标点，以及每个第二掩膜图的面积值。第二掩膜图的面积信息为计算得到的面积值，根据中心坐标点能够确定第二掩膜图的位置信息。

第二掩膜图的位置信息包括中心坐标点距离预览图像的中心点的目标距离。

获取第二掩膜图的平均深度值的包括：将每个第二掩膜图与第五掩膜图相乘，能够得到第六掩膜图，第五掩膜图为根据深度信息确定的预览图像的深度掩膜图，第六掩膜图为深度加权的第二掩膜图。计算每个第六掩膜图中全部像素的深度值的平均值，得到第二掩膜图对应的平均深度值。

根据第二掩膜图的平均深度值、面积值和目标距离值通过公式(1)能够计算得到第二掩膜图的分数值，公式(1)具体如下：

score_i＝(Area_i+Depth_i)÷Distance_i(1)

其中，score_i为第二掩膜图的分数值、Area_i为第二掩膜图的面积值、Depth_i为第二掩膜图的平均深度值，Distance_i的距离值。

需要说明的是，在通常的拍摄逻辑中，在预览图像中所占面积越大的拍摄对象越可能为目标对象，在预览图像中所处位置越居中的拍摄对象越可能成为目标对象。故在计算得到每个第二掩膜图的分数值后，选取分数值最大的第二掩膜图作为目标掩膜图。

本申请实施例中，根据每个第二掩膜图的平均深度值、面积信息和位置信息，能够筛选多个第二掩膜图中的目标掩膜图，保证目标掩膜图中的拍摄对象接近用户所需拍摄的目标对象，从而保证了得到的第一掩膜图的准确性，进而提高了对焦的准确性。

在本申请的一些实施例中，对目标掩膜图和第三掩膜图进行融合处理，得到第一掩膜图，包括：获取预览图像中的预设图像区域；根据预设图像区域将目标掩膜图，划分为第一子区域和第二子区域，第一子区域位于预设图像区域内，第二子区域位于预设图像区域外；根据目标掩膜图的第一子区域与第三掩膜图的交并比，确定第一子图像，第一子图像为目标掩膜图的第一子区域，或第三掩膜图，其中，在交并比大于预设阈值的情况下，确定目标掩膜图的第一子区域为第一子图像，在交并比小于或等于预设阈值的情况下，确定第三掩膜图为第一子图像；将目标掩膜图的第二子区域与第三掩膜图的交集区域对应的图像，确定为第二子图像；对第一子图像和第二子图像进行叠加处理，以得到第一掩膜图。

其中，预设图像区域为预览图像中部预设大小的区域。

目标掩膜图的第一子区域与第三掩膜图的交并比(IOU，Intersection OverUnion)为目标掩膜图的第一子区域与第三掩膜图之间的交集与并集之间的比值。

本申请实施例中，电子设备通过位于预览图像中部的预设图像区域对目标掩膜图进行划分，并根据划分得到的目标掩膜图的第一子区域和第二子区域，分别与第三掩膜图进行处理，得到第一掩膜图，使第一掩膜图既参考了语义信息，又参考了主体信息，从而保证第一掩膜图中的拍摄对象即为用户所需拍摄的目标对象。

具体来说，通过预设图像区域能够对目标掩膜图进行划分，将目标掩膜图处于预设图像区域内的部分作为第一子区域，将目标掩膜图处于预设图像区域外的部分作为第二子区域。计算第一子区域和第三掩膜图的交并比，并根据交并比选择第一子区域中的图像或第三掩膜图作为第一子图像。对目标掩膜图的第二子区域与第三掩膜图取交集，将取得的交集区域对应的图像作为第二子图像。在得到第一子图像和第二子图像之后，将两者进行叠加处理，能够得到第一掩膜图。

其中，目标掩膜图的第一子区域位于预设图像区域之内，则确定目标掩膜图的第一子区域比较靠近预览图像的中心位置，根据第一子区域与第三掩膜图的交并比，选择将目标掩膜图的第一子区域和第三掩膜图作为第一子图像，保证第一子图像中的拍摄对象为目标对象。目标掩膜图的第二子区域位于预设图像区域之外，即确定该第二子区域距离图像中心较远，则保留第二子区域与第三掩膜图的交集的部分，作为第二子图像。

本申请实施例中，通过将目标掩膜图与第三掩膜图进行融合处理，得到第一掩膜图，使第一掩膜图中的拍摄对象所处的区域即为拍摄主体区域，保证第一掩膜图中的拍摄对象即为用户所需拍摄的目标对象，提高了后续拍摄对焦的准确性。

在本申请的一些实施例中，根据目标掩膜图的第一子区域与第三掩膜图的交并比，确定第一子图像，还包括：在交并比大于预设阈值的情况下，将目标掩膜图的第一子区域确定为第一子图像；在交并比小于等于预设阈值的情况下，将第三掩膜图确定为第一子图像。

需要说明的是，交并比越大则说明目标掩膜图的第一子区域与第三掩膜图的重合度越高，交并比越小则说明目标掩膜图的第一子区域与第三掩膜图的重合度越低。

本申请实施例中，在检测到交并比大于预设阈值的情况下，则确定目标掩膜图的第一子区域与第三掩膜图的重合度较高，能够确定目标掩膜图的第一子区域中的拍摄对象比较接近主体信息识别到的拍摄对象，为保证第一子图像中的拍摄对象与语义信息相符，则将目标掩膜图中的第一子区域对应的图像作为第一子图像。在检测到交并比小于等于预设阈值的情况下，则确定目标掩膜图的第一子区域与第三掩膜图的重合度较低，能够确定目标掩膜图的第一子区域中的拍摄对象与主体信息识别到的拍摄对象差别较大，为保证第一子图像中的拍摄对象与主体信息相符，则将第三掩膜图作为第一子图像。

本申请实施例根据目标掩膜图的第一子区域与第三掩膜图之间的交并比，判断目标掩膜图的第一子区域中的拍摄对象与主体信息识别到的拍摄对象相符。在相符的情况下，选择目标掩膜图的第一子区域对应的图像作为第一子图像，在不相符的情况下，选择第三掩膜图作为第一子图像，进一步保证了第一掩膜图中的拍摄对象为用户所需拍摄的目标对象，从而提高了拍摄对焦的准确性。

在本申请的一些实施例中，根据深度信息，确定第一掩膜图中的目标区域，包括：根据深度信息对第一掩膜图进行深度加权处理，得到第四掩膜图；确定第四掩膜图中的第一图像区域，第一图像区域为第四掩膜图中深度最大的内接矩形区域；确定第四掩膜图中的第二图像区域，第二图像区域为第四掩膜图中面积最大的内接矩形区域；将第一图像区域与第二图像区域的交集区域，确定为目标区域。

其中，第四掩膜图为经过深度信息加权后的第一掩膜图。具体来说，第五掩膜图为根据深度信息确定的预览图像的深度掩膜图，将第五掩膜图与第一掩膜图相乘能够得到第四掩膜图。

本申请实施例中，确定第四掩膜图中深度值最大的内接矩形区域，即第一图像区域。确定第四掩膜图中面积最大的内接矩形区域，即第二图像区域。并将第一图像区域与第二图像区域之间的交集区域，确定为用于拍摄对焦的目标区域，保证了目标区域内的像素深度值最大的同时面积也尽可能最大。

具体来说，根据第四掩膜图确定一个像素矩阵，该像素矩阵可以为MxN的矩阵，其中的每个像素值记为d_ij，其中，i表示该像素处于矩阵的i行，j标识该像素处于矩阵j列。

创建两个长度为N的数组用于记录该像素的深度和位置，两个数组分别记作Sum_depth[N],Sum_height[N]，并初始化里面的数值全部为0。

对于像素矩阵中的每一行的像素进行逐个统计：如果d_ij＝0，则将Sum_depth[j]＝0并且Sum_height[j]＝0，如果d_ij>0，则Sum_depth[j]＝d_ij，同时Sum_height[j]＝1。

在对像素矩阵中一行的全部像素统计完成后，得到Sum_depth和Sum_height的值。然后通过动态规划的最小栈求取最大柱形面积的方法，分别得到当前Sum_depth和Sum_height对应的柱形图的最大面积以及对应的矩形框位置，分别记为：depth_area(面积)、depth_box(位置)和height_area(面积)、height_box(位置)。

对每行执行上述步骤，能够得到一系列的depth_area、depth_box和height_area、height_box值，共得到N组数值。在这N组数值中，找到最大的depth_area和最大的height_area的位置，就可以找到对应的深度加权的最大内接框depth_max_box(第一图像区域)的坐标和非加权最大内接框height_max_box(第二图像区域)的坐标。计算depth_max_box和height_max_box的交集区域，确定为目标区域。

本申请实施例中，通过确定第四掩膜图中的深度值最大的内接矩形区域，作为第一图像区域，并确定第四掩膜图中的面积最大的内接矩形区域作为第二图像区域。将第一图像区域和第二图像区域的交集区域确定为目标区域，保证了目标区域内的像素深度值最大的同时面积也尽可能最大，在保证对焦的目标区域面积足够大的情况下，兼顾了目标对象的深度信息，降低了对焦的目标区域内的深度差异，提高了对焦的准确性。

在本申请的一些实施例中，目标处理包括：语义分割、深度估计和主体检测。

本申请实施例中，电子设备对预览图像执行语义分割、深度估计和主体检测，能够准确确定预览图像的语义信息、深度信息和主体信息。

具体来说，电子设备中部署了能够对预览图像执行语义分割、深度估计和主体检测的检测模型，该检测模型为三分支网络结构，三个输出分支分别为语义分割分支、深度估计分支和主体检测分支。

需要说明的是，在对该模型进行训练的过程中，需要输入4张图像，分别为原始图像、语义分割的标注图像、主体检测的标注图像和深度渐变图像。

本申请实施例提供的拍摄对焦方法，执行主体可以为拍摄对焦装置。本申请实施例中以拍摄对焦装置执行拍摄对焦方法为例，说明本申请实施例提供的拍摄对焦装置。

在本申请的一些实施例中，提供了一种拍摄对焦装置。图2示出了本申请实施例提供的拍摄对焦装置200的结构示意图，如图2所示，拍摄对焦装置200包括：

处理模块202，用于在获取到预览图像的情况下，对预览图像进行目标处理，得到预览图像的语义信息、主体信息和深度信息；

确定模块204，用于根据语义信息、主体信息和深度信息，确定预览图像中的目标区域；

对焦模块206，用于基于目标区域执行对焦操作。

本申请实施例通过对预览图像进行目标处理，能够得到预览图像中的语义信息、主体信息和深度信息，并通过上述语义信息、主体信息和深度信息识别预览图像中目标区域，保证目标区域中包括用户所需拍摄的目标对象，提高了对焦准确性的同时，还加快了对焦速度，防止了电子设备对焦的目标区域内的深度差异过大导致得对焦不准的问题。

在本申请的一些实施例中，确定模块204，还用于根据语义信息和主体信息，确定预览图像对应的第一掩膜图，第一掩膜图中的拍摄对象与语义信息和主体信息相关联；

确定模块204，还用于根据深度信息，确定第一掩膜图中的目标区域，目标区域位于第一掩膜图中的拍摄对象所处的区域内。

本申请实施例通过预览图像对应的语义信息和主体信息能够快速识别到预览图像中用户所需拍摄的目标对象，提高了识别的效率。并通过深度信息确定目标对象所处区域中用于对焦的目标区域，保证了目标区域内的深度差异较小，提高了对焦的准确性。

在本申请的一些实施例中，确定模块204，还用于根据语义信息，确定预览图像的多个第二掩膜图；

拍摄对焦装置200，还包括：

筛选模块，用于根据深度信息筛选多个第二掩膜图中的目标掩膜图；

确定模块204，还用于根据主体信息，确定预览图像对应的第三掩膜图，第三掩膜图中的拍摄对象与主体信息相关联；

处理模块202，还用于对目标掩膜图和第三掩膜图进行融合处理，得到第一掩膜图。

本申请实施例中，通过将根据语义信息确定的第二掩膜图，并基于深度信息对第二掩膜图进行筛选，得到的目标掩膜图，与根据主体信息得到的第三掩膜图进行融合，得到第一掩膜图，能够保证第一掩膜图中的拍摄对象为用户所需拍摄的目标对象，提高了确定目标对象的准确性，从而提高了根据目标区域进行对焦的准确性。

在本申请的一些实施例中，确定模块204，还用于根据深度信息，确定每个第二掩膜图的平均深度值；

拍摄对焦装置，还包括：

第一获取模块，用于获取每个第二掩膜图的面积信息和位置信息；

筛选模块，还用于根据每个第二掩膜图对应的平均深度值、面积信息和位置信息，筛选多个第二掩膜图中的目标掩膜图。

本申请实施例中，根据每个第二掩膜图的平均深度值、面积信息和位置信息，能够筛选多个第二掩膜图中的目标掩膜图，保证目标掩膜图中的拍摄对象接近用户所需拍摄的目标对象，从而保证了得到的第一掩膜图的准确性，进而提高了对焦的准确性。

在本申请的一些实施例中，拍摄对焦装置200，还包括：

第二获取模块，用于获取预览图像中的预设图像区域；

分割模块，用于根据预设图像区域将目标掩膜图，划分为第一子区域和第二子区域，第一子区域位于预设图像区域内，第二子区域位于预设图像区域外；

确定模块204，还用于根据目标掩膜图的第一子区域与第三掩膜图的交并比，确定第一子图像，第一子图像为目标掩膜图的第一子区域，或第三掩膜图，其中，在交并比大于预设阈值的情况下，确定目标掩膜图的第一子区域为第一子图像，在交并比小于或等于预设阈值的情况下，确定第三掩膜图为第一子图像；

确定模块204，还用于将目标掩膜图的第二子区域与第三掩膜图的交集区域对应的图像，确定为第二子图像；

处理模块202，还用于对第一子图像和第二子图像进行叠加处理，以得到第一掩膜图。

本申请实施例中，通过将目标掩膜图与第三掩膜图进行融合处理，得到第一掩膜图，使第一掩膜图中的拍摄对象所处的区域即为拍摄主体区域，保证第一掩膜图中的拍摄对象即为用户所需拍摄的目标对象，提高了后续拍摄对焦的准确性。

在本申请的一些实施例中，确定模块204，还用于在交并比大于预设阈值的情况下，将目标掩膜图的第一子区域确定为第一子图像；

确定模块204，还用于在交并比小于等于预设阈值的情况下，将第三掩膜图确定为第一子图像。

本申请实施例根据目标掩膜图的第一子区域与第三掩膜图之间的交并比，判断目标掩膜图的第一子区域中的拍摄对象与主体信息识别到的拍摄对象相符。在相符的情况下，选择目标掩膜图的第一子区域对应的图像作为第一子图像，在不相符的情况下，选择第三掩膜图作为第一子图像，进一步保证了第一掩膜图中的拍摄对象为用户所需拍摄的目标对象，从而提高了拍摄对焦的准确性。

在本申请的一些实施例中，处理模块202，还用于根据深度信息对第一掩膜图进行深度加权处理，得到第四掩膜图；

确定模块204，还用于确定第四掩膜图中的第一图像区域，第一图像区域为第四掩膜图中深度值最大的内接矩形区域；

确定模块204，还用于确定第四掩膜图中的第二图像区域，第二图像区域为第四掩膜图中面积最大的内接矩形区域；

确定模块204，还用于将第一图像区域与第二图像区域的交集区域，确定为目标区域。

本申请实施例中，通过确定第四掩膜图中的深度值最大的内接矩形区域，作为第一图像区域，并确定第四掩膜图中的面积最大的内接矩形区域作为第二图像区域。将第一图像区域和第二图像区域的交集区域确定为目标区域，保证了目标区域内的像素深度值最大的同时面积也尽可能最大，在保证对焦的目标区域面积足够大的情况下，兼顾了目标对象的深度信息，降低了对焦的目标区域内的深度差异，提高了对焦的准确性。

在本申请的一些实施例中，目标处理包括：语义分割、深度估计和主体检测。

本申请实施例中，电子设备对预览图像执行语义分割、深度估计和主体检测，能够准确确定预览图像的语义信息、深度信息和主体信息。

本申请实施例中的拍摄对焦装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性地，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的拍摄对焦装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的拍摄对焦装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，本申请实施例还提供了一种电子设备，其中包括如上述任一实施例中的拍摄对焦装置，因而具有任一实施例中的拍摄对焦装置的全部有益效果，在此不再做过多赘述。

可选地，本申请实施例还提供一种电子设备，图3示出了根据本申请实施例的电子设备的结构框图，如图3所示，电子设备300包括处理器302，存储器303，存储在存储器303上并可在处理器302上运行的程序或指令，该程序或指令被处理器302执行时实现上述拍摄对焦方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图4为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409以及处理器410等部件。

本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器410，用于在获取到预览图像的情况下，对预览图像进行目标处理，得到预览图像的语义信息、主体信息和深度信息；

处理器410，用于根据语义信息、主体信息和深度信息，确定预览图像中的目标区域；

处理器410，用于基于目标区域执行对焦操作。

本申请实施例通过对预览图像进行目标处理，能够得到预览图像中的语义信息、主体信息和深度信息，并通过上述语义信息、主体信息和深度信息识别预览图像中目标区域，保证目标区域中包括用户所需拍摄的目标对象，提高了对焦准确性的同时，还加快了对焦速度，防止了电子设备对焦的目标区域内的深度差异过大导致得对焦不准的问题。

进一步地，处理器410，用于根据语义信息和主体信息，确定预览图像对应的第一掩膜图，第一掩膜图中的拍摄对象与语义信息和主体信息相关联；

处理器410，用于根据深度信息，确定第一掩膜图中的目标区域，目标区域位于第一掩膜图中的拍摄对象所处的区域内。

本申请实施例通过预览图像对应的语义信息和主体信息能够快速识别到预览图像中用户所需拍摄的目标对象，提高了识别的效率。并通过深度信息确定目标对象所处区域中用于对焦的目标区域，保证了目标区域内的深度差异较小，提高了对焦的准确性。

进一步地，处理器410，用于根据语义信息，确定预览图像的多个第二掩膜图；

处理器410，用于根据深度信息筛选多个第二掩膜图中的目标掩膜图；

处理器410，用于根据主体信息，确定预览图像对应的第三掩膜图，第三掩膜图中的拍摄对象与主体信息相关联；

处理器410，用于对目标掩膜图和第三掩膜图进行融合处理，得到第一掩膜图。

本申请实施例中，通过将根据语义信息确定的第二掩膜图，并基于深度信息对第二掩膜图进行筛选，得到的目标掩膜图，与根据主体信息得到的第三掩膜图进行融合，得到第一掩膜图，能够保证第一掩膜图中的拍摄对象为用户所需拍摄的目标对象，提高了确定目标对象的准确性，从而提高了根据目标区域进行对焦的准确性。

进一步地，处理器410，用于根据深度信息，确定每个第二掩膜图的平均深度值；

处理器410，用于获取每个第二掩膜图的面积信息和位置信息；

处理器410，用于根据每个第二掩膜图对应的平均深度值、面积信息和位置信息，筛选多个第二掩膜图中的目标掩膜图。

本申请实施例中，根据每个第二掩膜图的平均深度值、面积信息和位置信息，能够筛选多个第二掩膜图中的目标掩膜图，保证目标掩膜图中的拍摄对象接近用户所需拍摄的目标对象，从而保证了得到的第一掩膜图的准确性，进而提高了对焦的准确性。

进一步地，处理器410，用于获取预览图像中的预设图像区域；

处理器410，用于根据预设图像区域将目标掩膜图，划分为第一子区域和第二子区域，第一子区域位于预设图像区域内，第二子区域位于预设图像区域外；

处理器410，用于根据目标掩膜图的第一子区域与第三掩膜图的交并比，确定第一子图像，第一子图像为目标掩膜图的第一子区域，或第三掩膜图，其中，在交并比大于预设阈值的情况下，确定目标掩膜图的第一子区域为第一子图像，在交并比小于或等于预设阈值的情况下，确定第三掩膜图为第一子图像；

处理器410，用于将目标掩膜图的第二子区域与第三掩膜图的交集区域对应的图像，确定为第二子图像；

处理器410，用于对第一子图像和第二子图像进行叠加处理，以得到第一掩膜图。

本申请实施例中，通过将目标掩膜图与第三掩膜图进行融合处理，得到第一掩膜图，使第一掩膜图中的拍摄对象所处的区域即为拍摄主体区域，保证第一掩膜图中的拍摄对象即为用户所需拍摄的目标对象，提高了后续拍摄对焦的准确性。

进一步地，处理器410，用于在交并比大于预设阈值的情况下，将目标掩膜图的第一子区域确定为第一子图像；

处理器410，用于在交并比小于等于预设阈值的情况下，将第三掩膜图确定为第一子图像。

本申请实施例根据目标掩膜图的第一子区域与第三掩膜图之间的交并比，判断目标掩膜图的第一子区域中的拍摄对象与主体信息识别到的拍摄对象相符。在相符的情况下，选择目标掩膜图的第一子区域对应的图像作为第一子图像，在不相符的情况下，选择第三掩膜图作为第一子图像，进一步保证了第一掩膜图中的拍摄对象为用户所需拍摄的目标对象，从而提高了拍摄对焦的准确性。

进一步地，处理器410，用于根据深度信息对第一掩膜图进行深度加权处理，得到第四掩膜图；

处理器410，用于确定第四掩膜图中的第一图像区域，第一图像区域为第四掩膜图中深度值最大的内接矩形区域；

处理器410，用于确定第四掩膜图中的第二图像区域，第二图像区域为第四掩膜图中面积最大的内接矩形区域；

处理器410，用于将第一图像区域与第二图像区域的交集区域，确定为目标区域。

本申请实施例中，通过确定第四掩膜图中的深度值最大的内接矩形区域，作为第一图像区域，并确定第四掩膜图中的面积最大的内接矩形区域作为第二图像区域。将第一图像区域和第二图像区域的交集区域确定为目标区域，保证了目标区域内的像素深度值最大的同时面积也尽可能最大，在保证对焦的目标区域面积足够大的情况下，兼顾了目标对象的深度信息，降低了对焦的目标区域内的深度差异，提高了对焦的准确性。

进一步地，目标处理包括：语义分割、深度估计和主体检测。

本申请实施例中，电子设备对预览图像执行语义分割、深度估计和主体检测，能够准确确定预览图像的语义信息、深度信息和主体信息。

应理解的是，本申请实施例中，输入单元404可以包括图形处理器(GraphicsProcessing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072中的至少一种。触控面板4071，也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器409可以包括易失性存储器或非易失性存储器，或者，存储器409可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器409包括但不限于这些和任意其它适合类型的存储器。

处理器410可包括一个或多个处理单元；可选地，处理器410集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述拍摄对焦方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述拍摄对焦方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (14)

1.一种拍摄对焦方法，其特征在于，包括：

在获取到预览图像的情况下，对所述预览图像进行目标处理，得到所述预览图像的语义信息、主体信息和深度信息；

根据所述语义信息、所述主体信息和所述深度信息，确定所述预览图像中的目标区域；

基于所述目标区域执行对焦操作。

2.根据权利要求1所述的拍摄对焦方法，其特征在于，所述根据所述语义信息、所述主体信息和所述深度信息，确定所述预览图像中的目标区域，包括：

根据所述语义信息和所述主体信息，确定所述预览图像对应的第一掩膜图，所述第一掩膜图中的拍摄对象与所述语义信息和所述主体信息相关联；

根据所述深度信息，确定所述第一掩膜图中的所述目标区域，所述目标区域位于所述第一掩膜图中的所述拍摄对象所处的区域内。

3.根据权利要求2所述的拍摄对焦方法，其特征在于，所述根据所述语义信息和所述主体信息，确定所述预览图像中的第一掩膜图，包括：

根据所述语义信息，确定所述预览图像的多个第二掩膜图；

根据所述深度信息筛选所述多个第二掩膜图中的目标掩膜图；

根据所述主体信息，确定所述预览图像对应的第三掩膜图，所述第三掩膜图中的拍摄对象与所述主体信息相关联；

对所述目标掩膜图和所述第三掩膜图进行融合处理，得到所述第一掩膜图。

4.根据权利要求3所述的拍摄对焦方法，其特征在于，所述筛选所述多个第二掩膜图中的目标掩膜图，包括：

根据所述深度信息，确定每个所述第二掩膜图的平均深度值；

获取每个所述第二掩膜图的面积信息和位置信息；

根据每个所述第二掩膜图对应的所述平均深度值、所述面积信息和所述位置信息，筛选所述多个第二掩膜图中的目标掩膜图。

5.根据权利要求3所述的拍摄对焦方法，其特征在于，所述对所述目标掩膜图和所述第三掩膜图进行融合处理，得到所述第一掩膜图，包括：

获取所述预览图像中的预设图像区域；

根据所述预设图像区域将所述目标掩膜图，划分为第一子区域和第二子区域，所述第一子区域位于所述预设图像区域内，所述第二子区域位于所述预设图像区域外；

根据所述目标掩膜图的所述第一子区域与所述第三掩膜图的交并比，确定第一子图像，所述第一子图像为所述目标掩膜图的所述第一子区域，或所述第三掩膜图，其中，在所述交并比大于预设阈值的情况下，确定所述目标掩膜图的所述第一子区域为所述第一子图像，在所述交并比小于或等于所述预设阈值的情况下，确定所述第三掩膜图为所述第一子图像；

将所述目标掩膜图的所述第二子区域与所述第三掩膜图的交集区域对应的图像，确定为第二子图像；

对所述第一子图像和所述第二子图像进行叠加处理，以得到所述第一掩膜图。

6.根据权利要求2至5中任一项所述的拍摄对焦方法，其特征在于，所述根据所述深度信息，确定所述第一掩膜图中的所述目标区域，包括：

根据所述深度信息对所述第一掩膜图进行深度加权处理，得到第四掩膜图；

确定所述第四掩膜图中的第一图像区域，所述第一图像区域为第四掩膜图中深度值最大的内接矩形区域；

确定所述第四掩膜图中的第二图像区域，所述第二图像区域为第四掩膜图中面积最大的内接矩形区域；

将所述第一图像区域与所述第二图像区域的交集区域，确定为所述目标区域。

7.一种拍摄对焦装置，其特征在于，包括：

处理模块，用于在获取到预览图像的情况下，对所述预览图像进行目标处理，得到所述预览图像的语义信息、主体信息和深度信息；

确定模块，用于根据所述语义信息、所述主体信息和所述深度信息，确定所述预览图像中的目标区域；

对焦模块，用于基于所述目标区域执行对焦操作。

8.根据权利要求7所述的拍摄对焦装置，其特征在于，

所述确定模块，还用于根据所述语义信息和所述主体信息，确定所述预览图像对应的第一掩膜图，所述第一掩膜图中的拍摄对象与所述语义信息和所述主体信息相关联；

所述确定模块，还用于根据所述深度信息，确定所述第一掩膜图中的所述目标区域，所述目标区域位于所述第一掩膜图中的所述拍摄对象所处的区域内。

9.根据权利要求8所述的拍摄对焦装置，其特征在于，

所述确定模块，还用于根据所述语义信息，确定所述预览图像的多个第二掩膜图；

所述拍摄对焦装置，还包括：

筛选模块，用于根据所述深度信息筛选所述多个第二掩膜图中的目标掩膜图；

所述确定模块，还用于根据所述主体信息，确定所述预览图像对应的第三掩膜图，所述第三掩膜图中的拍摄对象与所述主体信息相关联；

所述处理模块，还用于对所述目标掩膜图和所述第三掩膜图进行融合处理，得到所述第一掩膜图。

10.根据权利要求9所述的拍摄对焦装置，其特征在于，

所述确定模块，还用于根据所述深度信息，确定每个所述第二掩膜图的平均深度值；

所述拍摄对焦装置，还包括：

第一获取模块，用于获取每个所述第二掩膜图的面积信息和位置信息；

所述筛选模块，还用于根据每个所述第二掩膜图对应的所述平均深度值、所述面积信息和所述位置信息，筛选所述多个第二掩膜图中的目标掩膜图。

11.根据权利要求10所述的拍摄对焦装置，其特征在于，还包括：

第二获取模块，用于获取所述预览图像中的预设图像区域；

分割模块，用于根据所述预设图像区域将所述目标掩膜图，划分为第一子区域和第二子区域，所述第一子区域位于所述预设图像区域内，所述第二子区域位于所述预设图像区域外；

所述确定模块，还用于根据所述目标掩膜图的所述第一子区域与所述第三掩膜图的交并比，确定第一子图像，所述第一子图像为所述目标掩膜图的所述第一子区域，或所述第三掩膜图，其中，在所述交并比大于预设阈值的情况下，确定所述目标掩膜图的所述第一子区域为所述第一子图像，在所述交并比小于或等于所述预设阈值的情况下，确定所述第三掩膜图为所述第一子图像；

所述确定模块，还用于将所述目标掩膜图的所述第二子区域与所述第三掩膜图的交集区域对应的图像，确定为第二子图像；

所述处理模块，还用于对所述第一子图像和所述第二子图像进行叠加处理，以得到所述第一掩膜图。

12.根据权利要求8至11中任一项所述的拍摄对焦装置，其特征在于，

所述处理模块，还用于根据所述深度信息对所述第一掩膜图进行深度加权处理，得到第四掩膜图；

所述确定模块，还用于确定所述第四掩膜图中的第一图像区域，所述第一图像区域为第四掩膜图中深度值最大的内接矩形区域；

所述确定模块，还用于确定所述第四掩膜图中的第二图像区域，所述第二图像区域为第四掩膜图中面积最大的内接矩形区域；

所述确定模块，还用于将所述第一图像区域与所述第二图像区域的交集区域，确定为所述目标区域。

13.一种电子设备，其特征在于，包括：

处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的拍摄对焦方法的步骤。

14.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的拍摄对焦方法的步骤。

Images