CN116723264B - 确定目标位置信息的方法、设备及存储介质 - Google Patents

Abstract

本申请公开了一种确定目标位置信息的方法、设备及存储介质，属于拍摄技术领域。所述方法应用于包括多个摄像头的电子设备，方法包括：在多摄拍摄模式下，获取第一摄像头采集的第一图像和第二摄像头采集的第二图像；对第一图像进行目标检测，得到指示目标物体在第一图像中的位置的第一目标位置信息；对目标物体进行深度估计，得到深度信息；根据第一目标位置信息和深度信息，以及第一摄像头与第二摄像头的相机坐标系之间的映射关系，确定第二目标位置信息，第二目标位置信息用于指示目标物体在第二图像中的位置。如此，无需对各个摄像头的图像分别进行目标检测，提高了确定目标位置信息的效率，减小了对硬件资源的占用和设备功耗。

Description

确定目标位置信息的方法、设备及存储介质

技术领域

本申请涉及拍摄技术领域，特别涉及一种确定目标位置信息的方法、设备及存储介质。

背景技术

随着用户拍摄需求的提高，手机等电子设备的摄像模组已经从单摄像头发展到多摄像头，即电子设备配置有多个摄像头，在多摄拍摄模式下，可以同时调用多个摄像头中的至少两个摄像头进行拍摄，以提高成像质量。比如，可以通过多个摄像头拍摄的多角度图像获得全景图像。

在多摄拍摄模式下，为了保证调用的各个摄像头成像效果的一致性，通常需要分别确定各个摄像头采集的图像的目标位置信息，以对各个摄像头采集的图像中的目标物体进行曝光调节、对焦调整等操作，实现多摄成像效果一致。其中，目标位置信息用于指示拍摄的目标物体在对应摄像头采集的图像中的位置。目前，通常采用对各个摄像头采集的图像分别进行目标检测的方式，来获取各个摄像头采集的图像的目标位置信息。

由于需要对各个摄像头采集的图像分别进行目标检测，因此效率较低，将占用较多硬件资源，导致电子设备功耗较高。

发明内容

本申请提供了一种确定目标位置信息的方法、设备及存储介质，可以提高确定目标位置信息的效率，减小对硬件资源的占用和设备功耗。所述技术方案如下：

第一方面，提供了一种确定目标位置信息的方法，应用于电子设备，所述电子设备包括多个摄像头，所述方法包括：

获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，第一摄像头为在多摄拍摄模式下从多个摄像头中调用的至少两个摄像头中的任一个，第二摄像头为至少两个摄像头中除第一摄像头之外的摄像头。对第一图像进行目标检测，得到第一目标位置信息，第一目标位置信息用于指示目标物体在第一图像中的位置。对目标物体进行深度估计，得到目标物体的深度信息。根据第一目标位置信息和深度信息，以及第一摄像头对应的第一相机坐标系与第二摄像头对应的第二相机坐标系之间的映射关系，确定第二目标位置信息，第二目标位置信息用于指示目标物体在第二图像中的位置。

也即是，对于多摄拍摄模式下调用的至少两个摄像头，可以先对其中一个摄像头采集的图像进行目标检测，得到该摄像头采集的图像的目标位置信息，以及对目标物体进行深度估计，得到目标物体的深度信息，然后，根据该目标位置信息和深度信息，以及该摄像头与其他每个摄像头的相机坐标系之间的映射关系，确定其他每个摄像头采集的图像的目标位置信息。如此，仅需对一个摄像头采集的图像进行目标检测，而其他摄像头对应的目标位置信息可以通过坐标系的映射关系快速确定得到，从而提高了确定目标位置信息的效率，减小了对硬件资源的占用和电子设备的功耗。

此外，通过在对第一图像进行目标检测之后，对目标物体进行深度估计，得到目标物体的深度信息，根据第一目标位置信息和深度信息，以及第一摄像头与第二摄像头的相机坐标系之间的映射关系进行坐标映射，来确定第二目标位置信息，实现了对各个摄像头采集的图像中的目标位置的准确映射，提高了确定目标位置信息的准确性，解决了目标物体在各个摄像头采集的图像中的成像位置的像素坐标没有线性对应关系，无法根据像素坐标进行坐标映射的问题。

可选地，根据第一目标位置信息和深度信息，以及第一摄像头对应的第一相机坐标系与第二摄像头对应的第二相机坐标系之间的映射关系，确定第二目标位置信息包括：根据第一目标位置信息和深度信息，确定第一目标坐标，第一目标坐标为目标物体在第一相机坐标系中的三维坐标；根据第一目标坐标，以及第一相机坐标系与第二相机坐标系之间的映射关系，确定第二目标坐标，第二目标坐标为目标物体在第二相机坐标系中的三维坐标；根据第二目标坐标确定第二目标位置信息。

由于第一目标位置信息可以指示目标物体在第一摄像头的像素坐标系中的像素坐标，因此第一目标位置信息可以指示目标物体在第一相机坐标系中的X轴坐标和Y轴坐标。另外，由于目标物体的深度信息是指目标物体与摄像头之间的垂直距离，其距离方向与第一摄像头的光轴方向平行，因此目标物体的深度信息可以指示目标物体在第一相机坐标系中的Z轴坐标。这样，根据第一目标位置信息和该深度信息，即可确定目标物体在第一相机坐标系中的三维坐标，即第一目标坐标。之后，根据第一相机坐标系与第二相机坐标系之间的映射关系，可以将第一目标坐标映射到第二相机坐标系中，得到第二目标坐标，第二目标坐标中的X轴坐标和Y轴坐标可以指示第二目标位置信息。

通过根据第一目标位置信息和深度信息，确定目标物体在第一摄像头的相机坐标系中的三维坐标，然后将该三维坐标映射到第二摄像头的相机坐标系中，实现了对各个摄像头采集的图像中的目标位置的准确映射，提高了确定目标位置信息的准确性。

可选地，第一相机坐标系与第二相机坐标系之间的映射关系包括第一相机坐标系与世界坐标系之间的映射关系，以及第二相机坐标系与世界坐标系之间的映射关系；根据第一目标坐标，以及第一相机坐标系与第二相机坐标系之间的映射关系，确定第二目标坐标，包括：根据第一目标坐标，以及第一相机坐标系与世界坐标系之间的映射关系，确定目标世界坐标，目标世界坐标是指目标物体在世界坐标系中的三维坐标；根据目标世界坐标，以及第二相机坐标系与世界坐标系之间的映射关系，确定第二目标坐标。

通过先将目标物体在第一摄像头的相机坐标系中的三维坐标映射到世界坐标系中，得到目标世界坐标，再根据第二摄像头的相机坐标系与世界坐标系之间的映射关系，将目标世界坐标映射到第二摄像头的相机坐标系中，可以根据各个摄像头的相机坐标系与世界坐标系之间的映射关系，实现了对各个摄像头采集的图像中的目标位置的准确映射，提高了确定目标位置信息的准确性。

可选地，根据第一目标位置信息和深度信息，以及第一摄像头对应的第一相机坐标系与第二摄像头对应的第二相机坐标系之间的映射关系，确定第二目标位置信息之前，还包括：获取第一摄像头和第二摄像头的相机内参，以及第一摄像头和第二摄像头对应的相机外参，相机内参至少包括视场角和畸变矫正参数，相机外参至少包括第一摄像头和第二摄像头之间的相对角度和距离；根据相机内参和相机外参，确定第一相机坐标系与第二相机坐标系之间的映射关系。

如此，可以预先获取多个摄像头的相机内参和相机外参，根据相机内参和相机外参，构建任意两个摄像头的相机坐标系之间的映射关系，以便后续根据构建的相机坐标系之间的映射关系对各个摄像头采集的图像中的目标位置信息进行准确映射，提高确定目标位置信息的准确度。

可选地，获取第一摄像头和第二摄像头的相机内参，以及第一摄像头和第二摄像头对应的相机外参，包括：从标定文件中获取第一摄像头和第二摄像头的相机内参，以及第一摄像头和第二摄像头对应的相机外参；其中，标定文件中存储有多个摄像头中每个摄像头的相机内参，以及多个摄像头中任意两个摄像头对应的相机外参。

也即是，可以预先在标定文件中存储多个摄像头的相机内参和相机外参，当需要对任意两个摄像头的相机坐标系进行坐标映射时，直接从标定文件中获取这两个摄像头对应的相机内参和相机外参，以便根据获取相机内参和相机外参构建这两个摄像头的相机坐标系之间的映射关系。如此，可以提高构建相机坐标系之间的映射关系的效率，从而提高进行坐标映射的效率，进而提高确定目标位置信息的效率。

可选地，对第一图像进行目标检测之前，还包括：对第一图像和第二图像进行图像矫正；对第一图像进行目标检测，包括：对图像矫正后的第一图像进行目标检测，得到第一目标位置信息；相应地，第二目标位置信息用于指示目标物体在图像矫正后的第二图像中的位置。

通过先对第一图像和第二图像进行图像矫正，再根据图像矫正后的图像确定目标位置信息，可以对摄像头采集的原始图像进行复原性处理，缓解原始图像的图像失真，提高后续进行目标检测和深度估计的准确性，进而提高确定目标位置信息的准确性。

可选地，对目标物体进行深度估计，得到目标物体的深度信息，包括：确定第一图像中的目标图像尺寸，目标图像尺寸是指目标物体所在图像区域的尺寸；根据目标图像尺寸和先验信息，确定目标物体的深度信息，先验信息存储有不同目标图像尺寸对应的深度信息。通过基于先验信息进行深度估计，可以提高深度估计的效率和准确性。

可选地，确定第二目标位置信息之后，还包括：根据第一图像和第一目标位置信息，确定第一3A反馈信息，根据第一3A反馈信息对第一摄像头进行控制，第一3A反馈信息包括自动对焦AF信息、自动曝光AE信息和自动白平衡AWE信息；根据第二图像和第二目标位置信息，确定第二3A反馈信息，根据第二3A反馈信息对第二摄像头进行控制。

通过根据各个摄像头的目标位置信息确定各个摄像头的3A反馈信息，根据各个摄像头的3A反馈信息对各个摄像头进行3A调节，可以准确地对各个摄像头采集的图像中的目标物体进行曝光调节、对焦调节和自动白平衡调节，保证多摄成像效果一致，提高成像质量。

第二方面，提供了一种确定目标位置信息的装置，所述确定目标位置信息的装置具有实现上述第一方面中确定目标位置信息的方法行为的功能。所述确定目标位置信息的装置包括至少一个模块，所述至少一个模块用于实现上述第一方面所提供的确定目标位置信息的方法。

第三方面，提供了一种确定目标位置信息的装置，所述确定目标位置信息的装置的结构中包括处理器和存储器，所述存储器用于存储支持确定目标位置信息的装置执行上述第一方面所提供的确定目标位置信息的方法的程序，以及存储用于实现上述第一方面所述的确定目标位置信息的方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述确定目标位置信息的装置还可以包括通信总线，所述通信总线用于在所述处理器与所述存储器之间建立连接。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的确定目标位置信息的方法。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的确定目标位置信息的方法。

上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。

附图说明

图1是本申请实施例提供的一种电子设备配置的多个摄像头的布局示意图；

图2是本申请实施例提供的一种不同位置的目标物体在多个摄像头采集的图像中的成像位置的示意图；

图3是本申请实施例提供的一种电子设备的结构示意图；

图4是本申请实施例提供的一种电子设备的软件系统的框图；

图5是本申请实施例提供的一种确定目标位置信息的方法的流程图；

图6是本申请实施例提供的一种多摄拍摄模式下的图像处理过程的逻辑示意图；

图7是本申请实施例提供的另一种确定目标位置信息的方法的流程图；

图8是本申请实施例提供的一种确定目标位置信息的装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

应当理解的是，本申请提及的“多个”是指两个或两个以上。在本申请的描述中，除非另有说明，“/”表示或的意思，比如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，比如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

本申请实施例提供的确定目标位置信息的方法适用于任何具有拍摄功能、且具有多个摄像头的电子设备中，例如手机、平板电脑、照相机、智能可穿戴设备之类的终端，本申请实施例对此不做限定。另外，电子设备配置有多摄拍摄模式，多摄拍摄模式是指同时调用配置的多个摄像头中的至少两个摄像头进行拍摄的拍摄模式。

作为一个示例，电子设备可以在同一侧面配置多个摄像头，在多摄拍摄模式下，可以同时调用位于同一侧面的至少两个摄像头进行拍摄。比如，电子设备在背部配置多个后置摄像头，在多摄拍摄模式下，调用至少两个后置摄像头进行拍摄。或者，电子设备在前侧配置多个前置摄像头，在多摄拍摄模式下，调用至少两个前置摄像头进行拍摄。

作为一个示例，电子设备配置的多个摄像头中的不同摄像头具有不同的拍摄能力。譬如，电子设备配置有但不限于广角摄像头、长焦摄像头(比如潜望式长焦摄像头)、黑白摄像头、超广角摄像头、多光谱摄像头和激光摄像头中的至少两个。

通常情况下，多个摄像头包括一个主摄像头和至少一个辅摄像头。譬如请参考图1，多个摄像头的空间位置分布可以如图1中的(a)图所示，或者，多个摄像头的空间位置分布也可以如图1中的(b)图所示，多个摄像头分别为摄像头00、摄像头01、摄像头02、摄像头03，示例性地，摄像头00为主摄像头，其他为辅摄像头。

电子设备在启动相机应用后，通常默认通过主摄像头进行拍摄，在拍摄模式切换至多摄拍摄模式后，电子设备根据拍摄需求从至少一个辅摄像头中选择合适的辅摄像头，通过主摄像头和选择的辅摄像头进行拍摄，或者通过选择的多个辅摄像头进行拍摄。譬如请参考图1，在默认情况下通过摄像头00拍摄，在相机切换至多摄拍摄模式后，通过摄像头00和摄像头01进行拍摄。

示例地，多摄拍摄模式可以包括多种，比如包括但不限于双目虚化、双摄切换、多镜拍摄或超级微距等拍摄模式。比如，双目虚化拍摄模式下，可以同时调用广角摄像头和超广角摄像头进行拍摄。双摄切换拍摄模式下，可以同时调用广角摄像头和超广角摄像头进行拍摄，或者同时调用广角摄像头和长焦摄像头进行拍摄。多镜拍摄模式下可以同时调用任意多个摄像头进行拍摄，相机应用可以显示每个摄像头拍摄的画面，从而显示多个拍摄画面(即多镜)。超级微距拍摄模式下可以同时调用广角摄像头和超广角摄像头进行拍摄。

如背景技术所言，在多摄拍摄模式下，为了保证调用的各个摄像头成像效果的一致性，通常需要分别确定各个摄像头采集的图像的目标位置信息，以对各个摄像头采集的图像中的目标物体进行曝光调节、对焦调整等操作，实现多摄成像效果一致。其中，目标位置信息用于指示拍摄的目标物体在对应摄像头采集的图像中的位置。

相关技术中，通常采用对各个摄像头采集的图像分别进行目标检测的方式，来获取各个摄像头采集的图像的目标位置信息。但是这种对各个摄像头采集的图像分别进行目标检测的方式，将占用较多硬件资源，导致电子设备功耗较高。

本申请实施例中，为了提高确定目标位置信息的效率，减小对硬件资源的占用和设备功耗，提出了一种可以快速确定各个摄像头采集的图像的目标位置信息的方法。在该方法中，在多摄拍摄模式下，对于调用的多个摄像头采集的图像，可以先对其中一个摄像头采集的图像进行目标检测，得到该摄像头采集的图像的目标位置信息，以及对目标物体进行深度估计，得到目标物体的深度信息。然后，根据该目标位置信息和深度信息，以及该摄像头的相机坐标系与其他摄像头的相机坐标系之间的映射关系，确定其他摄像头采集的图像的目标位置信息。如此，仅需对一个摄像头采集的图像进行目标检测，而其他摄像头对应的目标位置信息可以通过相机坐标系的映射关系快速确定得到，从而提高了确定目标位置信息的效率，减小了对硬件资源的占用和电子设备的功耗。

需要说明的是，在同时调用多个摄像头进行拍摄的多摄拍摄模式下，由于多个摄像头中各个摄像头的相机坐标系不同，因此同一目标物体在各个摄像头采集的图像中的成像位置存在一定的角度偏差，目标物体的成像位置的角度是指目标物体与对应摄像头的光孔之间的连线与对应摄像头的光轴之间的夹角，光轴是指对应摄像头的光孔与摄像头中心之间的连线。此外，目标物体的位置不同时，目标物体在各个摄像头采集的图像中的成像位置存在的角度偏差也会发生变化。请参考图2，图2是本申请实施例提供的一种不同位置的目标物体在多个摄像头采集的图像中的成像位置的示意图。如图2所示，目标物体10经过摄像头1的光孔1在摄像头1上成像，目标物体10在摄像头1采集的图像中的成像位置为成像位置11；目标物体10经过摄像头2的光孔2在摄像头2上成像，目标物体10在摄像头2采集的图像中的成像位置为成像位置12。成像位置11与成像位置12存在一定的角度偏差。若目标物体10的位置发生变化，比如移动至目标物体20所在位置，目标物体20经过摄像头1的光孔1在摄像头1上成像，其在摄像头1采集的图像中的成像位置为成像位置21；目标物体20经过摄像头2的光孔2在摄像头2上成像，其在摄像头2采集的图像中的成像位置为成像位置22。成像位置21与成像位置22也存在一定的角度偏差。

此外，发明人经过研究发现，目标物体在各个摄像头采集的图像中的成像位置的像素坐标是没有线性对应关系的。若直接根据目标物体在其中一个摄像头采集的图像中的像素坐标，以及该摄像头与其他摄像头的像素坐标系(也称图像坐标系)之间的映射关系进行坐标映射，映射得到的像素坐标可能并不是目标物体在其他摄像头采集的图像中的像素坐标，从而导致目标位置估计错误，无法准确得到目标物体在其他摄像头采集的图像中的位置。如图2所示，目标物体10和目标物体20在摄像头1采集的图像中的成像位置相同，但是目标物体10和目标物体20在摄像头2采集的图像中的成像位置不同，因此对于摄像头1采集的图像中的成像位置11，其可能对应于摄像头2采集的图像中的成像位置12，可能对应于摄像头2采集的图像中的成像位置22，也即是，摄像头1的像素坐标系与摄像头2的像素坐标系并没有单一映射关系。比如，在已知目标物体在摄像头1采集的图像中的成像位置11的像素坐标的情况下，若根据成像位置11在摄像头1采集的图像中的像素坐标，以及摄像头1的像素坐标系与摄像头2的像素坐标系之间的映射关系进行坐标映射，所映射得到的像素坐标可能是成像位置12的像素坐标，也可能是成像位置22的像素坐标。因此，这种根据像素坐标进行坐标映射的方式，并不能准确得到目标物体在其他摄像头采集的图像中的位置。

本申请实施例中，为了通过坐标映射的方式准确得到目标物体在其他摄像头采集的图像中的位置，在对其中一个摄像头采集的图像进行目标检测，得到目标物体在该摄像头采集的图像中的位置信息之外，还对目标物体进行了深度估计，以得到目标物体的深度信息。然后，根据目标物体在该摄像头采集的图像中的位置信息和目标物体的深度信息，以及该摄像头与其他摄像头的相机坐标系之间的坐标映射关系进行坐标映射，来获取目标物体在其他摄像头采集的图像中的位置信息。由于目标物体在摄像头采集的图像中的位置信息可以指示目标物体的像素坐标，目标物体的深度信息可以指示目标物体的深度坐标，因此根据目标物体在该摄像头采集的图像中的位置信息和目标物体的深度信息即可确定目标物体在该摄像头的相机坐标系中的三维坐标，然后根据目标物体的三维坐标在相机坐标系上进行坐标映射，即可准确地映射出目标物体在其他摄像头采集的图像中的位置，从而实现了对目标位置的准确映射，提高了确定目标位置信息的准确性。

图3是本申请实施例提供的一种电子设备的结构示意图。参见图3，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serialbus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中，传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，比如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口，如可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。比如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。比如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。比如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，比如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，比如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，比如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，比如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。比如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，来执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100在使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，比如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D以及应用处理器等实现音频功能，比如音乐播放，录音等。

接下来对电子设备100的软件系统予以说明。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的安卓(Android)系统为例，对电子设备100的软件系统进行示例性说明。

图4是本申请实施例提供的一种电子设备100的软件系统的框图。参见图4，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，如图4所示，电子设备100的系统架构包括应用层410，应用框架层420，硬件抽象层(hardware abstraction layer，HAL)430、驱动层440和硬件层(Hardwork)450。

可以理解的，图4仅作为一个示例，电子设备100中划分的层不限于图4所示出的层，比如，在应用框架层和HAL层之间，还可以包括安卓运行时(Android runtime)和系统库(libraries)层等。

应用层410可以包括一系列应用程序包。如图4所示，应用程序包可以包括相机和其他应用程序，其他应用程序包括但不限于：图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

一般而言，应用程序是使用Java语言开发，通过调用应用程序框架层所提供的应用程序编程接口(application programming interface，API)和编程框架来完成。

应用框架层420为应用层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用框架层420包括一些预先定义的函数。

例如，应用框架层420可以包括相机访问接口。相机访问接口中可以包括相机服务和相机管理。其中，相机服务可以用于提供访问相机的接口，相机管理可以用于提供管理相机的访问接口。

另外，应用程序框架层420还可以包括内容提供器、资源管理器、通知管理器、窗口管理器、视图系统、电话管理器等，同样，相机应用也可以依据实际的业务需求调用内容提供器、资源管理器、通知管理器、窗口管理器、视图系统等，本申请实施例对此不做任何限制。

硬件抽象层430用于将硬件抽象化，比如可以对驱动层中的驱动程序进行封装，并向应用框架层提供调用的接口，屏蔽低层硬件的实现细节。

例如，硬件抽象层430可以包相机硬件抽象层(Camera HAL)，当然也可以包括其他硬件设备抽象层。Camera HAL是Camera核心软件框架，Camera HAL中包括接口模块、相机抽象设备、图像处理模块和标定文件等。其中，接口模块、相机抽象设备和图像处理模块是Camera HAL中图像数据和控制指令传输管道中的组件，当然，不同组件也对应有不同的功能。比如，接口模块可以是面向应用框架层的软件接口，用于与应用框架层进行数据交互，当然，接口模块还可以与HAL中的其他模块(如相机抽象设备、图像处理模块)进行数据交互。再如，相机抽象设备可以是面向驱动层的软件接口，用于与驱动层进行数据交互，比如调用驱动层中的相机设备驱动。再如，图像处理模块可以处理相机设备回传的原始图像数据，示例性地，上述图像处理模块可以包括图像前处理(image front end，IFE)节点(IFEnode)和拜耳处理(bayer processing segment，BPS)节点(BPS node)，其中，IFE用于处理相机设备采集的预览流，BPS node用于处理相机设备采集的拍照流。另外，图像处理模块还可以包括具有其他图像处理能力的节点，具体可参照相关技术，在此不再赘述。标定文件中存储有标定数据，标定数据包括相机设备中的多个摄像头的相机内参和相机外参。相机内参可以包括各个摄像头的视场角和畸变矫正参数等，相机外参包括任意两个摄像头的相对角度和距离等。示例地，标定文件可以为二进制(Bin)文件。

其中，图像处理模块可以包括软件算法，比如确定目标位置信息的算法，该算法用于按照本申请实施例提供的方法确定在多摄拍摄模式下同时调用的各个摄像头采集的图像的目标位置信息。例如，图像处理模块包括图像矫正、目标检测、深度估计和坐标映射等模块。图像矫正模块用于对摄像头采集的图像进行图像矫正，比如可以根据从坐标文件中获取的该摄像头的相机内参，对该摄像头采集的图像进行图像矫正。目标检测模块用于对图像进行目标检测，以获取目标物体在图像中的位置信息。深度估计模块用于对目标物体进行深度估计，以获取目标物体的深度信息。坐标映射模块用于根据一个摄像头采集的图像的目标位置信息，以及该摄像头与其他摄像头的相机坐标系之间的映射关系进行坐标映射，得到其他摄像头采集的图像的目标位置信息。比如，坐标映射模块可以根据从坐标文件中获取的相机内参和相机外参进行坐标映射。

另外，Camera HAL还可以包括3A((自动曝光(auto exposure，AE)、自动白平衡(auto white balance，AWE)、自动对焦(auto focus，AF))模块，3A模块用于根据图像信息计算3A反馈信息，以根据计算的3A反馈信息对摄像头进行3A调节。

驱动层440用于为不同硬件设备提供驱动。例如，驱动层440可以包括相机设备驱动，当然也可以包括其他硬件设备驱动。

另外，硬件层450中包括可以被驱动的硬件模块，如相机设备。例如，相机设备包括多个摄像头，如摄像头1、摄像头2、...、摄像头n。另外，相机设备还可以包括深度传感器(time of flight，TOF)、多光谱传感器等，本申请实施例对此不做限定。

在本申请中，通过调用硬件抽象层430中的硬件抽象层接口，可以实现硬件抽象层430上方的应用层410、应用框架层420与下方的驱动层440、硬件层450的连接，实现摄像头数据传输及功能控制。

下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。

应用层410中的相机应用可以以图标的方式显示在电子设备100的屏幕上。当相机应用的图标被用户点击以进行触发时，电子设备100开始运行相机应用。当相机应用运行在电子设备100上时，相机应用调用应用框架层420中的相机应用对应的接口，然后，通过调用硬件抽象层430启动相机设备驱动，开启电子设备100上的多个摄像头193，通过多个摄像头193进行拍摄以获取拍摄图像。其中，获取的拍摄图像存储于图库中。

在通过多个摄像头193进行拍摄的过程中，相机应用可以调用应用框架层420中的图像处理模块对多个摄像头193采集的图像进行处理，以获取各个摄像头193采集的图像的目标位置信息。其中，获取的各个摄像头193采集的图像的目标位置信息可以用于进行3A反馈调节，比如可以调用3A模块，根据各个摄像头193采集的图像的目标位置信息确定各个摄像头193的3A反馈信息，根据各个摄像头193的3A反馈信息对各个摄像头193进行3A调节，以实现多摄成像效果一致，提高成像质量。当然，获取的各个摄像头193对应的目标位置信息也可以应用于其他场景中，本申请实施例对此不做限定。

接下来，对本申请实施例提供的确定目标位置信息的方法进行详细说明。

图5是本申请实施例提供的一种确定目标位置信息的方法的流程图，该方法应用于电子设备中，该电子设备包括多个摄像头、相机处理模块和3A模块，且安装有相机应用，如图5所示，该方法包括如下步骤：

步骤501：相机应用接收到多摄拍摄指令，多摄拍摄指令用于触发多摄拍摄模式。

其中，多摄拍摄模式是指调用多个摄像头中的至少两个摄像头进行拍摄的拍摄模式。比如，该多摄拍摄模式可以为双目虚化、双摄切换、多镜拍摄或超级微距等拍摄模式，本申请实施例对该多摄拍摄模式的具体类型不作限定。

为了便于理解，本申请实施例以电子设备配置的多个摄像头包括第一摄像头和第二摄像头，多摄拍摄指令触发的多摄拍摄模式用于同时调用第一摄像头和第二摄像头进行拍摄为例进行说明。应理解，多摄拍摄模式还可以用于调用其他更多的摄像头进行拍摄。

作为一个示例，第一摄像头为主摄像头，比如广角摄像头。第二摄像头为辅摄像头，比如超广角摄像头或长焦摄像头等。

其中，多摄拍摄指令可以由用户通过切换至多摄拍摄模式的模式切换操作触发，也可以由电子设备根据拍摄场景的变化自动触发，本申请实施例对此不作限定。其中，模式切换操作可以为触控操作、手势操作或语音操作等。比如，模式切换操作可以为点击相机应用的预览界面中显示的多摄拍摄模式对应的拍摄按钮的操作。

作为一个示例，在相机应用通过单个摄像头进行拍摄的过程中，比如通过主摄像头进行拍摄的过程中，若检测到当前拍摄场景需要启动多摄拍摄模式，则可以自动触发多摄拍摄指令，以通过多摄拍摄指令触发与当前拍摄场景适配的多摄拍摄模式。

需要说明的是，相机应用可以在启动后自动触发多摄拍摄指令，即在启动后立即启动多摄拍摄模式进行拍摄，也可以在启动后进行拍摄的过程中接收多摄拍摄指令，即在启动后先通过单个摄像头进行拍摄，再切换至多摄拍摄模式进行拍摄，本申请实施例对此不作限定。

步骤502：响应于该多摄拍摄指令，相机应用向第一摄像头和第二摄像头发送调用指令。

由于该多摄拍摄指令触发的多摄拍摄模式用于同时调用第一摄像头和第二摄像头进行拍摄，因此响应于该多摄拍摄指令，相机应用可以向第一摄像头和第二摄像头发送调用指令，以同时调用第一摄像头和第二摄像头进行拍摄。

步骤503：第一摄像头根据相机应用的调用指令，采集第一图像。

第一摄像头根据相机应用的调用指令，启动拍摄功能，通过拍摄功能采集第一图像。

其中，拍摄功能可以为拍照功能或录制功能。也即是，第一图像可以为第一摄像头通过拍照功能拍摄的单帧图像，也可以为第一摄像头通过录制功能录制的视频帧中的一个图像帧。

步骤504：第一摄像头向图像处理模块发送第一图像。

步骤505：第二摄像头根据相机应用的调用指令，采集第二图像。

第二摄像头根据相机应用的调用指令，启动拍摄功能，通过拍摄功能采集第二图像。

其中，拍摄功能可以为拍照功能或录制功能。也即是，第二图像可以为第二摄像头通过拍照功能拍摄的单帧图像，也可以为第二摄像头通过录制功能录制的视频帧中的一个图像帧。

步骤506：第二摄像头向图像处理模块发送第二图像。

在多摄拍摄模式下，对于拍摄场景中的目标物体，被调用的各个摄像头均可以拍摄到，也即是，拍摄场景中的目标物体可以在被调用的各个摄像头中成像，因此第一图像和第二图像中均包括目标物体。

步骤507：图像处理模块对第一图像进行目标检测，得到第一目标位置信息，第一目标位置信息用于指示目标物体在第一图像中的位置。

其中，目标检测用于识别第一图像中的目标物体，该目标物体包括但不限于人脸、人体、宠物等，本申请实施例对待检测的目标物体的类型不作限定。

通过对第一图像进行目标检测，可以确定目标物体在第一图像中的位置，从而得到第一目标位置信息。此外，通过对第一图像进行目标检测，还可以确定目标物体的姿态、类别等其他目标信息，本申请实施例对此不作限定。

由于在对第一图像进行目标检测时，是在第一摄像头的像素坐标系(也称图像坐标系)中进行检测，因此第一目标位置信息可以指示目标物体在第一摄像头的像素坐标系中的像素坐标。像素坐标系为二维直角坐标系，其包括与第一图像的宽度方向平行的X轴，以及与第一图像的高度方向平行的Y轴，因此像素坐标包括X轴坐标和Y轴坐标。

本申请实施例中，对第一图像进行目标检测所采用的目标检测算法可以为基于深度学习的目标检测算法，如基于区域卷积神经网络(Region-Convolutional NeuralNetworks，R-CNN)或Yolo网络的目标检测算法，当然也可以为其他目标检测算法，本申请实施例对采用的目标检测算法不作限定。

此外，图像处理模块接收到第一图像和第二图像后，还可以先对第一图像和第二图像分别进行图像矫正，再对图像矫正后的第一图像进行目标检测，得到第一目标位置信息。

其中，图像矫正是指对失真图像进行的复原性处理。引起图像失真的原因有：成像系统的像差、畸变、带宽有限等造成的图像失真；由于成像器件拍摄姿态和扫描非线性引起的图像几何失真；由于运动模糊、辐射失真、引入噪声等造成的图像失真等。图像矫正的基本思路是，根据图像失真原因，建立相应的数学模型，从被污染或畸变的图像信号中提取所需要的信息，沿着使图像失真的逆过程恢复图像本来面貌。

在一种实现方式中，图像处理模块可以根据第一摄像头的相机内参，对第一图像进行图像矫正。根据第二摄像头的相机内参，对第二图像进行图像矫正。相机内参包括视场角和畸变矫正参数等。

比如，根据第一摄像头的相机内参，可以计算第一图像与对应的真实图像之间的图像误差，然后根据该图像误差对第一图像进行矫正，即可得到第一图像对应的真实图像(图像矫正后的第一图像)。根据第二摄像头的相机内参，可以计算第二图像与对应的真实图像之间的图像误差，然后根据该图像误差对第二图像进行矫正，即可得到第二图像对应的真实图像(图像矫正后的第二图像)。

步骤508：图像处理模块对目标物体进行深度估计，得到目标物体的深度信息。

其中，目标物体的深度信息用于指示目标物体到摄像头之间的垂直距离，即目标物体距离摄像头的远近。

本申请实施例中，在对第一图像进行目标检测，得到指示目标物体在像素坐标系中的像素坐标的第一目标位置信息之后，还可以对目标物体进行深度估计，得到目标物体的深度信息。

作为一个示例，可以采用基于先验信息的深度估计方法对目标物体进行深度估计。比如，可以先确定第一图像中的目标信息，根据目标信息和先验信息来确定目标物体的深度信息。其中，目标信息包括目标图像尺寸和目标角度等，目标图像尺寸是指目标物体所在图像区域的尺寸。先验信息中存储有不同目标信息中的每个目标信息对应的深度信息，比如不同目标图像尺寸对应的深度信息，或者不同目标角度对应的深度信息。

譬如，第一图像中的目标信息包括第一目标图像尺寸，先验信息存储有不同目标图像尺寸对应的深度信息，则可以从先验信息中确定第一目标图像尺寸对应的深度信息作为目标物体的深度信息。

其中，可以通过对第一图像进行目标检测，来确定目标位置信息。

作为另一个示例，可以采用基于深度学习的深度估计方法，对目标物体进行深度估计。比如，可以将第一图像作为深度估计模型的输入，通过深度估计模型确定目标物体的深度信息。该深度估计模型是采用深度学习算法的深度学习网络模型。

作为另一个示例，该电子设备还配置有深度传感器，可以通过深度传感器来检测目标物体的深度信息。

应理解，还可以采用其他深度估计方法对目标物体进行深度估计，本申请实施例对采用的深度估计方法不作限定。

步骤509：图像处理模块获取第一摄像头对应的第一相机坐标系与第二摄像头对应的第二相机坐标系之间的映射关系。

其中，相机坐标系是以摄像头的光心为原点，以平行于对应图像的宽度方向为X轴、平行于对应图像的高度方向为Y轴、光轴为Z轴的三维直角坐标系。

作为一个示例，电子设备预先存储有多个摄像头中任意两个摄像头的相机坐标系之间的映射关系，当需要根据第一摄像头采集的图像的目标位置信息确定第二摄像头采集的图像的目标位置信息时，可以直接从存储的映射关系中获取第一摄像头对应的第一相机坐标系与第二摄像头对应的第二相机坐标系之间的映射关系，以便根据该映射关系进行坐标映射。

其中，多个摄像头中任意两个摄像头的相机坐标系之间的映射关系可以预先根据多个摄像头的标定数据构建得到。多个摄像头的标定数据可以预先通过对多个摄像头进行标定得到。多个摄像头的标定数据可以包括多个摄像头中每个摄像头的相机内参以及多个摄像头中任意两个摄像头对应的相机外参。相机内参包括视场角和畸变矫正参数等内参。任意两个摄像头对应的相机外参包括这任意两个摄像头之间的相对角度和距离等外参。

在一个示例中，多个摄像头中任意两个摄像头的相机坐标系可以包括任意两个摄像头中每个摄像头的相机坐标系与世界坐标系之间的映射关系，也即是，可以用任意两个摄像头中每个摄像头的相机坐标系与世界坐标系之间的映射关系来指示这两个摄像头的相机坐标系之间的映射关系。坐标系之间的映射关系可以用坐标系之间的变换矩阵来表示。

作为另一个示例，电子设备预先存储有多个摄像头的标定数据，当需要根据第一摄像头采集的图像的目标位置信息确定第二摄像头采集的图像的目标位置信息时，可以从多个摄像头的标定数据中获取第一摄像头和第二摄像头的相机内参，以及第一摄像头和第二摄像头对应的相机外参，然后根据第一摄像头和第二摄像头的相机内参，以及第一摄像头和第二摄像头对应的相机外参，确定第一相机坐标系与第二相机坐标系之间的映射关系。

比如，可以根据第一摄像头和第二摄像头的相机内参，以及第一摄像头和第二摄像头对应的相机外参，计算第一相机坐标系中的位置与第二相机坐标系中的位置之间的位置关系，根据该位置关系计算第一相机坐标系与第二相机坐标系之间的变换矩阵，该变换矩阵用于指示第一相机坐标系与第二相机坐标系之间的映射关系。

其中，多个摄像头的标定数据可以存储在标定文件中。示例地，该标定文件可以为二进制(Bin)文件。

步骤510：图像处理模块根据第一目标位置信息和该深度信息，以及该映射关系，确定第二目标位置信息，第二目标位置信息用于指示目标物体在第二图像中的位置。

作为一个示例，根据第一目标位置信息和该深度信息，以及该映射关系，确定第二目标位置信息的操作包括如下步骤：

1)根据第一目标位置信息和该深度信息，确定第一目标坐标，第一目标坐标为目标物体在第一相机坐标系中的三维坐标。

由于第一目标位置信息可以指示目标物体在第一摄像头的像素坐标系中的像素坐标，因此第一目标位置信息可以指示目标物体在第一相机坐标系中的X轴坐标和Y轴坐标。由于目标物体的深度信息是指目标物体与摄像头之间的垂直距离，其距离方向与第一摄像头的光轴方向平行，因此目标物体的深度信息可以指示目标物体在第一相机坐标系中的Z轴坐标。这样，根据第一目标位置信息和该深度信息，即可确定目标物体在第一相机坐标系中的三维坐标，即第一目标坐标。

2)根据第一目标坐标，以及第一相机坐标系与第二相机坐标系之间的映射关系，确定第二目标坐标，第二目标坐标为目标物体在第二相机坐标系中的三维坐标。

也即是，可以根据第一相机坐标系与第二相机坐标系之间的映射关系，对第一目标坐标进行坐标映射，以将第一目标坐标映射到第二相机坐标系中，从而得到第二目标坐标。

在一个示例中，第一相机坐标系与第二相机坐标系之间的映射关系包括第一相机坐标系与世界坐标系之间的映射关系，以及第二相机坐标系与世界坐标系之间的映射关系。根据第一目标坐标，以及第一相机坐标系与第二相机坐标系之间的映射关系，确定第二目标坐标的操作包括：根据第一目标坐标，以及第一相机坐标系与世界坐标系之间的映射关系，确定目标世界坐标，目标世界坐标是指目标物体在世界坐标系中的三维坐标。然后，根据目标世界坐标，以及第二相机坐标系与世界坐标系之间的映射关系，确定第二目标坐标。

3)根据第二目标坐标确定第二目标位置信息。

比如，可以根据第二目标坐标中的X轴坐标和Y轴坐标，来确定第二目标位置信息。

需要说明的是，本申请实施例确定的各个摄像头采集的图像的目标位置信息可以根据需要应用在任意场景中。

比如，在确定第一图像的第一目标位置信息和第二图像的第二目标位置信息后，图像处理模块可以将第一目标位置信息和第二目标位置信息反馈给相机应用，由相机应用根据需要对第一目标位置信息和第二目标位置信息进行处理。

或者，电子设备也可以包括3A模块，图像处理模块可以将第一目标位置信息和第二目标位置信息发送给3A模块，由3A模块进行处理。接下来，将以图像处理模块将第一目标位置信息和第二目标位置信息发送给3A模块，由3A模块进行处理为例进行说明。

步骤511：图像处理模块向3A模块发送第一目标位置信息和第二目标位置信息。

此外，图像处理模块还可以将第一图像和第二图像发送给3A模块。

步骤512：3A模块根据第一目标位置信息确定第一3A反馈信息，根据第二目标位置信息确定第二3A反馈信息。

其中，3A反馈信息可以包括AF信息、AE信息和AWE信息，这些信息用于对对应摄像头进行控制，比如分别用于对对应摄像头进行AF调节、AE调节和AWE调节。

作为一个示例，3A模块可以根据第一位置信息，采用3A统计算法对目标物体在第一图像中的图像区域进行处理，得到第一3A反馈信息。根据第二位置信息，采用3A统计算法对目标物体在第二图像中的图像区域进行处理，得到第二3A反馈信息。

此外，3A模块还可以接收图像处理模块发送的第一图像和第二图像。3A模块可以根据第一图像和第一目标位置信息确定第一3A反馈信息，根据第二图像和第二位置信息确定第二3A反馈信息。比如，根据第一图像和第一位置信息，采用3A统计算法对目标物体在第一图像中的图像区域进行处理，得到第一3A反馈信息。根据第二图像和第二位置信息，采用3A统计算法对目标物体在第二图像中的图像区域进行处理，得到第二3A反馈信息。

步骤513：3A模块向第一摄像头发送第一3A反馈信息。

步骤514：第一摄像头根据第一3A反馈信息进行3A调节。

步骤516：3A模块向第二摄像头发送第二3A反馈信息。

步骤517：第二摄像头根据第二3A反馈信息进行3A调节。

请参考图6，图6是本申请实施例提供的一种多摄拍摄模式下的图像处理过程的逻辑示意图。如图6所示，可以预先对相机设备中的多个摄像头分别进行相机标定，得到多个摄像头中每个摄像头的相机内参和任意两个摄像头对应的相机外参，并对这些标定数据进行存储。相机应用进入多摄拍摄模式后，相机设备中的多个摄像头(摄像头1、摄像头2、…、摄像头n)在被调用后分别开始出图。对于各个摄像头的出图，可以先对各个摄像头的出图分别进行图像矫正。然后，对摄像头1对应的图像矫正后的图像进行目标检测，得到目标坐标1，再对目标物体进行深度估计。之后，根据目标坐标1和深度估计结果，以及摄像头1与其他每个摄像头的相机坐标系之间映射关系，确定其他每个摄像头对应图像的目标坐标(目标坐标2，…，目标坐标n)。之后，将目标坐标1，目标坐标2，…，目标坐标n发送到3A模块，由3A模块根据这些目标坐标确定各个摄像头的3A反馈信息，根据确定的3A反馈信息对各个摄像头进行3A调节。

需要说明的是，本申请实施例仅是以多摄拍摄模式下除了第一摄像头之外，调用一个第二摄像头为例进行说明，而在其他实施例中，还可以调用多个第二摄像头，对于多个第二摄像头中的每个第二摄像头均可以按照本申请实施例提供的方法来确定每个第二摄像头采集的图像中的目标位置信息。作为一个示例，第一摄像头为主摄像头，第二摄像头为辅摄像头。

本申请实施例中，对于多摄拍摄模式下调用的至少两个摄像头，可以先对其中一个摄像头采集的图像进行目标检测，得到该摄像头采集的图像的目标位置信息，以及对目标物体进行深度估计，得到目标物体的深度信息，然后，根据该目标位置信息和深度信息，以及该摄像头与其他每个摄像头的相机坐标系之间的映射关系，确定其他每个摄像头采集的图像的目标位置信息。如此，仅需对一个摄像头采集的图像进行目标检测，而其他摄像头对应的目标位置信息可以通过坐标系的映射关系快速确定得到，从而提高了确定目标位置信息的效率，减小了对硬件资源的占用和电子设备的功耗。此外，通过在对第一图像进行目标检测之后，对目标物体进行深度估计，得到目标物体的深度信息，根据第一目标位置信息和深度信息，以及第一摄像头与第二摄像头的相机坐标系之间的映射关系进行坐标映射，来确定第二目标位置信息，实现了对各个摄像头采集的图像中的目标位置的准确映射，提高了确定目标位置信息的准确性，解决了目标物体在各个摄像头采集的图像中的成像位置的像素坐标没有线性对应关系，无法根据像素坐标进行坐标映射的问题。

另外，通过根据各个摄像头的目标位置信息确定各个摄像头的3A反馈信息，根据各个摄像头的3A反馈信息对各个摄像头进行3A调节，可以准确地对各个摄像头采集的图像中的目标物体进行曝光调节、对焦调节和自动白平衡调节，保证多摄成像效果一致，提高成像质量。

下面结合图3，对本申请实施例提供的确定目标位置信息的方法进行举例说明。

图7是本申请实施例提供的另一种确定目标位置信息的方法的流程图，如图7所示，该方法包括如下步骤：

步骤701：相机应用接收到多摄拍摄指令，多摄拍摄指令包括多摄拍摄模式1的拍摄模式标识。

其中，多摄拍摄模式指令用于触发多摄拍摄模式。多摄拍摄模式可以包括多种，比如双目虚化、双摄切换、多镜拍摄或超级微距等拍摄模式，多摄拍摄模式指令中的拍摄模式标识可以指示触发的多摄拍摄模式1。比如，拍摄模式标识可以为双目虚化拍摄模式的标识。

其中，拍摄模式标识可以为多摄拍摄模式1的名称或编号等，本申请实施例对此不作限定。

步骤702：响应于多摄拍摄指令，相机应用向相机服务发送数据流配置请求，数据流配置请求包括该拍摄模式标识。

其中，该数据流配置请求用于请求根据该拍摄模式标识，配置与多摄拍摄模式1匹配的图像数据流。根据不同的拍摄模式标识，可以配置不同的数据流。

步骤703：相机服务向接口模块发送该数据流配置请求。

步骤704：接口模块根据该数据流配置请求中的拍摄模式标识，向相机抽象设备发送出帧请求，出帧请求包括该拍摄模式标识。

其中，出帧请求用于请求相机抽象设备根据该拍摄模式标识，生成与多摄拍摄模式1匹配的图像帧。

步骤705：相机抽象设备根据出帧请求，向相机设备驱动发送出帧参数，出帧参数包括多个摄像头标识以及每个摄像头标识对应的出帧子参数。

相机抽象设备接收到该出帧请求后，可以根据该拍摄模式标识，确定在多摄拍摄模式1下待调用的多个摄像头的摄像头标识，以及每个摄像头标识对应的出帧子参数。每个摄像头标识对应的出帧字参数可以包括帧率，还可以包括分辨率等参数。帧率用于指示对应摄像头的出图频率，分辨率用于指示对应摄像头所出图的分辨率。

示例地，若在多摄拍摄模式下1可以调用摄像头1和摄像头2，则出帧参数包括摄像头1的标识和摄像头2的标识，以及摄像头1的标识对应的出帧子参数和摄像头2的标识对应的出帧子参数。

步骤706：相机设备驱动向摄像头1发送出帧子参数1，出帧子参数1包括帧率1。

可选地，出帧子参数还可以包括分辨率1等其他出帧参数。

步骤707：相机设备驱动向摄像头2发送出帧子参数2，出帧子参数2包括帧率2。

可选地，出帧子参数还可以包括分辨率2等其他出帧参数。

步骤708：摄像头1根据出帧子参数1开始出图，以生成数据流1。

摄像头1可以对拍摄场景进行拍摄，并根据出帧子参数1开始出图，生成数据流1。

步骤709：摄像头2根据出帧子参数2开始出图，以生成数据流2。

摄像头2可以对拍摄场景进行拍摄，并根据出帧子参数2开始出图，生成数据流2。

步骤710：摄像头1向相机抽象设备发送数据流1，数据流1包括图像帧1。

步骤711：摄像头2向相机抽象设备发送数据流2，数据流2包括图像帧2。

步骤712：相机抽象设备向图像处理模块发送数据流1和数据流2。

步骤713：图像处理模块从标定文件中读取摄像头1和摄像头2对应的标定数据。

其中，该标定数据包括摄像头1和摄像头2的相机内参，以及摄像头1和摄像头2对应的相机外参，相机外参至少包括摄像头1和摄像头2之间的相对角度和距离。

步骤714：图像处理模块根据读取的标定数据，确定摄像头1和摄像头2的相机坐标系之间的映射关系。

步骤715：图像处理模块对数据流1中的图像帧1进行目标检测，得到目标坐标1，对目标物体进行深度估计，得到目标物体的深度信息。

步骤716：图像处理模块根据目标坐标1和深度信息，以及摄像头1和摄像头2的相机坐标系之间的映射关系，确定目标坐标2。

需要说明的是，步骤714-步骤716的具体实现过程可以参考上述图5实施例中的相关描述，本申请实施例在此不再赘述。

步骤717：图像处理模块向接口模块发送目标坐标1和目标坐标2。

步骤718：接口模块向相机服务发送目标坐标1和目标坐标2。

步骤719：相机服务向相机应用发送目标坐标1和目标坐标2。

步骤720：相机应用对目标坐标1和目标坐标2进行处理。

相机应用可以根据需要对目标坐标1和目标坐标2进行处理，比如根据目标坐标1和目标坐标2，对图像帧1和图像帧2进行图像融合，或者根据目标坐标1和目标坐标2，分别对摄像头1和摄像头2进行3A反馈调节等。

需要说明的是，本申请实施例仅是以图像处理模块在确定出目标坐标1和目标坐标2之后，将目标坐标1和目标坐标2反馈给相机应用，由相机应用进行处理为例进行说明。而在其他实施例中，图像处理模块在确定出目标坐标1和目标坐标2后，还可以将目标坐标1和目标坐标2发送给3A模块，由3A模块进行处理，比如由3A模块根据目标坐标1确定3A反馈信息1，根据3A反馈信息1对摄像头1进行3A调节，根据目标坐标2确定3A反馈信息2，根据3A反馈信息2对摄像头2进行3A调节。本申请实施例对确定的各个摄像头采集的图像的目标位置信息的应用场景不做限定。

图8是本申请实施例提供的一种确定目标位置信息的装置的结构示意图，该装置可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部，该计算机设备可以为图2所示的计算机设备。参见图801，该装置包括：第一获取模块801、目标检测模块802、深度估计模块803和坐标映射模块804。

第一获取模块801，用于获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，第一摄像头为在多摄拍摄模式下从电子设备及配置的多个摄像头中调用的至少两个摄像头中的任一个，第二摄像头为至少两个摄像头中除第一摄像头之外的摄像头；

目标检测模块802，用于执行上述图5实施例中的步骤507；

深度估计模块803，用于执行上述图5实施例中的步骤508；

坐标映射模块804，用于执行上述图5实施例中的步骤510。

可选地，该装置还包括第二获取模块；

第二获取模块，用于执行上述图5实施例中的步骤509。

可选地，该装置还包括图像矫正模块；

图像矫正模块，用于对第一图像和第二图像分别进行图像矫正；

目标检测模块802，用于对图像矫正后的第一图像进行目标检测，得到第一目标位置信息；相应地，第二目标位置信息用于指示目标物体在图像矫正后的第二图像中的位置。

可选地，该装置还包括：确定模块和控制模块；

确定模块，用于根据第一图像和第一目标位置信息，确定第一3A反馈信息，第一3A反馈信息包括AF信息、AE信息和AWE信息；根据第二图像和第二目标位置信息，确定第二3A反馈信息；

控制模块，用于根据第一3A反馈信息对第一摄像头进行控制；根据第二3A反馈信息对第二摄像头进行控制。

本申请实施例中，对于多摄拍摄模式下调用的至少两个摄像头，可以先对其中一个摄像头采集的图像进行目标检测，得到该摄像头采集的图像的目标位置信息，以及对目标物体进行深度估计，得到目标物体的深度信息，然后，根据该目标位置信息和深度信息，以及该摄像头与其他每个摄像头的相机坐标系之间的映射关系，确定其他每个摄像头采集的图像的目标位置信息。如此，仅需对一个摄像头采集的图像进行目标检测，而其他摄像头对应的目标位置信息可以通过坐标系的映射关系快速确定得到，从而提高了确定目标位置信息的效率，减小了对硬件资源的占用和电子设备的功耗。此外，通过在对第一图像进行目标检测之后，对目标物体进行深度估计，得到目标物体的深度信息，根据第一目标位置信息和深度信息，以及第一摄像头与第二摄像头的相机坐标系之间的映射关系进行坐标映射，来确定第二目标位置信息，实现了对各个摄像头采集的图像中的目标位置的准确映射，提高了确定目标位置信息的准确性，解决了目标物体在各个摄像头采集的图像中的成像位置的像素坐标没有线性对应关系，无法根据像素坐标进行坐标映射的问题。

需要说明的是：上述实施例提供的确定目标位置信息的装置在确定目标位置信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

上述实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请实施例的保护范围。

上述实施例提供的确定目标位置信息的装置与确定目标位置信息的方法实施例属于同一构思，上述实施例中单元、模块的具体工作过程及带来的技术效果，可参见方法实施例部分，此处不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，比如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(比如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如：软盘、硬盘、磁带)、光介质(比如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(比如：固态硬盘(Solid State Disk，SSD))等。

以上所述为本申请提供的可选实施例，并不用以限制本申请，凡在本申请的揭露的技术范围之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种确定目标位置信息的方法，其特征在于，应用于电子设备，所述电子设备包括多个摄像头，所述方法包括：

获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，所述第一摄像头为在多摄拍摄模式下从所述多个摄像头中调用的至少两个摄像头中的主摄像头，所述第二摄像头为所述至少两个摄像头中除所述第一摄像头之外的任一辅摄像头；

对所述第一图像和所述第二图像分别进行图像矫正；

对图像矫正后的第一图像进行目标检测，得到第一目标位置信息，所述第一目标位置信息用于指示目标物体在图像矫正后的第一图像中的位置；

对所述目标物体进行深度估计，得到所述目标物体的深度信息；

从存储的所述多个摄像头中两两摄像头的相机坐标系之间的映射关系中，获取所述第一摄像头对应的第一相机坐标系与所述第二摄像头对应的第二相机坐标系之间的映射关系，所述多个摄像头中任意两个摄像头的相机坐标系之间的映射关系是预先根据存储的所述任意两个摄像头的标定数据构建得到，所述标定数据包括相机内参和相机外参；

根据所述第一目标位置信息和所述深度信息，以及所述第一摄像头对应的第一相机坐标系与所述第二摄像头对应的第二相机坐标系之间的映射关系，确定第二目标位置信息，所述第二目标位置信息用于指示所述目标物体在图像矫正后的第二图像中的位置；

根据图像矫正后的第一图像和所述第一目标位置信息，确定第一3A反馈信息，根据所述第一3A反馈信息对所述第一摄像头进行控制，所述第一3A反馈信息包括自动对焦AF信息、自动曝光AE信息和自动白平衡AWE信息；

根据图像矫正后的第二图像和所述第二目标位置信息，确定第二3A反馈信息，根据所述第二3A反馈信息对所述第二摄像头进行控制；

其中，所述对所述目标物体进行深度估计，得到所述目标物体的深度信息，包括：

确定图像矫正后的第一图像中的目标图像尺寸，所述目标图像尺寸是指所述目标物体所在图像区域的尺寸；

根据所述目标图像尺寸和先验信息，确定所述目标物体的深度信息，所述先验信息存储有不同目标图像尺寸对应的深度信息。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一目标位置信息和所述深度信息，以及所述第一摄像头对应的第一相机坐标系与所述第二摄像头对应的第二相机坐标系之间的映射关系，确定第二目标位置信息，包括：

根据所述第一目标位置信息和所述深度信息，确定第一目标坐标，所述第一目标坐标为所述目标物体在所述第一相机坐标系中的三维坐标；

根据所述第一目标坐标，以及所述第一相机坐标系与所述第二相机坐标系之间的映射关系，确定第二目标坐标，所述第二目标坐标为所述目标物体在所述第二相机坐标系中的三维坐标；

根据所述第二目标坐标确定所述第二目标位置信息。

3.如权利要求2所述的方法，其特征在于，所述第一相机坐标系与所述第二相机坐标系之间的映射关系包括所述第一相机坐标系与世界坐标系之间的映射关系，以及所述第二相机坐标系与所述世界坐标系之间的映射关系；

所述根据所述第一目标坐标，以及所述第一相机坐标系与所述第二相机坐标系之间的映射关系，确定第二目标坐标，包括：

根据所述第一目标坐标，以及所述第一相机坐标系与所述世界坐标系之间的映射关系，确定目标世界坐标，所述目标世界坐标是指所述目标物体在所述世界坐标系中的三维坐标；

根据所述目标世界坐标，以及所述第二相机坐标系与所述世界坐标系之间的映射关系，确定所述第二目标坐标。

4.如权利要求1-3任一所述的方法，其特征在于，所述根据所述第一目标位置信息和所述深度信息，以及所述第一摄像头对应的第一相机坐标系与所述第二摄像头对应的第二相机坐标系之间的映射关系，确定第二目标位置信息之前，还包括：

获取所述第一摄像头和所述第二摄像头的相机内参，以及所述第一摄像头和所述第二摄像头对应的相机外参，所述相机内参至少包括视场角和畸变矫正参数，所述相机外参至少包括所述第一摄像头和所述第二摄像头之间的相对角度和距离；

根据所述相机内参和所述相机外参，确定所述第一相机坐标系与所述第二相机坐标系之间的映射关系。

5.如权利要求4所述的方法，其特征在于，所述获取所述第一摄像头和所述第二摄像头的相机内参，以及所述第一摄像头和所述第二摄像头对应的相机外参，包括：

从标定文件中获取所述第一摄像头和所述第二摄像头的相机内参，以及所述第一摄像头和所述第二摄像头对应的相机外参；

其中，所述标定文件中存储有所述多个摄像头中每个摄像头的相机内参，以及所述多个摄像头中任意两个摄像头对应的相机外参。

6.一种电子设备，其特征在于，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5任意一项所述的方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的方法。