CN114125256A - 用于内置云台的多摄模组的拍摄方法 - Google Patents

Abstract

本发明提供了一种用于内置云台的多摄模组的拍摄方法，所述多摄模组包括长焦模组和安装于云台的主摄模组，所述拍摄方法包括：1)确定所述主摄模组和所述长焦模组所要追踪的目标对象；以及2)在跟踪拍摄的过程中，云台驱动主摄模组移动以对其倾角进行调节，使得所述目标对象始终处于主摄图像的中央位置；并且，在预览界面中显示当前位置指示图形和目标位置指示图形；其中，所述预览界面显示在搭载所述多摄模组的电子设备的显示屏，所述当前位置指示图形代表所述长焦模组当前的指向位置，所述目标位置指示图形代表需将长焦模组调整至的指向位置。本申请可以帮助矫正多摄模组拍摄过程中因自动防抖功能开启而导致的视频差异。

Description

用于内置云台的多摄模组的拍摄方法

技术领域

本发明涉及光学技术领域，具体地说，本发明涉及用于内置云台的多摄模组的拍摄方法。

背景技术

目前，市场上的智能手机普遍采用多摄模组。例如，目前的旗舰机型往往同时搭载广角摄像模组、长焦摄像模组、高像素的主摄像模组和潜望式超长焦摄像模组，从而组成多摄模组。利用这些不同类型的摄像模组各自不同的优势、取长补短，可以获得前所未有的使用体验。进一步地，近年来，为了进一步提升成像品质，有的旗舰机型还为主摄像模组配置了云台结构。该云台结构是一种内置于多摄模组中，可以驱动主摄像模组移动(例如实现tilt调节)的小型化云台。为便于描述，下文中有时将配备了云台的主摄像模组称为云台主摄。

在多摄模组中，由于潜望式长焦模组的焦距较长，一般使用拍摄在较远处的物体。而主摄像模组搭配有云台，在使用云台进行拍摄时，云台防抖往往有一定范围的移动角度。一旦云台主摄进行拍摄转动角度过大时，可能在云台主摄拍摄画面中存在目标对象，但是在潜望式超长焦摄像模组的拍摄范围中没有存在该目标对象。由于目标对象没有被潜望式超长焦摄像模组记录到，而潜望式超长焦摄像能够拍摄目标对象最多的细节，因此造成了手机多摄云台防抖功能启动时，往往会存在目标对象细节信息缺失的问题。这样，在后期进行视频剪辑，或者进行图像合成时，都由于缺少超长焦的细节信息而造成遗憾。

另一方面，用户有时需要对目标物进行跟踪拍摄。例如，可以手动捕捉拍摄对象并将目标对象置于拍摄画面的合适位置。再例如，在抖音和快手等软件中，其算法可以通过裁切大量的画面来达到只追踪人脸的效果，即软件可以自动捕捉对象(人脸)并将目标对象置于拍摄画面的合适位置。然而当拍摄对象始终处于运动状态，靠拍摄者手动跟踪很难稳定，而靠软件进行裁切的方式缩小了画面尺寸，降低了成像质量，使用上也不尽人意。而使用云台结构，就可以很好地解决上述问题。然而，手机多摄模组中的内置云台结构受限于其尺寸，往往移动范围较小。云台主摄一般只能实现RX、RY方向(即绕X轴旋转、绕Y轴旋转的方向)单向大约3°-4°的旋转。由于可移动的范围不大，往往需要依靠用户手持进行跟踪拍摄，手机中的微型云台只能辅助用户跟踪拍摄时的防抖。作为比较，安防监控模组的云台有些可以实现水平方向360度旋转，垂直方向90度摆动的运动。因此安防监控中的云台可以实现镜头在半球面上的运动轨迹，进而实现目标对象的跟踪拍摄。

综上所述，市场上还期待一种能够利用移动范围有限的微型云台对目标物进行更好地跟踪拍摄的解决方案。

进一步地，人们还期待多摄模组中的微型云台能够更好地发挥其价值，以有效地提升多摄模组的用户体验。

发明内容

本发明的目的在于，克服现有技术的不足，提供一种能够利用移动范围有限的微型云台对目标物进行更好地跟踪拍摄的解决方案。

本发明的另一目的在于，克服现有技术的不足，使多摄模组中的微型云台能够更好地发挥其价值，以有效地提升多摄模组的用户体验。

为解决上述技术问题，本发明提供了一种用于内置云台的多摄模组的拍摄方法，其中，所述多摄模组包括长焦模组和安装于云台的主摄模组，所述拍摄方法包括：步骤1)确定所述主摄模组和所述长焦模组所要追踪的目标对象；以及步骤2)在跟踪拍摄的过程中，云台驱动主摄模组移动以对其倾角进行调节，使得所述目标对象始终处于主摄图像的中央位置；并且，在预览界面中显示当前位置指示图形和目标位置指示图形；其中，所述预览界面显示在搭载所述多摄模组的电子设备的显示屏，所述当前位置指示图形代表所述长焦模组当前的指向位置，所述目标位置指示图形代表需将长焦模组调整至的指向位置。

其中，所述步骤2)还包括：实时监测所述长焦模组拍摄的图像，当所述长焦模组拍摄的图像中无法识别到所跟踪的所述目标对象时，生成并在所述预览界面中显示所述当前位置指示图形和所述目标位置指示图形，以提示用户调整所述电子设备的姿态。

其中，在跟踪拍摄的过程中，始终在所述预览界面中显示所述当前位置指示图形和所述目标位置指示图形，以提示用户调整握持所述电子设备的姿态。

其中，所述目标对象包括第一目标对象和第二目标对象，所述第一目标对象是所述主摄模组所需跟踪的目标对象，所述第二目标对象是长焦模组所需跟踪的目标对象，所述第二目标对象是所述第一目标对象的一个局部。

其中，所述步骤1)包括下列子步骤：步骤11)生成预览界面，所述预览界面至少包括主摄取景窗；步骤12)基于预览界面确定所要追踪的所述第一目标对象和所述第二目标对象；步骤13)在预览界面上提示用户确定是否开始跟踪拍摄；以及步骤14)在预览界面上生成用于显示所述第二目标对象图像或视频的第二取景窗。

其中，所述步骤11)中，所述预览界面还包括长焦取景窗；所述步骤14)中，将所述长焦取景窗作为所述第二取景窗。

其中，所述步骤12)还包括：在预览界面中提示用户选择所述第一目标对象的所在区域和所述第二目标对象的所在区域；根据所确定的所述第一目标对象的所在区域识别所述第一目标对象的类别、大小和位置，根据所确定的所述第二目标对象的所在区域识别所述第二目标对象的类别、大小和位置。

其中，所述当前位置指示图形和所述目标位置指示图形为方框。

其中，所述当前位置指示图形和所述目标位置指示图形具有不同的颜色。

其中，所述云台适于驱动所述主摄模组在绕X轴旋转和/或绕Y轴旋转的自由度上进行转动；其中X轴和Y轴互相垂直，且二者均垂直于Z轴，所述Z轴为所述电子设备的厚度方向的坐标轴。

其中，所述步骤2)还包括：提示用户调整所述电子设备的姿态以使所述当前位置指示图形与所述目标位置指示图形重合。

其中，所述云台还适于驱动所述主摄模组在绕Z轴旋转的自由度上进行转动；所述步骤2)中，还在所述预览界面显示提示用户手动旋转所述电子设备的旋转指示图形。

其中，所述步骤2)还包括：根据主摄模组的前后帧图像的运动矢量，以及长焦模组的前后帧图像的运动矢量，计算所述目标位置指示图形相对于所述当前位置指示图形的偏移量，并根据该偏移量的计算结果显示所述目标位置指示图形。

其中，所述步骤2)还包括：基于图像识别算法提取所述主摄模组的前后帧图像中的特征点，并根据这些特征点的运动矢量得出所述主摄模组的前后帧图像的运动矢量；基于图像识别算法提取所述长焦模组的前后帧图像中的特征点，并根据这些特征点的运动矢量得出所述长焦模组的前后帧图像的运动矢量。

其中，所述步骤2)还包括：根据所述主摄模组的前后帧图像中的特征点的运动矢量确定主摄前帧图像中心到后帧图像中心的偏移量(δ1，δ2)，根据所述长焦模组的前后帧图像中的特征点的运动矢量确定所述长焦模组的前帧图像中心到后帧图像中心的偏移量(c1，c2)；将所述目标位置指示图形设置在相对于所述当前位置指示图形偏移量为(-(δ1-c1)，-(δ2-c2))的位置处。

根据本申请的另一方面，还提供了一种用于内置云台的多摄模组的拍摄方法，其中，所述多摄模组包括广角模组和安装于云台的主摄模组，所述拍摄方法包括：用广角模组捕捉至少一张广角图像；通过云台驱动主摄模组转动，使其拍摄范围覆盖所述广角图像的边缘区域；以及通过合成将所述广角图像的所述边缘区域与所述主摄模组所拍摄的对应区域相融合。

与现有技术相比，本申请具有下列至少一个技术效果：

1.本申请可以帮助矫正不同摄像模组所拍摄视频的差异，尤其是可以矫正多摄模组拍摄过程中因自动防抖功能开启而导致的视频差异。

2.本申请可以通过在预览界面上显示图形标记来提示用户调整拍摄姿态(即手持电子设备的姿态)，从而方便地帮助长焦模组和云台主摄始终跟踪到各自对应的拍摄目标。

3.本申请特别便于用户手持电子设备进行多摄拍摄。

4.本申请的一些实施例中，可以在多摄模组在进行拍摄时，避免长焦模组所跟踪的目标丢失。

5.本申请的一些实施例中，可以利用云台主摄的移动能力，覆盖广角模组所拍图片的边缘区域，从而得到品质更高的融合图片。

附图说明

图1示出了本申请一个实施例的用于内置云台的多摄模组的拍摄方法的流程图；

图2示出了手机及其多摄模组；

图3示出了本申请一个实施例中的一个拍摄场景的示例；

图4示出了本申请一个实施例中的拍摄场景及云台可调范围；

图5示出了本申请一个实施例中的在预览界面调整选择框的示意图；

图6示出了本申请一个实施例中框选第二目标对象所在区域的示意图；

图7示出了在预览界面上显示确定是否开始跟踪拍摄的提示信息及操作按钮的示意图；

图8示出了本申请一个实施例中的以“画中画”形式设置第二取景窗的示例；

图9示出了本申请一个实施例中的以并排设置形式设置第二取景窗的示例；

图10示出了本申请一个实施例中长焦模组丢失第二目标对象的示意图；

图11示出了本申请一个实施例中在预览界面上显示当前位置指示框和目标位置指示框的示意图；

图12示出了本申请一个实施例中当前位置指示框和目标位置指示框被调整至近似重合的示意图；

图13示出了本申请另一实施例中当云台具有RZ自由度调节能力时的主摄拍摄区域；

图14示出了本申请另一实施例中的当云台具有RZ自由度调节能力时的旋转调节指示图形；

图15示出了本申请另一实施例中的当云台具有RZ自由度调节能力时的第二目标对象接近非倾斜状态的示意图；

图16示出了近景拍摄时云台主摄和长焦模组的前后帧图像的偏移；

图17示出了远景拍摄时云台主摄和长焦模组的前后帧图像的偏移；

图18示出了本申请一个优选实施例中的当前位置指示框与目标位置指示框设置位置。

具体实施方式

为了更好地理解本申请，将参考附图对本申请的各个方面做出更详细的说明。应理解，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围。在说明书全文中，相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。

应注意，在本说明书中，第一、第二等的表述仅用于将一个特征与另一个特征区分开来，而不表示对特征的任何限制。因此，在不背离本申请的教导的情况下，下文中讨论的第一主体也可被称作第二主体。

在附图中，为了便于说明，已稍微夸大了物体的厚度、尺寸和形状。附图仅为示例而并非严格按比例绘制。

还应理解的是，用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”，当在本说明书中使用时表示存在所陈述的特征、整体、步骤、操作、元件和/或部件，但不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、部件和/或它们的组合。此外，当诸如“...中的至少一个”的表述出现在所列特征的列表之后时，修饰整个所列特征，而不是修饰列表中的单独元件。此外，当描述本申请的实施方式时，使用“可以”表示“本申请的一个或多个实施方式”。并且，用语“示例性的”旨在指代示例或举例说明。

如在本文中使用的，用语“基本上”、“大约”以及类似的用语用作表近似的用语，而不用作表程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。

除非另外限定，否则本文中使用的所有用语(包括技术用语和科学用语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，用语(例如在常用词典中定义的用语)应被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且将不被以理想化或过度正式意义解释，除非本文中明确如此限定。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明做进一步地描述。

图1示出了本申请一个实施例的用于内置云台的多摄模组的拍摄方法的流程图。本实施例中，多摄模组搭载于手机中，图2示出了手机及其多摄模组。本实施例中，多摄模组至少包括一主摄模组100和一长焦模组200，其中主摄模组100安装于云台结构中，该云台结构可以内置于手机1000中，因此也可以称为其为微型云台。该云台结构可以驱动主摄模组绕X轴、绕Y轴、绕Z轴旋转，以实现防抖功能。需要注意，虽然本实施例的云台结构具有三个旋转自由度，但这并不是必须的。例如，在另一实施例中，云台结构可以仅具有绕X轴、绕Y轴旋转这两个旋转自由度。再例如，在又一实施例中，云台结构可以仅具有绕X轴旋转这一个旋转自由度。

本实施例中，可以使用主摄模组和长焦模组同时拍摄目标物，并对目标物进行跟踪。图3示出了本申请一个实施例中的一个拍摄场景的示例。参考图3，主摄模组拍摄区域101可以大于长焦模组的拍摄区域201(即主摄模组所拍摄的图像可以具有更大的画幅)。其中，长焦模组可以是潜望式模组(例如10X潜望式长焦摄像模组，其视场角FOV可以是10°)。由于长焦模组可以拍摄到更多的细节，并且通常具有更高的变焦倍率(可以是光学变焦倍率，也可以是数字变焦所对应的倍率)，因此长焦模组所拍摄的目标物可以是主摄模组所跟踪的目标物的一个局部。例如在一个拍摄场景中，主摄模组可以跟踪拍摄场景中的船舶，与此同时，长焦模组则跟踪拍摄船上的人物。进一步地，本实施例中，主摄模组可以安装于微型云台，该云台可以驱动主摄模组绕X轴、绕Y轴转动(本文中，将这两个移动自由度分为记为RX、RY)，即该云台可以调整主摄模组的倾角(tilt)。图4示出了本申请一个实施例中的拍摄场景及云台可调范围。参考图4，本实施例中，主摄模组处于基准位置时，其所拍摄的区域为第二图像区域110，当云台在±RX、±RY方向移动时，可额外覆盖的范围记为第一图像区域120，其包括子区域A 121、子区域B 122、子区域C 123和子区域D 124。而10X潜望式长焦摄像模组拍摄的图像区域则记为第三图像区域210。

下面，结合参考图1，对本实施例中用于内置云台的多摄模组的拍摄方法做进一步地描述。本实施例中，所述拍摄方法包括下述步骤。

步骤S1，启动多摄跟踪拍摄模式，在手机显示屏上显示预览界面。预览界面可以包括主摄取景窗，主摄取景窗可以实时显示主摄所拍摄的第一预览图像。本实施例中，多摄跟踪拍摄模式可以手动触发，也可以由AI自动识别进行触发。例如，手机的AI软件可以根据用户的使用习惯，在满足一些条件的情形下，自动触发多摄跟踪拍摄模式。例如，如果AI软件在预览画面中识别出特定目标对象，如用户自身等，则可以自拍摄模式被触发，该自拍摄模式可以利用云台主摄和长焦模组对该用户进行自动跟踪。而手动触发则可以是实体按键进行触发，例如手动触发可以被配置为：双击音量键、或者锁屏键等实体按钮。

进一步地，在本申请的另一实施例中，所述预览界面还可以包括一长焦取景窗，其可以实时显示长焦模组所拍摄的第二预览图像。主摄取景窗和长焦取景窗可以以“画中画”的形式组合，在另一例子中，主摄取景窗和长焦取景窗也可以并排排列，例如长焦取景窗可以位于主摄取景窗的左侧或右侧。

步骤S2，基于预览界面确定所要追踪的目标对象。图5示出了本申请一个实施例中的在预览界面调整选择框的示意图。参考图5，本步骤中，可以在预览界面中提示用户选择目标对象所在区域。例如可以在预览界面上生成一选择框301，用户可以通过触屏操作在调整该选择框301的位置和大小。除了框选操作外，还可以为用户提供点选操作等其它用于选择目标对象所在区域的操作方式。其中，点选操作例如可以是通过显示屏获取到的单击操作或双击操作。设备(本实施例中指智能手机，下文不再赘述)可以将点选位置周围一定范围的区域作为目标对象所在区域。

进一步地，设备在确定目标对象所在区域后，可通过人脸检测算法或目标轮廓检测算法来检测所确定的区域内的目标对象，并且可以对目标对象进行特征提取以识别该目标对象的类别。例如可以预存用户自身的人脸特征信息，当人脸检测算法所检测的目标对象的特征信息与预存的用户自身的人脸特征信息一致时，即可判定该目标对象为用户自身的人脸。再例如，目标对象的类别也可以是人体、车、船等，还可以是特定的几何形状等。而特征信息可以是人脸形状、数字符号、汽车颜色、车牌号等等，通过这些信息，可以判断出或辅助判断目标对象的类别。

在另一个实施例中，设备也可以通过神经网络模型来检测图像(所选定区域)中的目标对象，神经网络模型可以检测出图像信息中的目标对象的位置和大小，并识别出目标对象的类别。

进一步地，在确定目标对象后，还可以再确定由长焦模组跟踪的第二目标对象。为便于描述，将前文中提及的目标对象称为第一目标对象，第一目标对象为云台主摄所要追踪的目标对象。在本申请的一个实施例中，第二目标对象可以与第一目标对象一致。

而在另一个实施例中，第二目标对象可以是第一目标对象的一个局部，例如当第一目标对象为船舶时，第二目标对象可以是船舶上的人物。此时，设备可以在预览界面上提示用户选择第二目标对象所在区域。图6示出了本申请一个实施例中框选第二目标对象所在区域的示意图。参考图6，本实施例中，第二目标对象为通过10X潜望式超长焦进行拍摄的目标对象，因此可以获得比主摄模组更多的局部细节信息。在确定第二目标对象所在区域后，可以进行人脸识别或轮廓提取，进而识别出第二目标对象的位置、大小以及类别。识别方法与第一目标对象一致，不再赘述。

步骤S3，在预览界面上提示用户确定是否开始跟踪拍摄。在确定目标对象后，可以在显示屏上显示出是否开始跟踪选项。图7示出了在预览界面上显示确定是否开始跟踪拍摄的提示信息及操作按钮的示意图。用户可以通过点击(或是其他触屏操作)来选择是否开始跟踪拍摄。当设备接收到开始跟踪拍摄的用户输入(例如用户点击“开始跟踪”虚拟按钮)后，即开始进行跟踪拍摄。

步骤S4，在预览界面上生成用于显示第二目标对象图像或视频的第二取景窗。当步骤S1中，预览界面同时具有主摄取景窗和长焦取景窗时，可以直接将长焦取景窗作为本步骤的第二取景窗。当步骤S1中，预览界面不提供长焦取景窗时，可以在本步骤中生成第二取景窗，该第二取景窗可以设置在主摄取景窗内(即以“画中画”的形式设置，图8示出了本申请一个实施例中的以“画中画”形式设置第二取景窗的示例)，也可以与主摄取景窗并排设置，例如第二取景窗可以设置在主摄取景窗的左侧或右侧(图9示出了本申请一个实施例中的以并排设置形式设置第二取景窗的示例)。进一步地，预览界面还可以提供操作工具，以供用户调整第二取景窗的位置和大小。

步骤S5，在跟踪拍摄的过程中，云台驱动主摄模组移动以对其倾角进行调节，使得第一目标对象始终处于主摄图像的中央位置；与此同时，设备监测长焦模组所拍摄图像(即长焦图像)，当无法在长焦图像中检测到第二目标对象时，启动设备姿态校正。设备姿态校正是指提示用户调整设备姿态，以使长焦模组可以拍摄到第二目标对象。具体来说，为了追踪拍摄第一目标对象(例如小船)时，云台会驱动主摄模组进行旋转，有时为了使第一目标对象(例如小船)始终保持在画面正中，云台的转动角度可能较大。而此时长焦模组并未随着一起转动(长焦模组可能没有防抖功能)，从而导致第二目标对象丢失(需注意，当长焦模组具有一定防抖功能时，也可能因防抖功能的移动行程不足，而导致第二目标对象丢失的情况出现)。图10示出了本申请一个实施例中长焦模组丢失第二目标对象的示意图。参考图10，由于云台转动，主摄模组的朝向可能与长焦模组的朝向存在较大夹角，导致长焦图像区域无法覆盖第二目标对象(例如人物)，进而导致第二目标对象在长焦图像中丢失(例如设备无法从长焦图像中识别出第二目标对象)。此时，设备可以提示用户调整设备姿态，以使长焦模组可以对准第二目标对象，而与此同时，主摄模组在云台的自动调节下，仍然可以保持其对第一目标对象的追踪。本步骤中，提示用户调整设备姿态可以通过在预览界面上设置指示框来实现。例如可以在预览界面中显示出代表长焦模组当前指向位置的当前位置指示框401，以及代表需将长焦模组调整至的指向位置的目标位置指示框402。图11示出了本申请一个实施例中在预览界面上显示当前位置指示框和目标位置指示框的示意图。在用户调整设备(例如手机)姿态时，当前位置指示框401的位置可以随着手机姿态的变化而变化，这样用户可以根据预览界面所显示的当前位置指示框401的位置实时地调整手机姿态，最终使得当前位置指示框401与目标位置指示框402重合(图12示出了本申请一个实施例中当前位置指示框和目标位置指示框被调整至近似重合的示意图)。当二者重合时，设备姿态调整完毕。设备可以继续正常地进行追踪拍摄。

进一步地，在本申请的另一个实施例中，所述当前位置指示框与目标位置指示框可以使用不同的颜色或线型，以便用户进行区分。例如当前位置指示框可以是蓝色的，目标位置指示框可以是红色的。另外，当前位置指示框与目标位置指示框也并不限于方框，它们也可以采用其他图形进行替换，例如圆框、圆点、十字准星图案等等。

进一步地，在本申请的另一个实施例中，当前位置指示框与目标位置指示框可以在开始跟踪拍摄时就直接显示，即当前位置指示框与目标位置指示框不需要由目标对象的丢失来触发，而是在开始跟踪拍摄时直接触发。

进一步地，设备的处理器可以根据图像识别算法或者云台记录的工作指，计算出当前长焦模组和主摄模组的图像中心的偏差，根据所计算出的偏差，可以在预览界面中用框图(或其它位置指示图形)示意出当前位置和目标位置。本实施例中，可以分别用蓝色框和红色框作为当前位置指示图形和目标位置指示图形。用户通过转动终端以调整蓝色框与红色框重合，进而保证第一目标对象和第二目标对象都能被捕捉到，从而保证用户感兴趣的两路目标对象的图像或视频都能保存在预览图像视频中，这样能够方便用户在预览图像或者后面保存的两个视频文件中找到第一目标对象和第二目标对象的全方位的细节信息，以便进行后期制作。

进一步地，在本申请的一个实施例中，生成当前位置指示框与目标位置指示框的方法包括：设备的处理器计算第一目标对象在预览界面的第一预览图像中的坐标值，其中坐标值可以是指目标对象的几何中心，也可以是指包含第一目标对象的框形的中心或其特征点位置(例如该框形的左上角位置，由于框形的长宽可以是预先设定的，所以其左上角位置的坐标即可代表该框形所在的位置)。类似地，设备的处理器计算第二目标对象在第一预览图像中的坐标值，其中坐标值可以是指目标对象的几何中心，也可以是指包含第二目标对象的框形的中心或其特征点位置(例如该框形的左上角位置，由于框形的长宽可以是预先设定的，所以其左上角位置的坐标即可代表该框形所在的位置)。根据所计算出的表征第一目标对象位置的坐标值和表征第二目标对象位置的坐标值，即可在预览界面(例如在第一预览图像)中显示当前位置指示框和目标位置指示框。例如可以根据表征第二目标对象位置的坐标值显示当前位置指示框，根据表征第一目标对象位置的坐标值显示目标位置指示框。

进一步地，在一个优选实施例中，生成当前位置指示框与目标位置指示框的方法包括：设备的处理器可以获取云台当前所处的运动位置信息，该运动位置信息包括用户手持设备跟踪目标拍摄过程中，云台主摄模组已经转动的实际角度值。该实际角度值可以为云台记录的工作值，即code值。在本申请的一个实施例中，该code值可以被记录为(X1，Y1)。其中1code可以代表1个单位的电流。X1值可以表征云台在RX方向已经旋转的角度，该Y1值可以表征云台在RY方向已经旋转的角度。通过获取该云台当前的工作值，和第二目标对象中心与第一目标对象中心的偏差值，可以计算出长焦摄像头中该第二目标对象距离第一目标对象的偏差。例如记录云台起始图像中心位置坐标(X0，Y0)，云台工作后的图像中心位置坐标为(X1，Y1)，则图像中心移动距离为(X1-X0,Y1-Y0)。其中该X1-X0,Y1-Y0分别为图像中心在X、Y方向的移动距离。可以根据这个图像中心移动距离(X1-X0,Y1-Y0)来设置当前位置指示框和目标位置指示框。例如可以将目标位置指示框设置在相对于当前位置指示框偏移量为(-(X1-X0),-(Y1-Y0))的位置处。

进一步地，在另外一个实施例中，生成当前位置指示框与目标位置指示框的方法包括：设备的处理器可以计算云台主摄像模组拍摄的前后帧图像中各个特征点的运动矢量。根据各个特征点的运动矢量可以反映视频样本数据中画面的倾斜，一方面该运动矢量可以提供给云台主摄模组进行防抖，另一方面该运动矢量在本实施例中可以分析云台相对于设备的实际转动角度。类似地，设备的处理器还可以计算长焦端前后帧图像中各个特征点的运动矢量。图16示出了近景拍摄时云台主摄和长焦模组的前后帧图像的偏移。在拍摄近景时，云台主摄和长焦模组往往的拍摄画面往往会有一定视差。如图16所示，长焦前帧图像290的图像中心与云台主摄的主摄前帧图像190的图像中心并不重合。在同一时间段，长焦模组的拍摄区域转移至长焦后帧图像291的位置，而云台主摄的拍摄区域转移至主摄后帧图像191的位置。根据云台主摄模组拍摄的前后帧图像中各个特征点的运动矢量，可以确定主摄前帧图像中心到后帧图像中心的偏移量(δ1，δ2)，根据长焦端前后帧图像中各个特征点的运动矢量，可以确定长焦模组的前帧图像中心到后帧图像中心的偏移量(c1，c2)。图17示出了远景拍摄时云台主摄和长焦模组的前后帧图像的偏移。参考图17，远景拍摄时可以默认云台主摄和长焦模组所拍摄的图像没有视差，即长焦前帧图像290的图像中心与云台主摄的主摄前帧图像190的图像中心可以是重合的。这种情形下，同样可以根据云台主摄模组拍摄的前后帧图像中各个特征点的运动矢量，可以确定主摄前帧图像中心到后帧图像中心的偏移量(δ1，δ2)，根据长焦端前后帧图像中各个特征点的运动矢量，可以确定长焦模组的前帧图像中心到后帧图像中心的偏移量(c1，c2)。进一步地，本实施例中，目标位置指示框可以设置在相对于当前位置指示框偏移量为(-(δ1-c1)，-(δ2-c2))的位置处。进一步地，图18示出了本申请一个优选实施例中的当前位置指示框与目标位置指示框设置位置。参考图18，优选地，目标位置指示框402的中心可以设置在长焦拍摄中心和云台主摄拍摄中心的连线上。长焦拍摄中心即长焦模组当前所拍摄图像(即长焦后帧图像291)的图像中心，云台主摄拍摄中心即主摄模组当前所拍摄图像(即主摄后帧图像191)的图像中心。

进一步地，在本申请的另一个实施例中，设备还可以获取霍尔元件测量的磁场强度，该霍尔元件可以记录为RX、RY两个方向的值，霍尔元件的RX、RY两个方向的值可以表征云台RX方向已经旋转的角度，该云台RY轴方向已经旋转的角度，进而获得云台主摄拍摄中心的偏离值。

上述实施例中，通过步骤S1-S5，可以简化多摄模组的云台跟踪拍摄操作，使云台摄像机拍摄的画面更为平滑、连贯，也能使得云台主摄和长焦摄像模组都能捕捉到各自的目标对象，从而保留最丰富的细节信息。

进一步地，图13示出了本申请另一实施例中当云台具有RZ自由度调节能力时的主摄拍摄区域。参考图13，本实施例中，云台的RZ旋转能力能够使主摄拍摄画面(即主摄模组拍摄区域101)围绕中心旋转。在旋转后，主摄模组可以拍摄额外的转动扩展区域A、B、C、D。本实施例中，用于内置云台的多摄模组的拍摄方法的步骤S1-S4可以与前文实施例中的步骤S1-S4一致，而步骤S5可以做出调整。具体来说，本实施例的步骤S5可以包括：获取云台当前运动的位置，包括获取云台跟踪目标时的RZ方向上已经转动的实际角度值(该值记为云台工作值)，输出云台正在工作的code值，本方案中该code值被记录为(X1),其中X1值电流表征云台RZ轴方向已经旋转的角度(另一实施例中，可以通过获取霍尔元件测量的磁场强度来记录RZ方向上已经转动的值，根据霍尔元件的RZ方向上已经转动的值，可以得出云台在RZ方向上已经旋转的角度)。进一步地，图14示出了本申请另一实施例中的当云台具有RZ自由度调节能力时的旋转调节指示图形。本实施例中，可以根据所获得的当前状态下云台在RZ方向上的旋转角度，在预览界面上实时显示出提示用户手动旋转手机的旋转指示图形501，旋转指示图形501例如可以是一带旋转箭头的圆形。如果用户按照旋转指示图形501进行旋转，则长焦模组所拍摄的第二目标对象可以从倾斜状态恢复至非倾斜状态。图15示出了本申请另一实施例中的当云台具有RZ自由度调节能力时的第二目标对象接近非倾斜状态的示意图。

进一步地，在本申请的一个实施例中，旋转指示图形可以通过下述方法生成。该方法可以包括：通过获取该云台工作值，以及第二目标对象中心与第一目标对象的中心的偏差值，计算出该第二目标对象中该长焦摄像头距离第一目标对象的偏差，并在画面中用框图示意该第三图像区域表示为红色框，在该框图示意中该第二图像区域表示为蓝色框，用户通过转动终端，以调整与红色框指示箭头与蓝色框水平线重合，进而指示用户校正云台图像拍摄区域的RZ角度与长焦拍摄区域的角度接近，保证第一目标对象和第二目标对象都能被捕捉到，从而保证用户感兴趣的两路目标对象都能保存在预览图像视频中，这样能够方便用户在预览图像或者后面保存的两个视频文件中都包括第一目标对象和第二目标对象。

进一步地，本申请的一个实施例中，还提供了一种基于云台主摄和广角模组的多摄模组的拍摄方法，该方法包括：广角模组的FOV约为100℃，云台主摄的FOV为90°，其中云台主摄的云台具有绕X和Y轴方向旋转±10°的转动角度，当云台主摄和广角模组均在初始位置时，广角模组比云台主摄拍摄的画面画幅要大，但是云台主摄在防抖功能启动时，沿着RX、RY方向的转动可以使云台主摄的拍摄画面比广角模组更大。因此当在用户进行拍摄的时候可以用广角模组先捕捉至少一张照片，之后将云台主摄沿着RX、RY方向转动，从而使其拍摄范围覆盖广角图像的四个边缘区域，再通过合成将广角图像的边缘区域与云台主摄所拍摄的对应区域相融合。这种拍摄方法可以减少广角镜头边缘的较为严重的畸变，也可以解决现有的广角和主摄模组的融合图片中景深不一致的问题，因此，本实施例可以有效地提升广角图片的成像品质。具体来说，现有的广角和主摄模组的融合图片中，由于广角和主摄模组的焦距不同、光圈不同、像素不同，在图片融合的时候，广角边缘区域由于没有对应的主摄模组的成像，只能单独用广角拍摄的信息，而图像中间区域由于广角和主摄融合后，画质提高，因此融合后的广角图片的边缘区域与中间区域的清晰程度过渡可能不均匀，景深的过渡也不均匀。而本实施例中，在拍摄阶段，通过云台在RX和RY方向上移动主摄进行拍摄，可以使得主摄图像覆盖广角模组画面的边缘区域，从而获得更好的融合图片。该融合图片可以减少广角镜头边缘的较为严重的畸变，也可以解决现有的广角和主摄模组的融合图片中景深不一致的问题，同时还能使融合图片中的中间区域与边缘区域的过渡更为平滑。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (16)

1.一种用于内置云台的多摄模组的拍摄方法，其特征在于，所述多摄模组包括长焦模组和安装于云台的主摄模组，所述拍摄方法包括：

步骤1)确定所述主摄模组和所述长焦模组所要追踪的目标对象；以及

步骤2)在跟踪拍摄的过程中，云台驱动主摄模组移动以对其倾角进行调节，使得所述目标对象始终处于主摄图像的中央位置；并且，在预览界面中显示当前位置指示图形和目标位置指示图形；

其中，所述预览界面显示在搭载所述多摄模组的电子设备的显示屏，所述当前位置指示图形代表所述长焦模组当前的指向位置，所述目标位置指示图形代表需将长焦模组调整至的指向位置。

2.根据权利要求1所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述步骤2)还包括：实时监测所述长焦模组拍摄的图像，当所述长焦模组拍摄的图像中无法识别到所跟踪的所述目标对象时，生成并在所述预览界面中显示所述当前位置指示图形和所述目标位置指示图形，以提示用户调整所述电子设备的姿态。

3.根据权利要求1所述的用于内置云台的多摄模组的拍摄方法，其特征在于，在跟踪拍摄的过程中，始终在所述预览界面中显示所述当前位置指示图形和所述目标位置指示图形，以提示用户调整握持所述电子设备的姿态。

4.根据权利要求1所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述目标对象包括第一目标对象和第二目标对象，所述第一目标对象是所述主摄模组所需跟踪的目标对象，所述第二目标对象是长焦模组所需跟踪的目标对象，所述第二目标对象是所述第一目标对象的一个局部。

5.根据权利要求4所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述步骤1)包括下列子步骤：

步骤11)生成预览界面，所述预览界面至少包括主摄取景窗；

步骤12)基于预览界面确定所要追踪的所述第一目标对象和所述第二目标对象；

步骤13)在预览界面上提示用户确定是否开始跟踪拍摄；以及

步骤14)在预览界面上生成用于显示所述第二目标对象图像或视频的第二取景窗。

6.根据权利要求5所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述步骤1)中，所述预览界面还包括长焦取景窗；所述步骤14)中，将所述长焦取景窗作为所述第二取景窗。

7.根据权利要求5所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述步骤12)还包括：在预览界面中提示用户选择所述第一目标对象的所在区域和所述第二目标对象的所在区域；根据所确定的所述第一目标对象的所在区域识别所述第一目标对象的类别、大小和位置，根据所确定的所述第二目标对象的所在区域识别所述第二目标对象的类别、大小和位置。

8.根据权利要求1所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述当前位置指示图形和所述目标位置指示图形为方框。

9.根据权利要求1所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述当前位置指示图形和所述目标位置指示图形具有不同的颜色。

10.根据权利要求1所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述云台适于驱动所述主摄模组在绕X轴旋转和/或绕Y轴旋转的自由度上进行转动；其中X轴和Y轴互相垂直，且二者均垂直于Z轴，所述Z轴为所述电子设备的厚度方向的坐标轴。

11.根据权利要求1所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述步骤2)还包括：提示用户调整所述电子设备的姿态以使所述当前位置指示图形与所述目标位置指示图形重合。

12.根据权利要求10所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述云台还适于驱动所述主摄模组在绕Z轴旋转的自由度上进行转动；

所述步骤2)中，还在所述预览界面显示提示用户手动旋转所述电子设备的旋转指示图形。

13.根据权利要求1所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述步骤2)还包括：根据主摄模组的前后帧图像的运动矢量，以及长焦模组的前后帧图像的运动矢量，计算所述目标位置指示图形相对于所述当前位置指示图形的偏移量，并根据该偏移量的计算结果显示所述目标位置指示图形。

14.根据权利要求13所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述步骤2)还包括：基于图像识别算法提取所述主摄模组的前后帧图像中的特征点，并根据这些特征点的运动矢量得出所述主摄模组的前后帧图像的运动矢量；基于图像识别算法提取所述长焦模组的前后帧图像中的特征点，并根据这些特征点的运动矢量得出所述长焦模组的前后帧图像的运动矢量。

15.根据权利要求14所述的用于内置云台的多摄模组的拍摄方法，其特征在于，所述步骤2)还包括：根据所述主摄模组的前后帧图像中的特征点的运动矢量确定主摄前帧图像中心到后帧图像中心的偏移量(δ1，δ2)，根据所述长焦模组的前后帧图像中的特征点的运动矢量确定所述长焦模组的前帧图像中心到后帧图像中心的偏移量(c1，c2)；将所述目标位置指示图形设置在相对于所述当前位置指示图形偏移量为(-(δ1-c1)，-(δ2-c2))的位置处。

16.一种用于内置云台的多摄模组的拍摄方法，其特征在于，所述多摄模组包括广角模组和安装于云台的主摄模组，所述拍摄方法包括：

用广角模组捕捉至少一张广角图像；

通过云台驱动主摄模组转动，使其拍摄范围覆盖所述广角图像的边缘区域；以及

通过合成将所述广角图像的所述边缘区域与所述主摄模组所拍摄的对应区域相融合。

Images