CN117177080B - 视频获取方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供一种视频获取方法、电子设备及计算机可读存储介质，涉及终端技术领域。电子设备作为执行视频获取方法的主体设备，联合至少两个摄像头，获取帧率增大的合成视频。至少两个摄像头拍摄同一场景，这至少两个摄像头的取景范围相同或者相近。至少两个摄像头进行异步交错曝光，以采集到同一场景的时间范围接近且不同时的子视频。电子设备按照至少两个子视频中各帧图像的曝光时刻的先后顺序，得到合成视频。在不替换或者新增高帧率摄像头的前提下，可以联合帧率相对较低的摄像头采集视频，并处理得到帧率相对较高的合成视频，且合成视频是基于摄像头异步交错曝光采集的真实图像，合成视频的图像流畅度和真实性更好。

Description

视频获取方法、电子设备及计算机可读存储介质

技术领域

本申请涉及终端技术领域，尤其涉及一种视频获取方法、电子设备及计算机可读存储介质。

背景技术

视频的帧率（Frames Per Second，FPS），是指视频中画面每秒传输帧数，帧率的单位为fps。视频的帧率越高，每秒传输画面的帧数越多，视频清晰度和流畅度就越高。根据帧率可以将视频分为高帧率视频和低帧率视频，其中，高帧率视频指帧率高于参考帧率的视频，低帧率视频则是指帧率低于参考帧率的视频。参考帧率在此前可以为30fps，随着技术发展，参考帧率可能提升至120 fps或者其他帧率。高帧率视频拍摄有着更快的曝光频率，可以捕捉到场景的瞬间变化。同时由于单位时间内帧率更高，所拍摄的视频看起来更加流畅顺滑。因此，高帧率视频常用于运动场景、高速物体以及特殊效果拍摄，比如拍摄运动比赛精彩瞬间的慢动作视频、拍摄水滴落下溅起奇特造型水花的特效视频等。

现有的高帧率视频，通常是采用支持高帧率拍摄的拍摄设备直接拍摄得到的，这类拍摄设备的摄像头可以支持几百到几千fps的拍摄需求。达到较高的拍摄帧率，技术成本较高，价格也就相对较高。普通的拍摄设备例如智能手机，摄像头支持帧率可能在24 fps或者30 fps，无法通过较低帧率的拍摄设备获取高帧率视频。

可见，缺少通过帧率较低的拍摄设备获取高帧率视频的技术方案。

发明内容

本申请实施例提供一种视频获取方法、电子设备及计算机可读存储介质，用于实现通过帧率较低的拍摄设备获取高帧率视频的技术效果。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种视频获取方法，应用于电子设备。电子设备作为执行视频获取方法的主体设备，联合至少两个摄像头，获取帧率增大的合成视频。至少两个摄像头拍摄同一场景，这至少两个摄像头的取景范围相同或者相近。另外，至少两个摄像头进行异步交错曝光，也就是说，至少两个摄像头交替地进行曝光，以采集到同一场景的时间范围接近且不同时的子视频。电子设备再按照至少两个子视频中各帧图像的曝光时刻的先后顺序，合成至少两个子视频，这样即可得到合成视频。基于至少两个子视频异步交错曝光的前提，按照曝光先后顺序合成该至少两个子视频，那么得到的合成视频的帧率大于至少两个子视频中每个子视频的帧率。

在实际使用时，至少两个摄像头中可能有部分摄像头装配于电子设备上，即电子设备联合其本身具备的至少两个摄像头采集子视频，并根据采集的子视频得到合成视频。在其他情况下，该至少两个摄像头也可以部分装配于该电子设备上，部分装配于其他的第一设备上，或者至少两个摄像头也可以全部都装配于其他的一个或者多个第一设备上。

根据第一方面的一种可能实施方式，第一设备为手机、卡片相机、数码单反相机、微型可换镜头式单镜头数码相机中的至少一种。

这样，电子设备可以联合其他的第一设备的摄像头来实现联合异步拍摄同一场景，并获取帧率增大的合成视频。这样，电子设备在不替换或者新增高帧率摄像头的前提下，可以联合帧率相对较低的摄像头采集视频，并处理得到帧率相对较高的合成视频，且合成视频是基于摄像头异步交错曝光采集的真实图像，合成视频的图像流畅度和真实性更好。

根据第一方面的一种可能实施方式，电子设备可以先确定参与联合异步拍摄的摄像头，及各摄像头所在的电子设备，确定全部摄像头的异步交错曝光方案，例如各摄像头的首帧曝光时刻的先后顺序，以及各摄像头实际采集子视频的帧率等。之后，电子设备即可根据所确定的异步交错曝光方案，来控制至少两个摄像头异步交错曝光采集图像，得到对应的子视频。

根据第一方面的一种可能实施方式，电子设备内装配有相机应用，相机应用可以是系统的相机应用，也可以为第三方的相机应用，可以调用电子设备的摄像头进行拍摄。相机应用内运行有联合拍摄控件，可以在检测到用户作用于该联合拍摄控件的触控操作时开始视频获取操作。电子设备响应作用于相机应用内的联合拍摄控件的第一操作，显示查找摄像头的提示信息，提示用户选择参与联合异步拍摄的摄像头。

电子设备在检测到基于作用于所述提示信息的第二操作后，根据第二操作指示的至少两个摄像头，头生成异步曝光时刻序列。之后，电子设备即可控制所述至少两个摄像头按照所述异步曝光时刻序列，异步交错曝光采集图像。当然，电子设备也可以将生成的异步曝光时刻序列发给参与联合拍摄的第一设备，使得第一设备按照异步曝光时刻序列指示的曝光时刻采集图像得到对应的子视频。

根据第一方面的一种可能实施方式，电子设备先获取至少两个摄像头支持的帧率，确定各摄像头的实际拍摄帧率，各摄像头的实际拍摄帧率要小于或者等于其支持的帧率。之后，再基于确定的至少两个摄像头的实际拍摄帧率，确定至少两个摄像头的异步曝光时刻序列。电子设备确定至少两个摄像头的异步曝光时刻序列，可以仅指示每个摄像头的首帧曝光时刻，不同摄像头的首帧曝光时刻不同。实际拍摄帧率确定了曝光时刻的间隔时长，各摄像头可以先基于异步曝光时刻序列指示的首帧曝光时刻采集首帧图像，再基于实际拍摄帧率指示的间隔时长依次采集后续多帧图像。

电子设备所确定的异步曝光时刻序列还可以指示每个摄像头的实际拍摄帧率，即各摄像头采集子视频的全部图像的曝光时刻，各摄像头按照匹配的曝光时刻序列采集图像，即为实现了异步交错曝光。

电子设备确定异步曝光时刻序列之后，可以将异步曝光时刻序列发送至参与联合拍摄的第一设备，指示这些第一设备的摄像头按照异步曝光时刻序列异步交错曝光，以分别得到对应的子视频之后再发送回电子设备进行合成。当然，第一设备也可以在摄像头每采集一帧图像之后即将采集到的图像发送回电子设备，这样，第一设备在采集完子视频时也完成了子视频内各帧图像的发送，可以使得电子设备较快地完成视频获取操作。

根据第一方面的一种可能实施方式，电子设备在获取各帧图像时即对各帧图像进行空间对齐处理。具体的，电子设备对其中第i帧图像进行空间对齐处理的过程为：在至少两个摄像头采集到第i帧图像后，采用前序图像对第i帧图像进行空间对齐处理。这里用于对第i帧图像进行空间对齐处理所参考的是第i帧图像的前序图像，也就是在至少两个摄像头采集的全部图像中、曝光时刻距离第i帧图像的曝光时刻最近的n帧图像。这样，电子设备获取的子视频的每一帧图像都是经过空间对齐处理的图像，加快了后续的视频获取操作的速度。

根据第一方面的一种可能实施方式，电子设备可以先获取各子视频的全部图像，再按照至少两个子视频中各帧图像的曝光时刻的先后顺序，采用前序图像对第i帧图像进行空间对齐处理，并合成空间对齐处理后的至少两个子视频得到合成视频；其中，前序图像包括至少两个子视频中、曝光时刻距离第i帧图像的曝光时刻最近的n帧图像，n≥1，n为整数。这样可以减少摄像头采集图像的过程中数据交互操作，在完成全部图像采集之后再执行针对全部图像的空间对齐处理，减少了空间对齐处理的整体时长。

根据第一方面的一种可能实施方式，进一步限定电子设备对第i帧图像进行空间对齐处理所采用的空间对齐矩阵，是通过空间对齐模型获取的。电子设备基于预先训练好的空间对齐模型，将前序图像输入预先训练好的空间对齐模型，得到第i帧图像的空间对齐矩阵；其中，空间对齐模型具备基于一个正样本图像和一个负样本图像得到这两个图像的空间对齐矩阵的能力。利用空间对齐模型来获取各帧图像的空间对齐矩阵，提高了获取空间对齐矩阵的效率和准确性。

根据第一方面的一种可能实施方式，进一步限定了电子设备获取空间对齐矩阵所采用的空间对齐模型的训练方案。具体的，电子设备先获取多组样本图像，每组样本图像包括一个正样本图像、一个负样本图像和一个样本空间对齐矩阵，样本空间对齐矩阵具备消除负样本图像与正样本图像在像素维度的空间偏移的能力。将每组样本图像中的正样本图像和负样本图像作为输入样本，样本空间对齐矩阵作为输出样本，训练空间对齐模型。利用监督学习训练神经网络，得到空间对齐模型，以使得空间对齐模型能针对大量图像都能够快速、准确输出对应的空间对齐矩阵，极大程度地提高了图像处理速度和视频获取效率。

根据第一方面的一种可能实施方式，限定了对依据空间对齐模型所获取的空间对齐矩阵的异常值筛选方案。电子设备在基于第i帧图像的空间对齐矩阵对第i帧图像进行空间对齐处理之前，先将该第i帧图像的空间对齐矩阵与参考对齐矩阵进行比较，判断二者的差异是否小于预设差异。

所选择的参考对齐矩阵可以是采集第i帧图像的摄像头相对于采集前序图像的摄像头的参考对齐矩阵，该参考对齐矩阵可以是在异步拍摄之前的同步对齐阶段采集的空间对齐矩阵。参考对齐矩阵也可以是第i帧图像的前序图像所使用的多个空间对齐矩阵的平均值，当然也可以为预配置的其他参考值。

若第i帧图像的空间对齐矩阵与参考对齐矩阵的差异小于预设差异，则表示差异在允许范围内。电子设备就可以基于第i帧图像的空间对齐矩阵对第i帧图像进行空间对齐处理。

若第i帧图像的空间对齐矩阵与参考对齐矩阵的差异大于或等于预设差异，则表示该帧图像的空间对齐矩阵可能是异常值，不适合对该帧图像的空间对齐矩阵对该帧图像进行空间对齐处理。这时候，电子设备可以选择该帧图像的前一帧图像，也就是第i-1帧图像的空间对齐矩阵对第i帧图像进行空间对齐处理。

增设预设参考矩阵对各帧图像的空间对齐矩阵进行异常值筛选，以保证空间对齐处理操作的合理性，提高所获取的合成视频的流畅度。

根据第一方面的一种可能实施方式，电子设备可以在联合至少两个摄像头进行异步交错曝光之前的准备阶段，先通过同步曝光的方式进行初始化的空间对齐，以减少异步拍摄中的空间偏差。电子设备先控制至少两个摄像头同步曝光分别采集至少一帧图像，根据至少两个摄像头中每两个摄像头同步采集的图像，获取各摄像头的空间对齐矩阵。可以将各摄像头的空间对齐矩阵作为后续异步拍摄中的参考对齐矩阵。

根据第一方面的一种可能实施方式，还可以增设对至少两个摄像头采集的子视频中的各帧图像进行色彩对齐处理的方案，以尽量避免不同摄像头采集的图像色彩风格差异较大导致合成视频的画面跳变较大的技术问题。

电子设备将一张图像的色彩空间和风格迁移至另一张图像上，使得前后帧图像的色彩对齐，也就是将不同摄像头采集的图像的色彩对齐，这样可以尽可能地保证合成视频的色彩一致性。

在一种具体实施方式中，电子设备可以在持续接收各帧图像的过程中，每接收到一帧图像后即对该帧图像进行色彩对齐处理，在接收完子视频的全部图像后基本就完成了针对各帧图像的色彩对齐处理。这种情况下，电子设备针对各帧图像进行色彩对齐处理的方案包括：

按照至少两个子视频中各帧图像的曝光时刻的先后顺序，采用第j-1帧图像对第j帧图像进行色彩对齐，并合成色彩对齐后的至少两个子视频得到合成视频。

在其他实施方式中，电子设备也可以在接收到各子视频的全部图像之后，再依次对各帧图像进行色彩对齐处理。这种情况下，电子设备对针对各帧图像进行色彩对齐处理的方案可以具体包括：在至少两个摄像头采集到第j帧图像后，采用第j-1帧图像对第j帧图像进行色彩对齐；其中，j≥1，j为整数；其中，子视频中的图像是经过色彩对齐的图像。

根据第一方面的一种可能实施方式，电子设备可以利用一个预先训练好的色彩对齐模型，来获取各帧图像的色彩对齐矩阵，以提高各帧图像的色彩对齐矩阵的获取效率和准确性。

在此基础上，电子设备可以先获取多组样本图像，每组样本图像包括一个正样本图像、一个负样本图像和一个样本色彩对齐矩阵，样本色彩空间矩阵具备消除负样本图像与正样本图像在色彩空间上的差异的能力。电子设备将每组样本图像中的正样本图像和负样本图像作为输入样本，样本色彩对齐矩阵作为输出样本，训练色彩对齐模型。基于监督学习训练神经网络，得到色彩迁移模型，使得电子设备可以快速、准确地获取大量图像的色彩对齐矩阵，提高视频获取效率和获取的合成视频的质量。

第二方面，提供了一种电子设备，包括：处理器和存储器；该存储器用于存储计算机执行指令，当该电子设备运行时，该处理器执行该存储器存储的该计算机执行指令，以使该电子设备执行如上述第一方面中任一项的视频获取方法。

根据第二方面的一种可能实施方式，电子设备还包括摄像头，摄像头与处理器耦合。

根据第二方面的一种可能实施方式，处理器用于：

获取至少两个子视频；其中，至少两个子视频是由至少两个摄像头拍摄同一场景得到的，至少两个摄像头针对场景拍摄至少两个子视频时异步交错曝光；

按照至少两个子视频中各帧图像的曝光时刻的先后顺序，合成至少两个子视频得到合成视频；其中，合成视频的帧率大于至少两个子视频中每个子视频的帧率。

根据第二方面的一种可能实施方式，处理器用于：

控制至少两个摄像头异步交错曝光采集图像，得到对应的子视频。

根据第二方面的一种可能实施方式，处理器用于：

获取至少两个摄像头支持的帧率，基于至少两个摄像头支持的帧率配置至少两个摄像头的异步曝光时刻序列；其中，异步曝光时刻序列指示每个摄像头的首帧曝光时刻，不同摄像头的首帧曝光时刻不同；异步曝光时刻序列还指示每个摄像头的实际拍摄帧率，使得至少两个摄像头异步交错曝光；或者，异步曝光时刻序列指示至少两个摄像头中每个摄像头的每帧曝光时刻，使得至少两个摄像头异步交错曝光；

控制至少两个摄像头按照异步曝光时刻序列采集图像。

根据第二方面的一种可能实施方式，处理器用于：

在至少两个摄像头采集到第i帧图像后，采用前序图像对第i帧图像进行空间对齐处理；其中，前序图像包括至少两个摄像头采集的图像中、曝光时刻距离第i帧图像的曝光时刻最近的n帧图像，n≥1，n为整数；

其中，子视频中的图像是经过空间对齐处理的图像。

根据第二方面的一种可能实施方式，处理器用于：

按照至少两个子视频中各帧图像的曝光时刻的先后顺序，采用前序图像对第i帧图像进行空间对齐处理，并合成空间对齐处理后的至少两个子视频得到合成视频；其中，前序图像包括至少两个子视频中、曝光时刻距离第i帧图像的曝光时刻最近的n帧图像，n≥1，n为整数。

根据第二方面的一种可能实施方式，处理器用于：

将前序图像输入预先训练好的空间对齐模型，得到第i帧图像的空间对齐矩阵；其中，空间对齐模型具备基于一个正样本图像和一个负样本图像得到这两个图像的空间对齐矩阵的能力；

基于第i帧图像的空间对齐矩阵对第i帧图像进行空间对齐处理。

根据第二方面的一种可能实施方式，处理器用于：

获取多组样本图像，每组样本图像包括一个正样本图像、一个负样本图像和一个样本空间对齐矩阵，样本空间对齐矩阵具备消除负样本图像与正样本图像在像素维度的空间偏移的能力；

将每组样本图像中的正样本图像和负样本图像作为输入样本，样本空间对齐矩阵作为输出样本，训练空间对齐模型。

根据第二方面的一种可能实施方式，处理器用于：

若第i帧图像的空间对齐矩阵与参考对齐矩阵的差异小于预设差异，则基于第i帧图像的空间对齐矩阵对第i帧图像进行空间对齐处理；其中，参考对齐矩阵包括采集第i帧图像的摄像头相对于采集前序图像的摄像头的空间对齐矩阵。

根据第二方面的一种可能实施方式，处理器用于：

若第i帧图像的空间对齐矩阵与参考对齐矩阵的差异大于或等于预设差异，则基于第i-1帧图像的空间对齐矩阵对第i帧图像进行空间对齐处理。

根据第二方面的一种可能实施方式，处理器用于：

控制至少两个摄像头同步曝光分别采集至少一帧图像；

根据至少两个摄像头中每两个摄像头同步采集的图像，获取参考对齐矩阵。

根据第二方面的一种可能实施方式，处理器用于：

按照至少两个子视频中各帧图像的曝光时刻的先后顺序，采用第j-1帧图像对第j帧图像进行色彩对齐处理，并合成色彩对齐后的至少两个子视频得到合成视频。

根据第二方面的一种可能实施方式，处理器用于：

在至少两个摄像头采集到第j帧图像后，采用第j-1帧图像对第j帧图像进行色彩对齐处理；其中，j≥1，j为整数；

其中，子视频中的图像是经过色彩对齐处理的图像。

根据第二方面的一种可能实施方式，处理器用于：

将第j帧图像和第j-1帧图像输入预先训练好的色彩对齐模型，得到第j帧图像的色彩对齐矩阵；其中，色彩对齐模型具备基于一个正样本图像和一个负样本图像得到这两个图像的色彩对齐模型的能力；

基于第j帧图像的色彩对齐矩阵对第j帧图像进行色彩对齐处理。

根据第二方面的一种可能实施方式，处理器用于：

获取多组样本图像，每组样本图像包括一个正样本图像、一个负样本图像和一个样本色彩对齐矩阵，样本色彩空间矩阵具备消除负样本图像与正样本图像在色彩空间上的差异的能力；

将每组样本图像中的正样本图像和负样本图像作为输入样本，样本色彩对齐矩阵作为输出样本，训练色彩对齐模型。

第三方面，提供了一种视频获取系统，包括电子设备和至少两个摄像头，该电子设备具有实现上述第一方面的视频获取方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

第四方面，提供了一种第一设备，包括：处理器；处理器用于与存储器耦合，并读取存储器中的指令之后，根据指令执行如上述第一方面中任一项的视频获取方法。

第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项的视频获取方法。

第六方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项的视频获取方法。

其中，第二方面至第六方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。

附图说明

图1为本申请实施例提供的视频获取方法的流程示意图之一；

图2为本申请实施例提供的视频获取方法所涉及的视野范围对比示意图；

图3为本申请实施例提供的视频获取方法所涉及的场景示意图之一；

图4为本申请实施例提供的视频获取方法所涉及的界面示意图之一；

图5为本申请实施例提供的视频获取方法所涉及的界面示意图之二；

图6为本申请实施例提供的视频获取方法的流程示意图之二；

图7为本申请实施例提供的视频获取方法的流程示意图之三；

图8为本申请实施例提供的视频获取方法所涉及的空间对齐处理前后示意图；

图9为本申请实施例提供的视频获取方法的流程示意图之四；

图10为本申请实施例提供的视频获取方法所涉及的色彩对齐处理前后示意图；

图11为本申请实施例提供的视频获取方法的流程示意图之五；

图12为本申请实施例提供的视频获取方法所涉及的界面示意图之三；

图13为本申请实施例提供的视频获取方法所涉及的界面示意图之四；

图14为本申请实施例提供的视频获取方法所涉及的软件框架示意图；

图15为本申请实施例提供的视频获取方法所涉及的场景示意图之二；

图16为本申请实施例提供的视频获取方法所涉及的界面示意图之五；

图17为本申请实施例提供的视频获取方法所涉及的界面示意图之六；

图18为本申请实施例提供的视频获取方法所涉及的场景示意图之三；

图19为本申请实施例提供的视频获取方法所涉及的场景示意图之四；

图20为本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为便于理解，先介绍本申请实施例涉及的部分技术常识。

电子设备上通常装配有一个或者多个摄像头，这一个或者多个摄像头的帧率可能相同也可能不同。例如装配有前摄像头和后摄像头的电子设备，后摄像头中的主摄像头支持帧率为60fps，前摄像头支持帧率为30fps。那么，这个电子设备最高能采集60fps的视频，即后摄像头直接采集得到的视频。若想获取帧率更高的视频，需要为这个电子设备更换能支持更高帧率的摄像头，或者更换其他具备支持更高帧率的摄像头的电子设备，这样就会增加成本。也就是说，各电子设备能够采集到的视频的最高帧率，取决于电子设备上各摄像头能够支持的最高帧率，电子设备采集视频的帧率受限。

基于此，本申请提供一种视频获取方法。联合至少两个摄像头进行异步拍摄，根据至少两个摄像头采集的至少两个子视频，按照各帧图像的采集时刻进行图像排序，得到一个合成视频，这个合成视频的帧率即可高于任一子视频的帧率。这样，即可得到帧率高于单个摄像头帧率的视频。

参见图1，为本申请实施例提供的一种视频获取方法的流程示意图。如图1所示，本实施方式中，进行联合异步拍摄的多个摄像头以两个摄像头举例，即第一摄像头和第二摄像头。第一摄像头和第二摄像头拍摄同一个场景，定义为目标场景，且第一摄像头和第二摄像头的视野范围相同或者相近。如图2所示，为本申请实施例提供的视频获取方法所涉及的视野范围对比示意图。其中，图2中的（a）为第一摄像头的视野范围示意图，图2中的（b）为第二摄像头的视野范围示意图。可以看出，第一摄像头和第二摄像头的视野范围可能不完全重合，但较为接近，且均需要包含待拍摄的目标场景的大部分场景区域。

为了使得第一摄像头和第二摄像头的视野范围相同或者相近，可以使得第一摄像头和第二摄像头装配在同一个固定面上且保证二者的视野范围相对固定，或者也可以将第一摄像头和第二摄像头，或者第一摄像头和第二摄像头所在的电子设备均安装到拍摄支架上，并通过调节拍摄支架使得二者的视野范围相同或者相近。

本申请实施例提供的视频获取方法，应用于电子设备，电子设备可以进行在线合成视频和离线合成视频。其中，在线合成视频的方案是指，电子设备可以在线获取至少两个摄像头实时采集的图像，以边拍摄边合成的方式来获取合成视频。离线合成视频的方案是指，电子设备在该至少两个摄像头分别拍摄获得子视频之后，再根据这至少两个摄像头采集的子视频来获取合成视频。在线合成视频和离线合成视频的区别包括：在线合成视频的方案是指获取子视频和获取合成视频是持续交叉进行的，也就是说在持续获取至少两个子视频的图像的过程中对各帧图像实时处理，再按照曝光时刻排序获得合成视频。而离线合成视频的方案就是，先获取至少两个子视频的全部图像，再对这两个子视频的各帧图像进行处理最终获取合成视频。在线合成视频和离线合成视频中涉及获取合成视频的主要技术手段是相似的。本申请实施例主要针对在线获取合成视频的方案展开描述。

在获取合成视频时，假设第一摄像头采集子视频的实际拍摄帧率为第一帧率F1，第二摄像头采集子视频的实际拍摄帧率为第二帧率，第一摄像头采集子视频的第一帧率F1和第二摄像头采采集子视频的第二帧率F2可以相同，也可以不同。需要说明的是，第一摄像头采集子视频的第一帧率F1不超过第一摄像头支持的最高帧率，第二摄像头采集子视频的第二帧率F2不超过第二摄像头支持的最高帧率。另外，第一摄像头拍摄目标场景的曝光时刻和第二摄像头拍摄目标场景的曝光时刻不同步。

为了保证获取合成视频的流畅度，以及，保证合成视频的帧率相对实际拍摄的子视频的帧率增大，那么就要控制至少两个摄像头拍摄同一场景时进行异步交错曝光。例如：第一摄像头与第二摄像头顺次交替曝光；或者第一摄像头先曝光两次后第二摄像头曝光一次，之后再执行多轮的第一摄像头先曝光两次后第二摄像头曝光一次的不等次异步交错曝光方案。多个摄像头进行异步交错曝光的方案，具体可以根据参与联合异步拍摄的摄像头的数量和实际拍摄子视频的帧率来确定。

继续如图1所示，第一摄像头拍摄目标场景得到第一子视频，包括依次采集的图像帧序列：A1、A2、 A3……Am。第二摄像头拍摄该目标场景得到第二子视频，包括依次采集得到的图像帧图裂：B1、B2、B3……Bn。设定第一摄像头采集首帧图像的曝光时刻早于第二摄像头采集的首帧图像，即A1帧图像的曝光时刻早于B1帧。由于第一摄像头拍摄目标场景的曝光时刻和第二摄像头拍摄目标场景的曝光时刻不同步，那么，也就是说，第一子视频的各帧图像与第二子视频中的各帧图像，在曝光时刻上不冲突，可以按照曝光时刻的先后顺序，将这两个子视频中的各帧图像排序。

将这两个子视频的全部图像按照曝光时刻的先后顺序排序，即可得到一合成视频，该合成视频依次包括C1、C2、C3、C4、C5、C6……Cm+n。其中，如图1所示，图像C1的曝光时刻对应图像A1的曝光时刻，图像的曝光时刻C2对应图像B1的曝光时刻，图像C3的曝光时刻对应图像A2的曝光时刻，图像C4的曝光时刻对应图像B2的曝光时刻，图像C5的曝光时刻对应图像A3的曝光时刻，图像C6的曝光时刻对应图像B3的曝光时刻……图像Cm+n的曝光时刻对应Am和Bn中曝光时刻在后的那一帧图像的曝光时刻。在图像内容上，曝光时刻对应的两帧图像的图像内容也是基本相同的，或者是经过图像矫正处理前后的比较接近的。定义合成视频的合成帧率为F0。相同时间内，合成视频内包含图像的帧数，为第一子视频和第二子视频的帧数之和。那么可以得到，合成视频的合成帧率F0与第一子视频和第二子视频的帧率关系为：合成帧率F0=第一帧率F1+第二帧率F2。

例如，若第一摄像头的第一帧率F1和第二摄像头的第二帧率F2均为30fps。那么，合成视频的合成帧率为60fps，高于第一摄像头和第二摄像头的帧率。也就是说，通过本申请实施例提供的视频获取方法，可以获取帧率高于单个摄像头帧率的视频。

当然，在一些实施例中，合成视频的合成帧率F0并不一定等于第一帧率F1与第二帧率F2之和。但是，合成视频的合成帧率F0大于第一摄像头采集子视频的实际拍摄帧率即第一帧率F1，且合成视频的合成帧率F0大于第一摄像头采集子视频的实际拍摄帧率即第二帧率F2。例如，可以从第二子视频中抽取部分图像，按照这部分图像中的各帧图像的曝光时刻，结合第一子视频的多帧图像的曝光时刻，按照曝光时刻的先后顺序，将第二子视频中的各帧图像插入第一子视频中曝光时刻相邻的图像之间，合成全部的图像即可得到合成视频。

本申请实施例提供的视频获取方法，应用于视频获取系统。视频获取系统包括电子设备及至少两个摄像头，至少两个摄像头用于采集得到子视频，电子设备获取至少两个摄像头采集的子视频传输至电子设备，由电子设备来执行本申请实施例提供的视频获取方法的子视频获取和视频合成操作。需要说明的是，这里所说的子视频，并不限定为完整视频中的一部分。也就是说，子视频也是一个完整的视频，只是为了区分描述合成之前的视频和合成之后的视频，将合成之前的视频定义为子视频，将合成之后的视频定义为合成视频，子视频和合成视频都可以是完整的视频。

视频获取系统中，至少两个摄像头可以均为同一个电子设备的同一表面上装配的摄像头，那么该视频获取系统实际上是包括一个电子设备，该电子设备装配有至少两个摄像头，电子设备控制该至少两个摄像头采集子视频。至少两个摄像头来自于同一个电子设备时，至少两个摄像头相对固定地装配在电子设备的表面上，将该至少两个摄像头的视野范围朝向待拍摄的目标场景即可。在这种情况下，电子设备作为主设备，执行本实施方式提供的视频获取方法，尤其是其中的视频合成步骤。电子设备可以为手机、平板电脑、可穿戴设备、车载设备、增强现实（Augmented Reality，AR）/虚拟现实（Virtual Reality，VR）设备、笔记本电脑、超级移动个人计算机（Ultra-Mobile Personal Computer，UMPC）、上网本、个人数字助理（Personal Digital Assistant，PDA）等带摄像头的设备，不作限制。

在其他实施方式中，视频获取系统也可以包括至少两个电子设备，至少两个摄像头分别装配与该至少两个电子设备上。至少两个摄像头来自不同的电子设备时，需要借助其他固定设备将装配摄像头的电子设备固定，以使得至少两个摄像头的视野范围都朝向目标场景。所借助的固定设备可以包括但不限于用户的手掌、三角支架、专用的手机支架等，必要时可以采用分光器件进行辅助拍摄，不作限定。通过这些固定设备的支撑作用，使得至少两个摄像头的视野范围相同或者相近。在这种情况下，为便于区分描述，可以从至少两个电子设备中选择一个电子设备作为主设备，执行本实施方式提供的视频获取方法中的视频合成步骤，其他电子设备可以定义为第一设备。第一设备的数量为至少一个，至少一个第一设备装配有至少一个摄像头，执行采集子视频的步骤。第一设备可以与电子设备通信连接，将摄像头采集的子视频传输至主设备上，由主设备基于全部的子视频执行视频合成步骤。电子设备仍可以为前述的手机、平板电脑、可穿戴设备、车载设备、增强现实（AugmentedReality，AR）/虚拟现实（Virtual Reality，VR）设备、笔记本电脑、超级移动个人计算机（Ultra-Mobile Personal Computer，UMPC）、上网本、个人数字助理（Personal DigitalAssistant，PDA）等带摄像头的设备。而与电子设备联合拍摄的第一设备可以为电子设备可以为手机、专门的照相机（例如单反相机、卡片式相机）、平板电脑、可穿戴设备、车载设备、增强现实（Augmented Reality，AR）/虚拟现实（Virtual Reality，VR）设备、笔记本电脑、超级移动个人计算机（Ultra-Mobile Personal Computer，UMPC）、上网本、个人数字助理（Personal Digital Assistant，PDA）等带摄像头的设备，不作限制。

在一种具体实施方式中，如图3所示，为本申请实施例提供的视频获取方法所涉及的场景示意图之一，记为场景一。视频获取系统包括电子设备100和第一设备200，电子设备100与第一设备200不为同一个电子设备。电子设备100联合第一设备200进行联合拍摄，参与联合拍摄的可以是电子设备100中的后摄像头模组110中的至少一个摄像头，与第一设备200的后摄像头模组210中的至少一个摄像头。电子设备100作为主设备，联合电子设备100的摄像头110和第一设备200的摄像头210联合拍摄高帧率视频。需要说明的是，此处示例的第一设备200为一个，在实际使用时，第一设备200的数量可以是一个，也可以是多个，不作限定。

如图4和图5所示，为本申请设备提供的视频获取方法所涉及的电子设备的界面示意图，电子设备联合第一设备的摄像头参与联合异步拍摄以得到高帧率的合成视频。如图4中的（a）所示，电子设备的相机应用开启后，预览界面401内显示预览图像，预览界面内还显示有多个拍摄模式控件402，包括人像模式、拍照模式、联合拍摄模式和录像模式。其中，联合拍摄模式下电子设备可以执行本申请实施例的视频获取方法。用户点击联合拍摄模式，电子设备即可开始执行视频获取操作，即前述内容提到的在线拍摄并获取高帧率视频。

如图4中的（b）所示，用户点击联合拍摄模式的控件后，预览界面内还可以通过弹框403等方式显示查找摄像头的提示信息，并提供本端摄像头和其他设备摄像头这两种选择控件。电子设备若检测到用户施加在其他设备摄像头这一选择控件上的点选操作，确定用户选择了电子设备与其他设备联合异步拍摄的联合拍摄模式。之后，电子设备的界面可以切换为如图4中的（c）所示，显示在该联合拍摄模式下，可参与联合拍摄的多个摄像头的标识信息，由用户从中选择。若用户选择了本端设备的部分摄像头（例如本端摄1）和其他设备的部分摄像头（例如设备2摄1），则表示此次参与联合异步拍摄的摄像头包括本端设备的部分摄像头和其他设备的部分摄像头。

当然，用户也可以仅选择其他设备的摄像头而不选择本端设备的摄像头，这种情况下，电子设备仅执行整个视频获取方法的控制操作和视频合成操作，而不执行子视频采集操作，子视频采集操作由被选中的其他设备的摄像头执行。在其他实施方式中，用户也可以仅选择本端设备的摄像头，这时候就默认用户选择了从与其他设备摄像头联合拍摄的模式切换为仅选择本端摄像头的联合拍摄模式。

此外，如图4中的（c）所示，电子设备还可以在弹框上显示确定控件404，以提示用户在选择好参与联合异步拍摄的摄像头之后，通过点选确定控件来触发下一步流程。如图4中的（d）所示，电子设备根据用户选择的摄像头，对摄像头进行异步交错曝光排序，提示用户参与联合拍摄的摄像头的编号以及进行异步交错曝光的先后顺序。通常，该电子设备的摄像头若被选中参与联合异步拍摄，则可以将该电子设备的被选中的摄像头作为排序最靠前的主摄像头，主摄像头的首帧的曝光时刻最早。当然，电子设备也可以提供用户自定义调整摄像头排序的方案，便于用户根据自己的需求自由调整摄像头排序。此外，如图4中的（d）所示，预览界面下还提供有拍摄控件405，用户可以通过施加点选操作在该拍摄控件405上，指示联合拍摄操作的开启和结束。电子设备若检测到用户施加于拍摄控件405上的点选操作，则按照确定的摄像头异步交错曝光排序方案，开始联合异步拍摄。

如图5所示，为电子设备上对应联合异步拍摄过程中的显示界面。如图5中的（a）所示，电子设备开始联合异步拍摄之后，拍摄控件405切换为拍摄中的模式。电子设备还可以通过分屏显示参与联合异步拍摄的各摄像头采集的子视频的实时画面406并实时更新，同时，电子设备还可以显示各摄像头的序号407及当前拍摄时长408。

如图5中的（b）所示，电子设备在实时显示各摄像头采集子视频的画面的过程中，若拍摄控件405接收到用户的点选操作，则执行控制各摄像头结束采集子视频的操作，并根据当前采集的子视频的全部图像进入视频合成阶段。如图5中的（c）所示，电子设备在视频合成阶段，需要按照各子视频中各帧图像的异步交错曝光时刻进行排序，合成各子视频的全部图像，得到最终的合成视频。在结束采集子视频到获取最终的合成视频之间，通常需要一定的等待时段，在该等待时段内，电子设备获取本端摄像头采集的子视频的全部图像数据，以及其他摄像头采集的子视频的全部图像数据，并根据全部子视频的图像进行合成。等待时段的具体时长可以根据电子设备的数据处理速度以及各子视频的图像传输时长和数据量确定。如图5中的（c）所示，在等待时段内，电子设备可以显示进度条409或者类似的合成进度提示。电子设备在获取合成视频之后，相机应用的界面可以切换为如图5中的（d）所示，在预览界面内显示合成视频的画面410。此外，在合成视频的播放过程中，界面内还可以显示该合成视频的帧序列411及视频时长412，视频时长可以包括合成视频的整体时长和当前画面的位置时长等。当然，上述图4和图5所示的电子设备的界面，仅是一种示例，并不作为对电子设备执行视频获取方法时的可能呈现界面的限定。

在实际拍摄时，至少两个摄像头装配于同一个电子设备的同一表面的情况，或者利用固定设备固定至少两个摄像头所在设备的情况，虽然都可以使得至少两个摄像头的视野范围相近，但很难使得至少两个摄像头的视野范围相同，例如图2所示的情况。由于拍摄过程中的抖动，也会导致至少两个摄像头采集的视频的视野范围不完全相同。另外，由于各摄像头本身的焦段和畸变的差异，以及镜头排布和空间位置的不同，不同摄像头采集的图像也会存在视场角、边缘畸变差异，以及旋转和平移方面的错位等空间差异。如果仅按照曝光时刻的先后顺序将至少两个子视频简单排序得到合成视频，可能会导致合成视频的画面跳变或者抖动较大，导致合成视频不流畅。

为解决这个问题，本申请实施例提供的视频获取方法，还提供了进一步提高合成视频稳定性的优化方案。所提供的视频获取方法可以有效校正不同图像间的空间差异，使获取的合成视频的图像变化看起来自然流畅。另外，本申请实施例提供的视频获取方法，还可以采用色彩对齐处理方案，来矫正不同图像间的色彩差异，使得获取的合成视频的图像色彩尽量一致，提升视频画面的稳定性。也就是说，所提供的视频获取方法，在联合多摄像头进行拍摄得到合成视频的基础上，还提供了两个优化处理方案，一个是空间对齐处理方案，一个是色彩对齐处理方案。这两种方案均可以对合成视频的稳定性进行优化提升。在具体实施时，这两个优化处理方案可以单独实施也可以合并实施，不作限定。下面将以图3所示的场景，即电子设备作为执行视频获取方法的主设备，至少两个摄像头来自于不同设备的场景，解释在线获取高帧率合成视频的方案。

第一方面，空间对齐处理方案。

空间对齐处理方案是指通过匹配拍摄场景，在像素级维度来消除不同摄像头拍摄所带来的空间差异。本实施方式中，以至少两个摄像头分别来自于不同的电子设备来举例。在进行联合异步拍摄之前的准备阶段，需要先分别进行摄像头排序、多设备时间同步、空间对齐初始化等操作。

首先，联合拍摄前的准备阶段的具体流程如下：

1、摄像头排序。

电子设备可以通过无线网络或者蓝牙信道的方式，广播联合拍摄的请求给其他的电子设备。在接收到其他的电子设备反馈的同意联合异步拍摄的指示信息后，即可将参与联合异步拍摄的电子设备确定为第一设备。电子设备接收第一设备发送的可以参与联合异步拍摄的摄像头的摄像头标识，并显示在电子设备的界面上供用户选择确认。当然，电子设备也可以直接将预先约定的支持与该电子设备联合异步拍摄的摄像头，或当前能搜索到的支持与该电子设备联合异步拍摄的摄像头确定为参与联合异步拍摄的摄像头，省略用户选择确认的操作。

联合异步拍摄用到多个摄像头，电子设备可以将摄像头依次排序，得到序列，其中，为摄像头的次序，次序靠前的摄像头的首帧曝光时刻在前，次序 靠后的摄像头的首帧曝光时刻在后。也就是说，首帧图像曝光时刻最早的摄像头的次序为，摄像头的总数为（+1）。在这多个摄像头中，可以选择出一个摄像头作为主摄像头，例 如选择电子设备的摄像头作为主摄像头，由电子设备作为主设备，以承担此次联合拍摄过 程中子视频的接收、存储、合成和显示工作。例如，可以将曝光时刻最靠前的摄像头所在 的电子设备标记为主设备。如图1所示，将曝光时刻在前的第一摄像头所在的电子设备定义 为主设备。排在主设备之后的其他电子设备可以作为辅助设备，辅助设备拍摄子视频，并将 拍摄得到的子视频传输至主设备或者其他电子设备。当然，如果多个摄像头部署在该电子 设备上，则由该电子设备作为主设备，承担上述联合拍摄过程中子视频的接收、存储、合成 和显示工作。

在上述的不同情况下，进行联合异步拍摄的多个摄像头的硬件结构可以相同，也可以不同，不作限定。

2、多设备时间同步。

在本实施方式提供的视频获取方法中，多摄像头联合拍摄得到各摄像头分别采集的图像后，需要按照曝光时刻的先后顺序将多帧图像排序。各帧图像的曝光时刻是由各摄像头所在的电子设备记录的。那么，为了保证多帧图像的曝光时刻的准确性，就要先保证这多个摄像头所在的电子设备的时间是同步的，也就是说保证电子设备与至少一个第一设备的时间是同步的，避免因为设备之间的时间不同步导致不同摄像头的曝光时刻冲突的情况，以保证合成视频的流畅程度。当然，若多个摄像头均装配在该同一个电子设备上，那么，该多个摄像头的时钟可以均参考该电子设备的时钟，以保证多摄像头的时间同步。

针对多个摄像头装配于不同设备的情况，在准备阶段，多摄像头所属的多个设备可以通过网络时间协议（Network Time Protocol，NTP）或者简单网络时间协议（SimpleNetwork Time Protocol，SNTP）来实现时间同步，使各电子设备可以在毫秒级保持时间同步。其中，网络时间协议是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟等)做同步化，它可以提供高精准度的时间校正，且可防止恶毒的协议攻击。网络时间协议的目的是在无序的网络环境中提供精确的时间服务。简单网络时间协议是由网络时间协议改编而来，主要用来同步因特网中的计算机时钟。简单时间网络协议是指采用客户端/服务器的工作方式，可以采用单播（点对点）或者广播（一点对多点）模式操作。服务器通过接收全球定位系统（Global Positioning System，GPS）信号或自带的原子钟作为系统的时间基准。具体实施时，电子设备可以向至少一个第一设备发起时间同步要求，若同一个电子设备上的多个摄像头维持不同的时钟信息，也可以通过网络时间协议或者简单网络时间协议来实现多摄像头曝光时刻同步。

3、空间对齐初始化。

在联合异步拍摄过程中，图像间的空间差异可能会出现一定程度的震荡、偏移或者漂移，作为主设备的电子设备为了保证各摄像头在异步拍摄时的视野范围的一致性，需要进行动态空间对齐调整。空间对齐的实现是通过估计一个空间对齐矩阵，并基于该矩阵进行图像扭转Image Warping，持续拍摄的过程中需要利用对齐算法需要对空间对齐矩阵进行连续估计。

在多摄像头联合拍摄的情况下，假设根据曝光顺序从前到后，摄像头的序列为。电子设备对电子设备或者第一设备的任一摄像头采集的图像在某时刻 的空间对齐操作为，利用空间对齐矩阵,以前一个摄像头的图像为参考，将后一个 摄像头的图像向前一个摄像头的图像进行空间对齐。如图1所示，第一摄像头采集 A0图像，第二摄像头采集B0图像，根据A0图像获取B0图像的空间对齐矩阵。

如图6所示，电子设备对联合异步拍摄的空间对齐处理主要包括三个步骤：对齐矩阵初始化、对齐矩阵动态计算和对齐矩阵平滑估计。其中，对齐矩阵初始化是在开始联合异步拍摄之前的准备阶段进行的空间对齐处理操作，对齐矩阵动态计算和对齐矩阵平滑估计都是在开始联合异步拍摄之后的过程中进行的空间对齐处理操作。由于同步拍摄所得图像不存在异步拍摄的时间差所引入的空间差异，初始状态下获得的对齐矩阵的精度理论上较高，因而在对齐矩阵序列中作为锚定样本。

在联合异步拍摄开始前，电子设备利用空间对齐算法，在同步拍摄的情况下对某 摄像头

进行N次对齐矩阵估计，所得的N个矩阵组成一个对齐矩阵集合 ，以该集合为初始化的对齐矩阵序列。

将同步拍摄得到的多个图像的空间相对位置，来进行初始化的对齐调整，以进一步保证在异步拍摄视时也能实现视野范围的一致性。

在本实施方式提供的视频获取方案中，电子设备涉及到两次空间对齐操作，一次是准备阶段的空间对齐初始化操作，一次是视频合成阶段的空间对齐操作。如图6所示，这两次不同阶段的空间对齐操作均可以通过空间对齐模型来实现。为便于区分，可以将准备阶段的空间对齐初始化操作使用的空间对齐模型定义为第一空间对齐模型，将视频合成阶段的空间对齐操作使用的空间对齐模型定义为第二空间对齐模型。

需要说明的是，这里所说的第二空间对齐模型，可以并不限定为一个单独的模型，而是将能达到对应的整体的空间对齐能量的模型定义为第二空间对齐模型。在实际使用时，第二空间对齐模型可能是一个具备空间对齐矩阵输出功能的神经网络，叠加一个平滑估计模型，以实现该第二空间对齐模型的输出空间对齐矩阵后再进一步估计的功能。另外，第一空间对齐模型和第二空间对齐模型可以分别采用不同的神经网络训练得到。获取初始化空间对齐阶段的空间对齐矩阵和动态计算时的对齐矩阵估计的步骤均可以通过基于深度学习的空间对齐模型实现，但是输入变量不同，并且是分别进行训练的独立模型。

作为主设备的电子设备获取预先训练好的第一空间对齐模型，或者获取未经训练的神经网络，训练该神经网络具备空间对齐的能力，作为第一空间对齐模型。训练神经网络得到第一空间对齐模型的过程可以包括：

首先，样本数据准备。

准备多组样本数据，各组样本数据均包括输入样本和输出样本。其中，输入样本可以包括一个正样本图像和一个负样本图像。输出样本包括该正样本图像和负样本图像在像素维度的空间对齐矩阵。

应注意，正样本图像和负样本图像的图像内容接近但不完全相同，存在空间偏移。如图2中的（a）与（b）可以为一组样本数据。上述空间对齐矩阵具备消除负样本图像与正样本图像在像素维度的空间偏移的能力。经过上述空间对齐矩阵转换后的负样本图像与对应正样本图像不存在空间偏移。

本申请实施例这里结合图8示出的一组样本数据说明空间对齐矩阵的对齐原理。如图8所示，（1）为正样本图像（即目标值），（2）为与（1）对应的负样本图像（即输入值），（3）为（1）和（2）在像素级维度的空间对齐矩阵。如果将负样本图片（2）经过空间对齐矩阵（3）的空间对齐调整，即可得到与正样本图像（1）对应的输出值（4），该输出值（4）与正样本图像（1）空间对齐。

其次，迭代训练。

在迭代训练的过程中，可以分别采用一组输入样本（如一个正样本图像和一个负样本图像）和输出样本（即该正样本图像和负样本图像在像素维度的空间对齐矩阵）训练得到第一空间对齐模型。该第一空间对齐模型具备基于一个正样本图像和一个负样本图像得到这两个图像的空间对齐矩阵的能力。

具体的，可以将图8所示的负样本图像（2）作为输入值，将正样本图像（1）作为目标值，将空间对齐矩阵（3）作为输出值（即输出样本）。迭代训练神经网络直至收敛，得到的模型即可作为第一空间对齐模型。其中，结合图8，针对第一空间对齐模型的一组训练样本，迭代训练神经网络直至收敛，具体是指：迭代训练后的神经网络输入负样本图像（2）和正样本图像（1）后，可以输出空间对齐矩阵（3）。该空间对齐矩阵（3）满足如下条件：将负样本图片（2）经过空间对齐矩阵（3）的空间对齐调整，即可得到与正样本图像（1）对应的输出值（4），该输出值（4）与正样本图像（1）空间对齐。

上述实施例中仅以一组训练样本为例，说明空间对齐矩阵的对齐原理，以及第一空间对齐模型的训练过程。实际应用中，需准备多组训练样本，并采用多组训练样本训练第一空间对齐模型，以提升模型精度。

在准备阶段的空间对齐初始化阶段，控制多摄像头针对同一场景同步拍摄，分别拍摄一帧或者多帧图像。例如图9所示，控制联合拍摄的第一摄像头、第二摄像头和第三摄像头同步拍摄，得到对应的图像A0帧、B0帧和C0帧。将各摄像头采集的图像输入第一空间对齐模型，即可得到用于调整各摄像头的空间对齐矩阵，按照各摄像头的次序将空间对齐矩阵排序，即可得到一个对齐矩阵序列。当然，在空间对齐初始化阶段，除了曝光时刻相同之外，还可以通过稳定的手持状态或者三角架等方式，尽量保证各设备的摄像头处于接近静止的状态，以使得获得的空间对齐矩阵的准确性更高。

电子设备在初始化空间对齐过程中，可以将按照摄像头排序，将排序在后的摄像头与相邻的前一个摄像头进行空间对齐。如图9所示，电子设备可以分别获取第二摄像头采集的图像B0相对于第一摄像头采集的图像A0的空间对齐矩阵M1，第二摄像头采集的图像B1相对于第一摄像头采集的A1的空间对齐矩阵M1，图像B2相对于图像A2的空间对齐矩阵M1等。电子设备将第二摄像头相对于第一摄像头的这一组空间对齐矩阵M1按照曝光时刻的先后顺序排序，可以得到该第二摄像头相对于第一摄像头的空间对齐矩阵序列{M1}。

同理，电子设备分别获取第三摄像头采集的图像C0相对于第二摄像头采集的图像B0的空间对齐矩阵M2，第三摄像头采集的图像C1相对于第二摄像头采集的图像B1的空间对齐矩阵M2，第三摄像头采集的图像C2相对于第一摄像头采集的图像B2的空间对齐矩阵M2等。电子设备将第三摄像头相对于第二摄像头的这一组空间对齐矩阵M2按照曝光时刻的先后顺序排序，即可得到该第三摄像头相对于第二摄像头的空间对齐矩阵序列{M2}。

或者，电子设备也可以按照摄像头排序，将排序在主设备的主摄像头之后的全部摄像头都与该主摄像头进行空间对齐。如图9所示，还可以分别获取第二摄像头相对于第一摄像头的空间对齐矩阵序列{M1}，以及第三摄像头相对于第一摄像头的空间对齐矩阵序列{M3}。

接着，异步拍摄的曝光时刻排序。

假设各摄像头的帧率均为，则各摄像头采集相邻两帧图像之间的间隔时长为1/，在该间隔时长1/安排个摄像头异步拍摄，则需要将该间隔时长1/均等为份，那么， 相邻摄像头之间的曝光时刻的间隔时长为：。若摄像头的某一帧曝光开 始时间为，那么，摄像头的曝光时刻开始时间为：，摄像 头所对应的错位曝光开始时间为：。

在一种具体示例中，如图1所示，第一摄像头和第二摄像头的曝光时刻的间隔时长 为 ，第一摄像头拍摄A1帧图像的曝光时刻为，那么第二摄像头拍摄B1帧图像的 曝光时刻为。以此类推，A2图像的曝光时刻为，B2图像的曝光时刻为，A3图像 的曝光时刻为，B3图像的曝光时刻为。例如，若电子设备的帧率均为 15fps，若参与联合拍摄的摄像头的数量为4个，则各摄像头采集相邻帧图像的时长为1秒/ 15fps=4毫秒，相邻摄像头之间的曝光时刻的间隔时长为：毫秒。若第 一摄像头采集第一帧图像的曝光时刻为10分1秒0毫秒，则第二摄像头采集第一帧图像的曝 光时刻为10分1秒1毫秒，第三摄像头采集第一帧图像的曝光时刻为10分1秒2毫秒，第三摄 像头采集第一帧图像的曝光时刻为10分1秒3毫秒；若第一摄像头采集第二帧图像的曝光时 刻为10分1秒4毫秒，则第二摄像头采集第二帧图像的曝光时刻为10分1秒5毫秒，第三摄像 头采集第二帧图像的曝光时刻为10分1秒6毫秒，第三摄像头采集第二帧图像的曝光时刻为 10分1秒4毫秒，以此类推。

理想情况下，可以假设所有设备的冗余时间一致，那么除了在线视频播放时会有 一定的延迟之外，不会有严重问题。而实际情况下，由于各设备所承担的任务不同，主设备 与辅助设备的冗余时间大概率不一致，需要补偿主设备与辅助设备的时间差异。具体补偿 方法可以为，假设辅助设备的冗余时间为，主设备的冗余时间为，那么主设备的曝 光时间为。

当然也可能存在多个辅助设备的冗余时间也不一致的情况，可以认为对视频获取的准确度影响较小，忽略可能存在的差异。

另外，在一些其他实施方式中，还可能存在不同的电子设备的摄像头支持的帧率不同的情况。这种情况下，电子设备还可以根据不同的帧率来灵活安排摄像头的曝光错位时刻，只要保证不同摄像头的曝光时刻不冲突即可。例如，假定所有参与联合异步拍摄的摄像头的实际拍摄帧率构成一个数组，该数组中至少存在一个数值为其他所有数值的公约数，这样也能实现多摄像头联合拍摄。或者在其他情况下，也可以将曝光时刻冲突的图像在视频合成过程中择一保留。针对帧率不同的摄像头联合拍摄的情况可以根据情况具体设置，不再赘述。

确定联合异步拍摄的各摄像头的曝光时刻排序，联合拍摄的准备阶段结束，进入联合拍摄阶段。需要说明的是，若是同一组电子设备参与联合异步拍摄，在进行多次联合异步拍摄时，准备阶段的步骤可以仅执行一次。若是更换了不同的电子设备参与联合异步拍摄，则需要在每次联合异步拍摄之前均执行准备操作，以尽可能地保证获取的合成视频的稳定性。

其次，联合异步拍摄的具体流程如下：

1.控制异步拍摄。

电子设备按照前述准备阶段确定的异步拍摄的曝光时刻排序，来先后控制各摄像头依次曝光，执行周期性地图像采集操作。

2.图像传输。

在线拍摄时，电子设备在控制摄像头曝光以采集得到一帧图像后，即可将该帧图像与其他摄像头采集的图像进行空间对齐。之后，各设备将图像传输至主设备，获取最终的合成视频。

在线视频拍摄过程中存在两个传输过程：第一个传输过程是，在前的摄像头所在 的设备将采集的一帧图像传输给在后的摄像头所在的设备，以使得在后的摄像头参考在前 的摄像头采集的这一帧图像，例如，摄像头采集的图像传输至摄像头所在的第一设 备，对该在后的摄像头采集的下一帧图像进行空间对齐；第二个传输过程是，除了主摄像头 之外的各摄像头所在的终端设备，将采集的全部图像发送至主设备。在这两个传输过程中， 第一个传输过程中进行图像传输时可以传输全部的数据，也可以将图像下采样之后传输部 分数据。第二个传输过程则需要传输图像的全部数据，以保证最后的合成视频的质量。

当然，在线视频拍摄过程中，也可以考虑在主设备每采集一帧图像时，即传输至在后的各摄像头所在的设备，以使得各摄像头所在的设备参考该主设备采集的这一帧图像进行空间对齐。

另外，在离线视频获取方案中，其他摄像头所在的设备可以直接将采集的全部数据传输至主设备，由主设备来进行视频的合成操作。

这两种情况下，都可以将全部的计算工作集中在主设备，减少对其他摄像头所在设备的硬件要求和计算量，但由于动态场景中各摄像头与主摄像头采集的图像可能还存在时间差异，空间对齐效果不是特别好。

3.空间对齐。

电子设备接收到排序在前的摄像头采集的图像后，根据图像计算偏移的空间对齐矩阵，也就是需要对排序在后的摄像头采集的图像进行空间对齐调整所使用的空间对齐矩阵。

电子设备可以在持续接收各帧图像的过程中，每接收到一帧图像后即对该帧图像进行空间对齐处理，在接收完子视频的全部图像后基本就完成了针对各帧图像的空间对齐处理。这种场景下，电子设备控制至少两个摄像头按照异步曝光时刻序列采集图像的步骤，还包括：

在至少两个摄像头采集到第i帧图像后，采用前序图像对第i帧图像进行空间对齐；其中，前序图像包括至少两个摄像头采集的图像中、曝光时刻距离第i帧图像的曝光时刻最近的n帧图像，n≥1，n为整数；

其中，子视频中的图像是经过空间对齐的图像。

在其他实施方式中，电子设备也可以在接收到各子视频的全部图像之后，再依次对各帧图像进行空间对齐处理。这种情况下，电子设备按照至少两个子视频中各帧图像的曝光时刻的先后顺序，合成至少两个子视频得到合成视频的步骤，可以具体包括：

按照至少两个子视频中各帧图像的曝光时刻的先后顺序，采用前序图像对第i帧图像进行空间对齐，并合成空间对齐后的至少两个子视频得到合成视频；其中，前序图像包括至少两个子视频中、曝光时刻距离第i帧图像的曝光时刻最近的n帧图像，n≥1，n为整数。

也就是说，无论是在接收子视频的过程中就对各帧图像进行空间对齐处理的方案，还是再接收子视频后再对子视频中的各帧图像进行空间对齐处理的方案，都可以按照至少两个子视频中各帧图像的曝光时刻的先后顺序，采用第i帧图像的前序图像对第i帧图像进行空间对齐处理。本实施方式中，视频合成过程中针对各帧图像的空间对齐处理可以通过第二空间对齐模型来实现。

参考前述关于第一空间对齐模型的训练方案，电子设备训练第二空间对齐模型的方案可以包括：电子设备训练空间对齐模型的方案可以包括：

获取多组样本图像，每组样本图像包括一个正样本图像、一个负样本图像和一个样本空间对齐矩阵，样本空间对齐矩阵具备消除负样本图像与正样本图像在像素维度的空间偏移的能力；

将每组样本图像中的正样本图像和负样本图像作为输入样本，样本空间对齐矩阵作为输出样本，训练空间对齐模型。

之后，电子设备采用前序图像对第i帧图像进行空间对齐的步骤，可以具体包括：

将前序图像输入预先训练好的空间对齐模型，得到第i帧图像的空间对齐矩阵；其中，空间对齐模型具备基于一个正样本图像和一个负样本图像得到这两个图像的空间对齐矩阵的能力；

基于第i帧图像的空间对齐矩阵对第i帧图像进行空间对齐。

电子设备将不同摄像头所采集的图像输入至第二空间对齐模型，以得到各图像对应的动态对齐矩阵，将该矩阵添加至对齐矩阵序列；之后可以再利用卡尔曼滤波KalmanFilter模型根据更新后的对齐矩阵序列估计最终的对齐矩阵，将该应用于图像，完成空间对齐。

具体实施时，继续如图7所示，在联合异步拍摄开始后，根据两个摄像头错位拍摄 所得的相邻三帧图像估计动态对齐矩阵。假设当前时间为，当前曝光摄像头为， 两个摄像头间的曝光时刻差为∆t，那么所估计的动态矩阵为时刻的空间对齐 矩阵。

之后，将该动态对齐矩阵添加至的动态矩阵序列，并利用该序列估计摄像头在 下一个曝光时刻的对齐矩阵。假设当前时间为，则更新后的矩阵序列为：，所估计的对齐矩阵为。

例如图1所示的场景，第一摄像头采集的第一子视频和第二摄像头采集的第二子 视频的相邻帧时间相差 且第二摄像头在第一摄像头之后启动拍摄。如图6和图7所示， 假设当前时刻最新的帧为第一子视频的A2帧，曝光时刻t，算法的目标为计算第二子视频的 B1帧在t-时刻的对齐矩阵。将第一子视频在曝光时刻t的A2帧和曝光时刻-2的A1帧， 第二子视频在曝光时刻-的B1帧，以及由转换得到的单位向量Identity Vector输入 第二空间对齐模型，以得到第二空间对齐模型输出空间对齐矩阵，即。对齐矩 阵对应第二子视频在曝光时刻-采集的B1帧的对齐矩阵。

在持续拍摄视频的过程中，将第二空间对齐模型对每一帧图像计算输出的对齐矩 阵添加至对齐矩阵序列中。卡尔曼滤波模型以对齐矩阵序列中的对齐矩阵为观察值，估计 对齐矩阵的后续变化。例如当前最新的观察值为，卡尔曼滤波模型将根据该曝光时 刻-时刻的对齐矩阵估计曝光时刻+的对齐矩阵，即，应用于对 第二子视频的下一帧即曝光时刻+的B2帧图像进行图像扭转，以矫正图像偏移。

在上述利用前一帧图像的对齐矩阵估计后一帧图像的空间对齐矩阵的过程中，还可以增设异常值筛选操作。电子设备预先设置一参考对齐矩阵，以参考对齐矩阵作为筛选各帧图像的空间对齐矩阵是否可用的依据。针对不同帧图像的参考对齐矩阵可以是相同的，例如，电子设备可以将初始化阶段得到的对齐矩阵作为参考对齐矩阵。针对不同帧图像的参考对齐矩阵也可以是不同的。例如，电子设备也可以以当前帧图像之前的几帧图像的空间对齐矩阵的平均值作为参考对齐矩阵。此外，电子设备还设置一预设差异，也就是允许空间对齐矩阵相对参考对齐矩阵存在的偏差。

具体的，电子设备若判断第i帧图像的空间对齐矩阵与参考对齐矩阵的差异小于预设差异，则基于第i帧图像的空间对齐矩阵对第i帧图像进行空间对齐；其中，参考对齐矩阵包括采集第i帧图像的摄像头相对于采集前序图像的摄像头的空间对齐矩阵。

在另一种情况下，电子设备若第i帧图像的空间对齐矩阵与参考对齐矩阵的差异大于或等于预设差异，则基于第i-1帧图像的空间对齐矩阵对第i帧图像进行空间对齐。

在一种具体实施方式中，例如图5所示，得到曝光时刻-的对齐矩阵后， 还可以在经过异常值筛选并被判定为有效后，才会将该曝光时刻-的对齐矩阵应 用于估计曝光时刻+的对齐矩阵。若曝光时刻-的对齐矩阵经过异常 值筛选被判定为无效，则可以将此对齐矩阵丢弃，以重新计算该曝光时刻-时刻的对齐 矩阵，或者直接以前一帧图像对应的对齐矩阵替换为此帧的对齐矩阵。增设异常值筛选的 步骤，可以有效避免模型计算出错或者其他异常情况导致的错误矫正的情况，进一步提高 获取视频的稳定性。

第二方面，色彩对齐处理方案。

不同摄像头在图像传感器等硬件上或者在图像处理软件上存在区别，可能导致不同摄像头采集的同一场景的图像的色彩不一致。如图10所示，（a）和（b）分别为两个摄像头先后采集的图像，可以看出，存在明显的色彩差异，这样会导致最终获取的合成视频的画面效果跳变较大。本实施方式提供的视频获取方法，电子设备可以利用预先训练好的色彩迁移模型，将一张图像的色彩空间和风格迁移至另一张图像上，使得前后帧图像的色彩对齐，也就是将不同摄像头采集的图像的色彩对齐，这样可以尽可能地保证合成视频的色彩一致性。

在一种具体实施方式中，电子设备可以在持续接收各帧图像的过程中，每接收到一帧图像后即对该帧图像进行色彩对齐处理，在接收完子视频的全部图像后基本就完成了针对各帧图像的色彩对齐处理。这种情况下，电子设备针对各帧图像进行色彩对齐处理的方案包括：

按照至少两个子视频中各帧图像的曝光时刻的先后顺序，采用第j-1帧图像对第j帧图像进行色彩对齐，并合成色彩对齐后的至少两个子视频得到合成视频。

在其他实施方式中，电子设备也可以在接收到各子视频的全部图像之后，再依次对各帧图像进行色彩对齐处理。这种情况下，电子设备对针对各帧图像进行色彩对齐处理的方案可以具体包括：

在至少两个摄像头采集到第j帧图像后，采用第j-1帧图像对第j帧图像进行色彩对齐；其中，j≥1，j为整数；

其中，子视频中的图像是经过色彩对齐的图像。

具体进行色彩对齐处理的过程如图11所示，第一摄像头采集的第一子视频和第二 摄像头采集的第二子视频的相邻帧时间相差且第二摄像头在第一摄像头之后启动拍 摄。当前时刻最新的帧为第一子视频的A2帧，曝光时刻，算法的目标为输出针对在曝光时 刻+采集的第二子视频的B2帧图像的色彩迁移参数。

电子设备可以利用预先训练好的色彩对齐模型来获取各帧图像相对于前一帧图像的色彩迁移参数。例如，电子设备将第j帧图像和第j-1帧图像输入预先训练好的色彩对齐模型，得到第j帧图像的色彩对齐矩阵；其中，色彩对齐模型具备基于一个正样本图像和一个负样本图像得到这两个图像的色彩对齐模型的能力；

基于第j帧图像的色彩对齐矩阵对第j帧图像进行色彩对齐。

电子设备可以预先获取多组样本图像，每组样本图像包括一个正样本图像、一个负样本图像和一个样本色彩对齐矩阵，样本色彩空间矩阵具备消除负样本图像与正样本图像在色彩空间上的差异的能力。样本准备好之后，电子设备将每组样本图像中的正样本图像和负样本图像作为输入样本，样本色彩对齐矩阵作为输出样本，训练色彩对齐模型。

具体的，电子设备将曝光时刻的A2帧图像和曝光时刻+的B2帧图像输入色彩 迁移模型，以使得色彩迁移模型输出A2帧图像相对于B2帧图像的色彩迁移参数。利用此色 彩迁移参数矫正B2帧图像的色彩，矫正后的B2帧图像与A2帧图像的色彩较为接近。例如图 10所示，（a）为A2帧图像，（b）进行色彩矫正之前的B2帧图像，（c）利用色彩迁移参数矫正色 彩之后的B2帧图像。

此外，考虑到各帧图像的像素数据较多，为提高处理速度，电子设备还可以增设下 采样技术，以均匀、有效地减少运算量。如图11所示，电子设备在将曝光时刻的A2帧图像和 曝光时刻+的B2帧图像输入色彩迁移模型之前，先经过下采样处理，减少输入色彩迁移 模型的数据量，进而减少色彩迁移模型的运算量。在色彩迁移模型输出色彩迁移参数之后， 再通过上采样进行均匀、有效地数据扩充，将上采样之后的色彩迁移参数处理第二子视频 的B2帧图像，实现对该第二子视频的B2帧图像的色彩矫正。

利用基于深度学习的色彩迁移模型对于较短时间内摄像头运动所带来的像素位移较为鲁棒，提高合成视频的色彩一致性。

经过上述的空间对齐处理和色彩迁移处理，即可实现不同摄像头采集的图像的对齐处理。最后，将不同摄像头采集的全部子视频中的各帧图像按照曝光时刻排序，即可得到帧率增强的合成视频。

需要说明的是，上述实施方式提供的视频获取方法，是以联合拍摄的多个摄像头来自不同的电子设备，且多设备联合在线拍摄获取合成视频的场景来举例的。在其他实施方式中，还可能存在参与联合拍摄的多个摄像头来自同一电子设备的情况，那么前述实施方式中准备阶段的多设备时间同步的操作就无需执行。另外，在其他实施方式中，还可能存在离线合成帧率增强的合成视频的情况，那么前述方式中的准备阶段就无需执行，只需要按照各摄像头的曝光顺序进行排序，且将各子视频的图像进行空间对齐处理和色彩迁移处理后进行排序合成即可。

上述实施方式从电子设备的内部算法方面解释了视频获取方法的具体实现方案。下面将从外部的终端界面方面和从外部界面到内部软件框架的交互方面，来解释视频获取方法的具体实现方案。

前述图4和图5所示的界面，电子设备在系统配置的相机应用内增设联合拍摄模式，在该联合拍摄模式下执行本申请实施例提供的视频获取方法。在另一种实施方式中，电子设备上还可以安装有视频获取应用，用户可以通过在该视频获取应用上进行触控操作来控制电子设备执行视频获取方法，其相关界面可以如图12所示。

具体的，如图12中的（a）所示，电子设备的桌面上可以安装有视频获取应用，用户可以通过点选该视频获取应用的图标，进入该视频获取应用，界面可以如图12中的（b）所示，视频获取应用可以提供在线拍摄合成和离线合成这两种视频获取方案。用户点击在线拍摄合成控件，电子设备的界面切换为图12的（c），在线拍摄合成选项可以包括本端设备联合拍摄和其他设备联合拍摄。其中，本端设备联合拍摄是指电子设备装配的至少两个摄像头联合拍摄，其他设备联合拍摄则是指电子设备的摄像头与其他设备的摄像头联合拍摄。

电子设备在检测到作用于其他设备联合拍摄控件的触控操作时，可以切换为如图12的（d）所示的界面，分别包括本端摄像头选择控件和其他设备摄像头选择控件。当然，电子设备也可以直接切换为如图13的（a）所示的界面，同时提供本端摄像头选择控件和其他设备摄像头选择控件。如图13的（a）所示，电子设备的界面显示能够参与联合拍摄的全部摄像头的摄像头标识，包括本端摄像头和其他设备摄像头，供用户选择。用户通过在摄像头标识施加触控操作选择参与联合拍摄的摄像头，电子设备控制被选中的摄像头进入准备阶段和联合异步拍摄阶段，获取子视频并显示，如图13中的（b）所示。当然，电子设备也可以直接显示最终获取的合成视频。

继续如图3所示的交互场景图中，电子设备100联合第一设备200进行联合拍摄，参与联合拍摄的可以是电子设备100中的后摄像头模组110中的至少一个摄像头，与第一设备200的后摄像头模组210中的至少一个摄像头。该第一设备200可以也安装有视频获取应用，打开视频获取应用与第一电子设备100进行联合拍摄。在其他实施方式中，第一设备200也可以不安装视频获取应用或者不打开视频获取应用，电子设备100通过无线网络或者蓝牙信道与第一设备200传输控制指令，第一设备200通过无线网络或者蓝牙信道向第一电子设备100发送子视频。下面将针对电子设备的视频获取应用的软件框架及内部流程进行详细解释。

如图14所示为本申请实施例提供的电子设备的软件框架示意图。从电子设备的系统层面上，电子设备可以包括应用层、框架层、硬件抽象层和内核层。应用层运行有视频获取应用，框架层运行有通信服务、视频合成服务，硬件抽象层运行有摄像头硬件调用模块，该摄像头硬件调用模块包括接口模块、传感器节点、空间对齐处理模块、色彩迁移处理模块和视频合成模块，配合实现视频获取功能。此外，内核层运行有摄像头驱动和摄像头传感器，基于硬件抽象层的调用，采集图像，并将采集的图像数据返回至硬件抽象层进行处理。电子设备调用自身的多个摄像头进行联合拍摄获取合成视频的过程为：

在应用层，视频获取应用接收用户的触控操作，

提取相关的操作参数，包括但不限于设备标识、摄像头标识、帧率等操作参数。视频获取应用将提取的操作参数发送至框架层。

在框架层，视频合成服务接收操作参数，依据操作参数生成视频获取请求，该视频获取请求指示进行联合异步拍摄，且获取帧率增强的合成视频。视频合成服务将视频获取请求下发至硬件抽象层。通信服务基于视频获取请求，向其他设备发送联合异步拍摄要求，接收其他设备返回的参与联合异步拍摄的指示。此外，通信服务还可以执行发送异步拍摄时序给参与联合异步拍摄的其他设备，以及接收其他设备发送的子视频等操作。

在硬件抽象层，接口模块将所接收的视频获取请求转发至传感器节点，由传感器节点确定调用的摄像头传感器1-I及各摄像头传感器关联的摄像头驱动1-I。传感器节点调用各摄像头传感器对应的摄像头驱动，驱动对应的摄像头传感器按照确定的摄像头曝光时刻序列进行曝光，采集图像。

摄像头驱动将摄像头传感器采集的图像数据发送至硬件抽象层，依次经过空间对齐处理模块进行空间对齐处理、色彩迁移处理模块的色彩迁移处理和视频合成模块的图像排序处理得到合成视频。经由视频合成模块生成的合成视频上传至视频合成服务，再由视频合成服务发送至视频获取应用显示最终获取的合成视频。至此，即为完成了增强帧率的合成视频的获取操作。

上述场景中多设备的多摄像头联合异步拍摄的方案，用户无需获取专业的摄像设备，利用两个帧率较低的摄像头所属的电子设备即可联合拍摄获取帧率较高的合成视频。

下面将结合附图，介绍本申请实施例提供的视频获取方法对应的终端界面及视频获取系统的其他交互场景。

场景二，视频获取系统仅包括一个电子设备，一个电子设备包括至少两个摄像头。电子设备应用本申请实施例提供的视频获取方法，控制至少两个摄像头来联合异步拍摄，得到帧率更高的合成视频。

如图15所示，电子设备装配至少两个摄像头。图15中的（a）所示为电子设备100的前摄像头模组120的结构示意图，（b）为电子设备100的后摄像头模组110的结构示意图。电子设备100的前摄像头模组120可以包括至少两个摄像头，例如前主摄像头、微距摄像头等。电子设备100的后摄像头模组110可以包括至少两个摄像头，例如后主摄像头、广角摄像头、长焦摄像头、景深摄像头等。

电子设备100的前摄像头模组120中，至少两个前摄像头装配在同一固定面上，且朝向一致，拍摄视野会有较大范围的重合且保持相对不变，可以用于采集同一场景的视频。另外，电子设备100的后摄像头模组110中，至少两个后摄像头装配在同一固定面上，朝向也一致，拍摄视野也会有较大范围的重合且保持相对不变，也可以用于采集同一场景的视频。电子设备可以通过联合至少两个前摄像头，或者联合至少两个后摄像头来拍摄同一场景的视频，以得到帧率更高的合成视频。

需要说明的是，由于电子设备上的前摄像头和后摄像头的装配位置相对固定，且视野范围几乎完全不重合。若采用同一个电子设备的前摄像头和后摄像头来联合拍摄，可能无法采集到对应同一场景的有效视频，但可以采用不同电子设备的前摄像头和后摄像头来联合拍摄，只要能保证不同电子设备的前摄像头和后摄像头的视野相同或者相近即可。

在图12中的（c）所示的界面中，除了其他设备联合拍摄模式外，还有本端设备联合拍摄模式，也就是说电子设备自身装配的多个摄像头可以联合拍摄。电子设备在检测到作用于本端设备联合拍摄控件的触控操作后，可以切换为图16的（a）所示的界面，显示在本端设备联合拍摄选项下的摄像头选择控件和增强帧率选择控件。其中，摄像头选择控件用于供用户选择此次进行联合拍摄的摄像头，增强帧率选择控件则用于供用户选择此次指示合成的视频的增强帧率。

电子设备的摄像头选择控件在检测到触控操作后，可以切换为图16的（b）所示的界面，供用户选择是前摄像头联合还是后摄像头联合。若用户点击后摄像头联合控件，如图16的（c）所示，可以进一步提供可选择的全部后摄像头的摄像头标识。用户可以在摄像头选择界面内选择至少两个摄像头进行联合拍摄，例如用户可以选择后摄1和后摄3进行联合拍摄。之后，电子设备控制后摄1和后摄3进入准备阶段和联合异步拍摄阶段，如图16中的（d），电子设备的界面就可以显示该两个摄像头拍摄的子视频的图像。当然，电子设备也可以直接显示最终获取的合成视频的图像。

电子设备的帧率增强选择控件若检测到触控操作，可以切换为图17所示的界面，供用户选择期待合成视频的增强帧率。之后，电子设备根据用户选择的摄像头和增强帧率为各摄像头排序并确定曝光时刻序列，控制各摄像头按照曝光时刻序列依次曝光采集图像，并获取最终的合成视频。

场景三、视频获取系统包括一个电子设备和至少一个摄像设备，该电子设备的摄像头和至少一个摄像设备的摄像头联合拍摄。

本实施例中，与电子设备的摄像头参与联合异步拍摄的第一设备，为至少一个摄像设备，摄像设备可以为数码单反相机、微型数码单反相机等。如图18所示，第一电子设备100的摄像头110和第一摄像设备300的摄像头联合拍摄，由第一电子设备100作为主设备来主控联合拍摄和合成视频的流程，第一摄像设备300可以不安装视频获取应用，通过无线网络或者蓝牙信道与第一电子设备100进行控制指令和数据收发。这样，用户就可以用自己的手机和相机联合拍摄得到帧率增强的视频。

场景四、视频获取系统包括一个电子设备和至少两个摄像设备，该电子设备控制至少两个摄像设备联合拍摄，将至少两个拍摄设备拍摄的视频合成高帧率视频。本实施方式中，电子设备不一定要安装有摄像头，电子设备的摄像头也不一定要参与联合异步拍摄，电子设备作为主设备执行本申请实施例提供的视频获取方法的处理操作即可。

如图19所示，第二拍摄设备400的摄像头和第三拍摄设备500的摄像头联合拍摄，第一电子设备100作为主设备，主控联合拍摄和合成视频的流程，第二拍摄设备400和第三拍摄设备500可以不安装视频获取应用，通过无线网络或者蓝牙信道与第一电子设备100进行控制指令和数据收发。

综上，针对现有的普通电子设备的摄像头支持帧率受限的情况，利用多摄像头协同异步拍摄，对异步拍摄所得的视频进行后期处理和匹配，可实现对原有拍摄帧率的倍数级增强。这样，一般的支持视频拍摄与设备端计算功能的智能拍摄设备（如智能手机等）即满足要求。所得的高帧率视频的每一帧均为真实拍摄所得图像，可保证视频具备更真实自然的视频效果。另外，本申请实施例提供的视频获取方法，可以支持离线和在线实时帧率增强，具备广泛的应用性。

此外，本申请实施例还提供一种电子设备，包括摄像头、存储器和处理器，摄像头和存储器与处理器耦合；

存储器存储计算机执行指令；

处理器执行存储器存储的计算机执行指令，使得电子设备执行上述实施例提供的视频获取方法。除此部分主要器件之外，电子设备还包括用于实现基础功能的元器件，下面将结合图20进行具体说明。

如图20所示为本申请实施例提供的一种电子设备2000的结构示意图。其中，电子设备2000可以包括处理器2010，存储器2020，摄像头2030，显示器2040，通信模块2050，传感器2060等。其中传感器2060可以包括陀螺仪传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，触摸传感器，环境光传感器等。

本发明实施例示意的结构并不构成对电子设备2000的限定。可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器2010可以包括一个或多个处理单元。例如，处理器2010可以包括应用处理器（Application Processor，AP)，调制解调处理器，图形处理器（Graphics ProcessingUnit，GPU），图像信号处理器（Image Signal Processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器（Digital Signal Processor，DSP），基带处理器，和/或神经网络处理器（Neural-Network Processing Unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

上述控制器可以是指挥电子设备2000的各个部件按照指令协调工作的决策者。是电子设备2000的神经中枢和指挥中心。控制器根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器2010中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器2010中的存储器为高速缓冲存储器，可以保存处理器2010刚用过或循环使用的指令或数据。如果处理器2010需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器2010的等待时间，因而提高了系统的效率。

在一些实施例中，处理器2010可以包括接口。接口可以包括集成电路（Inter-Integrated Circuit，I2C）接口，集成电路内置音频（Inter-Integrated Circuit Sound，I2S）接口，脉冲编码调制(Pulse Code Modulation，PCM)接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（Mobile Industry Processor Interface，MIPI），通用输入输出（General-PurposeInput/Output，GPIO）接口，SIM接口，和/或USB接口等。

本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备2000的结构限定。电子设备2000可以采用本发明实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备还可以包括充电管理模块、电源管理模块和电池，配合为电子设备充电，为电子设备内的各功能模块提供电源信号。

电子设备2000的无线通信功能可以通过天线，天线，射频模块，通信模块2050，调制解调器以及基带处理器等实现。

天线和天线用于发射和接收电磁波信号。电子设备2000中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将蜂窝网天线复用为无线局域网分集天线。在一些实施例中，天线可以和调谐开关结合使用。

调制解调器可以包括调制器和解调器。在一些实施例中，调制解调器可以独立于处理器2010，与射频模块或其他功能模块设置在同一个器件中。

通信模块2050可以提供应用在电子设备2000上的包括无线局域网（WirelessLocal Area Networks，WLAN)（如无线保真（Wireless Fidelity，Wi-Fi）网络），个人热点，蓝牙（Blue Tooth，BT），全球导航卫星系统(Global Navigation Satellite System，GNSS)，调频（Frequency Fodulation，FM)，近距离无线通信技术(Near FieldCommunication，NFC)，红外技术（InFrared，IR）等无线通信的解决方案的通信处理模块。通信模块2050可以是集成至少一个通信处理模块的一个或多个器件。

在一些实施例中，电子设备2000的天线和射频模块耦合，天线和通信模块2050耦合，使得电子设备2000可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统（Global System for Mobile communications，GSM)，通用分组无线服务(General Packet Radio Service，GPRS)，码分多址接入（Code DivisionMultiple Access，CDMA)，宽带码分多址(Wideband Code Division Multiple Access，WCDMA)，时分码分多址（Time-Division Code Division Multiple Access，TD-SCDMA），长期演进(Long Term Evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。GNSS可以包括全球卫星定位系统（satellite based Augmentation Systems，SBAS），全球导航卫星系统（GLObal NavigAtion Satellite System，GLONASS)，北斗卫星导航系统（BeiDounavigation Satellite system，BDS)，准天顶卫星系统（Quasi-Zenith SatelliteSystem，QZSS）和/或星基增强系统（Satellite Based Augmentation Systems，SBAS）。

电子设备2000通过GPU，显示器2040，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示器2040和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器2010可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示器2040用于显示图像，视频等。显示器2040包括显示面板。显示面板可以采用液晶显示器（Liquid Crystal Display，LCD），有机发光二极管（Organic Light-EmittingDiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（Active-Matri20Organic Light Emitting Diode，AMOLED），柔性发光二极管（Fle20 Light-EmittingDiode，FLED)，Miniled，MicroLED，Micro-OLED，量子点发光二极管（Quantum dot LightEmitting Diodes，QLED)等。在一些实施例中，电子设备2000可以包括1个或N个显示器2040，N为大于1的正整数。

电子设备2000可以通过ISP，摄像头2030，视频编解码器，GPU，显示器以及应用处理器等实现拍摄功能。ISP 用于处理摄像头2030反馈的数据。

摄像头2030用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（Charge Coupled Device，CCD）或互补金属氧化物半导体（Complementary Metal-O20ide-Semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备2000可以包括1个或N个摄像头2030，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备2000在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备2000可以支持一种或多种视频编解码器。这样，电子设备2000可以播放或录制多种编码格式的视频，例如：动态图像专家组（Moving Picture E20perts Group，MPEG）1，MPEG2，MPEG20，MPEG4等。

存储器2021可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器2010通过运行存储在内部存储器2021的指令，从而执行电子设备2000的各种功能应用以及数据处理。存储器2021可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备2000使用过程中所创建的数据（比如音频数据，电话本等）等。此外，存储器2021可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，其他易失性固态存储器件，通用闪存存储器（Universal FlashStorage，UFS）等。

电子设备2000可以通过音频模块，扬声器，受话器，麦克风，耳机接口，以及应用处理器等实现音频功能。例如音乐播放，录音等。

电子设备还可以包括按键，如开机键，音量键等。按键可以是机械按键。也可以是触摸式按键。电子设备2000接收按键输入，产生与电子设备2000的用户设置以及功能控制有关的键信号输入。

电子设备还可以包括马达，马达可以产生振动提示。马达可以用于触摸振动反馈。例如，作用于不同应用（例如拍照，音频播放等）的触摸操作，可以对应不同的振动反馈效果。作用于显示器2040不同区域的触摸操作，也可对应不同的振动反馈效果。不同的应用场景（例如：时间提醒，接收信息，闹钟，游戏等）也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

前述实施例中的视频获取方法均可以在具有上述硬件结构的电子设备2000中实现。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述实施例提供的视频获取方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行如上述实施例提供的视频获取方法。

本申请实施例提供的电子设备、计算机可读存储介质，和包含指令的计算机程序产品的具体实施方式及其所带来的技术效果，可参见前述实施例提供的视频获取方法的具体实施过程及其所带来的技术效果，此处不再赘述。

在一些实施例中，通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种视频获取方法，其特征在于，应用于电子设备，所述视频获取方法包括：

获取至少两个子视频；其中，所述至少两个子视频是由所述至少两个摄像头拍摄同一场景得到的，所述至少两个摄像头针对所述场景拍摄所述至少两个子视频时异步交错曝光；

按照所述至少两个子视频中各帧图像的曝光时刻的先后顺序，采用第i帧图像的前序图像对第i帧图像进行空间对齐处理，合成空间对齐处理后的所述至少两个子视频得到合成视频；其中，所述前序图像包括所述至少两个摄像头采集的图像中、曝光时刻距离所述第i帧图像的曝光时刻最近的n帧图像，n≥1，n为整数；其中，所述合成视频中各帧图像的曝光时间均不相同，且所述合成视频的帧率大于所述至少两个子视频中每个子视频的帧率。

2.根据权利要求1所述的视频获取方法，其特征在于，所述获取至少两个子视频的步骤，包括：

控制所述至少两个摄像头异步交错曝光采集图像，得到对应的子视频。

3.根据权利要求2所述的视频获取方法，其特征在于，所述控制所述至少两个摄像头异步交错曝光采集图像的步骤，包括：

获取所述至少两个摄像头支持的帧率，基于所述至少两个摄像头支持的帧率配置所述至少两个摄像头的异步曝光时刻序列；其中，所述异步曝光时刻序列指示每个摄像头的首帧曝光时刻，不同摄像头的首帧曝光时刻不同；所述异步曝光时刻序列还指示每个摄像头的实际拍摄帧率，使得所述至少两个摄像头异步交错曝光；或者，所述异步曝光时刻序列指示所述至少两个摄像头中每个摄像头的每帧曝光时刻，使得所述至少两个摄像头异步交错曝光；

控制所述至少两个摄像头按照所述异步曝光时刻序列采集图像。

4.根据权利要求3所述的视频获取方法，其特征在于，所述控制所述至少两个摄像头按照所述异步曝光时刻序列采集图像的步骤，还包括：

在所述至少两个摄像头采集到第i帧图像后，采用前序图像对第i帧图像进行空间对齐处理；

其中，所述子视频中的图像是经过空间对齐处理的图像。

5.根据权利要求4所述的视频获取方法，其特征在于，所述采用前序图像对第i帧图像进行空间对齐处理的步骤，包括：

将所述前序图像输入预先训练好的空间对齐模型，得到第i帧图像的空间对齐矩阵；其中，所述空间对齐模型具备基于一个正样本图像和一个负样本图像得到这两个图像的空间对齐矩阵的能力；

基于所述第i帧图像的空间对齐矩阵对所述第i帧图像进行空间对齐处理。

6.根据权利要求5所述的视频获取方法，其特征在于，在所述将所述前序图像输入预先训练好的空间对齐模型，得到第i帧图像的空间对齐矩阵的步骤之前，所述方法还包括：

获取多组样本图像，每组样本图像包括一个正样本图像、一个负样本图像和一个样本空间对齐矩阵，所述样本空间对齐矩阵具备消除所述负样本图像与所述正样本图像在像素维度的空间偏移的能力；

将所述每组样本图像中的所述正样本图像和所述负样本图像作为输入样本，所述样本空间对齐矩阵作为输出样本，训练所述空间对齐模型。

7.根据权利要求5所述的视频获取方法，其特征在于，所述基于所述第i帧图像的空间对齐矩阵对所述第i帧图像进行空间对齐处理的步骤，包括：

若所述第i帧图像的空间对齐矩阵与参考对齐矩阵的差异小于预设差异，则基于所述第i帧图像的空间对齐矩阵对所述第i帧图像进行空间对齐处理；其中，所述参考对齐矩阵包括采集所述第i帧图像的摄像头相对于采集所述前序图像的摄像头的参考空间对齐矩阵。

8.根据权利要求7所述的视频获取方法，其特征在于，所述基于所述第i帧图像的空间对齐矩阵对所述第i帧图像进行空间对齐处理的步骤，还包括：

若所述第i帧图像的空间对齐矩阵与所述参考对齐矩阵的差异大于或等于所述预设差异，则基于第i-1帧图像的空间对齐矩阵对所述第i帧图像进行空间对齐处理。

9.根据权利要求7或8所述的视频获取方法，其特征在于，在所述获取至少两个子视频的步骤之前，所述方法还包括：

控制所述至少两个摄像头同步曝光分别采集至少一帧图像；

根据所述至少两个摄像头中每两个摄像头同步采集的图像，获取所述参考对齐矩阵。

10.根据权利要求2-8中任一项所述的视频获取方法，其特征在于，所述按照所述至少两个子视频中各帧图像的曝光时刻的先后顺序，合成所述至少两个子视频得到合成视频，包括：

按照所述至少两个子视频中各帧图像的曝光时刻的先后顺序，采用第j-1帧图像对第j帧图像进行色彩对齐处理，并合成色彩对齐后的至少两个子视频得到合成视频。

11.根据权利要求2-8中任一项所述的视频获取方法，其特征在于，所述控制所述至少两个摄像头按照所述异步曝光时刻序列采集图像的步骤，还包括：

在所述至少两个摄像头采集到第j帧图像后，采用第j-1帧图像对第j帧图像进行色彩对齐处理；其中，j≥1，j为整数；

其中，所述子视频中的图像是经过色彩对齐处理的图像。

12.根据权利要求10所述的视频获取方法，其特征在于，所述采用第j-1帧图像对第j帧图像进行色彩对齐，并合成色彩对齐处理后的至少两个子视频得到合成视频的步骤，包括：

将所述第j帧图像和所述第j-1帧图像输入预先训练好的色彩对齐模型，得到所述第j帧图像的色彩对齐矩阵；其中，所述色彩对齐模型具备基于一个正样本图像和一个负样本图像得到这两个图像的色彩对齐模型的能力；

基于所述第j帧图像的色彩对齐矩阵对所述第j帧图像进行色彩对齐处理。

13.根据权利要求12所述的视频获取方法，其特征在于，所述将所述第j帧图像和所述第j-1帧图像输入预先训练好的色彩对齐模型，得到所述第j帧图像的色彩对齐矩阵的步骤之前，所述方法还包括：

获取多组样本图像，每组样本图像包括一个正样本图像、一个负样本图像和一个样本色彩对齐矩阵，所述样本色彩空间矩阵具备消除所述负样本图像与所述正样本图像在色彩空间上的差异的能力；

将所述每组样本图像中的所述正样本图像和所述负样本图像作为输入样本，所述样本色彩对齐矩阵作为输出样本，训练所述色彩对齐模型。

14.根据权利要求1-8、12或13中任一项所述的视频获取方法，其特征在于，至少两个所述摄像头均装配于所述电子设备的同一表面。

15.根据权利要求1-8、12或13中任一项所述的视频获取方法，其特征在于，所述至少两个摄像头中的至少部分摄像头或者全部摄像头装配于第一设备上，所述第一设备与所述电子设备通信连接；其中，所述第一设备不同于所述电子设备。

16.根据权利要求15所述的视频获取方法，其特征在于，所述第一设备为手机、卡片相机、数码单反相机、微型可换镜头式单镜头数码相机中的至少一种。

17.根据权利要求2所述的视频获取方法，其特征在于，所述控制所述至少两个摄像头异步交错曝光采集图像的步骤，包括：

响应于第一操作，显示查找摄像头的提示信息；所述第一操作为作用于相机应用内的联合拍摄控件的触控操作；

响应于第二操作，根据选择的至少两个摄像头生成异步曝光时刻序列；所述第二操作为作用于所述提示信息的触控操作，所述第二操作用于指示选择的至少两个摄像头；

控制所述至少两个摄像头按照所述异步曝光时刻序列，异步交错曝光采集图像。

18.一种电子设备，其特征在于，包括存储器和处理器，所述存储器与所述处理器耦合；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得电子设备执行如权利要求1-17中任一项所述的视频获取方法。

19.根据权利要求18所述的电子设备，其特征在于，还包括摄像头，所述摄像头与所述存储器和所述处理器耦合。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1-17中任一项所述的视频获取方法。