CN116405782A - 全景图像生成方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种全景图像生成方法、装置、计算机设备和存储介质。所述方法包括：获取多个初始图像帧，并根据各初始图像帧生成目标全景图像，其中，各初始图像帧是设置于云台上的拍摄设备在云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧。采用本方法能够简化用户操作过程。

Description

全景图像生成方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像技术领域，特别是涉及一种全景图像生成方法、装置、计算机设备和存储介质。

背景技术

全景图像由于能够展示出更多周围环境，其越来越广泛地应用于生活中。目前，用户为了得到全景图像，通常会利用拍摄设备，例如利用手机上的摄像头拍摄多个角度的大量图像，再将拍摄到的大量图像输入软件合成全景图像。

然而，目前在生成全景图像的过程中，存在用户拍摄大量图像的操作过程比较繁琐的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

基于此，有必要针对上述技术问题，提供一种能够简化用户操作过程的全景图像生成方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种全景图像生成方法。该方法包括：

获取多个初始图像帧；各该初始图像帧是设置于云台上的拍摄设备在该云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧；

根据各该初始图像帧生成目标全景图像。

第二方面，本申请还提供了一种拍摄设备。该拍摄设备为非全景拍摄设备，且，该拍摄设备的视场角小于180°；

该拍摄设备，用于在云台按照预设路径转动的过程中拍摄多个拍摄角度的多个初始图像帧，并向处理器发送该多个初始图像帧，以由该处理器根据各该初始图像帧生成目标全景图像。

第三方面，本申请一种全景图像生成系统，该全景图像生成系统包括处理器、如上述该的拍摄设备以及与该拍摄设备连接的云台；

该云台，用于按照预设路径转动；

该处理器，用于执行上述任一项所述的方法。

第四方面，本申请还提供了一种全景图像生成装置，该装置包括：

获取模块，用于获取多个初始图像帧；各该初始图像帧是设置于云台上的拍摄设备在该云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧；

生成模块，用于根据各该初始图像帧生成目标全景图像。

第五方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。

第六方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。

第七方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。

上述全景图像生成方法、装置、计算机设备和存储介质，通过获取多个初始图像帧，从而能够根据各初始图像帧生成目标全景图像。由于各初始图像帧是设置于云台上的拍摄设备在云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧，因此，拍摄设备在云台转动的过程中就可以拍摄到多个初始图像帧，进而获取到多个初始图像帧后，就可以生成目标全景图像。在本实施例生成目标全景图像的过程中，无需用户手动拍摄多个角度的大量图像，因此避免了目前生成全景图像的过程中操作过程比较繁琐的问题。

附图说明

图1为本申请实施例中全景图像生成方法的应用环境图；

图2为本申请实施例中全景图像生成方法的流程示意图；

图3为本申请实施例中预设路径的示意图；

图4为本申请实施例中一种生成目标全景图像的原理示意图；

图5为本申请实施例中又一种生成目标全景图像的流程示意图；

图6为相邻两个初始图像帧中重叠区域的坐标示意图；

图7为本申请实施例中一种确定初始映射信息的流程示意图；

图8为本申请实施例中又一种确定初始映射信息的流程示意图；

图9为本申请实施例中又一种生成目标全景图像的流程示意图；

图10为本申请实施例中一种确定参考图像和待对齐图像的流程示意图；

图11为本申请实施例中一种确定目标映射信息的流程示意图；

图12为本申请实施例中一种确定控制点的流程示意图；

图13为本申请实施例中又一种生成目标全景图像的流程示意图；

图14为掩膜信息的示意图；

图15为本申请实施例中又一种生成目标全景图像的流程示意图；

图16为本申请实施例中又一种生成目标全景图像的流程示意图；

图17为本申请实施例中又一种生成目标全景图像的流程示意图；

图18为本申请实施例中又一种生成目标全景图像的流程示意图；

图19为本申请实施例中一种得到第二增益图像的流程示意图；

图20为本申请实施例中一种生成第二全景图像的流程示意图；

图21为本申请实施例中两端拓展的示意图；

图22为一种底部盲区的示意图；

图23为本申请实施例中又一种生成目标全景图像的流程示意图；

图24为本申请实施例中又一种得到目标全景图像的流程示意图；

图25为本申请实施例中一种填充处理的效果示意图；

图26为一种赤道拼接的示意图；

图27为本申请实施例中赤道拼接的流程示意图；

图28为本申请实施例中顶部拼接或底部拼接的流程示意图；

图29为顶部画面畸变的示意图；

图30为顶部拼接后的效果示意图；

图31为本申请实施例中两侧拼接的流程示意图；

图32为本申请实施例中一种目标全景图像的示意图；

图33为拍摄设备的使用示意图；

图34为本申请实施例中全景图像生成装置的结构框图；

图35为本申请实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

目前，用户为了得到全景图像，通常会利用拍摄设备，例如利用手机上的摄像头拍摄多个角度的大量图像，再将拍摄到的大量图像输入软件合成全景图像。然而，目前在生成全景图像的过程中，存在用户拍摄大量图像的操作过程比较繁琐的问题。基于此，有必要针对上述技术问题，提供一种能够简化用户操作过程的全景图像生成方法，下述将对该全景图像生成方法进行介绍。

为了更清楚地对本申请中的全景图像生成方法进行解释，首先介绍如下概念。

云台，指用于安装、固定手机、相机、摄像机等拍摄设备的支撑设备，且至少能够在一个自由度上进行转动。

视场角(Field of view，Fov)，指拍摄设备中镜头的一个参数，fov越大，拍摄设备所能拍摄到的画面范围就越大。

欧拉角，用于拍摄设备随着云台的转动情况。欧拉角包括翻滚角(roll)、俯仰角(pitch)和偏航角(yaw)。其中，以视点为原点，水平方向定义为X轴，竖直方向定义为Y轴，垂直于X轴和Y轴定义为X轴，则翻滚角指示云台的沿Z轴的旋转程度，俯仰角指示云台的沿Y轴的旋转程度，偏航角指示云台的沿X轴的旋转程度。

全景图像，也可称为也即球形全景图像，指展开时宽高比为2:1的图片，其一般是由多张图像帧拼接得到。全景图像按照经纬展开法，全景图像的宽包括纬度0-2π，全景图像的高包括经度0-π。也就是说，全景图像能够记录水平360°以及俯仰180°的全部信息。

图1为本申请实施例中全景图像生成方法的应用环境图，如图1(a)和(b)所示，云台101外接其他的拍摄设备102。拍摄设备102主要用于对场景中的对象或环境等进行拍摄，获得相应的多帧图像；拍摄设备102可以是相机、摄像头、带摄像头的手机等等。在云台101通过电机转动的过程中，可以带动拍摄设备102的转动，从而拍摄不同视角的多帧图像。

另外，拍摄设备102中可以内置计算机设备(图中为示出)，其可以是计算机设备103还可以是中央处理器(Central Processing Unit，CPU)，还可以包括数字信号处理器(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件。计算机设备主要对拍摄设备104拍摄的多帧图像进行处理。

可选的，云台101上还可以设置有控制面板103和控制按钮104，控制面板103方便用户对云台101进行操作，控制按钮104方便用户通过云台101向拍摄设备102发送拍摄指令等。

需要说明的是，图1仅示例出了一种可选的应用环境，在一些应用场景中，云台101可以自带拍摄设备102，拍摄设备102还可以与外部的计算机设备连接，外部的计算机设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，便携式可穿戴设备可为智能手表、智能手环、头戴设备等。

图2为本申请实施例中全景图像生成方法的流程示意图，该方法可以应用于图1所示的计算机设备中，在一个实施例中，如图2所示，包括以下步骤：

S201，获取多个初始图像帧；各初始图像帧是设置于云台上的拍摄设备在云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧。

在本实施例中，云台会按照预设路径转动，在云台按照预设路径转动的过程中，与云台连接的拍摄设备也会随着云台转动。进而，拍摄设备就可以拍摄到多个拍摄角度下的多个初始图像帧。其中，拍摄角度包括翻滚角、俯仰角、偏航角中的至少一种角度。进一步地，拍摄设备与计算机设备通信，计算机设备就能够获取到上述的多个初始图像帧。

可选的，云台可以根据预设路径，每转动到一个拍摄角度后，向拍摄设备发送一个拍摄指令，以由拍摄设备拍摄该拍摄角度下的至少一个初始图像帧。进一步可选的，拍摄设备拍摄到该拍摄角度下的至少一个初始图像帧后，可以再向云台返回一个完成指令，以由云台接收到该完成指令后转动到下一个拍摄角度，以此类推，拍摄设备就可以在云台按照预设路径转动的过程中拍摄到多个拍摄角度的初始图像帧。

计算机设备也可以在拍摄设备上提前设置好匹配云台的转动路径的拍摄频率，从而拍摄设备能够根据设定好的拍摄频率，自动地在云台按照预设路径转动的过程中拍摄多个初始图像帧。当然，云台和拍摄设备也可以通过其他工作方式，只要拍摄设备能够在云台按照预设路径转动的过程中拍摄多个初始图像帧即可。

更进一步地，计算机设备可以实时获取拍摄设备拍摄的初始图像帧，也可以是按照一定的周期获取拍摄设备拍摄的初始图像帧。

其中，预设路径可以是计算机设备规划好后发给云台的路径，也可以用户通过计算机设备自定义后发送给云台的路径，还可以是云台自带的预设路径。

示例性地，图3为本申请实施例中预设路径的示意图，虚线为云台的转动路径示意，每个圆点为路径中设定的一个拍摄角度。如图3所示，圆点1～圆点9之间，各行的偏航角相同，各列的俯仰角相同。

如图3(a)和图3(b)所示，云台首先从初始位置转动至圆点1，以使拍摄设备在圆点1对应的拍摄角度下拍摄初始图像帧1，然后，云台按照虚线转动至圆点2，以使拍摄设备在圆点2对应的拍摄角度下拍摄初始图像帧2。以此类推，拍摄设备在圆点1～圆点9对应的拍摄角度下拍摄到初始图像帧1～初始图像帧9。

上述仅列举出了一些预设路径的可选形式，可以理解的是，预设路径也可以先横向转动再纵向转动，也可以先纵向转动再横向转动。在一些实施例中，预设路径也可以是其他形式，只要使得拍摄设备能够在云台的转动过程中拍摄的多个拍摄角度的初始图像帧即可。并且，上述以各拍摄角度仅拍摄1个初始图像帧进行举例，各个拍摄角度下也可以拍摄多个初始图像帧，本实施例均不做限制。

需要说明的是，为了减小后续的工作量且提高生成效率，各初始图像帧的分辨率大小应当保持相同。当然，在一些实施例中，拍摄设备也可以获取不同分辨率或不同尺寸大小的各初始图像帧，计算机设备可以获取到各初始图像帧后对各初始图像帧进行裁剪处理。

S202，根据各初始图像帧生成目标全景图像。

在本实施例中，计算机设备在获取到了多个初始图像帧之后，就可以根据各初始图像帧生成目标全景图像。

由于各初始图像帧是拍摄设备在云台按照预设路径转动的过程中所拍摄的图像帧，因此，计算机设备在获取各初始图像帧时，也能够确定各初始图像帧的拍摄顺序以及拍摄位置。故而，计算机设备就能对各初始图像帧进行投影得到目标全景图像。

可选的，以得到360°全景图像为例，计算机设备可以按照预设好的投影关系，将各初始图像帧投影至2:1的全景展开图中，以得到目标全景图像。其中，预设好的投影关系可以直接根据拍摄设备的焦距、视场角以及拍摄角度等内外参数确定。需要说明的是，此处将各初始图像帧投影至2:1的全景展开图后得到的目标全景图像可以是未展开的球形全景图像，也可以是展开的2:1全景图像。需要说明的是，未展开的球形全景图像是无法在一个平面展示的球形图片，用户可以通过调整视角来观察未展开的球形全景图像。

图4为本申请实施例中一种生成目标全景图像的原理示意图。如图4所示，亮度越大的部分说明有越多的初始图像帧被投影至这里，即越多的初始图像帧在此处重叠，从而最终得到图4所示的目标全景图像。其中，图4中的颜色深浅与亮度大小成反比，也即是，亮度越大的部分颜色越浅。

本实施例提供的全景图像生成方法，通过获取多个初始图像帧，从而能够根据各初始图像帧生成目标全景图像。由于各初始图像帧是设置于云台上的拍摄设备在云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧，因此，拍摄设备在云台转动的过程中就可以拍摄到多个初始图像帧，进而获取到多个初始图像帧后，就可以生成目标全景图像。在本实施例生成目标全景图像的过程中，无需用户手动拍摄多个角度的大量图像，因此避免了目前生成全景图像的过程中操作过程比较繁琐的问题。

进一步地，本实施中由于初始图像帧是在云台转动的过程中就可以自动拍摄到的，因此，本实施例中获取到的初始图像帧，相比于目前用户手动拍摄到的大量图像较为准确，故而也提高了基于初始图像帧生成的目标全景图像的精度。

图5为本申请实施例中又一种生成目标全景图像的流程示意图，参照图5，本实施例涉及的是如何根据各初始图像帧生成目标全景图像的一种可选的实现方式。在上述实施例的基础上，多个初始图像帧中的相邻两个初始图像帧具有重叠区域，上述的S202，根据各初始图像帧生成目标全景图像，包括如下步骤：

S501，根据重叠区域的信息和各初始图像帧，确定各初始图像帧与目标全景图像之间的初始映射信息。

虽然云台的预设路径是提前预设好的，也即，云台转动的角度是设定好的值，但由于机械误差、云台抖动等原因，云台实际的转动会与设定值存在偏差。因此，预设好的投影关系的准确度可能会出现误差，从而按照预设好的投影关系得到的目标全景图像效果也会下降。故而在本实施例中，为了保证生成目标全景图像的精度和效果，多个初始图像帧中的相邻两个初始图像帧具有重叠区域。

需要说明的是，此处的相邻两个初始图像帧指：不同两个连续的拍摄角度下的各初始图像帧。例如，结合图3，拍摄设备在圆点1对应的初始图像帧1与在圆点2对应的初始图像帧2就是相邻两个初始图像帧，也即是，初始图像帧1与初始图像帧2之间具有重叠区域。同理，圆点2对应的初始图像帧2需要与在圆点3对应的初始图像帧3之间具有重叠区域，以此类推。

可选的，计算机设备在获取到各初始图像帧时，由于拍摄顺序与拍摄位置已知，因此也能获取到各初始图像帧之间的相邻关系。

以每个拍摄角度拍摄一张初始图像帧为例，则计算机设备在获取各初始图像帧后，也可以确定并存储各初始图像帧的相邻关系edge_list。

示例地，edge_list＝[(a,b),(b,c),...]，其中，a、b、c、d均是大于等于1的整数，每个括号代表一组两两重叠的相邻的初始图像帧，例如(a,b)表示初始图像帧a与初始图像帧b存在重叠，(b,c)表示初始图像帧b与初始图像帧c存在重叠。

进一步地，由于云台的转动路径是已知的，因此，在拍摄设备拍摄各初始图像帧的过程中，各初始图像帧之间的重叠区域的信息也是能够确定的。

可选的，计算机设备可以确定并存储相邻两个初始图像帧中重叠区域的信息roi_list。

示例地，roi_list＝[((x_a,y_a,w_a,h_a),(x_b,y_b,w_b,h_b)),((x_b,y_b,w_b,h_b),(x_c,y_c,w_c,h_c)),...]。其中，x、y用于表示重叠区域的左上角的坐标在初始图像帧中的坐标；w、h用于重叠区域的宽高相对于初始图像帧宽高的比例。

需要说明的是，仅具有重叠区域的两个相邻的初始图像帧之间是相关的。举个例子，初始图像帧a与初始图像帧b的重叠区域，与初始图像帧b与初始图像帧c的重叠区域并不相关，初始图像帧b与初始图像帧c的重叠区域，与初始图像帧c与初始图像帧d的重叠区域并不相关，以此类推。

具体地，在((x_a,y_a,w_a,h_a),(x_b,y_b,w_b,h_b))中，(x_a,y_a,w_a,h_a0)表示：以初始图像帧a的左上角建立的坐标系为基准，初始图像帧a与初始图像帧b的重叠区域的左上角的横坐标和纵坐标分别为x_a、y_a，初始图像帧a与初始图像帧b的重叠区域的左下角的横坐标和纵坐标分别为w_a、h_a。

(x_b,y_b,w_b,h_b)表示：以初始图像帧b的左上角建立的坐标系为基准，初始图像帧a与初始图像帧b的重叠区域的左上角的横坐标和纵坐标分别为x_b、y_b，初始图像帧a与初始图像帧b的重叠区域的右下角的横坐标和纵坐标分别为w_b、h_b。

举个例子，图6为相邻两个初始图像帧中重叠区域的坐标示意图。如图6所示，初始图像帧a(细虚线)与初始图像帧b(粗虚线)具有重叠区域(斜线)，且，根据云台的转动路径，计算机设备已知初始图像帧a在初始图像帧b的相对位置，且初始图像帧a和初始图像帧b大小相同，重叠区域均占初始图像帧a和初始图像帧b的50％。

则在roi_list中，该重叠区域就可以表示为((0.5,0,0.5,1),(0,0,0.5,1))，也即是初始图像帧a和初始图像帧b的重叠区域分别在初始图像帧a的右半部分与初始图像帧b的左半部分。

进一步地，计算机设备就可以根据重叠区域的信息和各初始图像帧，确定各初始图像帧与目标全景图像之间的初始映射信息。

可选的，计算机设备可以根据各初始图像帧中相邻两个初始图像帧之间的重叠区域，从各初始图像帧中裁剪出重叠区域，并基于重叠区域提取相邻两个初始图像帧之间的相似特征点，并利用相似特征点优化摄影设备的内外参，从而根据摄影设备的内外参数确定各初始图像帧与目标全景图像之间的初始映射信息。其中，初始映射信息用于将各初始图像帧按照拍摄顺序和拍摄位置映射在2:1的全景展开图中，以得到目标全景图像。也就是说，初始映射信息用于指示各初始图像帧投影至目标全景图像的区域。

S502，根据各初始图像帧和初始映射信息生成目标全景图像。

在本实施例中，计算机设备在确定了各初始图像帧与目标全景图像之间的初始映射信息之后，就可以根据各初始图像帧和初始映射信息生成目标全景图像。

可选的，以得到360°全景图像为例，计算机设备可以按照初始映射信息，将各初始图像帧投影至2:1的全景展开图中，得到目标全景图像。计算机设备也可以按照初始映射信息将各初始图像帧投影至2:1的全景展开图中后得到中间全景图像后，对该中间全景图像进行后处理得到目标全景图像，后处理可以包括消色差处理、滤波处理、平滑处理、填充处理、裁剪处理等等，本实施例不做限制。

本实施例根据重叠区域的信息和各初始图像帧，确定各初始图像帧与目标全景图像之间的初始映射信息，并根据各初始图像帧和初始映射信息生成目标全景图像。由于是根据重叠区域的信息和各初始图像帧，确定各初始图像帧与目标全景图像之间的初始映射信息，因此初始映射信息是较为准确地，从而也提高了基于初始图像帧生成的目标全景图像的精度。

图7为本申请实施例中一种确定初始映射信息的流程示意图，参照图7，本实施例涉及的是如何确定各初始图像帧与目标全景图像之间的初始映射信息的一种可选的实现方式。在上述实施例的基础上，上述的S501，根据重叠区域的信息和各初始图像帧，确定各初始图像帧与目标全景图像之间的初始映射信息，包括如下步骤：

S701，根据重叠区域的信息，在第一初始图像帧的重叠区域确定多个第一特征点，并在第二初始图像帧的重叠区域确定多个第二特征点；第一初始图像帧和第二初始图像帧为重叠区域对应的两个初始图像帧。

在本实施例中，在确定初始映射信息时，计算机设备会根据重叠区域的信息，在第一初始图像帧的重叠区域确定多个第一特征点，并在第二初始图像帧的重叠区域确定多个第二特征点。

示例地，假设计算机设备获取到了初始图像帧1～初始图像帧10，且初始图像帧1～初始图像帧10中两两重叠，则计算机设备可以根据相邻两个初始图像帧之间的重叠区域，裁剪出各初始图像帧的重叠区域。

例如，初始图像帧1的右半部分与初始图像帧2的左半部分重叠，则对于初始图像帧1与初始图像帧2之间的重叠区域而言，计算机设备裁剪出初始图像帧1右半部分作为重叠区域1，重叠区域1也即第一初始图像帧的重叠区域，并裁剪出初始图像帧2的左半部分作为重叠区域2，重叠区域2也即第二初始图像帧的重叠区域。

初始图像帧2的右半部分与初始图像帧3的左半部分重叠，则对于初始图像帧3与初始图像帧3之间的重叠区域而言，计算机设备裁剪出初始图像帧2右半部分作为重叠区域3，重叠区域3也即第一初始图像帧的重叠区域，并裁剪出初始图像帧3的左半部分作为重叠区域4，重叠区域4也即第二初始图像帧的重叠区域。

以此类推，计算机设备就可以得到重叠区域1～重叠区域18，也即计算机设备裁剪出了各初始图像帧的重叠区域。换句话说，由于各初始图像帧中相邻两个初始图像帧具有重叠区域，则计算机设备确定出了至少一个第一初始图像帧的重叠区域以及至少一个第二初始图像帧的重叠区域。

在一些实施例中，可选的，计算机设备可以对各初始图像帧进行前处理，例如将各初始图像帧缩小尺寸并转化为灰度图，再基于前处理后的各初始图像帧得到各初始图像帧的重叠区域1～重叠区域18，以减小数据量，并降低处理时间。

进一步地，计算机设备会在第一初始图像帧的重叠区域确定多个第一特征点，并在第二初始图像帧的重叠区域确定多个第二特征点。

继续上述的示例，对于初始图像帧1与初始图像帧2之间的重叠区域而言，计算机设备在第一初始图像帧的重叠区域，也即重叠区域1上确定多个第一特征点，在第二初始图像帧的重叠区域，也即重叠区域2上确定多个第二特征点。

其中，第一特征点和第二特征点的数量可以相同可以不同，且，第一特征点和第二特征点的数量根据需求设置，其取大于1的整数，本实施例中以第一特征点和第二特征点的数量均为500进行举例。

也就是说，本实施例中，计算机设备分别在重叠区域1～重叠区域18取500个特征点。也即是，计算机设备在重叠区域1取500个特征点，在重叠区域1取500个特征点，……，在重叠区域18取500个特征点。

可选的，计算机设备可以在第一初始图像帧的重叠区域上随机采样确定多个第一特征点，计算机设备也可以根据像素特征在第一初始图像帧的重叠区域上采样确定多个第一特征点，当然，计算机设备也可以根据其他方法在第一初始图像帧的重叠区域上确定多个第一特征点，本实施例并不以此为限。第二特征点同理，此处不再赘述。

S702，根据各第一特征点与各第二特征点的相似度，从各第一特征点和各第二特征点中确定多个候选特征点对。

在本实施例中，计算机设备在第一初始图像帧的重叠区域确定多个第一特征点，并在第二初始图像帧的重叠区域确定多个第二特征点之后，就可以根据各第一特征点与各第二特征点的相似度，从各第一特征点和各第二特征点中确定多个候选特征点对。

继续上述S701的示例，对于初始图像帧1与初始图像帧2之间的重叠区域而言，重叠区域1和重叠区域2均包括500个第一特征点，假设在重叠区域1的500个第一特征点存在200个第一特征点，与重叠区域2的500个第二特征点中的对应的200个第二特征点较为相似，则计算机设备将这200个第一对应点和对应的200个第二对应点作为多个候选特征点对。也即是，计算机设备从重叠区域1对应的500个第一特征点和重叠区域2对应的500个第二特征点中，确定了200个候选特征点对。同理，对于每一对相邻两个初始图像帧，计算机设备可以确定出多个候选特征点对。

S703，根据多个候选特征点对以及各初始图像帧，确定初始映射信息。

在本实施例中，在计算机设备确定多个候选特征点对之后，就可以根据多个候选特征点对以及各初始图像帧，确定初始映射信息。

可选的，计算机设备可以根据候选特征点对，对相邻两个初始图像帧，也即第一初始图像帧和第二初始图像帧中的一张进行重投影，进而求解使得第一初始图像帧和第二初始图像帧的候选特征点对在重投影后具有最小的误差时拍摄设备的内外参数，进而根据计算出的拍摄设备的内外参数，确定初始映射信息。

本实施例根据重叠区域的信息，在第一初始图像帧的重叠区域确定多个第一特征点，并在第二初始图像帧的重叠区域确定多个第二特征点，并根据各第一特征点与各第二特征点的相似度，从各第一特征点和各第二特征点中确定多个候选特征点对，从而根据多个候选特征点对以及各初始图像帧，确定初始映射信息。由于第一初始图像帧和第二初始图像帧为重叠区域对应的两个初始图像帧，因此，本实施例能够根据重叠区域的信息和各初始图像帧，确定各初始图像帧与目标全景图像之间的初始映射信息。并且，由于是根据重叠区域的第一特征点和第二特征点确定的初始映射信息，因此，提高了初始映射信息的精度。

图8为本申请实施例中又一种确定初始映射信息的流程示意图，参照图8，本实施例涉及的是如何确定初始映射信息的一种可选的实现方式。在上述实施例的基础上，上述的S703，根据多个候选特征点对以及各初始图像帧，确定初始映射信息，包括如下步骤：

S801，根据第一初始图像帧和第二初始图像帧的变换关系，从多个候选特征点对中确定多个目标特征点对。

在本实施例中，继续上述S702的步骤，计算机设备对于每一对相邻两个初始图像帧，均确定出多个候选特征点对后，就会根据第一初始图像帧和第二初始图像帧的变换关系，从多个候选特征点对中确定多个目标特征点对。

示例地，继续以第一初始图像帧为初始图像帧1，第二初始图像帧为初始图像帧2为例。初始图像帧1和初始图像帧2包括200个候选特征点对1～候选特征点对200。则计算机设备根据初始图像帧1和初始图像帧2中的候选特征点对1确定第一初始图像帧和第二初始图像帧的变换关系1，然后，计算机设备确定出其他候选特征点对中满足该变换关系1的数量。

进一步地，计算机设备根据初始图像帧1和初始图像帧2中的候选特征点对2确定第一初始图像帧和第二初始图像帧的变换关系2，并确定出其他候选特征点对中满足该变换关系2的数量，以此类推，计算机设备找到满足候选特征点对的数量最多时的目标变换关系，并根据该目标特征关系筛选出候选特征点对满足该目标变换关系的目标特征点对。

例如，计算机设备确定候选特征点对1～候选特征点对200满足变换关系5的数量最多，则会根据变换关系5对候选特征点对1～候选特征点对200进行筛选得到目标特征点对1～目标特征点50。

上述以第一初始图像帧为初始图像帧1，第二初始图像帧为初始图像帧2为例，其他初始图像帧同理，计算机设备每一对相邻两个初始图像帧，确定出多个目标特征点对。

在一些实施例中，计算机设备使用随机抽样一致(Random Sample Consensus，RANSAC)方法，确定每一对相邻两个初始图像帧中的目标变换关系，并从多个候选特征点对中筛选符合目标变换关系的多个目标特征点对。

S802，针对第一初始图像帧和第二初始图像帧中多个目标特征点对重投影后的误差，确定目标相机参数。

在本实施例中，从多个候选特征点对中确定多个目标特征点对之后，计算机设备就可以针对第一初始图像帧和第二初始图像帧中多个目标特征点对重投影后的误差，确定目标相机参数。其中，目标相机参数包括拍摄设备的外参以及拍摄设备的内参，拍摄设备的外参包括拍摄设备转动的欧拉角等，拍摄设备的内参包括拍摄设备的视场角、拍摄设备的焦距等。

可选的，计算机设备根据目标特征点对，求解对第一初始图像帧和第二初始图像帧中的一张进行重投影后，各第一初始图像帧和各第二初始图像帧中目标特征点重投影后的误差最小的目标相机参数。

以初始图像帧1～初始图像帧10，重叠区域1～重叠区域18为例，计算机设备从候选相机参数中选择一组相机参数A，利用当前相机参数A对初始图像帧1重新投影得到初始图像帧1*，并重新计算投影后的初始图像帧1与初始图像1*中目标特征点对的误差。同样地，计算机设备利用当前相机参数A对初始图像帧3重新投影得到初始图像帧3*，并重新计算投影后的初始图像帧3与初始图像3*中目标特征点对的误差。以此类推，计算机设备确定相机参数A在所有初始图像帧下的误差总和。进一步地，计算机设备便利所有候选相机参数，直到确定出误差总和最小时的相机参数作为目标相机参数。

S803，根据目标相机参数求解初始映射信息。

在本实施例中，计算机设备确定目标相机参数之后，就可以根据目标相机参数求解初始映射信息。可选的，计算机设备将拍摄设备的欧拉角与相机的焦距作为未知数进行优化求解，得到初始映射信息。

本实施例根据第一初始图像帧和第二初始图像帧的变换关系，从多个候选特征点对中确定多个目标特征点对，进而针对第一初始图像帧和第二初始图像帧中多个目标特征点对重投影后的误差，确定目标相机参数，从而根据目标相机参数求解初始映射信息。由于根据第一初始图像帧和第二初始图像帧的变换关系，对候选特征点进一步筛选得到了目标特征点对，再基于多个目标特征点确定的目标相机参数，因此，本实施例中确定的目标相机参数较为准确，进而初始映射信息也较为准确，最终提高了目标全景图像的精度。

上述S802中得到了较为准确的目标相机参数，进而根据目标相机参数求解初始映射信息，就可以利用初始映射信息，将所有初始图像帧一张一张投影后贴入2:1的全景展开图中，以得到目标全景图像。

但上述过程中，一方面，拍摄设备可能在拍摄的过程中会不可避免发生平移运动，导致当景物较近时会出现明显的视差的情况；另一方面，仍可能存在确定出的目标相机参数出现错误或精度不足的情况。上述的情况都会导致目标全景图像出现错位，所以本申请中还提供了一种局部对齐(以下简称图像对齐)的方法，以下将对本申请中的图像对齐的过程进行介绍。

图9为本申请实施例中又一种生成目标全景图像的流程示意图，参照图9，本实施例涉及的是如何根据各初始图像帧和初始映射信息生成目标全景图像的一种可选的实现方式。在上述实施例的基础上，上述的S302，根据各初始图像帧和初始映射信息生成目标全景图像，包括如下步骤：

S901，根据各初始图像帧和初始映射信息，确定每次图像对齐的参考图像和待对齐图像。

在本实施例中，计算机设备在根据各初始图像帧和初始映射信息生成目标全景图像时，首先会根据各初始图像帧和初始映射信息，确定每次图像对齐的参考图像和待对齐图像。

示例地，假设计算机设备获取到初始图像帧1～初始图像帧10，则计算机设备根据初始映射信息，在第一次图像对齐时，计算机设备将初始图像帧1投影至2:1的全景展开图中后的部分作为参考图像，将初始图像帧2投影至2:1的全景展开图中后的部分作为待对齐图像；在第二次图像对齐时，将初始图像帧2投影至2:1的全景展开图中后的部分作为参考图像，将初始图像帧3投影至2:1的全景展开图中后的部分作为待对齐图像；在第三次图像对齐时，将初始图像帧3投影至2:1的全景展开图中后的部分作为参考图像，将初始图像帧4投影至2:1的全景展开图中后的部分作为待对齐图像。以此类推，直到最后一次图像对齐时，将初始图像帧9投影至2:1的全景展开图中后的部分作为参考图像，将初始图像帧10投影至2:1的全景展开图中后的部分作为待对齐图像。

在一些实施例中，为了减小运算量并提高计算效率，计算机设备可以在小分辨率的2:1的全景展开图中确定每次图像对齐的参考图像和待对齐图像。

需要说明的是，上述以计算机设备按照初始图像帧1～初始图像帧10的顺序逐张确定每次图像对齐的参考图像和待对齐图像。在一些实施例中，计算机设备也可以按照其他顺序确定每次图像对齐的参考图像和待对齐图像，本实施例并不以此为限。

S902，根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各初始图像帧对应的目标映射信息；目标映射信息用于指示各次图像对齐之后各初始图像帧投影至目标全景图像的区域。

在本实施例中，计算机设备会根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理。

其中，目标映射信息也称为map信息，其用于指示各次图像对齐之后各初始图像帧投影至目标全景图像的区域。可以理解的是，初始映射信息仅是根据各初始图像帧估算的一个映射关系，拍摄设备的抖动、云台的转动误差等因素，都会影响初始映射信息的精度，而目标映射信息则经过了图像对齐过程的修正，因此目标映射信息的精度较初始映射信息较高。

进一步地，计算机设备在每一次图像对齐时，会根据当前这一次图像对齐时的参考图像，对当前这一次图像对齐的待对齐图像进行对齐处理。对当前这一次图像对齐时的待对齐图像进行对齐处理之后，计算机设备也得到了当前这一次图像对齐时的待对齐图像的目标映射信息。

需要说明的是，第一次图像对齐时的参考图像的目标映射信息，可以直接根据第一次图像对齐时的参考图像的初始映射信息确定，例如，计算机设备在第一次图像对齐时，直接将参考图像的初始映射信息作为参考图像的目标映射信息。

进一步地，可选的，计算机设备可以在图像对齐之后，对待对齐图像的初始映射信息进行修改，以得到当前次图像对齐时待对齐图像的目标映射信息。计算机设备也可以在图像对齐之后，直接根据待对齐图像在2:1全景图像中的部分确定当前次图像对齐时待对齐图像的目标映射信息。

以第一次图像对齐为例，计算机设备在进行第一次图像对齐时，将初始图像帧1投影至2:1的全景展开图中后的部分作为参考图像，将初始图像帧2投影至2:1的全景展开图中后的部分作为待对齐图像。然后，计算机设备将第一次图像对齐时的参考图像，对第一次图像对齐时的待对齐图像进行对齐处理，对齐处理之后，计算机设备对初始图像帧2的初始映射信息进行修改，以确定初始图像帧2对应的目标映射信息。

其中，对齐处理用于将每次图像对齐的参考图像和待对齐图像的至少一个边进行对齐，对齐处理可以包括拉伸处理、旋转处理、平移处理等等。

S903，根据各初始图像帧以及对应的目标映射信息，生成目标全景图像。

在本实施例中，计算机设备完成每次图像对齐之后，也得到了各初始图像帧对应的目标映射信息。进一步地，计算机设备就可以根据各初始图像帧以及对应的目标映射信息生成目标全景图像。

示例地，计算机设备得到了初始图像帧1～初始图像帧10对应的目标映射信息1～目标映射信息10之后，就可以根据初始图像帧1～初始图像帧10以及初始图像帧1～初始图像帧10对应的目标映射信息1～目标映射信息10，将初始图像帧1～初始图像帧10投影至预设分辨率的2:1的全景展开图中，以得到目标全景图像。预设分辨率可以是用户指定的分辨率，也可以是计算机设备根据自身性能自动确定出的分辨率，本实施例不做限制。

在一些实施例中，计算机设备根据初始图像帧1～初始图像帧10以及对应的目标映射信息1～目标映射信息10，将初始图像帧1～初始图像帧投影至2:1的全景展开图之后，还会对得到的图像进行后处理，从而生成目标全景图像。

本实施例根据各初始图像帧和初始映射信息，确定每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各初始图像帧对应的目标映射信息，从而根据各初始图像帧以及对应的目标映射信息，生成目标全景图像。由于目标映射信息能够指示各次图像对齐之后各初始图像帧投影至目标全景图像的区域，因此，根据每次图像对齐的参考图像的目标映射信息，对对应的待对齐图像进行对齐处理之后，就可以避免目标全景图像中出现拼接错位。

图10为本申请实施例中一种确定参考图像和待对齐图像的流程示意图，参照图10，本实施例涉及的是如何确定每次图像对齐的参考图像和待对齐图像的一种可选的实现方式。在上述实施例的基础上，上述的S901，根据各初始图像帧和初始映射信息，确定每次图像对齐的参考图像和待对齐图像，包括如下步骤：

S1001，利用初始映射信息，将各初始图像帧中的至少两个图像帧投影至第一预设全景图像中，以确定当前次图像对齐的参考图像和待对齐图像。

在本实施例中，计算机设备在根据各初始图像帧和初始映射信息，确定每次图像对齐的参考图像和待对齐图像时，首先利用初始映射信息，将各初始图像帧中的至少两个图像帧投影至第一预设全景图像中，以确定当前次图像对齐的参考图像和待对齐图像。其中，第一预设全景图像也即2:1的全景展开图，其分辨率大小可以是用户设定的，也可以是计算机设备根据预设规则确定的。

以当前次是第一次图像对齐进行举例，计算机设备可以利用初始映射信息，将各初始图像帧中的第一个图像帧投影至小分辨率的2：1全景展开图，并将第一个图像帧投影至小分辨率的2：1全景展开图的部分作为当前次图像对齐的参考图像。进一步地，计算机设备利用初始映射信息，将各初始图像帧的第二个图像帧也投影至上述的小分辨率的2：1全景展开图，并将第二个图像帧投影至该小分辨率的2：1全景展开图的部分作为当前次图像对齐的待对齐图像。

当然，计算机设备也可以利用初始映射信息，从各初始图像帧随机挑选至少两个图像帧投影至第一预设全景图像，以确定当前次图像对齐的参考图像或待对齐图像，或者计算机设备也可以利用初始映射信息，从各初始图像帧中挑选指定区域的至少两个初始图像帧作为当前次图像对齐的参考图像，本实施例不做限制。

S1002，根据当前次图像对齐的参考图像，对对应的待对齐图像进行对齐处理后，将对齐处理后的待对齐图像和上一次图像对齐的参考图像作为下一次图像对齐的参考图像，并根据各初始图像帧和初始映射信息从各初始图像帧中确定下一次图像对齐的待对齐图像。

在本实施例中，假设在第一次图像对齐时，计算机设备将初始图像帧1投影至第一预设全景图像的部分作为参考图像，将初始图像帧2投影至第一预设全景图像的部分作为待对齐图像，则计算机设备就利用第一次图像对齐时的参考图像对对应的待对齐图像进行对齐处理，也即是，根据初始图像帧1投影至第一预设全景图像的部分，对初始图像帧2投影至第一预设全景图像的部分进行对齐处理，第一次图像对齐处理之后，计算机设备也就确定了初始图像帧1的目标映射信息1和初始图像帧2的目标映射信息2。

进一步地，在进行第二次图像对齐时，计算机设备就会将第一次图像对齐之后的参考图像和待对齐图像作为第二次图像对齐时的参考图像，也即是，将初始图像帧1投影至第一预设全景图像的部分，以及图像对齐之后初始图像帧2投影至第一预设全景图像的部分一起作为第二次图像对齐时的参考图像。然后，计算机设备并从各初始图像帧中确定初始图像帧3，并利用初始映射关系，将初始图像帧3投影至第一预设全景图像中的部分作为第二次图像对齐的待对齐图像。更进一步地，计算机设备就继续利用第二次图像对齐时的参考图像，对第二次图像对齐时的待对齐图像进行对齐处理。第二次图像对齐处理之后，计算机设备也就确定了初始图像帧3对应的目标映射信息3。

以此类推，计算机设备根据当前次图像对齐的参考图像，对对应的待对齐图像进行对齐处理后，将对齐处理后的待对齐图像和上一次图像对齐的参考图像作为下一次图像对齐的参考图像，并从各初始图像帧中确定下一次图像对齐的待对齐图像，此处不再赘述。

本实施例利用初始映射信息，将各初始图像帧中的至少两个图像帧投影至第一预设全景图像中，以确定当前次图像对齐的参考图像和待对齐图像，并根据当前次图像对齐的参考图像，对对应的待对齐图像进行对齐处理后，将对齐处理后的待对齐图像和上一次图像对齐的参考图像作为下一次图像对齐的参考图像，并根据各初始图像帧和初始映射信息从各初始图像帧中确定下一次图像对齐的待对齐图像。由于每一次图像对齐时，都是将上一次对齐处理后的待对齐图像和上一次图像对齐的参考图像作为本次的参考图像，因此保证了图像对齐的精度和准确性。

图11为本申请实施例中一种确定目标映射信息的流程示意图，参照图11，本实施例涉及的是如何确定每次图像对齐后，各初始图像帧对应的目标映射信息的一种可选的实现方式。在上述实施例的基础上，上述的S902，根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各初始图像帧对应的目标映射信息，包括如下步骤：

S1101，确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域对应的控制点。

在本实施例中，计算机设备首先确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域。

可选的，在一个实施中，计算机设备可以根据初始映射信息，确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域。例如，计算机设备根据初始映射信息，将初始图像帧1投影至第一预设全景图像中的部分作为参考图像，将初始图像帧2投影至第一预设全景图像中的部分作为待对齐图像，则计算机设备在第一预设全景图像中确定出初始图像帧1投影部分与初始图像帧2投影部分之间的重叠区域。

在一个实施例中，计算机设备也可以根据相邻两个初始图像帧的重叠区域的信息，确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域。例如，第一次图像对齐时，计算机设备根据roi_list，确定初始图像帧1和初始图像帧2的重叠区域，并将初始图像帧1和初始图像帧2的重叠区域直接作为第一次图像对齐时参考图像和待对齐图像之间的重叠区域。

进一步地，计算机设备确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域之后，就可以该重叠区域对应的控制点。

可选的，计算机设备可以根据每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域中各像素点的像素值，从重叠区域中各像素点中采样得到对应的控制点。示例地，计算机设备确定初始图像帧1和初始图像帧2的重叠区域之后，可以从初始图像帧1和初始图像帧2的重叠区域均匀采样100个像素点，以得到100个控制点。

需要说明的是，在一些实施例中，可选的，如果由于拍摄过程中的误操作或者其他原因，导致每次图像对齐的参考图像与对应的待对齐图像之间并不存在重叠区域，则计算机设备可以将初始映射信息直接作为该次图像对齐的参考图像与对应的待对齐图像对应初始图像帧的目标映射信息，然后继续进行之后次的图像对齐。

当然，为了保证图像对齐的精度和效果，在一些实施例中，可选的，计算机设备需要尽量使得每一次图像对齐时的参考图像和待对齐图像存在重叠区域，进一步可选的，计算机设备可以根据相邻两个初始图像帧和初始映射信息确定每次图像对齐的参考图像和待对齐图像。例如，计算机设备知道初始图像帧1和初始图像帧2之间存在重叠区域，初始图像帧2和初始图像帧3之间存在重叠区域，则第一次图像对齐时，计算机设备利用初始映射信息将初始图像帧1投影至第一预设全景图像的部分作为第一次图像对齐的参考图像，将初始图像帧2投影至第一预设全景图像的部分作为第一次图像对齐的待对齐图像。以此类推，计算机设备在第二次图像对齐时，将初始图像帧3投影至第一预设全景图像的部分作为第二次图像对齐的待对齐图像。

S1102，根据每次图像对齐对应的控制点，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各初始图像帧对应的目标映射信息。

在本实施例中，计算机设备确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域对应的控制点之后，就可以根据每次图像对齐对应的控制点，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各初始图像帧对应的目标映射信息。

以第一次图像对齐为例，计算机设备利用初始映射信息，将初始图像帧1投影至2:1的全景展开图中的部分作为参考图像，将初始图像帧1投影至2:1中的部分作为待对齐图像。然后，计算机设备就可以确定待对齐图像和参考图像之间的重叠区域对应的100个控制点，并利用这100个控制点，对初始图像帧2投影至2:1全景展开图中的部分进行对齐处理，使得初始图像帧2投影至2:1全景展开图中的部分与初始图像帧1投影至2:1全景展开图中的部分上下对齐，从而确定第一次图像对齐后初始图像帧2的目标映射信息。

可选的，计算机设备可以每次图像对齐对应的控制点，对对应的待对齐图像进行插值，以实现对对应的待对齐图像的对齐处理。

本实施例确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域对应的控制点，并根据每次图像对齐对应的控制点，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各初始图像帧对应的目标映射信息。由于是根据确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域对应的控制点，对对应的待对齐图像进行对齐处理，因此进一步保证了图像对齐的精度和准确性。

图12为本申请实施例中一种确定控制点的流程示意图，参照图12，本实施例涉及的是如何确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域对应的控制点的一种可选的实现方式。在上述实施例的基础上，上述的S1101，确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域对应的控制点，包括如下步骤：

S1201，确定参考图像和待对齐图像的重叠区域中各像素点的光流值。

在本实施例中，计算机设备首先确定每次图像对齐的参考图像与待对齐图像之间重叠区域中各像素点的光流值。例如，计算机设备确定第一次图像对齐时的参考图像和待对齐图像的重叠区域之后，会进一步确定该重叠区域中每个像素点的光流值。

其中，光流值是一个二维矢量，其反映了初始图像帧上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。

计算机设备可以根据DIS(Dense Inverse Search-basedmethod)光流算法、RAFT(Recurrent All-Pairs Field Transforms for OpticalFlow)光流算法等方式确定参考图像和待对齐图像的重叠区域中各像素点的光流值。

S1202，根据各像素点的光流值，确定参考图像和待对齐图像的重叠区域对应的控制点。

在本实施例中，在上述S1201的步骤之后，计算机设备会根据各像素点的光流值，确定参考图像和待对齐图像的重叠区域对应的控制点。

其中，计算机设备可以使用插值法，根据各像素点的光流值，在参考图像和待对齐图像的重叠区域中筛选出控制点；计算机设备也可以按照预设的判断条件，根据各像素点的光流值，从参考图像和待对齐图像的重叠区域确定控制点，本实施例并不做限制。

本实施例确定参考图像和待对齐图像的重叠区域中各像素点的光流值，并根据各像素点的光流值，确定参考图像和待对齐图像的重叠区域对应的控制点。由于是根据各像素点的光流值筛选的控制点，因此，利用控制点对待对齐图像进行对齐处理能够提高图像对齐的精度和准确性。

图13为本申请实施例中又一种生成目标全景图像的流程示意图，参照图13，本实施例涉及的是如何生成目标全景图像的一种可选的实现方式。在上述实施例的基础上，上述的S903，根据各初始图像帧以及对应的目标映射信息，生成目标全景图像，包括如下步骤：

S1301，根据各初始图像帧的重叠区域，确定各初始图像帧对应的掩膜信息；掩膜信息用于指示各初始图像帧投影至目标全景图像的边界。

在本实施例中，由于在图像对齐的过程中重新确定了各初始图像帧的目标映射信息，因此，为了进一步保证目标全景图像的拼接效果，计算机设备还会根据各初始图像帧的重叠区域，确定各初始图像帧对应的掩膜信息。

其中，掩膜信息也称为mask信息，其用于指示各初始图像帧投影至目标全景图像的边界。图14为掩膜信息的示意图。如图14所示中的白色区域指示出了对应初始图像帧投影至目标全景图像后的边界。换句话说，掩膜信息根据各初始图像帧之间的拼缝确定的，其是用来指示计算机设备在生成目标全景图像时在何处使用哪张初始图像帧。例如，初始图像帧1和初始图像帧2中间有一条拼缝，则在生成目标全景图像时，计算机设备会使用该拼缝左侧的初始图像帧1和该拼缝右侧的初始图像帧2。

在一个实施例中，计算机设备在得到各初始图像帧对应的目标映射信息之后，再利用动态拼缝规划算法，依次寻找每相邻两个初始图像帧之间的拼缝，从而确定各初始图像帧对应的掩膜信息。例如，计算机设备得到初始图像帧1～初始图像帧10对应的目标映射信息1～目标映射信息10之后，从初始图像帧1和初始图像帧2的重叠区域中寻找一条拼缝，从而得到初始图像帧1的掩膜信息1以及初始图像帧2的掩膜信息2；接着，计算机设备从初始图像帧2和初始图像帧3的重叠区域中寻找一条拼缝，从而更新初始图像帧2的掩膜信息1，并确定初始图像帧3的掩膜信息3，以此类推，计算机设备最终确定初始图像帧1～10对应的掩膜信息1～10。

可选的，在一个实施例中，计算机设备可以利用动态拼缝规划算法在每次图像对齐的过程中同时确定掩膜信息。例如，计算机设备在第一次图像对齐之后，再利用动态拼缝规划算法，从初始图像帧1和初始图像帧2的重叠区域中寻找一条拼缝，从而在第一次图像对齐之后，计算机设备不仅确定了初始图像帧1和初始图像帧2分别对应的目标映射信息1和目标映射信息2，还确定了初始图像帧1和初始图像帧2分别对应的掩膜信息1和掩膜信息2。第二次图像对齐之后，计算机设备再利用动态拼缝规划算法，从初始图像帧2和初始图像帧3的重叠区域中寻找一条拼缝，从而更新初始图像帧2的掩膜信息1，并确定初始图像帧3的掩膜信息3，以此类推，计算机设备最终确定初始图像帧1～10对应的掩膜信息1～10。

相比于同时所有初始图像帧规划拼缝，两两依次规划接缝的方法，更不容易出现最终目标全景图像中运动物体被切断的情况。

S1302，根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，以生成目标全景图像。

在本实施例中，在完成图像对齐之后，计算机设备也确定了各初始图像帧对应的目标映射信息以及各初始图像帧对应的掩膜信息。进一步地，计算机设备就可以根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，以生成目标全景图像。

其中，与低于预设全景图像原理相同，第二预设全景图像也即2:1的全景展开图，其分辨率大小可以是用户设定的，也可以是计算机设备根据预设规则确定的。第二预设全景图像可以与第一预设全景图像相同，也可以与第一预设全景图像不同。

例如，计算机设备获取到初始图像帧1～初始图像帧10，则在完成图像对齐之后，计算机设备也确定出了初始图像帧1～初始图像帧10对应的目标映射信息1～目标映射信息10以及初始图像帧1～初始图像帧10对应的掩膜信息1～掩膜信息10。进而，计算机设备根据目标映射信息1～目标映射信息10以及掩膜信息1～掩膜信息10，分别将初始图像帧1～初始图像帧10投影至2:1的第二预设全景图像中，以得到目标全景图像。

在一些实施例中，考虑到部分计算机设备处理速度与内存有限，计算机设备会通过α融合，根据目标映射信息将各初始图像帧投影至高分辨率2:1的球形全景展开图中，并根据掩膜信息的权重做加权融合，并将融合后图像作为目标全景图像。

在一些实施例中，计算机设备也可以采用其他的融合算法，例如多频段融合，根据目标映射信息、掩膜信息以及初始映射信息，将各初始图像帧投影至第二预设全景图像中，以生成目标全景图像。

本实施例根据各初始图像帧的重叠区域，确定各初始图像帧对应的掩膜信息，并根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，以生成目标全景图像。由于掩膜信息用于指示各初始图像帧投影至目标全景图像的边界，并且，计算机设备是根据各初始图像帧的重叠区域，确定的各初始图像帧对应的掩膜信息，因此，根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，就可以生成目标全景图像。

图15为本申请实施例中又一种生成目标全景图像的流程示意图，参照图15，本实施例涉及的是如何生成目标全景图像的一种可选的实现方式。在上述实施例的基础上，上述的S1302，根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，以生成目标全景图像，包括如下步骤：

S1501，根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，生成第一全景图像。

在本实施例中，在生成目标全景图像时，计算机设备首先根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，生成第一全景图像。例如，计算机设备根据目标映射信息1～目标映射信息10以及掩膜信息1～掩膜信息10，利用初始映射信息，分别将初始图像帧1～初始图像帧10投影至2:1的第二预设全景图像中，得到第一全景图像。

S1502，根据第一全景图像生成目标全景图像。

在本实施例中，在S1501步骤之后，计算机设备会继续根据第一全景图像生成目标全景图像。可选的，计算机设备可以对第一全景图像进行消色差处理后生成目标全景图像，计算机设备也可以对第一全景图像进行底部填充处理之后生成目标全景图像，当然，计算机设备也可以通过其他方式，根据第一全景图像生成目标全景图像，本实施例不做限制。

本实施例根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，生成第一全景图像，并根据第一全景图像生成目标全景图像。由于根据目标映射信息和掩膜信息生成第一全景图像之后，仍需要对第一全景图像继续处理，以得到第二全景图像，因此提升了目标全景图像的效果。

上述主要介绍了本申请中的图像对齐的过程，在进行图像对齐之后，目标全景图像的拼接效果已经有了较大的提升。然而，由于每个初始图像帧的光线角度差异，各初始图像帧之间还存在色差，因此，本申请还提供了一种消色差的方法，下述将对本申请中消色差的过程进行介绍。

图16为本申请实施例中又一种生成目标全景图像的流程示意图，参照图16，本实施例涉及的是如何生成目标全景图像的一种可选的实现方式。在上述实施例的基础上，上述的S1403，根据第一全景图像生成目标全景图像，包括如下步骤：

S1601，根据目标映射信息和掩膜信息，将各初始图像帧投影至第三预设全景图像中，生成第二全景图像；第二全景图像的分辨率小于第一全景图像的分辨率。

在本实施例中，计算机设备在S1601之后，就可以根据目标映射信息和掩膜信息，将各初始图像帧投影至第三预设全景图像中，生成第二全景图像。其中，同样地，第三预设全景图像也是2:1的全景展开图，其分辨率大小可以由用户设定，也可以由计算机设备根据预设规则确定，只要第二全景图像的分辨率小于第一全景图像的分辨率即可。

继续上述的示例，计算机设备根据之前获得的目标映射信息1～10和掩膜信息1～10，将初始图像帧1～10投影在一个小分辨率的2:1的全景展开图中完成拼接，以得到第二全景图像。

S1602，对第二全景图像进行消除色差处理，得到第三全景图像。

在本实施例中，计算机设备得到第二全景图像之后，就会进一步对第二全景图像进行消除色差处理，得到第三全景图像。示例地，计算机设备可以对上述第二全景图像进行梯度域融合，得到一个消除色差的小分辨率全景图，也即第三全景图像。其中，梯度域融合可以包括泊松融合、多频段融合等融合方式。

S1603，根据第一全景图像、第二全景图像和第三全景图像，生成目标全景图像。

在本实施例中，在上述S1601和S1602之后，计算机设备就可以根据第一全景图像、第二全景图像和第三全景图像，生成目标全景图像。

可选的，计算机设备可以根据第一全景图像和第二全景图像，得到与第三全景图像相同大小的第四全景图像，再利用第四全景图像和第三全景图像之间的色差差异，对第一全景图像进行处理，以生成目标全景图像。

本实施例根据目标映射信息和掩膜信息，将各初始图像帧投影至第三预设全景图像中，生成第二全景图像，并对第二全景图像进行消除色差处理，得到第三全景图像，从而根据第一全景图像、第二全景图像和第三全景图像，生成目标全景图像。由于目标全景图像经过消除色差处理的图像，因此提高了目标全景图像的质量。

图17为本申请实施例中又一种生成目标全景图像的流程示意图，参照图17，本实施例涉及的是如何生成目标全景图像的一种可选的实现方式。在上述实施例的基础上，上述的S1603，根据第一全景图像、第二全景图像和第三全景图像，生成目标全景图像，包括如下步骤：

S1701，根据第一全景图像和第二全景图像，确定第四全景图像。

在本实施例中，计算机设备首先根据第一全景图像和第二全景图像，确定第四全景图像。

一种得到第四全景图像的方式是：计算机设备将第一全景图像投影至第二全景图像的相应位置，以得到与第二全景图像的大小相同的第四全景图像。

另一种得到第四全景图像的方式是：计算机设备根据第二全景图像，对第一全景图像进行等比例缩放，以得到与第二全景图像的大小相同的第四全景图像。

S1702，根据第三全景图像和第四全景图像，确定第一增益图像。

在本实施例中，计算机设备在得到第四全景图像之后，就可以根据第三全景图像和第四全景图像，确定第一增益图像。

一种得到第一增益图像的方式是：计算机设备将第三全景图像中每个像素点的像素值，除以第四全景图像中同一个位置的像素点的像素值，以得到第一增益图像。例如，第三全景图像和第四全景图像均包括100个像素点，则计算机设备将第三全景图像中第一行第一列的像素点1的像素值，与第四全景图像中第一行第一列的像素点1的像素值相除，得到第一增益图像中第一行第一列的像素点1的增益值；将第三全景图像中第一行第二列的像素点2的像素值，与第四全景图像中第一行第二列的像素点2的像素值相除，得到第一增益图像中第一行第二列的像素点2的增益值，以此类推。

另一种得到第一增益图像的方式是：计算机设备将第三全景图像中每个像素点的像素值，除以第四全景图像中同一个位置的像素点的像素值之后取整，得到第一增益图像。

当然，计算机设备也可以通过其他方式确定第一增益图像，本实施例不做限制。

S1703，根据第一增益图像和第一全景图像，生成目标全景图像。

在本实施例中，在得到第一增益图像之后，计算机设备就可以根据第一增益图像和第一全景图像，生成目标全景图像。

可选的，计算机设备可以对第一增益图像进行插值处理或者上采样处理，以得到与第一全景图像大小相同的目标增益图像，并根据目标增益图像对第一全景图像进行处理，例如将目标增益图像和第一全景图像相乘，以得到目标全景图像。

本实施例首先根据第一全景图像和第二全景图像，确定第四全景图像，进而根据第三全景图像和第四全景图像，确定第一增益图像，从而根据第一增益图像和第一全景图像，生成目标全景图像。由于是根据第三全景图像和第四全景图像，确定的第一增益图像，因此，第一增益图像能够体现出消色差处理前后的变化情况。进一步地。利用第一增益图像和第一全景图像，生成的目标全景图像就可以消除色差的影像。

图18为本申请实施例中又一种生成目标全景图像的流程示意图，参照图18，本实施例涉及的是如何生成目标全景图像的一种可选的实现方式。在上述实施例的基础上，上述的S1703，根据第一增益图像和第一全景图像，生成目标全景图像，包括如下步骤：

S1801，对第一增益图像进行处理，得到第二增益图像。

在本实施例中，为了提升色差的消除效果，计算机设备在得到第一增益图像之后，会对第一增益图像进行处理，得到第二增益图像。例如，计算机设备可以对第一增益图像进行滤波处理，以得到第二增益图像。

S1802，根据第二增益图像和第一全景图像，生成目标全景图像。

在本实施例中，计算机设备在得到第二增益图像之后，就会根据第二增益图像和第一全景图像，生成目标全景图像。例如，计算机设备可以对第二增益图像进行插值处理或者上采样处理，以得到与第一全景图像相同大小的目标增益图像，并根据目标增益图像对第一全景图像进行处理，例如将目标增益图像和第一全景图像相乘，以得到目标全景图像。

本实施例对第一增益图像进行处理，得到第二增益图像，并根据第二增益图像和第一全景图像，生成目标全景图像。由于对第一增益图像进行了优化处理，因此进一步提高了目标全景图像的质量。

图19为本申请实施例中一种得到第二增益图像的流程示意图，参照图19，本实施例涉及的是如何得到第二增益图像的一种可选的实现方式。在上述实施例的基础上，上述的S1801，对第一增益图像进行处理，得到第二增益图像，包括如下步骤：

S1901，对第一增益图像进行预处理，得到第三增益图像。

在本实施例中，计算机设备在对第一增益图像进行处理时，首先对第一增益图像进行预处理，得到第三增益图像。可选的，预处理包括滤波处理、平滑处理、更新处理中的至少一项。例如，计算机设备对第一增益图像进行滤波处理和平滑处理之后，得到第三增益图像。

其中，更新处理用于更新第一增益图像中的异常值。第一增益图像中的异常值包括增益值超出预设增益范围，和/或，第一增益图像中像素点的增益值与预设区域范围内的增益值之间的差异大于预设差异的像素点的增益值。

换句话说，由于初始图像帧是依次拍摄的，所以初始图像帧之间存在时间差，因此如果拍摄到运动物体，各初始图像帧之间的画面中很可能出现不一致的情况。例如初始图像帧1中有一辆车，初始图像帧2中没有该车。因此，如果第一增益图像中某个像素点的增益值超出预设增益范围，则需要对该像素点的增益值进行更新。也即是，计算机设备会更新超出预设增益范围的增益值。示例地，如果第一增益图像中像素点2的增益值超出[10,20]，则将该像素点2的增益值限制在20。

另外，第一全景图像和第二全景图像也可能会存在没有对齐的部分，从而给第一增益图像带来异常值。因此，如果第一增益图像中某个像素点的增益值与预设区域范围内的增益值之间的差异大于预设差异，则也需要对该像素点的增益值进行。其中，预设区域范围可以是第一增益图像中的固定区域，也可以是由于当前像素点相邻的像素点构成的区域，还可以是当前像素点的所在列或者所在行等。例如，如果第一增益图像中像素点2所在列其他像素点的增益值均在[10,20]，而像素点2的增益值为100，像素点2的增益值与所在列的其他像素点的增益值的差异很大，因此像素点2的增益值异常，计算机设备可以该列其他像素点的增益值的平均值作为像素点2的增益值。

需要说明的是，针对单个初始图像帧，其掩膜信息所在的边界之外的图像并没有被投影至第一全景图像和第二全景图像中，因此，在对第三增益图像进行预处理时，也只会考虑到掩膜信息所在的边界之内的图像。

S1902，对第三增益图像进行上采样处理，得到第二增益图像。

在本实施例中，计算机设备在得到第三增益图像之后，会对第三增益图像进行上采样处理，得到第二增益图像。其中，对第三增益图像进行上采样处理，是为了得到与第一全景图像大小相同的第二增益图。

进一步地，计算机设备就可以根据第二增益图像和第一全景图像，生成目标全景图像。

本实施例中对第一增益图像进行预处理，得到第三增益图像，并对第三增益图像进行上采样处理，得到第二增益图像。其中，预处理包括滤波处理、平滑处理、更新处理中的至少一项。由于在是对第一增益图像进行预处理后，得到的第三增益图像，因此，提高了第三增益图像的准确性。并且，在上采样之前预处理，能够减小计算机设备的计算量。

由于目标全景图像需要左右连通，因此，本申请还提供了一种保证目标全景图像的左右连通的消色差的方法，下面进行介绍。

图20为本申请实施例中一种生成第二全景图像的流程示意图，参照图20，本实施例涉及的是如何生成第二全景图像的一种可选的实现方式。在上述实施例的基础上，上述的S1601，根据目标映射信息和掩膜信息，将各初始图像帧投影至第三预设全景图像中，生成第二全景图像，包括如下步骤：

S2001，根据目标映射信息和掩膜信息，将各初始图像帧投影至第三预设全景图像中，生成第五全景图像。

在本实施例中，继续上述的示例，计算机设备根据之前获得的目标映射信息1～10和掩膜信息1～10，将初始图像帧1～10投影在一个小分辨率的2:1的全景展开图中完成拼接，以生成第五全景图像。

S2002，将第五全景图像中第一预设区域的图像与第五全景图像的右侧边缘进行拼接，并将第五全景图像中第二预设区域的图像与第五全景图像的左侧边缘进行拼接，得到第六全景图像。

在本实施例中，继续上述的示例，结合图21进行说明。图21为本申请实施例中两端拓展的示意图。请结合图21，图21中的粗实线表示第五全景图像，第五全景图像中的左侧的斜线部分是第一预设区域，第五全景图像中的右侧的横线部分是第二预设区域。

进一步地，计算机设备将第五全景图像中第一预设区域的图像与第五全景图像的右侧边缘进行拼接，并将第五全景图像中第二预设区域的图像与第五全景图像的左侧边缘进行拼接，以对第五全景图像的两端进行拓展，得到图20所示的第六全景图像。

需要说明的是，第一预设区域和第二预设区域的大小可以按照需求设置，本实施例不做限制。

S2003，根据第六全景图像，得到第二全景图像。

在本实施例中，计算机设备在得到第六全景图像之后，就可以根据第六全景图像，得到第二全景图像。

一种得到第二全景图像的方式是：计算机设备对第六全景图像左侧的第一预设区域和第二预设区域进行融合，并对第六全景图像右侧的第一预设区域和第二预设区域进行融合，以得到与第五全景图像大小相同的第二全景图像。

可选的，上述的S2003，根据第六全景图像，得到第二全景图像，可以通过如下方式实现：

根据第六全景图像中第一预设区域的各第一像素点的像素值，与同一侧第二预设区域中对应的各第二像素点的像素值，确定第二全景图像。

示例地，计算机设备将左侧第一预设区域中第一行第一列的像素值，与左侧第一预设区域中第一行第一列的像素值取平均，得到第二全景图像中第一预设区域中第一行第一列最终的像素值，以实现对第六全景图像左侧的第一预设区域和第二预设区域进行融合。右侧同理，最终，计算机设备就能得到与第五全景图像大小相同的第二全景图像。

如此，计算机设备就可以继续根据第一全景图像和第二全景图像，确定第四全景图像，并根据第三全景图像和第四全景图像，确定第一增益图像，从而根据第一增益图像和第一全景图像，生成目标全景图像。并且，由于第二全景图像是考虑了左右连通，因此可以实现目标全景图像中色彩的左右连续。

另一种得到第二全景图像的方式是：计算机设备可以直接将第六全景图像作为第二全景图像，也就是说，第二全景图像可以是如图20所示的两端拓展后的图像。

此种情况下，由于第二全景图像已经是两端拓展后的图像，因此，计算机设备也会对第一全景图像进行两端扩展，如此，计算机设备得到的第一增益图像也是两端扩展后的初始增益图。进一步地，计算机设备再对初始增益图的两端分别进行左右融合，得到第五全景图像与大小相同的第一增益图像，进而再根据第一增益图像和第一全景图像，生成目标全景图像。

具体地，计算机设备还要根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，生成第七全景图像，并将第七全景图像中第一预设区域的图像与第七全景图像的右侧边缘进行拼接，并将第七全景图像中第二预设区域的图像与第七全景图像的左侧边缘进行拼接，得到第八全景图像，并将第八全景图像作为第一全景图像。

然后，计算机设备根据第一全景图像和第二全景图像，确定第四全景图像，并根据第三全景图像和第四全景图像，确定初始增益图像。此时初始增益图像即是两端扩展后的增益图像。进一步地，计算机设备根据初始增益图像中的目标区域图像，确定目标区域图像中各像素点的目标增益值，并根据目标区域图像中各像素点的目标像素值以及初始增益图像，确定第一增益图像。其中，目标区域图像包括第一预设区域的第一区域图像和第二预设区域的第二区域图像。

本实施例根据目标映射信息和掩膜信息，将各初始图像帧投影至第三预设全景图像中，生成第五全景图像，并将第五全景图像中第一预设区域的图像与第五全景图像的右侧边缘进行拼接，并将第五全景图像中第二预设区域的图像与第五全景图像的左侧边缘进行拼接，得到第六全景图像，根据第六全景图像，得到第二全景图像。如此，实现了全景图像的两侧连通，后续基于第二全景图像进行消色差处理时，就可以实现目标全景图像的色彩的左右连续。

在一些应用场景中，由于拍摄角度受限，因此最终得到的全景图像会存在底部盲区。图22为一种底部盲区的示意图，可以结合参考图4，在生成全景图像的过程中，底部有一小部分画面没有被初始图像帧覆盖到，则最终生成的全景图像底部会存在黑边，如图22(a)所示。进而，存在黑边的全景图像用全景播放器播放，转到球形视角后，就会存在黑块，如图22(b)所示。

因此，本申请中还提供了一种填充处理的方法，以下将对本申请中的填充处理的过程进行介绍。

图23为本申请实施例中又一种生成目标全景图像的流程示意图，参照图23，本实施例涉及的是如何生成目标全景图像的一种可选的实现方式。在上述实施例的基础上，上述的S1802，根据第二增益图像和第一全景图像，生成目标全景图像，包括如下步骤：

S2301，根据第二增益图像和第一全景图像，得到初始全景图像。

在本实施例中，计算机设备首先根据第二增益图像和第一全景图像，得到初始全景图像。例如，计算机设备将目标增益图像和第一全景图像相乘得到初始全景图像。

S2302，对初始全景图像进行填充处理，生成目标全景图像。

在本实施例中，计算机设备在得到初始全景图像，再对初始全景图像进行填充处理，生成目标全景图像。可选的，计算机设备可以根据初始全景图像中各像素点的像素值，找到待填充区域，并对待填充区域进行填充处理，例如利用填预设充算法对待填充区域进行填充，从而生成目标全景图像。

本实施例根据第二增益图像和第一全景图像，得到初始全景图像，并对初始全景图像进行填充处理，生成目标全景图像。由于能够对初始全景图像进行填充处理，因此提高了目标全景图像的质量，避免了目标全景图像中的“黑块”现象。

图24为本申请实施例中又一种得到目标全景图像的流程示意图，参照图24，本实施例涉及的是如何得到目标全景图像的一种可选的实现方式。在上述实施例的基础上，上述的S2302对初始全景图像进行填充处理，生成目标全景图像，包括如下步骤：

S2401，对初始全景图像的第三预设区域进行投影，得到第一中间图像。

在本实施例中，计算机设备得到初始全景图像之后，会对初始全景图像的第三预设区域进行投影，得到第一中间图像。其中，第三预设区域指初始全景图像中的盲区部分，也即是，初始全景图像中没有图像的部分。第三预设区域可以是计算机设备自动判断出的区域，也可以是用户在初始全景图像中勾选的区域。

示例地，结合图22(b)，计算机设备首先对初始全景图像的底部单独做投影，消除底部的畸变，得到第一中间图像。

S2402，对第一中间图像进行填充处理，得到第二中间图像。

在本实施例中，在上述S2401得到第一中间图像之后，计算机设备会对第一中间图像进行填充处理，得到第二中间图像。

可选的，在一个实施例中，上述的S2402，对第一中间图像进行填充处理，包括以下的至少一项：

利用预设填充图像对第一中间图像进行填充处理。

利用预设填充算法对第一中间图像进行填充处理。

其中，利用预设填充图像对第一中间图像进行填充处理，就是指预设填充图像盖住第一中间图像中的盲区。预设填充图像可以是计算机设备提前预设好的图像，也可以是用户指定的图像，本实施例不做限制。

利用预设填充算法对第一中间图像进行填充处理，可以是计算机设备利用第一中间图像中盲区附近的像素点，插值模拟出盲区的像素点，从而覆盖第一中间图像中的盲区。当然，预设填充算法也可以是其他的填充原理，本实施例并不以此为限。图25为本申请实施例中一种填充处理的效果示意图，结合图22和图25，计算机设备对第一中间图像进行填充处理之后，得到如图25(a)所示的第二中间图像。

S2403，将第二中间图像投影至初始全景图像中，得到目标全景图像。

在本实施例中，计算机设备得到第二中间图像之后，将第二中间图像投影至初始全景图像中，就可以得到目标全景图像。示例地，计算机设备将第二中间图像重新投影回2:1球形全景展开图，就得到了如图25(b)所示的目标全景图像。

本实施例对初始全景图像的第三预设区域进行投影，得到第一中间图像，并对第一中间图像进行填充处理，得到第二中间图像，从而将第二中间图像投影至初始全景图像中，得到目标全景图像。如此，生成的目标全景图像就可以消除盲区。并且，由于填充处理既可以是利用预设填充算法或预设填充图像中的至少一项，因此还提高了填充过程的灵活性。

上述实施例以计算机设备使用逐帧拼接，将各初始图像帧投影至2:1的全景展开图中，以得到目标全景图像为例。在一些其他应用场景中，计算机设备也可以按照其他的拼接方式得到目标全景图像，下述将介绍本申请中的其他的拼接方式。

在一些实施例中，可选的，上述的S202，根据各初始图像帧生成目标全景图像，还可以通过如下方式实现：

根据各初始图像帧以及图像拼接方式，生成目标全景图像；图像拼接方式包括逐帧拼接、赤道拼接、顶部拼接、底部拼接、两侧拼接中的至少一种。

在本实施例中，按照不同的图像拼接方式，各初始图像帧投影至目标全景图像的顺序和过程也会不同。

示例地，图26为一种赤道拼接的示意图。计算机设备在各初始图像生成目标全景图像的过程中，首先进行赤道拼接，先将处于目标全景图像的中间行的初始图像帧以间隔一张的方式直接投影到2:1全景展开图中，如图26(a)和图26(b)所示。然后，计算机设备再将处于目标全景图像的中间行的其他初始图像帧贴入2:1全景展开图中，如图26(c)和图26(d)所示。

结合不同的图像拼接方式，可以提高目标全景图像生成的灵活性，并且在一定程度上提高目标全景图像的生成效率。

下述将详细介绍赤道拼接。图27为本申请实施例中赤道拼接的流程示意图，参照图27，本实施例涉及的是如何进行赤道拼接的一种可选的实现方式。在上述实施例的基础上，上述的赤道拼接包括如下步骤：

S2701，从各初始图像帧中确定位于第一预设位置、且不存在重叠区域的第三初始图像帧，并根据第三初始图像帧和初始映射信息确定第一次图像对齐的参考图像。

在本实施例中，在进行赤道拼接时的过程中，计算机设备首先从各初始图像帧中确定位于第一预设位置、且不存在重叠区域的第三初始图像帧，并根据第三初始图像帧和初始映射信息确定第一次图像对齐的参考图像。可选的，计算机设备利用初始映射信息，将第三初始图像帧投影至第一预设全景图像中的部分作为第一次图像对齐的参考图像。

其中，第一预设位置为目标全景图像中的中间部分，其覆盖范围可以根据需求调整，一般覆盖位于目标全景图像最中间行的初始图像帧即可。

示例地，假设计算机设备获取到了初始图像帧1～初始图像帧20，根据云台的预设路径，可知，初始图像帧6～初始图像帧10位于目标全景图像中的中间行，且初始图像帧6～初始图像帧10仅相邻的两帧之间两两重叠。则在第一次图像对齐时，计算机设备可以先将初始图像帧6、初始图像帧8和初始图像帧10作为第三初始图像帧，并根据初始映射信息，将第三初始图像帧，也即初始图像帧6、初始图像帧8和初始图像帧10分别投影至2:1的全景展开图中，以得到第一次图像对齐的参考图像。

S2702，根据初始映射信息以及位于第一预设位置的其他初始图像帧，确定第一次图像对齐的待对齐图像；其他初始图像帧为各初始图像帧中除第三初始图像帧之外的图像帧。

在本实施例中，在S2701之后，计算机设备从位于第一预设位置的其他初始图像帧中确定待对齐图像。其中，其他初始图像帧为各初始图像帧中除第三初始图像帧之外的图像帧。

继续上述的示例，在第一次图像对齐时，计算机设备将初始图像帧6、初始图像帧8和初始图像帧10投影至第一预设全景图像的部分作为参考图像，然后将剩下的初始图像帧7和初始图像帧9投影至第一预设全景图像的部分作为待对齐图像。

进一步地，计算机设备根据初始图像帧6、初始图像帧8和初始图像帧10分别投影至第一预设全景图像的部分，对初始图像帧7和初始图像帧9投影至第一预设全景图像的部分进行对齐处理，以确定初始图像帧7和初始图像帧9分别对应的目标映射信息，图像对齐的过程可以参考上述各实施例中的步骤，此处不再赘述

需要说明的是，上述仅是赤道拼接的一种可选顺序和可选数量的示例，计算机设备也可以在第一次图像对齐中，先将初始图像帧8和初始图像帧10作为参考图像，将初始图像帧9作为待对齐图像，然后再进行后续的图像对齐，本实施例不做限制。

本实施例在进行赤道拼接时，首先从各初始图像帧中确定位于第一预设位置、且不存在重叠区域的第三初始图像帧，并根据第三初始图像帧和初始映射信息确定第一次图像对齐的参考图像，进而根据初始映射信息以及位于第一预设位置的其他初始图像帧，确定第一次图像对齐的待对齐图像。一方面，第三初始图像帧直接作为参考图像，可以不用进行图像对齐，从而加快计算机设备的处理速度。另一方面，第三初始图像帧可以作为锚点固定，防止图像对齐时，整个全景图发生过大的形变或位置变化，提高目标全景图像的质量。

下述将介绍顶部拼接和底部拼接。图28为本申请实施例中顶部拼接或底部拼接的流程示意图，参照图28，本实施例涉及的是如何进行顶部拼接或底部拼接的一种可选的实现方式。在上述实施例的基础上，上述的顶部拼接或底部拼接包括如下步骤：

S2801，从各初始图像帧中确定位于第二预设区域的第四初始图像帧，并根据初始映射信息，将第四初始图像帧投影至第一预设全景图像中的第一目标区域。

由于在生成目标全景图像的过程中，靠近全景图像的顶部和底部部分会被严重拉伸或者产生畸变，且图像对齐无法避免这种情况。图29为顶部画面畸变的示意图，如图29(a)和图29(b)，如果按照目前的方式，直接顶部的初始图像帧直接投影至第一预设全景图像中，其顶部画面会被严重拉伸，例如图29中虚线框出的区域产生了拉伸。

因此，在进行顶部拼接或底部拼接的过程中，计算机设备会将位于第二预设区域的第四初始图像帧投影至第一预设全景图像中第一目标区域。

其中，第二预设位置为目标全景图像中的顶部部分或底部部分，其覆盖范围可以根据需求调整，一般可以覆盖位于目标全景图像最顶部一行或最底部一行的初始图像帧。

第一目标区域指不会发生拉伸或者畸变的全景图像中的区域，例如，第一目标区域包括目标全景图像中的中间部分。

示例地，在顶部拼接时，假设计算机设备获取到了初始图像帧1～初始图像帧20，根据云台的预设路径，可知，初始图像帧1～初始图像帧5位于目标全景图像中的最上行。则在计算机设备将初始图像帧1～初始图像帧5作为第四初始图像帧，并将初始图像帧1～初始图像帧5投影至第一预设全景图像中的第一目标区域。

同样地，在底部拼接时，假设计算机设备获取到了初始图像帧1～初始图像帧20，根据云台的预设路径，可知，初始图像帧11～初始图像帧20位于目标全景图像中的最下边。则在计算机设备将初始图像帧11～初始图像帧20作为第四初始图像帧，并将初始图像帧11～初始图像帧20投影至第一预设全景图像中的第一目标区域。

如此，投影后的初始图像帧很大程度上消除了畸变的影响，有利于后续的图像对齐。

S2802，根据投影至第一目标区域的第四初始图像帧，确定每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后第四初始图像帧对应的中间映射信息。

在本实施例中，进一步地，计算机设备就可以根据投影至第一目标区域的第四初始图像帧，确定每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后第四初始图像帧对应的中间映射信息。

示例地，在顶部拼接第一次图像对齐时，计算机设备将初始图像帧1投影至第一预设全景图像中的第一目标区域的部分作为参考图像，将初始图像帧2投影至第一预设全景图像中的第一目标区域的部分作为待对齐图像时，然后根据这次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定第一次图像对齐后第四初始图像帧对应的中间映射信息。也即是，计算机设备确定了初始图像帧1对应的中间映射信息1和初始图像帧2对应的中间映射信息2。

其中，图像对齐的过程可以参考上述各实施例，此处不再赘述。

S2803，根据第四初始图像帧对应的中间映射信息，确定第四初始图像帧的目标映射信息。

在本实施例中，计算机设备在上述S2802之后，就可以根据第四初始图像帧对应的中间映射信息，确定第四初始图像帧的目标映射信息。

可以理解的是，由于是将位于第二预设区域的第四初始图像帧投影至第一预设全景图像中的第一目标区域，因此，图像对齐之后得到的中间映射信息，并不是最终计算机设备需要的目标映射信息。

计算机设备还会修改投影至第一目标区域的待对齐图像对应的中间映射信息，从而更新投影至第一目标区域的参考图像和待对齐图像对应的第四初始图像帧的中间映射信息，以得到第四初始图像帧的目标映射信息以保证各初始图像帧的目标映射信息的准确性。

示例地，假设计算机设备得到了初始图像帧1对应的中间映射信息1，则计算机设备会进一步修改中间映射信息1中的位置，也即修改中间映射信息中的部分值，从而得到目标映射信息1。以便最终生成目标全景图像时，计算机设备利用目标映射信息1将初始图像帧1投影时，能够保证将初始图像帧1仍投影至第二预设区域对应的位置，而不是投影至第一目标区域对应的位置。

图30为顶部拼接后的效果示意图，请结合图29，如图30(a)和图30(b)所示，投影后的顶部纹理很大程度上消除了畸变的影响，并且，有利于后续计算机设备进行图像对齐。

在一些实施例中，计算机设备先进行赤道拼接，进而在赤道拼接的基础上进行顶部拼接和底部拼接。进一步地，在赤道拼接、顶部拼接以及底部拼接的过程中，同时进行图像对齐。

本实施例在进行顶部拼接或底部拼接时，首先从各初始图像帧中确定位于第二预设区域的第四初始图像帧，并根据初始映射信息，将第四初始图像帧投影至第一预设全景图像中的第一目标区域，进而根据投影至第一目标区域的第四初始图像帧，确定每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后第四初始图像帧对应的中间映射信息，从而根据第四初始图像帧对应的中间映射信息，确定第四初始图像帧的目标映射信息，如此，能够消除目标全景图像中顶部和底部的畸变，以提高目标全景图像的质量。

下述将介绍两侧拼接。图31为本申请实施例中两侧拼接的流程示意图，参照图31，本实施例涉及的是如何进行两侧拼接的一种可选的实现方式。在上述实施例的基础上，上述的两侧拼接包括如下步骤：

S3101，连接目标全景图像的两侧区域的第五初始图像帧，并根据初始映射信息，将第五初始图像帧投影至第一预设全景图像中的第二目标区域。

在本实施例中，在2:1全景展开图中，左侧和右侧是相连的，也就是说，目标全景图像需要两端的画面连续。因此，在进行两侧拼接时，计算机设备会连接目标全景图像的两侧区域的第五初始图像帧，并根据初始映射信息，将第五初始图像帧投影至第一预设全景图像中第二目标区域。其中，两侧区域的大小可以根据实际的需求设置大小。第二目标区域可以是第一预设全景图中的任意位置，本实施例不做限制。可以理解的是，为了提高拼接效果，第二目标区域可以设置在是第一预设全景图中的中间部分。

示例地，参考图4，计算机设备在需要处理最左侧的初始图像帧1以及最右侧的初始图像帧2时，会将初始图像帧1和初始图像帧2连接在一起作为第五初始图像帧，并利用初始映射信息将第五初始图像帧投影至第一预设全景图像中的第二目标区域。也即是，计算机设备利用初始映射信息，将初始图像帧1和初始图像帧2连接起来投影至2:1的全景展开图中的中间区域，如此，就能实现将目标全景图像的将两端连接起来，形成一个连续的画面，从而可以保证在后续图像对齐时后，目标全景图像依然具有左右的连续性，也可以保证寻找的拼接缝左右两端是相连的。

S3102，根据投影至第二目标区域的第五初始图像帧，确定每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后第五初始图像帧对应的中间映射信息。

在本实施例中，在上述S3101之后，计算机设备就可以根据投影至第二目标区域的第五初始图像帧，确定每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后第五初始图像帧对应的中间映射信息。

S3102的过程与S2802的原理相同，并且图像对齐的过程可以参考上述各实施例，此处不再赘述。

S3103，根据第五初始图像帧对应的中间映射信息，确定第五初始图像帧的目标映射信息。

在本实施例中，与顶部拼接和底部拼接同样的原理，计算机设备还会第五初始图像帧对应的中间映射信息，从而更新投影至第二目标区域的参考图像和待对齐图像对应的第五初始图像帧的中间映射信息，以得到第五初始图像帧的目标映射信息，从而保证各初始图像帧的目标映射信息的准确性。也就是说，图像对齐后，计算机设备仍需要将map和mask的左右部分交换回初始图像帧对应在全景图像中的本身的位置。

示例地，假设第五初始图像帧包括初始图像帧5，则计算机设备得到了初始图像帧5对应的中间映射信息5之后会修改中间映射信息5中的位置，也即修改中间映射信息中的部分值，从而得到目标映射信息5。以便最终生成目标全景图像时，计算机设备利用目标映射信息5将初始图像帧5投影时，能够保证将初始图像帧1仍投影至两侧的位置。

本实施例在进行两侧拼接时，首先接目标全景图像的两侧区域的第五初始图像帧，并根据初始映射信息，将第五初始图像帧投影至第一预设全景图像中的第二目标区域，然后根据投影至第二目标区域的第五初始图像帧，确定每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后第五初始图像帧对应的中间映射信息，最后根据第五初始图像帧对应的中间映射信息，确定第五初始图像帧的目标映射信息。如此，目标全景图像的两端图像能够连续，提高了目标全景图像的质量。

在一些应用场景中，由于生成全景图像的拼接过程中，拼接缝的位置是在图片依次贴入时动态规划查找的，因此在图片之间出现不同物体时，会自动尽量使接缝绕开物体，这就使得用户在拍摄的初始图像帧中拍出“分身”的效果。

因此，可选的，在一个实施例中，若各初始图像帧均包括目标物，则目标全景图像能够同时显示多个目标物。

图32为本申请实施例中一种目标全景图像的示意图，如图32(a)所示，如果每个初始图像帧都包括人体，则最终生成的目标全景图像就可以实现“分身”效果。

可选的，在一个实施例中，上述的全景图像生成方法还包括如下步骤：

向云台发送转动指令；转动指令指示云台按照预设路径转动，以由拍摄设备在云台按照预设路径转动的过程中拍摄初始图像帧。

在本实施例中，计算机设备会向云台发送转动指令，进而云台在接收到该转动指令之后，就可以按照预设路径转动，从而拍摄设备在云台按照预设路径转动的过程中拍摄初始图像帧。

其中，转动指令中可以包括预设路径。转动指令可以是计算机设备定时向云台发送的指令，也可以是接收到用户的操作后向云台发送的指令。

本实施例中计算机设备能够向云台发送转动指令，从而云台能够在接收到转动指令后，按照预设路径转动，以由拍摄设备在云台按照预设路径转动的过程中拍摄初始图像帧。如此，就能够实现自动化地生成目标全景图像，简化了用户的操作过程。

在一个实施例中，可选的，预设路径能够使拍摄设备拍摄的视场角在第一方向覆盖360°以及在第二方向覆盖180°；第一方向与第二方向垂直。

在本实施例中，第一方向与第二方向垂直指的是第一方向与第二方向的夹角与90°之间的角度差异小于预设角度阈值，预设差异阈值是大于等于0°的数。示例性地，预设路径能够使拍摄设备拍摄的视场角在水平方向覆盖360°以及在竖直方向覆盖180°。

在一个实施例中，可选的，预设路径包括多个平行的子路径，子路径中相邻两个拍摄点位之间的目标角参数的差异小于预设差异阈值，目标角参数包括偏航角、俯仰角、翻滚角中的至少一种。

在本实施例中，可以参考图3，预设路径包括3个平行的子路径，此处的平行可以是横向平行也可以是纵向平行。以纵向平行为例，针对每个子路径而言，其每两个相邻的拍摄点位之间的俯仰角的差异均小于预设差异阈值，以横向平行为例，针对每个子路径而言，其每两个相邻的拍摄点位之间的偏航角的差异均小于预设差异阈值。其中，预设差异阈值根据需求设置，其可以为0。

示例地，预设路径共包括3个横向平行的子路径1～子路径3，也就是说，拍摄设备需要拍摄三行的图像。子路径1等间隔或近似等间隔拍摄5张初始图像帧，子路径2等间隔或近似等间隔拍摄8张初始图像帧；子路径3等间隔或近似等间隔拍摄5张初始图像帧。

在一个实施例中，为了有利于后续的拼接，可选的，多个子路径中的目标子路径对应的初始图像帧的帧数为偶数，且多个子路径对应的初始图像帧中至少存在一组具有相同偏航角的图像帧；目标子路径为多个子路径中位于中间行的子路径。也就是说，位于中间行，也即赤道行的子路径，拍摄设备需要获取偶数个初始图像帧，并且，各子路径中需各有一张初始图像帧纵向对齐。

可选的，在一个实施例中，拍摄设备为非全景拍摄设备。

在本实施例中，拍摄设备为非全景拍摄设备。专用的全景拍摄设备指视场角水平覆盖360°且垂直覆盖180°的摄影设备，例如专用的全景拍摄设备是包括两个鱼眼摄像头的拍摄设备。

而非全景拍摄设备指镜头的视场角无法在第一方向覆盖360°以及在第二方向覆盖180°的拍摄设备。例如，拍摄设备包括视场角在45°的标准镜头、视场角在60～80°的为广角镜头、视场角在80～120°的为超广角镜头、视场角在180-220°的鱼眼镜头中的至少一种。

在一些实施例中，拍摄设备也可以为手机，用户采用手机的后置摄像头拍摄设备初始图像帧。

目前在一些应用场景中，用户只能使用专用的全景拍摄设备才能得到全景图像，从而导致目前的全景图像生成方法的应用场景受限。而本实施例中拍摄设备为非全景拍摄设备，如此，本申请就提供了一种能够应用于非全景拍摄设备的全景图像生成方法，扩大了全景图像生成方法的应用范围和灵活性。

在一些实施例中，如果用户使用手机竖拍，且，纵向fov>90°时，最上一行的子路径需要被5张图完全覆盖，且相邻两个初始图像帧之间具有足够的重叠率。

综上所述，本申请提供的全景图像生成方法具有以下优点：

第一，使用云台自动化拍摄，且拍摄速度快，能够解放用户双手，减少操作失误的概率，减少用户拍摄时间。

第二，由于本申请可以根据实际的应用场景灵活调整拼接算法，处理速度更快、内存占用更低，从而可以降低对用户手机性能的要求，在一般的手机上6K全景图可在20s内完成拼接。

第三，本申请对目标全景图的各个部分，例如赤道、顶部、底部和两侧采用针对性的拼接策略，并结合图像对齐进一步消除视差的影响，最终还能填充底部盲区，提高了目标全景图像的质量。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请还提供了一种手持云台。该手持云台包括：电机、摄像头和处理器。其中，电机用于控制云台转动以带动摄像头的转动，处理器用于执行上述的任一项的全景图像生成方法。

在一个实施例中，可选的，在该手持云台中，将云台原来的俯角上限作为云台新的仰角上限，将云台原来的仰角上限作为云台新的俯角上限。

图33为拍摄设备的使用示意图，请参考图33。以拍摄设备为手机为例，由于手机的后置镜头一般具有更宽广的fov，且更适于拍摄景物，因此用户通常会使用手机后置摄像头拍摄初始图像帧，以得到目标全景图像。为了尽可能拍到底部，云台和手机需要很低的俯角，因此用户会使用图33(a)所示的夹持方式。

然而，图33(a)所示的夹持方式中，底部的云台机身进入了手机后置摄像头的画面中，从而会影响在低俯角下的初始图像帧的画面。

故而，本申请实施例中将手机反夹在云台上，如图33(b)所示，以实现将云台的俯、仰调换。也就是说，将云台原来的俯角上限作为云台新的仰角上限，将云台原来的仰角上限作为云台新的俯角上限。假设原来云台的俯角上限为60°，仰角上限为70°，则采用图33(b)的方式后，云台的俯角上限更新为70°，仰角上限更新为60°。

如此，即使手机后置镜头的俯角很低，云台机身也没有出现在画面中，实现了在靠近底部的画面中“隐藏云台”的效果，从而提高了生成目标全景图像的质量。需要说明的是，上述云台夹持的方式是由于该云台的结构设计导致的，其他的云台结构如果不存在限制俯仰角的情况，就可以不使用上述的反夹方式。

在一个实施例中，本申请实施例还提供了一种全景图像生成系统，该全景图像生成系统包括云台和终端。其中，云台用于按照预设路径转动；终端包括拍摄设备和处理器，拍摄设备用于在云台按照预设路径转动的过程中拍摄多个拍摄角度的多个初始图像帧，并向处理器发送多个初始图像帧，以由处理器执行上述的任一项的全景图像生成方法。上述全景图像生成系统中的具体限定可以参见上文中对于全景图像生成方法的限定，在此不再赘述。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的全景图像生成方法的全景图像生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个全景图像生成装置实施例中的具体限定可以参见上文中对于全景图像生成方法的限定，在此不再赘述。

图34为本申请实施例中全景图像生成装置的结构框图，如图34所示，在本申请实施例中提供了一种全景图像生成装置3400，包括：获取模块3401和生成模块3402，其中：

获取模块3401，用于获取多个初始图像帧；各初始图像帧是设置于云台上的拍摄设备在云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧；

生成模块3402，用于根据各初始图像帧生成目标全景图像。

上述全景图像生成装置，通过获取多个初始图像帧，从而能够根据各初始图像帧生成目标全景图像。由于各初始图像帧是设置于云台上的拍摄设备在云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧，因此，拍摄设备在云台转动的过程中就可以拍摄到多个初始图像帧，进而获取到多个初始图像帧后，就可以生成目标全景图像。在本实施例生成目标全景图像的过程中，无需用户手动拍摄多个角度的大量图像，因此避免了目前生成全景图像的过程中操作过程比较繁琐的问题。

可选的，获取模块3401包括：

第一确定单元，用于根据重叠区域的信息和各初始图像帧，确定各初始图像帧与目标全景图像之间的初始映射信息。

生成单元，用于根据各初始图像帧和初始映射信息生成目标全景图像。

可选的，生成单元包括：

第一确定子单元，用于根据重叠区域的信息，在第一初始图像帧的重叠区域确定多个第一特征点，并在第二初始图像帧的重叠区域确定多个第二特征点；第一初始图像帧和第二初始图像帧为重叠区域对应的两个初始图像帧。

第二确定子单元，用于根据各第一特征点与各第二特征点的相似度，从各第一特征点和各第二特征点中确定多个候选特征点对。

第三确定子单元，用于根据多个候选特征点对以及各初始图像帧，确定初始映射信息。

可选的，第三确定子单元，还用于根据第一初始图像帧和第二初始图像帧的变换关系，从多个候选特征点对中确定多个目标特征点对；针对第一初始图像帧和第二初始图像帧中多个目标特征点对重投影后的误差，确定目标相机参数；根据目标相机参数求解初始映射信息。

可选的，生成单元包括：

第四确定子单元，用于根据各初始图像帧和初始映射信息，确定每次图像对齐的参考图像和待对齐图像。

第五确定子单元，用于根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各初始图像帧对应的目标映射信息；目标映射信息用于指示各次图像对齐之后各初始图像帧投影至目标全景图像的区域。

生成子单元，用于根据各初始图像帧以及对应的目标映射信息，生成目标全景图像。

可选的，第四确定子单元，还用于利用初始映射信息，将各初始图像帧中的至少两个图像帧投影至第一预设全景图像中，以确定当前次图像对齐的参考图像和待对齐图像；根据当前次图像对齐的参考图像，对对应的待对齐图像进行对齐处理后，将对齐处理后的待对齐图像和上一次图像对齐的参考图像作为下一次图像对齐的参考图像，并根据各初始图像帧和初始映射信息确定下一次图像对齐的待对齐图像。

可选的，第四确定子单元，还用于确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域对应的控制点；根据每次图像对齐对应的控制点，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各初始图像帧对应的目标映射信息。

可选的，第四确定子单元，还用于确定参考图像和待对齐图像的重叠区域中各像素点的光流值；根据各像素点的光流值，确定参考图像和待对齐图像的重叠区域对应的控制点。

可选的，生成子单元，还用于根据各初始图像帧的重叠区域，确定各初始图像帧对应的掩膜信息；掩膜信息用于指示各初始图像帧投影至目标全景图像的边界；根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，以生成目标全景图像。

可选的，生成子单元，还用于根据目标映射信息和掩膜信息，将各初始图像帧投影至第二预设全景图像中，生成第一全景图像；根据第一全景图像生成目标全景图像。

可选的，生成子单元，还用于根据目标映射信息和掩膜信息，将各初始图像帧投影至第三预设全景图像中，生成第二全景图像；第二全景图像的分辨率小于第一全景图像的分辨率；对第二全景图像进行消除色差处理，得到第三全景图像；根据第一全景图像、第二全景图像和第三全景图像，生成目标全景图像。

可选的，生成子单元，还用于根据第一全景图像和第二全景图像，确定第四全景图像；根据第三全景图像和第四全景图像，确定第一增益图像；根据第一增益图像和第一全景图像，生成目标全景图像。

可选的，生成子单元，还用于对第一增益图像进行处理，得到第二增益图像；根据第二增益图像和第一全景图像，生成目标全景图像。

可选的，生成子单元，还用于对第一增益图像进行预处理，得到第三增益图像；对第三增益图像进行上采样处理，得到第二增益图像。

可选的，预处理包括滤波处理、平滑处理、更新处理中的至少一项；更新处理用于更新第一增益图像中的异常值；第一增益图像中的异常值包括增益值超出预设增益范围，和/或，第一增益图像中像素点的增益值与预设区域范围内的增益值之间的差异大于预设差异的像素点的增益值。

可选的，生成子单元，还用于根据目标映射信息和掩膜信息，将各初始图像帧投影至第三预设全景图像中，生成第五全景图像；将第五全景图像中第一预设区域的图像与第五全景图像的右侧边缘进行拼接，并将第五全景图像中第二预设区域的图像与第五全景图像的左侧边缘进行拼接，得到第六全景图像；根据第六全景图像，得到第二全景图像。

可选的，生成子单元，还用于根据第六全景图像中第一预设区域的各第一像素点的像素值，与同一侧第二预设区域中对应的各第二像素点的像素值，确定第二全景图像。

可选的，生成子单元，还用于根据第二增益图像和第一全景图像，得到初始全景图像；对初始全景图像进行填充处理，生成目标全景图像。

可选的，生成子单元，还用于对初始全景图像的第三预设区域进行投影，得到第一中间图像；对第一中间图像进行填充处理，得到第二中间图像；将第二中间图像投影至初始全景图像中，得到目标全景图像。

可选的，对第一中间图像进行填充处理包括以下的至少一项：

利用预设填充图像对第一中间图像进行填充处理；

利用预设填充算法对第一中间图像进行填充处理。

可选的，生成模块3402，还用于根据各初始图像帧以及图像拼接方式，生成目标全景图像；图像拼接方式包括逐帧拼接、赤道拼接、顶部拼接、底部拼接、两侧拼接中的至少一种。

可选的，赤道拼接包括：从各初始图像帧中确定位于第一预设位置、且不存在重叠区域的第三初始图像帧，并根据第三初始图像帧和初始映射信息确定第一次图像对齐的参考图像；根据初始映射信息以及位于第一预设位置的其他初始图像帧，确定第一次图像对齐的待对齐图像；其他初始图像帧为各初始图像帧中除第三初始图像帧之外的图像帧。

可选的，顶部拼接或底部拼接包括：从各初始图像帧中确定位于第二预设区域的第四初始图像帧，并根据初始映射信息，将第四初始图像帧投影至第一预设全景图像中的第一目标区域；根据投影至第一目标区域的第四初始图像帧，确定每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后第四初始图像帧对应的中间映射信息；根据第四初始图像帧对应的中间映射信息，确定第四初始图像帧的目标映射信息。

可选的，两侧拼接包括：连接目标全景图像的两侧区域的第五初始图像帧，并根据初始映射信息，将第五初始图像帧投影至第一预设全景图像中的第二目标区域；根据投影至第二目标区域的第五初始图像帧，确定每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后第五初始图像帧对应的中间映射信息；根据第五初始图像帧对应的中间映射信息，确定第五初始图像帧的目标映射信息。

可选的，若各初始图像帧均包括目标物，则目标全景图像能够同时显示多个目标物。

可选的，该全景图像生成装置3400还包括：

发送模块，用于向云台发送转动指令；转动指令指示云台按照预设路径转动，以由拍摄设备在云台按照预设路径转动的过程中拍摄初始图像帧。

可选的，预设路径能够使拍摄设备拍摄的视场角覆盖180°及以上的视场角。

可选的，预设路径包括多个平行的子路径，子路径中相邻两个拍摄点位之间的目标角参数的差异小于预设差异阈值，目标角参数包括偏航角或俯仰角。

可选的，多个子路径中的目标子路径对应的初始图像帧的帧数为偶数，且多个子路径对应的初始图像帧中至少存在一组具有相同偏航角的图像帧；目标子路径为多个子路径中位于中间行的子路径。

可选的，拍摄设备为非全景拍摄设备，且，拍摄设备的视场角小于180°。

上述全景图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图35为本申请实施例中计算机设备的内部结构图，在本申请实施例中提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图Y所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种全景图像生成方法。

本领域技术人员可以理解，图35中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (36)

1.一种全景图像生成方法，其特征在于，所述方法包括：

获取多个初始图像帧；各所述初始图像帧是设置于云台上的拍摄设备在所述云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧；

根据各所述初始图像帧生成目标全景图像。

2.根据权利要求1所述的方法，其特征在于，所述多个初始图像帧中的相邻两个初始图像帧具有重叠区域；所述根据各所述初始图像帧生成目标全景图像，包括：

根据所述重叠区域的信息和各所述初始图像帧，确定各所述初始图像帧与所述目标全景图像之间的初始映射信息；

根据各所述初始图像帧和所述初始映射信息生成所述目标全景图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述重叠区域的信息和各所述初始图像帧，确定各所述初始图像帧与所述目标全景图像之间的初始映射信息，包括：

根据所述重叠区域的信息，在第一初始图像帧的重叠区域确定多个第一特征点，并在第二初始图像帧的重叠区域确定多个第二特征点；所述第一初始图像帧和所述第二初始图像帧为所述重叠区域对应的两个初始图像帧；

根据各所述第一特征点与各所述第二特征点的相似度，从各所述第一特征点和各所述第二特征点中确定多个候选特征点对；

根据所述多个候选特征点对以及各所述初始图像帧，确定所述初始映射信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述多个候选特征点对以及各所述初始图像帧，确定所述初始映射信息，包括：

根据所述第一初始图像帧和所述第二初始图像帧的变换关系，从所述多个候选特征点对中确定多个目标特征点对；

针对所述第一初始图像帧和所述第二初始图像帧中所述多个目标特征点对重投影后的误差，确定目标相机参数；

根据目标相机参数求解所述初始映射信息。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据各所述初始图像帧和所述初始映射信息生成所述目标全景图像，包括：

根据各所述初始图像帧和所述初始映射信息，确定每次图像对齐的参考图像和待对齐图像；

根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各所述初始图像帧对应的目标映射信息；所述目标映射信息用于指示各次图像对齐之后各所述初始图像帧投影至所述目标全景图像的区域；

根据各所述初始图像帧以及对应的目标映射信息，生成所述目标全景图像。

6.根据权利要求5所述的方法，其特征在于，所述根据各所述初始图像帧和所述初始映射信息，确定每次图像对齐的参考图像和待对齐图像，包括：

利用所述初始映射信息，将各所述初始图像帧中的至少两个图像帧投影至第一预设全景图像中，以确定当前次图像对齐的参考图像和待对齐图像；

根据所述当前次图像对齐的参考图像，对对应的待对齐图像进行对齐处理后，将对齐处理后的待对齐图像和上一次图像对齐的参考图像作为下一次图像对齐的参考图像，并根据各所述初始图像帧和所述初始映射信息确定下一次图像对齐的待对齐图像。

7.根据权利要求6所述的方法，其特征在于，所述根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各所述初始图像帧对应的目标映射信息，包括：

确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域对应的控制点；

根据每次图像对齐对应的控制点，对对应的待对齐图像进行对齐处理，并确定每次图像对齐后各所述初始图像帧对应的目标映射信息。

8.根据权利要求7所述的方法，其特征在于，所述确定每次图像对齐的参考图像与对应的待对齐图像之间的重叠区域对应的控制点，包括：

确定所述参考图像和所述待对齐图像的重叠区域中各像素点的光流值；

根据各所述像素点的光流值，确定所述参考图像和所述待对齐图像的重叠区域对应的控制点。

9.根据权利要求5所述的方法，其特征在于，所述根据各所述初始图像帧以及对应的目标映射信息，生成所述目标全景图像，包括：

根据各所述初始图像帧的重叠区域，确定各所述初始图像帧对应的掩膜信息；所述掩膜信息用于指示各所述初始图像帧投影至所述目标全景图像的边界；

根据所述目标映射信息和所述掩膜信息，将各所述初始图像帧投影至第二预设全景图像中，以生成所述目标全景图像。

10.根据权利要求9所述的方法，其特征在于，所述根据所述目标映射信息和所述掩膜信息，将各所述初始图像帧投影至第二预设全景图像中，以生成所述目标全景图像，包括：

根据所述目标映射信息和所述掩膜信息，将各所述初始图像帧投影至第二预设全景图像中，生成第一全景图像；

根据所述第一全景图像生成所述目标全景图像。

11.根据权利要求10所述的方法，其特征在于，所述根据所述第一全景图像生成所述目标全景图像，包括：

根据所述目标映射信息和所述掩膜信息，将各所述初始图像帧投影至第三预设全景图像中，生成第二全景图像；所述第二全景图像的分辨率小于所述第一全景图像的分辨率；

对所述第二全景图像进行消除色差处理，得到第三全景图像；

根据所述第一全景图像、所述第二全景图像和所述第三全景图像，生成所述目标全景图像。

12.根据权利要求11所述的方法，其特征在于，所述根据所述第一全景图像、所述第二全景图像和所述第三全景图像，生成所述目标全景图像，包括：

根据所述第一全景图像和所述第二全景图像，确定第四全景图像；

根据所述第三全景图像和所述第四全景图像，确定第一增益图像；

根据所述第一增益图像和所述第一全景图像，生成所述目标全景图像。

13.根据权利要求12所述的方法，其特征在于，所述根据所述第一增益图像和所述第一全景图像，生成所述目标全景图像，包括：

对所述第一增益图像进行处理，得到第二增益图像；

根据所述第二增益图像和所述第一全景图像，生成所述目标全景图像。

14.根据权利要求13所述的方法，其特征在于，所述对所述第一增益图像进行处理，得到第二增益图像，包括：

对所述第一增益图像进行预处理，得到第三增益图像；

对所述第三增益图像进行上采样处理，得到所述第二增益图像。

15.根据权利要求14所述的方法，其特征在于，所述预处理包括滤波处理、平滑处理、更新处理中的至少一项；

所述更新处理用于更新所述第一增益图像中的异常值；所述第一增益图像中的异常值包括增益值超出预设增益范围，和/或，所述第一增益图像中像素点的增益值与预设区域范围内的增益值之间的差异大于预设差异的像素点的增益值。

16.根据权利要求11所述的方法，其特征在于，所述根据所述目标映射信息和所述掩膜信息，将各所述初始图像帧投影至第三预设全景图像中，生成第二全景图像，包括：

根据所述目标映射信息和所述掩膜信息，将各所述初始图像帧投影至第三预设全景图像中，生成第五全景图像；

将所述第五全景图像中第一预设区域的图像与所述第五全景图像的右侧边缘进行拼接，并将所述第五全景图像中第二预设区域的图像与所述第五全景图像的左侧边缘进行拼接，得到第六全景图像；

根据所述第六全景图像，得到所述第二全景图像。

17.根据权利要求16所述的方法，其特征在于，所述根据所述第六全景图像，得到所述第二全景图像，包括：

根据所述第六全景图像中第一预设区域的各第一像素点的像素值，与同一侧第二预设区域中对应的各第二像素点的像素值，确定所述第二全景图像。

18.根据权利要求12所述的方法，其特征在于，所述根据所述第二增益图像和所述第一全景图像，生成所述目标全景图像，包括：

根据所述第二增益图像和所述第一全景图像，得到初始全景图像；

对所述初始全景图像进行填充处理，生成所述目标全景图像。

19.根据权利要求18所述的方法，其特征在于，所述对所述初始全景图像进行填充处理，生成所述目标全景图像，包括：

对所述初始全景图像的第三预设区域进行投影，得到第一中间图像；

对所述第一中间图像进行填充处理，得到第二中间图像；

将所述第二中间图像投影至所述初始全景图像中，得到所述目标全景图像。

20.根据权利要求19所述的方法，其特征在于，所述对所述第一中间图像进行填充处理包括以下的至少一项：

利用预设填充图像对所述第一中间图像进行填充处理；

利用预设填充算法对所述第一中间图像进行填充处理。

21.根据权利要求6所述的方法，其特征在于，所述根据各所述初始图像帧生成目标全景图像，包括：

根据各所述初始图像帧以及图像拼接方式，生成目标全景图像；

所述图像拼接方式包括逐帧拼接、赤道拼接、顶部拼接、底部拼接、两侧拼接中的至少一种。

22.根据权利要求21所述的方法，其特征在于，所述赤道拼接包括：

从各所述初始图像帧中确定位于第一预设位置、且不存在重叠区域的第三初始图像帧，并根据所述第三初始图像帧和所述初始映射信息确定所述第一次图像对齐的参考图像；

根据所述初始映射信息以及位于所述第一预设位置的其他初始图像帧，确定所述第一次图像对齐的待对齐图像；所述其他初始图像帧为各所述初始图像帧中除所述第三初始图像帧之外的图像帧。

23.根据权利要求21所述的方法，其特征在于，所述顶部拼接或底部拼接包括：

从各所述初始图像帧中确定位于第二预设区域的第四初始图像帧，并根据所述初始映射信息，将所述第四初始图像帧投影至所述第一预设全景图像中的第一目标区域；

根据投影至所述第一目标区域的第四初始图像帧，确定所述每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后所述第四初始图像帧对应的中间映射信息；

根据所述第四初始图像帧对应的中间映射信息，确定所述第四初始图像帧的目标映射信息。

24.根据权利要求21所述的方法，其特征在于，所述两侧拼接包括：

连接所述目标全景图像的两侧区域的第五初始图像帧，并根据所述初始映射信息，将所述第五初始图像帧投影至所述第一预设全景图像中的第二目标区域；

根据投影至所述第二目标区域的第五初始图像帧，确定所述每次图像对齐的参考图像和待对齐图像，并根据每次图像对齐的参考图像，对对应的待对齐图像进行对齐处理，以确定每次图像对齐后所述第五初始图像帧对应的中间映射信息；

根据所述第五初始图像帧对应的中间映射信息，确定所述第五初始图像帧的目标映射信息。

25.根据权利要求9所述的方法，其特征在于，若各所述初始图像帧均包括目标物，则所述目标全景图像能够同时显示多个所述目标物。

26.根据权利要求1所述的方法，其特征在于，所述方法还包括：

向所述云台发送转动指令；所述转动指令指示所述云台按照预设路径转动，以由所述拍摄设备在所述云台按照所述预设路径转动的过程中拍摄所述初始图像帧。

27.根据权利要求26所述的方法，其特征在于，所述预设路径能够使所述拍摄设备拍摄的视场角在第一方向覆盖360°以及在第二方向覆盖180°；所述第一方向与所述第二方向垂直。

28.根据权利要求27所述的方法，其特征在于，所述预设路径包括多个平行的子路径，所述子路径中相邻两个拍摄点位之间的目标角参数的差异小于预设差异阈值，所述目标角参数包括偏航角、俯仰角、翻滚角中的至少一种。

29.根据权利要求28所述的方法，其特征在于，多个所述子路径中的目标子路径对应的初始图像帧的帧数为偶数，且多个所述子路径对应的初始图像帧中至少存在一组具有相同偏航角的图像帧；所述目标子路径为多个所述子路径中位于中间行的子路径。

30.根据权利要求1所述的方法，其特征在于，所述拍摄设备为非全景拍摄设备。

31.一种手持云台，其特征在于，所述手持云台包括：电机、摄像头和处理器；

所述电机用于控制所述云台转动以带动所述摄像头的转动，所述处理器用于执行权利要求1-30任一项所述的方法。

32.一种全景图像生成系统，其特征在于，所述全景图像生成系统包括云台和终端；

所述云台用于按照预设路径转动；

所述终端包括拍摄设备和处理器，所述拍摄设备用于在所述云台按照预设路径转动的过程中拍摄多个拍摄角度的多个初始图像帧，并向所述处理器发送所述多个初始图像帧，以由所述处理器执行权利要求1-30任一项所述的方法。

33.一种全景图像生成装置，其特征在于，所述装置包括：

获取模块，用于获取多个初始图像帧；各所述初始图像帧是设置于云台上的拍摄设备在所述云台按照预设路径转动的过程中所拍摄的多个拍摄角度的图像帧；

生成模块，用于根据各所述初始图像帧生成目标全景图像。

34.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至30中任一项所述的方法的步骤。

35.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至30中任一项所述的方法的步骤。

36.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至30中任一项所述的方法的步骤。

Images