CN109743584B - 全景视频合成方法、服务器、终端设备及存储介质 - Google Patents

Abstract

本申请提供一种全景视频合成方法、服务器、终端设备及存储介质，终端设备将获取到的待合成视频上传至服务器，服务器在接收到该待合成视频后，根据终端设备的历史浏览记录，确定与待合成视频相匹配的目标全景图，将该目标全景图与待合成视频进行合成处理，得到目标全景视频，并将其发送给终端设备，由终端设备播放该目标全景视频。该技术方案中的目标全景视频集成了待合成视频和目标全景图中的内容，增加了全景图的内容丰富性，用户视觉效果好。

Description

全景视频合成方法、服务器、终端设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种全景视频合成方法、服务器、终端设备及存储介质。

背景技术

网页(web)全景图是全景图的一种，其是指网页上的3D场景效果，通过网页图形库(web graphics library，webgl)技术将全景图片贴合到一个虚拟的3D盒子空间，利用反射的原理，将其投影到网页2维屏幕上，呈现一种立体的、有空间感的可视化内容形式，比传统网页中的图片更贴合真实场景，用户体验好。

现有技术中，web全景图的内容展示时，通常是以3D场景的中心位置为中心，朝着空间各个方向查看并展示画面，而这个空间中，只有生成web全景的全景图片，使得展示的web全景内容枯燥、单调，用户视觉效果差。

发明内容

本申请提供一种全景视频合成方法、服务器、终端设备及存储介质，以克服由于现有全景视图中的内容枯燥、单调致使用户视觉效果差的问题。

本申请第一方面提供的一种全景视频合成方法，包括：

接收终端设备上传的待合成视频；

根据所述终端设备的历史浏览记录，确定与所述待合成视频相匹配的目标全景图；

将所述目标全景图与所述待合成视频进行合成处理，得到目标全景视频；

将所述目标全景视频发送给所述终端设备。

在第一方面的一种可能实现方式中，所述根据所述终端设备的历史浏览记录，确定与所述待合成视频相匹配的目标全景图，包括：

根据所述终端设备上的历史浏览记录，确定所述历史浏览记录对应的全景内容库，所述全景内容库中存储有与所述历史浏览记录相关联的所有全景图；

根据所述待合成视频所属的场景，查询所述全景内容库，确定与所述待合成视频相匹配的目标全景图。

在第一方面的另一种可能实现方式中，所述将所述目标全景图与所述待合成视频进行合成处理，得到目标全景视频，包括：

将所述待合成视频输入到图像识别模型中，得到所述待合成视频中的人物部分；

将所述目标全景图中的全景内容与所述待合成视频中的人物部分进行合成，输出所述目标全景视频。

在第一方面的上述可能实现方式中，在所述将所述待合成视频输入到智能识图模型中，得到所述待合成视频中的人物部分之前，所述方法还包括：

根据历史视频识别记录和用户画像方法进行机器学习，得到所述图像识别模型。

本申请第二方面提供的一种全景视频合成方法，包括：

获取待合成视频；

将所述待合成视频上传至服务器，并接收所述服务器返回的目标全景视频，所述目标全景视频是所述服务器根据所述待合成视频和确定的目标全景图得到的；

播放所述目标全景视频。

在第二方面的一种可能实现方式中，所述获取待合成视频，包括：

通过人机交互界面获取用户的拍摄指令，所述拍摄指令用于指示终端设备拍摄视频；

根据所述拍摄指令拍摄包含人物的视频，得到所述待合成视频。

在第二方面的另一种可能实现方式中，所述获取待合成视频，包括：

通过人机交互界面上的交互入口，获取终端设备中存储的所述待合成视频。

在第一方面的上述任一种可能实现方式中，所述播放所述目标全景视频，包括：

根据获取到的用户播放指令，在所述人机交互界面上，播放所述目标全景视频。

本申请第三方面提供一种全景视频合成装置，包括：接收模块、确定模块、合成模块和发送模块；

所述接收模块，用于接收终端设备上传的待合成视频；

所述确定模块，用于根据所述终端设备的历史浏览记录，确定与所述待合成视频相匹配的目标全景图；

所述合成模块，用于将所述目标全景图与所述待合成视频进行合成处理，得到目标全景视频；

所述发送模块，用于将所述目标全景视频发送给所述终端设备。

在第三方面的一种可能实现方式中，所述确定模块，具有用于根据所述终端设备上的历史浏览记录，确定所述历史浏览记录对应的全景内容库，所述全景内容库中存储有与所述历史浏览记录相关联的所有全景图，根据所述待合成视频所属的场景，查询所述全景内容库，确定与所述待合成视频相匹配的目标全景图。

在第三方面的另一种可能实现方式中，所述合成模块，具体用于将所述待合成视频输入到图像识别模型中，得到所述待合成视频中的人物部分，将所述目标全景图中的全景内容与所述待合成视频中的人物部分进行合成，输出所述目标全景视频。

在第三方面的上述可能实现方式中，所述装置还包括：训练模块；

所述训练模块，用于在所述合成模块将所述待合成视频输入到智能识图模型中，得到所述待合成视频中的人物部分之前，根据历史视频识别记录和用户画像装置进行机器学习，得到所述图像识别模型。

本申请第四方面提供一种全景视频合成装置，包括：获取模块、收发模块和播放模块；

所述获取模块，用于获取待合成视频；

所述收发模块，用于将所述待合成视频上传至服务器，并接收所述服务器返回的目标全景视频，所述目标全景视频是所述服务器根据所述待合成视频和确定的目标全景图得到的；

所述播放模块，用于播放所述目标全景视频。

在第四方面的一种可能实现方式中，所述获取模块，具体用于通过人机交互界面获取用户的拍摄指令，所述拍摄指令用于指示终端设备拍摄视频，根据所述拍摄指令拍摄包含人物的视频，得到所述待合成视频。

在第四方面的另一种可能实现方式中，所述获取模块，具体用于通过人机交互界面上的交互入口，获取终端设备中存储的所述待合成视频。

在第四方面的再一种可能实现方式中，所述播放模块，具体用于根据获取到的用户播放指令，在所述人机交互界面上，播放所述目标全景视频。

本申请第五方面提供一种服务器，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面以及第一方面各种可能实现方式中任一项所述的方法。

本申请第六方面提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述第一方面以及第一方面各种可能实现方式中任一项所述的方法。

本申请第七方面提供一种终端设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第二方面以及第二方面各种可能实现方式中任一项所述的方法。

本申请第八方面提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述第二方面以及第二方面各种可能实现方式中任一项所述的方法。

本申请实施例提供的全景视频合成方法、服务器、终端设备及存储介质，终端设备将获取到的待合成视频上传至服务器，服务器在接收到该待合成视频后，根据终端设备的历史浏览记录，确定与待合成视频相匹配的目标全景图，将该目标全景图与待合成视频进行合成处理，得到目标全景视频，并将其发送给终端设备，由终端设备播放该目标全景视频。该技术方案中的目标全景视频集成了待合成视频和目标全景图中的内容，增加了全景图的内容丰富性，用户视觉效果好，解决了由于现有全景视图用户视觉效果差的问题。

附图说明

图1为本申请实施例提供的全景视频合成方法的应用场景示意图；

图2为本申请实施例提供的全景视频合成方法实施例一的交互示意图；

图3为本申请实施例提供的全景视频合成方法实施例二的流程示意图；

图4为本申请实施例提供的全景视频合成方法实施例三的流程示意图；

图5为本申请实施例提供的全景视频合成方法的交互示意图；

图6为本申请实施例提供的全景视频合成装置实施例一的结构示意图；

图7为本申请实施例提供的全景视频合成装置实施例二的结构示意图；

图8为本申请实施例提供的服务器实施例的结构示意图；

图9为本申请实施例提供的终端设备实施例的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现阶段，通常的网页(web)全景图展示方法就是全景图片在移动设备上进行2维投影，在屏幕可能会有一些2维的标记锚点或者在3D空间中展示一些模型。现有技术中的全景图展示方法，全景图中的全景内容是固定的，每个用户看到的是相同内容，无法与用户进行交互，使得用户在全景图上的代入感不强，影响全景图的传播，用户的观赏兴趣差。

随着互联网技术的发展，视频的应用越来越多，需求也越来越大。如果能在web全景图中加入视频的元素，这时得到的全景视频务必会给全景领域带来新的活力。

图1为本申请实施例提供的全景视频合成方法的应用场景示意图。如图1所示，该应用场景包括可以无线通信的终端设备11和服务器12，该终端设备11具有人机交互界面110，用户通过该人机交互界面110可以获取待合成视频，并且对待合成视频进行操作。例如，终端设备11可以将获取到的待合成视频发送给服务器12，相应的，该服务器12可以根据该待合成视频，并基于人工智能(artificial intelligence，AI)技术和人物画像确定出待处理的目标全景图，并对上述待合成视频以及目标全景图进行合成处理，得到目标全景视频。

具体的，本实施例提供的全景视频合成方法基于终端设备和服务器共同实现，其利用AI技术和大数据的用户画像，将视频中的人物和AI技术输出的全景图进行合成，生产出人物和全景自然融合的视频内容，即全景视频，由于全景视频中的合成内容可以是原始视频中的场景、也可以是用户搜索过的场景(历史浏览记录)，所以，全景视频中的合成内容与终端设备的用户有一定的相关性，增强了与用户的粘性，而且，这种新颖的交互模式，会极大地促使用户浏览更多的全景内容，扩宽全景的业务边界，为更多的垂类业务提供了新的发展前景。下面，通过具体实施例对本申请的技术方案进行详细说明。

需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为本申请实施例提供的全景视频合成方法实施例一的交互示意图。该方法以终端设备和服务器之间的信息交互进行说明。如图2所示，该方法可以包括如下步骤：

步骤21：终端设备获取待合成视频。

在本实施例中，当用户想要通过终端设备观看某种包含特定元素的目标全景视频时，用户可以通过对终端设备进行操作，以使得终端设备根据用户的操作指令获取合成目标全景视频所需的待合成视频。

通常情况下，上述的特定元素是人物。服务器可以将待合成视频中的人物(例如，待合成视频中的一个、两个、多个或者所有人物)与全景图进行融合处理，以得到用户感兴趣的目标全景视频。可选的，上述的特定元素也可以是特写物体，服务器也可以从待合成视频中抽取出目标特写物体，并将其与后续确定的目标全景图进行合成处理。

示例性的，在本实施例的一种可能实现方式中，该步骤21可以通过如下步骤实现：

步骤A1：终端设备通过人机交互界面获取用户的拍摄指令，该拍摄指令用于指示终端设备拍摄视频。

步骤A2：终端设备根据该拍摄指令拍摄包含人物的视频，得到上述待合成视频。

在本实施例中，合成全景视频的待合成视频可以由终端设备根据用户的拍摄指令拍摄得到。具体的，用户首先可以通过操作终端设备以使终端设备的人机交互界面上出现拍摄选项，其次利用该拍摄选项下发拍摄指令，以使终端设备根据该拍摄指令拍摄视频。

可选的，终端设备根据用户的拍摄指令拍摄视频时，需要满足一定的拍摄条件，例如，用户需要将自己或其他人置身于某个全景图的场景中，这时用户则需要控制终端设备拍摄包含自己或其他人等人物的视频，即终端设备拍摄到的待合成视频中包含人物。

此外，由于终端设备的该待合成视频需要上传到服务器进行处理，为了减小待合成视频的大小，提高视频上传速度，本实施例中的待合成视频的时长小于或等于5秒，当终端设备拍摄到的视频的长度超过5秒时，终端设备将截取视频的前5秒作为待合成视频。

本实施例中，终端设备通过人机交互界面获取用户的拍摄指令，并根据该拍摄指令拍摄包含人物的视频，得到待合成视频，本方案中，用户可以实时实地取景，更贴合用户的实际需求。

示例性的，在本实施例的另一种可能实现方式中，该步骤21可以通过如下步骤实现：

终端设备通过人机交互界面上的交互入口，获取终端设备中存储的待合成视频。

可选的，当用户处于某种特殊场景，例如，黑暗环境，办公场所等不适宜拍摄视频的场景中时，若终端设备中存储有用户之前拍摄的视频片段，这时，用户可以通过点击终端设备的人机交互界面上的交互入口获取终端设备中存储的视频，并根据待合成视频的时长要求对获取到的视频进行处理，得到满足预设要求的待合成视频。

步骤22：终端设备将该待合成视频上传至服务器。

在本实施例中，为了获得与该待合成视频相匹配的全景图，终端设备将上述获取到的待合成视频上传至服务器，由服务器对该待合成视频进行处理。关于服务器对待合成视频进行处理的具体操作参见下述步骤中的记载。

示例性的，终端设备在上传待合成视频时，可以通过终端设备的人机交互界面播放上述正在上传的待合成视频，并显示上传进度。

步骤23：服务器根据终端设备的历史浏览记录，确定与上述待合成视频相匹配的目标全景图。

示例性的，在本实施例中，当用户通过终端设备的人机交互界面点击视频上传选项时，服务器相应的接收该待合成视频，并在待合成视频上传成功后，由服务器端进行处理。

可选的，当服务器接收到该待合成视频时，会确定出对应终端设备的标识，进而可以根据终端设备的标识查询该终端设备在网络上的历史浏览记录，相应的，服务器根据该历史浏览记录，通过大数据的用户画像技术，得到用户感兴趣和浏览过的场景，同时利用人工智能AI技术，从服务器上的所有全景图中筛选出与上述待合成视频相匹配的目标全景图。

值得说明的是，本实施例中的目标全景图可以是服务器上存在的所有全景图中的任意一个，用户也可以对服务器确定出的该目标全景图进行更换，即选择自己喜欢的全景图。

关于该步骤的具体实现方式可参见下述图3所示实施例中的记载，此处不再赘述。

步骤24：服务器将上述目标全景图与待合成视频进行合成处理，得到目标全景视频。

在本实施例中，服务器在接收到上述待合成视频以及与待合成视频相匹配的目标全景图之后，可以通过某种合成软件将该待合成视频和目标全景图进行合成处理，将待合成视频上的特定元素叠加在目标全景图上显示出来。

关于该步骤的具体实现方式可参见下述图4所示实施例中的记载，此处不再赘述。

步骤25：服务器将该目标全景视频发送给终端设备。

通常情况下，用户通过终端设备将待合成视频上传到服务器后，相应的将通过终端设备进行播放或展示，因而，服务器得到目标全景视频后，会将其发送给终端设备，以使终端设备根据用户的播放指令进行播放。

步骤26：终端设备播放接收到的该目标全景视频。

在本实施例中，终端设备可以根据获取到的用户播放指令，在人机交互界面上，播放该目标全景视频。

示例性的，终端设备从服务器上下载到该目标全景视频后，用户通过点击人机交互界面上的交互入口，即向终端设备下发用户播放指令，以使终端设备根据该用户播放指令，通过该人机交互界面展示合成后的目标全景视频。若该目标全景视频是服务器利用待合成视频中的人物和确定的目标全景图得到的，那么用户在终端设备的人机交互界面播放的目标全景视频中可以看到待合成视频中的人物在目标全景图中的播放画面。

本申请实施例中的目标全景视频展示了用户在目标全景图中播放的画面，类似“穿越”到虚拟环境中的效果，具有很强的趣味性，同时3D场景都是根据终端设备的历史浏览记录确定的，是和用户有联系的，增强了用户的代入感，吸引了用户使用。

本申请实施例提供的全景视频合成方法，终端设备将获取到的待合成视频上传至服务器，服务器在接收到该待合成视频后，根据终端设备的历史浏览记录，确定与待合成视频相匹配的目标全景图，将该目标全景图与待合成视频进行合成处理，得到目标全景视频，并将其发送给终端设备，由终端设备播放该目标全景视频。该技术方案中的目标全景视频集成了待合成视频和目标全景图中的内容，增加了全景图的内容丰富性，用户视觉效果好，解决了由于现有全景视图中的内容枯燥、单调致使用户视觉效果差的问题。

示例性的，在上述实施例的基础上，图3为本申请实施例提供的全景视频合成方法实施例二的流程示意图。如图3所示，在本实施例中，上述步骤23(服务器根据终端设备的历史浏览记录，确定与上述待合成视频相匹配的目标全景图)具体可以通过如下步骤实现：

步骤31：服务器根据终端设备上的历史浏览记录，确定该历史浏览记录对应的全景内容库。

其中，该全景内容库中存储有与上述历史浏览记录相关联的所有全景图。

通常情况下，用户通过终端设备上网，在网络上搜索和查看自己感兴趣的文字、图片、动画或音视频内容，服务器可以利用人工智能AI技术综合用户的历史浏览记录，生成一个该终端设备的标识对应的全景内容库，该全景内容库中的所有全景图是根据该终端设备的历史浏览记录整合到的，即全景内容库中存储有与上述历史浏览记录相关联的所有全景图。

步骤32：服务器根据上述待合成视频所属的场景，查询上述全景内容库，确定与待合成视频相匹配的目标全景图。

可选的，服务器在获取到待合成视频后，可以首先识别待合成视频所属的场景，根据该场景到全景内容库中进行查询，从中选定与待合成视频相匹配的目标全景图。

示例性的，该目标全景图的内容可以是全景内容库中的一个全景图的内容，也可以是根据多个全景图整合得到的全景内容，本申请实施例并不对其进行限定。

本申请实施例提供的全景视频合成方法，服务器根据该终端设备上的历史浏览记录，确定该历史浏览记录对应的全景内容库，该全景内容库中存储有与该历史浏览记录相关联的所有全景图，根据待合成视频所属的场景，查询全景内容库，确定与待合成视频相匹配的目标全景图。该技术方案中，服务器可以根据用户感兴趣或历史浏览记录从众多全景图中筛选出与待合成视频相匹配的目标全景图，为得到用户满意的目标全景视频提供了实现前提。

进一步的，在上述任一所述实施例的基础上，图4为本申请实施例提供的全景视频合成方法实施例三的流程示意图。如图4所示，在本实施例中，上述步骤24(服务器将上述目标全景图与所述待合成视频进行合成处理，得到目标全景视频)具体可以通过如下步骤实现：

步骤41：服务器将待合成视频输入到图像识别模型中，得到待合成视频中的人物部分。

在本实施例中，服务器接收到终端设备发送的待合成视频后，一方面根据待合成视频所属的场景从服务器中的全景内容库中筛选出与待合成视频相匹配的目标全景视频，另一方面将待合成视频输入到服务器上运行着的图像识别模型中，由该图像识别模型执行图像检测，进而得到待合成视频中的人物部分。

步骤42：服务器将该目标全景图中的全景内容与待合成视频中的人物部分进行合成，输出目标全景视频。

在本实施例中，目标全景图中的全景内容是与用户息息相关的，其是服务器根据终端设备的历史浏览记录以及待合成视频所属的场景筛选出来的，待合成视频中的人物部分是利用服务器上运行的图像识别模型识别出来的，因而，目标全景图中的全景内容和待合成视频中的人物部分都是终端设备的用户感兴趣的，通过将这两部分内容进行合成，即将待合成视频中的人物部分叠加到目标全景图中的全景内容中，从而得到目标全景视频。

示例性的，如图4所示，在本实施例中，在上述步骤41之前，该全景视频合成方法还可以包括如下步骤：

步骤40：服务器根据历史视频识别记录和用户画像方法进行机器学习，得到上述图像识别模型。

在本实施例中，服务器上运行的图像识别模型是可以是服务器基于大数据的用户画像方法，对历史视频识别记录进行机器学习得到的，该历史视频识别记录包括：历史识别视频和历史识别结果。

具体的，服务器将历史识别视频作为图像识别模型的输入，利用用户画像方法提取历史识别视频中的特征(即，历史识别视频中的人物部分)作为图像识别模型的输出，并基于上述历史识别结果对图像识别模型的输出进行更新，直到图像识别模型输出的人物部分与历史识别结果的差异性满足预设要求，最后得到上述图像识别模型。

本申请实施例提供的全景视频合成方法，服务器根据历史视频识别记录和用户画像方法进行机器学习，得到图像识别模型，进而将上述待合成视频输入到图像识别模型中，得到待合成视频中的人物部分，将该目标全景图中的全景内容与待合成视频中的人物部分进行合成，输出目标全景视频。该技术方案能够个性化的定制出视频中的人物在全景图中直播的画面，提高了用户的全景图观赏体验。

下述以终端设备和服务器的交互处理流程对本申请提供的全景视频合成方法进行简要说明。示例性的，图5为本申请实施例提供的全景视频合成方法的交互示意图。

具体的，终端设备将用户视频(即上述的待合成视频)输入到服务器中，由服务器中的AI及用户画像模块接收，AI及用户画像模块对该用户视频进行分析，一方面将用户视频的视频内容发送给AI识别模块进行人物识别，并将AI识别模块从视频内容中识别出来的视频中的人物部分发送给合成模块，另一方面根据用户视频的视频场景到全景内容库中获取与该视频场景相匹配的全景内容，并将其发送给合成模块，再一方面AI及用户画像模块还从网络上获取用户感兴趣和历史浏览记录，并输出全景内容到合成模块，以使合成模块根据从AI识别模块接收到的视频中的人物部分、从全景内容库获取到的全景内容以及从AI及用户画像模块获取到的全景内容进行合成处理，最后得到合成视频内容输出给终端设备，以使终端设备展示给用户。

值得说明的是，本实施例的全景视频合成方法打通了全景图的全景内容和用户的联系，增强了用户与全景图的交互性，具体的，通过大数据的用户画像能力，获取用户感兴趣或浏览过的场景，同时利用人工智能AI能力，识别用户上传的待合成视频中的场景，在全景内容库中进行匹配，最终选取出目标全景图，即与用户相关的全景内容，在将其与用户上传的待合成视频进行合成，定制化地生产出待合成视频中的人物在目标全景图中进行直播的目标全景视频。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图6为本申请实施例提供的全景视频合成装置实施例一的结构示意图。该装置可以应用于终端设备中。如图6所示，该装置可以包括：接收模块61、确定模块62、合成模块63和发送模块64。

其中，该接收模块61，用于接收终端设备上传的待合成视频；

该确定模块62，用于根据所述终端设备的历史浏览记录，确定与所述待合成视频相匹配的目标全景图；

该合成模块63，用于将所述目标全景图与所述待合成视频进行合成处理，得到目标全景视频；

该发送模块64，用于将所述目标全景视频发送给所述终端设备。

示例性的，在本实施例的一种可能实现方式中，该确定模块62，具有用于根据所述终端设备上的历史浏览记录，确定所述历史浏览记录对应的全景内容库，所述全景内容库中存储有与所述历史浏览记录相关联的所有全景图，根据所述待合成视频所属的场景，查询所述全景内容库，确定与所述待合成视频相匹配的目标全景图。

示例性的，在本实施例的另一种可能实现方式中，该合成模块63，具体用于将所述待合成视频输入到图像识别模型中，得到所述待合成视频中的人物部分，将所述目标全景图中的全景内容与所述待合成视频中的人物部分进行合成，输出所述目标全景视频。

可选的，在本实施例中，该装置还可以包括：训练模块。

该训练模块，用于在该合成模块63将所述待合成视频输入到智能识图模型中，得到所述待合成视频中的人物部分之前，根据历史视频识别记录和用户画像装置进行机器学习，得到所述图像识别模型。

本申请实施例提供的装置，可用于执行图2至图5所示实施例中服务器的实现方案，其实现原理和技术效果类似，在此不再赘述。

图7为本申请实施例提供的全景视频合成装置实施例二的结构示意图。该装置可以应用于服务器中。如图7所示，该装置可以包括：获取模块71、收发模块72和播放模块73。

其中，该获取模块71，用于获取待合成视频；

该收发模块72，用于将所述待合成视频上传至服务器，并接收所述服务器返回的目标全景视频，所述目标全景视频是所述服务器根据所述待合成视频和确定的目标全景图得到的；

该播放模块73，用于播放所述目标全景视频。

作为一种示例，该获取模块71，具体用于通过人机交互界面获取用户的拍摄指令，所述拍摄指令用于指示终端设备拍摄视频，根据所述拍摄指令拍摄包含人物的视频，得到所述待合成视频。

作为另一种示例，该获取模块71，具体用于通过人机交互界面上的交互入口，获取终端设备中存储的所述待合成视频。

示例性的，在本实施例的一种可能实现方式中，该播放模块73，具体用于根据获取到的用户播放指令，在所述人机交互界面上，播放所述目标全景视频。

本申请实施例提供的装置，可用于执行图2和图5所示实施例中终端设备的实现方案，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。

图8为本申请实施例提供的服务器实施例的结构示意图。如图8所示，该服务器可以包括：处理器81、存储器82、通信接口83和系统总线84，所述存储器82和所述通信接口83通过所述系统总线84与所述处理器81连接并完成相互间的通信，所述存储器82用于存储计算机执行指令，所述通信接口83用于和其他设备进行通信，所述处理器81执行所述计算机程序时实现如上述执行图2至图5所示实施例中服务器的方案。

图9为本申请实施例提供的终端设备实施例的结构示意图。如图9所示，该终端设备可以包括：处理器91、存储器92、通信接口93和系统总线94，所述存储器92和所述通信接口93通过所述系统总线94与所述处理器91连接并完成相互间的通信，所述存储器92用于存储计算机执行指令，所述通信接口93用于和其他设备进行通信，所述处理器91执行所述计算机程序时实现如上述图2和图5所示实施例中终端设备的方案。

上述图8、图9中提到的系统总线可以是外设部件互连标准(peripheralcomponent interconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。所述系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可选的，本申请实施例还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行图2至图5所示实施例中服务器的实现方案。

可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行图2至图5所示实施例中服务器的实现方案。

本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述图2至图5所示实施例中服务器的方法。

可选的，本申请实施例还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行图2和图5所示实施例中终端设备的实现方案。

可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行图2和图5所示实施例中终端设备的实现方案。

本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述图2和图5所示实施例中终端设备的实现方案。

本文中的术语“多个”是指两个或两个以上。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (6)

1.一种全景视频合成方法，其特征在于，包括：

接收终端设备上传的待合成视频；

根据所述终端设备的历史浏览记录，确定与所述待合成视频相匹配的目标全景图；

将所述目标全景图与所述待合成视频进行合成处理，得到目标全景视频；

将所述目标全景视频发送给所述终端设备；

所述将所述目标全景图与所述待合成视频进行合成处理，得到目标全景视频，包括：

将所述待合成视频输入到图像识别模型中，得到所述待合成视频中的人物部分；

将所述目标全景图中的全景内容与所述待合成视频中的人物部分进行合成，输出所述目标全景视频。

2.根据权利要求1所述的方法，其特征在于，所述根据所述终端设备的历史浏览记录，确定与所述待合成视频相匹配的目标全景图，包括：

根据所述终端设备上的历史浏览记录，确定所述历史浏览记录对应的全景内容库，所述全景内容库中存储有与所述历史浏览记录相关联的所有全景图；

根据所述待合成视频所属的场景，查询所述全景内容库，确定与所述待合成视频相匹配的目标全景图。

3.根据权利要求1所述的方法，其特征在于，在所述将所述待合成视频输入到智能识图模型中，得到所述待合成视频中的人物部分之前，所述方法还包括：

根据历史视频识别记录和用户画像方法进行机器学习，得到所述图像识别模型。

4.一种全景视频合成装置，其特征在于，包括：接收模块、确定模块、合成模块和发送模块；

所述接收模块，用于接收终端设备上传的待合成视频；

所述确定模块，用于根据所述终端设备的历史浏览记录，确定与所述待合成视频相匹配的目标全景图；

所述合成模块，用于将所述目标全景图与所述待合成视频进行合成处理，得到目标全景视频；

所述发送模块，用于将所述目标全景视频发送给所述终端设备；

所述合成模块，具体用于将所述待合成视频输入到图像识别模型中，得到所述待合成视频中的人物部分；

将所述目标全景图中的全景内容与所述待合成视频中的人物部分进行合成，输出所述目标全景视频。

5.一种服务器，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述权利要求1-3任一项所述的方法。

6.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-3任一项所述的方法。

Images