CN113099248B - 全景视频填补方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种全景视频填补方法、装置、设备及存储介质，涉及互联网直播与视频处理领域；所述方法包括：获取多个待处理图像以及填补图像；根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定。本实施例能够提高全景视频帧的生成效率，满足某些场景的实时性需求。

Description

全景视频填补方法、装置、设备及存储介质

技术领域

本申请涉及互联网直播与视频处理领域，尤其涉及一种全景视频填补方法、装置、设备及存储介质。

背景技术

随着近眼显示设备的普及，全景视频被广泛应用到各种行业。在全景视频生成过程中，可通过全景照相机或全景摄像机来获得全景视频的每一帧。由于客观条件的存在，使得获取的全景视频帧中存在一个空洞区域，比如全景相机由于相机杆的存在，在朝地面的方向就无法在布置多一个相机，所以最终拼接出来的全景视频帧在朝向地面的方向存在空洞，如图1所示，体现在全景视频帧中会有一个边缘凹凸不平的黑色区域；同理，在某些情况下，全景相机中并没有设置朝天空方向拍摄的相机，所以最终拼接出来的全景视频帧在朝向天空的方向存在空洞，如图2所示，体现在全景视频帧中会有一个边缘凹凸不平的黑色区域。

发明内容

有鉴于此，本申请提供一种全景视频填补方法、装置、设备及存储介质。

首先，本申请的第一方面提供了一种全景视频填补方法，包括：

获取多个待处理图像以及填补图像；

根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；

根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定。

可选地，所述参考全景图像中的待填补区域通过以下方式确定：

根据用户在所述参考全景图像中选择的位置，确定所述待填补区域；

或者，对所述参考全景图像进行识别处理，基于识别结果确定所述待填补区域。

可选地，所述全景填补模板根据所述参考全景图像的尺寸、所述待填补区域在所述参考全景图像中的位置以及参考填补图像的尺寸确定。

可选地，所述全景填补模板的数量有多个，不同的全景填补模板对应的参考填补图像的尺寸不同；

所述方法还包括：

根据所述填补图像的尺寸，从多个所述全景填补模板中选择目标全景填补模板；

根据所述目标全景填补模板对应的参考填补图像的尺寸，对所述填补图像进行裁剪处理或者拉伸处理；

所述根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，包括：

根据目标全景填补模板将处理后的填补图像投影至所述未填补的全景图像帧中的待填补区域处。

可选地，所述目标全景填补模板对应的参考填补图像的尺寸与所述填补图像的尺寸的差异最小。

可选地，所述生成未填补的全景视频帧，包括：

根据所述全景拼接模板，确定所述多个待处理图像中的像素点在所述未填补的全景视频帧所在全景坐标系下对应的投影位置；

如果所述投影位置处于所述未填补的全景视频帧的待填补区域内，丢弃所述投影位置对应的像素点，否则，将所述投影位置对应的像素点投影至所述全景坐标系；其中，所述未填补的全景视频帧的待填补区域所在位置与所述参考全景图像中的待填补区域所在位置相同。

可选地，所述填补图像包括以下至少一项：补地图像、补天图像或者空洞填补图像。

根据本申请实施例的第二方面，提供一种全景视频填补装置，包括：

图像获取模块，用于获取多个待处理图像以及填补图像；

图像拼接模块，用于根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；

图像填补模块，用于根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定。

根据本申请实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器执行所述可执行指令时，被配置为执行第一方面任一项所述的方法。

根据本申请实施例的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面中任一所述方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请提供了一种全景视频填补方法，获取多个待处理图像以及填补图像，然后根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；以及根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，所述全景填补模板根据所述参考全景图像中的待填补区域确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；本实施例中，预先根据与所述多个待处理图像的拍摄方位相同的多个参考图像来确定全景拼接模板和全景填补模板，从而在生成全景视频帧过程中，可以根据预先确定的全景拼接模板和全景填补模板分别对多个待处理图像以及填补图像进行处理得到已填补的全景视频帧，无需重复计算相关全景参数，有利于提高全景视频帧的生成效率，满足某些场景比如直播场景下的实时性需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

图1以及图2为本申请背景技术示出的需要填补相关区域的不同全景图像；

图3为本申请根据一示例性实施例示出的直播架构的示意图；

图4为本申请根据一示例性实施例示出的一种全景视频填补方法的流程示意图；

图5为本申请根据一示例性实施例示出的全景图像的示意图；

图6A、图6B和图6C为本申请根据一示例性实施例示出的不同拼接图像的示意图；

图7A为本申请根据一示例性实施例示出的参考填补图像的示意图；

图7B为本申请根据一示例性实施例示出的参考填补图像投影至参考全景图像的待填补区域的示意图；

图8为本申请根据一示例性实施例示出的一种全景视频填补装置的实施例的示意图；

图9为本申请根据一示例性实施例提供一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

随着近眼显示设备的普及，全景视频被广泛应用到各种行业。在全景视频生成过程中，可通过全景照相机或全景摄像机来获得全景视频的每一帧。由于客观条件的存在，使得获取的全景视频帧中存在一个空洞区域，比如全景相机由于相机杆的存在，在朝地面的方向就无法在布置多一个相机，所以最终拼接出来的全景视频帧在朝向地面的方向存在空洞，如图1所示，体现在全景视频帧中会有一个边缘凹凸不平的黑色区域；同理，在某些情况下，全景相机中并没有设置朝天空方向拍摄的相机，所以最终拼接出来的全景视频帧在朝向天空的方向存在空洞，如图2所示，体现在全景视频帧中会有一个边缘凹凸不平的黑色区域。

基于相关技术中的问题，本申请实施例提供了一种全景视频填补方法，在生成全景视频的每一帧的过程中，获取多个待处理图像以及填补图像，然后根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；以及根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，所述全景填补模板根据所述参考全景图像中的待填补区域确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；本实施例中，预先根据与所述多个待处理图像的拍摄方位相同的多个参考图像来确定全景拼接模板和全景填补模板，从而在生成全景视频帧的过程中，可以根据预先确定的全景拼接模板和全景填补模板分别对多个待处理图像以及填补图像进行处理得到已填补的全景视频帧，无需重复计算相关全景参数，有利于提高全景视频帧的生成效率，满足某些场景比如直播场景下的实时性需求。

其中，所述全景视频填补方法可以由电子设备来执行，所述电子设备包括但不限于终端设备或者服务器等计算设备。其中，所述终端设备的示例包括但不限于：智能电话/手机、平板计算机、个人数字助理(PDA)、膝上计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置(例如，手表、眼镜、手套、头饰(例如，帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(HMD)、头带)、挂件、臂章、腿环、鞋子、马甲)或者任何其他类型的装置。

本申请实施例提供的全景视频填补方法适用于任何生成全景视频的场景中。示例性地，所述全景视频填补方法可应用全景直播领域。

如图3所示，图3是本申请根据一示例性实施例示出的一种直播网络架构示意图。该直播网络架构可以包括服务端、多个终端以及全景相机(或者全景摄像机等)。其中，服务端可以称为后台服务器、组件服务器等，用于提供网络直播的后台服务。服务端可以包括服务器、服务器集群或者云平台等。终端可以是具有网络直播功能的智能终端，例如，智能终端可以是计算机、智能手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、多媒体播放器、可穿戴设备等等。

图3中，可以在终端中安装客户端应用，服务端向各客户端应用提供直播服务。例如，用户可以使用终端安装直播客户端应用，通过该直播客户端应用获得服务端所提供的直播服务，也可以使用终端安装浏览器客户端应用，通过浏览器客户端应用登录服务器所提供的直播页面，获得直播服务。通常，直播过程中涉及两类用户，一类用户为主播用户，另一类用户为观众用户，基于此，可以将用户终端分为主播端和观众端。客户端应用可以提供有主播直播功能和直播收看功能，主播用户可以使用客户端应用提供的主播直播功能进行视频直播，观众用户可以使用客户端应用提供的直播收看功能收看视频内容。例如，安装有客户端应用的主播端可以与全景相机连接(包括但不限于通信连接或者电连接)，通过全景相机实时采集多张图像，并将所述多张图像拼接成全景视频帧然后发送给服务端，服务端将所接收的全景视频帧广播给安装有客户端应用的观众端，而观众用户可以使用客户端应用提供的收看功能观看主播用户的全景直播内容。

进一步地，针对于所述全景视频帧可能存在空洞的问题，所述主播端可以预先获取全景拼接模板以及全景填补模板，然后实时直播过程中，在获取所述全景相机实时采集的多个待处理图像之后，可以根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；以及，根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧并发送给服务端，服务端将所接收的已填补的全景视频帧广播给安装有客户端应用的观众端，而观众用户可以使用客户端应用提供的收看功能观看主播用户的全景直播内容。

接下来对本申请实施例提供的全景视频填补方法进行说明：请参阅图4，图4为本申请实施例提供的一种全景视频填补方法的流程示意图，所述方法可以由电子设备来执行，比如可以由全景直播领域中的主播端来执行，所述方法包括：

在步骤S101中，在生成全景视频的每一帧的过程中，获取多个待处理图像以及填补图像。

在步骤S102中，根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同。

在步骤S103中，根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定。

在一些实施例中，在生成所述全景视频中的每一帧之前，所述电子设备可以预先获取有所述全景拼接模板以及所述全景填补模板，所述全景拼接模板可以包括将所述多张待处理图像投影到所述全景视频的每一帧所在全景坐标系下的相关全景参数，所述全景填补模板可以包括将所述填补图像投影到所述全景坐标系中待填补区域所在位置的相关全景参数；以便在生成所述全景视频中的每一帧的过程中直接使用所述全景拼接模板来对获取的待处理图像直接进行拼接即可，无需重复计算相关全景参数，另外，在填补图像不变的情况下，在使用所述全景填补模板将所述填补图像投影到所述全景坐标系中待填补区域所在位置之后，在生成所述全景视频中的每一帧的过程中可重复使用投影后的填补图像，无需重复填补图像的投影过程，从而有利于提高全景视频帧的生成效率，也满足某些场景下需要实时生成全景视频帧的需求。

在一些实施例中，所述电子设备可以预先获取与所述多个待处理图像的拍摄方位相同的多个参考图像，比如所述多个参考图像可以是全景相机在采集所述多个待处理图像的同一位置处采集得到；然后在将所述多个参考图像拼接成参考全景图像的过程中获取全景拼接模板，由于所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同，多个参考图像之间的变换关系与多个待处理图像之间的变换关系也是相同，则所述全景拼接模板也同样适用于所述多个待处理图像的拼接过程。

在获取所述多张参考图像之后，所述电子设备可以将所述多张参考图像拼接成参考全景图像，在这个过程中，首先所述电子设备需要进行图像配准，然后根据图像配准数据将所述多张参考图像变换至同一坐标系中，最后将配准后的多张参考图像进行融合生成所述参考全景图像。

在一个例子中，在生成所述参考全景图像的过程中，首先所述电子设备可以对每张参考图像进行特征点提取，获取每张参考图像对应的特征点集合；然后将多张所述参考图像分别对应的特征点集合进行两两匹配，根据匹配的特征点集合对所述参考图像进行图像配准(比如获取所述参考图像之间的相对位姿等)，然后根据图像配准数据将所述多张参考图像变换至同一坐标系中；接着，基于缝合线算法确定配准后的多张参考图像两两之间的缝合线，基于确定的缝合线实现配准后的多张参考图像之间的融合，生成所述参考全景图像。示例性的，请参阅图5，图5所示的参考全景图像由图6A所示的参考图像、图6B所示的参考图像以及图6C所示的参考图像拼接得到。其中，在生成所述参考全景图像的过程中，所述电子设备可以根据相关的图像配准数据以及确定的缝合线的信息等相关的全景参数生成所述全景拼接模板。

在一些实施例中，所述电子设备可以根据所述参考全景图像中的待填补区域确定所述全景填补模板。由于用于生成所述参考全景图像的多张参考图像的拍摄方位与所述多张待处理图像的拍摄方位相同，则所述参考图像中的待填补区域所在位置与基于所述全景拼接模板拼接得到的未填补的全景视频帧中的待填补区域所在位置相同，所述全景填补模板也适用于所述未填补的全景视频帧。

在一种可能的实现方式中，所述电子设备可以根据用户在所述参考全景图像中选择的位置，确定所述待填补区域。在一个例子中，可以基于用户在所述参考全景图像中框选的区域来确定所述待填补区域；或者，比如请参考图1，针对于需要补地(底部的凹凸不平区域)的全景图像，可以基于用户在所述参考全景图像中针对于底部的凹凸不平区域选择的最高点，确定所述待填补区域(以最高点所在直线作为边界以下的部分作为所述待填补区域)；或者，比如请参考图2，针对于需要补天(顶部的凹凸不平区域)的全景图像，可以基于用户在所述参考全景图像中针对于顶部的凹凸不平区域选择的最低点，确定所述待填补区域(以最低点所在直线作为边界以上的部分作为所述待填补区域)。

在另一种可能的实现方式中，所述电子设备可以对所述参考全景图像进行识别处理，基于识别结果确定所述待填补区域。比如考虑到所述参考全景图像中的待填补区域通常是一块纯色区域(比如黑色区域)，因为可以识别所述参考全景图像中的纯色区域，将识别到的纯色区域确定为所述待填补区域。又比如可以对所述全景参考图像进行语义分割处理，获取所述全景参考图像中各个像素的分类结果，根据所述全景参考图像中各个像素的分类结果确定所述待填补区域。

在一些实施例中，为了避免待填补区域确定过大包含了无需填补的区域，考虑到待填补区域通常为纯色区域，可以确定该纯色区域的面积在所述待填补区域中所占比例，如果该纯色区域的面积在所述待填补区域中所占比例小于或者等于所述待填补区域面积的一半，表明确定的待填补区域过大可能包含了过多无需填补的区域，应进一步将所述待填补区域调小，从而尽可能更多地展示全景视频帧中的其他内容。

在一些实施例中，在确定所述待填补区域在所述参考全景图像中的位置之后，可以根据所述参考全景图像的尺寸、所述待填补区域在所述参考全景图像中的位置以及参考填补图像的尺寸确定所述全景填补模板，所述全景填补模板可以包括将所述填补图像投影到所述全景坐标系中待填补区域所在位置的相关全景参数；作为例子，比如要对如图1所示的参考全景图像的待填补区域进行填补，请参阅7A以及图7B，图7A为参考填补图像，图7B为图7A所示的参考填补图像投影至所述参考全景图像所在全景坐标系中待填补区域所在位置后呈现的示意图，根据图1以及图7B可以获取填补后的参考全景图像。

示例性地，可以根据所述参考全景图像的尺寸确定所述待填补区域的尺寸，进而根据所述待填补区域的尺寸、所述待填补区域在所述参考全景图像中的位置以及参考填补图像的尺寸确定所述全景填补模板。

其中，所述参考填补图像的尺寸不同，获取的所述全景填补模板也不同。则为了支持不同尺寸的参考填补图像，可以根据不同尺寸的参考填补图像、所述待填补区域的尺寸以及所述待填补区域在所述参考全景图像中的位置获取不同的全景填补模板；即可以预先获取多个全景填补模板，不同的全景填补模板对应的参考填补图像的尺寸不同，以便后续基于实际应用过程中获取的填补图像的尺寸获取对应的全景填补模板。

在生成所述全景视频帧的过程中，所述电子设备可以获取由全景相机采集的多张待处理图像以及获取填补图像。示例性的，所述全景相机包括有多个成像装置，所述多个成像装置的帧率相同，所述多张待处理图像由所述多个成像装置分别采集得到，且所述多张待处理图像之间具有预设的重叠率。示例性的，所述多张待处理图像也可以是移动的成像装置在预设时间段内拍摄得到，且所述多张待处理图像之间具有预设的重叠率。示例性的，所述填补图像可以由用户选择；也可以由电子设备从填补图像数据库中选择，作为例子，所述填补图像数据库中包括若干填补图像，所述电子设备可以随机选择，也可以根据所述全景视频所处的场景，选择适合的填补图像，本实施例对此不做任何限制。所述填补图像包括但不限于补地图像、补天图像或者空洞填补图像。

在一些实施例中，所述电子设备可以根据预存的所述全景拼接模板，确定所述多个待处理图像中的像素点在所述未填补的全景视频帧所在全景坐标系下对应的投影位置，如果所述投影位置处于所述未填补的全景视频帧的待填补区域内，则丢弃所述投影位置对应的像素点，如果所述投影位置不处于所述未填补的全景视频帧的待填补区域内，则可以将所述投影位置对应的像素点投影至所述全景坐标系，获取未填补的全景视频帧；其中，所述未填补的全景视频帧的待填补区域所在位置与所述参考全景图像中的待填补区域所在位置相同。本实施例中，对于投影位置处于所述未填补的全景视频帧的待填补区域内的像素点不进行处理，减少拼接过程中的操作，有利于提高处理效率。

在一些实施例中，所述电子设备可以根据所述填补图像的尺寸，从多个所述全景填补模板中选择目标全景填补模板，所述目标全景填补模板对应的参考填补图像的尺寸与所述填补图像的尺寸的差异最小；如果所述目标全景填补模板对应的参考填补图像的尺寸与所述填补图像的尺寸一致，则无需调整所述填补图像的尺寸；如果所述目标全景填补模板对应的参考填补图像的尺寸与所述填补图像的尺寸不一致，则需要根据所述目标全景填补模板对应的参考填补图像的尺寸，调整所述填补图像的尺寸，以便调整后的所述填补图像的尺寸能够适应于所述目标全景填补模板。

其中，如果所述填补图像的尺寸小于所述目标全景填补模板对应的参考填补图像的尺寸，则需要对所述填补图像进行拉伸处理，使得处理后的填补图像的尺寸与所述目标全景填补模板对应的参考填补图像的尺寸一致。如果所述填补图像的尺寸大于所述目标全景填补模板对应的参考填补图像的尺寸，则需要对所述填补图像进行裁剪处理，使得处理后的填补图像的尺寸与所述目标全景填补模板对应的参考填补图像的尺寸一致，以便调整后的所述填补图像的尺寸能够适应于所述目标全景填补模板。

接着，所述电子设备可以根据所述目标全景填补模板将处理后的填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧。

在一些实施例中，由于所述未填补的全景图像帧中的待填补区域所在位置与所述参考全景图像中的待填补区域所在位置相同，即所述未填补的全景图像帧中的待填补区域所在位置已知，在所述电子设备有足够的运行资源的情况下，步骤S102以及步骤S103可以并行执行，从而加快处理效率，所述电子设备可以确定与参考全景图像的尺寸匹配的缓存区，然后根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，将所述多个待处理图像投影至所述缓存区中，在缓存区中获得未填补的全景视频帧；以及，根据预存的全景填补模板将所述填补图像投影至所述缓存区中指示所述未填补的全景图像帧中的待填补区域处，从而生成已填补的全景视频帧。

作为例子，在获取所述已填补的全景视频帧之后，可以将所述已填补的全景视频帧展示在交互界面上。作为例子，在全景直播领域，所述方法可以由主播端来执行，则所述主播端在获取所述已填补的全景视频帧之后，可以将所述全景视频帧发送给服务端，由所述服务端将所述全景视频帧广播给处于同一直播频道的观众端。

相应的，如图8所示，本申请实施例还提供了一种全景视频填补装置，包括：

图像获取模块201，用于获取多个待处理图像以及填补图像；

图像拼接模块202，用于根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；

图像填补模块203，用于根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定。

在一实施例，还包括区域确定模块，用于根据用户在所述参考全景图像中选择的位置，确定所述待填补区域；或者，对所述参考全景图像进行识别处理，基于识别结果确定所述待填补区域。

在一实施例中，所述全景填补模板根据所述参考全景图像的尺寸、所述待填补区域在所述参考全景图像中的位置以及参考填补图像的尺寸确定。

在一实施例中，所述全景填补模板的数量有多个，不同的全景填补模板对应的参考填补图像的尺寸不同。

所述装置还包括：

填补模板选择模块，用于：根据所述填补图像的尺寸，从多个所述全景填补模板中选择目标全景填补模板；

填补图像调整模块，用于根据所述目标全景填补模板对应的参考填补图像的尺寸，对所述填补图像进行裁剪处理或者拉伸处理；

所述图像填补模块203包括：根据目标全景填补模板将处理后的填补图像投影至所述未填补的全景图像帧中的待填补区域处。

在一实施例中，所述目标全景填补模板对应的参考填补图像的尺寸与所述填补图像的尺寸的差异最小。

在一实施例中，图像拼接模块202还包括：

投影位置确定单元，用于根据所述全景拼接模板，确定所述多个待处理图像中的像素点在所述全景坐标系下对应的投影位置；

投影单元，用于如果所述投影位置处于所述未填补的全景视频帧的待填补区域内，丢弃所述投影位置对应的像素点，否则，将所述投影位置对应的像素点投影至所述全景坐标系；其中，所述未填补的全景视频帧的待填补区域所在位置与所述参考全景图像中的待填补区域所在位置相同。

在一实施例中，所述填补图像包括以下至少一项：补地图像、补天图像或者空洞填补图像。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，如图9所示本申请还提供一种电子设备30，包括有处理器31；用于存储可执行指令的存储器32，所述存储器32包括可执行指令33；其中，处理器31执行所述可执行指令33时，被配置为：

获取多个待处理图像以及填补图像；

根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；

根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定。

所述处理器31执行所述存储器32中包括的可执行指令33，所述处理器31可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器32存储所述水印添加方法的可执行指令(如计算机程序等)，所述存储器32可以包括至少一种类型的存储介质，存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，设备可以与通过网络连接执行存储器的存储功能的网络存储装置协作。存储器32可以是设备30的内部存储单元，例如设备30的硬盘或内存。存储器32也可以是设备30的外部存储设备，例如设备30上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器32还可以既包括设备30的内部存储单元也包括外部存储设备。存储器32用于存储可执行指令33以及设备所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。

这里描述的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。

电子设备30可以是服务器、桌上型计算机、笔记本、掌上电脑及手机等计算设备。设备可包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，图9仅仅是电子设备30的示例，并不构成对电子设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如设备还可以包括输入输出设备、网络接入设备、总线等。

上述设备中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器执行时，使得终端能够执行上述方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

以上仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种全景视频填补方法，其特征在于，包括：

获取多个待处理图像以及填补图像；

根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；

根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定，所述全景填补模板包括用于将所述填补图像投影到全景坐标系中待填补区域所在位置的全景参数。

2.根据权利要求1所述的方法，其特征在于，所述参考全景图像中的待填补区域通过以下方式确定：

根据用户在所述参考全景图像中选择的位置，确定所述待填补区域；

或者，对所述参考全景图像进行识别处理，基于识别结果确定所述待填补区域。

3.根据权利要求1所述的方法，其特征在于，所述全景填补模板根据所述参考全景图像的尺寸、所述待填补区域在所述参考全景图像中的位置以及参考填补图像的尺寸确定。

4.根据权利要求3所述的方法，其特征在于，所述全景填补模板的数量有多个，不同的全景填补模板对应的参考填补图像的尺寸不同；

所述方法还包括：

根据所述填补图像的尺寸，从多个所述全景填补模板中选择目标全景填补模板；

根据所述目标全景填补模板对应的参考填补图像的尺寸，对所述填补图像进行裁剪处理或者拉伸处理；

所述根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，包括：

根据目标全景填补模板将处理后的填补图像投影至所述未填补的全景图像帧中的待填补区域处。

5.根据权利要求4所述的方法，其特征在于，所述目标全景填补模板对应的参考填补图像的尺寸与所述填补图像的尺寸的差异最小。

6.根据权利要求1所述的方法，其特征在于，所述生成未填补的全景视频帧，包括：

根据所述全景拼接模板，确定所述多个待处理图像中的像素点在所述未填补的全景视频帧所在全景坐标系下对应的投影位置；

如果所述投影位置处于所述未填补的全景视频帧的待填补区域内，丢弃所述投影位置对应的像素点，否则，将所述投影位置对应的像素点投影至所述全景坐标系；其中，所述未填补的全景视频帧的待填补区域所在位置与所述参考全景图像中的待填补区域所在位置相同。

7.根据权利要求1所述的方法，其特征在于，所述填补图像包括以下至少一项：补地图像、补天图像或者空洞填补图像。

8.一种全景视频填补装置，其特征在于，包括：

图像获取模块，用于获取多个待处理图像以及填补图像；

图像拼接模块，用于根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；

图像填补模块，用于根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定，所述全景填补模板包括用于将所述填补图像投影到全景坐标系中待填补区域所在位置的全景参数。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器执行所述可执行指令时，被配置为执行权利要求1至7任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至7任一所述方法的步骤。

Images