CN114051089B - 一种全景视频中投放资源的方法及显示设备 - Google Patents

Abstract

本申请涉及全景视频技术领域，公开一种全景视频中投放资源的方法及显示设备，根据资源的投放信息，将球面网格划分为两个区域，并对资源投放区域内各个网格的顶点UV坐标进行更新，从而将目标全景视频和目标资源分区域同时显示在一个载体上；显示过程中，对球面网格进行光栅化，生成各个片元，并确定各个片元所属的区域，根据各个片元的UV坐标，从所属的区域显示的图像中获取相应的颜色值以渲染球面网格，从而实现在全景视频中投放目标资源，该方法无需破坏原始的目标全景视频，且可根据不同的投放信息自动划分球面网格的区域，并将资源投放灵活的投放到相应的区域，提高了资源投放的灵活性。

Description

一种全景视频中投放资源的方法及显示设备

技术领域

本申请涉及全景视频技术领域，尤其涉及一种全景视频中投放资源的方法及显示设备。

背景技术

全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流合有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。

目前，在全景视频中投放广告、商标等资源时，通常直接对全景视频进行处理，在全景视频的相关位置处嵌入广告、商标等资源，这样，在更新投放的资源或者改变资源的嵌入位置时，需要重新对全景视频进行处理，操作较为繁琐，资源投放的灵活性较差；并且，直接对全景视频进行处理，容易损坏原始的全景视频片源。

发明内容

本申请实施例提供了一种全景视频中投放资源的方法及显示设备，用以提高在全景视频中投放资源的灵活性。

第一方面，本申请实施例提供一种全景视频中投放资源的方法，包括：

响应于全景视频播放请求，获取目标全景视频，并创建一个多网格的球面网格，计算各个网格的顶点UV坐标，所述球面网格作为所述目标全景视频帧和投放资源的渲染载体；

响应于资源投放请求，根据投放信息，获取目标资源，并确定所述目标资源的目标投放类型，以及为所述各个网格的顶点分别标记相应的区域标识；

根据所述目标投放类型，更新第一区域内各个网格的顶点UV坐标，所述第一区域为所述球面网格上用于投放所述目标资源的区域；

对所述球面网格上的各个网格顶点进行光栅化，生成各个片元，并确定所述各个片元的UV坐标，所述各个片元的UV坐标是对所述各个网格的顶点UV坐标插值得到的；

针对所述各个片元中的任意一个片元，根据所述片元对应顶点的区域标识，确定所述片元所属的区域，若所述片元属于第一区域，则根据所述片元的UV坐标，从所述目标资源中获取相应的颜色值，若则，根据所述片元的UV坐标，从所述目标全景视频中获取相应的颜色值；

根据所述各个片元的颜色值，渲染所述球面网格并显示渲染后的图像。

第二方面，本申请实施例提供一种显示设备，包括显示器、存储器、处理器和至少一个外部通信接口，所述外部通信接口、所述显示器和所述存储器与所述处理器通过总线连接：

所述存储器中存储有计算机程序，所述处理器通过执行所述计算机程序实现以下操作：

响应于全景视频播放请求，通过所述至少一个外部通信接口，获取目标全景视频，并创建一个多网格的球面网格，计算各个网格的顶点UV坐标，所述球面网格作为所述目标全景视频帧和投放资源的渲染载体；

响应于资源投放请求，根据投放信息，通过所述至少一个外部通信接口，获取目标资源，并确定所述目标资源的目标投放类型，以及为所述各个网格的顶点分别标记相应的区域标识；

根据所述目标投放类型，更新第一区域内各个网格的顶点UV坐标，所述第一区域为所述球面网格上用于投放所述目标资源的区域；

对所述球面网格上的各个网格顶点进行光栅化，生成各个片元，并确定所述各个片元的UV坐标，所述各个片元的UV坐标是对所述各个网格的顶点UV坐标插值得到的；

针对所述各个片元中的任意一个片元，根据所述片元对应顶点的区域标识，确定所述片元所属的区域，若所述片元属于第一区域，则根据所述片元的UV坐标，从所述目标资源中获取相应的颜色值，若则，根据所述片元的UV坐标，从所述目标全景视频中获取相应的颜色值；

根据所述各个片元的颜色值，渲染所述球面网格，由所述显示器显示渲染后的图像。

第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行全景视频中投放资源的方法。

本申请的上述实施例中，接收到全景视频播放请求后，获取目标全景视频并创建一个多网格的球面网格，分别计算各个网格的顶点UV坐标，当接收到资源投放请求时，根据投放信息，确定目标资源的目标投放类型以及为各个网格的顶点标记相应的区域标识，并用与目标投放类型相匹配的方式更新第一区域内各个网格的顶点UV坐标，经光栅化，生成各个片元，按照各个片元所属的区域，根据各个片元的UV坐标从目标全景视频或目标资源中获取相应的颜色值以渲染球面网格并显示通过对网格顶点进行区域标识以及更新UV坐标，可将目标全景视频和目标资源显示在同一个球面网格的两个区域，无需重建新的渲染网格，从而实现在全景视频中投放资源，该方法无需破坏原始的目标全景视频，且可根据投放信息，自动划分球面网格的区域，从而将目标资源灵活的投放到相应的区域，提高了资源投放的灵活性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例提供的球面网格的示意图；

图2示例性示出了本申请实施例提供的球面网格的坐标系示意图；

图3示例性示出了本申请实施例提供的图像标系示意图；

图4示例性示出了本申请实施例提供的第一投放类型的示意图；

图5示例性示出了本申请实施例提供的第二投放类型的示意图；

图6示例性示出了本申请实施例提供的全景视频中投放资源的方法流程图；

图7示例性示出了本申请实施例提供的创建的两个渲染网格示意图；

图8示例性示出了本申请实施例提供的另一创建的两个渲染网格示意图；

图9示例性示出了本申请实施例提供的完整的全景视频中投放资源的方法流程图；

图10示例性示出了本申请实施例提供的显示设备的结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请实施例提供一种全景视频中投放资源的方法及显示设备。所述显示设备可以是头戴式显示设备、智能手机、平板电脑、计算机、笔记本电脑、智能电视等具有全景视频播放功能和交互功能的设备。

目前，具有全景视频播放功能和交互功能的显示设备大多支持等矩柱投影(Equi-Rectangular Projection，ERP)格式的全景视频。这种投影方式把球面的经线映射成间距相等的垂直线，把纬线映射为间隔相等的水平线，则可生成一副纵横比为2∶1的二维矩形图像。其中，球面可作为全景视频播放的载体。

在播放全景视频时，需要将二维矩形图像重新映射到立体球面上进行显示。常规的方法是：在渲染引擎中按照某种规则绘制一个包含多个网格的球体，经光栅化生成各个片元，在进行全景视频渲染时，针对每一ERP格式的全景视频帧，根据各个片元的UV坐标，从全景视频帧中获取相应的颜色值，根据各个片元的颜色值，渲染球面网格，并显示渲染后的全景视频帧。

图1示例性示出了本申请实施例提供的球面网格的示意图，如图1示出的，一个球面包含多个网格，每个网格由两个三角形组成，每个三角形包含三个顶点，每两个三角形组成一个四边形面片(piece)。假设整个球面由N行M列的piece组成(M和N为大于1的整数)，由于球面上纬度方向跨度为180°，经度方向上跨度为360°，因此，M＝2×N，每个piece的经度跨度(angle_Lon)和纬度跨度(angle_Lat)分别为360/M和180/N。

一个网格的描述信息包括顶点三维坐标、顶点UV坐标、顶点索引、顶点法线等，在渲染采样时，主要利用了顶点的三维坐标和顶点UV坐标。下面结合图2和图3分别描述球面网格上各顶点的三维坐标和UV坐标。

图2示例性示出了本申请实施例提供的球面网格的坐标系示意图，其中，O为坐标系的原点，以一个顶点为例，P为球面上第i向第j列piece的左上角顶点(i∈N，j∈M，行列号均从0开始)，P的三维坐标为(P.x，P.y，P.z)，点P在XZ面的锤点为P1，P1在X轴上的锤点为P2，P在Y轴上的锤点为P3，P1在Z轴上的锤点为P4，则顶点P的坐标也可表示为(P2O，P3O，P4O)。球面网格的纬度范围为0°～180°，经度范围为0°～360°，则顶点P在经度方向上的角度α＝j*angle_Lon，在纬度方向上的角度β＝i*angle_Lat。假设球体的半径为R，则顶点P的三维坐标可表示为(-R*sin(β)*sin(α)，R*cos(β)，-R*sin(β)*cos(α))。

图3示例性示出了本申请实施例提供的图像标系示意图，全景视频帧包含N行M列个分块，每个分块对应一个piece。整个全景视频帧的U坐标和V坐标的取值范围均为0～1，即全景视频帧的左上角、左下角、右上角、右下角四个顶点的UV坐标分为(0，1)，(0，0)，(1，0)，(1，1)，根据ERP格式的映射关系，第i行第j列piece的左上角、左下角、右上角、右下角四个顶点的UV坐标分别为(j/M，1.0-i/N)、(j/M，1-(i+1)/N)、((j+1)/M，1-i/N)、((j+1)/M，1-(i+1)/N)，其中，i和j从0开始，i＜N，j＜M。

需要说明的是，图4仅是一种示例，四个顶点的坐标与选取的图像坐标系的原点和U、V轴的正方向有关，当选取的图像坐标系原点不同时，UV坐标的表示方式不同。

通过上述方式，可以计算得到每个piece四个顶点的三维坐标和UV坐标，完成球面网格的创建，即球面网格的创建过程，可理解为计算网格顶点坐标的过程，进而基于创建的球面网格，实现全景视频中投放资源的方法。

根据全景视频的特点，在全景视频中投放资源的方式主要有两种类型，一是在全景视频的顶部或底部投放资源，记为第一投放类型，二是在全景视频的纬度方向的中间区域投放资源，记为第二投放类型。

以在全景视频的底部投放资源为例，图4示例性示出了第一投放类型的示意图，浅色区域501为全景视频的显示区域，深色区域502为资源的投放区域，投放区域以球体的极点为中心，按照固定的纬度跨度进行显示。

第一投放类型不会影响用户的主要视觉区域，适合于小广告或logo等资源的显示。

图5示例性示出了第二投放类型的示意图，浅色区域601为全景视频的显示区域，深色区域602为资源的投放区域，投放区域以球体上的″赤道″对应的纬度为中心上下对称。

第二投放类型一般配合用户视角进行显示，在某些场景下，视频运营人员根据用户视角指定某些区域作为重点区域向用户显示全景视频，对于其他区域则显示广告或者logo资源。这种投放类型可以根据实际需求灵活设置重点区域。

例如，对演唱会现场进行全景直播时，对于用户来说，舞台区域作为用户重点观看的区域，而观众席区域并不是用户关注的重点，此时，可将舞台区域的经纬度跨度范围设置为全景视频的显示区域，将观众席区域的经纬度跨度范围设置为广告或logo等资源的投放区域，以减小投放的资源对全景视频的影响。

需要说明的是，图4和图5仅是一种示例，并非严格的投放区域设置方式。例如，采用第二投放类型时，可以在球面上的任意区域投放资源，不一定以0纬度为中心上下对称，可以偏上也可以偏下。

针对上述投放类型，图6示例性示出了本申请实施例提供的全景视频中投放资源的方法流程图，该流程可由具有全景视频播放功能和交互功能的显示设备执行，主要包括以下几步：

S701：响应于全景视频播放请求，获取目标全景视频，并创建一个多网格的球面网格，计算各个网格的顶点UV坐标并保存。

执行S701时，一种可选的实施方式为，启动显示设备中的播放程序，用户选择需要播放的目标全景视频后，发送全景视频播放请求，显示设备接收到请求后，创建一个球面网格，该球面网格作为目标全景视频帧和投放资源的渲染载体，包含的网格数为N*M个，即包含N行M列网格，每个网格对应一个图像分块，不同网格的经纬度跨度相同。根据上述实施例可知，M＝2N，N为大于0的整数。

球面网格的创建过程可看做计算各个网格顶点的三维坐标过程，结合ERP映射关系，可计算出各个网格的顶点UV坐标。三维坐标的计算过程参见图2的相关描述，在此不再重复。

假设本申请实施例创建的球面网格为N行M列，M＝2N，以第i行第j列的一个网格为例，其左上角、左下角、右上角、右下角四个顶点的UV坐标分别为(j/M，1-i/N)、(j/M，1-(i+1)/N)、((j+1)/M，1-i/N)、((j+1)/M，1-(i+1)/N)。得到各个网格顶点的UV坐标后进行保存，以便后续进行渲染时直接使用。UV坐标的具体计算过程参见图3，在此不再重复。

在一种可选的实施方式中，执行S701时，全景视频播放请求携带目标全景视频的统一资源定位符(Uniform Resource Locator，URL)，显示设备根据全景视频播放请求中的URL获取目标全景视频。

在一些实施例中，用户也可以选择显示设备本地存储的目标全景视频，基于选择的目标全景视频的标识(如：名称，ID号等)，从本地获取目标全景视频。

S702：响应于资源投放请求，根据投放信息，获取目标资源，并确定目标资源的目标投放类型，以及为各个网格的顶点分别标记相应的区域标识。

执行S702时，一种可选的实施方式为，在满足资源投放的预设条件时，触发资源投放请求，资源投放请求携带投放信息。其中，资源投放的预设条件可由运营人员根据实际需求进行预先设置，例如，设置按固定的时间间隔播放目标资源，或者将目标资源与全景视频帧进行关联，当播放关联的全景视频帧时，播放目标资源。

本申请的实施例中，投放信息中包含目标资源的目标投放类型(type)以及目标资源的标识(如：URL、名称、ID号等)，显示设备根据目标资源的标识获取目标资源，并确定目标投放类型。

其中，目标资源的投放类型包含两种投放类型，为区别描述，分别记为第一投放类型和第二投放类型。其中，第一投放类型为在球面网格的顶部或底部投放目标资源，如图4所示，第二投放类型为结合用户视角确定目标资源在球面网格上的投放区域，如图5所示。

当目标投放类型为第一投放类型时，对投放信息进行解析后还可以得到目标资源的投放纬度跨度adsize和投放中心点loc1，则投放信息可表示为(type，adsize，loc，URL)，其中，0°＜adsize＜180°，loc1为球面网格的极点，取值为0或1，0表示在球面网格的顶部投放目标资源，1表示在球面网格的底部投放目标资源。

当目标投放类型为第二投放类型时，对投放信息进行解析后还可以得到目标资源的投放纬度跨度adsize1，投放经度跨度adsize2，则投放信息可表示为(type，adsize1，adsize2，URL)，其中，0°＜adsize1＜180°，0°＜adsize 2＜360°。

根据不同类型的投放信息，可确定目标资源的在球面网格上的投放区域，并为该区域内的各个网格的顶点分别标记相应的区域标识。具体的：

当目标投放类型为第一投放类型时，根据投放信息中目标资源的投放纬度跨度和投放中心点，确定球面网格的第一区域，并将球面网格的剩余区域作为第二区域，其中，第一区域为球面网格上用于投放目标资源的区域，第二区域为球面网格上用于投放目标全景视频的区域；进一步地，为第一区域内的各个网格顶点标记第一区域标识，为第二区域内的各个网格顶点标记第二区域标识。

图7示例性示出了本申请实施例提供的第一投放类型时球面网格的区域划分方式示意图，如图7示出的，loc1＝1，第一区域位于球面网格的底部，包含多个网格，该区域的维度跨度为adsize，剩余区域为第二区域。

当目标投放类型为第二投放类型时，根据投放信息中目标资源的投放纬度跨度和投放经度跨度，确定球面网格的第一区域，并将球面网格的剩余区域作为第二区域，为第一区域内的网格顶点标记第一区域标识，为第二区域内的网格顶点标记第二区域标识。

图8示例性示出了本申请实施例提供的第二投放类型时球面网格的区域划分方式示意图，如图8示出的，第一区域的投放纬度跨度为adsize1，投放经度跨度为adsize2，包含多个网格，剩余区域为第二区域。

通常的，各个网格顶点的UV坐标可存储于渲染引擎中，而渲染引擎中的三维模型可以存在多组UV坐标，因此，未对不同区域内的网格顶点进行区分，可将区域标识存储于渲染引擎的第二组UV坐标中。可选的，对于第一区域内的顶点，第一区域标识设置为(-1.0，-1.0)，对于第二区域内的顶点，第二区域标识设置为(2.0，2.0)，则各个顶点在渲染引擎中存储的数据如表1所示。

表1

其中，第一组UV坐标表示各个顶点的真实UV坐标，第二组UV坐标表示各个顶点的区域标识，例如，第一个网格的左上、左下、右上、右下4个顶点属于第一区域，则区域标识均记为(-1.0，-1.0)，第k个网格的左上、左下、右上、右下4个顶点属于第二区域，则区域标识均记为(2.0，2.0)。

本申请的实施例中，目标全景视频在纬度方向上的中心纬度恒为90°，因此，可仅表示目标全景视频的中心经度。在一种可选的实施方式中，当目标投放类型为第二投放类型时，则投放信息还包括目标全景视频的中心经度loc2，0°＜loc2＜360°，此时，投放信息可表示为(type，adsize1，adsize2，loc2，URL)，进一步地，根据目标全景视频的中心经度和中心纬度，可确定第二区域的中心点，运营人员根据第二区域的中心点，调整用户视点的初始朝向，使用户视点的朝向在球面网格上的投影点为中心经度与中心纬度的交点(loc2，90°)。

需要说明的是，本申请实施例调整用户视点的初始朝向是为方便用户了解观看全景视频的最佳视角，在进行资源投放时，用户可随意选择转动用户视角，从而观看目标全景视频的同时观看投放的目标资源。

S703：根据目标投放类型，更新第一区域内各个网格的顶点UV坐标。

本申请的实施例中，球面网格的第二区域显示的图像仍是一个完整的全景视频帧，无论全景视频帧的分辨率多大，全景视频帧都是纬度为0-180°，经度为0-360°的完整球面图像，因此，第二区域内各个网格的顶点UV坐标仍为创建的球面网格的顶点UV坐标，可从S701中保存的顶点UV坐标中直接获取第二区域内各个网格的顶点UV坐标。

需要说明的是，观看全景视频的过程中，用户视点可根据实际情况进行旋转，这样，第二区域内包含的网格标识可能发生变化，但无论如何变化，只需要获取第二区域内相应网格的顶点UV坐标即可，无需重新计算。

本申请的实施例中，对于第一区域，显示的目标资源的经纬度跨度只是整个球面网格的一部分，因此，第一区域内各个网格的顶点UV坐标需重新计算。

由于目标投放类型不同，投放信息的内容也不同，因此，第一区域内网格顶点的UV坐标计算方式不同。下面以第一区域内的第i行第j列的网格为例，分情况进行介绍。

情况一

目标投放类型为第一投放类型，且投放信息中目标资源的投放中心点为北极点，则更新后的左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize/angle_Lat，angle_Lat＝180°/N，j′＝j，M′＝M，i′＝i，adsize为投放信息中目标资源的投放纬度跨度，angle_Lat为相应顶点所在网格的纬度跨度，i′表示相应顶点所在的网格在第一区域上的行号，N′表示第一区域占球面网格的总行数，j′表示相应顶点所在的网格在第一区域上的列号。

情况二

目标投放类型为第一投放类型，且投放信息中目标资源的投放中心点为南极点，则更新后的左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize/angle_Lat，angle_Lat＝180°/N，j′＝j，M′＝M，i′＝i-(180°-adsize)/angle_Lat，adsize为投放信息中目标资源的投放纬度跨度，angle_Lat为相应顶点所在网格的纬度跨度，i′表示相应顶点所在的网格在第一区域上的行号，N′表示第一区域占球面网格的总行数，j′表示相应顶点所在的网格在第一区域上的列号。

情况三

目标投放类型为第二投放类型，该网格上的4个顶点未跨域0°经线和360°经线相接的区域，则更新后的左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize1/angle_Lat，M′＝adsize2/angle_Lon，angle_Lat＝180°/N，angle_Lon＝360°/M，i′＝＝i-(180°-adsize1)/(2*angle_Lat)，j′＝j-start/angle_Lon，star＝loc2+(360°-adsize2)/2，adsize1为投放信息中目标资源的投放纬度跨度，adsize2为投放信息中目标资源的投放经度跨度，angle_Lat为相应顶点所在网格的纬度跨度，angle_Lon为相应顶点所在网格的经度跨度，start为第一区域的起始经度值，loc2为投放信息中目标全景视频的中心经度，i′表示相应顶点所在的网格在第一区域上的行号，N′表示第一区域占球面网格的总行数，j′表示相应顶点所在的网格在第一区域上的列号，M′表示第一区域占球面网格的总列数。

情况四

目标投放类型为第二投放类型，该网格上的4个顶点跨域了0°经线和360°经线相接的区域，且start/angle_Lon≤j＜M，表明4个顶点在0°经线的左侧，则更新后的左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize1/angle_Lat，M′＝adsize2/angle_Lon，angle_Lat＝180°/N，angle_Lon＝360°/M，i′＝i-(180°-adsize1)/(2*angle_Lat)，j′＝j-start/angle_Lon，start＝loc2+(360°-adsize2)/2，adsize1为投放信息中目标资源的投放纬度跨度，adsize2为投放信息中目标资源的投放经度跨度，angle_Lat为相应顶点所在网格的纬度跨度，angle_Lon为相应顶点所在网格的经度跨度，start为第一区域的起始经度值，loc2为投放信息中目标全景视频的中心经度，i′表示相应顶点所在的网格在第一区域上的行号，N′表示第一区域占球面网格的总行数，j′表示相应顶点所在的网格在第一区域上的列号，M′表示第一区域占球面网格的总列数。

情况五

目标投放类型为第二投放类型，该网格的4个顶点跨域了0°经线和360°经线相接的区域，且0°≤j＜(end-360°)/angle_Lon，表明4个顶点在0°经线的右侧，则更新后的左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize1/angle_Lat，M′＝adsize2/angle_Lon，angle_Lat＝180°/N，angle_Lon＝360°/M，i′＝i-(180°-adsize1)/(2*angle_Lat)，j′＝(360°-start)/angle_Lon+j，start＝loc2+(360°-adsize2)/2，end＝loc2+(360°adsize2)/2+adsize2，adsize1为投放信息中目标资源的投放纬度跨度，adsize2为投放信息中目标资源的投放经度跨度，angle_Lat为相应顶点所在网格的纬度跨度，angle_Lon为相应顶点所在网格的经度跨度，start为第一区域的起始经度值，end为第一区域的结束经度值，loc2为投放信息中目标全景视频的中心经度，i′表示相应顶点所在的网格在第一区域上的行号，N′表示第一区域占球面网格的总行数，j′表示相应顶点所在的网格在第一区域上的列号，M′表示第一区域占球面网格的总列数。

S704：对球面网格上的各个网格顶点进行光栅化，生成各个片元，并确定各个片元的UV坐标。

执行S704时，在显示设备的渲染管线中，对球面网格进行光栅化，生成各个片元，每个片元对应二维显示屏幕上一个待渲染的像素点。光栅化过程中，对第一区域内各个网格的顶点UV坐标进行插值，得到第一区域内各个片元的UV坐标，第一区域内的各个片元对应的区域标识为第一区域标识，对第二区域内各个网格的顶点UV坐标进行插值，得到第二区域内各个片元的UV坐标，第一区域内的各个片元对应的区域标识为第二区域标识。

S705：针对各个片元中的任意一个片元，根据片元对应顶点的区域标识，确定片元所属的区域，若该片元属于第一区域，则执行S706，否则执行S707。

由于片元是由顶点光栅化生成的，因此，相应顶点的区域标识可作为片元的区域标识以确定片元所在的区域。

S706：根据该片元的UV坐标，从目标资源中获取相应的颜色值。

第一区域用于显示目标资源，因此，当该片元属于第一区域时，从目标资源中获取相应的颜色值。

S707：根据该片元的UV坐标，从目标全景视频中获取相应的颜色值。

第二区域用于显示目标全景视频，因此，当该片元属于第一区域时，从目标全景视频中获取相应的颜色值。

S708：根据各个片元的颜色值，渲染球面网格并显示渲染后的图像。

执行S706时，在渲染管线的着色器中，根据各个片元的颜色值渲染球面网格，从而实现在全景视频中投放目标资源，用户观看目标全景视频的同时，观看目标资源。

上述实施例中，在接收到资源投放请求后，根据投放信息，将球面网格分为第一区域和第二区域，并为每个区域内的各个网格的顶点分别标记相应的区域标识，并且，根据投放信息可以确定目标资源的目标投放类型，根据目标资源的投放类型，采用不同的方式更新第一区域内各个网格的顶点UV坐标，无需进行网格重建，便可将目标全景视频和目标资源分区域的显示在同一个球面网格上，渲染方式简单；在渲染管线中，光栅化生成各个片元，并确定片元所属的区域，当属于第一区域时，从目标资源中获取相应的颜色值，当属于第二区域时，从目标全景视频中获取相应的颜色值，根据获取的颜色值，渲染球面网格，该方法无需破坏全景视频的原始片源，并且可根据投放信息灵活的更新投放区域，提高了资源投放的灵活性。

需要说明的是，本申请对着色器(包括像素着色器)使用的编程语言不做限制性要求，可以包括开放图形库的着色器语言(Open Graphics Library Shading Language，GLSL)、微软DirectX的着色器语言(High Level Shader Language，HLSL)、由微软和英伟达共同提出的着色器语言(C for Graphics，CG)、Unity 3D的着色器语言(Unity 3D ShaderLanguage)。

基于上述全景视频帧投放资源的方法，图9示例性示出了本申请实施例提供的完整的投放方法流程图，如图9所示，该流程主要包括以下几步：

S1001：响应于全景视频播放请求，获取目标全景视频，并进行视频解码。

S1002：创建一个多网格的球面网格，并计算各个网格的顶点UV坐标。

该步骤中，球面网格作为目标全景视频帧和投放资源的渲染载体。

S1003：响应于资源投放请求，获取投放信息。

在一些实施例中，投放信息包含目标资源的目标投放类型、投放纬度跨度、投放中心点和URL，在另一些实施例中，投放信息包含目标资源的目标投放类型、投放纬度跨度、投放经度跨度、URL和目标全景视频的中心经度。

S1004：根据投放信息，获取目标资源，并为各个网格的顶点分别标记相应的区域标识。

S1005：根据投放信息，确定目标资源的目标投放类型。

不同的目标投放类型，第一区域内各个网格的顶点UV坐标的更新方式不同，下面分情况进行介绍。

S1006：若目标类型为第一投放类型，则更新第一区域内各个网格的顶点U坐标。

具体计算方式参见前述实施例的情况一和情况二，在此不再重复。

S1007～S1009：确定投放信息中投放中心点的取值，若取值为0，则按第一方式更新第一区域内各个网格的顶点V坐标，若取值为1，则按第二方式更新第一区域内各个网格的顶点V坐标。

其中，第一方式为情况一中的V坐标计算方式，第二方式为情况二中V坐标的计算方式。

S1010：若目标类型为第二投放类型，则根据投放信息，旋转用户视点。

在S1010中，旋转用户视点，使用户视点在第一部分网格上的投影点为(loc2，90°)，以保证用户保持最佳的视频观看角度。

S1011：根据投放信息，更新第一区域内各个网格的顶点V坐标。

具体计算方式参见前述实施例的情况三至情况五，在此不再重复。

S1012确定当前网格顶点是否跨越了0°经线和360°经线相接的区域若是执行S1013，否则执行S1014。

S1013：按第三方式更新第一区域内各个网格的顶点U坐标。

该步骤中，第三方式为情况三中的计算方式。

S1014～S1016：确定当前网格顶点是否在0°经线的左侧，若是，按第四方式更新第一区域内各个网格的顶点U坐标，否则，按第五方式更新第一区域内各个网格的顶点U坐标。

其中，第四方式为情况四中U坐标的计算方式，第五方式为情况五中U坐标的计算方式。

S1017：对球面网格进行光栅化，得到各个片元的UV坐标。

该步骤的具体描述参见S704，在此不再重复。

S1018：针对各个片元中的任意一个片元，确定该片元所属的区域，若属于第一区域，则执行S1019，若属于第二区域，则执行S1020。

S1019：根据该片元的UV坐标，从目标全景视频帧关联的目标资源的图像中获取相应的颜色值。

S1020：根据该片元的UV坐标，从目标全景视频帧中获取相应的颜色值。

S1021：根据各个片元的颜色值渲染球面网格，显示渲染后图像。

基于相同的技术构思，本申请实施例提供一种显示设备，该显示设备可执本申请实施例提供的在全景视频中投放资源的方法流程，并能达到同样的技术效果，在此不再重复。

参见图10，该显示设备包括显示器1101、存储器1102、处理器1103和至少一个外部通信接口1104，至少一个外部通信接口1104、显示器1103和存储器1102与处理器1101通过总线1105连接；至少一个外部通信接口1104被配置为获取目标全景视频和目标资源，显示器1103被配置为同时显示目标全景视频和目标资源，存储器1102中存储有计算机程序，处理器1101通过执行计算机程序实现前述实施例中全景视频帧投放资源的方法。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种全景视频中投放资源的方法，其特征在于，包括：

响应于全景视频播放请求，获取目标全景视频，并创建一个多网格的球面网格，计算各个网格的顶点UV坐标并保存所述球面网格作为所述目标全景视频帧和投放资源的渲染载体；

响应于资源投放请求，根据投放信息，获取目标资源，并确定所述目标资源的目标投放类型，以及为所述各个网格的顶点分别标记相应的区域标识；

根据所述目标投放类型，更新第一区域内各个网格的顶点UV坐标，所述第一区域为所述球面网格上用于投放所述目标资源的区域；

对所述球面网格进行光栅化，生成各个片元，并确定所述各个片元的UV坐标，所述各个片元的UV坐标是对所述球面网格上的各个网格的顶点UV坐标插值得到的；

针对所述各个片元中的任意一个片元，根据所述片元对应顶点的区域标识，确定所述片元所属的区域，若所述片元属于所述第一区域，则根据所述片元的UV坐标，从所述目标资源中获取相应的颜色值，否则，根据所述片元的UV坐标，从所述目标全景视频中获取相应的颜色值；

根据所述各个片元的颜色值，渲染所述球面网格并显示渲染后的图像；

其中，所述目标投放类型为在全景视频的顶部或底部投放资源以及在全景视频的纬度方向的中间区域投放资源中的任一个；

当所述目标投放类型为在全景视频的顶部或底部投放资源时，所述第一区域内各个网格的顶点UV坐标是基于所述投放信息中所述目标资源的投放纬度跨度和投放中心点，以及所述顶点的位置信息更新的，其中，所述投放纬度跨度大于0°小于180°，所述投放中心点为所述球面网格的极点；

当所述目标投放类型为在全景视频的纬度方向的中间区域投放资源时，所述第一区域内各个网格的顶点UV坐标是基于所述投放信息中所述目标资源的投放纬度跨度、所述目标资源的投放经度跨度和所述目标全景视频的中心经度，所述第一区域的跨经度值以及所述顶点的位置信息更新的，其中，所述投放纬度跨度大于0°小于180°，所述投放经度跨度大于0°小于360°，所述中心经度大于0°小于360°。

2.如权利要求1所述的方法，其特征在于，若所述目标投放类型为在全景视频的顶部或底部投放资源，所述为所述各个网格的顶点分别标记相应的区域标识，包括：

根据所述目标资源的投放纬度跨度和所述投放中心点，确定所述球面网格的第一区域，并将所述球面网格的剩余区域作为第二区域，所述第二区域为所述球面网格上用于投放所述目标全景视频的区域；

为所述第一区域内的网格顶点标记第一区域标识，为所述第二区域内的网格顶点标记第二区域标识。

3.如权利要求1所述的方法，其特征在于，若所述目标投放类型为在全景视频的纬度方向的中间区域投放资源，所述为所述各个网格的顶点分别标记相应的区域标识，包括：

根据所述投放纬度跨度和所述投放经度跨度，确定所述球面网格的第一区域，并将所述球面网格的剩余区域作为第二区域，所述第二区域为所述球面网格上用于投放所述目标全景视频的区域；

为所述第一区域内的网格顶点标记第一区域标识，为所述第二区域内的网格顶点标记第二区域标识。

4.如权利要求3所述的方法，其特征在于，若所述目标投放类型为在全景视频的纬度方向的中间区域投放资源，所述方法还包括：

根据所述中心经度和中心纬度，确定所述第二区域的中心点，所述第二区域的中心点用于调整用户视点朝向，所述中心纬度等于90°。

5.如权利要求1所述的方法，其特征在于，所述根据所述目标投放类型，更新第一区域上各个网格的顶点UV坐标，包括：

若所述目标投放类型为在全景视频的顶部或底部投放资源，则针对所述第一区域内第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，更新后的UV坐标分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)；

其中，N′＝adsize/angle_Lat，angle_Lat＝180°/N，j′＝j，M′＝M，当所述投放信息中所述目标资源的投放中心点为北极点时，i′＝i，当所述投放信息中所述目标资源的投放中心点为南极点时，i′＝i-(180°-adsize)/angle_Lat；

adsize为所述投放信息中所述目标资源的投放纬度跨度，angle_Lat为相应顶点所在网格的纬度跨度，i′表示相应顶点所在的网格在所述第一区域上的行号，j′表示相应顶点所在的网格在所述第一区域上的列号，N′表示所述第一区域占所述球面网格的总行数，M′表示所述第一区域占所述球面网格的总列数，N为所述球面网格的总行数，M为所述球面网格的总列数，M＝2N，N为大于0的整数。

6.如权利要求1所述的方法，其特征在于，所述根据所述目标投放类型，更新第一区域上各个网格的顶点UV坐标，包括：

若所述目标投放类型为在全景视频的纬度方向的中间区域投放资源，则针对所述第一区域内第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，更新后的UV坐标分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)；

其中，i′＝i-(180°-adsize1)/(2*angle_Lat)，N′＝adsize1/angle_Lat，M′＝adsize2/angle_Lon，angle_Lat＝180°/N，amgle_Lon＝360°/M，当相应顶点未跨越0°经线和360°经线的相接区域，或者相应顶点跨越了0°经线和360°经线的相接区域，但start/angle_Lon≤j＜M时j′＝j-start/angle_Lon；当相应顶点跨越了0°经线和360°经线的相接区域，但0°≤j＜(end-360°)/angle_Lon时，j′＝(360°-start)/angle_Lon+j；start＝loc2+(360°-adsize2)/2，end＝loc2+(360°-adsize2)/2+adsize2；

adsize1为所述投放信息中所述目标资源的投放纬度跨度，adsize2为所述投放信息中所述目标资源的投放经度跨度，angle_Lat为相应顶点所在网格的纬度跨度，angle_Lon为相应顶点所在网格的经度跨度，i′表示相应顶点所在的网格在所述第一区域上的行号，N′表示所述第一区域占所述球面网格的总行数，j′表示相应顶点所在的网格在所述第一区域上的列号，M′表示所述第一区域占所述球面网格的总列数，start为所述第一区域的起始经度值，end为所述第一区域的结束经度值，loc2为所述投放信息中所述目标全景视频的中心经度，N为所述球面网格的总行数，M为所述球面网格的总列数，M＝2N，N为大于0的整数。

7.如权利要求1所述的方法，其特征在于，所述球面网格包含N行M列个网格，所述计算各个网格的顶点UV坐标，包括：

针对所述球面网格上第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，所述UV坐标分别为(j/M，1-i/N)、(j/M，1-(i+1)/N)、((j+1)/M，1-i/N)、((j+1)/M，1-(i+1)/N)，其中，i和j从0开始，i＜N，j＜M。

8.一种显示设备，其特征在于，包括显示器、存储器、处理器和至少一个外部通信接口，所述外部通信接口、所述显示器和所述存储器与所述处理器通过总线连接：

所述存储器中存储有计算机程序，所述处理器通过执行所述计算机程序实现以下操作：

响应于全景视频播放请求，通过所述至少一个外部通信接口，获取目标全景视频，并创建一个多网格的球面网格，计算各个网格的顶点UV坐标，所述球面网格作为所述目标全景视频帧和投放资源的渲染载体；

响应于资源投放请求，根据投放信息，通过所述至少一个外部通信接口，获取目标资源，并确定所述目标资源的目标投放类型，以及为所述各个网格的顶点分别标记相应的区域标识；

根据所述目标投放类型，更新第一区域内各个网格的顶点UV坐标，所述第一区域为所述球面网格上用于投放所述目标资源的区域；

对所述球面网格上的各个网格顶点进行光栅化，生成各个片元，并确定所述各个片元的UV坐标，所述各个片元的UV坐标是对所述各个网格的顶点UV坐标插值得到的；

针对所述各个片元中的任意一个片元，根据所述片元对应顶点的区域标识，确定所述片元所属的区域，并根据所述片元的UV坐标，从所属的区域中获取相应的颜色值；

根据所述各个片元的颜色值，渲染所述球面网格，由所述显示器显示渲染后的图像；

其中，所述目标投放类型为在全景视频的顶部或底部投放资源以及在全景视频的纬度方向的中间区域投放资源中的任一个；

当所述目标投放类型为在全景视频的顶部或底部投放资源时，所述第一区域内各个网格的顶点UV坐标是基于所述投放信息中所述目标资源的投放纬度跨度和投放中心点，以及所述顶点的位置信息更新的，其中，所述投放纬度跨度大于0°小于180°，所述投放中心点为所述球面网格的极点；

当所述目标投放类型为在全景视频的纬度方向的中间区域投放资源时，所述第一区域内各个网格的顶点UV坐标是基于所述投放信息中所述目标资源的投放纬度跨度、所述目标资源的投放经度跨度和所述目标全景视频的中心经度，所述第一区域的跨经度值以及所述顶点的位置信息更新的，其中，所述投放纬度跨度大于0°小于180°，所述投放经度跨度大于0°小于360°，所述中心经度大于0°小于360°。

9.如权利要求8所述的显示设备，其特征在于，若所述目标投放类型为在全景视频的顶部或底部投放资源，则所述处理器为所述各个网格的顶点分别标记相应的区域标识，具体被配置为：

根据所述目标资源的投放纬度跨度和所述投放中心点，确定所述球面网格的第一区域，并将所述球面网格的剩余区域作为第二区域，所述第二区域为所述球面网格上用于投放所述目标全景视频的区域；

为所述第一区域内的网格顶点标记第一区域标识，为所述第二区域内的网格顶点标记第二区域标识。

10.如权利要求8所述的显示设备，其特征在于，若所述目标投放类型为在全景视频的纬度方向的中间区域投放资源，则所述处理器为所述各个网格的顶点分别标记相应的区域标识，具体被配置为：

根据所述投放纬度跨度和所述投放经度跨度，确定所述球面网格的第一区域，并将所述球面网格的剩余区域作为第二区域，所述第二区域为所述球面网格上用于投放所述目标全景视频的区域；

为所述第一区域内的网格顶点标记第一区域标识，为所述第二区域内的网格顶点标记第二区域标识。