CN114051090A - 一种全景视频中投放资源的方法及显示设备 - Google Patents

Abstract

本申请涉及全景视频技术领域，公开一种全景视频中投放资源的方法及显示设备，根据资源的投放信息，确定目标资源投放类型，为充分利用了GPU的并行处理能力，基于目标资源投放类型，创建了两个独立的第一部分网格和第二部分网格以减少了GPU中的逻辑判断过程，提高了渲染效率；对第一部分网格各第二部分网格进行经光栅化后，得到各个第一片元和各个第二片元，并从目标全景视频中获取各个第一片元的颜色值以渲染显示第一部分网格，从目标资源中获取各个第二片元的颜色值以渲染显示第二部分网格，从而实现在全景视频中投放目标资源，该方法无需破坏原始的目标全景视频，且可根据不同的投放信息灵活的创建渲染网格，提高了资源投放的灵活性。

Description

一种全景视频中投放资源的方法及显示设备

技术领域

本申请涉及全景视频技术领域，尤其涉及一种全景视频中投放资源的方法及显示设备。

背景技术

全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360 度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。

目前，在全景视频中投放广告、商标等资源时，通常直接对全景视频进行处理，在全景视频的相关位置处嵌入广告、商标等资源，这样，在更新投放的资源或者改变资源的嵌入位置时，需要重新对全景视频进行处理，操作较为繁琐，资源投放的灵活性较差；并且，直接对全景视频进行处理，容易损坏原始的全景视频片源。

发明内容

本申请实施例提供了一种全景视频中投放资源的方法及显示设备，用以提高在全景视频中投放资源的灵活性。

第一方面，本申请实施例提供一种全景视频中投放资源的方法，包括：

响应于全景视频播放请求，获取目标全景视频；

响应于资源投放请求，根据投放信息，获取目标资源并确定所述目标资源的目标投放类型；

分别创建与所述目标投放类型相匹配的第一部分网格和第二部分网格，所述第一部分网格作为所述目标全景视频的渲染载体，所述第二部分网格作为所述目标资源的渲染载体，所述第一部分网格和第二部分网格组成一个完整的球面网格；

计算所述第一部分网格和所述第二部分网格上各个顶点的UV坐标；

对所述第一部分网格进行光栅化，生成各个第一片元，以及对所述第二部分网格进行光栅化，生成各个第二片元；

根据各个第一片元的UV坐标，从所述目标全景视频中获取相应的颜色值，以及根据各个第二片元的UV坐标，从所述目标资源中获取相应的颜色值，所述各个第一片元的UV坐标是对所述第一部分网格上的各个顶点的UV坐标插值得到的，所述各个第二片元的UV坐标是对所述第二部分网格上的各个顶点的UV坐标插值得到的；

根据各个第一片元的颜色值渲染第一部分网格，根据各个第二片元的颜色值渲染第二部分网格，同时显示渲染后的全景视频和目标资源。

第二方面，本申请实施例提供一种显示设备，包括显示器、存储器、处理器和至少一个外部通信接口，所述外部通信接口、所述显示器和所述存储器与所述处理器通过总线连接：

所述存储器中存储有计算机程序，所述处理器通过执行所述计算机程序实现以下操作：

响应于全景视频播放请求，通过所述至少一个外部通信接口获取目标全景视频；

响应于资源投放请求，根据投放信息，通过所述至少一个外部通信接口获取目标资源，并确定所述目标资源的目标投放类型；

分别创建与所述目标投放类型相匹配的第一部分网格和第二部分网格，所述第一部分网格作为所述目标全景视频的渲染载体，所述第二部分网格作为所述目标资源的渲染载体，所述第一部分网格和第二部分网格组成一个完整的球面网格；

计算所述第一部分网格和所述第二部分网格上各个顶点的UV坐标；

对所述第一部分网格进行光栅化，生成各个第一片元，以及对所述第二部分网格进行光栅化，生成各个第二片元；

根据各个第一片元的UV坐标，从所述目标全景视频中获取相应的颜色值，以及根据各个第二片元的UV坐标，从所述目标资源中获取相应的颜色值，所述各个第一片元的UV坐标是对所述第一部分网格上的各个顶点的UV坐标插值得到的，所述各个第二片元的UV坐标是对所述第二部分网格上的各个顶点的UV坐标插值得到的；

根据各个第一片元的颜色值渲染第一部分网格，根据各个第二片元的颜色值渲染第二部分网格，由所述显示器同时显示渲染后的全景视频和目标资源。

第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行全景视频中投放资源的方法。

本申请的上述实施例中，播放目标全景视频的过程中，当接收到资源投放请求，根据投放信息，获取目标资源并确定目标资源的目标投放类型，分别创建与目标投放类型相匹配的第一部分网格和第二部分网格，并计算第一部分网格和第二部分网格上各个顶点的UV 坐标，经光栅化，得到各个第一片元和各个第二片元，并根据各个第一片元的UV坐标，从目标全景视频中获取相应的颜色值以渲染显示第一部分网格，以及根据各个第二片元的UV坐标，从目标资源中获取相应的颜色值以渲染显示第二部分网格，从而实现在全景视频中投放目标资源，由于第一部分网格和第二部分网格为独立的两个网格，因此，可对目标全景视频和目标资源进行独立的显示，无需破坏原始的目标全景视频，且通过独立的两个网格进行渲染显示，充分利用了GPU的并行处理能力，减少了逻辑判断过程，提高了渲染效率；并且，根据不同的投放信息灵活的创建网格，提高了资源投放的灵活性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例提供的球面网格的示意图；

图2示例性示出了本申请实施例提供的球面网格的坐标系示意图；

图3示例性示出了本申请实施例提供的图像标系示意图；

图4示例性示出了本申请实施例提供的第一投放类型的示意图；

图5示例性示出了本申请实施例提供的第二投放类型的示意图；

图6示例性示出了本申请实施例提供的全景视频中投放资源的方法流程图；

图7示例性示出了本申请实施例提供的创建的两个渲染网格示意图；

图8示例性示出了本申请实施例提供的另一创建的两个渲染网格示意图；

图9示例性示出了本申请实施例提供的完整的全景视频中投放资源的方法流程图；

图10示例性示出了本申请实施例提供的显示设备的结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明 (Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请实施例提供一种全景视频中投放资源的方法及显示设备。所述显示设备可以是头戴式显示设备、智能手机、平板电脑、计算机、笔记本电脑、智能电视等具有全景视频播放功能和交互功能的设备。

目前，具有全景视频播放功能和交互功能的显示设备大多支持等矩柱投影(Equi-Rectangular Projection，ERP)格式的全景视频。这种投影方式把球面的经线映射成间距相等的垂直线，把纬线映射为间隔相等的水平线，则可生成一副纵横比为2∶1的二维矩形图像。其中，球面可作为全景视频播放的载体。

在播放全景视频时，需要将二维矩形图像重新映射到立体球面上进行显示。常规的方法是：在渲染引擎中按照某种规则绘制一个包含多个网格的球体，经光栅化生成各个片元，在进行全景视频渲染时，针对每一ERP格式的全景视频帧，根据各个片元的UV坐标，从全景视频帧中获取相应的颜色值，根据各个片元的颜色值，渲染球面网格，并显示渲染后的全景视频帧。

图1示例性示出了本申请实施例提供的球面网格的示意图，如图1示出的，一个球面包含多个网格，每个网格由两个三角形组成，每个三角形包含三个顶点，每两个三角形组成一个四边形面片(piece)。假设整个球面由N行M列的piece组成(M和N为大于1的整数)，由于球面上纬度方向跨度为180°，经度方向上跨度为360°，因此，M＝2×N，每个piece的经度跨度(angle_Lon)和纬度跨度(angle_Lat)分别为360/M和180/N。

一个网格的描述信息包括顶点三维坐标、顶点UV坐标、顶点索引、顶点法线等，在渲染采样时，主要利用了顶点的三维坐标和顶点UV坐标。下面结合图2和图3分别描述球面网格上各顶点的三维坐标和UV坐标。

图2示例性示出了本申请实施例提供的球面网格的坐标系示意图，其中，O为坐标系的原点，以一个顶点为例，P为球面上第i向第j列piece的左上角顶点(i＜N，j＜M，行列号均从0开始)，P的三维坐标为(P.x，P.y，P.z)，点P在XZ面的垂点为P1，P1在X轴上的垂点为P2，P在Y轴上的垂点为P3，P1在Z轴上的垂点为P4，则顶点P的坐标也可表示为(P2O，P3O，P4O)。球面网格的纬度范围为0°～180°，经度范围为0°～360°，则顶点P 在经度方向上的角度α＝j*angle_Lon，在纬度方向上的角度β＝i*angle_Lat。假设球体的半径为R，则顶点P的三维坐标可表示为(-R*sin(β)*sin(α)，R*cos(β)，-R*sin(β) *cos(α))。

图3示例性示出了本申请实施例提供的图像标系示意图，全景视频帧包含N行M列个分块，每个分块对应一个piece。整个全景视频帧的U坐标和V坐标的取值范围均为0～1，即全景视频帧的左上角、左下角、右上角、右下角四个顶点的UV坐标分为(0，1)，(0，0)， (1，0)，(1，1)，根据ERP格式的映射关系，第i行第j列piece的左上角、左下角、右上角、右下角四个顶点的UV坐标分别为(j/M，1.0-i/N)、(j/M，1-(i+1)/N)、((j+1)/M， 1-i/N)、((j+1)/M，1-(i+1)/N)，其中，i和j从0开始，i＜N，j＜M。

需要说明的是，图4仅是一种示例，四个顶点的坐标与选取的图像坐标系的原点和U、 V轴的正方向有关，当选取的图像坐标系原点不同时，UV坐标的表示方式不同。

通过上述方式，可以计算得到每个piece四个顶点的三维坐标和UV坐标，完成球面网格的创建，即球面网格的创建过程，可理解为计算网格顶点坐标的过程，进而基于创建的球面网格，实现全景视频中投放资源的方法。

根据全景视频的特点，在全景视频中投放资源的方式主要有两种类型，一是在全景视频的顶部或底部投放资源，记为第一投放类型。二是在全景视频的纬度方向的中间区域投放资源，记为第二投放类型。

以在全景视频的底部投放资源为例，图4示例性示出了第一投放类型的示意图，浅色区域501为全景视频的显示区域，深色区域502为资源的投放区域，投放区域以球体的极点为中心，按照固定的纬度跨度进行显示。

第一投放类型不会影响用户的主要视觉区域，适合于小广告或logo等资源的显示。

图5示例性示出了第二投放类型的示意图，浅色区域601为全景视频的显示区域，深色区域602为资源的投放区域，投放区域以球体上的″赤道″对应的纬度为中心上下对称。

第二投放类型一般配合用户视角进行显示，在某些场景下，视频运营人员根据用户视角指定某些区域作为重点区域向用户显示全景视频，对于其他区域则显示广告或者logo资源。这种投放类型可以根据实际需求灵活设置重点区域。

例如，对演唱会现场进行全景直播时，对于用户来说，舞台区域作为用户重点观看的区域，而观众席区域并不是用户关注的重点，此时，可将舞台区域的经纬度跨度范围设置为全景视频的显示区域，将观众席区域的经纬度跨度范围设置为广告或logo等资源的投放区域，以减小投放的资源对全景视频的影响。

需要说明的是，图4和图5仅是一种示例，并非严格的投放区域设置方式。例如，采用第二投放类型时，可以在球面上的任意区域投放资源，不一定以0纬度为中心上下对称，可以偏上也可以偏下。

针对上述投放类型，图6示例性示出了本申请实施例提供的全景视频中投放资源的方法流程图，该流程可由具有全景视频播放功能和交互功能的显示设备执行，主要包括以下几步：

S701：响应于全景视频播放请求，获取目标全景视频。

执行S701时，一种可选的实施方式为，启动显示设备中的播放程序，用户选择需要播放的目标全景视频后，发送全景视频播放请求，该请求携带目标全景视频的统一资源定位符(Uniform Resource Locator，URL)，显示设备根据全景视频播放请求中的URL获取目标全景视频。

在一些实施例中，用户也可以选择显示设备本地存储的目标全景视频，基于选择的目标全景视频的标识(如：名称，ID号等)，从本地获取目标全景视频。

S702：响应于资源投放请求，根据投放信息，获取目标资源并确定目标资源的目标投放类型。

执行S702时，一种可选的实施方式为，在满足资源投放的预设条件时，触发资源投放请求，资源投放请求中携带需要投放的目标资源的投放信息，投放信息中包含目标资源的目标投放类型(type)以及目标资源的标识(如：URL、名称、ID号等)，显示设备根据目标资源的标识获取目标资源，并确定目标投放类型。

在本申请的实施例中，目标资源的投放类型包含第一投放类型(记为A)和第二投放类型(记为B)，其中，第一投放类型为在球面网格的顶部或底部投放目标资源，如图4所示，第二投放类型为结合用户视角确定目标资源在球面网格上的投放区域，如图5所示。

需要说明的是，资源投放的预设条件可由运营人员根据实际需求进行预先设置，例如，设置按固定的时间间隔播放目标资源，或者将目标资源与全景视频帧进行关联，当播放关联的全景视频帧时，播放目标资源。

S703：分别创建与目标投放类型相匹配的第一部分网格和第二部分网格。

其中，第一部分网格作为目标全景视频的渲染载体，第二部分网格作为目标资源的渲染载体，第一部分网格和第二部分网格为两个独立的网格，可组成一个完整的球面网格，并且，第一部分网格上的各个第一网格和第二部分网格上的各个第二网格的经纬度跨度相同。

本申请的实施例中，目标资源的投放类型包含两种投放类型，为区别描述，分别记为第一投放类型和第二投放类型。

当目标投放类型为第一投放类型(type＝A)时，继续对投放信息进行解析，可以得到目标资源的投放纬度跨度adsize和投放中心点loc1，则投放信息可表示为(type，adsize， loc，URL)，其中，0°<adsize<180°，loc1为球面网格的极点，取值为0或1，0表示在球面网格的顶部投放目标资源，1表示在球面网格的底部投放目标资源。

当目标投放类型为第二投放类型(type＝B)时，继续对投放信息进行解析，可以得到目标资源的投放纬度跨度adsize1，投放经度跨度adsize2和目标全景视频的中心经度loc2，则投放信息可表示为(type，adsize1，adsize2，loc2，URL)，其中，0°<adsize1＜180°，0°<adsize 2＜360°，目标全景视频在纬度方向上的中心纬度恒为90°，因此，可仅表示目标全景视频的中心经度loc2，0°<loc2＜360°。

由于第一部分网格和第二部分网格可组成一个如图1示出的完整的球面网格，且每个网格的经纬度跨度相同，因此，可将第一部分网格上的网格和第二部分网格上的网格视为连续的网格，此时，独立的两部分网格上各个网格的顶点三维坐标的计算方式，可按一个完整的球面网格计算，具体参见图2部分的描述。

若目标投放类型为第一投放类型，则在执行S703时，计算以投放信息中目标资源的投放中心点的对侧极点为中心，纬线方向上沿着第一纬度跨度确定的区域内(如图4的501 所示的区域)，各个第一网格的顶点三维坐标，并根据各个第一网格的顶点三维坐标，生产第一部分网格，其中，第一纬度跨度等于180°减去目标资源的投放纬度跨度，以及，计算以投放信息中目标资源的投放中心点(南极点或北极点)为中心，纬线方向上沿着投放纬度跨度确定的区域内(如图4的502所示的区域)，各个第二网格的顶点三维坐标，并根据各个第二网格的顶点三维坐标，生成第二部分网格。

例如，图7示例性示出了第一投放类型时创建的第一部分网格和第二部分网格，其中， loc1＝1，第二部分网格为球面网格的底部，和第一部分网格恰好组成一个完整的球面网格。

若目标投放类型为第二投放类型，则在执行S703时，计算经度方向上以目标全景视频的中心经度为中心纬度方向上以90°纬度为中心确定的区域内(如图5中601所示的区域)，各个第一网格的顶点三维坐标，并根据各个第一网格的顶点三维坐标，生成第一部分网格，以及，计算纬线方向上沿着目标资源的投放纬度跨度，经线方向沿着目标资源的投放经度跨度确定的区域内(如图5中602所示的区域)，各个第二网格的顶点三维坐标，并根据各个第二网格的顶点三维坐标，生成第二部分网格。并且，在生成第一部分网格的过程中，根据第一部分网格的中心经度和中心纬度，调整用户视点的朝向，使用户视点的朝向在第一部分网格上的投影点为中心经度与中心纬度的交点(loc2，90°)。

例如，图8示例性示出了第二投放类型时创建的第一部分网格和第二部分网格，第一部分网格以″赤道″为中心纬度上下对称，和第一部分网格恰好组成一个完整的球面网格。

需要说明的是，目标投放类型为第二投放类型时，在创建第一部分网格时，调整用户视点的朝向是为方便用户了解观看全景视频的最佳视角，在网格创建完成后进行资源投放时，用户可随意选择转动用户视角，从而观看目标全景视频的同时观看投放的目标资源。

S704：计算第一部分网格和第二部分网格上各个顶点的UV坐标。

执行S704时，由于第一部分网格显示的图像是一个完整的全景视频帧，无论第一部分网格显示的全景视频帧的分辨率多大，全景视频帧都是纬度为0-180°，经度为0-360°的完整球面图像，因此，第一部分网格上各个网格的顶点UV坐标，与图3的计算方式相同。对于第二部分网格，显示的目标资源的经纬度跨度只是整个球面网格的一部分，因此，第二部分网格上各个网格的顶点UV坐标需采用新的计算方式计算。

假设第一部分网格和第二部分网格共N*M个网格，即第一部分网格和第二部分网格组成的球面网格为N行M列。由上述分析可知，M＝2N，N为大于0的正整数。其中，第一部分网格和第二部分网格上各个网格的行列号是按照完整的球面网格进行命名的。

下面以第一部分网格和第二部分网格上的第i行第j列网格为例，描述该网格4个顶点的VU坐标的计算过程，其中，i和j为按照整个完整的球面网格命名的行列号，i和j从0开始，i＜N，j＜M，具体实施时：

针对第一部分网格上第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，其UV坐标分别为(j/M，1-i/N)、(j/M，1-(i+1)/N)、((j+1)/M，1-i/N)、((j+1)/M， 1-(i+1)/N)，具体分析过程参见图2和图3的描述，再次不再重复。

针对第二部分网格上第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，分别根据目标投放类型以及投放信息，确定相应顶点的UV坐标。

由于目标投放类型不同，投放信息的内容也不同，因此，第二部分网格上顶点的UV坐标的计算方式不同，下面分情况进行介绍。

情况一

目标投放类型为第一投放类型，且投放信息中目标资源的投放中心点为北极点，则左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize/angle_Lat，angle_Lat＝180°/N，j′＝j，M′＝M，i′＝i，adsize为投放信息中目标资源的投放纬度跨度，angle_Lat为相应顶点所在网格的纬度跨度，i′表示相应顶点所在的网格在第二部分网格上的行号，N′表示第二部分网格的总行数，j′表示相应顶点所在的网格在第二部分网格上的列号。

情况二

目标投放类型为第一投放类型，且投放信息中目标资源的投放中心点为南极点，则左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize/angle_Lat，angle_Lat＝180°/N，j′＝j，M′＝M，i′＝i-(180°-adsize) /angle_Lat，adsize为投放信息中目标资源的投放纬度跨度，angle_Lat为相应顶点所在网格的纬度跨度，i′表示相应顶点所在的网格在第二部分网格上的行号，N′表示第二部分网格的总行数，j′表示相应顶点所在的网格在第二部分网格上的列号。

情况三

目标投放类型为第二投放类型，该网格上的4个顶点未跨域0°经线和360°经线相接的区域，则左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize1/angle_Lat，M′＝adsize2/angle_Lon，angle_Lat＝180°/N，angle_Lon＝360° /M，i′＝i-(180°-adsize1)/(2*angle_Lat)，j′＝j-start/angle_Lon，star＝loc2+(360°-adsize2) /2，adsize1为投放信息中目标资源的投放纬度跨度，adsize2为投放信息中目标资源的投放经度跨度，angle_Lat为相应顶点所在网格的纬度跨度，angle_Lon为相应顶点所在网格的经度跨度，start为第二部分网格的起始经度值，loc2为投放信息中目标全景视频的中心经度， i′表示相应顶点所在的网格在第二部分网格上的行号，N′表示第二部分网格的总行数，j′表示相应顶点所在的网格在第二部分网格上的列号，M′表示第二部分网格的总列数。

情况四

目标投放类型为第二投放类型，该网格上的4个顶点跨域了0°经线和360°经线相接的区域，且start/angle_Lon≤j＜M，表明4个顶点在0°经线的左侧，则左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize1/angle_Lat，M′＝adsize2/angle_Lon，angle_Lat＝180°/N，angle_Lon＝360° /M，i′＝i-(180°-adsize1)/(2*angle_Lat)，j′＝j-start/angle_Lon，star＝loc2+(360°-adsize2) /2，adsize1为投放信息中目标资源的投放纬度跨度，adsize2为投放信息中目标资源的投放经度跨度，angle_Lat为相应顶点所在网格的纬度跨度，angle_Lon为相应顶点所在网格的经度跨度，start为第二部分网格的起始经度值，loc2为投放信息中目标全景视频的中心经度， i′表示相应顶点所在的网格在第二部分网格上的行号，N′表示第二部分网格的总行数，j′表示相应顶点所在的网格在第二部分网格上的列号，M′表示第二部分网格的总列数。

情况五

目标投放类型为第二投放类型，该网格的4个顶点跨域了0°经线和360°经线相接的区域，且0°≤j＜(end-360°)/angle_Lon，表明4个顶点在0°经线的右侧，则左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)：

其中，N′＝adsize1/angle_Lat，M′＝adsize2/angle_Lon，angle_Lat＝180°/N，angle_Lon＝360° /M，i′＝i-(180°-adsize1)/(2*angle_Lat)，j′＝(360°-start)/angle_Lon+j，star＝loc2+ (360°-adsize2)/2，end＝loc2+(360°adsize2)/2+adsize2，adsize1为投放信息中目标资源的投放纬度跨度，adsize2为投放信息中目标资源的投放经度跨度，angle_Lat为相应顶点所在网格的纬度跨度，angle_Lon为相应顶点所在网格的经度跨度，start为第二部分网格的起始经度值，end为第二部分网格的结束经度值，loc2为投放信息中目标全景视频的中心经度，i′表示相应顶点所在的网格在第二部分网格上的行号，N′表示第二部分网格的总行数，j′表示相应顶点所在的网格在第二部分网格上的列号，M′表示第二部分网格的总列数。

S705：对第一部分网格进行光栅化，生成各个第一片元，以及对第二部分网格进行光栅化，生成各个第二片元。

执行S705时，在显示设备的渲染管线中，分别对第一部分网格和第二部分网格进行光栅化，第一部分网格上的各个顶点经光栅化后生成各个第一片元，光栅化过程中，对第一部分网格上的各个顶点的UV坐标进行插值，得到各个第一片元的UV坐标；第二部分网格上的各个顶点经光栅化后生成各个第二片元，光栅化过程中，对第二部分网格上的各个顶点的UV坐标进行插值，得到各个第二片元的UV坐标，每个片元对应二维显示屏幕上一个待渲染的像素点。

S706：根据各个第一片元的UV坐标，从目标全景视频中获取相应的颜色值，以及根据各个第二片元的UV坐标，从目标资源中获取相应的颜色值。

在S706中，针对需要投放目标资源的全景视频帧，根据各个第一片元的UV坐标，从全景视频中获取相应位置像素点的第一颜色值，将获取的第一颜色值作为相应第一片元的颜色值，根据各个第二片元的UV坐标，从目标资源的图像中获取相应位置像素点的第二颜色值，将获取的第二颜色值作为相应第二片元的颜色值。

S707：根据各个第一片元的颜色值渲染第一部分网格，根据各个第二片元的颜色值渲染第二部分网格，同时显示渲染后的全景视频和目标资源。

执行S707时，由于接收到资源投放请求后分别创建了两个独立的第一部分网格和第二部分网格，因此，可对第一部分网格和第二部分网格单独渲染，具体的，在第一部分网格对应的渲染管线着色器中，根据各个第一片元的颜色值渲染第一部分网格，在第二部分网格对应的渲染管线着色器中，根据各个第二片元的颜色值渲染第二部分网格，同时显示渲染后的全景视频帧和目标资源的图像，从而实现在全景视频中投放资源的方法。

上述实施例中，一方面，目标资源与全景视频独立显示，无需破坏全景视频的原始片源，另一方面，着色器在图像处理器(Graphics Processing Unit，GPU)中执行，GPU的优势在于其可以进行批量并行计算，而劣势在于不善于进行逻辑判断，大量的逻辑判断会破坏GPU的并行性，造成渲染性能的下降，本申请实施例中两个网格相互独立，减少了各自的渲染管线着色器中逻辑判断的数量，避免由于逻辑判断导致的渲染性能下降的问题，提高了渲染效率；再一方面，根据不同的投放信息灵活的创建相应的渲染网格，提高了资源投放的灵活性。

需要说明的是，本申请对着色器(包括像素着色器)使用的编程语言不做限制性要求，可以包括开放图形库的着色器语言(Open Graphics Library Shading Language，GLSL)、微软DirectX的着色器语言(High Level Shader Language，HLSL)、由微软和英伟达共同提出的着色器语言(C for Graphics，CG)、Unity 3D的着色器语言(Unity 3D ShaderLanguage)。

基于上述全景视频帧投放资源的方法，图9示例性示出了本申请实施例提供的完整的投放方法流程图，如图9所示，该流程主要包括以下几步：

S1001：响应于全景视频播放请求，获取目标全景视频，并进行视频解码。

S1002：响应于资源投放请求，获取投放信息。

在一些实施例中，投放信息包含目标资源的目标投放类型、投放纬度跨度、投放中心点和URL，在另一些实施例中，投放信息包含目标资源的目标投放类型、投放纬度跨度、投放经度跨度、URL和目标全景视频的中心经度。

S1003～S1004：根据投放信息，获取目标资源，并确定目标资源的目标投放类型。

由前述实施例可知，渲染载体的创建过程即为计算各个网格的顶点坐标的过程，下面 S1005至S1020分别描述两种目标投放类型对应的第一部分网格个第二部分网格的创建过程。

S1005：若目标类型为第一投放类型，则根据投放信息，分别计算第一部分网格上各个网格顶点的三维坐标，以及第二部分网格上各个网格的顶点三维坐标。

其中，第一部分网格作为目标全景视频的渲染载体，第二部分网格作为目标资源的渲染载体，第一部分网格和第二部分网格组成一个完整球面网格。该部分的描述参见前述实施例，在此不再重复。

S1006：计算第一部分网格上各个顶点的UV坐标。

该步骤的描述具体参见S704，在此不再重复。

S1007：计算第二部分网格上各个顶点的U坐标。

该步骤的描述具体参见S704，在此不再重复。

S1008～S1010：确定投放信息中投放中心点的取值，若取值为0，则按第一方式计算第二部分网格上各个顶点的V坐标，若取值为1，则按第二方式计算第二部分网格上各个顶点的V坐标。

该步骤中，第一方式为情况一中的计算方式，第二方式为情况二中的计算方式。

S1011：若目标类型为第二投放类型，则根据投放信息，旋转用户视点。

在S1011中，旋转用户视点，是用户视点在第一部分网格上的投影点为(loc2，90°)，以保证用户保持最佳的视频观看角度。

S1012：根据投放信息，分别计算目标全景视频的渲染载体上各个网格顶点的三维坐标，以及目标资源的渲染载体上各个网格的顶点三维坐标。

S1013：计算第一部分网格上各个顶点的UV坐标。

该步骤的描述具体参见S704，在此不再重复。

S1014：计算第二部分网格上各个顶点的V坐标。

该步骤的描述具体参见S704，在此不再重复。

S1015确定当前网格顶点是否跨越了0°经线和360°经线相接的区域，若是，执行S1016，否则执行S1017。

S1016：按第三方式计算第二部分网格上各个顶点的U坐标。

该步骤中，第三方式为情况三中的计算方式。

S1017～S1019：确定当前网格顶点是否在0°经线的左侧，若是，按第四方式计算第二部分网格上各个顶点的U坐标，否则，按第五方式计算第二部分网格上各个顶点的U坐标。

该步骤中，第四方式为情况四中的计算方式，第五方式为情况五中的计算方式。

得到各个网格顶点的三维坐标和UV坐标后，即完成了第一部分网格和第二部分网格的创建，基于创建的网格，S1020至S1022描述了目标全景视频和目标资源的显示过程。

S1020：对第一部分网格进行光栅化，得到各个第一片元的UV坐标，对第二部分网格进行光栅化，得打各个第二片元的UV坐标。

该步骤的具体描述参见S705，在此不再重复。

S1021：针对每一目标全景视频帧，根据各个第一片元的UV坐标，从目标全景视频帧中获取相应的颜色值，以及根据各个第二片元的UV坐标，从目标全景视频帧关联的目标资源的图像中获取相应的颜色值。

S1022：根据各个第一片元的颜色值渲染第一部分网格，根据各个第二片元的颜色值渲染第二部分网格，同时显示渲染后的全景视频帧和目标资源图像。

基于相同的技术构思，本申请实施例提供一种显示设备，该显示设备可执本申请实施例提供的在全景视频中投放资源的方法流程，并能达到同样的技术效果，在此不再重复。

参见图10，该显示设备包括显示器1101、存储器1102、处理器1103和至少一个外部通信接口1104，至少一个外部通信接口1104、显示器1103和存储器1102与处理器1101通过总线1105连接；至少一个外部通信接口1104被配置为获取目标全景视频和目标资源，显示器1103被配置为同时显示目标全景视频和目标资源，存储器1102中存储有计算机程序，处理器1101通过执行计算机程序实现前述实施例中全景视频帧投放资源的方法。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种全景视频中投放资源的方法，其特征在于，包括：

响应于全景视频播放请求，获取目标全景视频；

响应于资源投放请求，根据投放信息，获取目标资源并确定所述目标资源的目标投放类型；

分别创建与所述目标投放类型相匹配的第一部分网格和第二部分网格，所述第一部分网格作为所述目标全景视频的渲染载体，所述第二部分网格作为所述目标资源的渲染载体，所述第一部分网格和第二部分网格组成一个完整的球面网格；

计算所述第一部分网格和所述第二部分网格上各个顶点的UV坐标；

对所述第一部分网格进行光栅化，生成各个第一片元，以及对所述第二部分网格进行光栅化，生成各个第二片元；

根据各个第一片元的UV坐标，从所述目标全景视频中获取相应的颜色值，以及根据各个第二片元的UV坐标，从所述目标资源中获取相应的颜色值，所述各个第一片元的UV坐标是对所述第一部分网格上的各个顶点的UV坐标插值得到的，所述各个第二片元的UV坐标是对所述第二部分网格上的各个顶点的UV坐标插值得到的；

根据各个第一片元的颜色值渲染第一部分网格，根据各个第二片元的颜色值渲染第二部分网格，同时显示渲染后的全景视频和目标资源。

2.如权利要求1所述的方法，其特征在于，若所述目标投放类型为第一投放类型，则所述投放信息还包括所述目标资源的投放纬度跨度和投放中心点，所述投放纬度跨度大于0°小于180°，所述投放中心点为球面网格的极点；

所述分别创建与所述目标投放类型相匹配的第一部分网格和第二部分网格，包括：

计算以所述投放中心点的对侧极点为中心，纬线方向上沿着第一纬度跨度确定的区域内，各个第一网格的顶点三维坐标，并根据所述各个第一网格的顶点三维坐标，生成第一部分网格，所述第一纬度跨度等于180°减去所述投放纬度跨度，以及；

计算以所述投放中心点为中心，纬线方向上沿着所述投放纬度跨度确定的区域内，各个第二网格的顶点三维坐标，并根据所述各个第二网格的顶点三维坐标，生成第二部分网格，所述第一网格和所述第二网格的经纬度跨度相同。

3.如权利要求1所述的方法，其特征在于，若所述目标投放类型为第二投放类型，则所述投放信息还包括所述目标资源的投放纬度跨度和投放经度跨度，以及所述目标全景视频的中心经度，所述投放纬度跨度大于0°小于180°，所述投放经度跨度大于0°小于360°，所述中心经度大于0度小于360°；

所述分别创建与所述目标投放类型相匹配的第一部分网格和第二部分网格，包括：

计算经线方向上以所述中心经度为中心，纬度方向上以90°为中心确定的区域内，各个第一网格的顶点三维坐标，并根据所述各个第一网格的顶点三维坐标，生成第一部分网格，以及；

计算纬线方向上沿着所述投放纬度跨度，经线方向沿着所述投放经度跨度确定的区域内，各个第二网格的顶点三维坐标，并根据所述各个第二网格的顶点三维坐标，生成第二部分网格，所述第一网格和所述第二网格的经纬度跨度相同。

4.如权利要求1所述的方法，其特征在于，所述第一部分网格和所述第二部分网格组成的球面网格包含N*M个网格，M＝2N，N为大于0的正整数；

所述计算所述第一部分网格上各个顶点的UV坐标，包括：

针对所述第一部分网格上第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，所述UV坐标分别为(j/M，1-i/N)、(j/M，1-(i+1)/N)、((j+1)/M，1-i/N)、((j+1)/M，1-(i+1)/N)；

所述计算所述第二部分网格上各个顶点的UV坐标，包括：

针对所述第二部分网格上第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，分别根据所述目标投放类型以及所述投放信息，确定相应顶点的UV坐标；

其中，i和j从0开始，i＜N，j＜M。

5.如权利要求4所述的方法，其特征在于，所述针对所述第二部分网格上第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，分别根据所述目标投放类型以及所述投放信息确定相应的UV坐标，包括：

若所述目标投放类型为第一投放类型，则所述左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)；

其中，N′＝adsize/angle_Lat，angle_Lat＝180°/N，j′＝j，M′＝M，当所述投放信息中所述目标资源的投放中心点为北极点时，i′＝i，当所述投放信息中所述目标资源的投放中心点为南极点时，i′＝i-(180°-adsize)/angle_Lat；

adsize为所述投放信息中所述目标资源的投放纬度跨度，angle_Lat为相应顶点所在网格的纬度跨度，i′表示相应顶点所在的网格在所述第二部分网格上的行号，j′表示相应顶点所在的网格在所述第二部分网格上的列号，N′表示所述第二部分网格的总行数，M′表示所述第二部分网格的总列数。

6.如权利要求4所述的方法，其特征在于，所述针对所述第二部分网格上第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，分别根据所述目标投放类型以及所述投放信息确定相应的UV坐标，包括：

若所述目标投放类型为第二投放类型，则所述左上角、左下角、右上角、右下角四个顶点的UV坐标，分别为(j′/M′，1-i′/N′)、(j′/M′，1-(i′+1)/N′)、((j′+1)/M′，1-i′/N′)、((j′+1)/M′，1-(i′+1)/N′)；

其中，i′＝i-(180°-adsize1)/(2*angle_Lat)，N′＝adsize1/angle_Lat，M′＝adsize2/angle_Lon，angle_Lat＝180°/N，angle_Lon＝360°/M，当相应顶点未跨越0°经线和360°经线的相接区域，或者，相应顶点跨越了0°经线和360°经线的相接区域，但start/angle_Lon≤j＜M时，j′＝j-start/angle_Lon；当相应顶点跨越了0°经线和360°经线的相接区域，但0°≤j＜(end-360°)/angle_Lon时，j′＝(360°-start)/angle_Lon+j；start＝loc2+(360°-adsize2)/2，end＝loc2+(360°-adsize2)/2+adsize2；

adsize1为所述投放信息中所述目标资源的投放纬度跨度，adsize2为所述投放信息中所述目标资源的投放经度跨度，angle_Lat为相应顶点所在网格的纬度跨度，angle_Lon为相应顶点所在网格的经度跨度，i′表示相应顶点所在的网格在所述第二部分网格上的行号，N′表示所述第二部分网格的总行数，j′表示相应顶点所在的网格在所述第二部分网格上的列号，M′表示所述第二部分网格的总列数，start为所述第二部分网格的起始经度值，end为所述第二部分网格的结束经度值，loc2为所述投放信息中所述目标全景视频的中心经度。

7.一种显示设备，其特征在于，包括显示器、存储器、处理器和至少一个外部通信接口，所述外部通信接口、所述显示器和所述存储器与所述处理器通过总线连接：

所述存储器中存储有计算机程序，所述处理器通过执行所述计算机程序实现以下操作：

响应于全景视频播放请求，通过所述至少一个外部通信接口获取目标全景视频；

响应于资源投放请求，根据投放信息，通过所述至少一个外部通信接口获取目标资源，并确定所述目标资源的目标投放类型；

分别创建与所述目标投放类型相匹配的第一部分网格和第二部分网格，所述第一部分网格作为所述目标全景视频的渲染载体，所述第二部分网格作为所述目标资源的渲染载体，所述第一部分网格和第二部分网格组成一个完整的球面网格；

计算所述第一部分网格和所述第二部分网格上各个顶点的UV坐标；

对所述第一部分网格进行光栅化，生成各个第一片元，以及对所述第二部分网格进行光栅化，生成各个第二片元；

根据各个第一片元的UV坐标，从所述目标全景视频中获取相应的颜色值，以及根据各个第二片元的UV坐标，从所述目标资源中获取相应的颜色值，所述各个第一片元的UV坐标是对所述第一部分网格上的各个顶点的UV坐标插值得到的，所述各个第二片元的UV坐标是对所述第二部分网格上的各个顶点的UV坐标插值得到的；

根据各个第一片元的颜色值渲染第一部分网格，根据各个第二片元的颜色值渲染第二部分网格，由所述显示器同时显示渲染后的全景视频和目标资源。

8.如权利要求7所述的显示设备，其特征在于，若所述目标投放类型为第一投放类型，则所述投放信息还包括所述目标资源的投放纬度跨度和投放中心点，所述投放纬度跨度大于0°小于180°，所述投放中心点为球面网格的极点；

所述处理器分别创建与所述目标投放类型相匹配的第一部分网格和第二部分网格，具体被配置为：

计算以所述投放中心点的对侧极点为中心，纬线方向上沿着第一纬度跨度确定的区域内，各个第一网格的顶点三维坐标，并根据所述各个第一网格的顶点三维坐标，生成第一部分网格，所述第一纬度跨度等于180°减去所述投放纬度跨度，以及；

计算以所述投放中心点为中心，纬线方向上沿着所述投放纬度跨度确定的区域内，各个第二网格的顶点三维坐标，并根据所述各个第二网格的顶点三维坐标，生成第二部分网格，所述第一网格和所述第二网格的经纬度跨度相同。

9.如权利要求7所述的显示设备，其特征在于，若所述目标投放类型为第二投放类型，则所述投放信息还包括所述目标资源的投放纬度跨度和投放经度跨度，以及所述目标全景视频的中心经度，所述投放纬度跨度大于0°小于180°，所述投放经度跨度大于0°小于360°，所述中心经度大于0度小于360°；

所述处理器分别创建与所述目标投放类型相匹配的第一部分网格和第二部分网格，具体被配置为：

计算经线方向上以所述中心经度为中心，纬度方向上以90°为中心确定的区域内，各个第一网格的顶点三维坐标，并根据所述各个第一网格的顶点三维坐标，生成第一部分网格，以及；

计算纬线方向上沿着所述投放纬度跨度，经线方向沿着所述投放经度跨度确定的区域内，各个第二网格的顶点三维坐标，并根据所述各个第二网格的顶点三维坐标，生成第二部分网格，所述第一网格和所述第二网格的经纬度跨度相同。

10.如权利要求7所述的显示设备，其特征在于，所述第一部分网格和所述第二部分网格组成的球面网格包含N*M个网格，M＝2N，N为大于0的正整数；

所述计算所述第一部分网格上各个顶点的UV坐标，包括：

针对所述第一部分网格上第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，所述UV坐标分别为(j/M，1-i/N)、(j/M，1-(i+1)/N)、((j+1)/M，1-i/N)、((j+1)/M，1-(i+1)/N)；

所述计算所述第二部分网格上各个顶点的UV坐标，包括：

针对所述第二部分网格上第i行第j列网格的左上角、左下角、右上角、右下角四个顶点，分别根据所述目标投放类型以及所述投放信息确定相应的UV坐标；

其中，i和j从0开始，i＜N，j＜M。

Images