CN112995646A - 一种鱼眼视频的显示方法及显示设备 - Google Patents

Abstract

本申请涉及鱼眼视频技术领域，提供一种鱼眼视频的显示方法及显示设备，该方法针对获取的鱼眼视频帧中的每一二维的鱼眼视频帧，根据各片元的UV坐标从鱼眼视频帧中获取颜色值，并对创建的球面网格进行渲染得到渲染后的鱼眼视频并显示，其中球面网格和鱼眼视频帧之间存在映射关系，根据该映射关系可以确定各网格顶点的UV坐标，由于各片元的UV坐标是根据各网格顶点的UV坐标插值得到的，从而可以直接利用球面网格和鱼眼视频帧之间的映射关系对球面网格进行渲染，减少了计算量，提高了渲染性能。

Description

一种鱼眼视频的显示方法及显示设备

技术领域

本申请涉及鱼眼视频技术领域，尤其涉及一种鱼眼视频的显示方法及显示设备。

背景技术

鱼眼镜头是一种短焦距广角镜头，它的视角等于180°或与180°的差值小于设定阈值，所能观察的范围大于人眼的视角范围，因其结构和工作原理与鱼眼相似而得名。与一般镜头不同，因为鱼眼镜头采用了类球形结构，所以能够拍摄较大范围的场景。通常一个鱼眼镜头可以代替多个安装角度不同的普通镜头，并且也不需要单镜头全景监控相机的复杂的机械旋转结构，理论上两个鱼眼镜头就可以实现全景成像。

近年来，鱼眼镜头的应用越来越广泛，在视频会议、全景图像拼接、虚拟漫游、机器人导航以及大范围公共场所的安防监控等领域，鱼眼镜头扮演着重要角色。但是由于鱼眼镜头的大视角是以牺牲图像直观性为代价的，所以用鱼眼镜头拍摄的图片大都存在着较大程度的畸变，最显著的就是″桶形畸变″。因此，人眼在观看鱼眼镜头拍摄的视频、图片时，会感觉到不适。目前，一般是将原始的二维鱼眼图像转换为二维等距柱投影图像的方法进行鱼眼视频的显示，计算量较大，影响了鱼眼视频的显示性能。

发明内容

本申请提供了一种鱼眼视频的显示方法及显示设备，用以减少渲染显示鱼眼视频的计算量，提高鱼眼视频的显示性能。

第一方面，本申请提供一种显示设备，包括显示器、存储器以及图形处理器：

所述显示器，与所述图形处理器连接，被配置为显示鱼眼视频；

所述存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器，被配置为根据所述计算机指令执行以下操作：

获取鱼眼视频；

针对所述鱼眼视频中的每一二维的鱼眼视频帧，根据光栅化生成的各片元的UV坐标，从所述鱼眼视频帧中获取各片元的颜色值，其中各片元的UV坐标是根据创建的球面网格内各网格顶点的UV坐标插值得到的，各网格顶点的UV坐标是根据所述球面网格和所述鱼眼视频帧之间的映射关系确定的；

根据各片元的颜色值，渲染所述球面网格，得到渲染后的鱼眼视频并显示。

本申请的上述显示设备，预先创建了用于渲染鱼眼视频的球面网格，经光栅化生成了各片元，根据球面网格内各网格顶点的UV坐标插值得到各片元的UV坐标，针对获取的鱼眼视频帧中的每一二维的鱼眼视频帧，根据各片元的UV坐标从鱼眼视频帧中获取颜色值，并对球面网格进行渲染得到渲染后的鱼眼视频并显示，其中创建的球面网格和鱼眼视频帧之间存在映射关系，根据该映射关系可以确定各网格顶点的UV坐标，由于各片元的UV坐标是根据各网格顶点的UV坐标插值得到的，从而可以直接利用球面网格和鱼眼视频帧之间的映射关系对球面网格进行渲染，减少了计算量，提高了渲染性能。

在一种可选的实施方式中，所述图形处理器通过以下方式确定所述球面网格内各网格顶点中的UV坐标：

针对所述各网格顶点中的任意一个网格顶点，根据所述网格顶点的三维坐标，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述鱼眼视频帧中图像主点的距离；

根据第一夹角以及所述距离，确定所述网格顶点在所述鱼眼视频帧中对应的成像点在所述鱼眼视频帧所在的图像坐标系中的图像坐标，其中所述第一夹角为所述图像主点和所述网格顶点对应的成像点之间的射线与所述图像坐标系中横像素对应的水平轴之间的夹角；

根据所述图像坐标系与UV坐标系之间的关系，将所述图像坐标转换为所述网格顶点的UV坐标。

本申请的上述显示设备，通过网格顶点在鱼眼视频帧中对应的成像点到鱼眼视频帧中图像主点的距离和对应的成像点在鱼眼视频帧所在的图像坐标系中的图像坐标，结合图像坐标系与UV坐标系之间的关系，确定球面网格中网格顶点的UV坐标，进而通过插值得到各片元的UV坐标，建立了球面网格和鱼眼视频帧之间的映射关系。

在一种可选的实施方式中，所述图形处理器根据所述网格顶点的三维坐标，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述鱼眼视频帧中图像主点的距离，具体被配置为：

根据所述网格顶点的三维坐标中Z坐标和拍摄所述鱼眼视频帧的鱼眼镜头的视球面的半径，确定经过所述网格顶点的入射光线与Z轴的第二夹角，其中所述Z轴为所述鱼眼镜头的光轴；

根据所述鱼眼视频帧的圆形图像区域的半径、所述鱼眼镜头的最大视场角以及所述第二夹角，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述图像主点的距离。

本申请的上述显示设备，根据鱼眼视频帧的圆形图像区域的半径、鱼眼镜头的最大视场角以及经过网格顶点的入射光线与鱼眼镜头的光轴的第二夹角，确定网格顶点在鱼眼视频帧中对应的成像点到图像主点的距离，满足等距投影模型，由于大多数鱼眼视频采用等距投影模型，因此可使用大多数鱼眼视频的显示。

在一种可选的实施方式中，所述图形处理器获取到所述鱼眼视频后，还被配置为：

提取所述鱼眼视频中每一二维的鱼眼视频帧的圆形图像区域的外切正方形区域，得到提取后的鱼眼视频帧；

所述图形处理器根据光栅化生成的各片元的UV坐标，从所述鱼眼视频帧中获取各片元的颜色值，具体被配置为：

根据光栅化生成的各片元的UV坐标，从提取后的鱼眼视频帧中获取各片元的颜色值。

本申请的上述显示设备，对鱼眼视频的有效区域(即鱼眼视频帧的圆形图像区域的外切正方形区域)进行了提取，基于提取后的鱼眼视频进行渲染显示，减少了鱼眼视频帧中无效区域的干扰，提高了渲染显示的准确性。

在一种可选的实施方式中，所述图形处理器还被配置为：

将UV坐标不在所述鱼眼视频帧的圆形图像区域内的片元的颜色值设置为设定颜色值。

第二方面，本申请提供一种鱼眼视频的显示方法，包括：

获取鱼眼视频；

针对所述鱼眼视频中的每一二维的鱼眼视频帧，根据光栅化生成的各片元的UV坐标，从所述鱼眼视频帧中获取各片元的颜色值，其中各片元的UV坐标是根据创建的球面网格内各网格顶点的UV坐标插值得到的，各网格顶点的UV坐标是根据所述球面网格和所述鱼眼视频帧之间的映射关系确定的；

根据各片元的颜色值，渲染所述球面网格，得到渲染后的鱼眼视频并显示。

在一种可选的实施方式中，通过以下方式确定所述球面网格内各网格顶点中的UV坐标：

针对所述各网格顶点中的任意一个网格顶点，根据所述网格顶点的三维坐标，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述鱼眼视频帧中图像主点的距离；

根据第一夹角以及所述距离，确定所述网格顶点在所述鱼眼视频帧中对应的成像点在所述鱼眼视频帧所在的图像坐标系中的图像坐标，其中所述第一夹角为所述图像主点和所述网格顶点对应的成像点之间的射线与所述图像坐标系中横像素对应的水平轴之间的夹角；

根据所述图像坐标系与UV坐标系之间的关系，将所述图像坐标转换为所述网格顶点的UV坐标。

在一种可选的实施方式中，所述根据所述网格顶点的三维坐标，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述鱼眼视频帧中图像主点的距离，包括：

根据所述网格顶点的三维坐标中Z坐标和拍摄所述鱼眼视频帧的鱼眼镜头的视球面的半径，确定经过所述网格顶点的入射光线与Z轴的第二夹角，其中所述Z轴为所述鱼眼镜头的光轴；

根据所述鱼眼视频帧的圆形图像区域的半径、所述鱼眼镜头的最大视场角以及所述第二夹角，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述图像主点的距离。

在一种可选的实施方式中，获取到所述鱼眼视频后，所述方法还包括：

提取所述鱼眼视频中每一二维的鱼眼视频帧的圆形图像区域的外切正方形区域，得到提取后的鱼眼视频帧；

所述根据光栅化生成的各片元的UV坐标，从所述鱼眼视频帧中获取各片元的颜色值，包括：

根据光栅化生成的各片元的UV坐标，从提取后的鱼眼视频帧中获取各片元的颜色值。

在一种可选的实施方式中，所述方法还包括：

将UV坐标不在所述鱼眼视频帧的圆形图像区域内的片元的颜色值设置为设定颜色值。

第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例提供的鱼眼视频的显示方法。

其中，第二方面的有益效果参见第一方面，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例提供的应用场景示意图；

图2示例性示出了本申请实施例提供的VR头戴式显示设备300的结构图；

图3示例性示出了本申请实施例提供的创建球面网格与二维鱼眼视频帧之间的映射关系流程图；

图4示例性示出了本申请实施例提供的球面网格与鱼眼视频帧的映射原理图；

图5示例性示出了本申请实施例提供的图形坐标系和UV坐标系之间的关系图；

图6示例性示出了本申请实施例提供的鱼眼视频的显示方法；

图7示例性示出了本申请实施例提供的原始的鱼眼视频；

图8示例性示出了本申请实施例提供的有效区域提取后的鱼眼视频；

图9示例性示出了本申请实施例提供的鱼眼视频显示的交互流程图；

图10示例性示出了本申请实施例提供的显示设备的硬件结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

为清楚描述本申请的实施例，下面对本申请实施例中名词进行解释说明。

鱼眼镜头是一种焦距为16mm或更短的并且视角接近或等于180°的镜头，是一种极端的广角镜头。为使镜头达到最大的摄影视角，鱼眼镜头的前镜片直径很短且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，因此成为″鱼眼镜头″。

三维渲染管线中，几何顶点被组合为图元，图元包括：点、线段、多边形。图元经光栅化之后输出片元序列。片元并不是真正意义上的像素，而是包含了很多状态的集合，这些状态用于计算每个像素的最终颜色。这些状态包括了(但不限于)片元的屏幕坐标，深度信息，以及其他从几何阶段输出的顶点信息，例如法线、纹理坐标等。

图像主点为鱼眼镜头的光轴与图像平面的交点。

本申请涉及一种鱼眼视频的显示方法及显示设备。以虚拟现实(VirtualReality)头戴式显示设备为例，图1示例性示出了本申请实施例提供的应用场景示意图。如图1所示，由具有鱼眼镜头的摄像机100拍摄鱼眼视频，将拍摄的鱼眼通过视频互联网(Internet)传输给服务器200，其中互联网可以为局域网、广域网等，服务器200可以为企业级服务器、云服务器等；VR头戴式显示设备300响应播放鱼眼视频播放指令，播放指令携带用户所要播放的鱼眼视频的标识(比如鱼眼视频的名称、网址等)，根据播放指令向服务器200发送鱼眼视频获取请求，服务器200接收到请求后将所要播放的鱼眼视频发送给VR头戴式显示设备300，由VR头戴式显示设备300播放鱼眼视频。

图1中还示出，摄像机100拍摄的鱼眼视频可直接发送给VR头戴式显示设备300，发送方式包括但不限于蓝牙传输、WiFi传输，VR头戴式显示设备300响应播放鱼眼视频播放指令时，首先从本地缓存中获取鱼眼视频，若获取到，则播放本地中用户所要播放的鱼眼视频，若获取失败，则从服务器200中获取，从而提高视频的传输速度，进而提高用户体验。

图2示例性示出了本申请实施例提供的VR头戴式显示设备300的结构图。如图2所示，VR头戴显示设备300包括透镜组301以及设置于透镜组301正前方的显示终端302(相当于显示器)，其中透镜组301由左显示镜片301_1和右显示镜片301_2组成。用户在使用VR头戴显示设备300时，人眼可以通过透镜组301观看显示终端302显示的鱼眼视频，体验VR效果。

需要说明的是，本申请实施例中的显示设备除VR头戴式显示设备外，还可以是智能手机、平板电脑、台式机、笔记本电脑、智能电视等能够具备鱼眼视频播放和交互的设备。

通常，鱼眼镜头拍摄的鱼眼视频存在畸变，直接播放会使人眼感到不适。鱼眼视频的投影格式为等距投影格式，所有的鱼眼视频播放器都支持该投影格式的全景视频。二维鱼眼图像与全景视频帧类似，最终投影到一个球面(或者局部球面，由拍摄鱼眼视频的鱼眼镜头的视场角大小决定的)显示。传统的鱼眼视频播放方法是根据鱼眼视频的投影规则将原始的二维鱼眼图像转换为二维等距圆柱投影图像，然后将等距圆柱投影图像映射到球面进行显示。而原始的二维鱼眼图像转换为二维等距圆柱投影图像需要消耗较高的计算能力，影响视频显示的实时性，进而影响用户体验。

为了解决上述问题，本申请实施例提供一种鱼眼视频的显示方法及显示设备。在渲染引擎中创建一个与二维鱼眼视频帧存在映射关系的球面网格，根据该映射关系可以确定球面网格中各网格顶点的UV坐标，进一步的，根据球面网格内各网格顶点的UV坐标插值得到光栅化生成的各片元的UV坐标，从而利用球面网格和鱼眼视频帧之间的映射关系，根据各片元的UV坐标从鱼眼视频帧中获取颜色值来渲染球面网格，得到渲染后的鱼眼视频并显示。与传统方法中将鱼眼视频图像转换为等距柱投影图像相比，本申请实施例可以减少渲染鱼眼视频的计算量，提高渲染显示性能，进而提升用户体验。

需要说明的是，本申请实施例的方法可适用于本地鱼眼视频的播放显示，还可适用于在线鱼眼视频(包括点播和直播两种模式的鱼眼视频)的播放显示。

下面结合附图详细描述本申请的实施例。

鱼眼镜头的成像过程为：将鱼眼镜头的视球面通过特殊的映射关系，变换为常见的二维图像，这个映射关系就是投影模型。目前，市场上的鱼眼镜头大多利用等距投影模型，因此大多数鱼眼视频也使用了等距投影模型，本申请的实施例也针对采用等距投影模型的鱼眼视频片源。等距投影模型公式如下：

r＝f×θ (1)

其中，θ是鱼眼镜头的光轴与入射光线的夹角，f是鱼眼镜头的光心到图像主点的距离，r是成像点到图像主点的距离。

基于等距模型，本申请实施例建立了球面网格与二维鱼眼视频帧之间的映射关系，通过该映射关系，显示鱼眼视频。其中球面网格可在启动显示设备中用于播放鱼眼视频的应用程序时，由渲染引擎创建的，可作为鱼眼视频的渲染载体。一个球面网格包含若干个网格，每个网格由两个三角形组成，一个网格包含多个顶点。

图3示例性示出了本申请实施例提供的创建球面网格与二维鱼眼视频帧之间的映射关系流程图。如图3所示，该流程可通过软件实现方式由显示设备执行，由于球面网格内各网格顶点的映射方式一样，下面针对球面网格内各网格顶点中的任意一个网格顶点，详细描述映射过程，在主要包括以下几步：

S301：根据网格顶点的三维坐标，确定网格顶点在鱼眼视频帧中对应的成像点到鱼眼视频帧中图像主点的距离。

该步骤中，在渲染引擎中创建球面网格时，基于创建的球面坐标系得到了每个网格顶点的三维坐标，根据网格顶点的三维坐标，确定网格顶点在要播放的鱼眼视频帧中对应的成像点到鱼眼视频帧中图像主点的距离。假设网格顶点P的三维坐标为(v_x，v_y，v_z)，拍摄鱼眼视频的鱼眼镜头的视球面的半径为radius，参照图4示出的球面网格与鱼眼视频帧的映射原理图，具体实施时，根据网格顶点P的三维坐标(v_x，v_y，v_z)中Z坐标v_z和鱼眼镜头的视球面的半径radius，确定经过网格顶点P的入射光线与Z轴的夹角θ(为进行区分，该夹角记为第二夹角)，其中Z轴为鱼眼镜头的光轴。第二夹角θ的计算公式如下：

θ＝arctan(v_z/radius) (2)

假设鱼眼镜头的最大视场角为θ_m，鱼眼视频帧的圆形图像区域的半径为R，根据成像原理，当第二夹角θ达到最大，即θ＝θ_m/2时，r达到最大，等于R，等距模型中鱼眼镜头的光心到图像主点的距离为：

f＝2×R/θ_m (3)

得到第二夹角θ后，根据鱼眼视频帧的圆形图像区域的半径R、鱼眼镜头的最大视场角θ_m以及第二夹角θ，确定网格顶点在鱼眼视频帧中对应的成像点P′到鱼眼视频帧中图像主点的距离为：

r＝2×R×θ/θ_m＝2×R×arctan(v_z/radius)/θ_m (4)

S302：根据第一夹角以及成像点到图像主点的距离，确定网格顶点在鱼眼视频帧中对应的成像点在鱼眼视频帧所在的图像坐标系中的图像坐标。

该步骤中，第一夹角为鱼眼视频帧的图像主点(即图像坐标系XOY的圆心)和网格顶点在鱼眼视频帧中对应的成像点之间的射线OP′与图像坐标系中横像素对应的水平轴X之间的夹角α。根据相似性原理，第一夹角α的计算公式为：

α＝arctan(v_y，v_x) (5)

假设成像点在图像坐标系XOY中的图像坐标为(x_cart，y-cart)，则：

结合公式(4)和(5)，得到：

S303：根据图像坐标系与UV坐标系之间的关系，将图像坐标转换为网格顶点的UV坐标。

该步骤中，图像坐标系与UV坐标系之间的关系图如图5所示，假设UV坐标系的左下角为原点(0，0)，网格顶点的UV坐标为(u，v)，根据图像坐标系与UV坐标系之间的关系，(u，v)为：

代入x_cart和y_cart后得到：

需要说明的是，对于超出鱼眼镜头视场角范围内的网格顶点，其在鱼眼视频帧中对应的成像点位于鱼眼视频帧的圆形图像区域外的区域(如图7所示的黑色区域)，可将超出鱼眼镜头视场角范围内的网格顶点的UV坐标设置为(-1，-1)。

针对球面网格内的任意一个网顶点，执行图3所示的映射流程，完成用于渲染显示鱼眼视频的球面网格与鱼眼视频帧之间的映射，确定了各网格顶点的UV坐标，进一步确定了用于渲染采样的各片元的UV坐标。

基于图3所示的球面网格与鱼眼视频帧之间的映射关系，图6示例性示出了本申请实施例提供的鱼眼视频的显示方法。如图6所示，该流程可由显示设备通过软件方式实现，主要包括以下几步：

S601：获取鱼眼视频。

该步骤中，用户通过交互过程从显示设备的应用程序中选择需要播放的鱼眼视频，显示设备响应鱼眼视频播放指令，播放指令携带用户所要播放的鱼眼视频网址，显示设备根据该网址向服务器发送鱼眼视频获取请求，服务器接收到该鱼眼视频获取请求后，将对应的鱼眼视频发送给显示设备。获取的鱼眼视频如图7所示。

为了提高鱼眼视频的播放速度，显示设备可先从本地获取鱼眼视频，若为获取到，则向服务器发送鱼眼视频获取请求。

S602：针对鱼眼视频中的每一二维的鱼眼视频帧，根据光栅化生成的各片元的UV坐标，从鱼眼视频帧中获取各片元的颜色值。

该步骤中，各片元的UV坐标是根据创建的球面网格内各网格顶点的UV坐标插值得到的，各网格顶点的UV坐标是根据球面网格和鱼眼视频帧之间的映射关系确定的，具体过程参见图3，在此不再重复。

在S602中，在像素着色器中，根据各片元的UV坐标在鱼眼视频帧中进行采样，得到各片元的颜色值。

需要说明的是，对于UV坐标为(-1，-1)的异常网格顶点，插值后得到的片元的UV坐标也为(-1，-1)的异常片元，其在鱼眼视频帧中没有对应的成像点，可将其颜色值设为纯色(比如黑色)。

S603：根据各片元的颜色值，渲染球面网格，得到渲染后的鱼眼视频并显示。

该步骤中，针对每一鱼眼视频帧，在像素着色器中，根据各片元的颜色值渲染球面网格，得到渲染后的鱼眼视频，并在显示设备进行显示。

在另一些实施例中，为了提高鱼眼视频映射显示的准确性，还可对要播放的鱼眼视频进行预处理，提取每一鱼眼视频的有效区域。具体的，针对鱼眼视频中每一二维的鱼眼视频帧，提取鱼眼视频帧的圆形图像区域的外切正方形区域，得到提取后的鱼眼视频帧，提取后的效果如图8所示。基于有效区域提取后鱼眼视频，进行图3所示的球面网格和鱼眼视频帧的映射流程。进一步地，基于球面网格和有效区域提取后鱼眼视频帧之间的映射关系，根据光栅化生成的各片元的UV坐标，从提取后的鱼眼视频帧中获取各片元的颜色值，实现对球面网格的渲染。本申请实施例对有效区域的提取方法不做限制性要求，包括但不限于霍夫圆变换法、线扫描法等。鱼眼视频中往往会有很多无效区域(如图7所示的黑色区域)，通过对获取的鱼眼视频进行有效区域提取，减小了鱼眼视频帧中无效区域的干扰，提高了映射关系的准确性，进一步提高了鱼眼视频显示的准确性。

图9示例性示出了本申请实施例提供的鱼眼视频显示的交互流程图。如图9所示，该流程主要包括以下几步：

S901：显示设备响应鱼眼视频播放指令。

该步骤中，用户通过显示界面或者功能按键选择要播放的鱼眼视频，根据选择的鱼眼视频向显示设备发送鱼眼视频播放指令，由显示设备进行响应，该播放指令携带要播放的鱼眼视频的网址。

S902：显示设备根据播放指令携带的网址向服务器发送鱼眼视频获取请求。

S903：服务器接收鱼眼视频获取请求，向显示设备发送对应的鱼眼视频。

S904：显示设备接收服务器发送的鱼眼视频，对获取的鱼眼视频进行预处理，提取每一鱼眼视频帧中圆形图像区域的外切图像区域，得到处理后的鱼眼视频。

该步骤中，提取方法包括但不限于霍夫圆变换法、线扫描法等。具体描述参见前述实施例，在此不再重复。

S905：显示设备基于处理后的鱼眼视频，建立鱼眼视频帧与球面网格的映射关系。

该步骤中，鱼眼视频帧与球面网格的映射关系建立过程参见图3，在此不再重复。

S906：显示设备针对每一鱼眼视频帧，根据光栅化生成的各片元的UV坐标，从处理后的鱼眼视频帧中获取各片元的颜色值。

该步骤中，各片元的UV坐标是根据创建的球面网格内各网格顶点的UV坐标插值得到的，各网格顶点的UV坐标是根据球面网格和鱼眼视频帧之间的映射关系确定的，从而根据该映射关系，从鱼眼视频帧中获取颜色值。

S907：显示设备根据各片元的颜色值，渲染球面网格，得到渲染后的鱼眼视频并显示。

该步骤的详细描述参见S603，在此不再重复。

本申请的上述实施例，建立球面网格和鱼眼视频帧之间的映射关系，根据该映射关系确定球面网格中各网格顶点的UV坐标，进一步的，根据球面网格内各网格顶点的UV坐标确定各片元的UV坐标，利用球面网格和鱼眼视频帧之间的映射关系，根据各片元的UV坐标从鱼眼视频帧中获取颜色值来渲染球面网格，减小了鱼眼视频显示过程的计算量，提高了渲染显示性能。

需要说明的是，本申请实施例中的着色器使用的语言包括但不限于GLSL(OpenGLShading Language，OpenGL的着色器语言)、HLSL(High Level Shader Language，微软DirectX的着色器语言)、CG(C for Graphics，由微软和NVIDIA共同提出的着色器语言)、Unity3D Shader(Unity3D的着色器语言)。

基于相同的技术构思，本申请实施例提供一种显示鱼眼视频的显示设备，该显示设备可以实现前述实施例中鱼眼视频的显示方法，且能达到相同的技术效果，在此不再赘述。

参见图10，该显示设备包括显示器1001、存储器1002、图形处理器1003。其中显示器1001与图形处理器1003连接，被配置为显示鱼眼视频；存储器1002与图像处理器1003连接，被配置为存储计算机指令；图形处理器1003，被配置为根据存储器1002存储的计算机指令执行鱼眼视频的显示方法。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的鱼眼视频的显示方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种显示鱼眼视频的显示设备，其特征在于，包括显示器、存储器以及图形处理器：

所述显示器，与所述图形处理器连接，被配置为显示鱼眼视频；

所述存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器，被配置为根据所述计算机指令执行以下操作：

获取鱼眼视频；

针对所述鱼眼视频中的每一二维的鱼眼视频帧，根据光栅化生成的各片元的UV坐标，从所述鱼眼视频帧中获取各片元的颜色值，其中各片元的UV坐标是根据创建的球面网格内各网格顶点的UV坐标插值得到的，各网格顶点的UV坐标是根据所述球面网格和所述鱼眼视频帧之间的映射关系确定的；

根据各片元的颜色值，渲染所述球面网格，得到渲染后的鱼眼视频并显示。

2.如权利要求1所述的显示设备，其特征在于，所述图形处理器通过以下方式确定所述球面网格内各网格顶点中的UV坐标：

针对所述各网格顶点中的任意一个网格顶点，根据所述网格顶点的三维坐标，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述鱼眼视频帧中图像主点的距离；

根据第一夹角以及所述距离，确定所述网格顶点在所述鱼眼视频帧中对应的成像点在所述鱼眼视频帧所在的图像坐标系中的图像坐标，其中所述第一夹角为所述图像主点和所述网格顶点对应的成像点之间的射线与所述图像坐标系中横像素对应的水平轴之间的夹角；

根据所述图像坐标系与UV坐标系之间的关系将所述图像坐标转换为所述网格顶点的UV坐标。

3.如权利要求2所述的显示设备，其特征在于，所述图形处理器根据所述网格顶点的三维坐标，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述鱼眼视频帧中图像主点的距离，具体被配置为：

根据所述网格顶点的三维坐标中Z坐标和拍摄所述鱼眼视频帧的鱼眼镜头的视球面的半径，确定经过所述网格顶点的入射光线与Z轴的第二夹角，其中所述Z轴为所述鱼眼镜头的光轴；

根据所述鱼眼视频帧的圆形图像区域的半径、所述鱼眼镜头的最大视场角以及所述第二夹角，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述图像主点的距离。

4.如权利要求1所述的显示设备，其特征在于，所述图形处理器获取到所述鱼眼视频后，还被配置为：

提取所述鱼眼视频中每一二维的鱼眼视频帧的圆形图像区域的外切正方形区域，得到提取后的鱼眼视频帧；

所述图形处理器根据光栅化生成的各片元的UV坐标，从所述鱼眼视频帧中获取各片元的颜色值，具体被配置为：

根据光栅化生成的各片元的UV坐标，从提取后的鱼眼视频帧中获取各片元的颜色值。

5.如权利要求1-4中任一项所述的显示设备，其特征在于，所述图形处理器还被配置为：

将UV坐标不在所述鱼眼视频帧的圆形图像区域内的片元的颜色值设置为设定颜色值。

6.一种鱼眼视频的显示方法，其特征在于，包括：

获取鱼眼视频；

针对所述鱼眼视频中的每一二维的鱼眼视频帧，根据光栅化生成的各片元的UV坐标，从所述鱼眼视频帧中获取各片元的颜色值，其中各片元的UV坐标是根据创建的球面网格内各网格顶点的UV坐标插值得到的，各网格顶点的UV坐标是根据所述球面网格和所述鱼眼视频帧之间的映射关系确定的；

根据各片元的颜色值，渲染所述球面网格，得到渲染后的鱼眼视频并显示。

7.如权利要求6所述的方法，其特征在于，通过以下方式确定所述球面网格内各网格顶点中的UV坐标：

针对所述各网格顶点中的任意一个网格顶点，根据所述网格顶点的三维坐标，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述鱼眼视频帧中图像主点的距离；

根据第一夹角以及所述距离，确定所述网格顶点在所述鱼眼视频帧中对应的成像点在所述鱼眼视频帧所在的图像坐标系中的图像坐标，其中所述第一夹角为所述图像主点和所述网格顶点对应的成像点之间的射线与所述图像坐标系中横像素对应的水平轴之间的夹角；

根据所述图像坐标系与UV坐标系之间的关系将所述图像坐标转换为所述网格顶点的UV坐标。

8.如权利要求7所述的方法，其特征在于，所述根据所述网格顶点的三维坐标，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述鱼眼视频帧中图像主点的距离，包括：

根据所述网格顶点的三维坐标中Z坐标和拍摄所述鱼眼视频帧的鱼眼镜头的视球面的半径，确定经过所述网格顶点的入射光线与Z轴的第二夹角，其中所述Z轴为所述鱼眼镜头的光轴；

根据所述鱼眼视频帧的圆形图像区域的半径、所述鱼眼镜头的最大视场角以及所述第二夹角，确定所述网格顶点在所述鱼眼视频帧中对应的成像点到所述图像主点的距离。

9.如权利要求6所述的方法，其特征在于，获取到所述鱼眼视频后，所述方法还包括：

提取所述鱼眼视频中每一二维的鱼眼视频帧的圆形图像区域的外切正方形区域，得到提取后的鱼眼视频帧；

所述根据光栅化生成的各片元的UV坐标，从所述鱼眼视频帧中获取各片元的颜色值，包括：

根据光栅化生成的各片元的UV坐标，从提取后的鱼眼视频帧中获取各片元的颜色值。

10.如权利要求6-9中任一项所述的方法，其特征在于，所述方法还包括：

将UV坐标不在所述鱼眼视频帧的圆形图像区域内的片元的颜色值设置为设定颜色值。

Images