CN112218132B - 一种全景视频图像显示方法及显示设备 - Google Patents

一种全景视频图像显示方法及显示设备 Download PDF

Info

Publication number
CN112218132B
CN112218132B CN202010930484.5A CN202010930484A CN112218132B CN 112218132 B CN112218132 B CN 112218132B CN 202010930484 A CN202010930484 A CN 202010930484A CN 112218132 B CN112218132 B CN 112218132B
Authority
CN
China
Prior art keywords
image
panoramic video
fragment
color value
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010930484.5A
Other languages
English (en)
Other versions
CN112218132A (zh
Inventor
任子健
史东平
吴连朋
王宝云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202010930484.5A priority Critical patent/CN112218132B/zh
Publication of CN112218132A publication Critical patent/CN112218132A/zh
Application granted granted Critical
Publication of CN112218132B publication Critical patent/CN112218132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施例涉及显示技术领域，提供一种全景视频图像显示方法及显示设备。该方法包括：获取第一图像，并根据用户视角获取对应的第二图像；按照设定规则生成平面矩形网格；设置平面矩形网格内各片元的颜色值及颜色值中的透明分量，得到第三图像；根据全景视频球面网格内各片元的UV坐标，从所述第三图像中获取相应位置像素的第二颜色值，并根据所述第二颜色值中的透明分量设置全景视频球面网格内各片元的颜色值；根据所述全景视频球面网格内各片元的颜色值，渲染并显示全景视频图像。本申请的实施例可以准确显示由低清全角视频图像和高清全角视频图像拼接而成的全景视频图像，进而提升用户感受。

Description

一种全景视频图像显示方法及显示设备
技术领域
本申请涉及全景视频技术领域，尤其涉及一种全景视频图像显示方法及显示设备。
背景技术
全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。
因此，准确显示全景视频图像以适应多样化的QoS需求，是目前亟待解决的问题。
发明内容
本申请提供了一种全景视频图像显示方法及显示设备，用以准确显示低清全视角视频图像和高清全视角视频图像拼接后的全景视频图像，进而提升用户感受。
第一方面，本申请实施例提供一种显示设备，包括：
显示器，与图形处理器连接，被配置为显示全景视频图像；
存储器，与图形处理器连接，被配置为存储计算机指令；
图形处理器，被配置为根据计算机指令执行以下操作：
获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；
按照设定规则生成平面矩形网格，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块，第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在第二图像中的顶点UV坐标；
对平面矩形网格进行光栅化生成各片元，并根据平面矩形网格中各网格顶点的UV坐标插值得到各片元的UV坐标；
若根据第一片元的UV坐标在第二图像中获取到相应位置像素的颜色值，则将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，否则将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明，得到第三图像；其中，第一片元为平面矩形网格内各片元中的任一个；
根据全景视频球面网格内第二片元的UV坐标从第一图像中获取相应位置像素的第一颜色值、从第三图像中获取相应位置像素的第二颜色值，若第二颜色值中的透明分量被设置为不透明，则将第二片元的颜色值设置为第二颜色值，否则，将第二片元的颜色值设置为第一颜色值；其中，第二片元为全景视频球面网格内各片元中的任一个；
根据全景视频球面网格内各片元的颜色值，渲染并显示全景视频图像。
第二方面，本申请实施例提供一种显示设备，包括：
显示器，与图形处理器连接，被配置为显示全景视频图像；
存储器，与图形处理器连接，被配置为存储计算机指令；
图形处理器，被配置为根据计算机指令执行以下操作：
获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；
按照设定规则生成平面矩形网格，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块，第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在第二图像中的顶点UV坐标；
对平面矩形网格进行光栅化生成各片元，并根据平面矩形网格中各网格顶点的UV坐标插值得到各片元的UV坐标；
若根据第一片元的UV坐标在第二图像中获取到相应位置像素的颜色值，则将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，否则将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明，得到第三图像；其中，第一片元为平面矩形网格内各片元中的任一个；
生成第一全景视频球面网格和第二全景视频球面网格，根据第一全景视频球面网格内各片元的UV坐标从第一图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第一全景视频球面网格，得到并显示第一全景视频图像，根据第二全景视频球面网格内各片元的UV坐标从第三图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第二全景视频球面网格，得到并显示第二全景视频图像。
第三方面，本申请实施例提供一种全景视频图像显示方法，包括：
获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；
按照设定规则生成平面矩形网格，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块，第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在第二图像中的顶点UV坐标；
对平面矩形网格进行光栅化生成各片元，并根据平面矩形网格中各网格顶点的UV坐标插值得到各片元的UV坐标；
若根据第一片元的UV坐标在第二图像中获取到相应位置像素的颜色值，则将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，否则将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明，得到第三图像；其中，第一片元为平面矩形网格内各片元中的任一个；
根据全景视频球面网格内第二片元的UV坐标从第一图像中获取相应位置像素的第一颜色值、从第三图像中获取相应位置像素的第二颜色值，若第二颜色值中的透明分量被设置为不透明，则将第二片元的颜色值设置为第二颜色值，否则，将第二片元的颜色值设置为第一颜色值；其中，第二片元为全景视频球面网格内各片元中的任一个；
根据全景视频球面网格内各片元的颜色值，渲染并显示全景视频图像。
第四方面，本申请实施例提供一种全景视频图像显示方法，包括：
获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；
按照设定规则生成平面矩形网格，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块，第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在第二图像中的顶点UV坐标；
对平面矩形网格进行光栅化生成各片元，并根据平面矩形网格中各网格顶点的UV坐标插值得到各片元的UV坐标；
若根据第一片元的UV坐标在第二图像中获取到相应位置像素的颜色值，则将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，否则将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明，得到第三图像；其中，第一片元为平面矩形网格内各片元中的任一个；
生成第一全景视频球面网格和第二全景视频球面网格，根据第一全景视频球面网格内各片元的UV坐标从第一图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第一全景视频球面网格，得到并显示第一全景视频图像，根据第二全景视频球面网格内各片元的UV坐标从第三图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第二全景视频球面网格，得到并显示第二全景视频图像。
第五方面，本申请实施例提供一种显示设备，包括：
图像获取模块，被配置为获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；
图像生成模块，被配置为按照设定规则生成平面矩形网格，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块，第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在第二图像中的顶点UV坐标；对平面矩形网格进行光栅化生成各片元，并根据平面矩形网格中各网格顶点的UV坐标插值得到各片元的UV坐标；若根据第一片元的UV坐标在第二图像中获取到相应位置像素的颜色值，则将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，否则将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明，得到第三图像；其中，第一片元为平面矩形网格内各片元中的任一个；
颜色值获取模块，被配置为根据全景视频球面网格内第一片元的UV坐标，从第一图像中获取相应位置像素的第一颜色值、从第三图像中获取相应位置像素的第二颜色值，若第二颜色值中的透明分量被设置为不透明，则将第一片元的颜色值设置为第二颜色值，否则，将第一片元的颜色值设置为第一颜色值；其中，第一片元为全景视频球面网格内各片元中的任一个；
显示模块，被配置为根据全景视频球面网格内各片元的颜色值，渲染并显示全景视频图像。
第六方面，本申请实施例提供一种显示设备，包括：
图像获取模块，被配置为获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为全景视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；
图像生成模块，被配置为按照设定规则生成平面矩形网格，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块，第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在第二图像中的顶点UV坐标；对平面矩形网格进行光栅化生成各片元，并根据平面矩形网格中各网格顶点的UV坐标插值得到各片元的UV坐标；若根据第一片元的UV坐标在第二图像中获取到相应位置像素的颜色值，则将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，否则，将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明，得到第三图像；其中，第一片元为平面矩形网格内各片元中的任一个；
渲染显示模块，被配置为生成第一全景视频球面网格和第二全景视频球面网格，根据第一全景视频球面网格内各片元的UV坐标从第一图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第一全景视频球面网格，得到并显示第一全景视频图像，根据第二全景视频球面网格内各片元的UV坐标从第三图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第二全景视频球面网格，得到并显示第二全景视频图像。
本申请的实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使显示设备执行全景视频图像显示方法。
本申请的上述实施例中，获取由高清全景视频图像降采样得到第一图像(低清全视角视频图像)和用户视角对应的高清图像分块拼接得到的第二图像(高清视频图像)，按照设定规则生成平面矩形网格，其中，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块且第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在第二图像中的顶点UV坐标，经光栅化生成平面矩形网格内的各片元，各片元的UV坐标通过平面矩形网格中各子网格顶点的UV坐标插值得到的，根据第一片元的UV坐标在第二图像中获取相应位置像素的颜色值，若获取颜色值，则将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，否则将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明，得到第三图像，其中，第一片元为所述平面矩形网格内各片元中的任一个；根据全景视频球面网格内第二片元的UV坐标，从第一图像、第三图像中获取第一颜色值和第二颜色值，根据第二颜色值中的透明分量，确定第二片元的最终颜色值，根据全景视频球面网格内各片元的颜色值，渲染并显示全景视频图像。本申请的实施例可以准确显示由低清全角视频图像和高清全角视频图像拼接而成的全景视频图像，进而提升用户感受。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1中示例性示出了本申请实施例提供的显示全景视频图像的场景示意图；
图2中示例性示出了本申请实施例中显示设备200的硬件配置框图；
图3中示例性示出了根据示例性实施例中VR头戴显示设备200的结构示意图；
图4中示例性示出了根据示例性实施例中显示设备200功能结构示意图；
图5中示例性示出了本申请实施例提供的全景视频图像显示方法的流程示意图；
图6中示例性示出了本申请实施例提供的高清图像分块列表；
图7中示例性示出了本申请实施例提供的低清全视角视频图像；
图8中示例性示出了本申请实施例提供的某一视角下获取的高清图像分块；
图9中示例性示出了本申请实施例提供的某一视角下填充后的高清视频图像；
图10示例性示出了本申请实施例提供的平面矩形网格示意图；
图11示例性示出了本申请实施例提供的高清全视角视频图像；
图12中示例性示出了本申请实施例提供的另一种全景视频图像显示方法的流程示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二、″第三″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
本申请中使用的术语″遥控器″，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出，用户可通过控制装置100控制显示设备200的视角以及显示设备200显示的视频内容。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，在直观的用户界面(UI)中为用户提供各种控制。
在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以实现用移动终端300与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端300上，通过控制移动终端300上用户界面，实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能。
如图1中还示出，显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
在一些实施例中，显示器275，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。
在一些实施例中，显示器275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件。根据显示器275类型不同，还包括用于驱动显示的驱动组件。
在一些实施例中，显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。
在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。
在一些实施例中，显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。
在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。
在一些实施例中，检测器230是显示设备200用于采集外部环境或与外部交互的信号。
在一些实施例中，检测器230包括光接收器、图像采集器、温度传感器等。
在一些实施例中，检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应环境噪声。
在一些实施例中，如图2所示，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。
在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/输出接口接收音视频信号。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
如图2所示，控制器250包括随机存取存储器251(Random Access Memory，RAM)、只读存储器252(Read-Only Memory，ROM)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(Graphics Processing Unit，GPU)、中央处理器254(CentralProcessing Unit，CPU)、通信接口(Communication Interface)，以及通信总线256(Bus)中的至少一种。其中，通信总线连接各个部件。
在一些实施例中，RAM 251用于存储操作系统或其他正在运行中的程序的临时数据。
在一些实施例中，ROM 252用于存储各种系统启动的指令。
在一些实施例中，ROM 252用于存储一个基本输入输出系统，称为基本输入输出系统(Basic Input Output System，BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。
在一些实施例中，在收到开机信号时显示设备200电源开始启动，CPU运行ROM252中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至RAM 251中，以便于启动或运行操作系统。当操作系统启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中，然后，以便于启动或运行各种应用程序。
在一些实施例中，CPU处理器254，用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。
在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2，则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。
显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如GPU+FRC(Frame Rate Conyersion))架构。
在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。
在一些实施例中，视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。
在一些实施例中，视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。
在一些实施例中，音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。
供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。
用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。
在一些实施例中，用户通过控制装置100或移动终端300输入用户命令，用户输入接口则根据用户的输入，显示设备200则通过控制器250响应用户的输入。
在一些实施例中，用户可在显示器275上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。
基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
值得说明的是，图1-图2仅是一种示例，显示设备200还可以是智能手机、平板电脑、计算机、笔记本电脑以及虚拟现实(Virtual Reality，VR)头戴显示设备等具有全景视频图像播放功能和交互功能的设备。
图3示例性示出了本申请的实施例提供的一种VR头戴显示设备。如图3所示，VR头戴显示设备30包括透镜组301以及设置于透镜组301正前方的显示终端302，其中透镜组301由左显示镜片3011和右显示镜片3012组成。用户在使用VR头戴显示设备30时，人眼可以通过透镜组301观看显示终端302显示的全景视频图像，体验VR效果。
全景视频相对于传统视频有着分辨率高、数据量大、码率高的特点，全景视频分辨率不断提高，逐渐由4K转向8K，甚至12K、16K，对网络传输带宽要求较高。
为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，本申请实施例提供一种显示设备及全景视频图像显示方法。该方法根据片元的UV坐标从低清全视角图像和高清全视角图像中分别获取颜色值，根据片元的颜色值中的透明分量确定该片元的最终颜色值，从而渲染并显示全景视频图像。该方法可以准确显示由低清全角视频图像和高清全角视频图像拼接而成的全景视频图像，进而提升用户体验。
其中，低清全角视频图像的分辨率低于高清全景视频图像。本申请的实施例中，低清全视角视频图像也称为第一图像，低清全角视频图像可由高清全景视频图像降采样得到。高清全景视频图像划分为多个高清图像分块，用户视角对应的高清图像分块拼接成高清视频图像，高清视频图像也称为第二图像。高清全视角视频图像由光栅化生成的片元在第二图像中获取颜色值并设置对应片元的透明分量为不透明，以及设置未在第二图像中获取到颜色值的片元的颜色值为默认值并设置对应片元的透明分量为透明得到的，高清全视角视频图像也称为第三图像。
值得说明的是，本申请实施例中的方法可以适用于显示本地的全景视频图像，还可适用于显示在线(包括点播和直播两种模式)的全景视频图像。
为清楚描述本申请的实施例，对本申请中的名词进行解释。
三维渲染管线中，几何顶点被组合为图元，图元包括：点、线段、多边形。图元经光栅化之后输出片元序列。片元并不是真正意义上的像素，而是包含了很多状态的集合，这些状态用于计算每个像素的最终颜色。这些状态包括了(但不限于)片元的屏幕坐标，深度信息，以及其他从几何阶段输出的顶点信息，例如法线、纹理坐标等。
下面结合附图对本申请实施例进行详细描述。
图4中示例性示出了根据示例性实施例中显示设备200功能结构示意图。如图所示，包括图像获取模块401、图像生成模块402、颜色值获取模块403、显示模块404。
图像获取模块401，被配置为获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；
图像生成模块402，被配置为按照设定规则生成平面矩形网格，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块，第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在第二图像中的顶点UV坐标；对平面矩形网格进行光栅化生成各片元，并根据平面矩形网格中各网格顶点的UV坐标插值得到各片元的UV坐标；若根据第一片元的UV坐标在第二图像中获取到相应位置像素的颜色值，则将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，否则将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明，得到第三图像；第一片元为所述平面矩形网格内各片元中的任一个；
颜色值获取模块403，被配置为根据全景视频球面网格内第二片元的UV坐标，从第一图像中获取相应位置像素的第一颜色值、从第三图像中获取相应位置像素的第二颜色值，若第二颜色值中的透明分量被设置为不透明，则将第二片元的颜色值设置为第二颜色值，否则，将第二片元的颜色值设置为第一颜色值；其中，第二片元为全景视频球面网格内各片元中的任一个；
显示模块404，被配置为根据全景视频球面网格内各片元的颜色值，渲染并显示全景视频图像。
在本申请另一些实施例中颜色值获取模块403和显示模块404合并为渲染显示模块，渲染显示模块被配置为：生成第一全景视频球面网格和第二全景视频球面网格，根据第一全景视频球面网格内各片元的UV坐标从第一图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第一全景视频球面网格，得到并显示第一全景视频图像，根据第二全景视频球面网格内各片元的UV坐标从第三图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第二全景视频球面网格，得到并显示第二全景视频图像。
图5中示例性示出了本申请实施例提供的全景视频图像显示方法的流程示意图。该流程可由具有全景视频显示功能的显示设备执行，在显示设备的某一视角(也视为用户视角)下，正确拼接低清全视角视频图像以及高清全视角视频图像并显示。该流程可通过软件方式实现，也可通过软硬件结合的方式实现。如图所示，该流程包括以下几步：
S501：获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到。
该步骤中，可根据用户视角从服务器获取对应的高清图像分块列表，高清图像分块列表包括高清图像分块的标识(比如用于标识高清图像分块的分块编号)。高清全景视频图像可以被换分为多个高清图像分块，每个高清图像分块对应一个标识。本申请的实施例以高清全景视频图像划分为32个高清图像分块为例，如图6所示。其中，第一图像由高清全景视频图像降采样得到，减少了传输资源占用的带宽。
其中，不同显示设备的用户视角的确定方式不同。例如，针对VR头戴式显示设备，显示设备自身的软件开发工具包(Software Development Kit，SDK)实时提供位姿信息，根据位姿信息可得到当前用户的视角以及当前视角在球面的经纬度坐标，该经纬度坐标用以表示用户视角；针对手机等显示设备，一般通过内部的陀螺仪获取当前设备的位姿信息，根据位姿信息得到用户视角；针对智能电视等显示设备，一般通过遥控器等控制设备视角，比如根据遥控器的操作调整当前显示屏的视角。
获取到高清图像分块列表后，向服务器请求获取高清图像分块列表中各高清图像分块的图像数据。若每帧全景视频图像渲染时，视频处理器顺序解码各高清图像分块的图像数据，受解码能力的限制，全景视频图像无法按照原始的帧率显示。因此，可根据获取到的高清图像分块的图像数据，对相应的高清图像分块进行拼接，得到一个包含M＊N个高清图像分块的第二图像，其中，每个高清图像分块对应一个分块编号，M＊N分别为大于1的整数。
由于获取的高清图像分块的数量会随着用户视角的移动而变化，若根据用户视角获取到的高清图像分块的数量小于M＊N，则使用获取到的至少一个高清图像分块填充剩余区域，使得填充后的高清图像分块的数量等于M＊N。且获取的高清图像分块也会随着用户视角的移动而变化，由于网络等原因可能无法及时获取到高清图像分块并解码，第二图像中高清图像分块可能在空间上不一定连续排列，需记录获取的高清图像分块的位置信息。
本申请的实施例中，为计算方便，以设定第二图像包含3＊3个高清图像分块为例，图7示出了第二图像的组成，<0>～<8>分别表示高清图像分块的位置编号，若某一用户视角下获取的5个高清图像分块如图8所示，用粗虚线表示，对应的分块编号分别为10，12，18，19，20，且各高清图像分块在空间上不连续，可将高清图像分块10、12、20、18、19相邻拼接，并记录各高清图像分块在第二图像中的位置信息，并使用获取到的高清图像分块19进行填充，使得填充后的第二图像包含3＊3个高清图像分块，如图9所示。
值得说明的是，图7仅是一种示例，也可采用其他高清图像分块(如高清图像分块18)进行填充，对填充的次数不做限制性要求(比如可使用高清图像分块18和高清图像分块19进行填充)。
本申请的实施例中，获取第一图像，并根据用户视角获取对应的第二图像之后，还包括设置映射表，映射表用于记录高清全景视频图像中各高清图像分块在第二图像中的位置编号。其中，映射表中各元素的顺序对应各高清图像分块在高清全景视频图像中的分块编号顺序，映射表中的元素值为各高清图像分块在第二图像中的位置编号。对于存在于第二图像中的高清图像分块，其位置编号对应于图7示出的0～8编号；对于不存在于第二图像中高清图像分块，其位置编号设为-1。
以32个高清图像分块为例，得到的映射表为{-1，-1，-1，-1，-1，-1，-1，-1，-1，-1，0，-1，1，-1，-1，-1，-1，-1，3，4，2，-1，-1，-1，-1，-1，-1，-1，-1，-1，-1，-1}。
本申请的实施例中，基于映射表，根据各高清图像分块的四个顶点(按左上、左下、右下、右上的顺序)坐标建立坐标表。坐标表用于记录各高清图像分块的各个顶点在第二图像中的UV坐标。对于不存在于第二图像中的高清图像分块，其四个顶点的UV坐标全部设置为(-1.0，-1.0)。
以32个高清图像分块为例，得到的坐标表为{(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(0，1.0，)，(0，0.667)，(0.333，0.667)，(0.333，1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(0.333，1.0)，(0.333，0.667)，(0.667，0.667)，(0.667，1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(0，0.667)，(0.0.333)，(0.333，0.333)，(0.333，0.667)；(0.333，0.667)，(0.333，0.333)，(0.667，0.333)，(0.667，0.667)；(0.667，1.0)，(0.667，0.667)，(1.0，0.667)，(1.0，1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)；(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)，(-1.0，-1.0)}。
S502：按照设定规则生成平面矩形网格，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块。
该步骤中，按照设定规则生成一个包含多个子网格的平面矩形网格用于离屏渲染，其中，设定规则与高清全景视频图像划分为高清图像分块的规则一致，具体的，平面矩形网格的各子网格的经纬度跨度与高清全景视频图像的各高清图像分块的经纬度跨度相同。该平面矩形网格包括第一部分子网格和第二部分子网格，第一部分子网格对应于第一图像中的部分图像分块，第二部分子网格对应于第二图像中的高清图像分块，第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在所述第二图像中的顶点UV坐标。每个子网格由四个顶点(两个三角形)组成，每个子网格各顶点的UV坐标可根据坐标表得到。
以图6中高清全景视频图像分为32个高清图像分块为例，图10示例性示出了本申请实施例提供的平面矩形网格示意图。如图10所示，该平面矩形网格包括32个子网格，每个子网格由两个三角形组成每个子网格包含四个顶点数字0-31对应于图像分块的编号。其中，第二部分子网格对应与第二图像中的高清图像分块，其他子网格对应与第一图像中的部分低清图像分块。
生成平面矩形网格后，为每个子网格的各个顶点设置颜色值，每个颜色值包含红R、绿G、蓝B、Alpha四个分量。Alpha分量表示透明度，也称为透明分量，用A表示。其中，R、G、B分量均设置为默认值1.0，对应于第二图像中高清图像分块的子网格的各个顶点的颜色值的A分量设置为1.0，表示不透明，对应于第一图像中部分高清图像分块的子网格的各个顶点的颜色值的A分量设置为0，表示透明。
以图10为例，第1个子网格对应于高清全景视频图像中的分块编号为0的图像分块，其4个顶点的颜色值的A分量设置为0，第11个子网格对应于第二图像中的分块编号为10的高清图像分块，其4个顶点的颜色值的A分量设置为1.0。
S503：对平面矩形网格进行光栅化生成各片元，并根据平面矩形网格中各网格顶点的UV坐标插值得到各片元的UV坐标。
该步骤中，在顶点着色器之后，经光栅化操作生成各片元，各片元的UV坐标是根据坐标表中各顶点的UV坐标自动插值得到的。每个片元对应一个像素点，插值得到的每个片元包含UV坐标及颜色值。其中，由于第一部分子网格的各子网格的顶点的UV坐标均是(-1.0，-1.0)，故根据第一部分子网格的各子网格的顶点的UV坐标插值得到的片元的UV坐标均为(-1.0，-1.0)，可视为异常值，可设置UV坐标异常的片元的颜色值中的透明分量为透明，记为A的取值为0，以此消除异常坐标值的影响。而第二部分子网格中各子网格的顶点的UV坐标的取值范围为[0，1]，故根据第二部分子网格中各子网格的顶点的UV坐标插值得到的片元的UV坐标取值为正常值。
S504：判断根据第一片元的UV坐标在第二图像中是否获取到相应位置像素的颜色值，若是，则执行S505，否则执行S506；其中，第一片元为平面矩形网格内各片元中的任一个。
该步骤中，由于第一部分子网格的各子网格的顶点的UV坐标插值得到的片元的UV坐标取值异常，第二部分子网格的各子网格的顶点的UV坐标插值得到的片元的UV坐标取值在设定区间，因此插值得到各片元中存在UV坐标取值异常的第一片元，UV坐标取值异常的第一片元在第二图像中无法获取到相应位置像素的颜色值。其中，第一片元为平面矩形网格内各片元中的任一个。
S505：将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明。
该步骤中，在像素着色器(也称为片元着色器)中根据第一片元的UV坐标在第二图像中获取相应位置像素的颜色值，将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，记为A分量取值为1.0。
S506：将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明。
该步骤中，在像素着色器中根据第一片元的UV坐标未在第二图像中获取相应位置像素的颜色值，可将第一片元的颜色值设置为默认颜色值(即R、G、B分量取值为1.0)，并设置第一片元的颜色值中的透明分量为透明，记为A分量取值为0。
根据S505～S506得到第三图像。如图11所示。其中，第三图像的空间范围为经度0-360度，维度-90-90度。
在图11中，由于第一部分子网格内各片元的颜色值中的透明分量取值为0表示透明，故显示为空白区域，分块编号10、12、18、19、20对应于第二部分子网格，第二部分子网格内各片元的颜色值中的透明分量取值为1.0，表示不透明，显示从第二图像中获取的颜色值。
其中，平面矩形网格中每个子网格仅包含4个顶点，节省了创建平面矩形网格的开销，可实时进行离屏渲染。
S507：根据全景视频球面网格内第二片元的UV坐标，从第一图像中获取相应位置像素的第一颜色值、从第三图像中获取相应位置像素的第二颜色值。
该步骤中，创建一个球面网格作为全景视频图像播放显示的载体，顶点着色器从球面网格中获取各子网格顶点的三维坐标，经过光栅化操作生成片元序列，同时顶点的三维坐标经过自动插值计算出了片元的空间三维坐标。在像素着色器中，将第二片元的空间三维坐标转换为在全景视频图像球面网格上的经纬坐标，并根据转换后的第二片元在全景视频图像球面网格上的经纬坐标确定第二片元的UV坐标，第二片元的UV坐标可表示全景视频图像中的相应像素点的像素位置。其中，第二片元为全景视频球面网格内各片元中的任一个。
值得说明的是，本申请对S503～S507中着色器(包括顶点着色器和像素着色器)使用的编程语言不做限制性要求，可以包括开放图形库的着色器语言(Open GraphicsLibrary Shading Language，GLSL)、微软DirectX的着色器语言(High Level ShaderLanguage，HLSL)、由微软和英伟达共同提出的着色器语言(C for Graphics，CG)、Unity 3D的着色器语言(Unity 3D Shader Language)。
S508：判断第二颜色值中的透明分量是否被设置为不透明，若是，执行S509，否则执行S510。
该步骤中，若第二颜色值中的透明分量A取值为1.0，表示不透明。
S509：将第二片元的颜色值设置为第二颜色值。
该步骤中，第二颜色值中的透明分量A取值为1.0，表明第一片元对应于第三图像相应位置的像素，将从第三图像中获取到的第二颜色值作为第一片元的颜色值。
S510：将第二片元的颜色值设置为第一颜色值。
该步骤中，将从第一图像中获取到的第一颜色值作为第二片元的颜色值。
S511：根据全景视频球面网格内各片元的颜色值，渲染并显示全景视频图像。
该步骤中，全景视频图像中用户视角对应于区域由从第三图像中获取到的第二颜色值渲染而成的。
本申请的上述实施例中，获取由高清全景视频图像降采样得到第一图像和用户视角对应的高清图像分块拼接得到的第二图像，按照设定规则生成平面矩形网格，其中，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块，第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在所述第二图像中的顶点UV坐标；在顶点着色器后经光栅化操作生成各片元，各片元的UV坐标是根据平面矩形网格中各子网格顶点的UV坐标插值得到的；根据第一片元UV坐标在第二图像中获取相应位置像素的颜色值，若获取到颜色值，则将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明，记为A分量取值为1.0，否则将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明，记为A分量取值为0，得到第三图像，第一片元为平面矩形网格内各片元中的任一个；根据全景视频球面网格内的第二片元的UV坐标，从第一图像、第三图像中获取第一颜色值和第二颜色值，若第二片元的颜色值中的透明分量被设置为不透明(即A分量取值为1.0)，则确定第二片元的颜色值为第二颜色值，否则确定第二片元的颜色值为第一颜色值，第二片元为全景视频球面网格内各片元中的任一个；根据全景视频球面网格内各片元的颜色值，渲染并显示全景视频图像。其中，第一图像为低清全视角视频图像，第三图像为高清全视角图像。本申请的实施例可以准确显示由低清全角视频图像和高清全角视频图像拼接而成的全景视频图像，进而提升用户感受。
图12中示例性示出了本申请实施例提供的另一种全景视频图像显示方法的流程示意图。如图所示，该流程包括以下几步：
S1201：获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到。
S1202：按照设定规则生成平面矩形网格，平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，第二部分子网格对应第二图像中的高清图像分块。
S1203：对平面矩形网格进行光栅化生成各片元，并根据平面矩形网格中各网格顶点的UV坐标插值得到各片元的UV坐标。
S1204：判断根据第一片元的UV坐标在第二图像中是否获取到相应位置像素的颜色值，若是，则执行S1205，否则执行S1206；其中，第一片元为平面矩形网格内各片元中的任一个。
S1205：将第一片元的颜色值设置为获取到的颜色值，并设置第一片元的颜色值中的透明分量为不透明。
S1206：将第一片元的颜色值设置为默认颜色值，并设置第一片元的颜色值中的透明分量为透明。
根据S1205～S1206得到第三图像。
S1207：生成第一全景视频球面网格和第二全景视频球面网格，根据第一全景视频球面网格内各片元的UV坐标从第一图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第一全景视频球面网格，得到并显示第一全景视频图像，根据第二全景视频球面网格内各片元的UV坐标从第三图像中获取相应位置像素的颜色值，根据获取到的颜色值渲染第二全景视频球面网格，得到并显示第二全景视频图像。
该步骤中，在顶点着色器中生成半径相同的第一全景视频球面网格和第二全景视频球面网格。在像素着色器中先对第一全景视频球面网格进行渲染，再对第二全景视频球面网格进行渲染。具体的，在像素着色器中开启透明度混合，首先根据第一全景视频球面网格内各片元的UV坐标从第一图像中获取相应位置像素的颜色值，对第一全景视频球面网格进行渲染，得到第一全景视频图像并显示；再根据第二全景视频球面网格内各片元的UV坐标从第三图像中获取相应位置像素的颜色值，对第二全景视频球面网格进行渲染，得到第二全景视频图像并显示。由于第三图像部分图像分块中像素点的颜色值的透明分量取值为0，呈透明状态，因此第二全景视频图像非高清图像分块所在的区域也呈透明状态。将第二全景视频图像置于第一全景视频图像的正上方，使得第一全景视频图像中对应于第二全景视频图像中非高清图像分块所在的区域可以透过第二全景视频图像进行显示。
本申请的另一些实施例中，在S1207中，生成的第一全景视频球面网格和第二全景视频球面网格的半径不同，具体的，第一全景视频球面网格的半径为a，第二全景视频球面网格的半径为b，δ＞a-b＞0，δ＞0。因此，从球心的位置看第二全景视频球面网格的渲染结果可以遮挡住第一全景视频球面网格的渲染结果，透过第二全景视频图像中透明区域可以看到第一全景视频图像，对第一全景视频球面网格和第二全景视频球面网格的渲染的方式与S1207中的渲染方式相同，但对第一全景视频球面网格和第二全景视频球面网格的渲染顺序不做限制性要求，可先渲染第二全景视频球面网格再渲染第一全景视频球面网格，也可对第一全景视频球面网格和第二全景视频球面网格同时进行渲染。
值得说明的是，步骤S1201～S1206与S501～S506的过程描述一致，在此不再重复。
本申请的上述实施例中，无需在像素着色器中进行透明分量的取值判断，使得图形处理器可以并行渲染第一全景视频球面网格和第二全景视频球面网格，提高了全景视频图像的显示效率。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (9)

1.一种显示设备，其特征在于，包括：
显示器，与图形处理器连接，被配置为显示全景视频图像；
存储器，与所述图形处理器连接，被配置为存储计算机指令；
所述图形处理器，被配置为根据所述计算机指令执行以下操作：
获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为高清视频图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；
按照设定规则生成平面矩形网格，所述平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，所述第二部分子网格对应所述第二图像中的高清图像分块，所述第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在所述第二图像中的顶点UV坐标；
对所述平面矩形网格进行光栅化生成各第一片元，并根据所述平面矩形网格中各网格顶点的UV坐标插值得到各第一片元的UV坐标；
针对每一个第一片元，若根据所述第一片元的UV坐标在所述第二图像中获取到相应位置像素的颜色值，则将所述第一片元的颜色值设置为获取到的颜色值，并设置所述第一片元的颜色值中的透明分量为不透明，否则将所述第一片元的颜色值设置为默认颜色值，并设置所述第一片元的颜色值中的透明分量为透明，得到第三图像；
对创建的全景视频球面网格进行光栅化生成各第二片元，并对所述全景视频球面网格中各网格顶点的空间三维坐标经插值后，获得各第二片元的空间三维坐标，所述全景视频球面网格作为全景视频图像播放显示的载体；
针对每一个第二片元，将所述第二片元的空间三维坐标转换为所述第二片元在所述全景视频球面网格上的经纬坐标，并根据所述第二片元在所述全景视频球面网格上的经纬坐标确定所述第二片元的UV坐标；
根据所述第二片元的UV坐标，从所述第一图像中获取相应位置像素的第一颜色值、从所述第三图像中获取相应位置像素的第二颜色值，若所述第二颜色值中的透明分量被设置为不透明，则将所述第二片元的颜色值设置为所述第二颜色值，否则，将所述第二片元的颜色值设置为所述第一颜色值；
根据所述全景视频球面网格内第二各片元的颜色值，渲染并显示全景视频图像。
2.如权利要求1所述的显示设备，其特征在于，所述图形处理器根据用户视角获取对应的第二图像，具体被配置为：
根据用户视角获取对应的高清图像分块列表，所述高清图像分块列表包括高清图像分块的标识信息；
向服务器请求获取所述高清图像分块列表中各高清图像分块的图像数据；
根据获取到的高清图像分块的图像数据，对相应的高清图像分块进行拼接，得到所述第二图像。
3.如权利要求1所述的显示设备，其特征在于，所述图形处理器根据用户视角获取对应的第二图像后，还被配置为：
根据所述高清全景视频图像中各高清图像分块在所述第二图像中的位置信息设置映射表，所述映射表包括所述高清全景视频图像中各高清图像分块与第二图像中各高清图像分块间的对应位置关系。
4.一种显示设备，其特征在于，包括：
显示器，与图形处理器连接，被配置为显示全景视频图像；
存储器，与所述图形处理器连接，被配置为存储计算机指令；
所述图形处理器，被配置为根据所述计算机指令执行以下操作：
获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为高清视频图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；
按照设定规则生成平面矩形网格，所述平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，所述第二部分子网格对应所述第二图像中的高清图像分块，所述第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在所述第二图像中的顶点UV坐标；
对所述平面矩形网格进行光栅化生成各第一片元，并根据所述平面矩形网格中各网格顶点的UV坐标插值得到各第一片元的UV坐标；
针对每一个第一片元，若根据所述第一片元的UV坐标在所述第二图像中获取到相应位置像素的颜色值，则将所述第一片元的颜色值设置为获取到的颜色值，并设置所述第一片元的颜色值中的透明分量为不透明，否则将所述第一片元的颜色值设置为默认颜色值，并设置所述第一片元的颜色值中的透明分量为透明，得到第三图像；
生成第一全景视频球面网格和第二全景视频球面网格，分别对所述第一全景视频球面网格和所述第二全景视频球面网格进行光栅化生成各第二片元，并分别对所述第一全景视频球面网格和所述第二全景视频球面网格中各网格顶点的空间三维坐标经插值后，获得两个全景视频球面网格各自对应的各第二片元的空间三维坐标；
针对所述第一全景视频球面网格内的每一个第二片元，根据所述第二片元的UV坐标从所述第一图像中获取相应位置像素的颜色值，并根据获取到的颜色值渲染所述第一全景视频球面网格，得到并显示第一全景视频图像；
针对所述第二全景视频球面网格内的每一个第二片元，根据所述第二片元的UV坐标从所述第三图像中获取相应位置像素的颜色值，并根据获取到的颜色值渲染所述第二全景视频球面网格，得到并显示第二全景视频图像，其中，所述第一全景视频图像中对应于所述第二全景视频图像中非高清图像分块所在的区域透过所述第二全景视频图像进行显示。
5.如权利要求4所述的显示设备，其特征在于，所述第一全景视频球面网格的半径大于所述第二全景视频球面网格的半径，或者
所述第一全景视频球面网格的半径等于所述第二全景视频球面网格的半径，且所述第一全景视频球面网格的渲染先于所述第二全景视频球面网格的渲染。
6.一种全景视频图像显示方法，其特征在于，包括：
获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为高清视频图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；
按照设定规则生成平面矩形网格，所述平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，所述第二部分子网格对应所述第二图像中的高清图像分块，所述第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在所述第二图像中的顶点UV坐标；
对所述平面矩形网格进行光栅化生成各第一片元，并根据所述平面矩形网格中各网格顶点的UV坐标插值得到各第一片元的UV坐标；
针对每一个第一片元，若根据所述第一片元的UV坐标在所述第二图像中获取到相应位置像素的颜色值，则将所述第一片元的颜色值设置为获取到的颜色值，并设置所述第一片元的颜色值中的透明分量为不透明，否则将所述第一片元的颜色值设置为默认颜色值，并设置所述第一片元的颜色值中的透明分量为透明，得到第三图像；
对创建的全景视频球面网格进行光栅化生成各第二片元，并对所述全景视频球面网格中各网格顶点的空间三维坐标经插值后，获得各第二片元的空间三维坐标，所述全景视频球面网格作为全景视频图像播放显示的载体；
针对每一个第二片元，将所述第二片元的空间三维坐标转换为所述第二片元在所述全景视频球面网格上的经纬坐标，并根据所述第二片元在所述全景视频球面网格上的经纬坐标确定所述第二片元的UV坐标；
根据所述第二片元的UV坐标，从所述第一图像中获取相应位置像素的第一颜色值、从所述第三图像中获取相应位置像素的第二颜色值，若所述第二颜色值中的透明分量被设置为不透明，则将所述第二片元的颜色值设置为所述第二颜色值，否则，将所述第二片元的颜色值设置为所述第一颜色值；
根据所述全景视频球面网格内各第二片元的颜色值，渲染并显示全景视频图像。
7.一种全景视频图像显示方法，其特征在于，包括：
获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为高清视频图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；
按照设定规则生成平面矩形网格，所述平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，所述第二部分子网格对应所述第二图像中的高清图像分块，所述第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在所述第二图像中的顶点UV坐标；
对所述平面矩形网格进行光栅化生成各第一片元，并根据所述平面矩形网格中各网格顶点的UV坐标插值得到各第一片元的UV坐标；
针对每一个第一片元，若根据第一片元的UV坐标在所述第二图像中获取到相应位置像素的颜色值，则将所述第一片元的颜色值设置为获取到的颜色值，并设置所述第一片元的颜色值中的透明分量为不透明，否则将所述第一片元的颜色值设置为默认颜色值，并设置所述第一片元的颜色值中的透明分量为透明，得到第三图像；
生成第一全景视频球面网格和第二全景视频球面网格，分别对所述第一全景视频球面网格和所述第二全景视频球面网格进行光栅化生成各第二片元，并分别对所述第一全景视频球面网格和所述第二全景视频球面网格中各网格顶点的空间三维坐标经插值后，获得两个全景视频球面网格各自对应的各第二片元的空间三维坐标；
针对所述第一全景视频球面网格内的每一个第二片元，根据所述第二片元的UV坐标从所述第一图像中获取相应位置像素的颜色值，并根据获取到的颜色值渲染所述第一全景视频球面网格，得到并显示第一全景视频图像；
针对所述第二全景视频球面网格内的每一个第二片元，根据所述第二片元的UV坐标从所述第三图像中获取相应位置像素的颜色值，并根据获取到的颜色值渲染所述第二全景视频球面网格，得到并显示第二全景视频图像，其中，所述第一全景视频图像中对应于所述第二全景视频图像中非高清图像分块所在的区域透过所述第二全景视频图像进行显示。
8.一种显示设备，其特征在于，包括：
图像获取模块，被配置为获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为高清视频图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；
图像生成模块，被配置为按照设定规则生成平面矩形网格，所述平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，所述第二部分子网格对应所述第二图像中的高清图像分块所述第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在所述第二图像中的顶点UV坐标；对所述平面矩形网格进行光栅化生成各第一片元，并根据所述平面矩形网格中各网格顶点的UV坐标插值得到各第一片元的UV坐标；针对每一个第一片元，若根据所述第一片元的UV坐标在所述第二图像中获取到相应位置像素的颜色值，则将所述第一片元的颜色值设置为获取到的颜色值，并设置所述第一片元的颜色值中的透明分量为不透明，否则将所述第一片元的颜色值设置为默认颜色值，并设置所述第一片元的颜色值中的透明分量为透明，得到第三图像；
颜色值获取模块，被配置为对创建的全景视频球面网格进行光栅化生成各第二片元，并对所述全景视频球面网格中各网格顶点的空间三维坐标经插值后，获得各第二片元的空间三维坐标，所述全景视频球面网格作为全景视频图像播放显示的载体；针对每一个第二片元，将所述第二片元的空间三维坐标转换为所述第二片元在所述全景视频球面网格上的经纬坐标，并根据所述第二片元在所述全景视频球面网格上的经纬坐标确定所述第二片元的UV坐标；根据所述第二片元的UV坐标，从所述第一图像中获取相应位置像素的第一颜色值、从所述第三图像中获取相应位置像素的第二颜色值，若所述第二颜色值中的透明分量被设置为不透明，则将所述第一片元的颜色值设置为所述第二颜色值，否则，将所述第二片元的颜色值设置为所述第一颜色值；
显示模块，被配置为根据所述全景视频球面网格内各第二片元的颜色值，渲染并显示全景视频图像。
9.一种显示设备，其特征在于，包括：
图像获取模块，被配置为获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为全景视频图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；
图像生成模块，被配置为按照设定规则生成平面矩形网格，所述平面矩形网格中的子网格包括第一部分子网格和第二部分子网格，所述第二部分子网格对应所述第二图像中的高清图像分块所述第二部分子网格中各子网格的顶点UV坐标等于对应的高清图像分块在所述第二图像中的顶点UV坐标；对所述平面矩形网格进行光栅化生成各第一片元，并根据所述平面矩形网格中各网格顶点的UV坐标插值得到各第一片元的UV坐标二针对每一个第一片元，若根据所述第一片元的UV坐标在所述第二图像中获取到相应位置像素的颜色值，则将所述第一片元的颜色值设置为获取到的颜色值，并设置所述第一片元的颜色值中的透明分量为不透明，否则，将所述第一片元的颜色值设置为默认颜色值，并设置所述第一片元的颜色值中的透明分量为透明，得到第三图像；
渲染显示模块，被配置为生成第一全景视频球面网格和第二全景视频球面网格，分别对所述第一全景视频球面网格和所述第二全景视频球面网格进行光栅化生成各第二片元，并分别对所述第一全景视频球面网格和所述第二全景视频球面网格中各网格顶点的空间三维坐标经插值后，获得两个全景视频球面网格各自对应的各第二片元的空间三维坐标；针对所述第一全景视频球面网格内的每一个第二片元，根据所述第二片元的UV坐标从所述第一图像中获取相应位置像素的颜色值，并根据获取到的颜色值渲染所述第一全景视频球面网格，得到并显示第一全景视频图像；针对所述第二全景视频球面网格内的每一个第二片元，根据所述第二片元的UV坐标从所述第三图像中获取相应位置像素的颜色值，并根据获取到的颜色值渲染所述第二全景视频球面网格，得到并显示第二全景视频图像，其中，所述第一全景视频图像中对应于所述第二全景视频图像中非高清图像分块所在的区域透过所述第二全景视频图像进行显示。
CN202010930484.5A 2020-09-07 2020-09-07 一种全景视频图像显示方法及显示设备 Active CN112218132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010930484.5A CN112218132B (zh) 2020-09-07 2020-09-07 一种全景视频图像显示方法及显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010930484.5A CN112218132B (zh) 2020-09-07 2020-09-07 一种全景视频图像显示方法及显示设备

Publications (2)

Publication Number Publication Date
CN112218132A CN112218132A (zh) 2021-01-12
CN112218132B true CN112218132B (zh) 2022-06-10

Family

ID=74049388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010930484.5A Active CN112218132B (zh) 2020-09-07 2020-09-07 一种全景视频图像显示方法及显示设备

Country Status (1)

Country Link
CN (1) CN112218132B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093903B (zh) * 2021-03-18 2023-02-07 聚好看科技股份有限公司 一种图像显示方法及显示设备
CN113286138A (zh) * 2021-05-17 2021-08-20 聚好看科技股份有限公司 一种全景视频显示方法及显示设备
US20230107834A1 (en) * 2021-10-04 2023-04-06 Tencent America LLC Method and apparatus of adaptive sampling for mesh compression by encoders

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488977A (zh) * 2019-08-21 2019-11-22 京东方科技集团股份有限公司 虚拟现实显示方法、装置、系统及存储介质
CN110832442A (zh) * 2017-06-09 2020-02-21 索尼互动娱乐股份有限公司 注视点渲染系统中的优化的阴影和自适应网状蒙皮
CN111147890A (zh) * 2018-11-05 2020-05-12 上海慧流文化传播有限公司 Vr虚拟技术展示转码器的工作方法
CN111212293A (zh) * 2020-01-13 2020-05-29 聚好看科技股份有限公司 一种图像处理方法及显示设备
CN111447461A (zh) * 2020-05-20 2020-07-24 上海科技大学 多视角直播视频的同步切换方法、装置、设备和介质
AU2020101435A4 (en) * 2020-07-21 2020-08-27 Southwest University A panoramic vision system based on the uav platform

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3259739A4 (en) * 2015-02-17 2018-08-29 NEXTVR Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US20170038942A1 (en) * 2015-08-07 2017-02-09 Vrideo Playback initialization tool for panoramic videos
US10733786B2 (en) * 2018-07-20 2020-08-04 Facebook, Inc. Rendering 360 depth content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832442A (zh) * 2017-06-09 2020-02-21 索尼互动娱乐股份有限公司 注视点渲染系统中的优化的阴影和自适应网状蒙皮
CN111147890A (zh) * 2018-11-05 2020-05-12 上海慧流文化传播有限公司 Vr虚拟技术展示转码器的工作方法
CN110488977A (zh) * 2019-08-21 2019-11-22 京东方科技集团股份有限公司 虚拟现实显示方法、装置、系统及存储介质
CN111212293A (zh) * 2020-01-13 2020-05-29 聚好看科技股份有限公司 一种图像处理方法及显示设备
CN111447461A (zh) * 2020-05-20 2020-07-24 上海科技大学 多视角直播视频的同步切换方法、装置、设备和介质
AU2020101435A4 (en) * 2020-07-21 2020-08-27 Southwest University A panoramic vision system based on the uav platform

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于OpenGL的交互式全景视频显示系统;周凡等;《液晶与显示》;20180915(第09期);96-103 *

Also Published As

Publication number Publication date
CN112218132A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112218132B (zh) 一种全景视频图像显示方法及显示设备
CN112672131B (zh) 一种全景视频图像显示方法及显示设备
KR102474088B1 (ko) 이미지를 합성하기 위한 방법 및 디바이스
CN112367479B (zh) 一种全景视频图像显示方法及显示设备
CN113206992A (zh) 一种转换全景视频投影格式的方法及显示设备
CN112073788B (zh) 视频数据处理方法、装置及显示设备
CN108174174A (zh) Vr视频显示方法、装置及终端
CN114500970B (zh) 一种全景视频图像处理、显示方法及设备
CN111930233B (zh) 一种全景视频图像显示方法及显示设备
CN111212293A (zh) 一种图像处理方法及显示设备
CN112055256A (zh) 一种全景图像的图像处理方法及显示设备
CN114245090A (zh) 图像投影方法、激光投影设备及计算机可读存储介质
EP3236423A1 (en) Method and device for compositing an image
CN113242384A (zh) 一种全景视频显示方法及显示设备
CN112532962A (zh) 一种全景视频字幕显示方法及显示设备
CN114466176B (zh) 一种全景视频显示方法及显示设备
CN111314739B (zh) 一种图像处理方法、服务器及显示设备
WO2018069215A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format
CN112565736A (zh) 一种全景视频显示方法及显示设备
CN113587812B (zh) 显示设备、测量方法及装置
CN112235562B (zh) 一种3d显示终端、控制器及图像处理方法
US11483512B2 (en) Display apparatus and operation method thereof
US20240177354A1 (en) 3d object streaming method, device, and non-transitory computer-readable recording medium
EP3310052A1 (en) Method, apparatus and stream for immersive video format
EP3310057A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant