CN111277911B - 一种全景视频的图像处理方法、显示设备及服务器 - Google Patents

一种全景视频的图像处理方法、显示设备及服务器 Download PDF

Info

Publication number
CN111277911B
CN111277911B CN202010027709.6A CN202010027709A CN111277911B CN 111277911 B CN111277911 B CN 111277911B CN 202010027709 A CN202010027709 A CN 202010027709A CN 111277911 B CN111277911 B CN 111277911B
Authority
CN
China
Prior art keywords
video
replacement
video block
display device
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010027709.6A
Other languages
English (en)
Other versions
CN111277911A (zh
Inventor
任子健
史东平
国廷峰
吴连朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202010027709.6A priority Critical patent/CN111277911B/zh
Publication of CN111277911A publication Critical patent/CN111277911A/zh
Application granted granted Critical
Publication of CN111277911B publication Critical patent/CN111277911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Abstract

本申请实施例提供一种全景视频的图像处理方法、显示设备及服务器，显示设备向服务器发送的播放请求；以使得所述服务器发送播放请求对应的第一视频块至显示设备；所述显示设备还加载所述第一视频块，响应于缺失视频块无法被加载，所述显示设备还发送一替换请求至服务器；显示设备还在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频；所述显示设备还将已加载的所述第一视频块和所述目标视频进行拼接。可见采用本申请实施例示出的技术方案在全景视频FOV传输技术方案中某空间区域的视频块数据缺失，本申请实施例示出技术方案可以在数据缺失时自动寻找替代数据进行嵌套拼接，有效保证全景视频播放的完整性和稳定性，提升全景视频显示效果。

Description

一种全景视频的图像处理方法、显示设备及服务器
技术领域
本申请涉及显示设备技术领域，尤其涉及一种全景视频的图像处理方法、显示设备及服务器。
背景技术
全景视频是基于360度全景图像而发展延伸而来的一种新型的多媒体形式，它通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般是使用专业的全景摄像机进行全方位360度拍摄拼接而成，使用软件将各个方位的视频图像进行拼合，然后使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度全包围的空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式与视频内容进行互动，从而得到身临其境般的体验。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制信令等多种数据类型，具有多样化的QoS(Quality of Service)需求。
近年来，为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，在全景视频传输方面多采用FOV传输方案。FOV传输方案是基于视角进行有差别传输全景视频画面的方案，主要关注当前视角区域画面的高质量传输,实现上一般对全景视频在空间进行分割，再执行多码率编码生成若干视频流，显示设备根据用户视点位置而传输相应块的视频流，最后显示设备解码视频流合并块呈现给用户。FOV传输方案由于对带宽要求低，策略灵活，是学术界较为关注的方向。由于FOV传输方案将全景视频切割为若干块，因此在全景视频播放时需要同时加载多路码流，当由于网络、服务器等原因导致某空间区域的视频块数据无法正常加载时，会造成播放的卡顿、黑块等现象，极大的降低用户体验。
发明内容
本申请的目的在于提供一种全景视频的图像处理方法、显示设备及服务器，以解决现有技术存在的问题。
本申请实施例第一方面示出一种全景视频的图像处理方法，所述方法应用于显示设备端，包括：
所述显示设备被配置为向服务器发送的播放请求；以使得所述服务器发送所述播放请求对应的第一视频块至显示设备；
所述显示设备还被配置为加载所述第一视频块，响应于所述缺失视频块无法被加载，所述显示设备还被配置为发送一替换请求至服务器，以使得所述服务器发送所述替换请求相对应的替换视频块至显示设备；其中，所述缺失视频块为无法被加载的第一视频块；
所述显示设备还被配置为在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频；
所述显示设备还被配置为将已加载的所述第一视频块和所述目标视频进行拼接。
本申请实施例第二方面示出一种全景视频的图像处理方法，所述方法应用于服务器端，包括：
所述服务器被配置为接收显示设备发送的播放请求；
所述服务器还被配置为发送所述播放请求对应的第一视频块至显示设备，以使得显示设备加载所述第一视频块，响应于所述缺失视频块无法被加载，显示设备发送一替换请求至服务器，其中，所述缺失视频块为无法被加载的第一视频块，所述替换请求携带有所述缺失视频块对应的位置信息；
响应于接收到显示设备发送的替换请求，所述服务器被配置为筛选出与所述替换请求对应的替换视频块；
所述服务器被配置为发送所述替换视频块至显示设备。
本申请实施例第三方面示出一种显示设备，包括：
发送单元被配置为向服务器发送的播放请求；以使得所述服务器发送所述播放请求对应的第一视频块至显示设备；
加载单元被配置为加载所述第一视频块，响应于所述缺失视频块无法被加载，所述显示设备还被配置为发送一替换请求至服务器，以使得所述服务器发送所述替换请求相对应的替换视频块至显示设备；其中，所述缺失视频块为无法被加载的第一视频块；
筛选单元被配置为在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频；
拼接单元被配置为将已加载的所述第一视频块和所述目标视频进行拼接。
本申请实施例第四方面示出一种服务器，包括：
接收单元被配置为接收显示设备发送的播放请求；
第一发送单元被配置为发送所述播放请求对应的第一视频块至显示设备，以使得显示设备加载所述第一视频块，响应于所述缺失视频块无法被加载，显示设备发送一替换请求至服务器，其中，所述缺失视频块为无法被加载的第一视频块，所述替换请求携带有所述缺失视频块对应的位置信息；
筛选单元被配置为响应于接收到显示设备发送的替换请求，筛选出与所述位置信息对应的替换视频块；
第二发送单元被配置为发送所述替换视频块至显示设备。
由以上技术方案可以看出本申请实施例提供一种全景视频的图像处理方法、显示设备及服务器，其中，所述显示设备被配置为向服务器发送的播放请求；以使得所述服务器发送所述播放请求对应的第一视频块至显示设备；所述显示设备还被配置为加载所述第一视频块，响应于所述缺失视频块无法被加载，所述显示设备还被配置为发送一替换请求至服务器，以使得所述服务器发送所述替换请求相对应的替换视频块至显示设备；其中，所述缺失视频块为无法被加载的第一视频块；所述显示设备还被配置为在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频；所述显示设备还被配置为将已加载的所述第一视频块和所述目标视频进行拼接。可见采用本申请实施例示出的技术方案在全景视频FOV传输技术方案中，由于网络、服务器等各种原因可能导致某空间区域的视频块数据缺失，本申请实施例示出技术方案可以在数据缺失时自动寻找替代数据进行嵌套拼接，从而有效保证全景视频播放的完整性和稳定性，提升全景视频整体显示效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例示出的显示设备与控制装置之间操作场景的示意图；
图2为本申请实施例示出的图1中控制装置100的硬件配置框图；
图3为本申请实施例示出的图1中显示设备200的硬件配置框图；
图4为本申请实施例示出的显示设备200存储器中操作系统的架构配置框图；
图5根据一优选实施例示出的一种全景视频的图像处理方法的流程图；
图6根据一优选实施例示出的l个全景视频的分块示意图；
图7为根据一优选实施例示出的采样视频集合的示意图；
图8a为根据一优选实施例示出的采样视频示意图；
图8b为根据一优选实施例示出的采样视频示意图；
图9根据一优选实施例示出的一种全景视频的图像处理方法的流程图；
图10为根据一优选实施例示出的替换视频块的示意图；
图11为根据一优选实施例示出的显示设备的示意图；
图12为根据一优选实施例示出的服务器的示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1中示例性示出了显示设备与控制装置之间操作场景的示意图。如图1所示，控制装置100和显示设备200之间可以有线或无线方式进行通信。
其中，控制装置100被配置为控制显示设备200，其可接收用户输入的操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起着用户与显示设备200之间交互的中介作用。如：用户通过操作控制装置100上频道加减键，显示设备200响应频道加减的操作。
控制装置100可以是遥控器100A，包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
控制装置100也可以是智能设备，如移动显示设备100B、平板电脑、计算机、笔记本电脑等。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，通过直观的用户界面(User Interface，UI)为用户提供各种控制。
示例性的，移动显示设备100B可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以使移动显示设备100B与显示设备200建立控制指令协议，通过操作移动显示设备100B上提供的用户界面的各种功能键或虚拟按钮，来实现如遥控器100A布置的实体按键的功能。也可以将移动显示设备100B上显示的音视频内容传输到显示设备200上，实现同步显示功能。
显示设备200可提供广播接收功能和计算机支持功能的网络电视功能。显示设备可以实施为，数字电视、网络电视、互联网协议电视(IPTV)等。
显示设备200，可以是液晶显示器、有机发光显示器、投影设备。具体显示设备类型、尺寸大小和分辨率等不作限定。
显示设备200还与服务器300通过多种通信方式进行数据通信。这里可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器300可以向显示设备200提供各种内容和互动。示例的，显示设备200可以发送和接收信息，例如：接收电子节目指南(Electronic Program Guide，EPG)数据、接收软件程序更新、或访问远程储存的数字媒体库。服务器300可以一组，也可以多组，可以一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
图2中示例性示出了控制装置100的配置框图。如图2所示，控制装置100包括控制器110、存储器120、通信器130、用户输入接口140、输出接口150、供电电源160。
控制器110包括RAM(Random Access Memory，随机存取存储器)111、ROM(Read-Only Memory，只读存储器)112、处理器113、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。
示例性的，当检测到用户按压在遥控器100A上布置的按键的交互或触摸在遥控器100A上布置的触摸面板的交互时，控制器110可控制产生与检测到的交互相应的信号，并将该信号发送到显示设备200。
存储器120，用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器120，可以存储用户输入的各类控制信号指令。
通信器130在控制器110的控制下，实现与显示设备200之间控制信号和数据信号的通信。如：控制装置100经由通信器130将控制信号(例如触摸信号或按钮信号)发送至显示设备200上，控制装置100可经由通信器130接收由显示设备200发送的信号。通信器130可以包括红外模块131(红外信号接口)、射频信号接口132和蓝牙模块133。例如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备200。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备200。
用户输入接口140，可包括麦克风141、触摸板142、传感器143、按键144等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制显示设备200的用户指令输入到控制装置100。
输出接口150，通过将用户输入接口140接收的用户指令输出至显示设备200，或者，输出由显示设备200接收的图像或语音信号。这里，输出接口150可以包括LED接口151、产生振动的振动接口152、输出声音的声音输出接口153和输出图像的显示器154等。例如，遥控器100A可从输出接口150接收音频、视频或数据等输出信号，并且将输出信号在显示器154上显示为图像形式、在声音输出接口153输出为音频形式或在振动接口152输出为振动形式。
供电电源160，用于在控制器110的控制下为控制装置100各元件提供运行电力支持。形式可以为电池及相关控制电路。
图3中示例性示出了显示设备200的硬件配置框图。如图3所示，显示设备200中可以包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、存储器260、用户接口265、视频处理器270、显示器275、音频处理器280、音频输出接口285、供电电源290。
调谐解调器210，通过有线或无线方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，用于从多个无线或有线广播电视信号中解调出用户所选择的电视频道的频率中所携带的音视频信号，以及附加信息(例如EPG数据)。
调谐解调器210，可根据用户选择，以及由控制器250控制，响应用户选择的电视频道的频率以及该频率所携带的电视信号。
调谐解调器210，根据电视信号的广播制式不同，可以接收信号的途径有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，可以数字调制方式或模拟调制方式；以及根据接收电视信号的种类不同，可以解调模拟信号和数字信号。
在其他一些示例性实施例中，调谐解调器210也可在外部设备中，如外部机顶盒等。这样，机顶盒通过调制解调后输出电视信号，经过外部装置接口240输入至显示设备200中。
通信器220，是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如显示设备200可将内容数据发送至经由通信器220连接的外部设备，或者，从经由通信器220连接的外部设备浏览和下载内容数据。通信器220可以包括WIFI模块221、蓝牙模块222、有线以太网模块223等网络通信协议模块或近场通信协议模块，从而通信器220可根据控制器250的控制接收控制装置100的控制信号，并将控制信号实现为WIFI信号、蓝牙信号、射频信号等。
检测器230，是显示设备200用于采集外部环境或与外部交互的信号的组件。检测器230可以包括声音采集器231，如麦克风，可以用于接收用户的声音，如用户控制显示设备200的控制指令的语音信号；或者，可以采集用于识别环境场景类型的环境声音，实现显示设备200可以自适应环境噪声。
在其他一些示例性实施例中，检测器230，还可以包括图像采集器232，如相机、摄像头等，可以用于采集外部环境场景，以自适应变化显示设备200的显示参数；以及用于采集用户的属性或与用户交互手势，以实现显示设备与用户之间互动的功能。
在其他一些示例性实施例中，检测器230，还可以包括光接收器(图中未示出)，用于采集环境光线强度，以自适应显示设备200的显示参数变化等。
在其他一些示例性实施例中，检测器230，还可以包括温度传感器(图中未示出)，如通过感测环境温度，显示设备200可自适应调整图像的显示色温。示例性的，当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调；当温度偏低的环境时，可以调整显示设备200显示图像色温偏暖色调。
外部装置接口240，是提供控制器250控制显示设备200与外部设备间数据传输的组件。外部装置接口240可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
其中，外部装置接口240可以包括：HDMI(High Definition MultimediaInterface，高清多媒体接口)端子241、CVBS(Composite Video Blanking and Sync，复合视频消隐同步)端子242、分量(模拟或数字)端子243、USB(Universal Serial Bus，通用串行总线)端子244、组件(Component)端子(图中未示出)、红绿蓝(RGB)端子(图中未示出)等任一个或多个。
控制器250，通过运行存储在存储器260上的各种软件控制程序(如操作系统和各种应用程序)，来控制显示设备200的工作和响应用户的操作。
如图3所示，控制器250包括RAM(随机存取存储器)251、ROM(只读存储器)252、图像处理器253、CPU处理器254、通信接口255以及通信总线256。其中，RAM251、ROM252以及图像处理器253、CPU处理器254和通信接口255通过通信总线256相连接。
ROM252，用于存储各种系统启动指令。如在接收到开机信号时，显示设备200电源开始启动，CPU处理器254运行ROM252中的系统启动指令，将存储在存储器260的操作系统拷贝至RAM251中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器254再将存储器260中各种应用程序拷贝至RAM251中，然后，开始运行启动各种应用程序。
图像处理器253，用于产生各种图形对象，如图标、操作菜单、以及用户输入指令显示图形等。图像处理器253可以包括运算器，用于通过接收用户输入各种交互指令进行运算，进而根据显示属性显示各种对象；以及包括渲染器，用于产生基于运算器得到的各种对象，将进行渲染的结果显示在显示器275上。
CPU处理器254，用于执行存储在存储器260中的操作系统和应用程序指令。以及根据接收的用户输入指令，来执行各种应用程序、数据和内容的处理，以便最终显示和播放各种音视频内容。
在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器，用于在显示设备预加载模式中执行显示设备200的一些初始化操作，和/或，在正常模式下显示画面的操作。多个或一个子处理器，用于执行在显示设备待机模式等状态下的一种操作。
通信接口255，可包括第一接口、第二接口到第n接口。这些接口可以是经由网络被连接到外部设备的网络接口。
控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示的GUI(Graphical User Interface，图形用户界面)对象的用户输入命令，控制器250便可以执行与由用户输入命令选择的对象有关的操作。
其中，该对象可以是可选对象中的任何一个，例如超链接或图标。该与所选择的对象有关的操作，例如显示连接到超链接页面、文档、图像等操作，或者执行与对象相对应的程序的操作。该用于选择GUI对象的用户输入命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器260，用于存储驱动和控制显示设备200运行的各种类型的数据、软件程序或应用程序。存储器260可以包括易失性和/或非易失性存储器。而术语“存储器”包括存储器260、控制器250的RAM251和ROM252、或显示设备200中的存储卡。
在一些实施例中，存储器260具体用于存储驱动显示设备200中控制器250的运行程序；存储显示设备200内置的和用户从外部设备下载的各种应用程序；存储用于配置由显示器275提供的各种GUI、与GUI相关的各种对象及用于选择GUI对象的选择器的视觉效果图像等数据。
在一些实施例中，存储器260具体用于存储调谐解调器210、通信器220、检测器230、外部装置接口240、视频处理器270、显示器275、音频处理器280等的驱动程序和相关数据，例如从外部装置接口接收的外部数据(例如音视频数据)或用户接口接收的用户数据(例如按键信息、语音信息、触摸信息等)。
在一些实施例中，存储器260具体存储用于表示操作系统(operating system，OS)的软件和/或程序，这些软件和/或程序可包括，例如：内核、中间件、应用编程接口(Application Programming Interface，API)和/或应用程序。示例性的，内核可控制或管理系统资源，以及其它程序所实施的功能(如所述中间件、API或应用程序)；同时，内核可以提供接口，以允许中间件、API或应用程序访问控制器，以实现控制或管理系统资源。
图4中示例性示出了显示设备200存储器中操作系统的架构配置框图。该操作系统架构从上到下依次是应用层、中间件层和内核层。
应用层，系统内置的应用程序以及非系统层的应用程序都是属于应用层。负责与用户进行直接交互。应用层可包括多个应用程序，如设置应用程序、电子帖应用程序、媒体中心应用程序等。这些应用程序可被实现为Web应用，其基于WebKit引擎来执行，具体可基于HTML5、层叠样式表(CSS)和JavaScript来开发并执行。
这里，HTML，全称为超文本标记语言(HyperText Markup Language)，是一种用于创建网页的标准标记语言，通过标记标签来描述网页，HTML标签用以说明文字、图形、动画、声音、表格、链接等，浏览器会读取HTML文档，解释文档内标签的内容，并以网页的形式显示出来。
CSS，全称为层叠样式表(Cascading Style Sheets)，是一种用来表现HTML文件样式的计算机语言，可以用来定义样式结构，如字体、颜色、位置等的语言。CSS样式可以直接存储与HTML网页或者单独的样式文件中，实现对网页中样式的控制。
JavaScript，是一种应用于Web网页编程的语言，可以插入HTML页面并由浏览器解释执行。其中Web应用的交互逻辑都是通过JavaScript实现。JavaScript可以通过浏览器，封装JavaScript扩展接口，实现与内核层的通信。
中间件层，可以提供一些标准化的接口，以支持各种环境和系统的操作。例如，中间件层可以实现为与数据广播相关的中间件的多媒体和超媒体信息编码专家组(Multimedia and Hypermedia Experts Group，MHEG)，还可以实现为与外部设备通信相关的中间件的DLNA(Digital Living Network Alliance，数字生活网络联盟)中间件，还可以实现为提供显示设备内各应用程序所运行的浏览器环境的中间件等。
内核层，提供核心系统服务，例如：文件管理、内存管理、进程管理、网络管理、系统安全权限管理等服务。内核层可以被实现为基于各种操作系统的内核，例如，基于Linux操作系统的内核。
内核层也同时提供系统软件和硬件之间的通信，为各种硬件提供设备驱动服务，例如：为显示器提供显示驱动程序、为摄像头提供摄像头驱动程序、为遥控器提供按键驱动程序、为WIFI模块提供WiFi驱动程序、为音频输出接口提供音频驱动程序、为电源管理(Power Management，PM)模块提供电源管理驱动等。
用户接口265，接收各种用户交互。具体的，用于将用户的输入信号发送给控制器250，或者，将从控制器250的输出信号传送给用户。示例性的，遥控器100A可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户接口265，再由用户接口265转送至控制器250；或者，遥控器100A可接收经控制器250处理从用户接口265输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
在一些实施例中，用户可在显示器275上显示的图形用户界面(GUI)输入用户命令，则用户接口265通过GUI接收用户输入命令。确切的说，用户接口265可接收用于控制选择器在GUI中的位置以选择不同的对象或项目的用户输入命令。
或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户接口265通过传感器识别出声音或手势，来接收用户输入命令。
视频处理器270，用于接收外部的视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器275上显示或播放的视频信号。
示例的，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2流(基于数字存储媒体运动图像和语音的压缩标准),则解复用模块将其进行解复用成视频信号和音频信号等。
视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
帧率转换模块，用于对输入视频的帧率进行转换，如将输入的60Hz视频的帧率转换为120Hz或240Hz的帧率，通常的格式采用如插帧方式实现。
显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。
显示器275，用于接收源自视频处理器270输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自调谐解调器210接收的广播信号中的视频内容，也可以来自通信器220或外部装置接口240输入的视频内容。显示器275，同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。
以及，显示器275可以包括用于呈现画面的显示屏组件以及驱动图像显示的驱动组件。或者，倘若显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。
音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等音频数据处理，得到可以在扬声器286中播放的音频信号。
示例性的，音频处理器280可以支持各种音频格式。例如MPEG-2、MPEG-4、高层音频编码(AAC)、高效AAC(HE-AAC)等格式。
音频输出接口285，用于在控制器250的控制下接收音频处理器280输出的音频信号，音频输出接口285可包括扬声器286，或输出至外接设备的发生装置的外接音响输出端子287，如耳机输出端子。
在其他一些示例性实施例中，视频处理器270可以包括一个或多个芯片组成。音频处理器280，也可以包括一个或多个芯片组成。
以及，在其他一些示例性实施例中，视频处理器270和音频处理器280，可以为单独的芯片，也可以与控制器250一起集成在一个或多个芯片中。
供电电源290，用于在控制器250的控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以是安装在显示设备200内部的内置电源电路，也可以是安装在显示设备200外部的电源。
上述显示设备可以用于全景视频的播放，其中，全景视频是基于360度全景图像而发展延伸而来的一种新型的多媒体形式，它通过将一系列静态的全景图像连续播放而转化成动态的全景视频。近年来，为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，在全景视频传输方面多采用FOV传输方案。由于FOV传输方案将全景视频切割为若干块，因此在全景视频播放时需要同时加载多路码流，当由于网络、服务器等原因导致某空间区域的视频块数据无法正常加载时，会造成播放的卡顿、黑块等现象，极大的降低用户体验。
基于上述技术问题，本申请实施例示出一种全景视频的图像处理方法，所述方法应用于服务器端，具体的可以参阅图5，所述方法可以包括以下的步骤：
S101对接收到的全景视频进行多次采样得到采样视频集合，所述采样视频集合中包括多层分辨率不同的采样视频。
所述采样视频对应的分辨率越大，相应采样视频对应的层数越大；分别将所述采样视频进行切割得到视频块，其中每个视频块对应的分辨率相同。
由于原始全景视频的分辨率很高，若将原始全景视频直接传输给显示设备，对于服务器来说是很大的传输数据量，一定会增大网络传输带宽的压力；对于显示设备来说，若显示设备解码性能低，会出现播放全景视频时缓冲时间长或者显示设备无法有效解码的情况。因此，在本申请实施例中，先对原始全景视频进行采样，生成l个采样视频，各个采样视频的分辨率是不同的。
采样视频的分辨率越高，所述采样视频被划分的等级越高，如，第1层的全景视频的分辨率最低，而第l层的全景视频的分辨率最高。
服务器对第i层的全景视频进行等分切割处理，获得所有第i层的视频块，并确定各个第i层的视频块的位置序号与对应的第一视野区域。
服务器采用四叉树结构对第i层(i＝1～l)的全景视频进行等分切割处理，则第i层的采样视频可被分割为2i-1*2i-1个视频块；其次，按照设定顺序确定各个第i层的采样视频分块的行号和列号；
原始全景视频的分辨率为m×n，第i层全景视频的分辨率m’*n’而第i层中的各个视频分块的分辨率为
Figure GDA0003232120830000091
经过计算可知，位于同一层的所有视频块的分辨率相同，位于不同层的所有视频块的分辨率也相同。
为了便于理解，下面结合具体的实例对上述全景视频分块的过程作以详细的说明。请参阅图6所示原始全景视频A(在本申请实施中也称之为第l层采样视频)的分辨率为1024×1024。
服务器对原始全景视频A采样后，得到分辨率为512×512的采样视频B；服务器对采样视频B采样后，得到分辨率为256×256的采样视频C；服务器对采样视频C采样后，得到分辨率为128×128的采样视频D。
按照分辨率的大小，原始采样视频A被划分为第4层，采样视频B被划分为第3层，采样视频C被划分为第2层，采样视频D被划分为第1层。
第4层的采样视频A被划分为64个视频块，一个第4层的视频块的分辨率为128×128；
第3层的采样视频B被划分为16个视频块，一个第3层的视频块的分辨率为128×128；
第2层的采样视频A被划分为4个视频块，一个第2层的视频块的分辨率为128×128；
第1层的采样视频A被划分为1个视频块，一个第1层的视频块的分辨率为128×128。
本申请实施例中，服务器对原始采样视频采样后，得到l个采样视频l个采样视频构成采样视频集合，每个采样视频的分辨率是不同的，并按照分辨率的大小，将l个采样视频划分为l层，再针对不同等级的l个采样视频分别进行等分切割处理，得到不同等级的视频块。由于分辨率高的采样视频，即等级高的采样视频，划分出的视频块数量多；分辨率低的采样视频，即等级低的采样视频，划分出的视频块数量少，这样，相比于服务器采用FOV传输方案，本申请实施例中服务器划分的视频块总数量更少，而且不同等级的采样视频，划分出的视频块的分辨率是一样的，显示设备在选择视频块时不需要考虑视频块的分辨率，进而提高了显示设备调度效率。
S102所述服务器被配置为接收显示设备发送的播放请求；
S103所述服务器还被配置为发送所述播放请求对应的第一视频块至显示设备，以使得显示设备加载所述第一视频块，响应于所述缺失视频块无法被加载，显示设备发送一替换请求至服务器，其中，所述缺失视频块为无法被加载的第一视频块，所述替换请求携带有所述缺失视频块对应的位置信息；
本申请实施例中，显示设备用于向服务器发送播放请求，接收并播放服务器发送的第一视频块，所述第一视频块为l个采样视频中分辨率等级最高的，这样可以保证用户观看到分辨率最高的全景视频，提高用户的体验感。
在一可行性实施例中所述播放请求包括：显示设备的显示范围描述信息和全景视频标识；
所述发送所述播放请求对应的第一视频块至显示设备的步骤包括：
(1)所述服务器还被配置为筛选出与所述全景视频标识相对应的采样视频集合；
通常服务器中预先存储有多个全景视频，服务器预先对每个全景视频进行采样，生成每个全景视频对应的采样视频集合。当服务器接收到显示设备发送的播放请求时，服务器首先基于所述播放请求所携带的全景视频标识筛选出与所述标识相匹配的采样视频集合。所述采样视频集合中存储有显示设备想要播放的全景视频对应的数据。
(2)所述服务器还被配置为在所述采样视频集合中选取分辨率最高的采样视频作为第一全景视频；
在本申请实施例示出技术方案中，为了保证观赏者光看到分辨率最好的视频，在所述采样视频集合中选取分辨率最高的采样视频作为第一全景视频。
(3)所述服务器还被配置为在第一全景视频中筛选出与所述显示范围描述信息对应的第一视频块。
本申请实施例中，全景视频作用于球面上可以呈现给观赏者水平方向360度、垂直方向180度全包围的空间视域。但是，最终的视频需要在显示器上显示，由于显示屏的显示区域有限，通常只能显示部分图像。基于此，在本申请实施例示出的技术方案中播放请求中还携带有显示设备的显示范围描述信息。服务器在接收到播放请求后，基于所述播放请求中携带的显示范围描述信息确定第一视频块。
在一可行性实施例中所述显示范围描述信息可以包含第一视频块对应的位置信息，所述位置信息可以是第一视频分块在第一全景视频中对应的行数和列数，基于上述描述信息服务器匹配到对应的第一视频块，发送所述第一视频块至显示设备。
S104响应于接收到显示设备发送的替换请求，所述服务器被配置为筛选出与所述替换请求对应的替换视频块；
在一可行性实施例中所述替换请求可以携带缺失视频块在第一全景视频中的第一坐标和所述第一全景视频的层数l；
显示设备对下一视频块进行加载，响应于某一第一视频块未成功被加载(在本申请实施例示出的技术方案中所述未被加载的第一视频块称之为缺失视频块)。显示设备发送一携带有缺失视频块在第一全景视频中的第一坐标和所述第一全景视频的层数l的替换请求中服务器。
所述筛选出与所述替换请求对应的替换视频块的步骤包括：
(1)所述服务器还被配置为按照预置优先级规则，依次在采样视频集合中选取l-n层的采样视频作为替换视频层，其中，l-n的数值越大其对应替换视频层的优先级越大；
(2)所述服务器还被配置为在所述替换视频层筛选出与所述第一坐标相对应的视频块作为替换视频块。
在一可行性实施例中，所述采样视频集合中包含l个采样视频，分别为第1层采样视频，第2层采样视频，第3层采样视频……第l层采样视频(对应本申请实施例的第一全景视频)。各层采样视频的优先级顺序为：第l-1层采样视频的优先级大于第l-2层采样视频的优先级，第l-2层采样视频的优先级大于第l-3层采样视频的优先级……第2层采样视频的优先级大于第1层采样视频的优先级。
基于上述优先级顺序服务器在接收到显示设备发送的携带有第一全景视频的层数l的替换请求时，服务器首先选取l-1层的采样视频作为替换视频层，然后在基于替换请求中携带的第一坐标在替换视频层中选取替换视频块。
在一可行性实施例中所述第一坐标包括缺失视频块在第一全景视频中对应的行数l_r和列数l_c；
所述在所述替换视频层筛选出与所述第一坐标相对应的视频块作为替换视频块的步骤包括：
(21)所述服务器还被配置为根据如下的公式计算出所述缺失视频块在所述替换视频层对应的第二坐标，其中，所述第二坐标包括：缺失视频块在所述替换视频层对应行数l_r’和缺失视频块在所述替换视频层对应列数l_c’；
l_r’＝[l_r/2l-l']
l_c’＝[l_c/2l-l']；其中，所述l’为所述换采样层的层数；
(22)所述服务器还被配置为在所述替换视频层中筛选出所述第二坐标对应的视频块作为替换视频块。
S105所述服务器被配置为发送所述替换视频块至显示设备。
下面结合具体的实例对上述方案的实现过程作以详细的说明。
在一可行性实施例中，显示设备发送一播放请求至服务器，其中所述播放请求中携带的显示设备对应的显示范围描述信息。所述显示范围描述信息为请求加载的视频块在第一全景视频中对应的坐标。在本申请实施例中描述信息为(5,5)，(5,6)，(5,7)，(6,5)，(6,6)，(6,7)，(7,5)，(7,6)，(7,7)，(8,5)，(8,6)，(8,7)。所述播放请求中携带的视频标识为视频A。
服务器在接收到显示设备发送的播放请求后，首先基于视频请求中携带的视频标识筛选出采样视频集合。图7为视频A对应的采样视频集合的示意图。可以看出，采样视频结合中包含4层采样视频分别为：第1层采样视频，所述第1层采样视频包括1个视频块；第2层采样视频，所述第2层采样视频包括4个视频块；第3层采样视频，所述第3层采样视频包括16个视频块；第4层采样视频，所述第4层采样视频包括64个视频块。然后，服务器基于播放请求中携带的显示范围描述信息确定图7中的区域A对应的视频块为第一视频块，并发送所述第一视频块至显示设备。
显示设备对服务器发送的第一视频块进行加载，坐标值为(5,5)，(5,6)，(5,7)，(6,5)，(6,6)，(6,7)，(7,5)，(7,7)，(8,5)，(8,6)，(8,7)对应的第一视频块均可被成功的加载。但是坐标值为(7,6)对应的第一视频块不能被加载。在此情况下，显示设备确定坐标值为(7,6)对应的第一视频块为缺失视频块，所述缺失视频块在第一全景视频中对应的坐标值(7,6)为第一坐标。显示设备发送一替换请求至服务器，所述替换请求携带有第一坐标(7,6)和第一全景视频对应层数l，l＝4。
服务器在接收到替换请求时，基于所述替换请求中所携带的第一全景视频对应层数为4，选取第(4-1)层的采样视频作为替换视频层。然后基于替换请求中所携带的第一坐标(7,6)计算出缺失视频块在第三层采样视频中对应的第二坐标(l_r’，l_c’)；
其中，第二坐标的计算过程为：
Figure GDA0003232120830000121
因此，在第3层采样视频中坐标为(4，3)对应的视频块为替换视频块，服务器发所述替换视频块至显示设备，所述替换视频块对应图8a中的替换视频块A。
显示设备对服务器发送的第3层采样视频中坐标为(4，3)对应的视频块进行加载，如果加载成功，显示设备在在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频(后续会对目标视频的筛选过程作以详细的说明)。如果加载不成功显示设备继续发送一替换请求至服务器，所述替换请求携带有第一坐标(7,6)和第一全景视频对应层数l，l＝4。
服务器在接收到替换请求时，基于所述替换请求中所携带的第一全景视频对应层数为4，选取第(4-2)层的采样视频作为替换视频层。然后基于替换请求中所携带的第一坐标(7,6)计算出缺失视频块在第2层采样视频中对应的第二坐标(l_r’，l_c’)；
其中，第二坐标的计算过程为：
Figure GDA0003232120830000122
因此，在第2层采样视频中坐标为(2，2)对应的视频块为替换视频块，服务器发所述替换视频块至显示设备，所述替换视频块对应图8b中的替换视频块B。
显示设备对服务器发送的第2层采样视频中坐标为(2,2)对应的视频块进行加载，如果加载成功，显示设备在在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频。如果加载不成功显示设备继续发送一替换请求至服务器，所述替换请求携带有第一坐标(7,6)和第一全景视频对应层数l，l＝4。
可见采用本申请实施例示出的技术方案在全景视频FOV传输技术方案中，由于网络、服务器等各种原因可能导致某空间区域的视频块数据缺失，本申请实施例示出技术方案可以在数据缺失时自动寻找替代数据进行嵌套拼接，从而有效保证全景视频播放的完整性和稳定性，提升全景视频整体显示效果。
在实际应用的过程中，服务器通常为多个显示设备提供服务，为了让服务器空余出更多的资源与显示设备设备进行交互，在本申请实施例提供的技术方案可以将一些数据处理的过程发在显示设备上处理。
具体的，本申请实施例第二方面示出一种全景视频的图像处理方法，所述方法应用于显示设备端。
在本实施例中，所述服务器对接收到的全景视频进行多次采样得到采样视频集合，所述采样视频集合中包括多层分辨率不同的采样视频，所述采样视频对应的分辨率越大，相应采样视频对应的层数越大；将所述采样视频进行切割得到视频块，其中每个视频块对应的分辨率相同；在所述采样视频集合中选取分辨率最高的采样视频作为第一全景视频；第一全景视频中出与所述显示设备的显示范围描述信息相对应的视频块为第一视频块；各步骤的具体实现方式可以参阅上述实施例在此便不赘述。
具体可以参阅图9，所述方法包括：
S201所述显示设备被配置为向服务器发送的播放请求；以使得所述服务器发送所述播放请求对应的第一视频块至显示设备；
S202所述显示设备还被配置为加载所述第一视频块，响应于所述缺失视频块无法被加载，所述显示设备还被配置为发送一替换请求至服务器，以使得所述服务器发送所述替换请求相对应的替换视频块至显示设备；其中，所述缺失视频块为无法被加载的第一视频块；
在一可行性实施例中，替换请求的发送过程为：
(1)所述显示设备还被配置为按照预置优先级规则依次选取L-n层的采样视频作为替换视频层，其中，L-n的数值越大其对应替换视频层的优先级越大；
(2)所述显示设备还被配置为根据所述缺失视频块在第一全景视频中的第一坐标，计算出所述包含所述缺失视频块的视频块在替换视频层中的第二坐标；
根据如下公式计算出所述第二坐标：其中，所述第二坐标包括：包含所述缺失视频块的视频块在替换视频层中对应行数l_r’和包含所述缺失视频块的视频块在替换视频层中对应列数l_c’；
l_r’＝[l_r/2l-l']
l_c’＝[l_c/2l-l']；其中，所述l’为所述替换视频层的层数l’＝l-n。
(3)发送携带有所述第二坐标和所述替换视频层的层数的替换请求至服务器。
S203所述显示设备还被配置为在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频；
所述显示设备还被配置为将所述替换视频块划分为2*2的四个区域，得到划分后的替换视频块；
所述显示设备还被配置为根据如下的公式计算出缺失视频块在所述划分后的替换视频块中对应的第三坐标，所述第三坐标包括缺失视频块对应的区域在所述划分后的替换视频块中的行数r和所述缺失视频块对应的区域在所述划分后的替换视频块中的列数c；
r＝(l_r-1)mod2l-l’+1
c＝(l_c-1)mod2l-l’+1；
所述显示设备还被配置为根据如下的公式计算出缺失视频块四个顶点在述划分后的替换视频块中对应的UV坐标值，所述UV坐标值分别为：A，B，C，D，他们分别对应的UV坐标为(U1，V1)，(U2，V2)，(U3，V3)，(U4，V4)。
Figure GDA0003232120830000141
其中，所述cn＝rn＝2l’；
所述显示设备还被配置为确定所述四个顶点所围成的区域对应的视频为目标视频。
S204所述显示设备还被配置为将已加载的所述第一视频块和所述目标视频进行拼接。
下面结合具体的实例对上述方案的实现过程作以详细的说明。
在一可行性实施例中，显示设备发送一播放请求至服务器，其中所述播放请求中携带的显示设备对应的显示范围描述信息。所述显示范围描述信息为请求加载的视频块在第一全景视频中对应的坐标。在本申请实施例中描述信息为(5,5)，(5,6)，(5,7)，(6,5)，(6,6)，(6,7)，(7,5)，(7,6)，(7,7)，(8,5)，(8,6)，(8,7)。所述播放请求中携带的视频标识为视频A。
服务器在接收到显示设备发送的播放请求后，首先基于视频请求中携带的视频标识筛选出采样视频集合。图7为视频A对应的采样视频集合的示意图。可以看出，采样视频结合中包含4层采样视频，分别为：第1层采样视频，所述第1层采样视频包括1个视频块，第2层采样视频，所述第2层采样视频包括4个视频块，第3层采样视频，所述第3层采样视频包括16个视频块，第4层采样视频，所述第4层采样视频包括64个视频块。然后，服务器基于播放请求中携带的显示范围描述信息确定图7中的区域A对应的视频块为第一视频块，并发送所述第一视频块至显示设备。
显示设备对服务器发送的第一视频块进行加载，坐标值为(5,5)，(5,6)，(5,7)，(6,5)，(6,6)，(6,7)，(7,5)，(7,7)，(8,5)，(8,6)，(8,7)对应的第一视频块均可被成功的加载。但是坐标值为(7,6)对应的第一视频块不能被加载。在此情况下，显示设备确定坐标值为(7,6)对应的第一视频块为缺失视频块，所述缺失视频块在第一全景视频中对应的坐标值(7,6)为第一坐标。显示设备选取第(4-1)层的采样视频作为替换视频层。然后基于第一坐标(7,6)计算出缺失视频块在第三层采样视频中对应的第二坐标(l_r’，l_c’)；
其中，第二坐标的计算过程为：
Figure GDA0003232120830000142
因此，缺失视频块在第3层采样视频中对应的第二坐标为。显示设备发送一携带有所述第二坐标和所述替换视频层的层数的替换请求至服务器。
服务器基于所述替换请求中携带的第二坐标和所述替换视频层的层数在采样视频集合中调取相应的替换视频块，并发送所述替换视频块至显示设备。
显示设备对服务器发送的第3层采样视频中坐标为(4，3)对应的视频块进行加载，如果加载成功，显示设备在在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频(后续会对目标视频的筛选过程作以详细的说明)。如果加载不成功，显示设备选取第(4-2)层的采样视频作为替换视频层。然后基于替换请求中所携带的第一坐标(7,6)计算出缺失视频块在第2层采样视频中对应的第二坐标(l_r’，l_c’)；
其中，第二坐标的计算过程为：
Figure GDA0003232120830000151
因此，缺失视频块在第3层采样视频中对应的第二坐标为(2,2)。显示设备发送一携带有所述第二坐标和所述替换视频层的层数的替换请求至服务器。
服务器基于所述替换请求中携带的第二坐标和所述替换视频层的层数在采样视频集合中调取相应的替换视频块，并发送所述替换视频块至显示设备。
显示设备对服务器发送的第2层采样视频中坐标为(2,2)对应的视频块进行加载，如果加载成功，显示设备在在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频。如果加载不成功显示设备继续发送一替换请求至服务器，所述替换请求携带有第一坐标(7,6)和第一全景视频对应层数l(l＝4)。
在一可行性实施例中，显示设备在第3层采样视频中坐标为(4，3)对应的视频块中选取目标视频的过程为：
显示设备，将第3层采样视频中坐标为(4，3)对应的视频块划分为2*2的四个区域，得到划分后的替换视频块。所述划分后的替换视频块的结构可以参阅图10。
所述显示设备还被配置为根据如下的公式计算出缺失视频块在所述划分后的替换视频块中对应的第三坐标，所述第三坐标包括缺失视频块对应的区域在所述划分后的替换视频块中的行数r和所述缺失视频块对应的区域在所述划分后的替换视频块中的列数c；
Figure GDA0003232120830000152
通过计算可以看出，缺失视频块位于替换视频块所形成的四叉树结构的第1行第2列的位置，具体的可以参阅图10。
所述显示设备还被配置为根据如下的公式计算出缺失视频块四个顶点在述划分后的替换视频块中对应的UV坐标值，所述UV坐标值分别为：A，B，C，D。A，B，C，D对应的UV坐标分别为：U1，U4，U2，U3，V1，V4，V2，V3：
Figure GDA0003232120830000161
其中，所述cn＝rn＝2l’；
所述显示设备还被配置为确定所述四个顶点所围成的区域对应的视频为目标视频。
可见采用本申请实施例示出的技术方案在全景视频FOV传输技术方案中，由于网络、服务器等各种原因可能导致某空间区域的视频块数据缺失，本申请实施例示出技术方案可以在数据缺失时自动寻找替代数据进行嵌套拼接，从而有效保证全景视频播放的完整性和稳定性，提升全景视频整体显示效果。
本申请实施例第三方面示出一种显示设备，具体的，可以参阅图11，所述显示设备包括：
发送单元11被配置为向服务器发送的播放请求；以使得所述服务器发送所述播放请求对应的第一视频块至显示设备；
加载单元12被配置为加载所述第一视频块，响应于所述缺失视频块无法被加载，所述显示设备还被配置为发送一替换请求至服务器，以使得所述服务器发送所述替换请求相对应的替换视频块至显示设备；其中，所述缺失视频块为无法被加载的第一视频块；
筛选单元13被配置为在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频；
拼接单元14被配置为将已加载的所述第一视频块和所述目标视频进行拼接。
本申请实施例第四方面示出一种服务器，具体的，可以参阅图12，所述显示设备包括：
接收单元21被配置为接收显示设备发送的播放请求；
第一发送单元22被配置为发送所述播放请求对应的第一视频块至显示设备，以使得显示设备加载所述第一视频块，响应于所述缺失视频块无法被加载，显示设备发送一替换请求至服务器，其中，所述缺失视频块为无法被加载的第一视频块，所述替换请求携带有所述缺失视频块对应的位置信息；
筛选单元23被配置为响应于接收到显示设备发送的替换请求，筛选出与所述位置信息对应的替换视频块；
第二发送单元24被配置为发送所述替换视频块至显示设备。
本说明书中各个实施例之间相同相似的部分互相参照即可。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，并不构成对本发明保护范围的限定。本发明的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种全景视频的图像处理方法，所述方法应用于显示设备端，其特征在于，包括：
所述显示设备被配置为向服务器发送的播放请求；以使得所述服务器发送所述播放请求对应的第一视频块至显示设备；
所述显示设备还被配置为加载所述第一视频块；如果所述第一视频块加载不成功，继续发送一替换请求至服务器，以使得所述服务器下发替换视频块，在替换视频块中筛选出与缺失视频块相对应的目标视频；如果所述替换视频块加载不成功，则继续发送一替换请求至服务器，其中，所述缺失视频块为无法被加载的第一视频块；所述替换视频块在多层分辨率采样视频中向下一层的替换视频层中、根据缺失视频块在第一全景视频中的第一坐标计算出的第二坐标对应的视频块，每个视频块对应的分辨率相同；
所述显示设备还被配置为在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频；
所述显示设备还被配置为将已加载的所述第一视频块和所述目标视频进行拼接。
2.根据权利要求1所述的方法，其特征在于，所述服务器对接收到的全景视频进行多次采样得到采样视频集合，所述采样视频集合中包括多层分辨率不同的采样视频，所述采样视频对应的分辨率越大，相应采样视频对应的层数越大；将所述采样视频进行切割得到视频块，其中每个视频块对应的分辨率相同；在所述采样视频集合中选取分辨率最高的采样视频作为第一全景视频；第一全景视频中出与所述显示设备的显示范围描述信息相对应的视频块为第一视频块；
所述显示设备还被配置为，按照预置优先级规则依次选取l-n层的采样视频作为替换视频层，其中，l-n的数值越大其对应替换视频层的优先级越大；l为一全景视频的层数，n为正整数；
所述显示设备还被配置为根据所述缺失视频块在第一全景视频中的第一坐标，计算出第二坐标，所述第二坐标为包含所述缺失视频块在所述替换视频层中的坐标；
发送携带有所述第二坐标和所述替换视频层的层数的替换请求至服务器。
3.根据权利要求2所述的方法，其特征在于，根据如下公式计算出所述第二坐标：其中，所述第二坐标包括：包含所述缺失视频块的视频块在替换视频层中对应行数
Figure 65099DEST_PATH_IMAGE001
和包含所述缺失视频块的视频块在替换视频层中对应列数
Figure 257046DEST_PATH_IMAGE002
；
Figure 868156DEST_PATH_IMAGE003
；其中，所述
Figure 487356DEST_PATH_IMAGE004
为所述替换视频层的层数
Figure 551127DEST_PATH_IMAGE005
；
所述
Figure 812344DEST_PATH_IMAGE006
的计算结果为大于其内部数据最小整数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述显示设备还被配置为在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频的步骤包括：
所述显示设备还被配置为将所述替换视频块划分为2*2的四个区域，得到划分后的替换视频块；
所述显示设备还被配置为根据如下的公式计算出缺失视频块在所述划分后的替换视频块中对应的第三坐标，所述第三坐标包括缺失视频块对应的区域在所述划分后的替换视频块中的行数
Figure 277960DEST_PATH_IMAGE007
和所述缺失视频块对应的区域在所述划分后的替换视频块中的列数
Figure 864800DEST_PATH_IMAGE008
；
Figure 415867DEST_PATH_IMAGE009
；
所述显示设备还被配置为根据如下的公式计算出缺失视频块四个顶点在所述划分后的替换视频块中对应的UV坐标值，所述UV坐标值分别为：
Figure 949616DEST_PATH_IMAGE010
：
Figure 535318DEST_PATH_IMAGE011
其中，所述
Figure 27480DEST_PATH_IMAGE012
；
所述显示设备还被配置为确定所述四个顶点所围成的区域对应的视频为目标视频。
5.一种全景视频的图像处理方法，所述方法应用于服务器端，其特征在于，包括：
所述服务器被配置为接收显示设备发送的播放请求；
所述服务器还被配置为发送所述播放请求对应的第一视频块至显示设备，以使得显示设备加载所述第一视频块，如果所述第一视频块加载不成功，继续发送一替换请求至服务器，以使得所述服务器下发替换视频块，在替换视频块中筛选出与缺失视频块相对应的目标视频；如果所述替换视频块加载不成功，则继续发送一替换请求至服务器，其中，所述缺失视频块为无法被加载的第一视频块；所述替换视频块在多层分辨率采样视频中向下一层的替换视频层中、根据缺失视频块在第一全景视频中的第一坐标计算出的第二坐标对应的视频块，每个视频块对应的分辨率相同；
响应于接收到显示设备发送的替换请求，所述服务器被配置为筛选出与所述替换请求对应的替换视频块；
所述服务器被配置为发送所述替换视频块至显示设备。
6.根据权利要求5所述的方法，其特征在于，在所述接收显示设备发送的播放请求的步骤之前所述服务器还被配置为：
对接收到的全景视频进行多次采样得到采样视频集合，所述采样视频集合中包括多层分辨率不同的采样视频，所述采样视频对应的分辨率越大，相应采样视频对应的层数越大；
分别将所述采样视频进行切割得到视频块，其中每个视频块对应的分辨率相同。
7.根据权利要求6所述的方法，其特征在于，所述播放请求包括：显示设备的显示范围描述信息和全景视频标识；
所述发送所述播放请求对应的第一视频块至显示设备的步骤包括：
所述服务器还被配置为筛选出与所述全景视频标识相对应的采样视频集合；
所述服务器还被配置为在所述采样视频集合中选取分辨率最高的采样视频作为第一全景视频；
所述服务器还被配置为在第一全景视频中筛选出与所述显示范围描述信息对应的第一视频块。
8.根据权利要求5所述的方法，其特征在于，所述替换请求携带有所述缺失视频块在第一全景视频中的第一坐标和所述第一全景视频的层数l；
所述筛选出与所述替换请求对应的替换视频块的步骤包括：
所述服务器还被配置为按照预置优先级规则，依次在采样视频集合中选取l-n层的采样视频作为替换视频层，其中，l-n的数值越大其对应替换视频层的优先级越大；
所述服务器还被配置为在所述替换视频层筛选出与所述第一坐标相对应的视频块作为替换视频块。
9.根据权利要求8所述的方法，其特征在于，所述第一坐标包括缺失视频块在第一全景视频中对应的行数
Figure 65843DEST_PATH_IMAGE013
和列数
Figure 137704DEST_PATH_IMAGE014
；
所述在所述替换视频层筛选出与所述第一坐标相对应的视频块作为替换视频块的步骤包括：
所述服务器还被配置为根据如下的公式计算出所述缺失视频块在所述替换视频层对应的第二坐标，其中，所述第二坐标包括：缺失视频块在所述替换视频层对应行数
Figure 843492DEST_PATH_IMAGE001
和缺失视频块在所述替换视频层对应列数
Figure 975396DEST_PATH_IMAGE002
；
Figure 772494DEST_PATH_IMAGE015
其中，所述
Figure 648046DEST_PATH_IMAGE016
为所述替换视频层的层数
Figure 208340DEST_PATH_IMAGE017
；所述[]的计算结果为大于其内部数据最小整数；
所述服务器还被配置为在所述替换视频层中筛选出所述第二坐标对应的视频块作为替换视频块。
10.一种显示设备，其特征在于，包括：
发送单元被配置为向服务器发送的播放请求；以使得所述服务器发送所述播放请求对应的第一视频块至显示设备；
加载单元被配置为加载所述第一视频块，如果所述第一视频块加载不成功，继续发送一替换请求至服务器，以使得所述服务器下发替换视频块，在替换视频块中筛选出与缺失视频块相对应的目标视频；如果所述替换视频块加载不成功，则继续发送一替换请求至服务器，其中，所述缺失视频块为无法被加载的第一视频块；所述替换视频块在多层分辨率采样视频中向下一层的替换视频层中、根据缺失视频块在第一全景视频中的第一坐标计算出的第二坐标对应的视频块，每个视频块对应的分辨率相同；
筛选单元被配置为在所述替换视频块中筛选出与所述缺失视频块相对应的目标视频；
拼接单元被配置为将已加载的所述第一视频块和所述目标视频进行拼接。
11.一种服务器，其特征在于，包括：
接收单元被配置为接收显示设备发送的播放请求；
第一发送单元被配置为发送所述播放请求对应的第一视频块至显示设备，以使得显示设备加载所述第一视频块，如果所述第一视频块加载不成功，继续发送一替换请求至服务器，以使得所述服务器下发替换视频块，在替换视频块中筛选出与缺失视频块相对应的目标视频；如果所述替换视频块加载不成功，则继续发送一替换请求至服务器，其中，所述缺失视频块为无法被加载的第一视频块；所述替换视频块在多层分辨率采样视频中向下一层的替换视频层中、根据缺失视频块在第一全景视频中的第一坐标计算出的第二坐标对应的视频块，每个视频块对应的分辨率相同；
筛选单元被配置为响应于接收到显示设备发送的替换请求，筛选出与位置信息对应的替换视频块；
第二发送单元被配置为发送所述替换视频块至显示设备。
CN202010027709.6A 2020-01-10 2020-01-10 一种全景视频的图像处理方法、显示设备及服务器 Active CN111277911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010027709.6A CN111277911B (zh) 2020-01-10 2020-01-10 一种全景视频的图像处理方法、显示设备及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010027709.6A CN111277911B (zh) 2020-01-10 2020-01-10 一种全景视频的图像处理方法、显示设备及服务器

Publications (2)

Publication Number Publication Date
CN111277911A CN111277911A (zh) 2020-06-12
CN111277911B true CN111277911B (zh) 2021-10-15

Family

ID=71001811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010027709.6A Active CN111277911B (zh) 2020-01-10 2020-01-10 一种全景视频的图像处理方法、显示设备及服务器

Country Status (1)

Country Link
CN (1) CN111277911B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930233B (zh) * 2020-08-05 2023-07-21 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN117596376B (zh) * 2024-01-18 2024-04-19 深圳大学 360度视频智能边缘传输方法、系统、穿戴设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723712A (zh) * 2013-10-14 2016-06-29 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统
CN107872626A (zh) * 2016-09-26 2018-04-03 中国电信股份有限公司 全景视频播放方法和系统以及用于全景视频播放的服务器
CN108965847A (zh) * 2017-05-27 2018-12-07 华为技术有限公司 一种全景视频数据的处理方法及装置
CN109308686A (zh) * 2018-08-16 2019-02-05 北京市商汤科技开发有限公司 一种鱼眼图像处理方法及装置、设备和存储介质
US10432970B1 (en) * 2018-06-14 2019-10-01 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2594615B (en) * 2017-03-20 2022-11-30 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
WO2018193330A1 (en) * 2017-04-20 2018-10-25 Nokia Technologies Oy Method and apparatus for delivery of streamed panoramic images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723712A (zh) * 2013-10-14 2016-06-29 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
CN107872626A (zh) * 2016-09-26 2018-04-03 中国电信股份有限公司 全景视频播放方法和系统以及用于全景视频播放的服务器
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统
CN108965847A (zh) * 2017-05-27 2018-12-07 华为技术有限公司 一种全景视频数据的处理方法及装置
US10432970B1 (en) * 2018-06-14 2019-10-01 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
CN109308686A (zh) * 2018-08-16 2019-02-05 北京市商汤科技开发有限公司 一种鱼眼图像处理方法及装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Prioritized Buffer Control in Two-tier 360 Video Streaming;Fanyi Duanmu等;《2017 sigcomm VR/AR-network workshop》;20170825;全文 *
全景媒体的系统架构研究综述;罗莹 等;《电信科学》;20180220;全文 *
全景视频基于视点的自适应传输技术研究;赖立冬;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181015;全文 *

Also Published As

Publication number Publication date
CN111277911A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111447498B (zh) 显示设备的唤醒方法及显示设备
CN111698551B (zh) 一种内容显示方法及显示设备
CN111479152A (zh) 一种显示设备
CN111182345A (zh) 一种控件的显示方法及显示设备
CN112055256B (zh) 一种全景图像的图像处理方法及显示设备
CN111107428A (zh) 一种双路媒体流数据的播放方法及显示设备
CN111601142B (zh) 一种字幕的显示方法及显示设备
CN111246309A (zh) 在显示设备中显示频道列表的方法及显示设备
CN111343492B (zh) 一种浏览器在不同图层的显示方法及显示设备
CN111277911B (zh) 一种全景视频的图像处理方法、显示设备及服务器
CN111417027A (zh) 网页视频全屏播放切换小窗口播放的方法及显示设备
CN111045557A (zh) 焦点对象的移动方法及显示设备
CN111212293A (zh) 一种图像处理方法及显示设备
CN111857502A (zh) 一种图像显示方法及显示设备
CN111324411A (zh) 显示设备中用户界面的升级方法及显示设备
CN111294633A (zh) 一种epg用户界面的展示方法及显示设备
CN113115088A (zh) 显示设备用户界面的控制方法及显示设备
CN111314739B (zh) 一种图像处理方法、服务器及显示设备
CN111885415B (zh) 一种音频数据快速输出方法及显示设备
CN112040285B (zh) 界面显示方法及显示设备
CN111405329B (zh) 显示设备及epg用户界面显示的控制方法
CN111726674B (zh) 一种HbbTV应用启动方法及显示设备
CN113497906B (zh) 一种音量调节方法、装置及终端
CN113115093B (zh) 一种显示设备及详情页展示方法
CN111601147A (zh) 一种内容显示方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant