CN108632631A - 一种全景视频中视频分片的下载方法和装置 - Google Patents

一种全景视频中视频分片的下载方法和装置 Download PDF

Info

Publication number
CN108632631A
CN108632631A CN201710157367.8A CN201710157367A CN108632631A CN 108632631 A CN108632631 A CN 108632631A CN 201710157367 A CN201710157367 A CN 201710157367A CN 108632631 A CN108632631 A CN 108632631A
Authority
CN
China
Prior art keywords
video
client
acquiescence
visual angle
angle information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710157367.8A
Other languages
English (en)
Other versions
CN108632631B (zh
Inventor
周皓隽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710157367.8A priority Critical patent/CN108632631B/zh
Publication of CN108632631A publication Critical patent/CN108632631A/zh
Application granted granted Critical
Publication of CN108632631B publication Critical patent/CN108632631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种全景视频中视频分片的下载方法和装置。在初始化阶段，客户端接收全景视频的默认视角信息。根据默认视角信息和客户端的视角大小，客户端确定默认视角下的可见区域，并下载对应的视频分片。在全景视频播放的初始化阶段，客户端通过获取全景视频的默认视角信息，下载与默认视角信息对应的视频分片。避免了重新下载与默认视角信息对应的视频分片，造成初始播放时延的增加以及流量的浪费。在全景视频的播放阶段，客户端通过判断优先下载的视频区域是否包括默认视角信息对应的视频区域。使客户端在保证当前视角播放流畅的同时，尽可能保证默认视角清晰流畅的播放，避免播放的时延。

Description

一种全景视频中视频分片的下载方法和装置
技术领域
本发明涉及全景视频技术领域，尤其涉及一种全景视频中视频分片的下载方法和装置。
背景技术
全景视频又叫360度视频。是将多个角度的图像合成全景图像，并将多个帧的全景图像组成全景视频。用户在观看全景视频时，可以上下左右任意更改观看角度，从而获得更好的观看体验。
全景视频包含了环境上下左右前后的信息，受限于人眼的视场角范围(120度左右)以及显示设备的视场角范围,目前市面上头戴设备的视角(FOV,Field of view)大小通常是96-110度。用户在观看全景视频时，实际上只能看到全景视频的一小部分。通常把用户当前实际观看的区域称为当前视角。在观看全景视频时，用户可通过拖动鼠标、转动头部等方式来更改当前视角位置，从而从不同的角度观看全景视频。
全景视频的传输通常包含全幅传输、分块传输和视角传输三种形式。其中，分块传输是将全景视频中的全景图像按预定义规则划分多个分片。传输时，根据用户FOV，向客户端传输与用户FOV对应的视频分片。视角传输是服务器根据客户端实时上报的当前视角，生成对应区域的视频分片，并将相应的视频分片传输给客户端。
在分块传输的方案下，客户端只下载视角对应分块的视频分片。因此在初始化时，由于无法提前获取默认视角信息，导致下载的视频分片和默认视角对应分块的视频分片不一致。从而需要重新下载默认视角对应分块的视频分片，造成初始下载时延的增加以及流量的浪费。
在视角传输的方案下，客户端只能首先按某个自定义的初始化视角去请求对应的视频分片，该初始化视角可能和实际默认视角不一致。同样导致需要重新下载，造成初始下载时延的增加以及流量的浪费。
发明内容
本发明实施例提供了一种全景视频中视频分片的下载方法和装置，可以使客户端在全景视频播放的初始化过程中，正确获取默认视角的视频分片。
一方面，本发明实施例提供了一种全景视频中视频分片的下载方法，所述方法应用于初始化阶段。客户端接收全景视频的辅助信息，所述辅助信息包括所述全景视频对应的默认视角信息。客户端根据所述默认视角信息和所述客户端的视角大小，确定所述客户端在默认视角下可见的区域。客户端根据所述默认视角下的可见区域，下载对应的视频分片。根据默认视角信息确定初始化播放时的视频分片，使客户端获取与默认视角信息对应的视频区域的视频分片。避免了重新下载默认视角对应的视频分片，造成初始下载时延的增加以及流量的浪费。
在一个可能的设计中，所述默认视角信息由二维坐标信息、角度坐标信息或视频分片是否可见信息中的任意一种表示。通过多种方式来表示默认视角信息。
在一个可能的设计中，所述客户端根据所述默认视角下的可见区域，下载对应的视频分片，包括所述客户端向服务器发送所述默认视角下的可见区域。以便于所述服务器根据所述默认视角下的可见区域，对全景视频中与所述默认视角下的可见区域相对应的视频区域进行编码。所述客户端接收所述服务器发送的对视频区域编码后的视频分片。在视角传输方案下，通过向服务器发送默认视角下的可见区域，服务器根据默认视角下的可见区域对视频分片进行下载。
在一个可能的设计中，所述客户端根据所述默认视角下的可见区域，下载对应的视频分片，包括：所述客户端确定所述默认视角下的可见区域中包括的视频分块。所述客户端向服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求。以便于所述服务器向客户端发送所述视频分块编码后的视频分片。所述客户端接收所述服务器发送的视频分片。在分块传输方案下，根据辅助信息确认默认视角下的可见区域对应的视频分块，从而获取所述视频分块编码后的视频分片。
在一个可能的设计中，所述客户端确定所述默认视角下的可见区域中包括的视频分块，包括：所述客户端确定全景视频中各视频分块中与所述默认视角下的可见区域的重叠区域大于预设阈值的视频分块为所述默认视角下的可见区域中包括的视频分块。通过对所述视频分片重叠区域大于阈值的视频分片进行下载，避免了对只有很小区域显示的视频分片作为可见区域进行下载，减少了流量的浪费。
在一个可能的设计中，所述客户端向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求，包括：所述客户端向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块的高码率视频分片获取请求。
在一个可能的设计中，所述方法还应用于全景视频播放阶段，包括：所述客户端获取当前视角信息。所述客户端根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域。所述客户端根据所述优先下载的视频区域，下载与所述优先下载的视频区域相对应的视频分片。在视频播放过程中，通过判断优先下载区域包括当前视角信息或当前视角信息和默认视角信息，尽可能的满足全景视频播放过程的流畅性。
在一个可能的设计中，所述客户端根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域，包括：所述客户端判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片。当所述优先下载的视频区域包括默认视角信息对应的视频区域的视频分片时，所述客户端根据当前视角信息和默认视角信息，确定优先下载的视频区域。当所述优先下载的视频区域不包括默认视角信息对应的视频区域的视频分片时，所述客户端根据当前视角信息，确定优先下载的视频区域。通过判断优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片，满足当前视角视频播放的流畅性。
在一个可能的设计中，所述客户端判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片，包括：所述客户端判断当前客户端在所述当前视角的缓冲区空余空间是否大于缓冲阈值。当所述客户端在所述当前视角的缓冲区空余空间大于所述缓冲阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。或者，所述客户端确定客户端当前可用带宽以及下载默认视角信息对应的视频区域的视频分片所需的带宽。当所述客户端获取当前视角信息对应的视频区域的视频分片和获取默认视角信息对应的视频区域的视频分片所需的带宽小于所述当前可用带宽的阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。或者，所述客户端确定已播放全景视频中用户视角落在所述默认视角信息对于的视频区域的时间长度比例，当所述时间长度比例大于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。或者，所述客户端确定当前视角信息对应的视频区域与所述默认视角信息对于的视频区域的距离，当所述距离小于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。通过多种方式判断优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片，从而在保证当前视角的视频区域播放流畅的同时，尽可能保证当前视角切换为默认视角时播放的流畅性。
第二方面，本发明具体实施例提供一种客户端，所述方客户端用于全景视频的播放。在所述客户端对全景视频播放的初始化阶段中，接收单元，用于接收全景视频的辅助信息，所述辅助信息包括所述全景视频对应的默认视角信息。处理单元，用于根据所述默认视角信息和所述客户端的视角大小，确定所述客户端在默认视角下可见的区域。所述接收单元，还用于根据所述默认视角下的可见区域，下载对应的视频分片。根据默认视角信息确定初始化播放时的视频分片，使客户端获取与默认视角信息对应的视频区域的视频分片。避免了重新下载默认视角对应块的视频分片，造成初始下载时延的增加以及流量的浪费。
在一个可能的设计中，所述默认视角信息由二维坐标信息、角度坐标信息或视频分片是否可见信息中的任意一种表示。通过多种方式来表示默认视角信息。
在一个可能的设计中，所述客户端根据所述默认视角下的可见区域，下载对应的视频分片，包括：发送单元，用于向服务器发送所述默认视角下的可见区域，以便于所述服务器根据所述默认视角下的可见区域，对全景视频中与所述默认视角下的可见区域相对应的视频区域进行编码。接收单元，用于接收所述服务器发送的对视频区域编码后的视频分片。在视角传输方案下，通过向服务器发送默认视角下的可见区域，服务器根据默认视角下的可见区域对视频分片进行下载。
在一个可能的设计中，所述客户端根据所述默认视角下的可见区域，下载对应的视频分片，包括：处理单元，用于确定所述默认视角下的可见区域中包括的视频分块。发送单元，用于客户端向服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求以便于所述服务器向客户端发送所述视频分块编码后的视频分片。接收单元，用于接收所述服务器发送的视频分片。在分块传输方案下，根据辅助信息确认默认视角下的可见区域对应的视频分块，从而获取所述视频分块编码后的视频分片。
在一个可能的设计中，所述处理单元确定所述默认视角下的可见区域中包括的视频分块，包括：所述处理单元，确定全景视频中各视频分块中与所述默认视角下的可见区域的重叠区域大于预设阈值的视频分块为所述默认视角下的可见区域中包括的视频分块。通过对所述视频分片重叠区域大于阈值的视频分片进行下载，避免了对只有很小区域显示的视频分片作为可见区域进行下载，减少了流量的浪费。
在一个可能的设计中，所述发送单元向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求，包括向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块的高码率视频分片获取请求。
在一个可能的设计中，在所述客户端对全景视频的播放阶段包括：处理单元，用于获取当前视角信息。处理单元，还用于根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域。所述接收单元，用于根据所述优先下载的视频区域，下载与所述优先下载的视频区域相对应的视频分片。在视频播放过程中，通过判断优先下载区域包括当前视角信息或当前视角信息和默认视角信息，尽可能的满足全景视频播放过程的流畅性。
在一个可能的设计中，所述处理单元根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域，包括：所述处理单元判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片。当所述优先下载的视频区域包括默认视角信息对应的视频区域的视频分片时，所述处理单元根据当前视角信息和默认视角信息，确定优先下载的视频区域。当所述优先下载的视频区域不包括默认视角信息对应的视频区域的视频分片时，所述处理单元根据当前视角信息，确定优先下载的视频区域。通过判断优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片，满足当前视角视频播放的流畅性。
在一个可能的设计中，所述处理单元判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片，包括：所述处理单元判断当前客户端在所述当前视角的缓冲区空余空间是否大于缓冲阈值。当所述客户端在所述当前视角的缓冲区空余空间大于所述缓冲阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。或者，所述处理单元确定客户端当前可用带宽以及下载默认视角信息对应的视频区域的视频分片所需的带宽；当所述客户端获取当前视角信息对应的视频区域的视频分片和获取默认视角信息对应的视频区域的视频分片所需的带宽小于所述当前可用带宽的阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。或者，所述处理单元确定已播放全景视频中用户视角落在所述默认视角信息对于的视频区域的时间长度比例，当所述时间长度比例大于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。或者，所述处理单元确定当前视角信息对应的视频区域与所述默认视角信息对于的视频区域的距离，当所述距离小于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。通过多种方式判断优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片，从而在保证当前视角的视频区域播放流畅的同时，尽可能保证当前视角切换为默认视角时播放的流畅性。
第三方面，本发明具体实施例提供一种客户端，包括存储器、处理器以及通信接口。其中，所述存储器用于存储计算机可读程序。所述处理器通过运行所述存储器中的程序，以完成如第一方面任一所述。所述通信接口用于在所述处理器的控制下接收和发送数据。
第四方面，提供了一种计算机可读存储介质，用于储存为上述客户端所用的计算机程序指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任意一项的全景视频中视频分片的下载方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面中任意一项的全景视频中视频分片的下载方法。
本发明实施例提供的一种全景视频中视频分片的下载方法和装置。在全景视频播放的初始化阶段，客户端通过获取全景视频的默认视角信息，从而下载与默认视角信息对应的视频分片。使客户端在初始化时获取与默认视角对应的视频区域的视频分片。避免了重新下载默认视角对应块的视频分片，造成初始下载时延的增加以及流量的浪费。
附图说明
图1为本发明实施例提供的一种播放全景视频的系统示意图；
图2为本发明具体实施例提供的一种客户端架构示意图；
图3为本发明具体实施例提供的一种全景视频中视频分片的下载方法；
图4为本发明具体实施例提供的一种全景视频播放过程中的视频分片下载流程；
图5为本发明实施例提供的一种客户端；
图6为本发明实施例提供的一种客户端。
具体实施方式
下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。
在本发明的具体实施例中，提供了一种全景视频中视频分片的下载方法和装置。客户端在初始化时获取全景视频的辅助信息，所述辅助信息包括该全景视频的提供商指定的默认视角信息。客户端根据所述默认视角和客户端本身的视角大小，确定客户端在默认视角下的可见区域。其中，所述客户端本身的视角大小取决于客户端硬件的显示区域大小，由客户端在本地维护。根据所述客户端在默认视角下的可见区域，下载相对应的视频分片并进行播放。
图1为本发明实施例提供的一种播放全景视频的系统示意图。在所述系统中，包括服务器和客户端。所述服务器作为全景视频提供平台，供客户端下载。所述客户端用于从服务器下载全景视频，并对下载的全景视频进行播放。在本发明的具体实施例中，所述客户端可以是任意能够进行全景视频播放的设备。本发明不对客户端进行具体的限定。
所述全景视频从服务器向客户端传输时，包括全幅传输、分块传输和视角传输三种传输形式。
分块传输时，服务器将全景视频中的全景图像按预定义规则切分成多块(tile)，每块的图像进行独立的编码，形成视频分片。服务器在收到客户端发送的一个或多个视频分片的获取请求时，所述服务器向客户端发送相应的视频分片。
在视角传输时，客户端实时向服务器发送根据当前视角信息和客户端的视角大小确定的可见区域。服务器根据可见区域，对全景视频中与所述默认视角下的可见区域相对应的视频区域进行编码，形成视频分片。所述服务器还将编码后的视频分片向客户端发送。
全景视频的播放包括初始化阶段和播放阶段。初始化阶段时，客户端向所述服务器发送需要播放的全景视频的标识信息。所述服务器根据所述标识信息确定需要播放的全景视频，并向所述客户端发送所述全景视频的辅助信息。在视角传输方案下，所述辅助信息包括全景视频的初始播放时的默认视角信息(FOV,Field of view)。所述客户端根据当前视角信息和客户端的视角大小确定可见区域，并将所述可见区域向服务器发送。所述服务器根据所述可见区域对全景视频进行编码、形成视频分片，并将所述视频分片向客户端发送。
在分块传输方案下，所述辅助信息可以包括默认视角信息、各个分块的信息。所述客户端根据默认视角信息和客户端的视角大小确定客户端在默认FOV的可见区域。根据所述可见区域和各个分块的信息，确定可见区域对应的视频分块。所述客户端向服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求。服务器根据所述请求中包括的视频分块向客户端发送所述视频分块编码后的视频分片。
所述客户端在接收编码后的视频分片时，对接收的视频分片进行播放。所述客户端进行视频播放时，进入播放阶段。在全景视频播放的过程中，可以对全景视频的视角进行调整。例如通过拖动鼠标、转动头部等方式来更改当前视角信息。
在分块传输方案下的播放阶段，客户端根据当前视角和客户端的视角大小确定所述客户端在当前视角下的可见区域。所述客户端还根据所述可见区域和各个分块的信息，确定当前视角下可见区域对应的视频分片。并依据上述初始化阶段相同的步骤，获取相应的视频分片并进行播放。在视角传输方案下的播放阶段，客户端实时向服务器发送当前视角信息。并通过服务器获取相应编码后的视频分片。
所述默认FOV是内容提供商(CP，content provider)制作该全景视频时指定的视角，通常该视角对应的区域是主要事件发生的位置。
图2为本发明具体实施例提供的一种客户端架构示意图。如图2所示，所述客户端可以具有RF(Radio Frequency，射频)电路110、存储器120、其他输入设备130、显示屏140、传感器150、音频电路160、I/O子系统170、处理器180、以及电源190等部件。
本领域技术人员可以理解，图2中示出的客户端结构并不构成对客户端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。本领领域技术人员可以理解显示屏140属于用户界面(UI，User Interface)，且客户端100可以包括比图示或者更少的用户界面。
下面对客户端100的各个构成部件进行具体的介绍：
RF电路110可用于信号的接收和发送，特别地，将基站的下行信息接收后，给处理器180处理。另外，将上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(Code DivisionMultiple Access，码分多址)、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short MessagingService，短消息服务)等。
存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行客户端100的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图象播放功能等)等。存储数据区可存储根据客户端100的使用所创建的数据(比如全景视频、全景视频分片、全景视频辅助信息等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其他输入设备130可用于接收输入的数字或字符信息，以及产生与客户端100的用户设置以及功能控制有关的键信号输入。具体地，其他输入设备130可包括但不限于传感器、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)等中的一种或多种。其它输入设备130与I/O子系统170的其他输入设备控制器171相连接，在其它设备输入控制器171的控制下与处理器180进行信号交互。
显示屏140可用于显示全景视频当前视角的信息以及客户端100的各种菜单，还可以接受用户输入。具体的，显示屏140可包括显示面板141，显示面板141可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。
客户端100还可包括传感器150，比如运动传感器以及其他传感器。具体地，所述运动传感器可以包括多种，作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于振动识别相关功能(比如计步器、敲击)等；至于客户端100还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其它传感器，在此不再赘述。
音频电路160、音频播放器161，麦克风162可提供用户与客户端100之间的音频接口。音频电路160可将接收到的音频数据转换后的信号，传输到音频播放器161，由音频播放器161转换为声音信号输出。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据发送至处理器180，或者将音频数据输出至存储器120以便进一步处理。
I/O子系统170用来控制输入输出的外部设备，可以包括其它设备输入控制器171、传感器控制器172和显示控制器173。可选的，一个或多个其它输入控制设备控制器171从其它输入设备130接收信号和/或者向其它输入设备130发送信号，其它输入设备130可以包括物理按钮(按压按钮、摇臂按钮等)、滑动开关、操纵杆、点击滚轮、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)。值得说明的是，其它输入控制设备控制器171可以与任一个或者多个上述设备连接。传感器控制器172可以从一个或者多个传感器150接收信号和/或者向一个或者多个传感器150发送信号。
处理器180是客户端100的控制中心，利用各种接口和线路连接整个客户端的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行客户端100的各种功能和处理数据，从而对客户端进行整体监控。可选的，处理器180可包括一个或多个处理单元；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
客户端100还包括给各个部件供电的电源190(比如电池)。优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
尽管未示出，客户端100还可以包括摄像头、蓝牙模块等，在此不再赘述。
为了本法发明具体实施例所述的全景视频中默认视角的下载进行更加详细的说明，下面通过方法流程对全景视频中默认视角的下载进行更加详细的说明。
如图3为本发明具体实施例提供的一种全景视频中视频分片的下载方法。所述方法可以应用在上述图1和图2所述的客户端中。所述方法为初始化阶段的方法。如图3所示，所示方法包括：
S301、客户端接收全景视频的辅助信息，所述辅助信息包括所述全景视频对应的默认视角信息。
S302、客户端根据所述默认视角信息和所述客户端的视角大小，确定所述客户端在默认视角下的可见区域。
S303、所述客户端根据所述默认视角下的可见区域，下载对应的视频分片。
下面对每个方法流程进行更加详细的说明。
S301、客户端接收全景视频的辅助信息，所述辅助信息包括所述全景视频对应的默认视角信息。
所述客户端在接收所述全景视频的辅助信息前，所述方法还包括向服务器发送视频播放请求，所述视频播放请求中包括需要播放的全景视频的信息。服务器根据视频播放请求和需要播放的全景视频的信息，向客户端发送相应全景视频的辅助信息。所述辅助信息包含内容提供商(Content Provider,CP)指定的该视频分片的默认视角信息。
在一个例子中，所述辅助信息通过动态自适应流超文本传送协议(DynamicAdaptive Streaming over HTTP，DASH)方案进行发送。DASH播放器从服务器下载媒体介绍说明(Media Presentation Description，MPD)文件，该文件包括和全景视频的辅助信息。
在一种现有技术中，服务器向客户端发送MPD文件具体包括：
在上述MPD文件中，包括了全景视频四个块。每个块分别对应全景视频的一个角度，每个角度下包括在该角度下的多个时间连续的视频分块。在一个例子中，所述“Tile1”表示全景视频中0-90度范围，所述“Tile2”表示全景视频中90度-180度范围，所述“Tile3”表示全景视频中180度-270度范围，所述“Tile4”表示全景视频中角度270度-360度范围。在一个块中，“upplementalProperty::schemeIdUri＝”urn:mpeg:dash:srd:2014”，来告知客户端该分块对应的是一个视频分块。“SupplementalProperty::value”值用来表示该分块的空间信息。通过“mimeType”来表示该分块的信息，所述分块信息可以包括视频分块的类型、视频的宽度、高度角度等信息。每个分块通过Representation来定义该分块对应的视频分片信息，在本例子中，tile1包含了3个时间上连续的视频分片(tile1_video_1.mp4，tile1_video_2.mp4，tile1_video_3.mp4)，通过SegmentList定义，每个分片长度为10s。
具体的，所述空间信息可以表示所述分块的“分块id，分块左上角x坐标，分块左上角y坐标，分块高度，分块宽度，全景图像高度，全景图像宽度”。例如，tile1的value值“0,0,0,1,1,2,2”表示该分块属于视频0，左上角位于(0,0)位置，大小为1x1，整个全景图像的大小为2x2，即该分块位于全景图像左上角1/4区域。
在本发明的具体实施例中，所述分块的空间信息后还可以增加所述分块的默认视角信息。从而使客户端在获取辅助信息时，也能够同时获取视频分片的默认视角信息。所述默认视角信息可以由二维坐标信息、角度坐标信息或分块是否可见信息等多种信息表述方式中的任意一种进行描述。
在通过二维坐标信息对视频分片的视角中心进行描述的方法中，通过参数X0来表述默认视角中心在矩形坐标区域的横坐标，通过参数Y0来表述默认视角中心在矩形坐标区域的纵坐标。从而使所述客户端根据所述X0和Y0来表示所述视频分配的默认视角信息。
例如，所述客户端接收的SupplementalProperty::value值表示的该分块的空间信息和默认视角信息为“0,0,0,1,1,2,2,0.5,0.5”。则表示，该分块属于视频0，左上角位于(0,0)位置，大小为1x1，整个全景图像的大小为2x2，即该分块位于全景图像左上角1/4区域，默认视角中心位于坐标(0.5,0.5)的位置。
所述角度坐标信息既可以是旋转角度信息也可以是经纬度信息。
在通过旋转角度信息对视频分块的默认视角中心进行描述的例子中，通过参数X1来表述默认视角对应的俯视角，通过参数Y1来表述默认视角对应的偏航角，通过参数Z1来表述默认视角对应的翻滚角。
例如，所述客户端接收的SupplementalProperty::value值表示的该分块的空间信息和默认视角信息为“0,0,0,1,1,2,2,0,0,0”。则表示，该分块属于视频0，左上角位于(0,0)位置，大小为1x1，整个全景图像的大小为2x2，即该分块位于全景图像左上角1/4区域，默认视角中心位于旋转角为(0,0,0)的位置。
在通过经纬度信息对视频分块的默认视角中心进行描述的例子中，通过参数X2来表述默认视角对应的经度，通过参数Y2来表示默认视角对应的维度。
例如，所述客户端接收的SupplementalProperty::value值表示的该分块的空间信息和默认视角信息为“0,0,0,1,1,2,2,0,90”。则表示，该分块属于视频0，左上角位于(0,0)位置，大小为1x1，整个全景图像的大小为2x2，即该分块位于全景图像左上角1/4区域，默认视角中心位于经度0，维度90度的位置。
在通过视频分块是否可见信息对视频分块的默认视角中心进行描述的例子中，通过参数“1”来表述该分块默认可见，通过参数“0”来表述该分块默认不可见。
例如，所述客户端接收的SupplementalProperty::value值表示的该分块的空间信息和默认视角信息为“0,0,0,1,1,2,2,1”。则表示，该分块属于视频0，左上角位于(0,0)位置，大小为1x1，整个全景图像的大小为2x2，即该分块位于全景图像左上角1/4区域，该全景视频的默认视角位于tile1的位置。
需要说明的，当客户端接收到的分块的空间信息和默认视角信息中，多个分块的默认视角信息均表述视频分块可见时，同时获取该多个可见的视频分块编码后的视频分片。将多个视频分片的中心位置作为所述全景视屏播放时的默认视角中心。
当然，全景视频中，不同的播放时刻，全景视频的默认视角可能发生变化。所述客户端需要根据新接收的辅助信息中包括的默认视角信息确定新的默认视角，并基于所述新的默认视角下载相应的视频分片。
上述实施例中，全景视频默认视角的信息放在MPD文件中仅为本发明的一种举例，而不能用于对本发明发送默认视角的信息的限定。也可以通过其他方式携带全景视频默认视角的信息，比如在电子节目单(electronic program guide，EPG)、或者传输“transportstream，TS”流的节目映射表(Program Map Table，PMT)中增加对应的字段，指示该节目的默认视角信息。
在本发明的具体实施例中，上述接收MPD文件，并根据所述MPD文件中包括的默认视角信息确定默认视角的方法仅适用于基于分块传输的方案中。当采用视角传输时，所述服务器接收客户端发送的需要播放的全景视频的相关信息后，所述服务器向客户端发送默认视角的信息。客户端根据默认视角的信息确定全景视频的默认视角。所述服务器向客户度发送的默认视角信息可以通过二维坐标信息或角度坐标信息向客户端发送。所述客户端在视角传输方案下，采用二维坐标信息或角度坐标信息向客户端发送全景视频默认视角的信息与上述分块传输是的方案相同，本发明对此不再敖述。
S302、客户端根据所述默认视角信息和所述客户端的视角大小，确定所述客户端在默认视角下的可见区域。
当所述全景视频默认视角的信息由二维坐标信息或角度坐标信息表示时，则客户端直接解析辅助信息，并根据客户端的视角大小信息，得到所述默认视角的可见区域。
所述默认视角的可见区域通过默认视角和客户端的视角大小信息来确定。即以默认视角信息为可见区域的中心，根据客户端的视角大小来确定可见区域的大小。进一步的，客户端也可根据上述信息，计算出默认视角在视频二维图像中的一个矩形区域，将该矩形区域作为所述可见区域。
如果辅助信息是以视频分片是否可见信息来表示时，则客户端根据辅助信息中包括的视频分片是否可见来确定哪些分块可见。所述可见分块即对应默认视角的可见区域。
S303、所述根据所述默认视角下的可见区域，下载对应的视频分片。
在本发明的具体实施例中，所述客户端下载对应的视频分片在视角传输和分块传输时有所不同。在分块传输时，根据默认视角的可见区域或视频分块是否可见来决定需要下载的视频分片。
在视频分块是否可见的方案中，直接根据视频分块是否可见来确定是否下载该分块对应的视频分片。
在默认视角的可见区域中，根据默认视角的可见区域和视频分块的空间信息，确定视频分块是否在默认视角的可见区域的范围内。当所述视频分块在默认视角的可见区域内时，获取该分块对应的视频分片，当所述视频分块不在默认视角的可见区域内时，不获取该分块对应的视频分片。
在默认视角的可见区域中，另一种方法是对默认视角可见区域内的视频分块，获取对应高码率的视频分片；对区域外的视频分片，获取对应低码率的视频分片。
在分块传输下载相应的视频分片时，客户端向服务器发送需要下载的视频分片的信息及下载请求。服务器向客户端发送相应的视频分片，客户端获取相应的视频分片。在视角传输下载相应的视频分片时，需要向服务器发送所述默认视角的可见区域信息。服务器根据所述默认视角的可见区域的信息，生成对应的视频分片并向客户端发送。客户端获取服务器发送的相应的视频分片。
需要说明的是，当辅助信息中默认视角的信息通过角度坐标信息来定义时，获取该视频分片的客户端直接将该值设置为当前视角。当辅助信息中默认视角信息通过二维坐标信息的来定义时，还需要将所述二维坐标转换为角度坐标。所述二维坐标到角度坐标的转换为现有技术，本发明对此不再赘述。
当采用指示视频分片是否可见的信息来定义默认视角的信息时，客户端将可见分块的中心位置当做视角的中心位置，计算对应的角度坐标，以此设置当前视角。当然，有可能有多个分块都被设置为可见，在这种情况下，首先计算一个最小的空间区域能包围所有可见分块，然后以该空间区域的中心点作为视角中心，计算并设置当前视角。
需要说明的是，客户端在计算出所述默认视角信息后，可以在本地保存该视角信息，以供后续交互使用。例如客户端可以提供切换为默认视角功能，当用户选择对应功能(例如点击对应按钮或图标)时，客户端读取保存的默认视角值，并将当前视角重新设置为默认视角。
在本发明的上述实施例中，客户端在获取视频分片前获取包括默认视角信息的辅助信息。通过默认视角信息，确定客户端在默认视角下的可见区域，从而获取与默认视角下的可见区域相对应的视频分片。从而避免了下载的视频分片和默认视角不对应的问题。避免了因为需要重新下载默认视角对应的视频分片造成的流量浪费和时延增加。
除了上述在视频开始播放时，通过先获取默认视角的信息，避免了重新下载默认视角对应的视频区域的视频分片造成的流量浪费和时延增加的问题，本发明具体实施例还提供了一种全景视频播放过程中，减少画面卡顿、模糊的问题。
在全景视频的播放过程中，由于用户视角的变化(例如转头，或用鼠标改变视角等)，导致当前播放的可见区域与默认视角的可见区域不同。例如，在视角传输方案中，客户端播放的画面是根据客户端上报的当前视角进行下载的。由于客户端下载的视角是未来一段时间的视频分片，而当前视角记录的是客户端当前的视角，两者可能是不一致的。
例如，在演唱会场景下用户偶然将头转向舞台左侧，此时当前视角变成了左侧区域，客户端开始下载并缓存左侧区域的视频分片。过了一会，用户将头转回舞台中央，而此时由于客户端缓存的是左侧区域的视频分片，因此客户端需要重新去下载中心区域的视频分片，导致画面出现卡顿或模糊。
基于上述问题，本发明具体实施例还提供了一种全景视频播放过程中视频分片的下载方法。所述方法可以应用在图1和图2所述的客户端中。
下面，通过具体的方法流程对全景视频播放过程中的视频分片下载流程进行说明。图4为本发明具体实施例提供的一种全景视频播放过程中的视频分片下载流程。所述方法可以应用在上述图1和图2所述的客户端中。如图4所示，所述方法流程具体包括：
S401、所述客户端获取当前视角信息。
S402、所述客户端根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域。
S403、所述客户端根据所述优先下载的视频区域，下载与所述优先下载的视频区域相对应的视频分片。
下面，对上述流程中的各个步骤进行更加详细的说明。
S401、所述客户端获取当前视角信息。
所述当前视角信息通常是客户端当前视角相对于默认视角角度坐标，或者是客户端当前中心视角相对于默认视角中心的二维坐标。在本发明的具体实施例中，所述客户端通常包括能够获取旋转角度的运动传感器。通过所述运动传感器，获取客户端当前视角信息。
S402、所述客户端根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域。
所述客户端根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域通常包括两种方案。在第一种方案中，所述客户端直接根据所述默认视角信息和所述当前视角信息，计算优先下载的视频区域。在第二中方案中，所述客户端需要判定是否下载默认视角信息对应的视频区域的视频分片。当需要下载默认视角信息对应的视频区域的视频分片时，所述客户端根据默认视角信息和当前视角信息，计算优先下载的视频区域。当所述客户端不需要下载默认视角信息对应的视频区域的视频分片时，客户端根据当前视角信息，计算优先下载的视频区域。
所述视频区域与前述的可见区域相同，通过客户端视角的大小和当前视角来表示。当然，视频区域也可以是以二维矩形坐标表示，在通过二维矩形坐标表示的方案中，客户端需要根据当前的视角信息和客户端视角的大小，来计算当前视角在二维全景图像中对应的矩形区域坐标。所述客户端根据当前的视角信息和客户端视角的大小计算出当前视角在二维全景图像中对应的矩形区域坐标为现有技术，本发明在此不做赘述。
在第一种方案中，客户端根据用户当前视角信息和默认视角信息，分别计算出独立的视频区域对应的视频分片。也可以是客户端分别计算出当前视角和默认视角的独立的视频区域对应的视频分片，然后将上述两个视频区域对应的视频分片合并成一个统一的视频区域，使得该视频区域包含上述各个独立的视频区域。通常可以采用计算最小矩形的方式来获得上述统一视频区域。
客户端确定优先下载的视频区域，首先需要根据当前缓冲区空余空间大小、可用带宽、当前视角信息对应的视频区域与所述默认视角信息对于的视频区域的距离或默认视角命中概率中的任意一种或多种来判断优先下载区域是否包括默认视角信息对应的视频区域。
在根据当前缓冲空余空间大小判断优先下载区域是否包括默认视角信息对应的视频区域的例子中。当缓冲区空余空间数据充足时，此时额外下载更多的数据并不会影响当前视频的播放。因此，优先下载区域可以包括默认视角信息对应的视屏区域。当缓冲区域空余空间数据存储不足时，此时额外下载更多的数据会影响当前视角下全景视频的播放。因此，优先下载区域不包括默认视角信息对应的视屏区域。
在本发明的具体实施例中可以对缓冲区数据是否充足设置阈值，当缓冲区存储的数据播放时长大于所述阈值时，所述当前视角信息对应的视频区域和默认视角信息对应的视频区域为优先获取的视频区域。当缓冲区空余空间存储的数据小于播放时长的阈值时，优先下载区域不包括默认视角信息对应的视频区域。例如设置所述阈值为缓冲区数据播放时间为30秒，当已缓冲的数据长度超过阈值时，确定优先下载区域包括默认视角信息对应的视频区域；否则，不包括。
根据可用带宽判断优先下载区域是否包括默认视角信息对应的视频区域的例子中。客户端计算当前的可用带宽，以及下载默认视角对应的视频区域时所需的带宽。根据当前可用带宽和下载默认视角对应的视频区域所需带宽确定优先下载区域是否包括默认视角信息对应的视频区域。例如，当下载默认视角信息对应的视屏区域和下载当前视角信息对应的视频区域所需带宽小于可用带宽的80％时，确定优先下载区域包括默认视角对应的视频区域。否则，不包括默认视角对应的视频区域。
在根据默认视角命中概率判断优先下载区域是否包括默认视角信息对应的视频区域时。根据默认视角命中概率判断优先下载区域是否包括默认视角信息对应的视频区域可以有多种方式。
例如，可以根据默认视角对应的视频区域播放时间长度占当前视频已播放时间长度的比例来确定优先下载区域是否包口默认视角信息对应的视频区域。当默认视角信息对应的视频区域播放时间长度，占当前视频已播放时间长度的比例的80％时，判断优先下载区域是否包括默认视角信息对应的视频区域。否则不包括默认视角信息对应的视频区域。
在根据当前视角信息和默认视角的距离判断优先下载区域是否包括默认视角信息对应的视频区域的例子中。当前视角信息对应的视频区域和默认视角信息对应的视频区域相差小于30度时，判断优先下载区域包括默认视角信息对应的视频区域。否则不包括默认视角信息对应的视频区域。
在本发明的具体实施例中，也可以采用当前缓冲大小、可用带宽和默认视角命中概率和当前视角信息和默认视角的距离同时使用的方式，来确定是否下载默认视角对应的视频区域。例如只有在缓冲区数据播放时间大于一个阈值、下载默认视角信息对应的视屏区域和下载当前视角信息对应的视频区域所需带宽小于可用带宽的阈值、前视角信息对应的视频区域和默认视角信息对应的视频区域相差小于一个阈值时，判断优先下载的视频区域包括默认视角信息对应的视频分片。
S403、根据所述优先下载的视频区域，下载与所述优先下载的视频区域相对应的视频分片。
在视角传输方案下，客户端向服务器发送确定的优先下载的视频区域信息以及视频分片获取请求。服务器根据所述优先下载的视频区域的信息和所述请求，将原始全景视频数据中对应视频区域提取出来。对提前的视频区域重新编码，将编码后的码流发送给客户端。
当客户端确定根据当前视角和默认视角计算优先下载的视频区域时，所述客户端向服务器发送的优先下载的区域视频信息包括当前视角对应的视频区域的信息和默认视角对应的视频区域的信息。当所述客户端确定根据当前视角计算优先下载的视频区域时，所述客户端向服务器发送的优先下载的区域视频信息包括当前视角对应的视频区域的信息。
在分块传输方案下，客户端根据该优先下载视频区域，判断各个分块区域是否落在视频区域内。如果是，则向服务器发送该分块对应视频分片的获取请求，从而下载该分块对应的视频文件所述判断各个分块区域是否落在优先下载视频区域内是根据分块所在的区域和视频区域是否存在重叠部分来确定。进一步的，可以限定重叠阈值。例如，设定分块所在的区域和视频区域的重叠部分超过分块区域面积的20％时，认为该分块落在优先下载视频区域内；反之，认为该分块不在优先下载视频区域内。
在本发明的具体实施例中，所述客户端下载全景视频时，对于优先下载的视频区域，下载所述视频区域的高码率视频分片。所述客户端下载全景视频时，对应优先下载的视频区域以外的其它区域，下载所述区域的低码率视频分片。
在本发明的具体实施例中，上述图4所示的方法通过预先下载并缓存对应的数据，减少用户切换视角时画面停顿或模糊的发生几率。
图5为本发明具体实施例提供的一种客户端。所述客户端可以用户执行图3和图4所述的方法。如图5所示，所述客户端包括接收单元501、处理单元502和发送单元503。其中，所述客户端可用于全景视频的播放。所述全景视频的播放包括初始化阶段和播放阶段。
在所述客户端对全景视频播放的初始化阶段：
接收单元501，用于接收全景视频的辅助信息，所述辅助信息包括所述全景视频对应的默认视角信息。所述默认视角信息由二维坐标信息、角度坐标信息或视频分片是否可见信息中的任意一种表示。
处理单元502，用于根据所述默认视角信息和所述客户端的视角大小，确定所述客户端在默认视角下可见的区域。
所述接收单元501，还用于根据所述默认视角下的可见区域，下载对应的视频分片。
根据所述默认视角下的可见区域，下载对应的视频分片，对与分块传输和视角传输具有不同的方法。
在视角传输方案下：
发送单元503，用于向服务器发送所述默认视角下的可见区域，以便于所述服务器根据所述默认视角下的可见区域，对全景视频中与所述默认视角下的可见区域相对应的视频区域进行编码。
接收单元501，用于接收所述服务器发送的对视频区域编码后的视频分片。
在分块传输方案下：
处理单元502，用于确定所述默认视角下的可见区域中包括的视频分块。
发送单元503，用于客户端向服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求.以便于所述服务器向客户端发送所述视频分块编码后的视频分片。所述发送单元向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块是向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块的高码率视频分片获取请求。
接收单元501，用于接收所述服务器发送的视频分片。
在本发明的具体实施例中，所述处理单元502确定全景视频中各视频分块中与所述默认视角下的可见区域的重叠区域大于预设阈值的视频分块为所述默认视角下的可见区域中包括的视频分块。
在所述客户端对全景视频的播放阶段包括：
处理单元502，用于获取当前视角信息。
处理单元502，还用于根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域。
所述接收单元501，用于根据所述优先下载的视频区域，下载与所述优先下载的视频区域相对应的视频分片。所述处理单元502判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片。当所述优先下载的视频区域包括默认视角信息对应的视频区域的视频分片时，所述处理单元502根据当前视角信息和默认视角信息，确定优先下载的视频区域。当所述优先下载的视频区域不包括默认视角信息对应的视频区域的视频分片时，所述处理单元502根据当前视角信息，确定优先下载的视频区域。
所述处理单元502判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片可以根据当前缓冲区空余空间大小、可用带宽、当前视角信息对应的视频区域与所述默认视角信息对于的视频区域的距离或默认视角命中概率中的任意一种或多种来判断优先下载区域是否包括默认视角信息对应的视频区域。
在根据当前缓冲空余空间大小判断优先下载区域是否包括默认视角信息对应的视频区域的例子中。当所述客户端在所述当前视角的缓冲区空余空间大于所述缓冲阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。
根据可用带宽判断优先下载区域是否包括默认视角信息对应的视频区域的例子中。当所述客户端获取当前视角信息对应的视频区域的视频分片和获取默认视角信息对应的视频区域的视频分片所需的带宽小于所述当前可用带宽的阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。
在根据默认视角命中概率判断优先下载区域是否包括默认视角信息对应的视频区域时。当所述时间长度比例大于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。
在根据当前视角信息和默认视角的距离判断优先下载区域是否包括默认视角信息对应的视频区域的例子中。当所述距离小于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。
图6为本发明实施例提供的一种客户端。如图6所示，所述媒体服务器包括：处理器601、存储器602、通信接口603和总线604。其中，处理器601、存储器602和通信接口603通过总线604实现彼此之间的通信连接。
处理器601可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现前述本发明方法实施例所提供的技术方案。
存储器602可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。存储器602可以存储操作系统和图3、图4所述方法。在通过软件或者固件来实现本发明实施例提供的技术方案时，用于实现本发明前述方法实施例提供的任一可选技术方案的程序代码保存在存储器602中，并由处理器601来执行。通信接口603用以与头端或运营管理平台通信。
总线604可包括一通路，在设备各个部件(例如处理器601、存储器602和通信接口603)之间传送信息。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种全景视频中视频分片的下载方法，其特征在于，所述方法应用于初始化阶段，包括：
客户端接收全景视频的辅助信息，所述辅助信息包括所述全景视频对应的默认视角信息；
客户端根据所述默认视角信息和所述客户端的视角大小，确定所述客户端在默认视角下的可见区域；
客户端根据所述默认视角下的可见区域，下载对应的视频分片。
2.根据权利要求1所述的方法，其特征在于，所述默认视角信息由二维坐标信息、角度坐标信息或视频分片是否可见信息中的任意一种表示。
3.根据权利要求1所述的方法，其特征在于，所述客户端根据所述默认视角下的可见区域，下载对应的视频分片，包括：
所述客户端向服务器发送所述默认视角下的可见区域，以便于所述服务器根据所述默认视角下的可见区域，对全景视频中与所述默认视角下的可见区域相对应的视频区域进行编码；
所述客户端接收所述服务器发送的对视频区域编码后的视频分片。
4.根据权利要求1所述的方法，其特征在于，所述客户端根据所述默认视角下的可见区域，下载对应的视频分片，包括：
所述客户端确定所述默认视角下的可见区域中包括的视频分块；
所述客户端向服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求；以便于所述服务器向客户端发送所述视频分块编码后的视频分片；
所述客户端接收所述服务器发送的视频分片。
5.根据权利要求4所述的方法，其特征在于，所述客户端确定所述默认视角下的可见区域中包括的视频分块，包括：
所述客户端确定全景视频中各视频分块中与所述默认视角下的可见区域的重叠区域大于预设阈值的视频分块为所述默认视角下的可见区域中包括的视频分块。
6.根据权利要求4或5所述的方法，其特征在于，所述客户端向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求，包括：
所述客户端向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块的高码率视频分片获取请求。
7.根据权利要求1所述的方法，其特征在于，所述方法还应用于视频播放阶段，包括：
所述客户端获取当前视角信息；
所述客户端根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域；
所述客户端根据所述优先下载的视频区域，下载与所述优先下载的视频区域相对应的视频分片。
8.根据权利要求7所述的方法，其特征在于，所述客户端根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域，包括：
所述客户端判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片；
当所述优先下载的视频区域包括默认视角信息对应的视频区域的视频分片时，所述客户端根据当前视角信息和默认视角信息，确定优先下载的视频区域；
当所述优先下载的视频区域不包括默认视角信息对应的视频区域的视频分片时，所述客户端根据当前视角信息，确定优先下载的视频区域。
9.根据权利要求8所述的方法，其特征在于，所述客户端判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片，包括：
所述客户端判断当前客户端在所述当前视角的缓冲区空余空间是否大于缓冲阈值；当所述客户端在所述当前视角的缓冲区空余空间大于所述缓冲阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片；或者，
所述客户端确定客户端当前可用带宽以及下载默认视角信息对应的视频区域的视频分片所需的带宽；当所述客户端获取当前视角信息对应的视频区域的视频分片和获取默认视角信息对应的视频区域的视频分片所需的带宽小于所述当前可用带宽的阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片；或者，
所述客户端确定已播放全景视频中用户视角落在所述默认视角信息对于的视频区域的时间长度比例，当所述时间长度比例大于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片；或者，
所述客户端确定当前视角信息对应的视频区域与所述默认视角信息对于的视频区域的距离，当所述距离小于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。
10.一种客户端，其特征在于，所述方客户端用于全景视频的播放；
在所述客户端对全景视频播放的初始化阶段：
接收单元，用于接收全景视频的辅助信息，所述辅助信息包括所述全景视频对应的默认视角信息；
处理单元，用于根据所述默认视角信息和所述客户端的视角大小，确定所述客户端在默认视角下的可见区域；
所述接收单元，还用于根据所述默认视角下的可见区域，下载对应的视频分片。
11.根据权利要求10所述的客户端，其特征在于，所述默认视角信息由二维坐标信息、角度坐标信息或视频分片是否可见信息中的任意一种表示。
12.根据权利要求10所述的客户端，其特征在于，所述客户端根据所述默认视角下的可见区域，下载对应的视频分片，包括：
发送单元，用于向服务器发送所述默认视角下的可见区域，以便于所述服务器根据所述默认视角下的可见区域，对全景视频中与所述默认视角下的可见区域相对应的视频区域进行编码；
接收单元，用于接收所述服务器发送的对视频区域编码后的视频分片。
13.根据权利要求10所述的客户端，其特征在于，所述客户端根据所述默认视角下的可见区域，下载对应的视频分片，包括：
处理单元，用于确定所述默认视角下的可见区域中包括的视频分块；
发送单元，用于客户端向服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求；以便于所述服务器向客户端发送所述视频分块编码后的视频分片；
接收单元，用于接收所述服务器发送的视频分片。
14.根据权利要求13所述的客户端，其特征在于，所述处理单元确定所述默认视角下的可见区域中包括的视频分块，包括：
所述处理单元，确定全景视频中各视频分块中与所述默认视角下的可见区域的重叠区域大于预设阈值的视频分块为所述默认视角下的可见区域中包括的视频分块。
15.根据权利要求13或14所述的客户端，其特征在于，所述发送单元向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块的获取请求，包括：
向所述服务器发送包括所述默认视角下的可见区域中包括的视频分块的高码率视频分片获取请求。
16.根据权利要求10所述的客户端，其特征在于，
在所述客户端对全景视频的播放阶段包括：
处理单元，用于获取当前视角信息；
处理单元，还用于根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域；
所述接收单元，用于根据所述优先下载的视频区域，下载与所述优先下载的视频区域相对应的视频分片。
17.根据权利要求16所述的客户端，其特征在于，所述处理单元根据所述当前视角信息和/或所述默认视角信息，确定优先下载的视频区域，包括：
所述处理单元判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片；
当所述优先下载的视频区域包括默认视角信息对应的视频区域的视频分片时，所述处理单元根据当前视角信息和默认视角信息，确定优先下载的视频区域；
当所述优先下载的视频区域不包括默认视角信息对应的视频区域的视频分片时，所述处理单元根据当前视角信息，确定优先下载的视频区域。
18.根据权利要求17所述的客户端，其特征在于，所述处理单元判断所述优先下载的视频区域是否包括默认视角信息对应的视频区域的视频分片，包括：
所述处理单元判断当前客户端在所述当前视角的缓冲区空余空间是否大于缓冲阈值；当所述客户端在所述当前视角的缓冲区空余空间大于所述缓冲阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片；或者，
所述处理单元确定客户端当前可用带宽以及下载默认视角信息对应的视频区域的视频分片所需的带宽；当所述客户端获取当前视角信息对应的视频区域的视频分片和获取默认视角信息对应的视频区域的视频分片所需的带宽小于所述当前可用带宽的阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片；或者，
所述处理单元确定已播放全景视频中用户视角落在所述默认视角信息对于的视频区域的时间长度比例，当所述时间长度比例大于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片；或者，
所述处理单元确定当前视角信息对应的视频区域与所述默认视角信息对于的视频区域的距离，当所述距离小于预设阈值时，确定优先下载的视频区域包括默认视角信息对应的视频区域的视频分片。
19.一种客户端，其特征在于，包括存储器、处理器以及通信接口；其中，
所述存储器用于存储计算机可读程序；
所述处理器通过运行所述存储器中的程序，以完成如权利要求1至9任一所述的方法；
所述通信接口用于在所述处理器的控制下接收和发送数据。
CN201710157367.8A 2017-03-16 2017-03-16 一种全景视频中视频分片的下载方法和装置 Active CN108632631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710157367.8A CN108632631B (zh) 2017-03-16 2017-03-16 一种全景视频中视频分片的下载方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710157367.8A CN108632631B (zh) 2017-03-16 2017-03-16 一种全景视频中视频分片的下载方法和装置

Publications (2)

Publication Number Publication Date
CN108632631A true CN108632631A (zh) 2018-10-09
CN108632631B CN108632631B (zh) 2020-08-07

Family

ID=63686804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710157367.8A Active CN108632631B (zh) 2017-03-16 2017-03-16 一种全景视频中视频分片的下载方法和装置

Country Status (1)

Country Link
CN (1) CN108632631B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109587579A (zh) * 2018-11-09 2019-04-05 深圳威尔视觉传媒有限公司 基于cdn的多视角码流传输方法、装置、设备和存储介质
CN110913278A (zh) * 2019-12-06 2020-03-24 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质
CN111225293A (zh) * 2018-11-23 2020-06-02 深圳市中兴微电子技术有限公司 一种视频数据处理方法、装置以及计算机存储介质
CN111818336A (zh) * 2019-04-12 2020-10-23 华为技术有限公司 视频处理方法、装置、存储介质以及通信装置
CN111954085A (zh) * 2020-08-06 2020-11-17 咪咕文化科技有限公司 Vr视频显示方法、装置、网络设备及存储介质
CN112218158A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 一种视频处理的方法及设备
CN112770051A (zh) * 2021-01-04 2021-05-07 聚好看科技股份有限公司 一种基于视场角的显示方法及显示设备
CN114979762A (zh) * 2022-04-12 2022-08-30 北京字节跳动网络技术有限公司 视频下载、传输方法、装置、终端设备、服务器及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237505A1 (en) * 2000-06-27 2009-09-24 Ortiz Luis M Processing of entertainment venue-based data utilizing wireless hand held devices
CN104602129A (zh) * 2015-01-27 2015-05-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及系统
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN105554513A (zh) * 2015-12-10 2016-05-04 Tcl集团股份有限公司 一种基于h.264的全景视频传输方法及系统
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105847379A (zh) * 2016-04-14 2016-08-10 乐视控股（北京）有限公司 全景视频运动方向追踪方法及追踪装置
CN105916060A (zh) * 2016-04-26 2016-08-31 乐视控股（北京）有限公司 数据传输的方法、装置及系统
CN106028115A (zh) * 2016-05-18 2016-10-12 乐视控股（北京）有限公司 视频播放方法和装置
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
US20160357410A1 (en) * 2015-06-04 2016-12-08 Microsoft Technology Licensing, Llc Path-linked viewpoints from point of interest
US20170013327A1 (en) * 2015-07-08 2017-01-12 Kt Corporation Facilitating high-definition panoramic videos
CN106385587A (zh) * 2016-09-14 2017-02-08 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及系统
CN106454450A (zh) * 2016-10-31 2017-02-22 努比亚技术有限公司 全景视频播放装置及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237505A1 (en) * 2000-06-27 2009-09-24 Ortiz Luis M Processing of entertainment venue-based data utilizing wireless hand held devices
CN104602129A (zh) * 2015-01-27 2015-05-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及系统
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
US20160357410A1 (en) * 2015-06-04 2016-12-08 Microsoft Technology Licensing, Llc Path-linked viewpoints from point of interest
US20170013327A1 (en) * 2015-07-08 2017-01-12 Kt Corporation Facilitating high-definition panoramic videos
CN105554513A (zh) * 2015-12-10 2016-05-04 Tcl集团股份有限公司 一种基于h.264的全景视频传输方法及系统
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105847379A (zh) * 2016-04-14 2016-08-10 乐视控股（北京）有限公司 全景视频运动方向追踪方法及追踪装置
CN105916060A (zh) * 2016-04-26 2016-08-31 乐视控股（北京）有限公司 数据传输的方法、装置及系统
CN106028115A (zh) * 2016-05-18 2016-10-12 乐视控股（北京）有限公司 视频播放方法和装置
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
CN106385587A (zh) * 2016-09-14 2017-02-08 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及系统
CN106454450A (zh) * 2016-10-31 2017-02-22 努比亚技术有限公司 全景视频播放装置及方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109587579A (zh) * 2018-11-09 2019-04-05 深圳威尔视觉传媒有限公司 基于cdn的多视角码流传输方法、装置、设备和存储介质
CN111225293B (zh) * 2018-11-23 2023-10-03 深圳市中兴微电子技术有限公司 一种视频数据处理方法、装置以及计算机存储介质
CN111225293A (zh) * 2018-11-23 2020-06-02 深圳市中兴微电子技术有限公司 一种视频数据处理方法、装置以及计算机存储介质
CN111818336A (zh) * 2019-04-12 2020-10-23 华为技术有限公司 视频处理方法、装置、存储介质以及通信装置
CN112218158B (zh) * 2019-07-12 2021-12-28 华为技术有限公司 一种视频处理的方法及设备
CN112218158A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 一种视频处理的方法及设备
CN110913278B (zh) * 2019-12-06 2022-04-08 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质
CN110913278A (zh) * 2019-12-06 2020-03-24 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质
CN111954085A (zh) * 2020-08-06 2020-11-17 咪咕文化科技有限公司 Vr视频显示方法、装置、网络设备及存储介质
CN112770051A (zh) * 2021-01-04 2021-05-07 聚好看科技股份有限公司 一种基于视场角的显示方法及显示设备
CN112770051B (zh) * 2021-01-04 2022-01-14 聚好看科技股份有限公司 一种基于视场角的显示方法及显示设备
CN114979762A (zh) * 2022-04-12 2022-08-30 北京字节跳动网络技术有限公司 视频下载、传输方法、装置、终端设备、服务器及介质
CN114979762B (zh) * 2022-04-12 2024-06-07 北京字节跳动网络技术有限公司 视频下载、传输方法、装置、终端设备、服务器及介质

Also Published As

Publication number Publication date
CN108632631B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN108632631A (zh) 一种全景视频中视频分片的下载方法和装置
CN111544886B (zh) 一种画面显示的方法以及相关装置
CN108965980B (zh) 推荐内容显示方法、装置、终端及存储介质
US10659844B2 (en) Interaction method and system based on recommended content
CN106791958B (zh) 位置标记信息生成方法及装置
CN109905754B (zh) 虚拟礼物收取方法、装置及存储设备
CN108211352B (zh) 一种调节画质的方法及终端
US20170302990A1 (en) Method, terminal, and system for processing data of video stream
CN105554550B (zh) 视频播放方法及装置
WO2016173427A1 (zh) 一种残影效果的实现方法，装置以及计算机可读介质
CN110881136A (zh) 视频帧率控制方法、装置、计算机设备及存储介质
CN105792006A (zh) 互动信息显示方法及装置
CN106973321B (zh) 确定视频卡顿的方法及装置
CN104811787A (zh) 游戏视频录制方法及装置
EP4068790A1 (en) Method for controlling video playback, terminal device, server, and storage medium
CN112363785A (zh) 一种终端显示方法、终端及计算机可读存储介质
CN108628515B (zh) 一种多媒体内容的操作方法和移动终端
WO2021143386A1 (zh) 资源传输方法及终端
US20150293741A1 (en) Method for real-time multimedia interface management
CN112996042A (zh) 网络加速方法、终端设备、服务器及存储介质
CN111510757A (zh) 一种共享媒体数据流的方法、装置以及系统
CN109101151B (zh) 一种信息显示处理方法及终端设备
US20150325210A1 (en) Method for real-time multimedia interface management
US20170337162A1 (en) Web page display method, terminal, and storage medium
CN105812956A (zh) 视频直播过程中的节目信息提示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant