CN112312159A - 视频的缓存方法和装置 - Google Patents

视频的缓存方法和装置 Download PDF

Info

Publication number
CN112312159A
CN112312159A CN201910695941.4A CN201910695941A CN112312159A CN 112312159 A CN112312159 A CN 112312159A CN 201910695941 A CN201910695941 A CN 201910695941A CN 112312159 A CN112312159 A CN 112312159A
Authority
CN
China
Prior art keywords
image frame
playing
hotspot
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910695941.4A
Other languages
English (en)
Inventor
周爱彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910695941.4A priority Critical patent/CN112312159A/zh
Priority to PCT/CN2020/105637 priority patent/WO2021018223A1/zh
Publication of CN112312159A publication Critical patent/CN112312159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供一种视频的缓存方法和装置。本申请视频的缓存方法，包括：向数据分析装置发送热点分析请求，热点分析请求包括播放视频的标识；接收数据分析装置发送的热点信息，热点信息包括播放视频中的至少一个图像帧的热点视角区，热点视角区为对应的图像帧中播放率超过设定阈值的区域；当播放第一图像帧时，根据网络状况和热点信息从流媒体装置下载第一热点视角区的码流，第一热点视角区为第二图像帧中的一个或多个热点视角区，第一图像帧为播放视频中的任意一个图像帧，第二图像帧为播放视频中于第一图像帧之后播放的图像帧。本申请在保证视频播放效率的同时，还不需要的过大的网络带宽，提升网络通信效率。

Description

视频的缓存方法和装置
技术领域
本申请涉及图像处理技术，尤其涉及一种视频的缓存方法和装置。
背景技术
虚拟现实(Virtual Reality，VR)播放360°的全景视频时，为了让配置相对较低的播放设备能够播放高分辨率的视频，例如，播放设备只具备解4K视频的解码能力，而待播放的视频为8K视频，通常是将8K视频的图像帧切分成若干个小块(Tile)，播放时只取视角区(Filed Of View，FOV)内的小块进行拼接和显示。为了避免视角区的码流不能及时缓存，在视频的背景部分叠加了一层分辨率较低(例如4K)且码率较低的背景流，背景流(例如4K)和高清流(例如8K)的内容完全相同，投影后完全重叠，这样的话用户在切换视角时，如果高清流不能及时缓存，用户就会看到基于背景流播放的画面。示例性的，如图1所示，假设将8K视频的其中一帧图像切分成72个小块(Tile1-72)，方框1-3标记出来的部分小块是该帧图像的一个视角区，即人眼在同一时刻实际能够看到的部分。播放时，视角区内的部分基于高清流播放，视角区外的部分仍然基于背景流播放。
由于视角区内的小块是在用户转头到该区域时，播放设备才从服务器下载相应的码流，如果下载速度不够快，则无法及时获取到视角区的高清流，用户就只能看到基于背景流播放的画面，导致体验差。
相关技术中，播放设备把整帧图像的码流全部下载下来，例如上述图1中的72个小块的码流，这样在任意一个视角区，都有已经下载下来的高清流，用户就可以看到任意角度的高清视频。
但是上述方法增加了下载带宽，不但需要的大带宽的网络支持，且会产生大量的冗余数据的传输，降低了网络通信效率。
发明内容
本申请提供一种视频的缓存方法和装置，以在保证视频播放效率的同时，不需要的过大的网络带宽，提升网络通信效率。
第一方面，本申请提供一种视频的缓存方法，包括：
向数据分析装置发送热点分析请求，所述热点分析请求包括播放视频的标识；接收所述数据分析装置发送的热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；当播放第一图像帧时，根据网络状况和所述热点信息从流媒体装置下载第一热点视角区的码流，所述第一热点视角区为第二图像帧中的一个或多个所述热点视角区，所述第一图像帧为所述播放视频中的任意一个图像帧，所述第二图像帧为所述播放视频中于所述第一图像帧之后播放的图像帧。
本申请通信装置通过向数据分析装置请求获取视频的热点信息，根据该热点信息结合网络状况提前缓存即将播放的图像帧的热点FOV，在保证视频播放效率的同时，还不需要的过大的网络带宽，提升网络通信效率。
在一种可能的实现方式中，所述根据网络状况和所述热点信息从流媒体装置下载第一热点视角区的码流，包括：当所述网络状况满足设定的条件时，根据所述热点信息从所述流媒体装置下载所述第一热点视角区的码流。
在一种可能的实现方式中，当播放完所述第一图像帧之后，还包括：向所述数据分析装置发送播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识所述第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间。
本申请，通信装置向数据分析装置发送视频的播放信息，以使数据分析装置基于播放视频中的图像帧的FOV中选的情况，统计图像帧的热点FOV得到热点信息，以使通信装置根据该热点信息结合网络状况提前缓存即将播放的图像帧的热点FOV，在保证视频播放效率的同时，还不需要的过大的网络带宽，提升网络通信效率。
第二方面，本申请提供一种视频的缓存方法，包括：
接收通信装置发送的热点分析请求，所述热点分析请求包括所述播放视频的标识；根据所述播放视频的标识获取热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；向所述通信装置发送所述热点信息。
本申请，数据分析装置向通信装置发送视频的热点信息，以使通信装置根据该热点信息结合网络状况提前缓存即将播放的图像帧的热点FOV，在保证视频播放效率的同时，还不需要的过大的网络带宽，提升网络通信效率。
在一种可能的实现方式中，还包括：接收所述通信装置发送的播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间，所述第一图像帧为所述播放视频中的任意一个图像帧；对所述播放信息进行分析获取所述热点信息。
本申请，数据分析装置根据从通信装置采集的播放信息，基于播放视频中的图像帧的FOV中选的情况，统计图像帧的热点FOV得到热点信息，以使通信装置根据该热点信息结合网络状况提前缓存即将播放的图像帧的热点FOV，在保证视频播放效率的同时，还不需要的过大的网络带宽，提升网络通信效率。
在一种可能的实现方式中，所述对所述播放信息进行分析获取所述热点信息，包括：根据所述播放标记和所述帧时间戳计算所述第一图像帧中的多个视角区的播放率；根据所述多个视角区的播放率获取所述热点信息。
在一种可能的实现方式中，所述根据所述多个视角区的播放率获取所述热点信息，包括：将所述多个视角区的播放率中大于所述设定阈值的视角区确定为所述热点视角区。
第三方面，本申请提供一种通信装置，包括：
发送模块，用于向数据分析装置发送热点分析请求，所述热点分析请求包括播放视频的标识；接收模块，用于接收所述数据分析装置发送的热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；当播放第一图像帧时，根据网络状况和所述热点信息从流媒体装置下载第一热点视角区的码流，所述第一热点视角区为第二图像帧中的一个或多个所述热点视角区，所述第一图像帧为所述播放视频中的任意一个图像帧，所述第二图像帧为所述播放视频中于所述第一图像帧之后播放的图像帧。
在一种可能的实现方式中，所述接收模块，具体用于当所述网络状况满足设定的条件时，根据所述热点信息从所述流媒体装置下载所述第一热点视角区的码流。
在一种可能的实现方式中，所述发送模块，还用于当播放完所述第一图像帧之后，向所述数据分析装置发送播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识所述第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间。
第四方面，本申请提供一种数据分析装置，包括：
接收模块，用于接收通信装置发送的热点分析请求，所述热点分析请求包括所述播放视频的标识；处理模块，用于根据所述播放视频的标识获取热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；发送模块，用于向所述通信装置发送所述热点信息。
在一种可能的实现方式中，所述接收模块，还用于接收所述通信装置发送的播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间，所述第一图像帧为所述播放视频中的任意一个图像帧；所述处理模块，还用于对所述播放信息进行分析获取所述热点信息。
在一种可能的实现方式中，所述处理模块，具体用于根据所述播放标记和所述帧时间戳计算所述第一图像帧中的多个视角区的播放率；根据所述多个视角区的播放率获取所述热点信息。
在一种可能的实现方式中，所述处理模块，具体用于将所述多个视角区的播放率中大于所述设定阈值的视角区确定为所述热点视角区。
第五方面，本申请提供一种终端设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面中任一项所述的方法。
第六方面，本申请提供一种服务器，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第二方面中任一项所述的方法。
第七方面，本申请提供一种计算机可读存储介质，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行上述第一至二方面中任一项所述的方法。
第八方面，本申请提供一种计算机程序，当所述计算机程序被计算机执行时，用于执行上述第一至二方面中任一项所述的方法。
附图说明
图1示例性地给出了图像帧的一种划分小块示意图；
图2示例性地给出了本申请实施例所应用的视频播放系统10的示意性框图；
图3示例性地给出了本申请实施例所应用的终端设备12的示意性框图；
图4为本申请视频的缓存方法实施例一的流程图；
图5示例性地给出了图像帧的一种热点视角示意图；
图6为本申请视频的缓存方法实施例二的流程图；
图7为本申请通信装置实施例的结构示意图；
图8为本申请数据分析装置实施例的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书实施例和权利要求书及附图中的术语“第一”、“第二”等仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
图2示例性地给出了本申请实施例所应用的视频播放系统10的示意性框图。如图2所示，视频播放系统10可包括服务器11和终端设备12，服务器11产生经编码视频数据，因此，服务器11可被称为视频编码装置。终端设备12可对由服务器11所产生的经编码的视频数据进行解码，因此，终端设备12可被称为视频解码装置。服务器11、终端设备12或两个的各种实施方案可包含一或多个处理器以及耦合到所述一或多个处理器的存储器。服务器11和终端设备12可以包括各种装置，包含桌上型计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、无线通信设备或其类似者。
图2中将服务器11和终端设备12绘示为单独的设备，但设备实施例也可以同时包括服务器11和终端设备12或同时包括两者的功能性，即服务器11或对应的功能性以及终端设备12或对应的功能性。在此类实施例中，可以使用相同硬件和/或软件，或使用单独的硬件和/或软件，或其任何组合来实施服务器11或对应的功能性以及终端设备12或对应的功能性。
服务器11和终端设备12之间可通过链路13进行通信连接，终端设备12可经由链路13从服务器11接收经编码视频数据。链路13可包括能够将经编码视频数据从服务器11移动到终端设备12的一或多个通信媒体或装置。服务器11可根据通信标准(例如无线通信协议)来调制经编码视频数据，且可将经调制的视频数据发射到终端设备12。所述一或多个通信媒体或装置可包含无线和/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体或装置可形成基于分组的网络的一部分，基于分组的网络例如为局域网、广域网或全球网络(例如，因特网)。所述一或多个通信媒体或装置可包含路由器、交换器、基站或促进从服务器11到终端设备12的通信的其它设备。
服务器11包括编码器23，另外可选地，服务器11还可以包括视频源15、视频预处理器16、以及通信接口17。具体实现形态中，所述编码器23、视频源15、视频预处理器16、以及通信接口17可能是服务器11中的硬件部件，也可能是服务器11中的软件程序。分别描述如下：
视频源15，可以包括或可以为任何类别的视频捕获设备，用于例如捕获现实世界视频，和/或任何类别的视频或评论(对于屏幕内容编码，屏幕上的一些文字也认为是待编码的视频或图像的一部分)生成设备，例如，用于生成计算机动画视频的计算机图形处理器，或用于获取和/或提供现实世界视频、计算机动画视频(例如，屏幕内容、虚拟现实(virtual reality，VR)视频)的任何类别设备，和/或其任何组合(例如，实景(augmentedreality，AR)视频)。视频源15可以为用于捕获视频的相机或者用于存储视频的存储器，视频源15还可以包括存储先前捕获或产生的视频和/或获取或接收视频的任何类别的(内部或外部)接口。当视频源15为相机时，视频源15可例如为本地的或集成在源设备中的集成相机；当视频源15为存储器时，视频源15可为本地的或例如集成在源设备中的集成存储器。当所述视频源15包括接口时，接口可例如为从外部视频源接收视频的外部接口，外部视频源例如为外部视频捕获设备，比如相机、外部存储器或外部视频生成设备，外部视频生成设备例如为外部计算机图形处理器、计算机或服务器。接口可以为根据任何专有或标准化接口协议的任何类别的接口，例如有线或无线接口、光接口。
视频预处理器16，用于接收原始视频数据并对原始视频数据执行预处理，以获取经预处理的视频数据或经预处理的视频数据。例如，视频预处理器16执行的预处理可以包括整修、色彩格式转换(例如，从RGB格式转换为YUV格式)、调色或去噪。
编码器23(或称视频编码器23)，用于接收经预处理的视频数据，采用相关预测模式(如本文各个实施例中的预测模式)对经预处理的视频数据进行处理，从而提供经编码视频数据。在一些实施例中，编码器23可以用于执行后文所描述的各个实施例，以实现本申请所描述的色度块预测方法在编码侧的应用。
通信接口17，可用于接收经编码视频数据，并可通过链路13将经编码视频数据传输至终端设备12或任何其它设备(如存储器)，以用于存储或直接重构，所述其它设备可为任何用于解码或存储的设备。通信接口17可例如用于将经编码视频数据封装成合适的格式，例如数据包，以在链路13上传输。
终端设备12包括解码器24，另外可选地，终端设备12还可以包括通信接口19、视频后处理器20和显示设备21。分别描述如下：
通信接口19，可用于从服务器11或任何其它源接收经编码视频数据，所述任何其它源例如为存储设备，存储设备例如为经编码视频数据存储设备。通信接口19可以用于藉由服务器11和终端设备12之间的链路13或藉由任何类别的网络传输或接收经编码视频数据，链路13例如为直接有线或无线连接，任何类别的网络例如为有线或无线网络或其任何组合，或任何类别的私网和公网，或其任何组合。通信接口19可以例如用于解封装通信接口17所传输的数据包以获取经编码视频数据。
通信接口19和通信接口17都可以配置为单向通信接口或者双向通信接口，以及可以用于例如发送和接收消息来建立连接、确认和交换任何其它与通信链路和/或例如经编码视频数据传输的数据传输有关的信息。
解码器24(或称为解码器24)，用于接收经编码视频数据并提供经解码视频数据或经解码视频数据。在一些实施例中，解码器24可以用于执行后文所描述的各个实施例，以实现本申请所描述的色度块预测方法在解码侧的应用。
视频后处理器20，用于对经解码视频数据(也称为经重构视频数据)执行后处理，以获得经后处理视频数据。视频后处理器20执行的后处理可以包括：色彩格式转换(例如，从YUV格式转换为RGB格式)、调色、整修或重采样，或任何其它处理，还可用于将将经后处理视频数据传输至显示设备21。
显示设备21，用于接收经后处理视频数据以向例如用户或观看者显示视频。显示设备21可以为或可以包括任何类别的用于呈现经重构视频的显示器，例如，集成的或外部的显示器或监视器。例如，显示器可以包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微LED显示器、硅基液晶(liquid crystal on silicon，LCoS)、数字光处理器(digital lightprocessor，DLP)或任何类别的其它显示器。
图3示例性地给出了本申请实施例所应用的终端设备12的示意性框图。终端设备12可以实现本申请实施例的各种技术的组合。在所说明的实施方式中，终端设备12可以包含成像装置22、编码器23、解码器24(和/或藉由处理单元25的逻辑电路26实施的视频编/解码器)、天线27、一个或多个处理器28、一个或多个存储器29和/或显示装置30。
如图3所示，成像装置22、天线27、处理单元25、逻辑电路26、编码器23、解码器24、处理器28、存储器29和/或显示装置30能够互相通信。如所论述，虽然用编码器23和解码器24绘示终端设备12，但在不同实例中，终端设备12可以只包含编码器23或只包含解码器24。
天线27可以用于传输或接收视频数据的经编码比特流。另外，显示装置30可以用于呈现视频数据。逻辑电路26可以通过处理单元25实施。处理单元25可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。终端设备12也可以包含可选的处理器28，该可选处理器28类似地可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。逻辑电路26可以通过硬件实施，如视频编码专用硬件等，处理器28可以通过通用软件、操作系统等实施。另外，存储器29可以是任何类型的存储器，例如易失性存储器(例如，静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存储器(Dynamic RandomAccess Memory，DRAM)等)或非易失性存储器(例如，闪存等)等。在非限制性实例中，存储器29可以由超速缓存内存实施。逻辑电路26可以访问存储器29(例如用于实施图像缓冲器)。在其它实例中，逻辑电路26和/或处理单元25可以包含存储器(例如，缓存等)用于实施图像缓冲器等。
图4为本申请视频的缓存方法实施例一的流程图，如图4所示，本实施例的方法可以包括：
步骤401、通信装置向数据分析装置发送热点分析请求。
热点分析请求包括播放视频的标识。用户通过终端设备观看视频时，通常是在终端设备上打开视频应用程序(Application，APP)或播放器APP，通过终端设备的通信功能向该APP的服务器请求相应的视频资源，然后终端设备一边播放该视频，一边从服务器下载并缓存该视频的码流，这种采用提前缓存的方法，终端设备就可以给用户提供无卡顿且高清的视频播放体验。
本申请提供的视频的缓存方法应用于VR播放360°的全景视频场景，为了不影响网络通信效率，并且提升用户的观影体验，通信装置(应用于例如图2或图3中的终端设备12)只需要缓存FOV的码流即可。由于通信装置的缓存操作是一个先于视频播放的过程，即通信装置播放视频的过程中，是按照视频的图像帧序列逐帧播放，当前播放的图像帧实际上在播放前已经从流媒体装置(应用于例如图2中的服务器11)下载并缓存了该图像帧的码流，也就是说下载码流的时候通信装置还无法知道用户在观看到该图像帧时的视角，也就无法获取到相应的FOV，因此需要通信装置准确预测FOV。
本申请中，通信装置在确定了用户要播放的视频后，先向数据分析装置发送热点分析请求，在该请求中携带播放视频的标识(Identity，ID)。
步骤402、数据分析装置根据播放视频的标识获取热点信息。
热点信息包括播放视频中的至少一个图像帧的热点视角区，热点视角区为对应的图像帧中播放率超过设定阈值的区域。数据分析装置预先获取了多个视频的热点信息，这些热点信息是图像帧级别的，针对一个视频，数据分析装置统计了该视频中的各个图像帧被选中播放次数最多或较多的FOV。
示例性的，如图1所示，一个图像帧被分成72个小块(Tile1-72)，一个视角区包括12个Tile，视角区和用户的转头角度成一对多的对应关系，即图像帧上的一个FOV可以对应用户在一定范围内的转头角度，这是因为如果用户的转头角度较小，转头前的FOV和转头后的FOV只发生了微小变化，例如，图1中方框1(用户转头前的FOV)和方框2(用户转头后的FOV)内的Tile是相同的，虽然方框1和方框2没有完全重合，但仍可以认为从方框1到方框2没有发生FOV变化；又例如，图1中方框1(用户转头前的FOV)和方框3(用户转头后的FOV)内的Tile不同，此时可以认为从方框1到方框3发生了FOV变化。
数据分析装置就是针对例如上述示例中的各个FOV统计其播放次数，进而可以得到各个FOV的播放率。数据分析装置对一个图像帧的FOV的播放率进行统计，将其中播放率最高或较高的FOV作为该图像帧的热点FOV，进而得到整个视频的热点FOV，形成热点信息。如图5所示，视频的某个图像帧的热点视角，颜色越深的部分说明该区域被用户观看的次数越密集。当数据分析装置收到通信装置的热点分析请求时，可以直接从本地存储的热点信息中获取和播放视频的标识对应的热点信息。这样通信装置可以基于播放视频的热点信息提前预测即将播放的图像帧的热点FOV，下载并缓存该热点FOV的码流，当用户观看到该图像帧时，如果用户的转投角度正对热点FOV，由于已经缓存了码流，则通信装置可以迅速提供相应的图像帧播放。由于热点FOV是整个图像帧中播放次数最多或较多的FOV，表示该FOV很可能是大众感兴趣的区域，基于多用户的选择，数据分析装置选中的热点FOV的命中率就会高很多。
示例性的，以下给出了热点信息的示例，热点信息中包括图像帧在视频中的时间戳，以及图像帧的热点FOV。
例如，0-1,1011，其中，0-1是时间戳，表示视频中从0-1秒，即第一个图像帧，其热点FOV为第1、2、4号Tile。1-2,11011，其中，1-2是时间戳，表示视频中从1-2秒，即第二个图像帧，其热点FOV为第1、2、4、5号Tile。2-3,1011,11100000，其中，2-3是时间戳，表示视频中从2-3秒，即第三个图像帧，其热点FOV为第1、2、4号Tile，或者第6、7、8号Tile。
上述示例中以字符串表示热点FOV，该字符串的每个字符用于表示一个Tile，字符串的最后一个字符对应第1号Tile，倒数第二个字符对应第2号Tile，以此类推。每个字符位上，0表示对应的Tile没有被选中，1表示对应的Tile被选中。在一种可能的实现方式中，本申请还可以采用其他方式表示热点信息，例如对整个图像帧的所有Tile进行分组，给各个组编号，在表示热点FOV时以组号加Tile号的方式表示热点信息。需要说明的是，上述只是举例说明，实际下发的Tile个数可能会更多，至少需要覆盖一个完整的FOV的Tile，例如，图像帧被划分为72个Tile，FOV包括12个Tile。本申请还可以采用其他方式表示热点信息，对此不做具体限定。
步骤403、数据分析装置向通信装置发送热点信息。
步骤404、当播放第一图像帧时，通信装置根据网络状况和热点信息从流媒体装置下载第一热点视角区的码流。
第一热点视角区为第二图像帧中的一个或多个热点视角区，第一图像帧为播放视频中的任意一个图像帧，第二图像帧为播放视频中于第一图像帧之后播放的图像帧。通信装置在播放视频的过程中，一边播放第一图像帧，一边从流媒体装置下载并缓存即将播放的第二图像帧的码流。此时通信装置会结合网络状况，当网络状况满足设定的条件时，通信装置根据热点信息从流媒体装置下载第一热点视角区的码流。例如，第一图像帧的热点信息为2-3,1011,11100000，第一图像帧是从2-3秒的图像帧，其热点FOV有两个，包括第1、2、4号Tile和第6、7、8号Tile，如果当前网络情况很好，则通信装置向流媒体装置请求下载第2-3秒的第1、2、4号Tile和第6、7、8号Tile的码流；如果网络情况一般，则通信装置向流媒体装置请求下载第2-3秒的第1、2、4号Tile的码流；如果网络状况恶劣，只能基本满足当前图像帧的码流下载播放，则通信装置不向流媒体装置请求下载第一图像帧的码流。
本申请中，通信装置根据网络状况确定向流媒体装置请求下载的码流，可以以一种阈值比对方式实现，例如，当网速大于或等于第一阈值时，表示网络状况很好；当网速小于第一阈值且大于或等于第二阈值时，表示网络状况一般；当网速小于第二阈值时，表示网络状况恶劣。又例如，当网速大于或等于第一阈值时，表示网络状况好，此时通信装置向流媒体装置请求下载第2-3秒的第1、2、4号Tile的码流；当网速小于第一阈值时，表示网络状况恶劣，此时通信装置不向流媒体装置请求下载第一图像帧的码流。需要说明的是，上述实现只是示例，通信装置对网络状况的判断还可以采用其他多种方式，只要是可以实现网络状况的量化表示，以确定从流媒体装置请求下载的码流，均可以用于实现本申请的方法。
在一种可能的实现方式中，上述通信装置可以应用于例如图2或图3中的终端设备12，数据分析装置和流媒体装置可以应用于图2中的服务器11。服务器11可以具备流媒体管理、数据采集分析等功能，这些功能可以分别由独立的服务器实现，例如，流媒体服务器、数据分析服务器等，前述数据分析装置应用于数据分析服务器，前述流媒体装置应用于流媒体服务器。服务器11也可以由一个服务器系统实现，作为APP的后台管理平台，从云端提供源视频数据。本申请对于服务器的实现形式不做具体限定。
本申请，通信装置通过向数据分析装置请求获取视频的热点信息，根据该热点信息结合网络状况提前缓存即将播放的图像帧的热点FOV，在保证视频播放效率的同时，还不需要的过大的网络带宽，提升网络通信效率。
图6为本申请视频的缓存方法实施例二的流程图，如图6所示，本实施例的方法可以包括：
步骤601、通信装置向数据分析装置发送播放信息。
播放信息包括播放视频的标识、播放标记和帧时间戳，播放标记用于标识第一图像帧中选中播放的小块，帧时间戳用于表示第一图像帧的播放时间，第一图像帧为播放视频中的任意一个图像帧。通信装置一方面从数据分析装置获取视频的热点信息，另一方面还可以向数据分析装置提供视频实际播放过程中的播放信息。示例性的，视频的播放信息可以如表1所示：
表1
Figure BDA0002149370610000091
表1中的TileMask是用字符串表示图像帧中的Tile的中选结果，其中，字符串的最后一位表示第1号Tile是否被选中，倒数第二位表示第2号Tile是否被选中的情况，以此类推，1表示Tile被选中，0表示Tile没有被选中。例如，1011，表示第1、2、4号Tile被选中，第3号Tile没有被选中，选中的Tile的码流即为图像帧中需要下载并缓存的内容。需要说明的是，表1只是通信装置发送给数据分析装置的播放信息的一种示例，通信装置还可以采用其他格式表示播放信息，本申请对此不做具体限定。
如上所述，图像帧中的FOV和用户的转头角度成一对多的对应关系，一旦该图像帧中某个FOV被选中播放，那么通信装置会在该图像帧的播放信息中，将TileMask中对应于该中选FOV中的全部Tile的字符均被设置为1。
步骤602、数据分析装置对播放信息进行分析获取热点信息。
根据播放标记和帧时间戳计算第一图像帧中的多个视角区的播放率，根据多个视角区的播放率获取热点信息。通信装置将视频的播放信息上报给数据分析装置，数据分析装置针对播放信息进行分析，得到该视频的热点FOV。例如，某视频在第300秒，80％的用户都选择了视角A进行观看，则300秒位置处的图像帧的热点FOV为视角A。
数据分析装置根据播放信息中的播放视频的标识(ContentID)确定视频，根据帧时间戳(TimeStamp)和播放标记(TileMask)按照时间单位(例如秒)分段，统计该时间段内FOV的播放情况选情况。例如，从0-1秒，TileMaskA播放了1025次，播放率为85％，TileMaskB播放了123次，播放率为10％，……；从1-2秒，TileMaskA1播放了625次，播放率为45％，TileMaskA2播放了530次，播放率为40％，……；从2-3秒，TileMaskA播放了625次，播放率为45％，TileMaskB播放了530次，播放率为40％，……。
经过统计，得到以下几种情况：
(1)从0-1秒，选中的FOV比较集中，用户大多观看FOV A(说明FOV A的内容真的很精彩)，该情况下数据分析装置直接将FOV A作为热点FOV。
(2)从1-2秒，FOV A1和FOV A2的重叠部分较多，例如，重叠了10个Tile，该情况下数据分析装置将FOV A1和FOV A2都作为热点FOV，且将二者合并为一个FOV，例如合并的FOV包括14个Tile。
(3)从2-3秒，FOV A和FOV B完全不重叠或只有较少的重叠，该情况下数据分析装置将FOV A和FOV B都作为热点FOV，同时注明二者的优先级，例如FOV A的优先级较高。
(4)图像帧中被选中的FOV比较分散，且播放率比较平均，该情况下数据分析装置不确定热点FOV。
需要说明的是，本申请数据分析装置对播放信息的分析结果(即热点信息)是不断变化的，这是因为不同用户观看相同的视频，由于个人喜好有差异，因此在不同的时间点位置选择的FOV可能不会完全一致，因此随着越来越多的用户观看，数据分析装置基于不同通信装置上报的视频的播放信息分析得到的热点信息也是变化的。即数据分析装置更新热点信息和通信装置确定的要缓存码流的FOV均不是一成不变的。
本申请，数据分析装置根据从通信装置采集的播放信息，基于播放视频中的图像帧的FOV中选的情况，统计图像帧的热点FOV得到热点信息，以使通信装置根据该热点信息结合网络状况提前缓存即将播放的图像帧的热点FOV，在保证视频播放效率的同时，还不需要的过大的网络带宽，提升网络通信效率。
图7为本申请通信装置实施例的结构示意图，如图7所示，本实施例的装置可以应用于图2或图3中的终端设备12，该装置包括：发送模块701和接收模块702，其中，发送模块701，用于向数据分析装置发送热点分析请求，所述热点分析请求包括播放视频的标识；接收模块702，用于接收所述数据分析装置发送的热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；当播放第一图像帧时，根据网络状况和所述热点信息从流媒体装置下载第一热点视角区的码流，所述第一热点视角区为第二图像帧中的一个或多个所述热点视角区，所述第一图像帧为所述播放视频中的任意一个图像帧，所述第二图像帧为所述播放视频中于所述第一图像帧之后播放的图像帧。
在一种可能的实现方式中，所述接收模块702，具体用于当所述网络状况满足设定的条件时，根据所述热点信息从所述流媒体装置下载所述第一热点视角区的码流。
在一种可能的实现方式中，所述发送模块701，还用于当播放完所述第一图像帧之后，向所述数据分析装置发送播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识所述第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间。
本实施例的装置，可以用于执行图4或6所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本申请数据分析装置实施例的结构示意图，如图8所示，本实施例的装置可以应用于图2中的服务器11，该装置包括：接收模块801、处理模块802和发送模块803，其中，接收模块801，用于接收通信装置发送的热点分析请求，所述热点分析请求包括所述播放视频的标识；处理模块802，用于根据所述播放视频的标识获取热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；发送模块803，用于向所述通信装置发送所述热点信息。
在一种可能的实现方式中，所述接收模块801，还用于接收所述通信装置发送的播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间，所述第一图像帧为所述播放视频中的任意一个图像帧；所述处理模块802，还用于对所述播放信息进行分析获取所述热点信息。
在一种可能的实现方式中，所述处理模块802，具体用于根据所述播放标记和所述帧时间戳计算所述第一图像帧中的多个视角区的播放率；根据所述多个视角区的播放率获取所述热点信息。
在一种可能的实现方式中，所述处理模块802，具体用于将所述多个视角区的播放率中大于所述设定阈值的视角区确定为所述热点视角区。
本实施例的装置，可以用于执行图4或6所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、特定应用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种视频的缓存方法，其特征在于，包括：
向数据分析装置发送热点分析请求，所述热点分析请求包括播放视频的标识；
接收所述数据分析装置发送的热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；
当播放第一图像帧时，根据网络状况和所述热点信息从流媒体装置下载第一热点视角区的码流，所述第一热点视角区为第二图像帧中的一个或多个所述热点视角区，所述第一图像帧为所述播放视频中的任意一个图像帧，所述第二图像帧为所述播放视频中于所述第一图像帧之后播放的图像帧。
2.根据权利要求1所述的方法，其特征在于，所述根据网络状况和所述热点信息从流媒体装置下载第一热点视角区的码流，包括：
当所述网络状况满足设定的条件时，根据所述热点信息从所述流媒体装置下载所述第一热点视角区的码流。
3.根据权利要求1或2所述的方法，其特征在于，当播放完所述第一图像帧之后，还包括：
向所述数据分析装置发送播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识所述第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间。
4.一种视频的缓存方法，其特征在于，包括：
接收通信装置发送的热点分析请求，所述热点分析请求包括所述播放视频的标识；
根据所述播放视频的标识获取热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；
向所述通信装置发送所述热点信息。
5.根据权利要求4所述的方法，其特征在于，还包括：
接收所述通信装置发送的播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间，所述第一图像帧为所述播放视频中的任意一个图像帧；
对所述播放信息进行分析获取所述热点信息。
6.根据权利要求4或5所述的方法，其特征在于，所述对所述播放信息进行分析获取所述热点信息，包括：
根据所述播放标记和所述帧时间戳计算所述第一图像帧中的多个视角区的播放率；
根据所述多个视角区的播放率获取所述热点信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述多个视角区的播放率获取所述热点信息，包括：
将所述多个视角区的播放率中大于所述设定阈值的视角区确定为所述热点视角区。
8.一种通信装置，其特征在于，包括：
发送模块，用于向数据分析装置发送热点分析请求，所述热点分析请求包括播放视频的标识；
接收模块，用于接收所述数据分析装置发送的热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；当播放第一图像帧时，根据网络状况和所述热点信息从流媒体装置下载第一热点视角区的码流，所述第一热点视角区为第二图像帧中的一个或多个所述热点视角区，所述第一图像帧为所述播放视频中的任意一个图像帧，所述第二图像帧为所述播放视频中于所述第一图像帧之后播放的图像帧。
9.根据权利要求8所述的装置，其特征在于，所述接收模块，具体用于当所述网络状况满足设定的条件时，根据所述热点信息从所述流媒体装置下载所述第一热点视角区的码流。
10.根据权利要求8或9所述的装置，其特征在于，所述发送模块，还用于当播放完所述第一图像帧之后，向所述数据分析装置发送播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识所述第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间。
11.一种数据分析装置，其特征在于，包括：
接收模块，用于接收通信装置发送的热点分析请求，所述热点分析请求包括所述播放视频的标识；
处理模块，用于根据所述播放视频的标识获取热点信息，所述热点信息包括所述播放视频中的至少一个图像帧的热点视角区，所述热点视角区为对应的所述图像帧中播放率超过设定阈值的区域；
发送模块，用于向所述通信装置发送所述热点信息。
12.根据权利要求11所述的装置，其特征在于，所述接收模块，还用于接收所述通信装置发送的播放信息，所述播放信息包括所述播放视频的标识、播放标记和帧时间戳，所述播放标记用于标识第一图像帧中选中播放的小块，所述帧时间戳用于表示所述第一图像帧的播放时间，所述第一图像帧为所述播放视频中的任意一个图像帧；
所述处理模块，还用于对所述播放信息进行分析获取所述热点信息。
13.根据权利要求11或12所述的装置，其特征在于，所述处理模块，具体用于根据所述播放标记和所述帧时间戳计算所述第一图像帧中的多个视角区的播放率；根据所述多个视角区的播放率获取所述热点信息。
14.根据权利要求13所述的方法，其特征在于，所述处理模块，具体用于将所述多个视角区的播放率中大于所述设定阈值的视角区确定为所述热点视角区。
15.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的方法。
16.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求4-7中任一项所述的方法。
17.一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行权利要求1-7中任一项所述的方法。
18.一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于执行权利要求1-7中任一项所述的方法。
CN201910695941.4A 2019-07-30 2019-07-30 视频的缓存方法和装置 Pending CN112312159A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910695941.4A CN112312159A (zh) 2019-07-30 2019-07-30 视频的缓存方法和装置
PCT/CN2020/105637 WO2021018223A1 (zh) 2019-07-30 2020-07-29 视频的缓存方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910695941.4A CN112312159A (zh) 2019-07-30 2019-07-30 视频的缓存方法和装置

Publications (1)

Publication Number Publication Date
CN112312159A true CN112312159A (zh) 2021-02-02

Family

ID=74230296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910695941.4A Pending CN112312159A (zh) 2019-07-30 2019-07-30 视频的缓存方法和装置

Country Status (2)

Country Link
CN (1) CN112312159A (zh)
WO (1) WO2021018223A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286187A (zh) * 2021-05-21 2021-08-20 杭州米络星科技(集团)有限公司 一种视频加载播放方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933343A (zh) * 2016-06-29 2016-09-07 深圳市优象计算技术有限公司 一种用于720度全景视频网络播放的码流缓存机制
CN106911902A (zh) * 2017-03-15 2017-06-30 微鲸科技有限公司 视频图像传输方法、接收方法及装置
US20170347084A1 (en) * 2016-05-27 2017-11-30 Intel Corporation Virtual reality panoramic video system using scalable video coding layers
CN108337553A (zh) * 2018-02-08 2018-07-27 深圳市兆驰股份有限公司 一种多媒体数据预下载方法
CN109155865A (zh) * 2016-05-24 2019-01-04 高通股份有限公司 在图像中的最感兴趣的区域的先进信号传送

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196001B (zh) * 2010-03-15 2014-03-19 腾讯科技（深圳）有限公司 一种影片文件下载装置及方法
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10063939B1 (en) * 2017-04-26 2018-08-28 International Business Machines Corporation Intelligent replay of user specific interesting content during online video buffering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155865A (zh) * 2016-05-24 2019-01-04 高通股份有限公司 在图像中的最感兴趣的区域的先进信号传送
US20170347084A1 (en) * 2016-05-27 2017-11-30 Intel Corporation Virtual reality panoramic video system using scalable video coding layers
CN105933343A (zh) * 2016-06-29 2016-09-07 深圳市优象计算技术有限公司 一种用于720度全景视频网络播放的码流缓存机制
CN106911902A (zh) * 2017-03-15 2017-06-30 微鲸科技有限公司 视频图像传输方法、接收方法及装置
CN108337553A (zh) * 2018-02-08 2018-07-27 深圳市兆驰股份有限公司 一种多媒体数据预下载方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286187A (zh) * 2021-05-21 2021-08-20 杭州米络星科技(集团)有限公司 一种视频加载播放方法、装置、设备及存储介质
CN113286187B (zh) * 2021-05-21 2023-03-03 杭州米络星科技(集团)有限公司 一种视频加载播放方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021018223A1 (zh) 2021-02-04

Similar Documents

Publication Publication Date Title
US11303881B2 (en) Method and client for playing back panoramic video
US11282283B2 (en) System and method of predicting field of view for immersive video streaming
US10469820B2 (en) Streaming volumetric video for six degrees of freedom virtual reality
Graf et al. Towards bandwidth efficient adaptive streaming of omnidirectional video over http: Design, implementation, and evaluation
KR102294098B1 (ko) 콘텐츠를 제공 및 디스플레이하기 위한 장치 및 방법
CN107888987B (zh) 一种全景视频播放方法及装置
US11395003B2 (en) System and method for segmenting immersive video
Shi et al. Freedom: Fast recovery enhanced vr delivery over mobile networks
WO2019137339A1 (zh) 处理媒体数据的方法和装置
CN107592549B (zh) 基于双向通信的全景视频播放拍照系统
Lo et al. Performance measurements of 360 video streaming to head-mounted displays over live 4G cellular networks
US11575894B2 (en) Viewport-based transcoding for immersive visual streams
CN110798707B (zh) 传输媒体数据的方法、客户端和服务器
CN108810567B (zh) 一种音频与视频视角匹配的方法、客户端和服务器
US10694245B2 (en) Device, system, and method for game enhancement using cross-augmentation
US10631022B2 (en) Method to insert ad content into a video scene
US20190012822A1 (en) Virtual reality system with advanced low-complexity user interactivity and personalization through cloud-based data-mining and machine learning
WO2021018223A1 (zh) 视频的缓存方法和装置
US20230034937A1 (en) Media file encapsulating method, media file decapsulating method, and related devices
CN112771878B (zh) 处理媒体数据的方法、客户端和服务器
US20220086470A1 (en) Transcoding ultra-high-definition panoramic videos
WO2018161789A1 (zh) 一种投影类型推荐方法、服务器及客户端
CN116033180A (zh) 视频处理方法、电子设备及存储介质
CN112541858A (zh) 视频图像的增强方法、装置、设备、芯片及存储介质
CN115529451A (zh) 数据的传输方法及装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202