CN104469398B - 一种网络视频画面处理方法及装置 - Google Patents

一种网络视频画面处理方法及装置 Download PDF

Info

Publication number
CN104469398B
CN104469398B CN201410746524.5A CN201410746524A CN104469398B CN 104469398 B CN104469398 B CN 104469398B CN 201410746524 A CN201410746524 A CN 201410746524A CN 104469398 B CN104469398 B CN 104469398B
Authority
CN
China
Prior art keywords
picture
code stream
code
viewing
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410746524.5A
Other languages
English (en)
Other versions
CN104469398A (zh
Inventor
李伟华
李毅
罗翰
要文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING QINGYUAN XINCHUANG TECHNOLOGY Co Ltd
Original Assignee
BEIJING QINGYUAN XINCHUANG TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING QINGYUAN XINCHUANG TECHNOLOGY Co Ltd filed Critical BEIJING QINGYUAN XINCHUANG TECHNOLOGY Co Ltd
Priority to CN201410746524.5A priority Critical patent/CN104469398B/zh
Publication of CN104469398A publication Critical patent/CN104469398A/zh
Application granted granted Critical
Publication of CN104469398B publication Critical patent/CN104469398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种网络视频画面处理方法及装置，该网络视频画面处理方法包括：S1：服务端对一个视频节目中的一个或多个画面编码；S2：服务端接收并响应播放终端对视频节目的播放请求，包括：S100：服务端接收播放终端的播放请求，由播放终端指定观看画面Sa或者由服务端指定观看画面Sa；S200：服务端从编码码流中选择与观看画面Sa相关的一个或多个编码码流；S300：采集用户的交互行为形成播放行为信息PA，将播放行为信息PA反馈到服务端；S400：如果接收到播放行为信息PA，通过播放行为信息PA得到观看画面范围UV或观看对象UO；S500：如果获取到观看画面范围UV或观看对象UO，基于UV或UO，得到画面Sb；如果视频节目不包含画面Sb，令视频节目包含画面Sb；然后令Sa＝Sb，返回步骤S200。

Description

一种网络视频画面处理方法及装置
技术领域
本发明是关于互联网视频信息技术领域，具体是关于一种网络视频画面处理方法及装置。
背景技术
近年来，随着互联网视频业务在国内外的蓬勃发展，用户对视频画面质量、观看过程中的互动性都提出了越来越高的要求。
用于收看视频内容的各种播放终端的播放能力均是有限的，尤其是面向移动互联网的各种智能移动终端，其显示分辨率和解码能力也均有上限，并且在通过网络获取视频并进行播放时，网络接入带宽也有上限。在自适应多码率时，播放终端可依据其解码能力和网络带宽选择合适的码流，如在网络带宽较低时，选择较低码率的码流，但如果码流码率较低，而码流对应的画面范围较大，此时画面质量会较差，影响用户体验。
用户在使用播放终端观看视频画面时，经常会有观看视频不同画面的需求，尤其是在使用智能移动终端等播放终端时，由于显示屏幕较小，如主流的智能手机终端iPhone系列，其显示屏幕为3.5英寸到4英寸，当画面为某个场景的全景画面时，很多局部细节无法看清，而这些局部细节在某些情况下又是用户所希望看清的。
针对上述需求，目前主流的互联网视频业务提供商还无法较好的解决上述问题。
为实现上述需求，播放终端一种可能的做法为：播放终端对收到的编码码流进行解码，解码后将用户感兴趣的局部视频区域放大后进行显示。但这种方法有较多的问题：如果编码码流的码率或分辨率较低，则图像细节已经与原始信号源差异较大，这样对局部区域直接放大后无法达到较好的画面效果；如果编码码流直接采用高码率、大分辨率的编码码流，则会占用较高网络带宽，解码资源开销也较大，如果播放终端所处环境的网络带宽或显示分辨率和解码能力有限，则将会无法接收或播放上述编码码流。
例如：一场体育比赛的直播，采集的视频源是1920x1080分辨率，在手机上进行播放，用户希望观看画面的某个区域的局部细节，如某个运动员的动作细节，此时：
如果传输给播放终端的编码码流采用码率1Mbps、分辨率720x576、对完整画面编码的码流，则播放终端对局部区域放大后，放大过程将导致失真较多，画面细节效果不佳；
如果传输给播放终端的编码码流采用码率1Mbps、分辨率1920x1080、对完整画面编码的码流，则图像编码过程将导致失真较多，播放终端对局部区域放大后，画面细节效果同样不佳，且某些播放终端可能无法支持对分辨率1920x1080的编码码流的解码播放；
如果传输给播放终端的编码码流采用码率8Mbps、分辨率1920x1080的编码，则有可能播放终端的网络带宽无法承载，导致出现播放卡顿等现象，且某些播放终端可能无法支持对分辨率1920x1080的编码码流的解码播放。
综上所述，我们需要在播放终端资源有限的情况下，找到能够实现观看视频不同画面，并提高视频画面质量的方法，以避免视频画面质量因为画面的调整而有明显降低。同时，由于播放终端在播放编码码流时，可能会采用自适应码率协议(如HLS、HDS、MPEG-DASH)，此时播放终端会自动依据自适应码率协议，自动选择与其网络带宽和解码能力相匹配的编码码流进行播放，如何利用该自动选择机制更有效和更合理的实现在播放终端资源有限的情况下，观看不同的视频画面并提高视频画面质量，避免因为画面的调整而使画面质量有明显降低的目标，也是需要解决的问题。
发明内容
本发明实施例提供一种网络视频画面处理方法及装置，以使得在服务端资源有限、播放终端资源有限的情况下，随着用户对观看视频画面的选择，依然可保证画面的观看质量；可和自适应码率技术相结合，使得产生的新编码码流可自动适配不同播放终端的不同网络带宽和播放能力；通过预先设置有限的视频画面，用户交互后选择的视频画面与预先设置的视频画面进行匹配，可避免新产生过多视频画面而导致的计算资源占用过多。
为了实现上述目的，本发明提供了一种网络视频画面处理方法，所述的网络视频画面处理方法包括：
S1：服务端对一个视频节目中的一个或多个画面编码，所述视频节目包含不同的观看范围对应的不同画面S0,S1,S2,…，每个编码的画面Si形成一个或多个编码码流Pi0,Pi1,Pi2,…，所述编码码流Pi0,Pi1,Pi2…是按照不同参数进行编码形成的不同的编码码流；
S2：所述服务端接收并响应播放终端对视频节目的播放请求，包括如下步骤：
S100：所述服务端接收所述播放终端的播放请求，由所述播放终端指定观看画面Sa或者由所述服务端指定观看画面Sa；
S200：所述服务端从上述所有所述编码码流中选择与所述观看画面Sa相关的一个或多个编码码流，使所述播放终端播放选出的编码码流；
S300：所述播放终端在播放过程中，采集用户的交互行为，形成播放行为信息PA，并将所述播放行为信息PA反馈到所述服务端；
S400：所述服务端判断是否接收到所述播放行为信息PA，如果所述服务端接收到所述播放行为信息PA，则通过所述播放行为信息PA得到用户选择的观看画面范围UV或用户选择的观看对象UO；
S500：所述服务端判断是否获取到所述观看画面范围UV或所述观看对象UO，如果所述服务端判断获取到所述观看画面范围UV或所述观看对象UO，则基于所述观看画面范围UV或所述观看对象UO，得到画面Sb；判断所述视频节目是否包含画面Sb，如果所述视频节目不包含画面Sb，则令所述视频节目包含画面Sb；然后令Sa＝Sb，返回步骤S200。
上述S1和S2之间可并行执行或串行执行。
上述S2在运行过程中可对S1的执行方式进行调整，调整包括：所述视频节目包含哪些画面、编码哪些画面、画面的编码参数等；上述S2运行过程中，服务端可同时响应多个播放终端的播放请求。
在一实施例中，在所述网络视频画面处理方法还包括：
S600：设所述视频节目包含的画面S0,S1,S2,…所构成的画面集合为SX，SX中的画面Si对应的编码码流Pi0,Pi1,Pi2,…所构成的编码码流集合为EXi；对所述画面集合SX中的画面Si生成子区域画面，将所述子区域画面加入所述画面集合SX中；对所述画面集合SX中的所述Si，增加所述编码码流集合EXi中的编码码流、停止所述编码码流集合EXi中的编码码流或修改所述编码码流集合EXi中的编码码流的编码参数。
在一实施例中，在所述步骤S200中，所述服务端从上述所有所述编码码流中选择与所述观看画面Sa相关的一个或多个编码码流的方法包括：令集合SB＝{Si|Si∈SX,Si是Sa的子区域或Sa是Si的子区域或Si与Sa一致或Si与Sa近似}，集合EXB＝{Pij|Pij∈EXi,Si∈SB}，从所述集合EXB中选择一个或多个编码码流构成编码码流的集合PX；判断所述播放终端是否未采用自适应码率协议，且是否是由所述播放终端指定所述观看画面Sa，如所述播放终端未采用自适应码率协议，且是由所述播放终端指定Sa，则优先从所述集合EXB中选择和所述观看画面Sa一致的Si对应的所述编码码流集合EXi中的一个编码码流，构成所述编码码流的集合PX。
在一实施例中，从所述集合EXB中选择编码码流构成所述编码码流的集合PX，包括下述3种方法中的一种或多种方法的组合：
S2011：选择所述集合EXB中和所述观看画面Sa一致的画面编码所得到的一个或多个编码码流；
S2012：设定所述播放终端的屏幕尺寸和画面区域大小的对应关系，如果所述服务端通过预先设置或播放终端上报的方式得到播放终端的屏幕尺寸，则依据所述对应关系选择满足画面区域大小要求的编码码流；
播放终端的屏幕尺寸和画面区域大小的对应关系可采用如下方式进行设定：
将播放终端的屏幕尺寸按照大小划分为若干个屏幕尺寸区间，将EXB中编码码流对应的画面区域按照大小划分为若干个画面大小区间，将尺寸越大的屏幕尺寸区间对应画面区域越大的画面大小区间；
S2013：如果所述服务端通过预先设置或播放终端上报的方式得到所述播放终端要求的一个码率Ba，或所述服务端得到所述播放终端的传输带宽可承受的编码码流的一个码率Ba，则从所述集合EXB中码率等于或低于所述码率Ba的编码码流中选择码率最高的编码码流；如所述集合EXB中不存在码率等于或低于所述码率Ba的编码码流，则从所述集合EXB中选择码率最低的编码码流。
在一实施例中，在所述S2011中，选择所述集合EXB中和所述观看画面Sa一致的画面编码所得到的一个或多个编码码流，还包括：设选择的所述一个或多个编码码流中码率最高的编码码流的码率为Bmax，选择所述集合EXB中对应的画面范围包含所述观看画面Sa的画面范围且码率高于Bmax的编码码流。
在一实施例中，在所述S2011中，选择所述集合EXB中和所述观看画面Sa一致的画面编码所得到的一个或多个编码码流，还包括：设选择的所述一个或多个编码码流中码率最低的编码码流的码率为Bmin，选择所述集合EXB中对应的画面范围是所述观看画面Sa的子区域且码率低于Bmin的编码码流。
在一实施例中，在所述S300中，所述用户的交互行为包括：缩小或放大当前画面范围，移动当前画面，旋转当前画面，选择观看对象。缩小当前画面范围，即放大当前画面的局部画面细节；放大当前画面范围，即缩小当前画面的局部画面细节。
在一实施例中，上述用户的交互行为包括：
所述的缩小或放大当前画面范围包括：通过双指缩放、点击屏幕、放大镜、手势变化或语音命令，以屏幕中某个点为中心缩小或放大当前画面范围；
所述的移动当前画面包括：通过拖拽、左、右、上、下、手势变化或语音命令，移动当前画面；
所述的旋转当前画面包括：通过拖拽、手势变化、在屏幕中或UI界面中选择旋转特定的角度或语音命令，旋转当前画面；
所述的选择观看对象包括：通过点击屏幕的操作方式选择屏幕中的观看对象；在UI界面中选择观看对象；通过语音命令选择观看对象。
在一实施例中，在S400中，如果形成所述播放行为信息PA的交互行为为缩小或放大当前画面范围，则从所述播放行为信息PA中得到缩放中心位置和缩放倍数，基于当前画面、缩放中心位置和缩放倍数，计算得到缩放后的所述观看画面范围UV。
在一实施例中，在S400中，如果形成所述播放行为信息PA的交互行为为移动当前画面，从所述播放行为信息PA中得到移动向量，基于当前画面、移动向量，计算得到移动到的所述观看画面范围UV。
在一实施例中，在S400中，如果形成所述播放行为信息PA的交互行为为旋转当前画面，从所述播放行为信息PA中得到旋转方向和旋转角度，基于当前画面、旋转方向和旋转角度，计算得到旋转后的所述观看画面范围UV。
在一实施例中，在所述S500中，所述服务端基于所述观看画面范围UV生成所述画面Sb的方法为下述四种方法中的一种或多种的组合：
S501：若所述观看画面范围UV和所述画面集合SX中的Si相同或近似，则Sb＝Si；
S502：若所述观看画面范围UV和所述画面集合SX中的Si的一个子区域Az画面区域相同或近似，则Sb＝Az；
S503：所述画面集合SX中的Si预设了若干子区域Az0、Az1、…，若观看画面范围UV和所述若干子区域其中的一个Azj的画面区域相同或最为近似，则Sb＝Azj；
S504：若所述观看画面范围UV和所述画面集合SX中的多个画面计算得到的画面Sc相同或近似，则Sb＝Sc。
在上述S503中，Si可按四分屏、九分屏、十六分屏等方式划分为子区域。
在一实施例中，在所述S400中，从所述播放行为信息PA中获取用户选择的所述观看对象UO的方法包括：
设观看对象集合OX＝{O0,O1,…}，所述服务端生成观看对象与所述画面集合SX中元素的对应关系集合OEX，所述对应关系集合OEX中的元素可表示为二元组(Oi,Sj)或三元组(Oi,Sj,Cij)或三元组(Oi,Sj,Aij)，其中，Cij为Oi在Sj中的位置，Aij为Oi在Sj中的区域范围；
其中，通过人工指定或进行特定物体的追踪识别，可形成观看对象O0,O1,…，观看对象随时间的变化可能发生变化；
如果形成所述播放行为信息PA的交互行为为选择观看对象，则PA中可包含选择的观看对象标识或选择的观看对象在当前画面中的位置。
如果所述播放行为信息PA中包含所述Oi的标识，则UO＝Oi；或
如果所述播放行为信息PA中包含选择的观看对象在当前所述观看画面Sa中的位置C，则：
如果所述对应关系集合OEX中包含三元组(Oi,Sa,Cia)，且Cia和C相差小于一预定距离，则UO＝Oi；或如果所述对应关系集合OEX中包含三元组(Oi,Sa,Aia)，且C位于Aia的区域中，则UO＝Oi。
在一实施例中，在所述S500中，基于所述观看对象UO生成所述画面Sb的方法包括：
初始化集合SXB为空集；如果所述对应关系集合OEX中包含二元组(Oi,Sj)或如果所述对应关系集合OEX中包含三元组(Oi,Sj,Cij)或如果所述对应关系集合OEX中包含三元组(Oi,Sj,Aij)，且Oi＝UO，则SXB＝SXB∪{Sj}；从SXB中选择一个元素作为所述画面Sb。
在一实施例中，在所述S1和所述S2中，还包括：如所述S300中用户的交互行为是缩小当前画面范围，且未采用自适应码率，若所述集合PX中包含的编码码流为Pax，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pby，使得所述Pby对应画面范围和所述画面Sb一致且所述Pby的编码码率和所述Pax的编码码率一致或相差在一阈值以内，将所述Pby加入所述集合PX并替换所述Pax。
在一实施例中，在所述S1和所述S2中，还包括：如所述S300中用户的交互行为是缩小当前画面范围，且采用自适应码率，对所述集合PX中包含的每个编码码流Paj，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pbj，使得所述Pbj对应画面范围是所述Paj对应画面范围的子区域且所述Pbj的编码码率和所述Paj的编码码率一致或相差在一阈值以内，将所述Pbj加入所述集合PX并替换所述Paj。
在一实施例中，在所述S600中，基于播放终端对各编码码流的访问情况，还可进一步调整编码策略，包括但不限于如下方法：
如果访问所述画面Si对应的所述编码码流集合EXi中的最低码率编码码流的播放终端个数或比例超过一个阈值，则调整SX或SX中各元素对应的编码码流，使得存在一个编码码流，其码率低于目前所述编码码流集合EXi中所有编码码流的码率，且画面与Si一致或为Si子区域；
如果访问所述画面Si对应的所述编码码流集合EXi中的最高码率编码码流的播放终端个数或比例超过一个阈值，则调整SX或SX中各元素对应的编码码流，使得存在一个编码码流，其码率高于目前所述编码码流集合EXi中所有编码码流的码率，且画面与Si一致或包含Si。
在一实施例中，在所述步骤S600中，还可以包括：保持总体编码开销不超过服务端系统资源允许的上限，在服务端系统资源较紧张时，可停止某些没有被播放终端访问或访问量低于某个阈值的编码码流。
在一实施例中，在所述步骤S1中，对所述SX中的任一画面Si及其子区域画面进行编码时，生成的多个编码码流的关键帧保持时间戳对齐。
为了实现上述目的，本发明实施例提供一种网络视频画面处理装置，所述的网络视频画面处理装置包括：
编码单元，用于服务端对一个视频节目中的一个或多个画面编码，所述视频节目包含不同的观看范围对应的不同画面S0,S1,S2,…，每个编码的画面Si形成一个或多个编码码流Pi0,Pi1,Pi2,…，所述编码码流Pi0,Pi1,Pi2…是按照不同参数进行编码形成的不同的编码码流；
播放请求响应单元，用于所述服务端接收并响应播放终端对视频节目的播放请求，所述的播放请求响应单元包括：
观看画面指定单元，用于所述服务端接收所述播放终端的播放请求，由所述播放终端指定观看画面Sa或者由所述服务端指定观看画面Sa；
码流选择单元，用于所述服务端从上述所有所述编码码流中选择与所述观看画面Sa相关的一个或多个编码码流，使所述播放终端播放选出的编码码流；
播放交互单元，用于所述播放终端在播放过程中，采集用户的交互行为，形成播放行为信息PA，并将所述播放行为信息PA反馈到所述服务端；
观看范围和对象获取单元，用于所述服务端判断是否接收到所述播放行为信息PA，如果所述服务端接收到所述播放行为信息PA，则通过所述播放行为信息PA得到用户选择的观看画面范围UV或用户选择的观看对象UO；
画面获取单元，用于所述服务端判断是否获取到所述观看画面范围UV或所述观看对象UO，如果所述服务端判断获取到所述观看画面范围UV或所述观看对象UO，则基于所述观看画面范围UV或所述观看对象UO，得到画面Sb；判断所述视频节目是否包含画面Sb，如果所述视频节目不包含画面Sb，则令所述视频节目包含画面Sb；然后令Sa＝Sb，返回所述码流选择单元、播放交互单元、观看范围和对象获取单元重复执行上述动作。
在一实施例中，所述网络视频画面处理装置中包括：
画面和编码码流调整单元，用于设所述视频节目包含的画面S0,S1,S2,…所构成的画面集合为SX，SX中的画面Si对应的编码码流Pi0,Pi1,Pi2,…所构成的编码码流集合为EXi；对所述画面集合SX中的画面Si生成子区域画面，将所述子区域画面加入所述画面集合SX中；对所述画面集合SX中的所述Si，增加所述编码码流集合EXi中的编码码流、停止所述编码码流集合EXi中的编码码流或修改所述编码码流集合EXi中的编码码流的编码参数。
在一实施例中，码流选择单元包括：
编码码流选择模块，用于令集合SB＝{Si|Si∈SX,Si是Sa的子区域或Sa是Si的子区域或Si与Sa一致或Si与Sa近似}，集合EXB＝{Pij|Pij∈EXi,Si∈SB}，从所述集合EXB中选择一个或多个编码码流构成编码码流的集合PX；
单码流选择模块，用于判断所述播放终端是否未采用自适应码率协议，且是否是由所述播放终端指定所述观看画面Sa，如所述播放终端未采用自适应码率协议，且是由所述播放终端指定Sa，则优先从所述集合EXB中选择和所述观看画面Sa一致的Si对应的所述编码码流集合EXi中的一个编码码流，构成所述编码码流的集合PX。
在一实施例中，所述用户的交互行为包括：缩小或放大当前画面范围，移动当前画面，旋转当前画面，选择观看对象。
在一实施例中，所述画面获取单元包括下述四种模块中的一种或多种的组合：
第一获取单元，用于若所述观看画面范围UV和所述画面集合SX中的Si相同或近似，则Sb＝Si；
第二获取单元，用于若所述观看画面范围UV和所述画面集合SX中的Si的一个子区域Az画面区域相同或近似，则Sb＝Az；
第三获取单元，用于所述画面集合SX中的Si预设了若干子区域Az0、Az1、…，若观看画面范围UV和所述若干子区域其中的一个Azj的画面区域相同或最为近似，则Sb＝Azj；
第四获取单元，用于若所述观看画面范围UV和所述画面集合SX中的多个画面计算得到的画面Sc相同或近似，则Sb＝Sc。
在一实施例中，所述的网络视频画面处理装置还包括：第一替换单元，用于如所述用户的交互行为是缩小当前画面范围，未采用自适应码率，且所述集合PX中包含的编码码流为Pax，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pby，使得所述Pby对应画面范围和所述画面Sb一致且所述Pby的编码码率和所述Pax的编码码率一致或相差在一阈值以内，将所述Pby加入所述集合PX并替换所述Pax。
在一实施例中，所述的网络视频画面处理装置还包括：第二替换单元，用于如所述用户的交互行为是缩小当前画面范围，且采用自适应码率，对所述集合PX中包含的每个编码码流Paj，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pbj，使得所述Pbj对应画面范围是所述Paj对应画面范围的子区域且所述Pbj的编码码率和所述Paj的编码码率一致或相差在一阈值以内，将所述Pbj加入所述集合PX并替换所述Paj。
本发明实施例的有益效果在于，本发明将播放、分发与编码相结合，使得在服务端资源有限、播放终端资源有限的情况下，随着用户对观看视频画面的选择，依然可保证画面的观看质量；同时，本发明可和自适应码率技术相结合，使得产生的新编码码流可自动适配不同播放终端的不同网络带宽和播放能力；本发明还可预先设置有限的视频画面，用户交互后选择的视频画面与预先设置的视频画面进行匹配，可避免新产生过多视频画面而导致的计算资源占用过多。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中用于提高画面效果的网络视频画面处理方法的流程图；
图2为本发明实施例中服务端接收并响应播放终端对视频节目的播放请求的方法流程图；
图3为本发明实施例中画面Si及其子区域示意图；
图4为本发明实施例中用于提高画面效果的网络视频画面处理装置的结构框图；
图5为本发明实施例中播放请求响应单元的结构框图；
图6为本发明实施例中画面获取单元的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种提高画面效果的网络视频画面处理方法，所述的网络视频画面处理方法包括：
S1：服务端对一个视频节目中的一个或多个画面编码，所述视频节目包含不同的观看范围对应的不同画面S0,S1,S2,…，每个编码的画面Si形成一个或多个编码码流Pi0,Pi1,Pi2,…，所述编码码流Pi0,Pi1,Pi2…是按照不同参数进行编码形成的不同的编码码流；
S2：所述服务端接收并响应播放终端对视频节目的播放请求，如图2所示，S2包括如下步骤：
S100：所述服务端接收所述播放终端的播放请求，由所述播放终端指定观看画面Sa或者由所述服务端指定观看画面Sa；
S200：所述服务端从上述所有所述编码码流中选择与所述观看画面Sa相关的一个或多个编码码流，使所述播放终端播放选出的编码码流；
S300:所述播放终端在播放过程中，采集用户的交互行为，形成播放行为信息PA，并将所述播放行为信息PA反馈到所述服务端；
S400：所述服务端判断是否接收到所述播放行为信息PA，如果所述服务端接收到所述播放行为信息PA，则通过所述播放行为信息PA得到用户选择的观看画面范围UV或用户选择的观看对象UO；
S500：所述服务端判断是否获取到所述观看画面范围UV或所述观看对象UO，如果所述服务端判断获取到所述观看画面范围UV或所述观看对象UO，则基于所述观看画面范围UV或所述观看对象UO，得到画面Sb；判断所述视频节目是否包含画面Sb，如果所述视频节目不包含画面Sb，则令所述视频节目包含画面Sb；然后令Sa＝Sb，返回步骤S200。
上述S1和S2之间可并行执行或串行执行。
上述S2在运行过程中可对S1的执行方式进行调整，调整包括：所述视频节目包含哪些画面、编码哪些画面、画面的编码参数等；上述S2运行过程中，服务端可同时响应多个播放终端的播放请求。
在所述S1中，所述视频节目包含的不同画面可通过采集不同观看范围的信号源产生。
在所述S1和所述S2中，所述视频节目包含的画面的位置、方向和角度可以是固定的，也可以是动态变化的。
在一实施例中，本发明实施例的网络视频画面处理方法还包括：
S600：设所述视频节目包含的不同画面S0,S1,S2,…所构成的画面集合为SX，SX中的画面Si对应的编码码流Pi0,Pi1,Pi2,…所构成的编码码流集合为EXi；对所述画面集合SX中的画面Si生成子区域画面，将所述子区域画面加入所述画面集合SX中；对所述画面集合SX中的所述Si，增加所述编码码流集合EXi中的编码码流、停止所述编码码流集合EXi中的编码码流或修改所述编码码流集合EXi中的编码码流的编码参数。
在所述S1和所述S2中，画面Si及其子区域如图3所示。
在所述S1和所述S2中，可定义SX中每个元素Si在同一个平面上进行投影的画面范围为一个矩形区域REi，设水平向右为横坐标的正方向，垂直向下为纵坐标的正方向，REi可以用四元组(Li,Ti,Ri,Bi)或其他等价方式来表示，其中：
Li＝为画面范围的左上角横坐标；
Ti＝为画面范围的左上角纵坐标；
Ri＝为画面范围的右下角横坐标；
Bi＝为画面范围的右下角纵坐标；
在所述步骤S1中，对视频节目的画面集合SX中的一个或多个元素进行编码的方法包括：
1)如需要编码的Si是所述画面集合SX中的元素Sj的一个子区域Aj，且Sj已经在编码，则对EXj中的编码码流Pjx进行解码，并对解码后数据中的区域Aj进行编码。可采用如下具体方法：
查找SX，对其中的任一不同于Si的元素Sj，如果EXj非空，则如果Li>＝Lj且Ti>＝Tj且Ri<＝Rj且Bi<＝Bj，则Si是Sj的子区域，设为Aj；如找到多个符合条件的子区域，则可基于REi和REj的近似程度或Sj对应的EXj中包含的最高码率码流的码率高低或EXj中包含的最高分辨率码流的分辨率高低或其他规则选择其中之一。如找到Aj，则可基于码率最高或分辨率最高或其他规则选择EXj中的某个编码码流Pjx，对Pjx进行解码，并对解码后数据中的区域Aj进行编码。
2)如需要编码的Si可通过所述画面集合SX的其中一个子集SXA中的元素计算得到，且这些元素已经在编码，则对SXA中每个元素Sj所对应的EXj中的编码码流Pjx进行解码，并对所有解码后的数据进行计算以形成所述Si的画面数据，再对所述Si进行编码。对多个画面进行计算的具体方法可采用常用的图像拼接算法，通常包括图像配准、建立变换模型、统一坐标变换、图像融合等步骤，本发明不以此为限。
在一实施例中，在所述步骤S1中，在编码时，可合入音频信息，形成完整的音视频编码码流。
在一实施例中，在所述步骤S200中，若选出的编码码流为纯视频码流，可将音频码流合并到输出的编码码流后再发送给播放终端。
在一实施例中，所述步骤S200还包括：如所述播放终端不采用自适应码率协议进行播放，服务端从所有编码码流中选择与Sa相关的一个编码码流，使所述播放终端播放该编码码流；如所述播放终端采用自适应码率协议进行播放，服务端从所有编码码流中选择与Sa相关的一个或多个编码码流构成选出的编码码流的集合PX，将所述集合PX对应的码流索引信息IPX传送给所述的播放终端，使所述播放终端播放所述集合PX中的编码码流。
在一实施例中，在所述步骤S200中，所述服务端从上述所有所述编码码流中选择与所述观看画面Sa相关的一个或多个编码码流的方法包括：令集合SB＝{Si|Si∈SX,Si是Sa的子区域或Sa是Si的子区域或Si与Sa一致或Si与Sa近似}，集合EXB＝{Pij|Pij∈EXi,Si∈SB}，从所述集合EXB中选择一个或多个编码码流构成编码码流的集合PX；判断所述播放终端是否未采用自适应码率协议，且是否是由所述播放终端指定所述观看画面Sa，如所述播放终端未采用自适应码率协议，且是由所述播放终端指定Sa，则优先从所述集合EXB中选择和所述观看画面Sa一致的Si对应的所述编码码流集合EXi中的一个编码码流，构成所述编码码流的集合PX。
上述从所述集合EXB中选择编码码流构成所述编码码流的集合PX，包括下述3种方法中的一种或多种方法的组合：
S2011：选择所述集合EXB中和所述观看画面Sa一致的画面编码所得到的一个或多个编码码流；
S2012：设定所述播放终端的屏幕尺寸和画面区域大小的对应关系，如果所述服务端通过预先设置或播放终端上报的方式得到播放终端的屏幕尺寸，则依据所述对应关系选择满足画面区域大小要求的编码码流；
播放终端的屏幕尺寸和画面区域大小的对应关系可采用如下方式进行设定：
将播放终端的屏幕尺寸按照大小划分为若干个屏幕尺寸区间，将EXB中编码码流对应的画面区域按照大小划分为若干个画面大小区间，将尺寸越大的屏幕尺寸区间对应画面区域越大的画面大小区间；
S2013：如果所述服务端通过预先设置或播放终端上报的方式得到所述播放终端要求的一个码率Ba，或所述服务端得到所述播放终端的传输带宽可承受的编码码流的一个码率Ba，则从所述集合EXB中码率等于或低于所述码率Ba的编码码流中选择码率最高的编码码流；如所述集合EXB中不存在码率等于或低于所述码率Ba的编码码流，则从所述集合EXB中选择码率最低的编码码流。
在一实施例中，所述S2011中，选择所述集合EXB中和所述观看画面Sa一致的画面编码所得到的一个或多个编码码流，还包括：设选择的所述一个或多个编码码流中码率最高的编码码流的码率为Bmax，选择所述集合EXB中对应的画面范围包含所述观看画面Sa的画面范围且码率高于Bmax的编码码流。
在一实施例中，所述S2011中，选择所述集合EXB中和所述观看画面Sa一致的画面编码所得到的一个或多个编码码流，还包括：设选择的所述一个或多个编码码流中码率最低的编码码流的码率为Bmin，选择所述集合EXB中对应的画面范围是所述观看画面Sa的子区域且码率低于Bmin的编码码流。
在一实施例中，图2的所述S300中，所述用户的交互行为包括：缩小或放大当前画面范围，移动当前画面，旋转当前画面，选择观看对象。缩小当前画面范围，即放大当前画面的局部画面细节；放大当前画面范围，即缩小当前画面的局部画面细节。
在一实施例中，上述用户的交互行为包括：
所述的缩小或放大当前画面范围包括：通过双指缩放、点击屏幕、放大镜、手势变化或语音命令，以屏幕中某个点为中心缩小或放大当前画面范围；
所述的移动当前画面包括：通过拖拽、左、右、上、下、手势变化或语音命令，移动当前画面；
所述的旋转当前画面包括：通过拖拽、手势变化、在屏幕中或UI界面中选择旋转特定的角度或语音命令，旋转当前画面；
所述的选择观看对象包括：通过点击屏幕的操作方式选择屏幕中的观看对象；在UI界面中选择观看对象；通过语音命令选择观看对象。
在一实施例中，在图2所示的S400中，如果形成所述播放行为信息PA的交互行为为缩小或放大当前画面范围，则从所述播放行为信息PA中得到缩放中心位置和缩放倍数，基于当前画面、缩放中心位置和缩放倍数，计算得到缩放后的所述观看画面范围UV。
上述计算得到缩放后的所述观看画面范围UV具体可采用如下方法：
1)从PA中得到缩放中心位置CP和缩放倍数CR；
其中，
CP为缩放中心坐标，定义为(CPX,CPY)。
CR为缩放倍数，即缩放后的目标画面范围宽度和当前画面范围宽度的比例，可通过双指缩放的手指移动距离或点击屏幕次数、点击放大镜次数等方式得到。
2)基于当前画面Sa对应的矩形区域REa＝(La,Ta,Ra,Ba)，计算得到目标画面范
围：
UV＝(Luv,Tuv,Ruv,Buv)，其中，
Luv＝CPX-(Ra-La)/2*CR
Tuv＝CPY-(Ba-Ta)/2*CR
Ruv＝CPX+(Ra-La)/2*CR
Buv＝CPY+(Ba-Ta)/2*CR。
在一实施例中，在图2所示的S400中，如果形成所述播放行为信息PA的交互行为为移动当前画面，从所述播放行为信息PA中得到移动向量，基于当前画面、移动向量，计算得到移动到的所述观看画面范围UV。
可采用如下具体计算方法：
1)从PA中得到移动向量MV。
其中，
MV＝(Mx,My)，Mx为水平正方向的移动距离，My为垂直正方向的移动距离。
2)基于当前画面Sa对应的矩形区域REa＝(La,Ta,Ra,Ba)，计算得到目标画面范围：
UV＝(Luv,Tuv,Ruv,Buv)，其中
Luv＝La+Mx
Tuv＝Ta+My
Ruv＝Ra+Mx
Buv＝Ba+My。
在一实施例中，在图2所示的S400中，如果形成所述播放行为信息PA的交互行为为旋转当前画面，从所述播放行为信息PA中得到旋转方向和旋转角度，基于当前画面、旋转方向和旋转角度，计算得到旋转后的所述观看画面范围UV。
可采用如下具体计算方法：
1)从PA中得到RM和RA
其中，
RM为旋转模式，包括：水平旋转、垂直旋转或其他方向的旋转。
RA为旋转角度。
2)对SX中的各画面以视点为原点建立球面坐标系，对当前画面Sa中的每个点P，可采用如下或与之等价的定义方式：
其中，其中r为原点O与点P间的距离；θ为有向线段OP与z轴正向的夹角；为从正z轴来看自x轴按逆时针方向转到OM所转过的角，这里M为点P在xOy面上的投影；
设Sa对应的画面范围矩形区域为REa＝(La,Ta,Ra,Ba)，将REa在球面上进行投影，形成投影区域CREa＝(LCa,TCa,RCa,BCa)，其中：
3)如果RM为水平旋转，则水平旋转投影区域CREa，得到CREuv＝(LCuv,TCuv,RCuv,BCuv)，其中：
如果RM为垂直旋转，则垂直旋转投影区域CREa，得到CREuv＝(LCuv,TCuv,RCuv,BCuv)，其中：
4)从SX中查找在球面上的投影区域和CREuv相匹配或相近似的Sx，令UV为Sx的画面观看范围。
在一实施例中，在图2所示的S500中，所述服务端基于所述观看画面范围UV生成所述画面Sb的方法为下述四种方法中的一种或多种的组合：
S501：若所述观看画面范围UV和所述画面集合SX中的Si相同或近似，则Sb＝Si；
S502：若所述观看画面范围UV和所述画面集合SX中的Si的一个子区域Az画面区域相同或近似，则Sb＝Az；
S503：所述画面集合SX中的Si预设了若干子区域Az0、Az1、…，若观看画面范围UV和所述若干子区域其中的一个Azj的画面区域相同或最为近似，则Sb＝Azj；
S504：若所述观看画面范围UV和所述画面集合SX中的多个画面计算得到的画面Sc相同或近似，则Sb＝Sc。
在一实施例中，在S503中，Si可按四分屏、九分屏、十六分屏等方式划分为子区域，本发明不以此为限。
在一实施例中，在S501、S502、S503、S504中，可基于如下方法判断两个画面区域是否相同：
设需要比较的两个画面区域为REx和REy，则如果Lx＝Ly且Tx＝Ty且Rx＝Ry且Bx＝By，则REx和REy相同。
在一实施例中，在S501、S502、S503、S504中，可基于如下方法判断两个画面区域是否近似：
设需要比较的两个画面区域为REx和REy，则可采用如下方法中的一种或几种方法的组合：
1)REx与REy的画面区域交集占REx区域的面积比例大于一定的阈值，则REx和REy近似。
2)REx与REy的画面区域的位置和宽、高的差值小于一定的阈值，则REx和REy近似。
另外，需要说明的是，在S504中，对SX中的多个画面计算得到画面Sc，可采用常用的图像拼接算法，通常包括图像配准、建立变换模型、统一坐标变换、图像融合等步骤。
在一实施例中，在图2所示的S400中，从所述播放行为信息PA中获取用户选择的所述观看对象UO的方法包括：
设观看对象集合OX＝{O0,O1,…}，所述服务端生成观看对象与所述画面集合SX中元素的对应关系集合OEX，所述对应关系集合OEX中的元素可表示为二元组(Oi,Sj)或三元组(Oi,Sj,Cij)或三元组(Oi,Sj,Aij)，其中，Cij为Oi在Sj中的位置，Aij为Oi在Sj中的区域范围。
其中，通过人工指定或进行特定物体的追踪识别，可形成观看对象O0,O1,…，观看对象随时间的变化可能发生变化。
如SX中的元素Sj的画面中包含所述Oi，则将二元组(Oi,Sj)加入OEX；具体方法包括：可通过人为控制镜头追踪对象的跟拍方式，使Sj的镜头一直追踪对象Oi的画面，从而使Oi和Sj相对应。
如SX中的元素Sj的画面中包含所述观看对象Oi，且服务端可知所述观看对象Oi在所述Sj中的具体位置，则将三元组(Oi,Sj,Cij)加入OEX，其中，Cij为Oi在Sj中的位置；具体方法包括：可通过对Sj进行逐帧分析，以确定Oi在SX中的元素Sj中的位置Cij，随时间的推移，Cij可发生变化。
如SX中的元素Sj的画面中包含所述观看对象Oi，且服务端可知所述观看对象Oi在所述Sj中的区域范围，则将三元组(Oi,Sj,Aij)加入OEX，其中，Aij为Oi在Sj中的区域范围；具体方法包括：可通过对Sj进行逐帧分析，以确定Oi在SX中的元素Sj中的区域范围Aij，随时间的推移，Aij可发生变化。
如果形成所述播放行为信息PA的交互行为为选择观看对象，则PA中可包含选择的观看对象标识或选择的观看对象在当前画面中的位置。
如果所述播放行为信息PA中包含所述Oi的标识，则UO＝Oi；或
如果所述播放行为信息PA中包含选择的观看对象在当前所述观看画面Sa中的位置C，则：
如果所述对应关系集合OEX中包含三元组(Oi,Sa,Cia)，且Cia和C相差小于一预定距离，则UO＝Oi；或如果所述对应关系集合OEX中包含三元组(Oi,Sa,Aia)，且C位于Aia的区域中，则UO＝Oi。
在一实施例中，如有多个UO被选出，则按照顺序选择、随机选择或其他规则选择其中的一个。
在一实施例中，在图2所示的S500中，基于所述观看对象UO生成所述画面Sb的方法包括：
初始化集合SXB为空集；如果所述对应关系集合OEX中包含二元组(Oi,Sj)或如果所述对应关系集合OEX中包含三元组(Oi,Sj,Cij)或如果所述对应关系集合OEX中包含三元组(Oi,Sj,Aij)，且Oi＝UO，则SXB＝SXB∪{Sj}；从SXB中选择一个元素作为所述画面Sb。
在一实施例中，从SXB中选择一个元素作为Sb的方法可以是如下几种方法之一包括：
顺序选择；
随机选择；
选择和当前画面Sa相同或最近似的。
上述三种方法并非用于限定本发明，本领域技术人员还可以想到其他预设方法。
在一实施例中，在图1所示的所述S1和所述S2中，本发明的网络视频画面处理方法还可以包括：如所述S300中用户的交互行为是缩小当前画面范围，且未采用自适应码率，若所述集合PX中包含的编码码流为Pax，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pby，使得所述Pby对应画面范围和所述画面Sb一致且所述Pby的编码码率和所述Pax的编码码率一致或相差在一阈值以内，将所述Pby加入所述集合PX并替换所述Pax。
在上述过程中，如Pax的编码分辨率大于Sb的原始分辨率，则令Pby的编码分辨率为Sb的原始分辨率；否则，令Pby的编码分辨率和Pax的编码分辨率一致或相差在一阈值以内。
在一实施例中，在图1所示的所述S1和所述S2中，本发明的网络视频画面处理方法还可以包括：如所述S300中用户的交互行为是缩小当前画面范围，且采用自适应码率，对所述集合PX中包含的每个编码码流Paj，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pbj，使得所述Pbj对应画面范围是所述Paj对应画面范围的子区域且所述Pbj的编码码率和所述Paj的编码码率一致或相差在一阈值以内，将所述Pbj加入所述集合PX并替换所述Paj。
在上述过程中，对每个Paj，如Paj的编码分辨率大于Sb的原始分辨率，则令Pbj的编码分辨率为Sb的原始分辨率；否则，令Pbj的编码分辨率和Paj的编码分辨率一致或相差在一阈值以内。
在一实施例中，在所述S600中，基于播放终端对各编码码流的访问情况，还可进一步调整编码策略，包括但不限于如下方法：
如果访问所述画面Si对应的所述编码码流集合EXi中的最低码率编码码流的播放终端个数或比例超过一个阈值，则调整SX或SX中各元素对应的编码码流，使得存在一个编码码流，其码率低于目前所述编码码流集合EXi中所有编码码流的码率，且画面与Si一致或为Si子区域；
如果访问所述画面Si对应的所述编码码流集合EXi中的最高码率编码码流的播放终端个数或比例超过一个阈值，则调整SX或SX中各元素对应的编码码流，使得存在一个编码码流，其码率高于目前所述编码码流集合EXi中所有编码码流的码率，且画面与Si一致或包含Si。
在一实施例中，在所述步骤S600中，还可以包括：保持总体编码开销不超过服务端系统资源允许的上限，在服务端系统资源较紧张时，可停止某些没有被播放终端访问或访问量低于某个阈值的编码码流。
在一实施例中，在所述步骤S1中，对所述SX中的任一画面Si及其子区域画面进行编码时，生成的多个编码码流的关键帧保持时间戳对齐。具体包括：对Si对应的EXi中的不同编码码流编码时，以及对Si的子区域画面Sj对应的EXj中的不同编码码流编码时，采用统一的时间戳序列，且各编码码流的关键帧的时间戳保持一致；从而可使得播放终端在同一画面的多个不同码率的编码码流之间进行自适应码率切换时，或者在画面和其子区域画面之间进行切换时，可以达到平滑切换的效果。
通过本发明的网络视频画面处理方法，可以将播放、分发与编码相结合，使得在服务端资源有限、播放终端资源有限的情况下，随着用户对观看视频画面的选择，依然可保证画面的观看质量；同时，本发明可和自适应码率技术相结合，使得产生的新编码码流可自动适配不同播放终端的不同网络带宽和播放能力；本发明还可预先设置有限的视频画面，用户交互后选择的视频画面与预先设置的视频画面进行匹配，可避免新产生过多视频画面而导致的计算资源占用过多。
如图4所示，本发明实施例提供一种网络视频画面处理装置，所述的网络视频画面处理装置包括：编码单元401及播放请求响应单元402。
编码单元401用于服务端对一个视频节目中的一个或多个画面编码，所述视频节目包含不同的观看范围对应的不同画面S0,S1,S2,…，每个编码的画面Si形成一个或多个编码码流Pi0,Pi1,Pi2,…，所述编码码流Pi0,Pi1,Pi2…是按照不同参数进行编码形成的不同的编码码流；
播放请求响应单元402用于所述服务端接收并响应播放终端对视频节目的播放请求。如图5所示，所述的播放请求响应单元402包括：观看画面指定单元501，码流选择单元502，播放交互单元503，观看范围和对象获取单元504及画面获取单元505。
观看画面指定单元501用于所述服务端接收所述播放终端的播放请求，由所述播放终端指定观看画面Sa或者由所述服务端指定观看画面Sa；
码流选择单元502用于所述服务端从上述所有所述编码码流中选择与所述观看画面Sa相关的一个或多个编码码流，使所述播放终端播放选出的编码码流；
播放交互单元503用于所述播放终端在播放过程中，采集用户的交互行为，形成播放行为信息PA，并将所述播放行为信息PA反馈到所述服务端；
观看范围和对象获取单元504用于所述服务端判断是否接收到所述播放行为信息PA，如果所述服务端接收到所述播放行为信息PA，则通过所述播放行为信息PA得到用户选择的观看画面范围UV或用户选择的观看对象UO；
画面获取单元505用于所述服务端判断是否获取到所述观看画面范围UV或所述观看对象UO，如果所述服务端判断获取到所述观看画面范围UV或所述观看对象UO，则基于所述观看画面范围UV或所述观看对象UO，得到画面Sb；判断所述视频节目是否包含画面Sb，如果所述视频节目不包含画面Sb，则令所述视频节目包含画面Sb；然后令Sa＝Sb，返回所述码流选择单元、播放交互单元、观看范围和对象获取单元重复执行上述动作。
在一实施例中，网络视频画面处理装置包括：画面和编码码流调整单元，该画面和编码码流调整单元用于设所述视频节目包含的画面S0,S1,S2,…所构成的画面集合为SX，SX中的画面Si对应的编码码流Pi0,Pi1,Pi2,…所构成的编码码流集合为EXi；对所述画面集合SX中的画面Si生成子区域画面，将所述子区域画面加入所述画面集合SX中；对所述画面集合SX中的所述Si，增加所述编码码流集合EXi中的编码码流、停止所述编码码流集合EXi中的编码码流或修改所述编码码流集合EXi中的编码码流的编码参数。
在一实施例中，码流选择单元502包括：
编码码流选择模块，用于令集合SB＝{Si|Si∈SX,Si是Sa的子区域或Sa是Si的子区域或Si与Sa一致或Si与Sa近似}，集合EXB＝{Pij|Pij∈EXi,Si∈SB}，从所述集合EXB中选择一个或多个编码码流构成编码码流的集合PX；
单码流选择模块，用于判断所述播放终端是否未采用自适应码率协议，且是否是由所述播放终端指定所述观看画面Sa，如所述播放终端未采用自适应码率协议，且是由所述播放终端指定Sa，则优先从所述集合EXB中选择和所述观看画面Sa一致的Si对应的所述编码码流集合EXi中的一个编码码流，构成所述编码码流的集合PX。
在一实施例中，用户的交互行为包括：缩小或放大当前画面范围，移动当前画面，旋转当前画面，选择观看对象，本发明不以此为限。
在一实施例中，如图6所示，所述画面获取单元505包括下述四种模块中的一种或多种的组合：
第一获取单元601用于若所述观看画面范围UV和所述画面集合SX中的Si相同或近似，则Sb＝Si；
第二获取单元602用于若所述观看画面范围UV和所述画面集合SX中的Si的一个子区域Az画面区域相同或近似，则Sb＝Az；
第三获取单元603用于所述画面集合SX中的Si预设了若干子区域Az0、Az1、…，若观看画面范围UV和所述若干子区域其中的一个Azj的画面区域相同或最为近似，则Sb＝Azj；
第四获取单元604用于若所述观看画面范围UV和所述画面集合SX中的多个画面计算得到的画面Sc相同或近似，则Sb＝Sc。
在一实施例中，所述的网络视频画面处理装置还包括：第一替换单元，用于如所述用户的交互行为是缩小当前画面范围，未采用自适应码率，且所述集合PX中包含的编码码流为Pax，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pby，使得所述Pby对应画面范围和所述画面Sb一致且所述Pby的编码码率和所述Pax的编码码率一致或相差在一阈值以内，将所述Pby加入所述集合PX并替换所述Pax。
在一实施例中，所述的网络视频画面处理装置还包括：第二替换单元，用于如所述用户的交互行为是缩小当前画面范围，且采用自适应码率，对所述集合PX中包含的每个编码码流Paj，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pbj，使得所述Pbj对应画面范围是所述Paj对应画面范围的子区域且所述Pbj的编码码率和所述Paj的编码码率一致或相差在一阈值以内，将所述Pbj加入所述集合PX并替换所述Paj。
通过本发明的网络视频画面处理装置，可以将播放、分发与编码相结合，使得在服务端资源有限、播放终端资源有限的情况下，随着用户对观看视频画面的选择，依然可保证画面的观看质量；同时，本发明可和自适应码率技术相结合，使得产生的新编码码流可自动适配不同播放终端的不同网络带宽和播放能力；本发明还可预先设置有限的视频画面，用户交互后选择的视频画面与预先设置的视频画面进行匹配，可避免新产生过多视频画面而导致的计算资源占用过多。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (21)

1.一种网络视频画面处理方法，其特征在于，所述的网络视频画面处理方法包括：
步骤S1：服务端对一个视频节目中的一个或多个画面编码，所述视频节目包含不同的观看范围对应的不同画面S0,S1,S2,…，每个编码的画面Si形成一个或多个编码码流Pi0,Pi1,Pi2,…，所述编码码流Pi0,Pi1,Pi2…是按照不同参数进行编码形成的不同的编码码流；
步骤S2：所述服务端接收并响应播放终端对视频节目的播放请求，包括如下步骤：
S100：所述服务端接收所述播放终端的播放请求，由所述播放终端指定观看画面Sa或者由所述服务端指定观看画面Sa；
S200：所述服务端从上述所有所述编码码流中选择与所述观看画面Sa相关的一个或多个编码码流，使所述播放终端播放选出的编码码流；
S300：所述播放终端在播放过程中，采集用户的交互行为，形成播放行为信息PA，并将所述播放行为信息PA反馈到所述服务端；
S400：所述服务端判断是否接收到所述播放行为信息PA，如果所述服务端接收到所述播放行为信息PA，则通过所述播放行为信息PA得到用户选择的观看画面范围UV或用户选择的观看对象UO；
S500：所述服务端判断是否获取到所述观看画面范围UV或所述观看对象UO，如果所述服务端判断获取到所述观看画面范围UV或所述观看对象UO，则基于所述观看画面范围UV或所述观看对象UO，得到画面Sb；判断所述视频节目是否包含画面Sb，如果所述视频节目不包含画面Sb，则令所述视频节目包含画面Sb；然后令Sa＝Sb，返回步骤S200。
2.根据权利要求1所述的网络视频画面处理方法，其特征在于，所述网络视频画面处理方法还包括：
设所述视频节目包含的画面S0,S1,S2,…所构成的画面集合为SX，SX中的画面Si对应的编码码流Pi0,Pi1,Pi2,…所构成的编码码流集合为EXi；对所述画面集合SX中的画面Si生成子区域画面，将所述子区域画面加入所述画面集合SX中；对所述画面集合SX中的所述Si，增加所述编码码流集合EXi中的编码码流、停止所述编码码流集合EXi中的编码码流或修改所述编码码流集合EXi中的编码码流的编码参数。
3.根据权利要求2所述的网络视频画面处理方法，其特征在于，在所述步骤S200中，所述服务端从上述所有所述编码码流中选择与所述观看画面Sa相关的一个或多个编码码流的方法包括：令集合SB＝{Si|Si∈SX,Si是Sa的子区域或Sa是Si的子区域或Si与Sa一致或Si与Sa近似}，集合EXB＝{Pij|Pij∈EXi,Si∈SB}，从所述集合EXB中选择一个或多个编码码流构成编码码流的集合PX；判断所述播放终端是否未采用自适应码率协议，且是否是由所述播放终端指定所述观看画面Sa，如所述播放终端未采用自适应码率协议，且是由所述播放终端指定Sa，则优先从所述集合EXB中选择和所述观看画面Sa一致的Si对应的所述编码码流集合EXi中的一个编码码流，构成所述编码码流的集合PX。
4.根据权利要求3所述的网络视频画面处理方法，其特征在于，从所述集合EXB中选择编码码流构成所述编码码流的集合PX，包括下述3种方法中的一种或多种方法的组合：
S2011：选择所述集合EXB中和所述观看画面Sa一致的画面编码所得到的一个或多个编码码流；
S2012：设定所述播放终端的屏幕尺寸和画面区域大小的对应关系，如果所述服务端通过预先设置或播放终端上报的方式得到播放终端的屏幕尺寸，则依据所述对应关系选择满足画面区域大小要求的编码码流；
S2013：如果所述服务端通过预先设置或播放终端上报的方式得到所述播放终端要求的一个码率Ba，或所述服务端得到所述播放终端的传输带宽可承受的编码码流的一个码率Ba，则从所述集合EXB中码率等于或低于所述码率Ba的编码码流中选择码率最高的编码码流；如所述集合EXB中不存在码率等于或低于所述码率Ba的编码码流，则从所述集合EXB中选择码率最低的编码码流。
5.根据权利要求4所述的网络视频画面处理方法，其特征在于，在所述S2011中，选择所述集合EXB中和所述观看画面Sa一致的画面编码所得到的一个或多个编码码流，还包括：设选择的所述一个或多个编码码流中码率最高的编码码流的码率为Bmax，选择所述集合EXB中的画面范围包含所述观看画面Sa的画面范围且码率高于Bmax的编码码流。
6.根据权利要求4所述的网络视频画面处理方法，其特征在于，
在所述S2011中，选择所述集合EXB中和所述观看画面Sa一致的画面编码所得到的一个或多个编码码流，还包括：设选择的所述一个或多个编码码流中码率最低的编码码流的码率为Bmin，选择所述集合EXB中的画面范围是所述观看画面Sa的子区域且码率低于Bmin的编码码流。
7.根据权利要求3所述的网络视频画面处理方法，其特征在于，
在所述S300中，所述用户的交互行为包括：缩小或放大当前画面范围，移动当前画面，旋转当前画面，选择观看对象。
8.根据权利要求7所述的网络视频画面处理方法，其特征在于，所述用户的交互行为包括：
所述的缩小或放大当前画面范围包括：通过双指缩放、点击屏幕、放大镜、手势变化或语音命令，以屏幕中某个点为中心缩小或放大当前画面范围；
所述的移动当前画面包括：通过拖拽、左、右、上、下、手势变化或语音命令，移动当前画面；
所述的旋转当前画面包括：通过拖拽、手势变化、在屏幕中或UI界面中选择旋转特定的角度或语音命令，旋转当前画面；
所述的选择观看对象包括：通过点击屏幕的操作方式选择屏幕中的观看对象；在UI界面中选择观看对象；通过语音命令选择观看对象。
9.根据权利要求2所述的网络视频画面处理方法，其特征在于，在所述S500中，所述服务端基于所述观看画面范围UV生成所述画面Sb的方法为下述四种方法中的一种或多种的组合：
S501：若所述观看画面范围UV和所述画面集合SX中的Si相同或近似，则Sb＝Si；
S502：若所述观看画面范围UV和所述画面集合SX中的Si的一个子区域Az画面区域相同或近似，则Sb＝Az；
S503：所述画面集合SX中的Si预设了若干子区域Az0、Az1、…，若观看画面范围UV和所述若干子区域其中的一个Azj的画面区域相同或最为近似，则Sb＝Azj；
S504：若所述观看画面范围UV和所述画面集合SX中的多个画面计算得到的画面Sc相同或近似，则Sb＝Sc。
10.根据权利要求2所述的网络视频画面处理方法，其特征在于，在所述S400中，从所述播放行为信息PA中获取用户选择的所述观看对象UO的方法包括：
设观看对象集合OX＝{O0,O1,…}，所述服务端生成观看对象与所述画面集合SX中元素的对应关系集合OEX，所述对应关系集合OEX中的元素可表示为二元组(Oi,Sj)或三元组(Oi,Sj,Cij)或三元组(Oi,Sj,Aij)，其中，Cij为Oi在Sj中的位置，Aij为Oi在Sj中的区域范围；
如果所述播放行为信息PA中包含所述Oi的标识，则UO＝Oi；或
如果所述播放行为信息PA中包含选择的观看对象在当前所述观看画面Sa中的位置C，则：
如果所述对应关系集合OEX中包含三元组(Oi,Sa,Cia)，且Cia和C相差小于一预定距离，则UO＝Oi；或如果所述对应关系集合OEX中包含三元组(Oi,Sa,Aia)，且C位于Aia的区域中，则UO＝Oi。
11.根据权利要求10所述的网络视频画面处理方法，其特征在于，在所述S500中，基于所述观看对象UO生成所述画面Sb的方法包括：
初始化集合SXB为空集；如果所述对应关系集合OEX中包含二元组(Oi,Sj)或如果所述对应关系集合OEX中包含三元组(Oi,Sj,Cij)或如果所述对应关系集合OEX中包含三元组(Oi,Sj,Aij)，且Oi＝UO，则SXB＝SXB∪{Sj}；从SXB中选择一个元素作为所述画面Sb。
12.根据权利要求7所述的网络视频画面处理方法，其特征在于，
在所述步骤S1和所述步骤S2中，还包括：如所述S300中用户的交互行为是缩小当前画面范围，且未采用自适应码率，若所述集合PX中包含的编码码流为Pax，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pby，使得所述Pby对应画面范围和所述画面Sb一致且所述Pby的编码码率和所述Pax的编码码率一致或相差在一阈值以内，将所述Pby加入所述集合PX并替换所述Pax。
13.根据权利要求7所述的网络视频画面处理方法，其特征在于，
在所述步骤S1和所述步骤S2中，还包括：如所述S300中用户的交互行为是缩小当前画面范围，且采用自适应码率，对所述集合PX中包含的每个编码码流Paj，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pbj，使得所述Pbj对应画面范围是所述Paj对应画面范围的子区域且所述Pbj的编码码率和所述Paj的编码码率一致或相差在一阈值以内，将所述Pbj加入所述集合PX并替换所述Paj。
14.根据权利要求2所述的网络视频画面处理方法，其特征在于，
如果访问所述画面Si对应的所述编码码流集合EXi中的最低码率编码码流的播放终端个数或比例超过一个阈值，则调整SX或SX中各元素对应的编码码流，使得存在一个编码码流，其码率低于目前所述编码码流集合EXi中所有编码码流的码率，且画面与Si一致或为Si子区域；
如果访问所述画面Si对应的所述编码码流集合EXi中的最高码率编码码流的播放终端个数或比例超过一个阈值，则调整SX或SX中各元素对应的编码码流，使得存在一个编码码流，其码率高于目前所述编码码流集合EXi中所有编码码流的码率，且画面与Si一致或包含Si。
15.一种网络视频画面处理装置，其特征在于，所述的网络视频画面处理装置包括：
编码单元，用于服务端对一个视频节目中的一个或多个画面编码，所述视频节目包含不同的观看范围对应的不同画面S0,S1,S2,…，每个编码的画面Si形成一个或多个编码码流Pi0,Pi1,Pi2,…，所述编码码流Pi0,Pi1,Pi2…是按照不同参数进行编码形成的不同的编码码流；
播放请求响应单元，用于所述服务端接收并响应播放终端对视频节目的播放请求，所述的播放请求响应单元包括：
观看画面指定单元，用于所述服务端接收所述播放终端的播放请求，由所述播放终端指定观看画面Sa或者由所述服务端指定观看画面Sa；
码流选择单元，用于所述服务端从上述所有所述编码码流中选择与所述观看画面Sa相关的一个或多个编码码流，使所述播放终端播放选出的编码码流；
播放交互单元，用于所述播放终端在播放过程中，采集用户的交互行为，形成播放行为信息PA，并将所述播放行为信息PA反馈到所述服务端；
观看范围和对象获取单元，用于所述服务端判断是否接收到所述播放行为信息PA，如果所述服务端接收到所述播放行为信息PA，则通过所述播放行为信息PA得到用户选择的观看画面范围UV或用户选择的观看对象UO；
画面获取单元，用于所述服务端判断是否获取到所述观看画面范围UV或所述观看对象UO，如果所述服务端判断获取到所述观看画面范围UV或所述观看对象UO，则基于所述观看画面范围UV或所述观看对象UO，得到画面Sb；判断所述视频节目是否包含画面Sb，如果所述视频节目不包含画面Sb，则令所述视频节目包含画面Sb；然后令Sa＝Sb，返回所述码流选择单元、播放交互单元、观看范围和对象获取单元重复执行上述动作。
16.根据权利要求15所述的网络视频画面处理装置，其特征在于，在网络视频画面处理装置包括：
画面和编码码流调整单元，用于设所述视频节目包含的画面S0,S1,S2,…所构成的画面集合为SX，SX中的画面Si对应的编码码流Pi0,Pi1,Pi2,…所构成的编码码流集合为EXi；对所述画面集合SX中的画面Si生成子区域画面，将所述子区域画面加入所述画面集合SX中；对所述画面集合SX中的所述Si，增加所述编码码流集合EXi中的编码码流、停止所述编码码流集合EXi中的编码码流或修改所述编码码流集合EXi中的编码码流的编码参数。
17.根据权利要求16所述的网络视频画面处理装置，其特征在于，码流选择单元包括：
编码码流选择模块，用于令集合SB＝{Si|Si∈SX,Si是Sa的子区域或Sa是Si的子区域或Si与Sa一致或Si与Sa近似}，集合EXB＝{Pij|Pij∈EXi,Si∈SB}，从所述集合EXB中选择一个或多个编码码流构成编码码流的集合PX；
单码流选择模块，用于判断所述播放终端是否未采用自适应码率协议，且是否是由所述播放终端指定所述观看画面Sa，如所述播放终端未采用自适应码率协议，且是由所述播放终端指定Sa，则优先从所述集合EXB中选择和所述观看画面Sa一致的Si对应的所述编码码流集合EXi中的一个编码码流，构成所述编码码流的集合PX。
18.根据权利要求17所述的网络视频画面处理装置，其特征在于，所述用户的交互行为包括：缩小或放大当前画面范围，移动当前画面，旋转当前画面，选择观看对象。
19.根据权利要求16所述的网络视频画面处理装置，其特征在于，所述画面获取单元包括下述四种模块中的一种或多种的组合：
第一获取单元，用于若所述观看画面范围UV和所述画面集合SX中的Si相同或近似，则Sb＝Si；
第二获取单元，用于若所述观看画面范围UV和所述画面集合SX中的Si的一个子区域Az画面区域相同或近似，则Sb＝Az；
第三获取单元，用于所述画面集合SX中的Si预设了若干子区域Az0、Az1、…，若观看画面范围UV和所述若干子区域其中的一个Azj的画面区域相同或最为近似，则Sb＝Azj；
第四获取单元，用于若所述观看画面范围UV和所述画面集合SX中的多个画面计算得到的画面Sc相同或近似，则Sb＝Sc。
20.根据权利要求18所述的网络视频画面处理装置，其特征在于，所述的网络视频画面处理装置还包括：第一替换单元，用于如所述用户的交互行为是缩小当前画面范围，未采用自适应码率，且所述集合PX中包含的编码码流为Pax，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pby，使得所述Pby对应画面范围和所述画面Sb一致且所述Pby的编码码率和所述Pax的编码码率一致或相差在一阈值以内，将所述Pby加入所述集合PX并替换所述Pax。
21.根据权利要求18所述的网络视频画面处理装置，其特征在于，所述的网络视频画面处理装置还包括：第二替换单元，用于如所述用户的交互行为是缩小当前画面范围，且采用自适应码率，对所述集合PX中包含的每个编码码流Paj，通过查找、新增或修改编码码流码率的方法得到一个编码码流Pbj，使得所述Pbj对应画面范围是所述Paj对应画面范围的子区域且所述Pbj的编码码率和所述Paj的编码码率一致或相差在一阈值以内，将所述Pbj加入所述集合PX并替换所述Paj。
CN201410746524.5A 2014-12-09 2014-12-09 一种网络视频画面处理方法及装置 Active CN104469398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410746524.5A CN104469398B (zh) 2014-12-09 2014-12-09 一种网络视频画面处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410746524.5A CN104469398B (zh) 2014-12-09 2014-12-09 一种网络视频画面处理方法及装置

Publications (2)

Publication Number Publication Date
CN104469398A CN104469398A (zh) 2015-03-25
CN104469398B true CN104469398B (zh) 2015-12-30

Family

ID=52914659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410746524.5A Active CN104469398B (zh) 2014-12-09 2014-12-09 一种网络视频画面处理方法及装置

Country Status (1)

Country Link
CN (1) CN104469398B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104822088B (zh) 2015-04-16 2019-03-19 腾讯科技（北京）有限公司 视频图像缩放方法和装置
CN106254356B (zh) * 2016-08-10 2019-07-12 上海港聚信息科技有限公司 一种应用移动高清/超清直播平台的方法
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
CN108093197B (zh) * 2016-11-21 2021-06-15 阿里巴巴集团控股有限公司 用于信息分享的方法、系统及机器可读介质
CN110213617B (zh) * 2019-04-01 2022-03-18 腾讯科技（深圳）有限公司 视频流转码迁移方法、装置和系统
CN111432251B (zh) * 2020-04-26 2022-03-22 浙江宇视科技有限公司 视频处理方法、装置、电子设备及介质
CN113259716A (zh) * 2021-07-07 2021-08-13 摩尔线程智能科技(北京)有限责任公司 视频下发方法、视频获取方法、服务器、终端和系统
CN113905256B (zh) * 2021-12-10 2022-04-12 北京拙河科技有限公司 支持交互式观看的视频数据处理方法、设备及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084319A (zh) * 2008-06-03 2011-06-01 谷歌公司 用于协作生成交互式视频的基于web的系统
CN102447975A (zh) * 2010-10-08 2012-05-09 中国联合网络通信集团有限公司 流媒体信息处理方法、系统及服务器
CN103167318A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 流媒体处理方法、装置和服务器、系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084319A (zh) * 2008-06-03 2011-06-01 谷歌公司 用于协作生成交互式视频的基于web的系统
CN102447975A (zh) * 2010-10-08 2012-05-09 中国联合网络通信集团有限公司 流媒体信息处理方法、系统及服务器
CN103167318A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 流媒体处理方法、装置和服务器、系统

Also Published As

Publication number Publication date
CN104469398A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104469398B (zh) 一种网络视频画面处理方法及装置
US11653065B2 (en) Content based stream splitting of video data
US11711588B2 (en) Video delivery
CN109417624B (zh) 用于提供和显示内容的装置和方法
US11303881B2 (en) Method and client for playing back panoramic video
EP3557845B1 (en) Method and device for transmitting panoramic videos, terminal, server and system
JP7436598B2 (ja) 空間的不均等ストリーミング
US20180310010A1 (en) Method and apparatus for delivery of streamed panoramic images
Yuan et al. Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos
US20100259595A1 (en) Methods and Apparatuses for Efficient Streaming of Free View Point Video
CN107615338A (zh) 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置
WO2018103384A1 (zh) 一种360度全景视频的播放方法、装置及系统
CN110798707B (zh) 传输媒体数据的方法、客户端和服务器
CN110933461B (zh) 图像处理方法、装置、系统、网络设备、终端及存储介质
WO2019048733A1 (en) TRANSMISSION OF VIDEO CONTENT BASED ON FEEDBACK
Nguyen et al. Scalable multicast for live 360-degree video streaming over mobile networks
CN118283287A (zh) 亿级像素视频的直播方法、装置、介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant