CN110708579A - 可执行视频播放的电子装置 - Google Patents

可执行视频播放的电子装置 Download PDF

Info

Publication number
CN110708579A
CN110708579A CN201911190642.1A CN201911190642A CN110708579A CN 110708579 A CN110708579 A CN 110708579A CN 201911190642 A CN201911190642 A CN 201911190642A CN 110708579 A CN110708579 A CN 110708579A
Authority
CN
China
Prior art keywords
playback
session
playback session
electronic device
download
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911190642.1A
Other languages
English (en)
Other versions
CN110708579B (zh
Inventor
张维中
王祥安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Publication of CN110708579A publication Critical patent/CN110708579A/zh
Application granted granted Critical
Publication of CN110708579B publication Critical patent/CN110708579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4333—Processing operations in response to a pause request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种电子装置，包括：收发器；电子显示器；以及处理器。处理器耦合到收发器和显示器并且至少配置用于：打开包括第一播放会话和第二播放会话的多个播放会话，其中多个播放会话中的每一个与活动水平相关联；基于第一播放会话的活动水平，将多个优先级次序中的第一优先级次序指派给第一播放会话并且基于第二播放会话的活动水平，将多个优先级次序中的第二优先级次序指派给第二播放会话；以及根据与第一优先级次序相关联的第一下载策略通过收发器下载第一播放会话。

Description

可执行视频播放的电子装置
本申请是申请日为2017年8月4日、申请号为201710660749.2、发明名称为“视频播放方法以及使用所述视频播放方法的电子装置”的发明专利申请的分案申请。
技术领域
本发明涉及供电子装置使用的视频播放方法以及使用所述视频播放方法的电子装置。
背景技术
自适应比特率流是指用于计算机网络上的多媒体流式传输中的技术。尽管大部分多媒体流式传输技术利用一个或多个流协议，例如，具有实时流协议(Real TimeStreaming Protocol,RTSP)的RTP，但是最新的自适应流式传输技术几乎完全基于超文本传输协议(Hypertext Transfer Protocol,HTTP)实施并且经设计以在例如互联网的大型分布式HTTP网络上有效地运行。
最新的自适应流式传输技术可以通过实时检测用户的带宽和CPU能力以及随后通过相应地调整用户的视频流的质量来运行。此种尝试可能需要使用编码器来以多个比特率对单个视频进行编码。视频播放客户端随后可以基于当时可用于用户的资源而在不同编码比特率产生的视频流之中切换。上述自适应流式传输技术将得益于极少的缓冲和快速起始时间，并且将对于高端和低端连接两者产生良好的用户体验。
由于已基于用不同比特率对视频源进行编码的自适应比特率流来实施最新的自适应流式传输技术，因此具有不同比特率的视频流中的每一个可以分段成较小部分且每个部分可以包含若干毫秒的视频段。流式传输客户端装置通过清单文件(manifest file)了解不同比特率下的可用流以及流的片段(segments)。当视频流会话开始时，客户端可以请求从视频流接收最低比特率的片段。如果客户端装置已确定其潜在下载速度高于待下载的片段的比特率，那么客户端装置可以请求下载较高比特率的片段。随后，如果客户端装置已确定网络吞吐量已退化至片段的下载速度小于片段的比特率处，那么客户端装置将请求较低比特率片段。片段大小可以改变并且可以取决于设计考虑，但是通常可以在两秒至十秒之间下载每个片段。
除了传统的卫星电视服务之外，越来越多的电视服务通过互联网协议组在例如局域网(Local Area Network,LAN)或互联网等的包交换网络上获取。互联网协议网络电视(Internet Protocol Television,IPTV)是用于描述在互联网上传递电视服务的方式的一般术语。IPTV可以提供的节目的类型可以被分界到不同方法中。例如，IPTV可以提供线性TV、时移TV、视频点播(Video on Demand,VOD)等等。线性TV可以仅是在互联网上播放的普通直播电视节目。时移TV是允许观众按需要观看早先的电视节目的服务。一些服务可能够从早先的电视节目中删除广告。VOD一般与电视节目无关，而是为允许用户基于其偏好观看电影的基于目录的服务。
从观看线性TV的体验发展，人们可以熟悉具有多个信道的播放系统。观众还可以习惯于在其感兴趣的多个信道之中切换。例如，如果用户对信道A的节目不感兴趣，那么用户可以暂时地从信道A切换到信道B。在某一时间段之后，用户可以切换回信道A并且查看信道A是否展示任何感兴趣的内容。基于线性TV的直播的特征，当用户切换到另一信道时，原始信道的节目将仍不断地播放。因此，用户不必通过向前跳过或通过用其它方式改变内容来处理用户不感兴趣的内容，而替代地仅通过让时间流逝来处理用户不感兴趣的内容。
目前，观看流媒体是访问互联网的受欢迎原因之一。尽管流媒体可能不是直播节目，但是用户将通常使用例如智能电话或平板计算机等的移动装置来通过互联网播放流媒体。桌上型PC、膝上型计算机或IPTV也是访问流媒体的替代方法。为了促进流媒体的访问，内容提供商通常提供定制的移动应用过程(App)，例如，YouTube、Dailymotion或Netflix。App通常具有可用的用户接口(user interface,UI)。访问流媒体的另一方法可以包括使用支持HTML5标准的<video>或<audio>标签的浏览器。
在某一程度上，用户可以将每个流媒体视为传统TV的信道。流媒体与传统TV之间的一个差异在于非直播流媒体具有固定片长。例如，Netflix的每部电影具有从一个小时跨越到几个小时的固定片长。在此模型下，可设想在特定内容提供商的网站上可以存在数百万个流式传输信道。类似于线性TV，用户可以访问此类流式传输信道中的一个，或在用户对获取的信道的当前节目不感兴趣时切换到另一信道。类似于线性TV，用户将期望如果用户未通过按压“暂停”从感兴趣的信道切换出来，那么信道的流内容将持续流式传输。因此，当在已播出流内容的一部分之后用户切换回感兴趣的原始信道时，用户将能够观看其余部分。
然而，一般来说，电子装置或其它低端装置不支持上述功能。典型移动装置(或具有受限计算能力的装置)与典型桌上型PC(或膝上型PC或具有更强计算能力的类似装置)之间的比较显示典型移动装置一般将具有较差的中央处理单元(central processing unit,CPU)、较低双数据速率(double data rate,DDR)频率、较小屏幕以及几乎不支持多任务。
目前，尽管现代移动操作系统(operating system,OS)支持同时运行的多个App，但是实际上仅有少数移动操作系统(如果存在的话)允许用户同时查看两个或多于两个App窗口。在此单窗口限制下，例如检查日历或写电子邮件等的任务将是冗长的，因为用户必须在App之间来回移动。为了将信息从一个App传递到另一个，用户必须采用传统的复制粘贴或找到存储所述信息的另一方法。因此，可以确定在多个情形下可能需要用到移动装置中(例如，智能手机中)的多任务功能。
例如，一些装置可能仅具有硬件编解码器。装置可以仅支持将单向视频流解码成全高清(full highdefinition,FHD)60fps电影或同时将双向视频流解码成高清(highdefinition,HD)60fps电影。由于例如不同视频编解码器的资源具有相互排斥特性，因此仅受限过程可以同时使用视频编解码器。因此，视频编解码器将在可以同时发起的多个实际会话中施加物理限制。
作为实用应用过程，图1说明在移动电子装置上显示的两个播放会话的实例，其中两个网页(page,或标签tab)在chrome浏览器上打开，并且两个网页(或标签)可以连接到视频流服务，例如，YouTube。两个网页(或标签)中的每一个具有播放会话。假设首先播放播放会话中的第一个并且随后稍晚播放播放会话中的第二个，播放会话中的第一个将停止播放。
表1示出移动装置(智能手机)上的常用浏览器关于浏览器中的每一个不同功能的总结。
Figure BDA0002293482670000031
Figure BDA0002293482670000041
表1
从表1可以看出，对于移动装置，一些浏览器不支持同时发起多个播放会话。
表2示出移动装置(智能手机)上的常用App关于支持多个会话的不同功能的总结。
Figure BDA0002293482670000042
表2
如表2中看出，无一个Android App支持多个播放会话。这表示如果在播放流内容A时切换到流内容B，那么流内容A将自动停止。尽管一些App通常提供标记流内容A的断点并且在用户返回到流内容A时从所述断点播放的功能，但是显然所述过程仍与仅持续流式传输的线性TV不同。然而，由用户来确定流内容A的流式传输是否停止可能更合理。此外，即使是使用具有受限硬件资源的移动装置，用户可能仍偏好同时流式传输若干电影。
表3示出桌上型或膝上型计算机上的常用浏览器关于浏览器中的每一个不同功能的总结。
Figure BDA0002293482670000043
表3
从表3中可以看出，如果存在区分背景和前景播放会话的调度策略，那么可以更有效地显示自适应流。
返回参考表1以及表3，另一于移动装置以及桌上型计算机/膝上型计算机的问题是当在流内容切换到显示器的背景，例如，切换为背景窗口、背景帧、背景标签等的情况下导致流内容不再进行流式传输时，流内容仍会进行下载，因此此类下载浪费带宽。此外，不论是电子装置(移动装置或是桌上型/膝上型计算机)，所述装置可能会自动地尝试下载和解码流式传输，因此将更进一步浪费系统资源。
涉及上述情形的一个实例是打开多个标签，并且每一个标签中展示由外部服务器提供的流内容且可以在移动装置的Firefox浏览器上展示。Firefox浏览器允许用户能够同时打开若干个标签。然而，由于受移动装置上的较小屏幕尺寸的限制，至多一个标签，即活动标签，可以显示在Firefox浏览器上。未显示于Firefox浏览器的标签仍将在没有任何调度的情况下下载和预缓冲从而浪费系统资源。
发明内容
本发明涉及供电子装置使用的播放方法以及使用所述播放方法的电子装置。
在示例性实施例中的一个中，本发明涉及供电子装置的播放方法。所述方法将包括但不限于：显示第一播放会话，所述第一播放会话包括在电子装置的显示器的前景中的点播流会话；在第一播放时间(t1)处将第一播放会话从显示在前景中切换到所述点播流会话停止流式传输的背景中；响应于将所述第一播放会话从显示在前景中切换到背景中，记录t1和第一时钟时间(T1)；将第一播放会话从背景中切换回显示在前景中；响应于将第一播放会话从背景中切换回显示在前景中，记录第二时钟时间(T2)；以及将显示在前景中的第一播放会话改变到根据t2＝t1+(T2-T1)确定的第二播放时间(t2)。
在示例性实施例中的一个中，本发明涉及电子装置，所述电子装置包括但不限于：收发器；非暂时性存储媒体；电子显示器；以及处理器，所述处理器耦合到收发器、存储媒体和显示器并且至少配置用于：通过显示器显示第一播放会话，所述第一播放会话包括在电子装置的显示器的前景中的点播流会话；在第一播放时间(t1)处将第一播放会话从显示在前景中切换到所述点播流会话停止流式传输的背景中；响应于将所述第一播放会话从显示在前景中切换到背景中，记录第一播放时间(t1)和第一时钟时间(T1)；将所述第一播放会话从背景中切换回显示在前景中；响应于将所述第一播放会话从背景中切换回显示在前景中，记录第二时钟时间(T2)；以及将显示在显示器的前景中的第一播放会话改变到根据t2＝t1+(T2-T1)确定的第二播放时间(t2)。
在示例性实施例中的一个中，本发明涉及电子装置，所述电子装置包括收发器；电子显示器；以及处理器，所述处理器耦合到收发器和显示器并且至少配置用于：打开包括第一播放会话和第二播放会话的多个播放会话，其中所述多个播放会话中的每一个与活动水平相关联；基于第一播放会话的活动水平，将多个优先级次序中的第一优先级次序指派给第一播放会话并且基于第二播放会话的活动水平，将多个优先级次序中的第二优先级次序指派给第二播放会话；以及根据与所述第一优先级次序相关联的第一下载策略通过收发器下载第一播放会话。
为了使得本发明的前述特征和优点便于理解，下文详细描述带有附图的示例性实施例。应理解，前文总体描述和以下详细描述都是示例性的，并且是希望提供对所主张的本发明的进一步解释。
但是，应理解，此概述可以不含有本发明的所有方面和实施例，且因此不希望以任何方式为限制性的或约束性的。此外，本发明将包括对本领域技术人员而言明显的改进和修改。
附图说明
包括随附图式是为了更深入理解本发明，附图结合在本说明书中并且构成本说明书的一部分。图式说明本发明的实施例，并且连同所述描述一起用来解释本发明的原理。
图1说明显示在电子装置上的两个播放会话的实例。
图2A说明根据本发明的示例性实施例中的一个供电子装置使用的涉及伪播放机制的播放方法。
图2B说明根据本发明的示例性实施例中的另一个供电子装置使用的涉及智能比特率自适应机制的播放方法。
图2C说明根据本发明的示例性实施例中的一个就功能框图而言的电子装置的硬件。
图3说明根据本发明的示例性实施例中的一个涉及伪播放机制的播放方法的概述。
图4说明根据本发明的示例性实施例中的一个涉及伪播放机制的播放方法。
图5说明根据本发明的示例性实施例中的一个涉及伪播放机制的播放方法。
图6说明根据本发明的示例性实施例中的一个使用涉及伪播放机制的所提出播放方法的实例。
图7说明根据本发明的示例性实施例中的一个在标准播放机制与伪播放机制之间的差异的实例。
图8说明根据本发明的示例性实施例中的一个使用智能比特率自适应的实例。
图9说明根据本发明的示例性实施例中的一个打开多个标签的实例。
图10说明根据本发明的示例性实施例中的一个涉及智能比特率自适应技术的播放方法。
图11说明根据本发明的示例性实施例中的一个涉及基于不同策略的智能比特率自适应技术的播放方法。
图12说明根据本发明的示例性实施例中的一个在多视点虚拟现实(virtualreality,VR)设置中的播放方法。
图13说明根据本发明的示例性实施例中的一个用于所提出播放方法的检查缓冲数据的过程。
附图标号说明
204：触摸屏；
221：处理器；
222：非暂时性存储媒体；
223：收发器；
224：电子显示器；
225：用户接口；
1201：第一视角的视频自适应集合；
1202：第二视角的视频自适应集合；
1203：音频自适应集合；
S201、S202、S203、S204、S205、S206、S211、S212、S213、S301、S302、S303、S304、S401、S402、S403、S404、S501、S502、S503、S504、S505、S506、S507、S601、S602、S603、S604、S605、S701、S702、S711、S712、S1001、S1002、S1003、S1004、S1005、S1006、S1007、S1101、S1102、S1103、S1104、S1105、S1301、S1302、S1303：步骤。
具体实施方式
现将详细参考本发明的示例性实施例，所述示例性实施例的实例在附图中得以说明。只要可能，相同附图标记在图式和描述中用以指代相同或相似部分。
如先前所描述，一般来说，当多个播放会话同时打开并且显示在电子装置的浏览器上时，仅播放会话中的一个将显示在显示器的前景中。其它播放会话将被切换到显示器的背景并且将停止流式传输。然而，用户可能偏好与线性TV更紧密相似的体验。此外，切换到背景的播放会话可以继续下载和执行预加载或预缓冲，所述预加载或预缓冲在不进行优化的情况下可能导致硬件资源浪费。如果网络带宽不允许同时下载多个流，那么不考虑标签是活动的还是非活动的因素的调度器将导致活动标签的缓冲下溢。此外，此调度器将无法使活动标签的播放会话获得最佳(视频)质量，因为带宽资源将耗费在下载不必要的非活动标签的播放会话，导致带宽资源不足以下载最佳质量的活动标签的播放会话。因此，本发明提供一种用于解决这些问题的方法和装置。
值得注意的是，对于本发明，显示器的前景(foreground)可以是前景窗口(window)、前景帧(frame)或前景标签(tab,or page)，而显示器的背景(background)可以是背景窗口、背景帧或背景标签。前景标签与词组“活动标签”(active tab)同义。当在前景中展示播放会话时，前景可以采用帧、窗口或标签的形式，并且大部分或所有前景可以完全可见。当播放会话切换到背景时，背景可以采用帧、窗口或标签的形式。在背景展示为帧或窗口的情况下，背景一般将部分不可见。当背景采用标签形式时，背景一般将完全不可见。显示器的背景标签中的播放会话与词组“非活动标签”(inactive tab)同义。
当选择省电模式时，对于非活动标签，用于处理这些非活动标签的流内容的更合理方式是下载播放会话的最低比特率的媒体文件描述(representation)，只需使用最少量的预缓冲。应注意，媒体文件描述是MPEG-DASH中定义的多个不同阶级的数据单元中的一种。预加载或预缓冲是指在当前播放会话之前缓冲某一数据以便在用户在标签之间切换时提供令人满意的观看体验的机制。在下载时，活动标签的播放会话将被视为具有比非活动标签中的播放会话更高的优先级。在具有足够资源能缓冲活动标签的播放会话的条件下，非活动标签中的播放会话才能下载(或预缓冲或预加载)。这是合理的，因为用户可立即察觉活动标签的播放会话。
为了达到上述效果，本发明提出一种播放方法。播放方法可以涉及伪播放(pseudoplayback)机制，所述伪播放机制允许打开若干个播放会话，以便在资源受限的装置上下载和显示流内容。伪播放机制旨在模拟观看线性TV的体验，通过其同时下载若干个节目并且观众可以基于其自己的意愿在流内容之间切换。播放方法还可以包含智能比特率自适应(smart bitrate adaptation)的机制。智能比特率自适应的机制将以减少不必要带宽和功率消耗的方式执行调度。此外，智能比特率自适应的机制将改进前景中的活动会话的质量。
图2A说明根据本发明的示例性实施例中的一个供电子装置使用的涉及伪播放机制的播放方法。在步骤S201中，电子装置将显示第一播放会话，所述第一播放会话包括在电子装置的显示器的前景中的点播流会话(on-demand session)。在步骤S202中，电子装置将在第一播放时间(t1)处将第一播放会话从显示在前景中切换到所述点播流会话停止流式传输的背景中。在步骤S203中，响应于将第一播放会话从显示在前景中切换到背景中，电子装置将记录第一播放时间(t1)和第一时钟时间(T1)。在步骤S204中，电子装置将第一播放会话从背景中切换回显示在前景中。在步骤S205中，响应于将第一播放会话从背景中切换回显示在前景中，电子装置将记录第二时钟时间(T2)。在步骤S206中，电子装置将显示在前景中的点播流会话改变到根据t2＝t1+(T2-T1)确定的第二播放时间(t2)。将提供具体示例性实施例以进一步阐明上述步骤。
图2B说明根据本发明的示例性实施例中的另一个供电子装置使用的涉及智能比特率自适应机制的播放方法。在步骤S211中，电子装置将打开多个播放会话，所述多个播放会话包括第一播放会话和第二播放会话，其中所述多个播放会话中的每一个与活动水平相关联。在步骤S212中，电子装置将基于第一播放会话的活动水平而将多个优先级次序中的第一优先级次序指派给第一播放会话，以及基于第二播放会话的活动水平而将多个优先级次序中的第二优先级次序指派给第二播放会话。在步骤S213中，电子装置将根据与第一优先级次序相关联的第一下载策略通过收发器下载第一播放会话。将提供具体示例性实施例以进一步阐明上述步骤。
图2C说明根据本发明的示例性实施例中的一个就功能框图而言的电子装置的硬件。示例性电子装置可以包括但不限于，电连接到非暂时性存储媒体222、收发器223、电子显示器224和用户接口(user interface,UI)225的处理器221。非暂时性存储媒体可以包括用于提供数据和过程代码的临时或永久存储的一或多组易失性(例如，随机存取存储器(random-access memory,RAM))或非易失性硬件存储器(例如，闪存存储器、只读存储器(read only memory,ROM)、硬盘驱动器(hard disk drive,HDD)等)。收发器223可以包括用于通过有线传输或无线传输传输和接收数据的一组或多组发射器和接收器。电子显示器224可以是触摸屏或向用户展示播放会话的内容的任何形式的监视器。UI 225可以包括触摸屏上的触摸传感器、硬件键盘、硬件按钮和滚轮，以及用于从用户接收输入和/或将反馈提供到用户的任何形式的输入/输出(input/output,IO)接口。处理器221可以从存储媒体222加载过程指令并且与其它硬件组件交互以实施如图2A、图2B以及本文将描述的示例性实施例中所描述的播放方法。图2C的电子装置可以是移动装置或计算机(桌上型计算机或是膝上型计算机)。
图3说明根据本发明的示例性实施例中的一个涉及伪播放机制的播放方法的概述。图3中提供的方法将供电子装置使用，所述电子装置可以是移动装置或计算机。在步骤S301中，接收用于开始第一播放会话的请求。所述请求是用于请求播放显示于电子装置的前景中的第一播放会话。第一播放会话是点播流会话。此时的第一播放会话可以是新的播放会话或可以是已打开的多个播放会话之中一个。可以通过电子装置的显示器224或UI225接收用于开始第一播放会话的请求。在步骤S302中，处理器221可以确定在显示器的前景打开的会话的数目是否已超过上限，只要电子装置支持，所述上限可以是1或另一非零正整数。如果已超过上限，那么将执行步骤S303和S304。如果尚未超过上限，那么在步骤S302之后，总体过程将跳过步骤S303并且将替代地在步骤S304中继续。在步骤S303中，基于已接收用于打开第一播放会话的请求，处理器221将选择第二播放会话并且执行用于图3的第二播放会话的图4的过程。第二播放会话是点播流会话，并且在请求开始第一播放会话时第二播放会话已经在显示器的前景打开。在步骤S304中，图5的过程将适用于图3的第一播放会话。
图4说明根据本发明的示例性实施例中的一个涉及伪播放机制的播放方法。在图4中，假设在显示器的前景打开的播放会话已超过上限并已选择第二播放会话。在步骤S401中，处理器221将确定是否应用可以基于默认设置或用户设置设定的伪播放。如果伪播放应用于第二播放会话，那么在步骤S403中，处理器221将获得第一播放时间t1，并且将第一播放时间记录在数据库中，此数据库位于存储媒体222或其他独立于存储媒体222的存储媒体。第一播放时间(t1)可以是对应于其中已进行第二播放会话的位置的时戳(例如，电影的10分钟30秒，00:10:30)。处理器221随后将获得参考时钟时间(例如，UTC时间)T1并且将记录参考时钟时间。参考时钟时间T1可以是当天的当前时间。应注意，被选择用于图4的过程的任一个播放会话可能有属于自身的第一播放时间t1以及参考时钟时间T1。处理器221还将播放模式标志设定成“伪播放”模式。如果不应用伪播放于第二播放会话，那么在步骤S402中，处理器221可以仅将第一播放时间t1单独记录在数据库中并且将播放模式标志设定成“从断点开始”。在步骤S404中，停止第二播放会话(即，停止显示于前景中并切换至背景中)并且处理器221释放分配用于第二播放会话的占用资源(例如，清除缓冲内容)。由于已释放可用资源，因此此时可以发起第一播放会话并显示于前景中。
在一个示例性实施例中，释放经分配以用于第二播放会话的资源包括响应于将第二播放会话从显示在所述前景中切换到所述背景中，通过收发器223下载确保无缝过渡的低质量的第二播放会话。在另一个示例性实施例中，释放经分配以用于第二播放会话的资源包括响应于将第二播放会话从显示在前景中切换到背景中，调整第二播放会话的下载比特率为最低比特率以确保无缝过渡。在另一个示例性实施例中，释放经分配以用于第二播放会话的资源包括响应于将第二播放会话从显示在前景中切换到背景中，降低第二播放会话译码速率，所述译码速率可能包括零。
图5说明根据本发明的示例性实施例中的一个涉及伪播放机制的播放方法。假设通过互联网从宿主服务器获得第一播放会话和第二播放会话的内容，但是第一播放会话和第二播放会话的内容还可以托管在个域网(personal area network,PAN)或虚拟专用网络(virtual private network,VPN)内。在步骤S502中，在获取必需资源之后，处理器201可以确定第一播放会话是否具有记录在与第一播放会话相关联的数据库内的日志。如果不存在此日志，那么在步骤S507中，第一播放会话将在浏览器中发起并且从流内容的最开始时播放。如果存在此日志，那么在步骤S503中，处理器221将确定先前是否将播放模式标志设定成伪播放模式。
如果先前不应用伪播放模式，那么在步骤S504中，处理器221将获得第一播放会话的第一播放时间t1，并且在作为在线流内容的时戳的t1处重新开始播放第一播放会话。
如果先前应用伪播放模式，那么在步骤S505中，处理器221将由数据库中获得第一播放会话的第一播放时间t1以及第一时钟时间T1，并且处理器221将获得第二参考时钟时间T2，所述第二参考时钟时间可以是UTC时间或当天的当前时间。处理器221随后将计算第二播放时间t2、这是第一播放会话将从其开始播放的目标播放时间。处理器221将根据t2＝(t1+(T2-T1))(等式1)计算第二播放时间t2。随后，处理器221将寻找第二播放时间t2，以便在t2处播放第一播放会话。于是，显示在前景中的第一播放会话将在t2时播放。因为公式(等式1)意味着即使在前景处播放另一播放会话(例如，第二播放会话),伪播放的效果如同第一播放会话仍在背景中播放那样。通过实施此伪播放模式，对用户而言，在电子装置上播放点播流会话但又能具有线性TV的效果，是可行的。
伪播放机制将尤其对于自适应流式传输(例如，MPEG-DASH、Microsoft SmoothStreaming、HTTP直播流式传输)良好地运行。原因之一是对于自适应流式传输，电影分成具有不同比特率的较小片段，并且每个播放会话可以无缝地来回切换。大部分现代编解码器可以具备此能力。此外，由相同内容提供商托管的所有电影通常将具有相同的数字格式。例如，YouTube的电影通常在VP9或H264中压缩，容器是分部式MP4并且具有MPEG-DASH的urn:mpeg:dash:profile:isoff-on-demand:2011的配置文件。因此，从第一电影的流内容的当前片段传递到第二电影的流内容的另一片段将对编解码器影响不大甚至没有影响。
图6说明根据本发明的示例性实施例中的一个涉及伪播放机制的所提出播放方法的实例。对于图6的示例性实施例，假设用户可以在包括播放会话A(其扮演着记载于图2A过程中的第一播放会话，或是记载于图3过程中的第二播放会话)和播放会话B(其扮演着记载于图2A过程中的第二播放会话，或是记载于图3过程中的第一播放会话)的多个播放会话之中切换。多个播放会话中的每一个播放会话皆可以在不同质量标准下下载，所述不同质量标准包括低质量、中质量、高质量等。还假设每个播放会话在浏览器中打开，并且每个播放会话，已存储为多个媒体片段，例如，媒体片段1、媒体片段2、媒体片段3、媒体片段4等。假设媒体片段中的每一个是3秒长的视频并且可以在相同或不同质量标准下下载。与播放会话A和播放会话B相关联的媒体片段中的每一个长度是可调整的，但是如果播放会话A和播放会话B通过相同内容提供商提供，那么假设所述长度是一致的。
参考图6，在步骤S601中，播放会话A在前景中打开，并且播放会话A的媒体片段1进行流式传输并且显示。在步骤S602中，电子装置的用户为了观看播放会话B而切换播放会话A。这样，播放会话A切换到背景，而播放会话B切换至前景中。在切换到播放会话B之后，假设应用伪播放机制，播放会话B的第一播放时间(t1)00:00:03(3秒)以及参考时钟时间(T1)会被记录，所述参考时钟时间可以是已发生到播放会话B的切换的现实时钟时间。随后，在步骤S602之后，假设播放播放会话B的媒体片段1。在步骤S603中，播放播放会话B的媒体片段2，因此播放会话B已过去6秒且由步骤S601的开始来算，已过去大致9秒。
如果用户保持在B中观看播放会话，那么在步骤S605中，接下来将提取播放会话B的媒体片段3。然而，如果用户切换回播放会话A，那么将记录第二参考时钟时间T2。在此，假设播放会话A以类似于线性TV的方式正在进行，而不是从用户先前断开的位置处重新开始播放播放会话A(即播放会话A的第一播放时间t1)。处理器221随后将播放会话A的播放时间改变到对应第二播放时间t2的位置。将根据t2＝t1+(T2-T1)计算第二播放时间t2。由于t1是3秒并且(T2-T1)大致是已播放的播放会话B的媒体片段1和媒体片段2的持续时间共6秒，因此t2是播放会话A的媒体片段4的开始时间，也就是自先前于前景开始播放会话A后的9秒。因此，处理器221可以从播放会话A的媒体片段4提取与播放会话A相关联的高质量电影报头和流内容，以便无缝地切换到播放会话A。这样，播放会话A将显示在前景中，而播放会话B将切换到背景。如果播放会话B作为背景标签存在，那么播放会话B可以是全部不可见。如果播放会话B作为背景窗口或背景帧存在，那么播放会话B可以是全部不可见或部分不可见。
图7说明根据本发明的示例性实施例中的一个在标准播放机制与伪播放机制之间的差异的实例。在图7中，标记为(1)的顶部图是标准播放机制的实例并且标记为(2)的底部图是伪播放机制的实例。参考图7，假设播放会话A已播放3秒，此后在步骤S701中，用户从播放会话A切换至播放会话B。由于尚未观看播放会话B，因此播放会话B将从头开始展示流内容。在显示播放会话B 6秒之后，在步骤S702中，假设用户从播放会话B切换回播放会话A。在标准播放机制下，播放会话A将从播放会话A的第3秒恢复显示。第3秒将是用户先前断开的位置。
与标准播放机制相比，伪播放机制将允许用户相信在播放播放会话B时，播放会话A仍在进行中。假设播放会话A已播放3秒，在步骤S711中，用户从播放会话A切换至播放会话B，并且从头开始播放播放会话B。在显示播放会话B 6秒之后，在步骤S712中，假设用户从播放会话B切换回播放会话A。在伪播放机制下，当返回到播放会话A时，其会像是播放会话A在播放播放会话B时仍持续播放一般，从播放会话A的第9秒开始播放。实际上，播放会话A通过计数时间向前跳过，使得不会引发现实资源的浪费。另外，可以通过在流内容的不同较小片段之间过渡来实现无缝过渡。即使所述片段未匀称地对准，每个播放会话也可以寻找片段的中间部分。但是由于片段距离的持续时间仅为约若干秒，因此可以容易地跳过片段的开端并替代地寻找片段的中间部分。
在上述伪播放机制下，观看点播流会话内容的方式可以近似于传统的线性TV。可以允许用户甚至在至多仅提供单向解码的电子装置上同时打开多个流内容。除非用户基于自己的意志暂停视频，否则依用户的角度来看，背景中的节目，例如是在非活动标签或不可见(或部分可见)窗口或帧的节目，将像是持续播放。
当用户在计算能力受限以及可以打开的播放会话的数量受限的电子装置上播放点播流会话时，电子装置可以通过将播放会话切换到背景而使打开的播放会话的数量可以不被限值所限制。如果播放会话A通过在背景中运行而变为非活动的并且播放会话B通过将播放会话B切换回前景而变为活动的，那么电子装置将执行如下所描述的一系列步骤。处理器221将记录当前播放时间t1并且还记录参考时钟时间T1，所述当前播放时间是播放会话A已断开的位置的时间戳。处理器221可以释放在发起播放会话A时需要且具有相互排斥特性的资源。处理器221将调度任务队列内与播放会话A相关联的下载任务设定成低优先级。假设播放会话A重新变为活动的，处理器221将获得计算从此时间点(即第二参考时钟时间T2)到先前所记录的第一参考时钟时间T1所经过的时间。处理器221将基于t2＝t1+(T2-T1)向前(forward)寻找播放会话A的第二播放时间t2。处理器221随后将调度任务队列内与播放会话A相关联的下载任务恢复成高优先级。
所提出的伪播放机制将允许用户同时打开若干个播放会话。对于播放会话，除非用户暂停当前的播放会话并切换到另一播放会话，否则伪播放机制一般应用于在背景处运行的播放会话。因此，电子装置可提供在观看视频流多媒体内容时有与观看线性TV相同的用户体验。可通过用户的不同手势控制开启新的播放会话、关闭旧的播放会话或是由目前的播放会话切换至另一个播放会话。
图8说明根据本发明的示例性实施例中的一个使用智能比特率自适应机制的实例。通过使用展示打开的浏览器的图8的实例来解释智能比特率自适应的概念。浏览器的顶部包含打开的若干个标签(或页面)，例如标记为E、F、G以及H的标签，并且所述标签中的每一个可以包含到流媒体源(例如，YouTube)的链接。由于每次仅多个标签中的一个标签可见(活动标签，例如图8中的标签E)，因此当视频的比特流被排程以下载时，与可见标签相关联的播放会话下载将被授予最高优先级。这样，用户将具有最佳视频体验。在所提出的智能比特率自适应方案下，(仅)当可见播放会话(活动标签)在其缓冲器中具有足以向用户提供最佳视频体验的数据时，假设存在用于下载的剩余带宽是足够的，与不可见标签(例如，图8中的标签F、G、H)相关联的其它播放会话随后可以执行下载。或者，如果替代地将带宽分布到不可见的播放会话，那么活动标签的显示质量(例如，分辨率)可能受损，因为活动标签的播放会话可能无法完全利用可用的网络带宽。以此方式，电子装置可能需要为了活动标签降低到下载较低比特率(即较低的质量)的播放会话的片段。
除了在活动标签和非活动标签中开启播放会话，那么相同概念也将适用在前景窗口/帧或背景窗口/帧中开启播放会话。对于连续的揭示内容，假设在前景窗口中打开的播放会话以与在活动标签中打开的播放会话类似的方式运行，并且假设在背景窗口中打开的播放会话以与在非活动标签中打开的播放会话类似的方式运行。背景标签中的播放会话一般将完全不可见，然而切换到背景窗口的播放会话可以是完全不可见或部分不可见。
图9说明根据本发明的示例性实施例中的一个打开多个标签的实例。类似于图8，浏览器的顶部显示被开启的几个标签(或页面)，例如标记为E、F、G以及H的标签。对于智能比特率自适应方案，打开的标签可以大致分成3(但不限于3)组或类。标签组可以对应为活动会话(其为活动标签或活动页面)组、将活动(to-be-active)会话组以及非活动会话(非活动标签或非活动页面)组。对于图9，展示NBA 1992决赛的播放会话是活动标签E。鼠标指针指向但尚未打开的标签G被视为将活动的播放会话。其余会话被视为非活动会话，例如标签F及H中的会话。根据目前打开的播放会话的可见性(活动性)，可以基于以下表4实施优先级队列。表4中的每一项与不同标签的播放会话相关联。
活动 将活动 非活动 非活动 非活动 … …
表4
活动标签具有最高优先级，将活动标签具有下一最高优先级并且非活动标签具有最低优先级。这表示首先将提供所有系统带宽，以下载将向用户提供最佳可能的视频体验的活动标签的播放会话。如果存在剩余的任何带宽，那么将提供其余带宽以下载将活动标签的播放会话。最后，如果还存在剩余的任何其余带宽，那么将提供其余带宽来下载非活动标签的播放会话。
图10说明根据本发明的示例性实施例中的一个涉及智能比特率自适应技术的播放方法。在步骤S1001中，与已打开的播放会话相关联的优先级队列将会根据打开的播放会话的数目以及打开的播放会话中的每一个可见性来构建。
优先级队列为FIFO架构。举例来说，播放会话A(在一活动标签中)、播放会话B(在一将活动标签中)、C以及D(在一非活动标签中)等4个播放会话被打开，并且优先级队列为ABCD。在构建优先级队列之后，在步骤1002中，处理器221将确定优先级队列是否是空的。如果优先级队列不是空的，那么在步骤S1003中播放会话(i)将从优先级队列中清除(图10中称为出队)以进行下一步骤。针对如先前范例所示的具有播放会话A、B、C、D的优先级队列，在优先级队列是完全被占满的情况下，播放会话A是第一个被清除的。在步骤S1004中，处理器221将确定播放会话(i)的缓冲时间减去播放会话(i)的最低所需缓冲时间是否大于或等于预定义阈值Th(i)。如果步骤S1004的结果为不是，那么在步骤S1005中，处理器221将应用表示于图11的智能比特率自适应的过程，并且再次开始相同的图10过程用于优先级队列中的其余播放会话。如果步骤S1004的结果为是，那么在步骤S1006中，那么处理器221将设定目前超时，所述超时等于先前超时以及播放会话(i)的缓冲时间减去播放会话(i)的最低所需缓冲时间，这两者其中的最小值。超时被设定在图10过程的启始状态中为无限。然后，过程将在步骤S1002中继续进行。
应注意，播放会话(i)的缓冲时间相关于缓冲器中存储的播放会话(i)的缓冲数据数量。举例来说，若播放会话(i)的每个多媒体片段的时间长度为3秒，则12秒的缓冲时间等同于4个多媒体片段。回到步骤S1002，若优先级队列是空的(其表示所有的播放会话在缓冲器中都具有足够的缓冲数据)，则可以在步骤S1207中进行优化。一个示例性实施例可能会为了非活动卷标中或将活动卷标中的较低优先级的播放会话而重新下载较高质量的片段，藉以改善较低优先级的播放会话的质量。
步骤S1004及步骤S1006更进一步以下列的范例表示。假设每个多媒体片段的时间长度为3秒，活动标签中播放会话的缓冲时间的最低需求预定义为10秒，将活动标签中播放会话的缓冲时间的最低需求预定义为8秒，非活动标签中播放会话的缓冲时间的最低需求预定义为4秒，并且活动标签/将活动标签/非活动标签中的播放会话的预定义阈值Th(i)被预定义为3秒。基于上述的假设，若缓冲器中用于活动标签中的播放会话A的缓冲时间为15秒(即5个片段的缓冲数据)，步骤S1004的结果为是(因为(15秒-10秒)>3秒)并且超时等于{∞，(15-10)}二者中的最小值，等于5秒。此表示播放会话A的缓冲时间足够并且与缺乏缓冲数据的差距为5秒。
回到步骤S1002，将优先级队列中的播放会话B(在将活动标签中)清除。若缓冲器中用于将活动标签中的播放会话B的缓冲时间为11秒(即超过3个片段的缓冲数据)，步骤S1004的结果为是(因为(11秒-8秒)＝3秒)并且超时更新为{5，(11-8)}二者中的最小值，等于3秒。此表示播放会话B的缓冲时间足够并且与缺乏缓冲数据的差距为3秒。接着再次回到步骤S1002，将优先级队列中的播放会话C(在非活动标签中)清除。若缓冲器中用于将活动标签中的播放会话C的缓冲时间为5秒，步骤S1004的结果为否(因为(5秒-4秒)<3秒)，其表示播放会话C的缓冲时间(或缓冲数据)不足。那么，将应用步骤S1005(智能比特率自适应)以使电子装置可能通过使用对应的下载策略(其表示于图11中)下载较多的播放会话C的片段。
另一方面，若缓冲器中用于将活动标签中的播放会话B的缓冲时间为8.5秒，步骤S1004的结果为否(因为(8.5秒-8秒)<3秒)。此表示播放会话B的缓冲时间很快就用完了。因此，将应用步骤S1005以使电子装置可能通过使用对应播放会话B的下载策略下载较多的播放会话B的片段。
应注意，播放会话的最低缓冲时间需求(无论优先级为何)可能预定义为任何适当的值，包括0。不同优先级的播放会话的预定义阈值Th(i)可能定义为不同的值。
图10的概念基本上是按顺序检查优先级队列，以便发现待下载播放会话可能具有不足的缓冲时间以下载更多所述播放会话的数据。在另一个示例性实施例中，一数据阈值Thd(i)设定成表示缓冲数据的量。在缓冲数据相对于播放会话的预定义数据阈值Thd(i)足够之后，表示播放会话将可以避免下溢。因此，可以将其余资源提供到具有下一优先级的播放会话。所述过程将会针对每个播放会话进行，直到发现具有少于数据阈值Thd(i)的缓冲数据的播放会话。
在另一示例性实施例中，在已选择用于下载的播放会话之后，可以根据每个播放会话的优先级应用不同策略。例如，仅可以下载非活动(不可见)会话的最低比特率的媒体文件描述。媒体文件描述可以是MPEG-DASH中定义的多个不同阶级的数据单元中的一种。对于更积极的省电，可以完全停止非活动会话的下载，但是可以下载活动播放会话和将活动会话的仅最低比特率的媒体文件描述。最后，对于不可见播放会话的那些所下载比特流，在可以表示媒体文件描述的时间的时戳到期之前，所下载比特流可以临时存储在缓冲器中而不发送至译码器以进行解码。以此方式，可以省去在解码时浪费的不必要功率消耗。如果播放会话再次变为可见，那么可以取回所存储比特流以及来自瞬时解码器刷新(Instantaneous Decoder Refresh,IDR)(还可以称为如ISO/IEC 23009-1中所定义的流接入点(stream access point,SAP))帧的馈送。因为自适应流式传输通常具有IDR帧的特定片段的第一帧并且每个片段可以具有若干秒的范围。可以使过渡时间处于可接受范围内。
图11说明根据本发明的示例性实施例中的一个涉及基于不同下载策略的智能比特率自适应技术的所提出播放方法。在步骤S1101中，处理器221将确定播放会话是活动播放会话(或在活动标签中)。如果播放会话是活动播放会话，那么在步骤S1102中，播放会话将指派有第一下载策略。如果播放会话不是活动播放会话，那么在步骤S1103中，处理器221将确定播放会话是否是将活动播放会话。如果播放会话是将活动播放会话，那么在步骤S1103中，播放会话将指派第二下载策略。如果播放会话不是将活动播放会话，那么在步骤S1105中，播放会话将指派有第三下载策略。第一、第二及第三下载策略与待下载的播放会话的视频质量相关联。一般来说，具有较高优先级的播放会话将被授予允许下载耗费更多下载带宽或更多用于下载的时隙的高质量片段的下载策略。这表示与第二下载策略相比，第一下载策略将允许更多下载带宽或更多用于下载的时隙。与第三下载策略相比，第二下载策略将允许下载耗费更多下载带宽或更多用于下载的时隙的中质量片段的下载策略。下载策略并不限于上述的范例。
总体上，智能比特率自适应的机制将允许电子装置优化多个播放会话的下载，其中每个播放会话在窗口、帧或标签中被打开。智能比特率自适应方案基于活动水平，即播放会话是活动的、将活动的还是非活动的而将多个播放会话分成组。接下来，将根据每个播放会话将属于的群组来构建优先级队列。不同下载策略基于其优先级而应用于不同播放会话。具有较高优先级的播放会话将获得更多下载带宽，以便获得较高质量的片段。然而，如果多个会话具有相同优先级，那么可以应用轮询调度。
不同替代方案可以应用于上述概念。在一个示例性实施例中，当播放会话变为不可见时，app或浏览器将停止下载用于播放会话的比特流。当播放会话变为不可见时，app或浏览器将下载和自动地选择最低比特率的(视频)媒体文件描述。
在一个示例性实施例中，当播放会话变为不可见时，app或浏览器将至多下载在播放会话切换回可见时可以确保无缝过渡的数据量。当播放会话变为不可见时，将下载播放会话的流内容，但不会对所述流内容进行解码。一般来说，电子装置将打开若干个显示窗以播放若干播放会话。电子装置将根据用户可访问/不可访问播放会话或可见/不可见播放会话来设定每个下载任务的优先级。活动(或可见)窗口或帧或标签的播放会话具有最高下载优先级。将可见(例如，鼠标指针悬停于其上)的播放会话具有第二最高下载优先级。其余播放会话具有最低下载优先级。
在一个示例性实施例中，当播放会话的音频不可听见时，app或浏览器将停止下载播放会话的音频的比特流。可选地，当播放会话的音频不可听见时，app或浏览器将自动地选择下载最低比特率的音频媒体文件描述。可选地，当播放会话的音频不可听见时，app或浏览器将至多下载在播放会话切换回可听见时可以确保无缝过渡的数据量。
在一个示例性实施例中，当有除了音频/视频之外的任何其它形式的媒体轨道(例如，用于播放会话的字幕的文本轨)是用户无法接取或者不可见时，app或浏览器将停止接收此媒体轨道的比特流。替代地，当有除了音频/视频之外的任何其它形式的媒体轨道(例如，用于播放会话的字幕的文本轨)是用户无法接取或者不可见时，app或浏览器将自动地选择和下载此媒体轨道的最低比特率的媒体文件描述。
在一个示例性实施例中，当用户正播放具有音频和视频两者但视频不可见(因为切换到背景)的播放会话时，app或浏览器将向内容提供商报告此事件，内容提供商可以插入仅用声音展示的合适广告。
上述发明性概念可以扩展到多视点虚拟现实(virtual reality,VR)设置。图12说明根据本发明的示例性实施例中的一个在多视点虚拟现实(virtual reality,VR)设置中的所提出播放方法。VR应用过程可以具有由不同摄影机拍摄的不同视角的视频内容。
举例来说，活动播放会话含有第一视角的视频自适应集合1201、第二视角的视频自适应集合1202以及音频自适应集合1203。每个视频自适应集合包含一或多个媒体文件描述，例如媒体文件描述视频1至媒体文件描述视频3，并且每个媒体文件描述包含一或多个片段。每个音频自适应集合包含一或多个媒体文件描述，例如媒体文件描述音频1，并且每个媒体文件描述包含一或多个片段。视频自适应集合的每个媒体文件描述与各自的质量有关，即，与内容提供商对流内容进行编码所使用的各自的比特率有关。
举例而言，在图12中，媒体文件描述视频1是以较低的比特率产生(因此其具有较低的分辨率)，媒体文件描述视频2是以中阶的比特率产生，并且媒体文件描述视频3是以较高的比特率产生(因此其具有较高的分辨率)。对下载播放会话的电子装置而言，使用特定的下载比特率可能表示下载特定比特率媒体文件描述。在图12中，活动播放会话的视频自适应集合1201及视频自适应集合1202包含所有质量水平的媒体文件描述视频1至媒体文件描述视频3，这并不表示电子装置需要下载所有质量水平的媒体文件描述，而是表示可以被选择以便下载的媒体文件描述。在图12中，对于将活动播放会话而言，电子装置可为了将活动播放会话而下载选自一视角的视频自适应集合的媒体文件描述，除此之外不存在其他视角的视频自适应集合可供选择。
在一些应用情形中，播放会话可以具有多个音频和视频轨道(例如，MPEG-DASH的自适应集合)。例如，播放会话可以具有多个视点或多个轨道或可以支持嵌入多轨道音频中的多语言发音。如果每次仅存在一个音频和视频轨道，那么在此情况下，通过切换到其它音频和视频轨道，活动播放会话将由于缺乏缓冲数据而停滞。为了解决此问题，活动播放会话的多个视点的视频自适应集合以及音频自适应集合将被分配与比将播放会话或非播放会话更高的优先级或更优先的下载策略。在此情况下，将应用排程以便检查用于不同活动水平的各个播放会话的缓冲，所述排程展示如下。
首先，将需要检查活动播放会话的主要(视频或音频)自适应集合的缓冲数据以便查看缓冲数据是否足够。如果主要自适应集合的缓冲数据足够，那么就算活动播放会话的次要(视频或音频)自适应集合处于非活动状态，处理器也将检查次要自适应集合的缓冲数据查看缓冲数据是否足够。在一范例中，只有当播放会话的所有活动及非活动自适应集合具有足够的缓冲数据时，才会查看将活动播放会话或非活动播放会话的自适应集合的缓冲数据是否足够。
图13说明根据本发明的示例性实施例中的一个用于所提出播放方法的查看缓冲数据的过程。应注意，当图10中的过程被用于对具有多个视频自适应集合及/或多个音频自适应集合的播放会话进行智能比特率自适应时，图13中的过程可由图10中的步骤S1004代替。在步骤S1301中，电子装置将检查处于活动状态的活动播放会话中的主要轨道(轨道意义与MPEG-DASH中的自适应集合的意义相同)是否具有足够缓冲数据。如果步骤S1301的结果为不是，那么电子装置将确定不存在足够的缓冲数据。如果步骤S1301的结果为是，那么在步骤S1302中，电子装置将检查活动播放会话中是否存在任何处于非活动状态的其它轨道。如果步骤S1302的结果为不是，那么电子装置将确定存在足够的缓冲数据。如果步骤S1302的结果为是，那么在步骤S1303中，电子装置将获得轨道i并且检查非活动轨道i是否具有足够的缓冲数据。如果步骤S1303的结果为是，那么过程在步骤S1302中继续进行以便查看是否具有任何其他的非活动轨道。如果步骤S1303的结果为不是，那么电子装置确定不存在足够的缓冲数据。
应注意，在活动播放会话的活动轨道与非活动轨道之间，音频和视频缓冲要求可以不同。例如，对于活动播放会话中的活动音频和视频轨道，可能较活动播放会话的非活动轨道而言需要更多下载缓冲数据。对于活动播放会话中的非活动轨道，缓冲数据将仅需要维持在较低但不至于降低播放体验的足够水平下。另外，由于对播放质量的需求可能不同，因此活动播放会话的非活动轨道可以仅需要以最低下载比特率或(以最低可接受质量下载)。
鉴于前述描述，本发明适合用于电子装置中并且提供一种供电子装置使用的播放方法以及使用所述播放方法的电子装置，所述播放方法将在播放流内容时减少功率消耗并且避免对电子装置的用户将无法察觉的数据进行不必要的下载和解码。
根据实例，内容提供商可以用可缩放视频译码(scalable video coding,SVC)的形式编码流会话。通过SVC，流会话的每个片段可以根据不同的比特率进行编码以产生多层。例如，若使用三种不同的编码比特率，例如使用256千比特/秒、512千比特/秒以及1024千比特/秒，可产生三层：底层(base layer,BL)、第1增强层(1st enhancement layer,EL1)、第2增强层(2nd enhancement layer,EL2)。每个播放会话的电子装置可以根据不同播放活动水平(例如，活动、将活动、非活动)在不同播放会话中应用不同下载策略。例如，对于指派有第一优先级次序的活动播放会话，下载策略可以是下载BL、EL1及EL2等三层的片段，使电子装置可以结合BL、EL1及EL2的片段以便获得最高质量的活动播放会话。对于指派有第二优先级次序的将活动播放会话，下载策略可以是下载BL及EL1等二层的片段，使电子装置可以结合BL及EL1的片段以便获得中等质量的(将活动)播放会话。对于指派有第三优先级次序的非活动播放会话，下载策略可以是下载底层BL层的片段，电子装置仅可以获得最低质量的非活动播放会话。
例如，假设其为桌上型计算器的电子装置的可用带宽为1536千比特/秒，并且存在通过浏览器根据传统播放器制播放的三个播放会话，且所有三个播放会话已同时打开和播放。在此情况下，就算用户仅可以看到一个播放会话也可以听到三个音频混合的结果。此情形的最终结果是每个播放会话将以平均512千比特/秒的速率下载片段。在此情形下，电子装置将耗费1024千比特/秒的带宽去下载用户不可见的播放会话。以此方式，其余可见播放会话无法实现最佳质量结果。
然而，通过使用所提出的揭示内容，电子装置可以1024千比特/秒完全下载活动播放会话的媒体内容并且享受所述质量。对于其余512千比特/秒，如果将活动播放会话可能需要512千比特/秒，那么所有其余资源将耗费在将活动播放会话上。如果对活动播放会话和非活动播放会话而言在256千比特/秒下可能是足够的，那么电子装置可以各自以256千比特/秒分配将活动播放会话和非活动播放会话的下载。
用于本申请案的所揭示实施例的具体实施方式中的组件、动作或指令不应解释为对本发明来说为绝对关键或必要的，除非明确地如此描述。而且，如本文中所使用，不定冠词“一”和“一个”中的每一个可以包括多于一个项目。如果想表示只有一个项目，那么可以使用术语“单个”或类似语言。此外，如本文中所使用，在多个项目和/或多个项目种类的列表之前的术语“中的任一个”希望包括所述项目和/或项目种类个别地或结合其它项目和/或其它项目种类“中的任一个”、“中的任何组合”、“中的任何多个”和/或“中的多个的任何组合”。此外，如本文中所使用，术语“集合”既定包括任何数目的项目，包含零个。另外，如本文中所使用，术语“数目”希望包括任何数目，包括零。
本领域技术人员将明白，在不脱离本发明的范围或精神的情况下，可以对所揭示实施例的结构进行各种修改和变化。考虑到前述内容，期望本发明涵盖落入以下权利要求书及其等效物的范围内的本发明的修改及变化。

Claims (6)

1.一种电子装置，其包括：
收发器；
电子显示器；以及
处理器，所述处理器耦合到所述收发器和所述显示器并且至少配置用于：
打开多个播放会话，所述多个播放会话包括第一播放会话和第二播放会话，其中所述多个播放会话中的每一个与活动水平相关联；
基于所述第一播放会话的所述活动水平而将多个优先级次序中的第一优先级次序指派给所述第一播放会话，以及基于所述第二播放会话的所述活动水平而将所述多个优先级次序中的第二优先级次序指派给所述第二播放会话；以及
根据与所述第一优先级次序相关联的第一下载策略通过所述收发器下载所述第一播放会话。
2.根据权利要求1所述的装置，其中所述第一下载策略与将被下载的所述第一播放会话的质量水平相关联。
3.根据权利要求2所述的装置，其中响应于所述处理器已确定所述第一播放会话的所述活动水平是活动的并且所述第二播放会话的所述活动水平是非活动的，所述第一播放会话的所述质量水平经配置以高于所述第二播放会话的质量水平。
4.根据权利要求1所述的装置，其中所述打开的播放会话与在所述显示器中所示的浏览器中打开的多个标签相关联，并且与所述打开的播放会话相关联的活动水平是所述标签的状态。
5.根据权利要求1所述的装置，其中所述第一播放会话包括具有不同视角的多个视频流，并且所述多个视频流中的每个视频流与所述多个优先级次序中的一个相关联。
6.根据权利要求1所述的装置，其中所述第一播放会话包括多个音频轨道，并且每个音频轨道与所述多个优先级次序中的一个相关联。
CN201911190642.1A 2016-08-04 2017-08-04 可执行视频播放的电子装置 Active CN110708579B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662370718P 2016-08-04 2016-08-04
US62/370,718 2016-08-04
CN201710660749.2A CN107690090B (zh) 2016-08-04 2017-08-04 视频播放方法以及使用所述视频播放方法的电子装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710660749.2A Division CN107690090B (zh) 2016-08-04 2017-08-04 视频播放方法以及使用所述视频播放方法的电子装置

Publications (2)

Publication Number Publication Date
CN110708579A true CN110708579A (zh) 2020-01-17
CN110708579B CN110708579B (zh) 2021-09-07

Family

ID=61069702

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911190642.1A Active CN110708579B (zh) 2016-08-04 2017-08-04 可执行视频播放的电子装置
CN201710660749.2A Active CN107690090B (zh) 2016-08-04 2017-08-04 视频播放方法以及使用所述视频播放方法的电子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710660749.2A Active CN107690090B (zh) 2016-08-04 2017-08-04 视频播放方法以及使用所述视频播放方法的电子装置

Country Status (2)

Country Link
US (1) US10616652B2 (zh)
CN (2) CN110708579B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939167B2 (en) * 2015-09-15 2021-03-02 Piksel, Inc Dynamic resource allocation of multimedia content based on usage patterns
CN110708579B (zh) * 2016-08-04 2021-09-07 联咏科技股份有限公司 可执行视频播放的电子装置
CN109348353B (zh) * 2018-09-07 2020-04-14 百度在线网络技术（北京）有限公司 智能音箱的服务处理方法、装置和智能音箱
US11425182B1 (en) * 2020-12-30 2022-08-23 Meta Platforms, Inc. Systems and methods for dynamically encoding media streams
US20220365639A1 (en) * 2021-05-12 2022-11-17 Google Llc Browser tab management

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020143782A1 (en) * 2001-03-30 2002-10-03 Intertainer, Inc. Content management system
TW514798B (en) * 1999-08-27 2002-12-21 Guo-Ching Jang Method and system for multimedia technology integrating with web page navigation
US20080060010A1 (en) * 2000-04-10 2008-03-06 Hillcrest Laboratories, Inc. Media user interfaces using metadata from different sources
CN101226525A (zh) * 2007-01-19 2008-07-23 国际商业机器公司 控制web页面的下载和显示的方法、服务器、客户端及系统
US20110161485A1 (en) * 2009-12-28 2011-06-30 Microsoft Corporation Managing multiple dynamic media streams
CN103577028A (zh) * 2012-07-25 2014-02-12 深圳市快播科技有限公司 播放控制方法、装置及播放器
CN103596641A (zh) * 2012-10-18 2014-02-19 华为终端有限公司 一种音频管理方法及装置
CN104426744A (zh) * 2013-08-30 2015-03-18 中兴通讯股份有限公司 多媒体内容的同步播放方法、服务器、客户端及系统
CN104750358A (zh) * 2015-03-09 2015-07-01 深圳市艾优尼科技有限公司 一种终端
WO2015178966A1 (en) * 2014-05-19 2015-11-26 Tribune Digital Ventures, Llc Use of a remainder duration as a basis to generate a playlist
CN105138402A (zh) * 2015-08-25 2015-12-09 海信集团有限公司 一种应用进程内存释放的优先级调整方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240103B1 (en) 1997-03-21 2001-05-29 Scientific-Atlanta, Inc. Method and apparatus for detecting and preventing bandwidth overflow in a statistical multiplexer
US7725557B2 (en) 2002-06-24 2010-05-25 Microsoft Corporation Client-side caching of streaming media content
US7773581B2 (en) 2004-03-19 2010-08-10 Ericsson Ab Method and apparatus for conferencing with bandwidth control
JP4564561B2 (ja) * 2008-11-27 2010-10-20 株式会社東芝 時限管理装置および時限管理方法
TWI414182B (zh) 2010-12-01 2013-11-01 Novatek Microelectronics Corp 多媒體裝置及其播放模式偵測方法
US8775664B2 (en) * 2011-02-16 2014-07-08 Sony Corporation Method and apparatus for use in tracking playback of media streams while in stand-by mode
JP6060628B2 (ja) * 2012-11-07 2017-01-18 日本電気株式会社 ライブラリ装置
EP3562167A1 (en) * 2013-02-12 2019-10-30 Ericsson AB Method for providing variant manifest file to media player for rendering content from personal over-the-top network video recorder
US9134790B2 (en) * 2013-03-13 2015-09-15 Rovi Guides, Inc. Methods and systems for rectifying the lengths of media playlists based on time criteria
US9558787B2 (en) * 2014-01-29 2017-01-31 Google Inc. Media application backgrounding
CA2895637C (en) * 2014-06-27 2023-09-05 Bce Inc. Content consumption monitoring
TW201618517A (zh) * 2014-07-01 2016-05-16 Ｖｉｄ衡器股份有限公司 藉由媒體播放器裝置在媒體串流中伺服器端通信期控制
CN105100915B (zh) 2015-06-25 2019-03-15 海信集团有限公司 一种切换音视频应用的方法及电视机
US20160381163A1 (en) * 2015-06-25 2016-12-29 Friends with Inspirations Ltd. Shared experience and multi-device hardware platform
CN110708579B (zh) * 2016-08-04 2021-09-07 联咏科技股份有限公司 可执行视频播放的电子装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW514798B (en) * 1999-08-27 2002-12-21 Guo-Ching Jang Method and system for multimedia technology integrating with web page navigation
US20080060010A1 (en) * 2000-04-10 2008-03-06 Hillcrest Laboratories, Inc. Media user interfaces using metadata from different sources
US20020143782A1 (en) * 2001-03-30 2002-10-03 Intertainer, Inc. Content management system
CN101226525A (zh) * 2007-01-19 2008-07-23 国际商业机器公司 控制web页面的下载和显示的方法、服务器、客户端及系统
US20110161485A1 (en) * 2009-12-28 2011-06-30 Microsoft Corporation Managing multiple dynamic media streams
CN103577028A (zh) * 2012-07-25 2014-02-12 深圳市快播科技有限公司 播放控制方法、装置及播放器
CN103596641A (zh) * 2012-10-18 2014-02-19 华为终端有限公司 一种音频管理方法及装置
CN104426744A (zh) * 2013-08-30 2015-03-18 中兴通讯股份有限公司 多媒体内容的同步播放方法、服务器、客户端及系统
WO2015178966A1 (en) * 2014-05-19 2015-11-26 Tribune Digital Ventures, Llc Use of a remainder duration as a basis to generate a playlist
CN104750358A (zh) * 2015-03-09 2015-07-01 深圳市艾优尼科技有限公司 一种终端
CN105138402A (zh) * 2015-08-25 2015-12-09 海信集团有限公司 一种应用进程内存释放的优先级调整方法及装置

Also Published As

Publication number Publication date
CN107690090A (zh) 2018-02-13
CN110708579B (zh) 2021-09-07
US10616652B2 (en) 2020-04-07
CN107690090B (zh) 2021-01-12
US20180041809A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
CN110708579B (zh) 可执行视频播放的电子装置
US11785289B2 (en) Receiving device, transmitting device, and data processing method
US9804668B2 (en) Systems and methods for rapid content switching to provide a linear TV experience using streaming content distribution
US11537562B2 (en) Auxiliary manifest file to provide timed metadata
US9344517B2 (en) Downloading and adaptive streaming of multimedia content to a device with cache assist
US10591984B2 (en) Systems and methods for rapid content switching to provide a linear TV experience using streaming content distribution
US8676952B2 (en) User adaptive HTTP stream manager and method for using same
US11202117B2 (en) Methods for personalized 360 video delivery
US20190149885A1 (en) Thumbnail preview after a seek request within a video
US20190146651A1 (en) Graphical user interface for navigating a video
CN113767639B (zh) 接收媒体数据的方法、装置和非易失性计算机可读介质
US11647252B2 (en) Identification of elements in a group for dynamic element replacement
CN113661692B (zh) 接收媒体数据的方法、装置和非易失性计算机可读存储介质
US9705727B2 (en) Remote viewing of media content using layered video encoding
EP3352469A1 (en) Transmission device, reception device, and data processing method
US20170013288A1 (en) Presentation of a multi-frame segment of video content
CN110431848B (zh) 内容提供系统、内容提供方法和程序
KR102628917B1 (ko) 송신 장치, 수신 장치, 및 데이터 처리 방법
US9769415B1 (en) Bandwidth optimized channel surfing and interface thereof
WEIWEI An experimental study of video uploading from mobile devices with HTTP streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant