CN108028954A - 用于回放功率节省媒体内容的方法、系统和装置 - Google Patents

用于回放功率节省媒体内容的方法、系统和装置 Download PDF

Info

Publication number
CN108028954A
CN108028954A CN201680053682.XA CN201680053682A CN108028954A CN 108028954 A CN108028954 A CN 108028954A CN 201680053682 A CN201680053682 A CN 201680053682A CN 108028954 A CN108028954 A CN 108028954A
Authority
CN
China
Prior art keywords
media segment
media
frame
section
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680053682.XA
Other languages
English (en)
Inventor
查德·安德鲁·勒费夫尔
托马斯·爱德华·豪兰德尔
马克·弗朗西斯·鲁姆瑞斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2016/047379 external-priority patent/WO2017048447A1/en
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108028954A publication Critical patent/CN108028954A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436Power management, e.g. shutting down unused components of the receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

呈现了用于调整回放媒体内容的功率消耗的方法。该方法包括接收具有第一和第二媒体段的媒体内容;以与第一媒体段中的第二数量的帧不同的第一数量的帧来回放第一媒体段;并且回放第二媒体段,其中,第一数量根据第一媒体段的平均功率和媒体内容的平均功率来确定。

Description

用于回放功率节省媒体内容的方法、系统和装置
相关临时申请引用
本申请要求于2015年9月15日提交的序列号为62/218679的名称为“用于提供功率节省媒体内容的方法、系统和装置(METHODS,SYSTEMS AND APPARATUS FOR PROVIDINGPOWER SAVING MEDIA CONTENT)”的美国临时申请、于2016年8月9日提交的序列号为62/372470的名称为“用于提供功率节省媒体内容的方法、系统和装置(METHODS AND SYSTEMSAND APPARATUS FOR PROVIDING POWER SAVING MEDIA CONTENT)”的美国临时申请、以及于2016年8月9日提交的序列号为62/372475的名称为“用于提供功率节省媒体内容的方法、系统和装置(METHODS,SYSTEMS AND APPARATUS FOR PROVIDING POWER SAVING MEDIACONTENT)”的美国临时申请、以及于2016年8月17日提交的序列号为PCT/US2016/047379的名称为“用于提供功率节省媒体内容的方法和装置(METHOD AND APPARATUS FORPROVIDING POWER SAVING MEDIA CONTENT)”的国际专利申请的优先权,其内容通过引用以其整体合并与此。
技术领域
本原理的实施例一般涉及用于视频内容处理的方法、系统和装置。具体地,本原理涉及在观看内容时回放节能内容和元数据以节约功率消耗。
背景技术
许多现代电视机和显示设备显示不同亮度的内容并且动态改变功率。在正常的观看条件下,典型的LCD电视接收器可能会消耗150瓦的功率。大约一半的功率消耗是由于显示器的背光。许多背光是区域可调光的,允许通过在黑暗场景区域内调暗背光增强对比度。当使用区域可调光背光时,显示器消耗的功率取决于区域亮度。例如,全白场景可能消耗150瓦,全黑场景为75瓦,全灰场景为110瓦。屏幕左侧黑和右侧白的场景可能消耗110瓦。
目前许多电视机还提供节能模式,无论场景内容如何,都可以降低整体背光亮度。然而,这些设备不能根据节目内容、预期的未来场景、或对电力企业状况的了解来节省功率。因此,他们降低功率消耗的能力是有限的。
附图说明
结合下面描述的附图,根据以下详细描述,本原理的特征和优点可以是显而易见的:
图1示出了根据本原理的系统的示意图;
图2A示出了根据本原理的装置的示意图;
图2B示出了根据本原理的装置的示意图;
图3示出了根据本原理的系统的示意图;
图4A示出了根据本原理的方法的流程图;
图4B示出了根据本原理的方法的流程图;
图5示出了说明了根据本原理的(一个或多个)经修改的播出时间确定的散布图(plot diagram);
图6示出了根据本原理的传递函数的图示;
图7示出了根据本原理的当用户选择对接收到的媒体内容的所有版本执行功率节省功能的选项时由用户设备执行的过程;
图8示出了接收到的完全加速媒体内容的示例;
图9示出了根据本原理的在考虑功率节省之后具有对每时间单位的功率消耗的限制的图8中的完全加速媒体内容中包括的段的持续时间改变。
图10示出了根据本原理的在考虑功率节省之后具有对总功率消耗的限制的图8中的完全加速媒体内容中包括的段的持续时间改变。
图11示出了根据本原理的在考虑功率节省之后具有对每个段消耗相同的功率的限制的图8中完全加速媒体内容中包括的段的持续时间改变;
图12示出了根据本原理的在考虑功率节省之后具有对指定的总功率消耗和总回放时间的限制的图8中完全加速媒体内容中包括的段的持续时间改变;
图13示出了所接收到的完全减速媒体内容的示例;
图14示出了根据本原理的在考虑功率节省之后图13中完全减速媒体内容中包括的段的持续时间改变;
图15示出了根据本原理的由用户设备执行的用于控制输入缓冲器的使用的由用户设备过程执行的过程;
图16示出了根据本原理的缓冲器水平改变的示例。
发明内容
根据本原理的示例性实施例,呈现了一种方法。该方法包括接收具有第一媒体段和第二媒体段的媒体内容;用与第一媒体段中的第二数量的帧不同的第一数量的帧来回放第一媒体段;以及回放第二媒体段,其中,第一数量根据第一媒体段的平均功率和媒体内容的平均功率来确定。
根据本原理的示例性实施例,呈现了一种设备。该设备包括存储器,被配置为存储媒体内容;以及处理器,被配置为接收具有第一媒体段和第二媒体段的媒体内容;并且用与第一媒体段中的第二数量的帧不同的第一数量的帧来回放第一媒体段,并且回放第二媒体段,其中,第一数量根据第一媒体段的平均功率和媒体内容的平均功率来确定。
根据本原理的示例性实施例,呈现了一种存储在非暂态计算机可读存储介质中的计算机程序。该计算机程序包括计算机可执行指令,用于:接收具有第一媒体段和第二媒体段的媒体内容;用与第一媒体段中的第二数量的帧不同的第一数量的帧来回放第一媒体段;以及回放第二媒体段,其中,第一数量根据第一媒体段的平均功率和媒体内容的平均功率来确定。
具体实施方式
本原理的实施例的一方面涉及确定当显示或提供媒体内容时,预期、预测或估计待使用功率的功率节省或功率优化。如本文所使用的,“功率节省”可以被定义为包括减少功率和/或能量的消耗。功率节省还可以指媒体内容的“绿色”或能量高效版本。功率节省还可以指基于消耗负载和/或基础设施的功率优化。例如,功率可以基于终端用户装置或设备处的预期的、预测的或估计的内容功率使用来确定。
本原理的实施例的一方面涉及确定媒体内容和/或媒体内容段或子单元的功率消耗。因此,如本文所讨论的功率消耗或功率确定参考预期的、预测的或估计的装置和/或系统的功率消耗和/或使用。估计的功率消耗可以是例如基于内容属性(诸如亮度等)的测量的功率消耗指示符。
如本文所使用的,“媒体内容”可被定义为包括任何类型的媒体,包括从任何源接收的任何类型的音频、视频和/或图像媒体内容。例如,“媒体内容”可以包括互联网内容、流媒体服务(例如,M-GO、Netflix、Hulu、Amazon)、记录的视频内容、视频点播内容、广播的内容、电视内容、电视节目(或策划)、广告、商业、音乐、电影、视频剪辑、交互式游戏、基于网络的娱乐应用程序、以及其他媒体资产。媒体资产可以包括任何和各种数字媒体格式,诸如音频文件、图像文件或视频文件。
本原理的实施例的一方面涉及当提供媒体内容时(例如,当在终端用户设备处显示或播出媒体内容时)减少功率消耗。本原理的一方面涉及修改或提供修改媒体内容速度的选项。本原理的一方面涉及基于媒体内容段的功率消耗指示来修改媒体内容段的播出时间。
本原理的实施例的一方面涉及基于媒体内容速度(即,将演示时间进行加速或减速)的功率节省。本原理的一方面涉及基于自适应地修改提供媒体内容的速度的功率节省。本原理的实施例的一方面涉及基于适合于媒体内容的媒体内容速度修改的功率节省。速度修改(例如,更快或更慢的速度)可以基于切片、逐帧、基于电影帧、基于图片组(GOP)、基于视频场景或基于任何其他媒体段。本原理的一方面涉及基于媒体内容功率考虑来提高或降低提供媒体内容的速度。本原理的一方面涉及基于相对于相同媒体内容的(一个或多个)其他段来修改(一个或多个)媒体内容段的速度的功率节省。
本原理的实施例的一方面涉及基于内容信息来确定速度范围或边界(例如,最大速度和/或最小速度)。例如,可以基于媒体场景内容、对话、媒体内容地理位置(在媒体内容中描绘的(一个或多个)位置或媒体内容正被观看的位置)、偏好或观看容限(例如,可以观察媒体内容的最大时间量)中的一个或多个来确定速度范围。
在一个示例中,可以通过修改显示或播出视频段的速度(即视频段的播出/播出时间)来实现功率节省。例如,功率节省可以基于将高功率视频段进行加速,其中加速的量被限制在所确定的最大速度边界内。在另一示例中,功率节省可以基于将低功率视频段减速,其中减速的量被限制在所确定的最小速度边界内。在一个示例中,可以在大体上保持视频的相同总持续时间的同时实现功率节省。
本原理的实施例的一方面涉及媒体内容的预处理。例如,可以在内容服务器处对媒体内容进行预处理从而确定功率节省指示符。在一个示例中,可以在视频服务器处对视频进行预处理以确定功率消耗参数。服务器上的预处理可以提供服务器的更高的计算能力、更高准确性和处理整个程序的能力的益处,从而确保大体上相同的总程序持续时间。
本原理的实施例的一方面涉及确定媒体内容的功率寄生版本。例如,本原理的实施例的一方面涉及确定媒体内容的多个版本(例如,节目、视频)。一个版本可以是包括原始媒体内容的正常版本,而一个或多个版本可以是原始媒体内容的功率节省版本。功率节省版本可以具有与原始媒体内容大体上相同的总持续时间,但是对于各种场景可以具有不同的速度。大体上相同的总持续时间可以意味着媒体内容总持续时间在原始媒体内容持续时间的百分比值内。在一个实施例中,百分比值可以是原始媒体内容持续时间的+/-5%。在一个示例中,媒体内容播出单元(例如,机顶盒、电视、平板电脑、智能电话、计算机等)可以在多个功率节省版本之间动态地切换(例如,基于用户输入在媒体内容段的版本之间切换)。在另一示例中,媒体内容提供单元可以在媒体内容段的功率版本之间自动地切换。可以基于能量消耗简档(例如,每用户)或其他能量参数(例如,一天中的时间、电力成本、能量消耗简档、总能量消耗、在家中的总能量消耗)。在一个示例中,媒体内容的功率节省版本可以与常规媒体内容一起被提供(例如,通过诸如Netflix、Amazon、M-GO和其他流媒体提供商的流媒体网站)。每个功率节省版本可以包括用于指示不同媒体内容速度的指示符。这些指示符可以与相应的媒体内容一起被编码/解码。在一个示例中,指示符可以是与媒体内容和/或媒体内容段一起提供的元数据。
本原理的实施例的一方面涉及可以指示媒体内容速度的元数据。元数据可以包括关于指示媒体内容速度改变的时间戳或媒体内容点的信息。例如,元数据可以包括关于媒体内容速度何时快、慢或正常的信息。在一个示例中,元数据可以由编码器或内容服务器生成和/或发送。
可以使用至少两个实施例来实现比正常速度更快的媒体段的快速度。例如,服务器可以减少该段中的帧数并且接收器以正常速度回放该段,或者服务器可以发送正常段并且接收器以更快的速度播出正常段。类似地,可以使用至少两个实施例来实现比正常速度慢的媒体段的慢速度。例如,服务器可以增加该段中的帧数并且接收器以正常速度回放该段,或者服务器可以发送正常段并且接收器以较慢的速度播出该段。
本原理的实施例的一方面涉及指示媒体内容速度版本的元数据。例如,元数据可以指示相同媒体内容或媒体段的第一“快速”版本和第二“慢速”版本。元数据可以提供(一个或多个)媒体内容速度的灵活指示。发送或编码设备可以基于媒体段(例如,视频段)的内容和/或(一个或多个)能量等级来提供与不同速度或(一个或多个)速度调整有关的元数据。接收设备可以利用元数据来控制提供(例如,显示)媒体内容的速度。例如,接收器可以基于接收到的元数据信息来递增地调整媒体内容显示速度。在另一示例中,接收设备可以基于相对于“正常”速度的加速和减速的元数据指示来调整定义媒体内容速度。
本原理的实施例的一方面涉及指示各种视频内容播出速度的元数据。表1示出了与视频f内容有关的这种元数据信息。“播出速度”栏涉及不同播出速度的标识符。“开始”列指示开始的视频帧号码。“结束”列表示结束的视频帧号码。“持续时间”栏对应于视频帧的总数量。
表1
本原理的实施例的一方面涉及允许实现功率节省的元数据。功率节省可以基于与当前场景内容、未来场景内容、节目类型和其他媒体内容信息中的一个或多个有关的元数据。元数据可以与速度信息有关。元数据可以包括与速度、执行速度变换、速度持续时间、速度改变开始和速度改变结束中的一个或多个有关的指示符。
本原理的实施例的一方面涉及发送或接收的元数据。例如,本原理的一方面涉及由发射器确定和发送元数据。本原理的一方面涉及在接收器处接收到的元数据。接收器可以基于接收到的元数据提供用于观察的媒体内容。元数据可以与相应的媒体内容一起在带内传送,或作为单独的文件或单独的流在带外传送。例如,对于带内元数据,元数据的到达可以指示速度操作应该什么时候开始和/或结束。在一个示例中,可以使用诸如呈现时间戳或图片顺序计数之类的独特标记来指示速度操作应该什么时候开始和/或结束。
本原理的实施例的一方面涉及指示在(一个或多个)高峰负载时间段期间电视机和其他电器的功率消耗控制的元数据。在一个示例中,元数据可以指示期望的功率节省的程度。消费者设备(例如,电视)可以基于接收到的元数据提供优化的功率节省过程。
本原理的实施例的一方面涉及提供对家庭网络功率消耗的增强。例如,设备或装置的功率消耗信息可以被提供给公用事业服务提供商。公用事业服务提供商可以改变媒体内容或元数据。相反,公用事业服务提供商可以向设备提供动态费率信息(例如,每千瓦时的价格)以便其自适应地控制功率节省算法。或者,该设备或装置可以基于当前的能量使用来修改媒体内容。或者,该装置可以由另一家用电器来控制。在一个示例中,功率节省确定可以基于软件和/或硬件来执行。功率节省确定可以基于由服务提供商提供的参数,该功率节省确定可以优化功率消耗和用户体验两者或其中之一。功率消耗信息可以与整个家庭功率消耗或房间照明集成在一起以改善体验,同时还减少了能量使用。
本原理的实施例的各方面可以实现在下面描述的附图内。
图1示出了根据本原理的系统100的示意图。系统100可以包括编码器/发射器110和解码器/接收器120。
编码器/发射器110可以是包括以下各项的装置或系统:用于对媒体内容(例如,视频)进行编码的编码器装置、用于发送功率节省媒体内容(例如,互联网协议信息)的发射器、媒体内容服务器(例如,用于准备媒体内容的功率节省版本的头端服务器)、和流服务提供商(例如,用于提供流媒体内容)或用于提供媒体内容的任何其他装置。
编码器/发射器110可以接收媒体内容101,其可以是视频内容。媒体内容101可以是压缩或非压缩媒体内容。非压缩媒体内容的示例包括各种RGB格式的视频。压缩媒体内容的示例包括根据例如MPEG2、H.264、H.265和任何其他视频压缩标准进行压缩的视频。
根据本文描述的任何原理,编码器/发射器110可以确定针对媒体内容101的功率节省速度修改。例如,编码器/发射器110可以确定媒体内容101的多个功率节省版本。然后可以压缩(编码)多个功率节省版本,得到功率节省媒体内容102。在另一示例中,编码器/发射器110可以确定指示不同媒体内容速度的指示符和应该应用该速度的时间。这样的指示符可以被编码为元数据103的一部分。在一个示例中,编码器/发射器110可以根据结合图2A、图2B、图3-6描述的技术来确定省电速度修改。编码器/发射器110可以基于媒体内容101的功率节省速度确定来提供功率节省媒体内容102。
编码器/发射器110可以可选地提供元数据103。元数据可以指示速度和/或媒体内容观察时间。功率节省确定还可以被包括在元数据103内。例如,元数据103可以是功率节省媒体内容102的一部分,或可以与媒体内容102分开被发送。当元数据被单独提供时,媒体内容102可以是媒体内容101。元数据103的传输可以经由除媒体内容102的通信路径或系统之外的相同或不同的通信路径或系统。
解码器/接收器120可以是装置或系统,包括:用于将媒体内容(例如,视频、用于接收媒体内容的接收装置(例如,互联网协议信息)、消费者端设备(例如,机顶盒、蓝光播出器、电视机、智能电视、游戏机、膝上型计算机、全尺寸个人计算机、智能手机、平板PC以及用于提供媒体内容的任何其他设备)进行解码的解码器装置。解码器/接收器120可以接收功率节省媒体内容102和元数据103。
解码器/接收器120可以基于功率节省媒体内容102和/或元数据103来确定功率优化媒体内容104。解码器/接收器120可以对接收到的功率节省媒体内容102和/或元数据103执行解码操作。
解码器/接收器120可以提供用于观察的功率优化媒体内容104。解码器/接收器120可以利用元数据103来控制显示功率优化的媒体内容104的速度。例如,解码器/接收器120可以基于元数据103递增地调整媒体内容显示速度。在一个示例中,解码器/接收器120可以根据结合图2A、图2B、图3-6描述的技术来确定功率节省速度修改。
图2A示出了根据本原理的装置200的示意图。装置200可以是能够处理指令和生成可发送信息的装置。装置200可以类似于结合图1描述的编码器/发射器110。例如,装置200可以是发射器、编码器或头端服务器。
装置200可以例如经由输入201来接收媒体内容。媒体内容可以是压缩或非压缩形式。压缩媒体内容的示例包括根据诸如MPEG2、H.264、H.265和任何其他压缩标准被压缩的内容。非压缩媒体内容的示例包括RGB格式的视频。媒体内容可以是结合图1描述的媒体内容。输入201可以接收媒体内容以进行处理。输入201可以是视频输入终端、总线、连接器、输入视频缓冲器、通信端口等。
媒体分段器202将媒体内容进行分段。媒体分段器可将媒体内容(例如,视频)分段为媒体段。在一个示例中,媒体分段器202将媒体内容分段为不同的区、部分、帧、块、图片组(GOP)、切片、场景、片段(诸如MPEG DASH中支持的片段化MP4)、任何其他类型的分段(例如,如在HLS的分段自适应传输流中所使用的)以及任何其他类型的时间间隔(动态时间间隔或统一时间间隔,例如2秒、5秒)。在一个实施例中,媒体内容可能已经被分段,并且媒体分段器202可以是可选的、绕过的或移除的。功率节省确定可以基于这些媒体段来执行。段的大小可以基于实际考虑而进行优化。例如,如果段太小,则可能难以改变速度。但是,如果段太长,可能会错过功率节省的机会。
功率估计器203确定由媒体分段器202确定的媒体段的功率消耗。在一个示例中,功率估计器203可以通过任何功率确定方法来确定功率消耗。例如,功率估计器203可以确定来自每个分段部分的各个内容的像素的平均或归一化亮度值。在一个示例中,功率估计器203可以基于组成场景的媒体段的平均功率来确定场景的平均功率。在一个示例中,平均功率可以通过将场景的能量除以场景的持续时间或场景的帧数来确定。媒体段或媒体内容的平均功率可以类似地确定。功率估计器203可以估计(一个或多个)媒体段或(一个或多个)媒体段子单元(例如,帧)的功率消耗或能量。在一个示例中,功率可以是当显示或提供媒体内容时所预期、预测或估计要使用的功率。即,装置200可以预期、预测或估计与终端用户装置或设备上的内容相关联的功率。
积分器204可以在一段时间内对媒体段或媒体段的子单元的功率消耗进行积分或求和。例如,积分器204可以将在分段的场景中的所有帧的功率进行积分,从而提供分段的场景的总功率。在一个示例中,积分器204可以是可选的或可以仅基于某些条件来使用。例如,积分器204可以仅在场景被分段时(例如,当视频场景被分段为多于一个视频帧时)使用。积分器204可以对帧或场景中的所有媒体段的总功率或能量进行求和。
规范器(normalizer)205可以确定场景的平均功率消耗。在一个示例中,规范器205可以将场景的能量除以场景中的媒体段或媒体段的子单元的数量。例如,规范器205可将由积分器204确定的总功率或能量除以由积分器204评估的场景中的帧数。规范器205可确定每帧、每时间间隔、时间段、或每媒体段的子单元的的平均功率或能量。在一个示例中,规范器205和积分器204可以是可选的或可以被集成为功率估计器203的一部分。
速度修改器206可以从至少一个功率估计器203、积分器204和/或规范器205接收功率消耗信息。速度修改器206可以包括速度确定器207和音频/视频(“A/V”)速度调整器208。在一个示例中,速度确定器207和A/V速度调整器208可以被集成到速度修改器206中。
速度确定器207确定提供每个媒体段的速度。速度确定器207可以基于由功率估计器203、积分器204和/或规范器205确定的功率消耗来确定段的速度。在一个示例中,速度确定器207可以确定段的经修改的开始和结束时间。在一个示例中,速度确定器207可以确定媒体内容的更快或更慢的速度。
在一个示例中,速度确定器207可以基于平均功率消耗确定一个或多个媒体段的经修改的速度。在一个示例中,速度确定器207可以基于与功率消耗的直接关系来确定速度。速度确定器可以基于在媒体段的平均功率和该段的速度之间的直接关系来确定媒体段的速度。例如,如果媒体段具有相对较高的功率消耗,则然后速度确定器207可以增加该段的速度。类似地,如果媒体段具有相对较低的功率消耗,则速度确定器207然后可以降低该段的速度。
通常,速度确定器207可以减少高功率段的持续时间(或帧数)并且增加低功率段的持续时间(或帧数)。速度确定器207还可以跟踪节目的总体速度以确保尽管速度改变,但媒体内容的总体总时间保持大致相同。在一个示例中,总的媒体内容时间保持不变。在另一示例中,它小于或大于原始(正常)媒体内容时间。
在一个示例中,速度确定器207可以基于移位参考阈值来确定速度修改。在一个示例中,可以根据结合图5的参考阈值505描述的原理来确定阈值。
在另一示例中,速度确定器207可以基于转移的斜率的特性的改变来确定速度修改。在一个示例中,斜率转移特性的改变可以根据结合图6描述的原理来确定。
在另一示例中,速度确定器207可以基于改变可允许速度的最大范围来确定速度修改。在一个示例中,速度确定器207可以基于移位参考阈值、改变转移特性的斜率、和改变可允许速度的最大范围的组合来确定速度修改。
在一个示例中,A/V速度调整器208可以是音频/视频速度调整播出单元。例如,A/V速度调整器208可以提高视频段的速度(例如,通过调整视频段的播出或呈现时间)。或者,A/V速度调整器208可以降低视频段的速度(例如,通过调整视频段的播出或呈现时间)。在一个示例中,可以不使用A/V速度调整器208,因为元数据可以指示对具有其自己的A/V速度调整单元的下游接收设备的速度调整。在这种情况下,元数据211被提供给下游A/V速度调整单元以引导所应用的速度调整。
速度修改器206还可以确定元数据211。元数据211可以基于由速度修改器206提供的速度修改来确定。例如,元数据211可以指示媒体内容速度。元数据211可以包括关于指示媒体内容速度在哪里改变的时间戳或媒体内容点的信息。例如,元数据211可以包括关于媒体内容速度什么时候是快速、慢速和正常速度的信息。或者,元数据211可以指示媒体内容速度版本(例如,快速、慢速、正常和/或实际速度)。例如,元数据211可以是如结合表1描述的元数据。元数据211可以允许实现功率节省。元数据211可以涉及当前场景内容、未来场景内容、节目类型和其他媒体内容信息中的一个或多个。元数据211可以涉及速度信息。元数据可以包括与速度、什么时候执行速度改变、速度持续时间、速度改变开始、和速度改变结束中的一个或多个有关的指示符。在一个示例中,媒体内容可以是未修改的,并且速度修改可以仅在元数据中指示。在这个示例中,元数据包括功率消耗和/或回放速度的同步指示。同步点是基于媒体段和/或时间戳的。
在一个示例中,对于带内元数据,元数据211的到达可以指示速度操作应该什么时候开始和/或结束。元数据211可以与功率节省媒体内容210同步。在另一示例中,可以使用诸如呈现时间戳或图片顺序计数之类的独特标记来指示速度操作应该什么时候开始和/或结束。在一个示例中,元数据211可以包括由功率估计器203、积分器204和规范器205中的一个或多个确定的功率消耗指示。
装置200可以包括可选的视频压缩器(编码器)209。视频压缩器209可以压缩来自速度修改器206的功率节省媒体内容。压缩器209可以是速度修改器206的一部分。
功率节省媒体内容210和元数据211可以经由调制器、诸如HDMI端口的输出端口、以太网接口、通信端口等来提供。功率节省媒体内容210可以包括元数据211或者可以是与元数据211分开的。元数据211可以经由与功率节省媒体内容210相同或不同的路径或系统来发送。替代地,元数据211还可以被调制和/或分配给不同的信道、频率、时间段、数据格式或调制方案而不是功率节省媒体内容210。
装置200还可以包括处理器220和存储器221。在一个示例中,装置200的组件201-209可以连接到处理器220和存储器221。处理器220可以监视和控制各种硬件组件,以实现组件201-209的功能。在另一示例中,处理器220可以执行软件以执行组件201-209的各种功能。
存储器221可以被配置为存储从组件201-209中的一个或多个接收到的信息。存储器221可以是多种存储器类型中的一种或多种。例如,存储器221可以是HDD、DRAM、高速缓存、只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储设备(例如,磁或光盘存储设备)、固态磁性器件等等中的一个或多个。
存储器221可以存储被配置为执行用于组件201-209的技术的计算机可执行指令。存储器221可以存储要由处理器220执行的指令。可执行指令可由处理器220访问。可执行指令可以存储在随机存取存储器(“RAM”)中或可存储在非暂态计算机可读介质中。这种非暂态计算机可读介质可以包括许多物理介质(例如电子、磁性、光学、电磁或半导体介质)中的任何一种。合适的非暂态计算机可读介质的更具体的示例包括但不限于便携式磁性计算机磁盘,诸如软盘或硬盘驱动器、只读存储器(“ROM”)、可擦除可编程只读存储器、便携式光盘或可直接或间接耦合的其他存储设备。介质还可以包括一个或多个前述和/或其他设备的任何组合。
如本领域技术人员容易想到的,装置200还可以包括其他元件(未示出)并省略了某些元件。例如,如本领域普通技术人员容易想到的,根据本发明的具体实施方式,可以包括各种其他输入设备和/或输出设备。例如,可以使用各种类型的无线和/或有线输入和/或输出设备。此外,如本领域普通技术人员容易想到的,还可以在各种配置中使用附加处理器、控制器、存储器等。给定本文提供的本原理的教导,本领域普通技术人员将容易想到装置200的这些和其他变型。
此外,应该理解,装置200可以执行本文公开的技术。例如,装置200可以全部或部分地执行结合图4A描述的一个或多个方法。
图2B示出了根据本原理的装置250的示意图。装置250可以是能够处理指令和接收信息的装置。装置250可以类似于结合图1描述的装置120。例如,装置250可以是接收器、解码器或消费者设备。装置250可以接收功率节省媒体内容210和元数据211。
装置250包括输入251。输入251可以是调谐器、解调器、视频输入终端、总线、连接器、输入缓冲器、通信端口等。装置250可以经由输入端251接收功率节省媒体内容210。装置250还可以可选地经由输入251接收功率节省媒体内容210和元数据211。在一个示例中,功率节省媒体内容210和元数据211可以根据结合图2A描述的原理来确定。在一个示例中,可以如结合图2所描述的接收功率节省媒体内容210和元数据211。
装置250可以包括速度修改器252。速度修改器252可以包括速度确定器253和音频/视频(“A/V”)速度调整器254。在一个示例中,速度确定器253和A/V速度调整器254可以被集成到速度修改器252中。
速度确定器253可以确定功率节省媒体内容210的速度和/或修改的播出时间。在一个示例中,速度确定器253可以基于接收到的元数据211确定每个媒体段的速度和/或修改的播出时间。在一个示例中,速度确定器253可以分析元数据211以获得功率节省媒体内容210的每个媒体段的功率消耗指示。在另一示例中,速度确定器253可以分析元数据211以确定功率节省媒体内容210的媒体段中的每一个的速度。在一个示例中,速度确定器253可以通过在该媒体段的功率节省版本之间进行选择,来确定每个媒体段的速度和/或修改的播出时间。在另一示例中,速度修改器252和/或速度确定器253可以接收已经具有经修改的速度的媒体内容以优化媒体内容的功率。
在另一示例中,速度修改器252还可以包括媒体分段器、功率估计器、积分器、和/或规范器以确定如何提供功率优化的媒体内容。在一个示例中,媒体分段器、功率估计器、积分器和/或规范器可以对应于结合图2A中的装置200描述的媒体分段器202、功率估计器203、积分器204和规范器205。在一个示例中,A/V调整器254可以根据结合图2A的A/V调整器208所描述的原理来修改媒体内容。
在一个示例中,公用事业服务提供商可以向装置250提供动态费率信息(例如,每千瓦时的价格)以便其自适应地控制功率节省算法。装置250可以基于当前的能量使用来修改媒体内容。装置250可以由另一家用电器来控制。装置250可以基于由服务提供商提供的参数来执行功率节省确定,该功率节省确定可以优化功率消耗和用户体验两者或其中之一。功率消耗信息可以与家庭功率消耗或房间照明集成在一起以改善体验,同时还减少了能量使用。
速度修改器252可以将功率优化的媒体内容输出到可选输出255。输出255可以是调制器、输出端口(诸如HDMI端口)或通信端口。输出255可以将功率优化的媒体内容(诸如视频内容)输出到显示设备和/或扬声器260。因此,功率优化的媒体内容可以被提供给用户以节能的方式查看。
装置250还可以包括处理器256和存储器257。在一个示例中,装置250的组件251-255可以被连接到处理器256和存储器257。处理器256可以监视和控制各种硬件组件以实现组件251-255的功能。在另一示例中,处理器256可以执行软件以执行组件251-255的各种功能。
存储器257可以被配置为存储从组件251-255中的一个或多个接收到的信息。存储器257可以是各种存储器类型中的一个或多个。例如,存储器257可以是HDD、DRAM、高速缓存、只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储设备(例如,磁或光盘存储设备)、固态磁性器件等等中的一个或多个。
存储器257可以存储被配置为执行用于组件251-255的技术的计算机可执行指令。存储器257可以存储要由处理器256执行的指令。可执行指令可以由处理器256访问。可执行指令可以存储在随机存取存储器(“RAM”)中或可以存储在非暂态计算机可读介质中。这种非暂态计算机可读介质可以包括许多物理介质(例如电子、磁性、光学、电磁或半导体介质)中的任何一种。合适的非暂态计算机可读介质的更具体的示例包括但不限于便携式磁性计算机磁盘,诸如软盘或硬盘驱动器、只读存储器(“ROM”)、可擦除可编程只读存储器、便携式光盘或可直接或间接耦合的其他存储设备。介质还可以包括一个或多个前述和/或其他设备的任何组合。
如本领域技术人员容易想到的,装置250还可以包括其他元件(未示出)并省略了某些元件。例如,如本领域普通技术人员容易想到的,根据本发明的具体实施方式,可以包括各种其他输入设备和/或输出设备。例如,可以使用各种类型的无线和/或有线输入和/或输出设备。此外,如本领域普通技术人员容易想到的,还可以在各种配置中使用附加处理器、控制器、存储器等。给定本文提供的本原理的教导,本领域普通技术人员将容易想到装置250的这些和其他变型。
此外,应该理解,装置250可以执行本文公开的技术。例如,装置250可以全部或部分地执行结合图4B描述的(一个或多个)方法中的一个或多个。
图3示出了根据本原理的示例性系统300。如图所示,系统300是根据包括通信网络320的本原理的示例。通信网络320可以是通信网络,诸如互联网、广域网(WAN)和/或局域网(LAN)。通信网络320还可以包括经由电缆、卫星、电话线、电力线或其他介质的广播网络。因此,系统300允许经由通信网络320进行媒体内容的流传输、上传和/或下载。
系统300可以包括内容服务器310。内容服务器310可以从设备350-1至350-n中的一个或多个接收请求。内容服务器310可以发送诸如电影或电视节目的媒体内容以用于流传输或下载。设备350-1至350-n可以通过通信网络320与内容服务器310通信。
内容服务器310可以发送诸如数据、网页、媒体内容等的信息。当处理不可用和/或能够在本地用户设备350-1至350-n上进行时,内容服务器310可以提供信息的附加处理。
在一个示例中,内容服务器310包括存储器311、处理器312和通信接口313。内容服务器310可以提供媒体内容及其关联的元数据。媒体内容和相关联的元数据可以存储在存储器311中并且由处理器312处理。存储器311可以是非暂态存储介质,诸如一个或多个硬盘驱动器和/或其他合适的存储器设备。通信接口313可以允许内容服务器310经由通信网络320发送数据。
在一个示例中,内容服务器310可以类似于结合图1描述的装置110。在另一示例中,内容服务器310可以类似于结合图2A描述的装置200类似。
设备350-1至350-n是用于接收媒体内容的设备。在一个示例中,这样的设备可以包括机顶盒、计算机、膝上型电脑、平板电脑、蜂窝电话等。在一个示例中,设备350-1示出了示例性用户设备的详细框图。设备350-1包括通信接口351、处理器352、存储器353和选项用户I/O接口354。通信接口351允许从通信网络320进行通信,例如接收信息。处理器352可处理用于提供所接收的媒体内容信息的功率节省方面。存储器353可以表示暂态存储器(诸如RAM)或非暂态存储器(诸如ROM、硬盘驱动器或闪存),以处理和存储不同的文件和信息。
在一个示例中,设备350-1至350-n可以类似于结合图1描述的设备120。在另一示例中,设备350-1至350-n可以类似于结合图2B描述的设备250。在又一个实施例中,设备350-1至350-n可以类似于结合图2A描述的设备200。
图4A示出了根据本原理的示例性方法400的流程图。方法400可以确定功率节省媒体内容。
方法400可以包括用于接收媒体内容的块401。媒体内容可以是压缩形式或非压缩形式。压缩媒体内容的示例包括例如根据MPEG2、H.264、H.265和任何其他压缩标准被压缩的内容。非压缩媒体内容的示例包括RGB格式的视频。媒体内容可以是结合图1和图2A所描述的媒体内容。块401可以将控制传递到块402。
块402可以将媒体内容分段为媒体段。在一个示例中,块402可以根据结合图2A的媒体分段器202描述的原理来将媒体内容进行分段。块402可以将控制传递给块403。在一个实施例中,块402可以是可选的。在一个实施例中,块402可以被移除。
块403可以确定媒体段的功率消耗。在一个示例中,块403可以基于每个媒体段的像素的亮度值来确定功率消耗。块403可以根据结合图2A的组件203-205所描述的原理来确定功率消耗。块403可以将控制传递给块404。
块404可以根据本原理确定速度修改。在一个示例中,块404可以确定对应于媒体内容的多个部分的相应内容的经修改的播出时间。在一个示例中,块404可以基于(一个或多个)功率消耗确定来确定媒体段的速度。在一个示例中,块404可以确定媒体段的经修改的开始和结束时间。在一个示例中,块404可以根据结合图2A的组件205-208描述的原理来确定速度修改。块404可以将控制传递给块405。
块405可以确定媒体内容的元数据。块405可以分别确定与块403和404的功率消耗确定和速度修改确定相关的元数据。在一个示例中,块405可以根据本原理确定指示媒体内容速度的元数据。例如,元数据可以包括关于媒体段的速度的信息(例如,速度是快、慢或正常)。在一个示例中,块405可以生成指示媒体内容段的开始和结束时间的元数据。在一个示例中,块405可以确定可以指示速度操作应该什么时候开始或结束的元数据。元数据还可以包括与速度、什么时候执行速度的改变、速度持续时间、速度改变的开始和速度改变的结束中的一个或多个相关的指示符。在一个示例中,块405可以确定指示媒体内容速度版本的元数据。例如,元数据可以指示相同媒体内容或媒体段的第一“快速”版本和第二“慢速”版本。元数据可以提供指示媒体内容的各种速度的灵活性。发送或编码设备可以基于媒体段(例如,视频段)的内容和/或(一个或多个)能量等级来提供与不同速度或(一个或多个)速度调整有关的元数据。在一个示例中,块405可以根据结合图2A的元数据211中描述的原理来确定元数据。在一些实施例中,405可以是可选的。在一个实施例中,块405可以是可移除的。在一个示例中,405可以是可选的。块405可以将控制传递给块406。
块406可以提供功率节省媒体内容和元数据。在一个示例中,块406可以发送功率节省媒体内容和元数据。在一个示例中,功率优化媒体内容可以根据结合图2A的功率节省媒体内容210描述的原理来确定。在一个示例中,块406可以根据结合图2A的元数据211描述的原理来确定元数据。在一个示例中,块406可以根据结合图2A所描述的原理来发送节能媒体内容和元数据。
在一个示例中,块406可以将元数据与相应的媒体内容一起在带内传送,或作为单独的文件或单独的流在带外传送。在一个示例中,块406可以将元数据提供给下游设备或接收器。
在一个示例中,块406可以不提供元数据,而是可以仅提供功率节省媒体内容。例如,功率节省媒体内容可以通过对(一个或多个)媒体内容段进行实际修改(例如,通过基于所确定的功率消耗指示来修改相应播出时间)而确定。这样的修改可以响应于外部功率管理信号。该信号可以来自电力公用事业提供者、家用电器和/或家庭网络。例如,该信号可以在电力需求高峰时从电力公用事业提供商发送,从而减少其客户群的总电力需求。
图4B示出了根据本原理的示例性方法450的流程图。
方法450可以包括用于接收功率节省媒体内容和/或元数据的块451。块451可以根据结合图2B的输入251描述的原理来处理接收到的功率节省媒体内容。块451可将控制传递给块452。
块452可以根据本原理的实施例确定速度修改。在一个示例中,块452可以确定对应于媒体内容的多个部分的相应内容的经修改的播出时间。在一个示例中,块452可以确定媒体内容段的经修改的开始和结束时间。例如,块452可以确定比媒体内容的正常速度更快或更慢的速度。块452可以确定速度修改,如结合图2B描述的组件252-254所描述的。
在一个示例中,块452可以基于元数据来确定媒体内容速度。在一个示例中,块452可以基于功率消耗元数据指示来确定段的速度。在一个示例中,块452可以利用元数据来控制显示媒体内容的速度。在一个示例中,基于元数据的速度修改可以根据结合图2A的组件252-254描述的原理来确定。
在一个实施例中,块452可以根据结合图6描述的原理基于参考功率阈值来确定媒体内容速度。参考阈值被存储在用户设备中,并且可以由用户输入或改变。元数据可以指示每单位的平均功率消耗,例如时间或帧,并且用户可以指示比每单位的平均功率消耗更多或更少的功率。例如,块452可以要求用户输入功率阈值,并且用户可以输入例如10%或-10%,其指示用户希望每单位的平均功率消耗增加10%或-10%。因此,块452根据参考阈值产生优化的经修改的节能内容。块453输出经优化的媒体内容。
在一个示例中,元数据可以是可选的,并且块452可以替代地仅接收功率节省媒体内容。接收到的功率节省媒体内容可能已经包含经修改的速度或播出时间指示。
块453输出功率优化的媒体内容。功率优化的媒体内容可以被提供用于例如显示器260之类的显示器。
图4A和4B方法的400和450可以实现为包括可以由处理器执行的计算机可执行指令的计算机程序产品。具有计算机可执行指令的计算机程序产品可以被存储在相应的上述设备的相应非暂态计算机可读存储介质中。
图5示出了示出根据本原理的(一个或多个)经修改的播出时间确定的散布图500的示例。在图5中,示例性参考阈值505示出参考功率消耗。参考阈值505可以由用户选择或者可以(例如,基于视频内容(诸如整个电影、电视节目)的帧的平均功率值)被确定。可以基于参考阈值505来确定经修改的媒体内容播出时间。经修改的播出时间可以根据结合图1-4描述的原理来确定。如果媒体段的功率消耗大于参考阈值505,则媒体段的播出时间可能减少(参见例如段1(501))。另一方面,如果媒体段的功率消耗低于参考阈值505,则可以增加媒体段的播出时间(参见例如段2(502))。图5还示出了高于参考阈值505(因此其媒体播出时间可以减少)的段3和处于参考阈值(因此其媒体播出时间可以保持不变)的段4。
图6图示了示例性速度修改传递函数600。传递函数600指示对媒体内容播出速度的修改量相对于未修改的媒体播出速度,以在媒体内容播出的持续时间内实现确定的功率消耗。
图6还示出了媒体内容段的示例性阈值601、602和603。传递函数600的x轴表示功率消耗。传递函数600的y轴指示媒体内容速度改变的百分比。如图所示。如图6所示,阈值602可以是对应于第一媒体段的参考阈值。参考阈值可以指示期望的功率消耗。对应于第二媒体段的阈值601的功率消耗是参考阈值602的两倍。因此,阈值601的播出速度相对于参考阈值602的播出速度增加了10%。对应于第三媒体段的阈值603的功率消耗是参考阈值602的一半。因此,阈值601的播出速度相对于参考阈值602的播出速度减少了10%。在一个示例中,传递函数600允许对播出速度进行±10%的最大调整。然而,调整的范围可以用于传递函数600或任何其他的功率传递函数。在一个示例中,调整的范围可以由用户设置或者可以基于提供的参数来确定。在一个示例中,速度修改器可以调整或规范化对应于各个内容的经修改的播出时间,使得完整视频内容的总播出时间对于观看者而言看起来基本上未被修改过。速度修改的“进取性”可以通过将参考阈值进位移,改变传递特性的斜率,改变可允许速度的最大范围或其组合中的至少一个进行控制。
在一个实施例中,内容服务器310可以发送媒体内容的完全加速或减速版本。在一个完全加速版本中,媒体内容的每个部分都会加速相同的量(例如10%),而在完全减速版本中,内容的每个部分都会减速相同的量(例如减少10%)。当媒体段加速X%时,该媒体段中的帧数减少X%。因此,如果X足够大,则该媒体段中的至少一个帧被删除。删除的帧应该均匀分布在该段中,以便该加速段的时间分辨率大致相同。如果通过对编码的段进行重新编码来生成加速段,则时间分辨率应该大致相同。类似地,如果媒体段减速了X%,则该媒体段中的帧数增加了X%。如此,如果X足够大,则至少一个帧被插入到该媒体段中。插入的帧应该均匀分布在整个段上,以便减速段的时间分辨率大致相同。如果通过对编码的段进行重新编码来生成减速段,则时间分辨率应该大致相同。
发送完全加速版本的优点为减少了传输带宽。使用低带宽(和低时间分辨率)版本对于诸如Comcast或DirecTV等媒体服务运营商来说可能是优选的,因为它们能够将更多媒体内容放入其可用带宽中。他们已经通过压缩其许多信道来完成这项工作,因此CPE(客户端设备)无法提供原始原始资料的全分辨率。
低带宽版本可以更好地应用于直播内容,因为对直播内容进行加速之前需要缓冲一定量的内容,并且低带宽版本将以比其被播出更快地实时到达,所以获得足够大的缓冲器所需的时间可以大大减少。在这种情况下,也有可能该内容的前X分钟总是减速到实时或更慢,以对缓冲器采集甚至更多进行加速(可能略减少功率节省,但使得“直播电视”情景具有更多的现实可能性)。这对于晚加入广播的用户造成了问题,然而,他们加入时的直播内容可能已经被流式传输了。
一个完全减速版本可能有利于诸如影迷之类的一些用户,他们愿意接受更高的带宽和更长的下载时间以获得更高时间分辨率的内容。应该注意,如果完全加速或减速的版本是压缩(编码)内容,则从内容提供商提供的原始(正常)媒体内容应该在产生完全加速版本的情况下重新编码以减少每个段中的帧数,并且在产生完全减速版本的情况下增加每个段的帧数。
诸如用户设备350-1的用户设备可以接收媒体内容的原始版本、媒体内容的功率节省版本、媒体内容的完全减速版本或媒体内容的完全加速版本。在下面的图示中,使用用户设备350-1作为示例。用户设备350-1包括作为存储器353的一部分的第一缓冲器(未示出)或者由处理器352控制的用于存储传入媒体内容的单独存储器。处理器352分离第一缓冲器处的音频和视频部分,并将它们分别发送到音频和视频处理单元(未示出)。如果媒体内容被编码则第一缓冲器是传输缓冲器,并且音频和视频处理单元分别是音频和视频解码器。用户设备350-1还包括显示接口(未示出),该显示接口用于与可集成或附接到用户设备350-1的显示器(未示出)接口。显示器接口由处理器352控制并且包括用于存储要由显示器显示的图片(经解码的帧)的图片缓冲器(未示出)。图片缓冲器可以是存储器353的一部分或单独的存储器。
图片缓冲器可能能够存储一帧或两帧。在存储两个帧的情况下,图片缓冲器被分成第一和第二区域,并且用户设备350-1的处理器352交替地更新这两个区域中的帧。即,对于每个更新周期,处理器352更新不同区域中的帧。在存储两个帧的情况下,处理器352可选地将来自两个区域的帧呈现给显示器。即,在每个呈现时间段中,处理器352从图片缓冲器的不同区域向显示器呈现帧。在正常回放中呈现帧速率和图像更新帧速率相同的情况下,呈现和更新应该是同步的,使得如果更新了一个区域,则应该显示其他区域。呈现帧速率可以是用户设备350-1的默认帧速率或由接收到的媒体内容提供的和/或可由用户修改。如果处理器352更新图片缓冲器中的帧比呈现帧速率更慢,则可以在下一个呈现帧间隔(时间段)期间显示图片缓冲器中的相同帧。因此,回放期间的帧数大于媒体段中的帧数。因此,如果图片缓冲器更新帧速率与呈现帧速率相同,则回放速度减速。另一方面,如果处理器352以比呈现帧速率更快地更新图片缓冲器中的帧,则可能不显示一些帧,因此,回放期间的帧数小于媒体段中的帧数。因此,即使呈现帧速率保持不变,回放速度也增加
图片更新速率可以与解码速率相结合。也就是说,一旦解码的帧可用,则处理器352更新图片缓冲器。
在一个实施例中,处理器352可以将图片缓冲器更新速率与呈现帧速率保持相同,但是将帧插入段中以减速段的回放或跳过/删除段中的帧以加速段的回放。
应该注意,媒体段的回放速度的参考是正常速度,该正常速度是用于回放导出该段的媒体内容段的原始版本的速度。在任何版本(无论是原始版本、减速版本还是加速版本)的接收到的媒体内容的正常播出中,解码帧速率和图片缓冲器更新帧速率与显示器的呈现速率相同。减速段由于其具有比原始版本中的相应段更多的帧数而减速,并且需要比回放导出该减速段的原始段更多的时间来回放相同段。减速段的回放速度减速了一个因子,该因子是减速段中的帧数与原始版本中的帧数之比。类似地,由于加速段具有比原始版本中的相应段更少的帧,并且加速段的回放时间短于导出该加速段的原始段的回放时间。加速段的回放速度增加了一个因子,该因子是加速段中的帧数与原始版本中的帧数之比的倒数。这样,如本文所使用的将段的回放进行减速,意味着回放比段中包括的帧数更多的帧,并且将段的回放进行加速,意味着回放比段中包括的帧数更少的帧。类似地,将一组帧的回放进行减速意味着回放比该组中包括的帧数更多的帧,并且将一组帧的回放进行加速意味着回放比该组中包括的帧数少的帧。
当处理器352接收到媒体内容时,过程352可以通知用户接收到的媒体内容的版本,并且要求用户选择其中一个选项,诸如按原样回放或执行功率节省功能。
如果所接收的媒体内容是原始版本并且用户选择执行功率节省功能的选项,则处理器352可以要求用户指定参考功率阈值,该参考功率阈值可以指示相对于每单位所接收到的媒体内容的平均功率的百分比。例如,10表示比每单位接收到的媒体内容的平均功率少10%。每单位所接收的媒体内容的平均功率可以被包括在例如与媒体内容相关联的元数据中。每单位媒体内容的平均功率不可用,则处理器352应该确定每单位媒体内容的平均功率。如果所接收的媒体内容被编码,则处理器352可以解码每个段,并且确定每单位该段的平均功率。如果每单位该段的平均功率低于规定的功率阈值,则该段的帧数或该段的播出持续时间增加。如上所述,处理器352可以通过插入帧或以比呈现帧的速率更慢的速率更新图片缓冲器,来伴随增加。插入的帧可以是重复的帧从相邻的两个帧内插的或帧。如果该段的平均功率高于规定的功率阈值,则该段的帧数或播出持续时间减少。如上所述,处理器352可通过跳过帧或以比帧速率更高的速率更新图片缓冲器来伴随减少。
如果接收的媒体内容是功率节省版本并且用户选择执行功率节省功能的选项,则处理器352可以向用户指示当前的功率阈值,并且如果用户仍然想要改变功率阈值,则询问用户指定参考功率阈值。调整要回放的帧数的过程与关于原始版本描述的内容相同。
如果所接收的媒体内容是完全加速版本或完全减速版本,则处理器352应该在用户做出回放选择之前,向用户指示观看时间对于完全加速版本而言减小并且对于完全减速版本而言增加。如果用户想要改变功率阈值,则要求用户指定参考功率阈值。调整要播出的帧数的过程与关于原始版本描述的内容相同。
图7示出了当用户选择对接收到的媒体内容的所有版本执行功率节省功能的选项时由处理器352执行的过程700。在步骤705,处理器352可操作或配置为接收具有第一和第二段的媒体内容。在步骤710处,处理器352可操作或配置为用与第一媒体段中的第二数量的帧不同的第一数量的帧来回放该第一媒体段。例如,即使第一媒体段具有10个帧,处理器352可以用多于或少于10个帧来回放第一媒体段。
在步骤715,处理器352可操作或配置为回放第二媒体段,其中第一数量根据第一媒体段的平均功率和媒体内容的平均功率确定。如前所述,媒体段的平均功率可通过将媒体段的功率除以该媒体段中的帧数或该媒体段的持续时间来计算。还如先前指出的,帧、媒体段和媒体内容的功率可以通过分别对帧、媒体段和媒体内容中的所有像素的所有亮度值进行求和来计算。媒体段的功率与回放设备的功率消耗直接相关。例如,如前所述,媒体段的较高功率需要较高的回放设备的功率消耗。
第二数量表示第一媒体段中包括的帧数。表示将为第一媒体段回放的帧数的第一数量,可以从与第一媒体段相关联的元数据中导出。类似地,表示要回放的第二段的帧数的第三数量,可以从与第二段相关联的元数据中导出。第三数量可以不同于指示包括在第二媒体段中的帧数的第四数量。元数据可以直接指示每个媒体段中包括的帧的回放数和帧数。元数据可以指示相对于呈现帧速率的相对解码帧速率。例如,如果呈现帧速率是30帧/秒,并且对于第一段指定的解码帧速率是15帧/秒,则第一数量将是第二数量的两倍。另一方面,如果呈现帧速率是30帧/秒,并且对于第一段指定的解码帧速率是60帧/秒,则第一数量将是第二数量的一半。在这两种情况下,添加或删除的帧均匀分布在媒体段中。元数据还可以通过指定回放第一段的开始时间和结束时间、或持续时间来指示第三数量。例如,如果第一段中有30个帧,则呈现帧速率为30帧/秒,并且与第一段相关联的元数据指示半秒的持续时间,第一数量是第二数量的一半,并且如果元数据指示持续时间为2秒,则第一数量是第二数量的两倍。相同的原则适用于媒体内容中的第二段和每个其他段。服务器应该根据每单位媒体内容的平均功率、每单位第一和第二媒体段的平均功率以及功率阈值,来确定这两个数量。如上所述,可以根据帧的像素的亮度值来计算该帧的功率。
如果第一和第三数字不可用或不能从元数据中导出,则处理器352可操作或配置为根据可能存储在存储器353或根据处理器的请求由用户输入的默认值的每单位媒体内容的平均功率、每单位第一和第二媒体段的平均功率、和功率阈值来确定这两个数量。每单位媒体内容、第一媒体段和第二媒体段的任何平均功率可以从元数据接收。如果它们中的任何一个不可用,则处理器352可操作或配置为根据前述原理确定丢失的那一个。
一旦每单位媒体内容的平均功率和每单位第一媒体段的平均功率可用,则处理器352可以相应地确定第一数量。如果每单位第一媒体段的平均功率大于媒体内容的平均功率,则处理器352可操作或配置为确定第一数量小于第二数量,并且如果每单位第一媒体段的平均功率小于或等于媒体内容的平均功率,则处理器352可操作或配置为确定第一数量大于或等于第二数量。例如,第一数量被确定为第二数量、和每单位媒体内容的平均功率与每单位第一媒体内容的平均功率的比率的乘积。乘积最好四舍五入到整数。第三数量可以类似地导出。可以以类似的方式确定用于回放每个其他段的帧数。
在一个实施例中,如果所接收的媒体内容是完全减速版本,那么具有低于媒体内容的平均功率的功率消耗的那些段,优选不被调整为通过增加帧数或减少解码和/或图片缓冲器更新帧速率而进一步减慢回放速度,并且如果接收到的媒体内容是完全加速版本,则具有比媒体内容的平均功率更高的功率的那些段,优选地不被调整为通过减少帧数或增加解码和/或图片缓冲器更新帧速率而进一步加速回放速度。
在一个实施例中,处理器352从例如与所接收的媒体内容相关联的元数据接收要用于所接收的媒体内容的回放的帧的总数。该元数据中接收到的总数可能与接收到的媒体内容中的总帧数和所确定要回放的帧数不同。如果所确定的回放数量与元数据中接收到的总数量不同,则可以调整所确定的每个段的回放帧数。例如,如果所确定的回放数量大于元数据中接收到的总数,则应该按比例增加用于减速的段(具有比所接收的媒体内容中的实际帧数更多的回放数量的那些段)的回放数量,并且如果所确定的回放数量小于元数据中接收到的总数,则应该按比例减少用于加速段(具有小于接收到的媒体内容中的实际帧数的回放数量的那些段)的回放数量。这样,所确定的回放数量与接收的总数量基本相同,使得回放持续时间的差异在阈值范围内(例如但不限于三秒)。
图8示出了由具有四段的用户设备350-1接收的完全加速媒体内容的示例:段A,B,C和D。在图8到14中,纵轴和横轴分别表示瞬时功率和时间。为了简化说明,垂直方向上的每个块是一个功率单位/时间单位,并且水平方向上的每个块是一个时间单位。例如,如果像素的亮度值在0到255的范围内,则一个功率单位可以等于但不限于5000万个亮度值,并且时间单元可以是但不限于秒。取决于用户设备350-1所使用的显示器的类型,用户可以能够在用户设备350-1中存储转换表格,其将功率单位/单位时间转换为例如千瓦/秒、或者每秒或每分钟或每小时的金额。
在图8中,参考功率阈值810是默认值、由用户输入的值、或包括在元数据中的值。这个示例中的平均功率820是8.5个功率单位/时间单位。平均功率820可以由服务器通过例如元数据来提供。在这个示例中,参考功率是10,这比平均功率多(10-8.5)*100/8.5%或大约17.6%,这表明即使需要更多的回放功率,用户也想延长回放持续时间。可以看出,每个段说明性地具有4个时间单位的相同持续时间但功率不同。这仅是示例,每个段可以与另一段不同的持续时间。
由于所接收的媒体内容是完全加速版本,因此在一个实施例中,目标为将平均功率低于参考阈值810的那些段进行减速,并且不要将平均功率超过参考功率阈值810的那些段进一步进行加速。段A具有大于功率阈值810的平均功率,并且不应该进一步被加速。因此,段A的经调整的回放持续时间保持为4个时间单位,即,段A在调整后的帧数与段A中包括的帧数相同。段C的平均功率等于功率阈值810。这样,在调整之后,回放持续时间保持相同。段B和D具有小于功率阈值810的平均功率。这样,处理器352确定针对任一段的回放持续时间或帧数必须增加,即,将任一段的回放进行减速。图9和图10示出了调整之后每个段的回放持续时间的两个示例。
用户可以输入千瓦或金额/单位时间限制,并且处理器352可以将输入的数据转换为功率单位/时间单位。例如,在图9中,处理器352将用户期望的功率消耗转换为作为平均功率920的7.5个功率单位/单位时间。参考功率阈值910与图8中的参考功率阈值810相同。如上所述,段A和C的功率分别为4*12(48)和4*10(40),并且它们没有变化。假设可以回放段的最大时间是9个时间单位,处理器可操作或配置为将段B的回放时间从4个时间单位延长到9个时间单位,并且确定段D的回放时间应该是从4个时间单位延伸到7个时间单位,从而满足7.5个功率单位/单位时间的平均功率消耗要求。如果对每个段的回放持续时间没有限制,则段B和D的回放持续时间的分配应该以任何方式与每个段的相应平均功率成反比。
用户可以指定回放四个段的总功率,并且针对每个段的经调整的回放持续时间在图10中作为示例示出。参考功率阈值1010与图8中的参考功率阈值810相同。处理器352可以决定段B和段D中的回放持续时间的增加应该与段B和段D的相应平均功率的平方成反比,并且确定段B的回放持续时间从4到8个时间单元,并且段D的回放时间从4个增加到5个时间单元,从而满足160功率单元的总消耗。在针对段B和D分配回放持续时间增加时,可以使用其他算法。例如,诸如段B之类的具有较低平均功率的段应该比诸如段D的具有高于段B的平均功率的段延长更多。
用户可以指定每个段应消耗相同的功率。例如,如果用户指定每个段应该具有大约48个功率单位的平均功率,则经调整的回放时间在图11中作为示例示出,其中回放段A的持续时间相同,段B为12,段C为5,段D为6个时间单元。
用户可以指定回放媒体内容的总功率和总持续时间。例如,用户可以指定媒体内容的总功率是240个功率单位和总回放时间是32个时间单位。图12示出了每个段的经调整的回放时间的一个示例。在这种情况下,处理器352确定具有其平均功率低于参考功率阈值120(该参考功率阈值120与参考功率阈值810相同)的每个段以11个时间单元的最大持续时间进行回放。剩余部分被分配给平均功率等于参考功率阈值1210的段C。也可以使用其他算法。例如,具有低于参考功率阈值的平均功率的每个段的持续时间与其总功率相对于以任何方式具有不大于参考功率阈值的平均功率的所有段的总功率成反比。
在一个实施例中,如果用户没有指定附加限制,则处理器352可操作并被配置为根据段B的平均功率来增加段B的回放持续时间。例如,段B的经调整的回放持续时间是段B的当前持续时间乘以参考功率除以段B的平均功率。段D的回放持续时间可以类似地导出。
应该注意的是,如果收到的版本是原始版本,则应该调整具有更高功率消耗的段以节省功率消耗。
图13示出了具有四个段的接收到的完全减速媒体内容的示例:段A、B、C和D。参考功率阈值1310是默认值、由用户输入的值、或包括在元数据中的值。这个示例中的平均功率1320是8个功率单位。平均功率1320可以(例如通过元数)由服务器据提供。在这个示例中,参考功率是6个功率单位,小于8个功率单位的平均功率,指示用户想要在回放期间节省更多的功率。
可以看出,每个段说明性地具有8个时间单位的相同持续时间,但是具有不同的平均功率。尽管所有段说明性地具有相同的持续时间,但是这些原理可以应用于具有不同持续时间的段。
由于所接收的媒体内容是完全减速版本,则在一个实施例中,目标是将那些平均功率超过参考阈值1310的段进行加速,而不是进一步将平均功率等于或低于参考功率阈值1310的段进一步减速。
段D具有等于功率阈值1310的平均功率。因此,回放持续时间在调整后不被改变,即,回放的帧数与段D中包括的帧数相同。段B具有低于功率阈值1310的平均功率并且不应该被进一步减速。段A和C具有大于功率阈值1310的平均功率。这样,处理器352确定段A和C的回放时间应当减少。如图14所示,根据算法,段A和C的回放时间分别被确定为4个时间单位和6个时间单位。该算法可以是:回放中的减少成比例于段的功率与平均功率之间的差值,并且除以参考功率1310,并且向上舍入到下一整数。还可以使用与以上关于完全加速版本描述的算法类似的其他算法。
应该注意的是,如果收到的版本是原始版本,则具有较低功率消耗的段也应该进行调整用于功率节省。
在一个实施例中,为了不延迟回放直到已经接收到所有段,用户设备350-1应当在接收媒体内容的开始或之前获取指示媒体内容中的每个段的持续时间和平均功率消耗的元数据,使得处理器352可以在所有段已被接收之前确定每个段的经调整的回放时间。
在一个实施例中,处理器352可操作或配置为管理用于接收媒体内容的缓冲器。当接收到的视频的解码/图片缓冲器更新帧速率与呈现帧速率(例如,光栅帧速率)解耦时,可能存在要在接收器/解码器处考虑的输入缓冲器水平问题。例如,如果接收的内容是以MPEG、H.264、HEVC或其他标准编码的,则输入缓冲器就是传输缓冲器。当处理直播内容时,内容只能在其发生时进行编码和传送。在上述较低时间分辨率媒体内容的情况下,必须认识到,存在在编码和广播方面发生的时间压缩形式。换言之,考虑到10%的加速示例,需要10个帧周期来产生相当于9帧的视频。这意味着编码视频的每一帧表示多于在直播事件现场捕获的一个帧的时间。因此,即使视频数据尽快传送到接收器,也不能在一个帧时间内接收到该视频的第一帧。这表明需要实现可以认识到在解码开始之前必须积累一定量的数据的缓冲方案。解码的开始所需的缓冲器水平将由视频压缩格式的缓冲规则以功率节省方案中实现的“加速”水平决定。
信道改变后,接收器的输入缓冲器将为空。信道改变之后的正常采集过程要求解码器解析输入流直到找到可以开始解码的随机接入点。在以上描述加速模式的情况下,解码器将需要更多时间来在其输入缓冲器中累积数据,而不是解码未经修改的流所需的数据。为了使解码过程适用于更快达到可以发生持续解码的水平(即没有缓冲器下溢),解码器可以选择以比输入流所指示的更慢的速度开始解码。换言之,如果解码器需要将解码帧速率降低10%,以便在适当数量的帧周期上传播经解码的视频,则可以选择将解码帧速率降低15%。这会降低输入缓冲器被耗尽的速率,从而允许缓冲器水平上升到可以开始稳态解码的水平。此时,解码器随后将恢复到与编码帧速率和降低的解码帧速率之间的差相一致的帧速率增加。
为了满足低功率消耗的需求,应该注意,改变帧速率的目标之一是减少高功率场景的持续时间。换言之,一个媒体段可以用比正常呈现帧速率预期少10%的帧来编码,而另一情况可以用比在正常呈现帧速率下预期多10%的帧来编码,该正常呈现帧速率是当回放原始源媒体内容时的呈现帧速率。当以标准显示帧速率进行解码和显示时,少了10%的帧的媒体段将占用的帧时间将少于其在原始源媒体内容中的时间,而多了10%的帧的媒体段占用的时间将多于其在原始媒体内容中呈现的时间。当传送以正常帧速率编码的媒体段(即,媒体段的原始版本)时,可能在接收器处实现该相同的目标。在这种情况下,与媒体内容段相关联的元数据将指导视频的播出速度。元数据可以分开发送或与媒体内容一起发送。对于呈现相对较高功率的场景或图像的视频部分,可以使用跳帧或帧速率转换算法以减少呈现该视频部分的帧数。元数据将标志着高功率段的开始和结束,以及为了实现目标功率降低所需的帧减少的量。以类似的方式,元数据还将标记较低功率视频段的开始和结束。元数据还将提供所需的帧速率扩展量的指示,从而使这个较低功率的场景占用更大数量的帧时间以实现目标功率降低。
假设正在接收媒体内容的原始版本,与媒体段关联的元数据可以指示媒体段是平均的、高于平均的还是低于平均功率段。在较高功率的媒体段期间,解码器可以以比实时(正常)速率更快的速率对图片缓冲器进行解码和更新,以便允许这些帧占用比回放原始版本的情况更少的帧周期以便降低这些更高功率媒体段的功率消耗,该实时(正常)速率是呈现帧速率并且是当回放相应的原始版本时解码/图片缓冲器更新的速率。如上所述,解码器可以保持解码/图片更新的帧率,但丢弃/跳过一些帧以实现相同的目的。
在较低功率的视频段期间,解码器可以以比正常速率更慢的速率来解码或更新图片缓冲器,从而允许这些帧占用更多的帧周期,而不是回放分别导出更低功率媒体段的原始版本的情况。如上所述,解码器可以保持解码/图片更新帧速率,但是插入一些帧以实现相同的目的。
在解码/图像缓冲器更新速度中的这些元数据变化在由使用的视频和音频压缩格式指示的正常解码器缓冲器参数中没有考虑。因此,这种可变解码速度所需的附加输入缓冲器裕度需要在系统级别考虑。例如,考虑存在高功率媒体内容的延长时间段的情况。解码器只能在输入视频数据缓冲器经历缓冲器下溢之前,在较短的时间段内以高于实时的速率来排空其输入视频数据缓冲器。对于低功率视频内容的延长时间段也是类似的情况。如果解码器在较长时间段内以慢于实时的速率从其输入缓冲器中消耗数据,则以实时速率连续到达的输入数据将很快溢出任何有限大小的输入缓冲器。
这样,当媒体段加速时,用户设备350-1的输入缓冲器将更快地清空,即,更快达到下溢条件,并且当媒体段减速时,更有可能的是缓冲器将被更快填满,即,更快达到溢出条件。因此,有必要监控和控制输入缓冲器的使用水平。图15示出由用户设备350-1的处理器352执行以控制输入缓冲器的使用的说明性过程1500。在步骤1505,处理器352可操作或配置为在缓冲器中接收第一媒体段的同时,连续回放第一媒体段的帧直到缓冲器的使用已经达到第一阈值,并且加速回放第一媒体段的剩余帧,其中第一媒体段是减速段。在步骤1510,处理器352可操作或配置为在缓冲器中接收第二媒体段的同时连续回放第二媒体段的帧,直到缓冲器的使用已经达到第二阈值,并且将第二媒体的剩余帧的回放进行减速,其中第二媒体段是加速段。如上所述,可以通过丢弃/跳过一些剩余帧或增加解码/图片缓冲器更新速率来实现加速。优选的是,将被丢弃/跳过的帧数是剩余帧数与媒体段没有减速时剩余帧表示的帧数之间的差。例如,如果剩余帧数为11,并且其减速了10%,则剩余帧仅表示段没有减速时的10帧。因此,应该丢弃/跳过1帧。在改变解码或图像更新速率方面,在这个示例中,速率应该增加10%。这个原则应用于所有减速段的回放。
在步骤1515,处理器352可操作或配置为连续回放第二媒体段的帧直到缓存(缓存水平)的使用已经达到第二阈值,并将第二媒体段的剩余帧的回放进行减速。如前所述,可以通过将帧插入到剩余帧中或降低解码/图片更新速率,来实现减速。优选的是,要插入的帧数是剩余帧表示当媒体段未加速时的帧数与剩余帧数之间的差。例如,如果剩余帧数为9并且被加速10%,则剩余帧表示当该段未减速时的10帧。因此,应该插入1帧。在改变解码或图像更新速率方面,在这个示例中,速率应该降低10%。该原则适用于所有加速段的回放。
如果所接收的媒体内容不是原始版本,则元数据应该指示原始版本中每个段的帧数,使得处理器352可以确定相对于原始版本,加速段的加速程度和减速段的减速程度,并且确定剩余帧在原始版本中表示的帧数。例如,如果减速段中有X帧,原始版本中有Y帧,以及在达到阈值后有Z剩余帧,则减速程度为P=(X-Y)/Y,Z剩余帧表示的帧数为Q=Z*(Y/X)。因此,当达到第一阈值时,处理器352应该通过以等于正常速率乘以(1+P)的速率(该速率高于正常速度)对图像缓冲器进行解码/更新、或丢弃/跳过Z-Q帧并保持解码/图片缓冲器更新速率,来加速剩余帧的回放。Z-Q应该四舍五入为整数,其可以是0或至少一个或多个整数。
类似地,对于加速段,对减速示例使用相同的数量,加速程度为P=(Y-X)/Y,Z剩余帧表示的帧数为Q=Z*(Y/X)。因此,当达到第二阈值时,处理器352应该通过以等于正常速率乘以(1-P)的速率(该速率低于正常速度)对图像缓冲器进行解码/更新、或插入Q-Z帧并且保持解码/图片缓冲器更新速率,来将剩余帧的回放进行减速。Q-Z应该四舍五入为整数,其可以是0或至少一个或多个整数。
第一和第二阈值可以在本地被设置为默认值,或者由用户输入和/或改变。如果紧接在第一媒体段之后的第三媒体段也是减速段,则处理器352可操作或配置为连续回放第三媒体段的帧直到缓冲器水平已经达到第三阈值,并且加速第三段的剩余帧的回放。第三阈值应该高于第一阈值。类似地,如果紧接在第二媒体段之后的第四媒体段是加速段,则处理器352可操作或配置为连续地回放第四段的帧直到缓冲器水平已经达到第四水平,并且将第四段的剩余帧的回放进行减速。第四阈值应该低于第二阈值。根据本公开的原理,连续的减速段的阈值高于当前段的阈值,并且连续的加速段的阈值低于当前段的阈值。
在一个实施例中,元数据可以指示阈值,并且元数据应该优选地在已经接收到相应的媒体段之前被接收器接收。阈值可以在压缩视频帧、兆比特、秒、段、占正常缓冲器水平的百分比增量等来指示缓冲器水平。目标阈值将被期望作为频率与高功率和低功率视频段的持续时间的函数随时间变化。事实上,在高功率和低功率视频的时间段期间,随着响应于遵循元数据指令的处理器352以比实时(正常)速率更快或更慢的速度播出媒体段,输入缓冲器水平进行排空或填充,预期目标阈值将逐帧地改变,如上所讨论的该实时(正常)速率是在原始版本中回放相应段的速率。因此,目标阈值元数据将以规律的间隔被更新并且在带内或带外被发送到用户设备350-1。目标阈值元数据的更新速率将至少与目标缓冲器水平变化一样频繁,并且可能更经常地用于广播单向传送系统,从而允许接收器/解码器在信道改变之后快速获取目标阈值元数据。
在广播传送系统中,用户设备350-1处的媒体数据的到达速率是固定的并且通常跟踪实时回放所需的速率。因此,为了修改输入缓冲器中的数据水平,接收器需要修改从缓冲器中提取数据的速率。接收器将已经对指导其播出速度比实时更快或更慢以实现目标功率节省的元数据进行响应。然而,为了实现并且保持目标缓冲器水平,接收器将需要以比功率节省元数据直接指示的更快或更慢的速率消耗来自输入缓冲器的数据。目标缓冲器水平和实际缓冲器水平之间的差异很可能在信道更改后立即显现。信道更改后,输入缓冲器水平为百分之零。接收器可以选择修改解码速率或图片缓冲器更新速率,以稍低于功率节省元数据推荐的解码和/或图片缓冲器更新速率来操作。以比推荐的解码和图片缓冲器更新速率慢的速度进行操作将允许随时间在输入缓冲器中数据的累积,最终达到目标缓冲器水平。解码和图片缓冲器更新速率的任何减少还会受到确定最低播出速度的用户或系统级设置的限制。最低播出速度将理想地被选择为允许比实时播出更慢,该实时播出将以大体上等于平均观看者的实时回放的速率而进行操作。如前所讨论的,减少解码速率/图片缓冲器更新速率等同于将帧添加到回放段中,因为呈现速率将高于图片缓冲器更新速率,并且图片缓冲器中的相同帧可能被显示多于一个时间。
尽管在下面的说明中,修改段中的帧数没有由解码器修改,但可能修改段中的帧数和解码速率/图片缓冲器更新速率以减速或加速该段。
用户输入的最小速度可以由例如帧/秒和减速的百分比来表示。例如,如果呈现速率为30帧/秒,而用户指定15帧/秒,则减速将为50%。
无论帧速率的变化是在传送到接收器/解码器之前在编码器上实现的还是在接收未修改的(正常)媒体数据的接收器/编码器处通过帧速率转换算法实现的,都可以使用输入缓冲器来控制和监视。
图16示出了随时间的缓冲器水平改变。水平方向表示时间,垂直维度表示范围从0%到100%的缓冲器水平,尽管图16示例性地示出了最大使用水平为90%。在间隔1601处,处理器352正在回放正常媒体段(即,以正常速度),并且缓冲器保持在约50%。在点1602处,用户改变信道,并且处理器352可操作或配置为清理缓冲器。因此,缓冲器水平下降到0%。此时,处理器352开始回放段1603,该段是具有90%回放速度的减速段。
由于段1603的播出速度减速,所以缓冲器应该快速填满。该段的元数据指示,当缓冲器水平达到40%时,接收器应该以正常速度播出该段的剩余帧。虽然示出了将剩余帧的回放加速到正常速度,但是如果缓冲器水平不继续升高,则任何加速都是足够的。这个原则适用于任何减速段的回放。为了加速回放,处理器352可以跳过剩余帧中的一些帧。例如,如果剩下了10个帧,则此示例中的处理器应该跳过1个帧,这可能是第一帧、第五帧或最后一帧。在一个实施例中,如果要跳过多于一个帧,则它们应该分布在剩余帧中以保持基本上相同的时间分辨率。代替丢弃/跳过帧,处理器352可以通过在该示例中以10/9的呈现帧速率的速率增加解码和/或更新图片缓冲器来加速剩余帧的回放。
在点1604处,处理器352检测到缓冲器水平已经达到40%,如上所述以正常速度回放段1603的剩余帧。这样,缓冲器水平保持在40%直到点1605,其中,段1303的回放已经结束并且段1606的回放已经开始。段1606是具有80%的回放速度的减速段,并且元数据指示用户设备应该当缓冲器水平达到80%时以正常速度回放该段。
在点1607处,处理器352检测到缓冲器水平已经达到80%,如上所述以正常速度回放段1606的剩余帧。这样,缓冲器水平保持在80%直到点1608,其中段1306的回放结束并且段1609的回放已经开始。段1609是具有120%回放速度的加速段,元数据指示当缓冲器水平达到10%时用户设备应该以正常速度回放该段。
在点1610处,处理器352检测到缓冲器水平已经达到10%,以正常速度回放段1309的剩余帧。在这种情况下,处理器352减速剩余帧的回放。尽管说明了将剩余帧的回放减速到正常速度,但如果缓冲器水平不会继续下降,则任何减速都是足够的。这个原则适用于任何减速段的回放。这样,缓冲器水平保持在10%直到点1611,其中段1309的回放已经结束并且段1612的回放已经开始。段1612是具有95%回放速度的减速段,并且元数据指示当缓冲水平达到40%时用户设备应以正常速度回放该段。
在点1613,处理器352检测到缓冲器水平已经达到40%,如上所述以正常速度回放段1312的剩余帧。这样,缓冲器水平保持在40%直到点1614,其中段1612的回放已经结束并且段1615的回放已经开始。段1615是具有75%回放速度的减速段,并且元数据指示用户设备应该当缓冲水平达到90%时以正常速度回放该段。
在点1616处,处理器352检测到缓冲器水平已达到90%,如上所述以正常速度回放段1615的剩余帧。这样,缓冲器水平保持在90%直到点1617,其中段1315的回放已经结束并且段1618的回放已经开始。段1318是具有110%回放速度的加速段,并且元数据指示当缓冲器水平达到60%时用户设备应以正常速度回放该段。然而,在完成段1618的回放之前并且在缓冲器水平达到60%之前,用户在点1619处改变到另一信道。由于信道改变,处理器352在点1619清理缓冲器。
根据本公开的原理,与任何类型的显示器相集成或相附接的设备(诸如LCD、LED、OLED或等离子体)可以受益于功率节省效果。
本文描述的各种过程和特征的实现可以体现在各种不同的装置或应用中。这样的装置的示例包括编码器、解码器、处理从解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网页服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA和其他通信设备。应该清楚,该设备可能是移动的,甚至可以安装在移动车辆中。
另外,方法可以通过由处理器执行的指令来实现,并且这样的指令(和/或由实现方式产生的数据值)可以被存储在处理器可读存储介质(例如集成电路、软件载体或诸如例如硬盘、压缩磁盘(“CD”)、光盘(诸如,例如通常被称为数字多功能盘或数字视频盘的DVD),随机存取存储器(“RAM”)或只读存储器(“ROM”)的其他存储设备)上。这些指令可以形成有形地体现在处理器可读介质上的应用程序。例如,指令可以是硬件、固件、软件或其组合。可以在例如操作系统、单独的应用程序、或两者的组合中找到指令。因此,处理器可以被特征化为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(诸如存储设备)的设备两者。此外,除指令之外或代替指令,处理器可读介质可以存储由实现方式产生的数据值。
对于本领域技术人员而言显而易见的是,实现方式可以产生被格式化为承载可以是例如被存储或传输的信息的各种信号。该信息可以包括例如用于执行方法的指令或者由所描述的实现方式中的一个所产生的数据。例如,信号可以被格式化为承载作为用于写入或读取本原理的所描述的示例的语法规则的数据,或承载作为由所描述的示例写入的实际语法值的数据。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或作为基带信号。格式化可以包括例如对数据流进行编码和用编码数据流对载波进行调制。信号承载的信息可以是例如模拟或数字的信息。如已知的,信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
已经描述了许多实现方式。然而,可以理解的是,可以进行各种修改。例如,不同实现方式的元件可以被组合、补充、修改、或移除以产生其他实现方式。另外,本领域普通技术人员将理解,其他结构和过程可以替代所公开的那些结构和过程,并且所得到的实现方式将至少大体上以(一个或多个)相同的方式执行(一个或多个)至少大体上相同的功能,以实现与所公开的实现方式至少大体上相同的结果。相应地,这些和其他实现方式是由本申请构思的。
本文阐述了许多具体细节以提供对本发明的透彻理解。然而,本领域技术人员将会理解,可以在没有这些具体细节的情况下实践以上示例。在其他情况下,没有详细描述公知的操作、组件和电路以免模糊本发明。可以理解,本文公开的具体结构和功能细节可以是代表性的,但并不一定限制本发明的范围。
本发明的各种示例可以使用硬件元件、软件元件或两者的组合来实现。例如,一些示例可以使用计算机可读介质或可以存储指令或一组指令的事物来实现,当该指令或指令集由机器执行时可以使机器执行根据示例的方法和/或操作。这样的机器可以包括例如任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机,处理器等,并且可以使用硬件和/或软件的任何组合来实现。计算机可读介质或事物可以包括例如任何合适类型的存储器单元、存储器设备、存储器事物、存储器介质、存储设备、存储事物、存储介质和/或存储单元。指令可以包括使用任何合适的高级别、低级别、面向对象、可视化、编译和/或解释的编程语言实现的任何合适类型的代码,诸如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等。
本文描述的实现方式可以被实现在例如方法或过程、装置、软件程序、数据流或信号中。即使仅在单一实现形式的实现方式的背景下讨论(例如仅作为方法讨论),所讨论的特征的实现方式还可以以其他形式(例如,装置或程序)来实现。包括在其中的装置和组成部分,例如处理器、编码器和解码器可以被实现在例如适当的硬件、软件和固件中。方法可以被实现在例如装置(诸如处理器)中,该装置通常指包括例如计算机、微处理器、集成电路或可编程逻辑器件之类的处理设备。处理器还包括通信设备,例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及促进终端用户之间信息的通信的其他设备。
此外,本申请或其权利要求可能涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器取回信息中的一个或多个。
此外,本申请或其权利要求可能涉及“访问”各种信息。访问信息可以包括例如接收信息、(例如从存储器中)检索信息、存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、或估计信息中的一个或多个。
另外,本申请或其权利要求可能涉及“接收”各种信息。与“访问”一样,“接收”意为广义的术语。接收信息可以包括例如访问信息、或者(例如,从存储器)检索信息中的一个或多个。此外,“接收”通常以某种方式在操作(诸如,存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、或估计信息)期间被涉及。

Claims (36)

1.一种方法,包括:
接收具有第一媒体段和第二媒体段的媒体内容;
用与所述第一媒体段中的第二数量的帧不同的第一数量的帧来回放所述第一媒体段;以及
回放所述第二媒体段,其中,所述第一数量根据所述第一媒体段的平均功率和所述媒体内容的平均功率来确定。
2.根据权利要求1所述的方法,其中,所述第二媒体段具有第四数量的帧,并且回放所述第二媒体段包括用第三数量的帧回放所述第二媒体段,并且所述第三数量根据所述第二媒体段的平均功率和所述媒体内容的平均功率导出。
3.根据权利要求2所述的方法,还包括:
接收与所述第一媒体段和所述第二媒体段相关联的元数据;以及
分别从与所述第一媒体段和所述第二媒体段相关联的元数据中导出所述第一数量和所述第三数量。
4.根据权利要求2所述的方法,其中,根据段的像素的亮度值计算所述段的功率,并且通过将所述段的功率除以所述段中的帧数来计算所述段的平均功率。
5.根据权利要求2所述的方法,其中,所述媒体内容是具有所述第一媒体段和所述媒体第二段的原始编码媒体内容的重新编码版本。
6.根据权利要求2所述的方法,还包括:
确定所述第一媒体段的平均功率;
如果所述第一媒体段的平均功率大于阈值,则确定所述第一数量小于所述第二数量;以及
如果所述第一媒体段的平均功率小于所述阈值,则确定所述第一数量大于所述第二数量。
7.根据权利要求2所述的方法,其中,所接收的媒体内容是完全减速版本,并且所述方法还包括:
如果所述第二媒体段的平均功率小于阈值,则确定所述第三数量与所述第四数量相同,并且如果所述第二媒体段的平均功率大于所述阈值,则确定所述第三数量小于所述第四数量。
8.根据权利要求2所述的方法,其中,所接收的媒体内容为完全加速版本,所述方法还包括:
如果所述第二媒体段的平均功率大于阈值,则确定所述第三数量与所述第四数量相同,并且如果所述第二媒体段的平均功率小于所述阈值,则确定所述第三数量大于所述第四数量。
9.一种设备,包括:
存储器,被配置为存储媒体内容;以及
处理器,被配置为接收具有第一媒体段和第二媒体段的所述媒体内容;并且用与所述第一媒体段中的第二数量的帧不同的第一数量的帧来回放所述第一媒体段,并且回放所述第二媒体段,其中,所述第一数量根据所述第一媒体段的平均功率和所述媒体内容的平均功率来确定。
10.根据权利要求9所述的设备,其中,所述第二媒体段具有第四数量的帧,并且回放所述第二媒体段包括用第三数量的帧回放所述第二媒体段,并且所述第三数量根据所述第二媒体段的平均功率和所述媒体内容的平均功率导出。
11.根据权利要求10所述的设备,其中,所述处理器被配置为接收与所述第一媒体段和所述第二媒体段相关联的元数据;以及分别从与所述第一媒体段和所述第二媒体段相关联的所述元数据中导出所述第一数量和所述第三数量。
12.根据权利要求10所述的设备,其中,根据段的像素的亮度值来计算所述段的功率,并且通过将所述段的功率除以所述段中的帧数来计算所述段的平均功率。
13.根据权利要求10所述的设备,其中,所述媒体内容是具有所述第一媒体段和所述第二媒体段的原始编码媒体内容的重新编码版本。
14.根据权利要求10所述的设备,其中,所述处理器被配置为确定所述第一媒体段的平均功率;如果所述第一媒体段的平均功率大于阈值,则确定所述第一数量小于所述第二数量;如果所述第一媒体段的平均功率小于所述阈值,则确定所述第一数量大于所述第二数量。
15.根据权利要求10所述的设备,其中,所接收的媒体内容是完全减速版本;如果所述第二媒体段的平均功率小于阈值,则所述处理器被配置为确定所述第三数量与所述第四数量相同,并且如果所述第二媒体段的平均功率大于所述阈值,则所述处理器被配置为确定所述第三数量小于所述第四数量。
16.根据权利要求10所述的设备,其中,所接收的媒体内容是完全加速版本;如果所述第二媒体段的平均功率大于阈值,则所述处理器被配置为确定所述第三数量与所述第四数量相同,并且如果所述第二媒体段的平均功率小于所述阈值,则所述处理器被配置为确定第三数量大于所述第四数量。
17.一种存储在非暂态计算机可读存储介质中的计算机程序产品,该非暂态计算机可读存储介质包括计算机可执行指令,用于:
接收具有第一媒体段和第二媒体段的媒体内容;
用与所述第一媒体段中的第二数量的帧不同的第一数量的帧来回放所述第一媒体段;以及
回放所述第二媒体段,其中,所述第一数量根据所述第一媒体段的平均功率和所述媒体内容的平均功率来确定。
18.一种方法,包括:
在缓冲器中接收所述第一媒体段的同时连续回放所述第一媒体段的帧直到所述缓冲器的使用已经达到第一阈值,并且将所述第一媒体段的剩余帧的回放进行加速,其中,所述第一媒体段是减速段;以及
在所述缓冲器中接收所述第二媒体段的同时连续回放所述第二媒体段的帧直到所述缓冲器的使用已经达到第二阈值,并且将所述第二媒体的剩余帧的回放进行减速,其中,所述第二媒体段是加速段。
19.根据权利要求18所述的方法,其中,将所述第一媒体段的剩余帧的回放进行加速包括以下各项中的一项:从所述第一媒体段的剩余帧中跳过至少一个帧;以及将显示器的图片缓冲器中的帧的更新进行加速。
20.根据权利要求18所述的方法,其中,将所述第二媒体段的剩余帧的回放进行减速包括以下各项中的一项:将至少一个帧插入到所述第二媒体段的剩余帧中;以及将显示器的图片缓冲器中的帧的更新进行减速。
21.根据权利要求18所述的方法,其中,所述媒体内容包括紧跟所述第一媒体段并且是减速段的第三媒体段,所述方法还包括:
连续回放所述第三媒体段的帧直到所述缓冲器的使用已经达到第三阈值,并且将所述第三媒体段的剩余帧的回放进行加速,其中,所述第三阈值高于所述第一阈值。
22.根据权利要求18所述的方法,其中,所述媒体内容包括紧跟所述第二媒体段并且是加速段的第四媒体段,所述方法还包括:
连续回放所述第四媒体段的帧直到所述缓冲器的使用已经达到第四阈值,并且将所述第四媒体段的剩余帧的回放进行减速,其中,所述第四阈值低于所述第二阈值。
23.根据权利要求18所述的方法,其中,所述媒体内容包括紧跟所述第二媒体段并且是减速段的第五媒体段,所述方法还包括:
连续回放所述第五媒体段的帧直到所述缓冲器的使用已经达到所述第一阈值,并且将所述第五媒体段的剩余帧的回放进行加速。
24.根据权利要求18所述的方法,其中,所述媒体内容包括紧跟所述第一媒体段并且是加速段的第六媒体段,所述方法还包括:
连续回放所述第六媒体段的帧直到所述缓冲器的使用已经达到所述第二阈值,并且将所述第六媒体段的剩余帧的回放进行减速。
25.根据权利要求18所述的方法,还包括接收所述第一阈值和所述第二阈值。
26.根据权利要求18所述的方法,其中,对所述第一媒体段的剩余帧的回放进行加速将所述回放加速到从其中导出所述第一媒体段的段的回放速度,并且将所述第二媒体的剩余帧的回放进行减速将所述回放减速到从其中导出所述第二媒体段的段的回放速度。
27.一种设备,包括:
存储器,被配置为存储媒体内容;
处理器,被配置为在缓冲器中接收第一媒体段的同时连续回放所述第一媒体段的帧直到所述缓冲器的使用已经达到第一阈值,并且将所述第一媒体段的剩余帧的回放进行加速,其中,所述第一媒体段是减速段;并且在所述缓冲器中接收第二媒体段的同时连续回放所述第二媒体段的帧直到所述缓冲器的使用已经达到第二阈值,并且减慢所述第二媒体的剩余帧的回放,其中,所述第二媒体段是加速段。
28.根据权利要求26所述的设备,其中,所述处理器被配置为通过以下各项中的一个来将所述第一媒体段的剩余帧的回放进行加速:从所述第一媒体段的剩余帧中跳过至少一个帧,以及将显示器的图片缓冲器中的帧的更新进行加速。
29.根据权利要求26所述的设备,其中,所述处理器被配置为通过以下各项中的一个来将所述第二媒体的剩余帧的回放进行减速:将至少一个帧插入到所述第二媒体段的剩余帧中,以及将显示器的图片缓冲器中的帧的更新进行减速。
30.根据权利要求26所述的设备,其中,所述媒体内容包括紧跟所述第一媒体段并且是减速段的第三媒体段,其中,所述处理器被配置为连续回放所述第三媒体段的帧直到所述缓冲器的使用已经达到第三阈值,并且将所述第三媒体段的剩余帧的回放进行加速,其中,所述第三阈值高于所述第一阈值。
31.根据权利要求26所述的设备,其中,所述媒体内容包括紧跟所述第二媒体段并且是加速段的第四媒体段,其中,所述处理器被配置为连续回放所述第四媒体段的帧直到所述缓冲器的使用已经达到第四阈值,并且将所述第四媒体段的剩余帧的回放进行减速,其中,所述第四阈值低于所述第二阈值。
32.根据权利要求26所述的设备,其中,所述媒体内容包括紧跟所述第二媒体段并且是减速段的第五媒体段,其中,所述处理器被配置为连续回放所述第五媒体段的帧直到所述缓冲器的使用已经达到所述第一阈值,并且将所述第五媒体段的剩余帧的回放进行加速。
33.根据权利要求26所述的设备,其中,所述媒体内容包括紧跟所述第一媒体段并且是加速段的第六媒体段,其中,所述处理器被配置为连续回放所述第六媒体段的帧直到所述缓冲器的使用已经达到所述第二阈值,并且将所述第六媒体段的剩余帧的回放进行减速。
34.根据权利要求8所述的设备,其中,所述处理器被配置为接收所述第一阈值和所述第二阈值。
35.根据权利要求26所述的设备,其中,所述处理器被配置为通过将所述回放加速到从其中导出所述第一媒体段的段的回放速度,来将所述第一媒体段的剩余帧的回放进行加速,并且通过将所述回放速度减速到从其中导出所述第二媒体段的段的回放速度,来将所述第二媒体的剩余段的回放进行减速。
36.一种存储在非暂态计算机可读存储介质中的计算机程序产品,所述非暂态计算机可读存储介质包括计算机可执行指令,用于:
在缓冲器中接收第一媒体段的同时,连续回放所述第一媒体段的帧直到所述缓冲器的使用已经达到第一阈值,并且将所述第一媒体段的剩余帧的回放进行加速,其中,所述第一媒体段是减速段;以及
在所述缓冲器中接收第二媒体段的同时,连续回放所述第二媒体段的帧直到所述缓冲器的使用已经达到第二阈值,并且将所述第二媒体的剩余帧的回放进行减速,其中,所述第二媒体段是加速段。
CN201680053682.XA 2015-09-15 2016-09-15 用于回放功率节省媒体内容的方法、系统和装置 Pending CN108028954A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562218679P 2015-09-15 2015-09-15
US62/218,679 2015-09-15
US201662372475P 2016-08-09 2016-08-09
US201662372470P 2016-08-09 2016-08-09
US62/372,475 2016-08-09
US62/372,470 2016-08-09
USPCT/US2016/047379 2016-08-17
PCT/US2016/047379 WO2017048447A1 (en) 2015-09-15 2016-08-17 Method and apparatus for providing power saving media content
PCT/US2016/051809 WO2017048887A1 (en) 2015-09-15 2016-09-15 Methods, systems and apparatus for playing back power saving media content

Publications (1)

Publication Number Publication Date
CN108028954A true CN108028954A (zh) 2018-05-11

Family

ID=58289880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053682.XA Pending CN108028954A (zh) 2015-09-15 2016-09-15 用于回放功率节省媒体内容的方法、系统和装置

Country Status (6)

Country Link
US (1) US20180270536A1 (zh)
EP (1) EP3351004A1 (zh)
JP (1) JP2018533272A (zh)
KR (1) KR20180053667A (zh)
CN (1) CN108028954A (zh)
WO (1) WO2017048887A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3351003B1 (en) 2015-09-15 2021-07-14 InterDigital Madison Patent Holdings, SAS Method and apparatus for providing power saving media content
EP3386193A1 (en) * 2017-04-04 2018-10-10 Thomson Licensing Method of delivery of audiovisual content and corresponding device
US10972792B2 (en) 2019-06-27 2021-04-06 Rovi Guides, Inc. Systems and methods for scene change recommendations
US10972793B2 (en) * 2019-06-27 2021-04-06 Rovi Guides, Inc. Systems and methods for scene change evaluation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2684491Y (zh) * 2004-02-27 2005-03-09 英业达股份有限公司 便携式信息设备的节电控制装置
US7376331B2 (en) * 2004-03-29 2008-05-20 Cyberlink Corp. Method and system for regulating power in portable audio/video playback device
US20080297662A1 (en) * 2007-06-01 2008-12-04 Gibbs Benjamin K Method and system for optimizing mobile electronic device performance when processing video content
US7676142B1 (en) * 2002-06-07 2010-03-09 Corel Inc. Systems and methods for multimedia time stretching
US20130278834A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Display power reduction using extended nal unit header information
US20150043896A1 (en) * 2011-07-29 2015-02-12 Comcast Cable Communications, Llc Variable Speed Playback
CN104604241A (zh) * 2012-07-09 2015-05-06 Vid拓展公司 功率感知视频解码和串流
CN104782124A (zh) * 2012-12-17 2015-07-15 英特尔公司 利用编码器硬件对视频内容进行预处理

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676142B1 (en) * 2002-06-07 2010-03-09 Corel Inc. Systems and methods for multimedia time stretching
CN2684491Y (zh) * 2004-02-27 2005-03-09 英业达股份有限公司 便携式信息设备的节电控制装置
US7376331B2 (en) * 2004-03-29 2008-05-20 Cyberlink Corp. Method and system for regulating power in portable audio/video playback device
US20080297662A1 (en) * 2007-06-01 2008-12-04 Gibbs Benjamin K Method and system for optimizing mobile electronic device performance when processing video content
US20150043896A1 (en) * 2011-07-29 2015-02-12 Comcast Cable Communications, Llc Variable Speed Playback
US20130278834A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Display power reduction using extended nal unit header information
CN104604241A (zh) * 2012-07-09 2015-05-06 Vid拓展公司 功率感知视频解码和串流
CN104782124A (zh) * 2012-12-17 2015-07-15 英特尔公司 利用编码器硬件对视频内容进行预处理

Also Published As

Publication number Publication date
WO2017048887A1 (en) 2017-03-23
EP3351004A1 (en) 2018-07-25
KR20180053667A (ko) 2018-05-23
JP2018533272A (ja) 2018-11-08
US20180270536A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
US10757158B2 (en) Feedback optimized video coding parameters
US10547850B2 (en) Audio splitting with codec-enforced frame sizes
US12028564B2 (en) Methods, systems, processors and computer code for providing video clips
CN108353198B (zh) 用于提供功率节省媒体内容的方法和装置
CN106134172B (zh) 显示系统、显示方法及显示装置
US11356493B2 (en) Systems and methods for cloud storage direct streaming
CN110099288A (zh) 处理连续的多周期内容
CN108028954A (zh) 用于回放功率节省媒体内容的方法、系统和装置
EP3934258A1 (en) Systems and methods for localized adaptive content distribution
US20200322567A1 (en) Video Chunk Combination Optimization
CN112425178B (zh) 两遍组块并行转码处理
US10529129B2 (en) Dynamic selection mechanism for interactive video
WO2018031598A1 (en) Methods, systems and apparatus for playing back power saving media content
CN103260027A (zh) 用于展示图像数据的视频系统、方法和计算机程序
US20210209636A1 (en) Calculator to estimate hedge in inventory
Poon et al. Interactive broadcasting system for VBR encoded videos
EP4285597A1 (en) Methods for generating videos, and related systems and servers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190523

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: The French Yixilaimu Leo City

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180511

WD01 Invention patent application deemed withdrawn after publication