JP2018533272A - 節電メディアコンテンツを再生する方法、システム、及び機器 - Google Patents

節電メディアコンテンツを再生する方法、システム、及び機器 Download PDF

Info

Publication number
JP2018533272A
JP2018533272A JP2018513333A JP2018513333A JP2018533272A JP 2018533272 A JP2018533272 A JP 2018533272A JP 2018513333 A JP2018513333 A JP 2018513333A JP 2018513333 A JP2018513333 A JP 2018513333A JP 2018533272 A JP2018533272 A JP 2018533272A
Authority
JP
Japan
Prior art keywords
segment
media
media segment
frames
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2018513333A
Other languages
English (en)
Inventor
アンドルー ルフェーヴル,チャド
アンドルー ルフェーヴル,チャド
ホーランダー,トーマス エドワード
エドワード ホーランダー,トーマス
フランシス ラムライヒ,マーク
フランシス ラムライヒ,マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2016/047379 external-priority patent/WO2017048447A1/en
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2018533272A publication Critical patent/JP2018533272A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436Power management, e.g. shutting down unused components of the receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

メディアコンテンツを再生する電力消費量を調節する方法が提示される。その方法は、第1のメディアセグメント及び第2のメディアセグメントを有するメディアコンテンツを受信することと、第1のメディアセグメント内の第2の数のフレームと異なる第1の数のフレームを有する第1のメディアセグメントを再生することと、第2のメディアセグメントを再生することとを含み、第1の数は、第1のメディアセグメントの平均電力及びメディアコンテンツの平均電力に従って決定される。

Description

関連仮出願の参照
本願は、参照によりその全内容が本明細書に援用される、2015年9月15日に出願された“METHODS, SYSTEMS AND APPARATUS FOR PROVIDING POWER SAVING MEDIA CONTENT”という名称の米国仮特許出願第62/218679号、2016年8月9日に出願された“METHODS, SYSTEMS AND APPARATUS FOR PROVIDING POWER SAVING MEDIA CONTENT”という名称の米国仮特許出願第62/372470号、2016年8月9日に出願された“METHODS, SYSTEMS AND APPARATUS FOR PROVIDING POWER SAVING MEDIA CONTENT”という名称の米国仮特許出願第62/372475号、及び2016年8月17日に出願された“METHOD AND APPARATUS FOR PROVIDING POWER SAVING MEDIA CONTENT”という名称の国際公開第PCT/米国特許出願公開第US2016/047379号の優先権を主張する。
本原理の実施形態は、概して、ビデオコンテンツを処理する方法、システム、及び機器に関する。とりわけ、本原理は、エネルギ節約コンテンツを再生すること、及びコンテンツを視聴しながら電力消費量を節約するためのメタデータに関する。
現代の多くのテレビ及びディスプレイ装置は、様々な輝度のコンテンツを表示し、電力を動的に変える。通常の視聴条件下では、典型的なLCDテレビ受像機は150ワットの電力を消費し得る。電力消費量の約半分はディスプレイのバックライティングによる。多くのバックライトはゾーン調光可能であり、暗いシーン領域内でバックライトを調光することによってコントラスト強調を可能にする。ゾーン調光可能なバックライティングが使用される場合、ディスプレイの消費電力はゾーンの輝度に依存する。例えば、全て白色のシーンは150ワット消費し、全て黒色のシーンは75ワット消費し、全て灰色のシーンは110ワット消費し得る。画面の左側が黒色であり、右側が白色のシーンは110ワット消費し得る。
今日の多くのTVは、シーンのコンテンツに関係なく全体的なバックライトの輝度を減らすエネルギ節約モードも提供する。しかし、それらの装置はプログラムのコンテンツ、予想される未来のシーン、又は電力公益事業の条件についての知識に応じた節電は行わない。従って、それらの装置は、電力消費量を減らす能力の点で限られている。
本原理の例示的実施形態に従って方法が提示される。この方法は、第1のメディアセグメント及び第2のメディアセグメントを有するメディアコンテンツを受信することと、第1のメディアセグメント内の第2の数のフレームと異なる第1の数のフレームを有する第1のメディアセグメントを再生することと、第2のメディアセグメントを再生することとを含み、第1の数は、第1のメディアセグメントの平均電力及びメディアコンテンツの平均電力に従って決定される。
本原理の例示的実施形態に従って装置が提示される。この装置は、メディアコンテンツを記憶するように構成されているメモリと、第1のメディアセグメント及び第2のメディアセグメントを有するメディアコンテンツを受信し、及び第1のメディアセグメント内の第2の数のフレームと異なる第1の数のフレームを有する第1のメディアセグメントを再生し、且つ第2のメディアセグメントを再生するように構成されているプロセッサとを含み、第1の数は、第1のメディアセグメントの平均電力及びメディアコンテンツの平均電力に従って決定される。
本原理の例示的実施形態に従い、非一時的コンピュータ可読記憶媒体に記憶されるコンピュータプログラム製品が提示される。このコンピュータプログラムは、第1のメディアセグメント及び第2のメディアセグメントを有するメディアコンテンツを受信することと、第1のメディアセグメント内の第2の数のフレームと異なる第1の数のフレームを有する第1のメディアセグメントを再生することと、第2のメディアセグメントを再生することとを行うためのコンピュータ実行可能命令を含み、第1の数は、第1のメディアセグメントの平均電力及びメディアコンテンツの平均電力に従って決定される。
以下に記載の図面と共に解釈されるとき、本原理の特徴及び利点が以下の詳細な説明から明らかになり得る。
本原理によるシステムの概略図を示す。 本原理による機器の概略図を示す。 本原理による機器の概略図を示す。 本原理によるシステムの概略図を示す。 本原理による方法の流れ図を示す。 本原理による方法の流れ図を示す。 本原理による、修正済みのプレイアウト時間の決定を示すプロット図を示す。 本原理による伝達関数の図を示す。 本原理による、受信されたメディアコンテンツの全てのバージョンについて節電機能を実行する選択肢をユーザが選択するときにユーザ装置によって実行されるプロセスを示す。 完全に加速された受信されたメディアコンテンツの一例を示す。 本原理による節電を考慮した後の、時間単位当たりの電力消費量に対する制約がある状態の図8の完全に加速されたメディアコンテンツ内に含まれるセグメントの持続時間の変化を示す。 本原理による節電を考慮した後の、総電力消費量に対する制約がある状態の図8の完全に加速されたメディアコンテンツ内に含まれるセグメントの持続時間の変化を示す。 本原理による節電を考慮した後の、各セグメントが同じ電力を消費する制約がある状態の図8の完全に加速されたメディアコンテンツ内に含まれるセグメントの持続時間の変化を示す。 本原理による節電を考慮した後の、指定の総電力消費量及び総再生時間の制約がある状態の図8の完全に加速されたメディアコンテンツ内に含まれるセグメントの持続時間の変化を示す。 完全に減速された受信されたメディアコンテンツの一例を示す。 本原理による節電を考慮した後の、図13の完全に減速されたメディアコンテンツ内に含まれるセグメントの持続時間の変化を示す。 本原理による、入力バッファの使用量を制御するためにユーザ装置によって実行されるユーザ装置プロセスによって実行されるプロセスを示す。 本原理によるバッファレベルの変化上の一例を示す。
本原理の実施形態の一態様は、メディアコンテンツの表示時又は提供時に使用が予想され、予測され、又は推定される電力の節電又は電力最適化を決定することを対象とする。本明細書で使用するとき、「節電」は電力及び/又はエネルギの消費を減らすことを含むように定義され得る。節電は、メディアコンテンツの「グリーン」又はエネルギ効率の良いバージョンを更に指し得る。節電は、消費負荷及び/又はインフラに基づく電力最適化を更に指し得る。例えば、電力は、エンドユーザの機器又は装置において予想され、予測され、又は推定されるコンテンツ電力使用量に基づいて決定され得る。
本原理の実施形態の一態様は、メディアコンテンツ及び/又はメディアコンテンツのセグメント若しくは副単位の電力消費量を決定することを対象とする。それにより、本明細書で論じる電力消費量又は電力の決定は、機器及び/又はシステムによって予想され、予測され、又は推定される電力消費量及び/又は使用量を参照する。推定電力消費量は、例えば輝度等のコンテンツの特性の尺度に基づく電力消費インジケータであり得る。
本明細書で使用するとき、「メディアコンテンツ」は、任意の情報源から受信される任意の種類の音声、ビデオ、及び/又は画像メディアコンテンツを含む任意の種類のメディアを含むように定義され得る。例えば、「メディアコンテンツ」は、インターネットコンテンツ、ストリーミングサービス(例えば、M-GO、Netflix、Hulu(登録商標)、Amazon(登録商標))、録画済みのビデオコンテンツ、ビデオオンデマンドコンテンツ、ブロードキャストコンテンツ、テレビコンテンツ、テレビプログラム(又は番組)、広告、コマーシャル、音楽、映画、ビデオクリップ、双方向型ゲーム、ネットワークベースの娯楽アプリケーション、及び他のメディア資産を含み得る。メディア資産は、音声ファイル、画像ファイル、ビデオファイル等の任意の及びあらゆる種類のデジタルメディア形式を含み得る。
本原理の実施形態の一態様は、メディアコンテンツを提供するとき(例えば、エンドユーザ装置においてメディアコンテンツを表示又は再生するとき)に電力消費量を減らすことを対象とする。本原理の一態様は、メディアコンテンツの速度を修正すること又は修正する選択肢を与えることを対象とする。本原理の一態様は、メディアコンテンツセグメントの電力消費インジケーションに基づいてメディアコンテンツセグメントのプレイアウト時間を修正することを対象とする。
本原理の実施形態の一態様は、メディアコンテンツの速度、即ち提示時間を加速又は減速することに基づく節電を対象とする。本原理の一態様は、メディアコンテンツを提供する速度を適応的に修正することに基づく節電を対象とする。本原理の実施形態の一態様は、メディアコンテンツに合わせて適合されるメディアコンテンツ速度の修正に基づく節電を対象とする。速度修正(例えば、より速い速度又はより遅い速度)は、スライス単位、フレーム単位、フィルム−フレーム単位、画像グループ(GOP)単位、ビデオシーン単位、又は他の任意のメディアセグメント単位で行うことができる。本原理の一態様は、メディアコンテンツの電力考察に基づき、メディアコンテンツを提供する速度を加速又は減速することを対象とする。本原理の一態様は、同じメディアコンテンツの他のセグメントに対するメディアコンテンツセグメントの速度を修正することに基づく節電を対象とする。
本原理の実施形態の一態様は、コンテンツの情報に基づいて速度の範囲又は限界(例えば、最高速度及び/又は最低速度)を決定することを対象とする。例えば、速度の範囲は、メディアシーンのコンテンツ、対話、メディアコンテンツの地理的位置(メディアコンテンツ内で描かれている位置又はメディアコンテンツが視聴されている位置)、プリファレンス、又は視聴の許容値(例えば、メディアコンテンツを見ることができる最長時間)の1つ又は複数に基づいて決定され得る。
一例では、ビデオセグメントの表示速度又は再生速度、即ちビデオセグメントのプレイアウト/再生時間を修正することによって節電が実現され得る。例えば、節電は高電力ビデオセグメントを加速することに基づくことができ、加速量は決定済みの最高速度の限界の範囲内にあるように制約される。別の例では、節電が低電力ビデオセグメントを減速することに基づくことができ、減速量は決定済みの最低速度の限界の範囲内にあるように制約される。一例では、ビデオの同じ総持続時間をほぼ保ちながら節電が実現され得る。
本原理の実施形態の一態様は、メディアコンテンツの前処理を対象とする。例えば、メディアコンテンツは、節電インジケータを決定するためにコンテンツサーバにおいて前処理することができる。一例では、電力消費パラメータを決定するためにビデオをビデオサーバにおいて前処理することができる。サーバにおける前処理は、ほぼ同じ総プログラム持続時間を確実にするためにサーバのより高い計算力、より高い精度、及び全プログラムを処理する能力の利点を与え得る。
本原理の実施形態の一態様は、メディアコンテンツの節電バージョンを決定することを対象とする。例えば、本原理の実施形態の一態様は、メディアコンテンツ(例えば、プログラムやビデオ)の複数のバージョンを決定することを対象とする。或るバージョンは、元のメディアコンテンツを含む通常バージョンとすることができる一方、1つ又は複数のバージョンは元のメディアコンテンツの節電バージョンであり得る。節電バージョンは元のメディアコンテンツとほぼ同じ総持続時間を有し得るが、様々なシーンについて異なる速度を有し得る。ほぼ同じ総持続時間とは、元のメディアコンテンツの持続時間のパーセンテージ値の範囲内にあるメディアコンテンツの総持続時間を含意し得る。一実施形態では、パーセンテージ値が元のメディアコンテンツの持続時間の+/−5%であり得る。一例では、メディアコンテンツのプレイアウトユニット(例えば、セットトップボックス、テレビ、タブレット、スマートフォン、コンピュータ等)が複数の節電バージョンを(例えば、メディアコンテンツセグメントのバージョンをユーザ入力に基づいて切り替えることによって)動的に切り替え得る。別の例では、メディアコンテンツ提供ユニットがメディアコンテンツセグメントの電力バージョン間を自動で遷移し得る。メディアコンテンツのバージョンは、(例えば、ユーザごとの)エネルギ消費プロファイル又は他のエネルギパラメータ(例えば、時刻、電気価格、エネルギ消費プロファイル、総エネルギ消費量、自宅での総エネルギ消費量)に基づいて受信装置において選択され得る。一例では、メディアコンテンツの節電バージョンが従来のメディアコンテンツと共に(例えば、Netflix、Amazon、M-GO、他のストリーミングプロバイダ等のストリーミングメディアウェブサイトによって)提供され得る。各節電バージョンは、メディアコンテンツの様々な速度を示すためのインジケータを含み得る。それらのインジケータは、対応するメディアコンテンツと共に符号化/復号され得る。一例では、そのインジケータは、メディアコンテンツ及び/又はメディアコンテンツセグメントと共に提供されるメタデータであり得る。
本原理の実施形態の一態様は、メディアコンテンツの速度を示し得るメタデータを対象とする。メタデータは、メディアコンテンツの速度変化を示すタイムスタンプ又はメディアコンテンツポイントに関する情報を含み得る。例えば、メタデータは、メディアコンテンツの速度がいつ速く、遅く、又は通常であるかに関する情報を含み得る。一例では、メタデータは、符号器又はコンテンツサーバによって生成及び/又は伝送され得る。
通常速度よりも速い、メディアセグメントの高速を実現するために少なくとも2つの実施形態を使用することができる。例えば、そのセグメント内のフレーム数をサーバが減らすことができ、受信機がそのセグメントを通常速度で再生し、又はサーバが通常のセグメントを伝送することができ、受信機がその通常のセグメントを高速で再生する。同様に、通常速度よりも遅い、メディアセグメントの低速を実現するために少なくとも2つの実施形態を使用することができる。例えば、そのセグメント内のフレーム数をサーバが増やすことができ、受信機がそのセグメントを通常速度で再生し、又はサーバが通常のセグメントを伝送することができ、受信機がそのセグメントを低速で再生する。
本原理の実施形態の一態様は、メディアコンテンツの速度のバージョンを示すメタデータを対象とする。例えば、メタデータは、同じメディアコンテンツ又はメディアセグメントの第1の「高速」バージョン及び第2の「低速」バージョンを示し得る。メタデータは、メディアコンテンツの速度についての柔軟なインジケーションを与え得る。伝送又は符号化を行う装置は、メディアセグメント(例えば、ビデオセグメント)のコンテンツ及び/又はエネルギ評価に基づいて、様々な速度又は速度調節に関係するメタデータを提供し得る。受信装置は、そのメタデータを利用してメディアコンテンツの提供(例えば、表示)速度を制御することができる。例えば、受信機は、受信済みのメタデータ情報に基づいてメディアコンテンツの表示速度を増加的に調節することができる。別の例では、受信装置が、「通常」速度に対する加速及び減速のメタデータインジケーションに基づいて定義メディアコンテンツ速度を調節することができる。
本原理の実施形態の一態様は、ビデオコンテンツの様々な再生速度を示すメタデータを対象とする。表1は、ビデオフレームコンテンツに関係するかかるメタデータ情報を示す。「再生速度」の列は様々な再生速度の識別情報に関係する。「開始」の列は開始ビデオフレームナンバーを示す。「終了」の列は終了ビデオフレームナンバーを示す。「持続時間」の列はビデオフレームの総数に対応する。
Figure 2018533272
本原理の実施形態の一態様は、節電を実現できるようにするメタデータを対象とする。節電は、現在のシーンのコンテンツ、未来のシーンのコンテンツ、プログラムの種類、及び他のメディアコンテンツ情報の1つ又は複数に関係するメタデータに基づき得る。メタデータは速度情報に関係し得る。メタデータは、速度、速度変化の実行時、或る速度の持続時間、速度変化の開始、及び速度変化の終了の1つ又は複数に関係するインジケータを含み得る。
本原理の実施形態の一態様は、伝送又は受信されるメタデータを対象とする。例えば、本原理の一態様は、送信機によってメタデータを決定し伝送することに関する。本原理の一態様は、受信機において受信されるメタデータを対象とする。受信機は、見るためのメディアコンテンツを受信済みのメタデータに基づいて提供し得る。メタデータは、対応するメディアコンテンツと共に帯域内で送ることができ、又は別個のファイル若しくは別個のストリームとして帯域外で送ることができる。例えば、帯域内のメタデータでは、速度操作がいつ開始及び/又は終了すべきかをメタデータの到達が示し得る。一例では、速度操作がいつ開始及び/又は終了すべきかを示すために、提示タイムスタンプ又はピクチャオーダカウント等の一意のマーカが使用され得る。
本原理の実施形態の一態様は、高ピーク負荷期間中のテレビ及び他の電化製品の電力消費量の制御を示すメタデータを対象とする。一例では、メタデータは所望の節電度を示し得る。消費者装置(例えば、テレビ)は、受信済みのメタデータに基づいて最適化された節電プロセスを提供し得る。
本原理の実施形態の一態様は、ホームネットワーク電力消費量の向上をもたらすことを対象とする。例えば、装置又は機器の電力消費情報を公益事業のサービスプロバイダに提供することができる。公益事業のサービスプロバイダは、メディアコンテンツ又はメタデータを変えることができる。逆に、装置が節電アルゴリズムを適応的に制御するために、公益事業のサービスプロバイダが動的な料金情報(例えば、キロワット時当たりの価格)を装置に提供し得る。或いは、装置又は機器が現在のエネルギ使用量に基づいてメディアコンテンツを修正することができる。或いは、機器が別の家庭用電化製品によって制御され得る。一例では、節電の決定がソフトウェア及び/又はハードウェアに基づいて行われ得る。節電の決定は、電力消費量及びユーザエクスペリエンスの両方又は一方を最適化し得るサービスプロバイダによって提供されるパラメータに基づくことができる。エネルギ使用量を減らしながらもエクスペリエンスを改善するために、電力消費情報は、全体の自宅電力消費量又は室内照明と一体化され得る。
本原理の実施形態の態様が以下に記載の図面中で実装され得る。
図1は、本原理によるシステム100の概略図を示す。システム100は、符号器/送信機110、及び復号器/受信機120を含み得る。
符号器/送信機110は、メディアコンテンツ(例えば、ビデオ)を符号化する符号器の機器、節電メディアコンテンツ(例えば、インターネットプロトコル情報)を伝送する送信機、メディアコンテンツサーバ(例えば、メディアコンテンツの節電バージョンを準備するヘッドエンドサーバ)、及び(例えば、ストリーミングメディアコンテンツを提供する)ストリーミングサービスプロバイダ、又はメディアコンテンツを提供する他の任意の機器を含む機器又はシステムであり得る。
符号器/送信機110は、ビデオコンテンツであり得るメディアコンテンツ101を受信することができる。メディアコンテンツ101は、圧縮メディアコンテンツ又は非圧縮メディアコンテンツであり得る。非圧縮メディアコンテンツの例は、様々なRGB形式のビデオを含む。圧縮メディアコンテンツの例は、例えばMPEG2、H.264、H.265、及び他の任意のビデオ圧縮規格に従って圧縮されるビデオを含む。
符号器/送信機110は、本明細書に記載の任意の原理に従ってメディアコンテンツ101に関する節電速度修正を決定し得る。例えば、符号器/送信機110は、メディアコンテンツ101の複数の節電バージョンを決定することができる。次いで、複数の節電バージョンが圧縮(符号化)され、節電メディアコンテンツ102がもたらされ得る。別の例では、符号器/送信機110は、メディアコンテンツの様々な速度及びそれらの速度を適用すべき時間を示すインジケータを決定することができる。そのインジケータは、メタデータ103の一部として符号化され得る。一例では、符号器/送信機110が、以下に記載の図2A、図2B、図3〜図6に関連して説明する技法に従って節電速度修正を決定し得る。符号器/送信機110は、メディアコンテンツ101の節電速度決定に基づいて節電メディアコンテンツ102を提供し得る。
符号器/送信機110は、任意選択的にメタデータ103を提供し得る。メタデータは、速度及び/又はメディアコンテンツの観測時間を示し得る。節電の決定もメタデータ103内に含まれ得る。例えば、メタデータ103は節電メディアコンテンツ102の一部とすることができ、又はメディアコンテンツ102とは別に伝送されてもよい。メタデータが別々に提供される場合、メディアコンテンツ102はメディアコンテンツ101であり得る。メタデータ103の伝送は、メディアコンテンツ102のもの以外の同じ又は異なる通信経路又はシステムを経由し得る。
復号器/受信機120は、メディアコンテンツ(例えば、ビデオを復号する復号器の機器、メディアコンテンツ(例えば、インターネットプロトコル情報)を受信する受信機器、消費者端末装置(例えば、セットトップボックス、Blu-Rayプレーヤ、テレビ、スマートテレビ、ゲーム機、ラップトップ、フルサイズのパーソナルコンピュータ、スマートフォン、タブレットPC、及びメディアコンテンツを提供する他の任意の装置)を含む機器又はシステムであり得る。復号器/受信機120は、節電メディアコンテンツ102及びメタデータ103を受信し得る。
復号器/受信機120は、節電メディアコンテンツ102及び/又はメタデータ103に基づいて電力最適化済みのメディアコンテンツ104を決定することができる。復号器/受信機120は、受信済みの節電メディアコンテンツ102及び/又はメタデータ103に対して復号操作を実行し得る。
復号器/受信機120は、電力最適化済みのメディアコンテンツ104を見るために提供し得る。復号器/受信機120は、メタデータ103を利用して電力最適化済みのメディアコンテンツ104の表示速度を制御することができる。例えば、復号器/受信機120は、メタデータ103に基づいてメディアコンテンツの表示速度を増加的に調節することができる。一例では、復号器/受信機120が、以下に記載の図2A、図2B、図3〜図6に関連して説明する技法に従って節電速度修正を決定し得る。
図2Aは、本原理による機器200の概略図を示す。機器200は、命令を処理し、伝送可能な情報を生成することができる機器であり得る。機器200は、図1に関連して記載した符号器/送信機110と同様であり得る。例えば、機器200は送信機、符号器、又はヘッドエンドサーバとすることができる。
機器200は、例えば入力部201経由でメディアコンテンツを受信することができる。メディアコンテンツは圧縮形式でも非圧縮形式でもよい。MPEG2、H.264、H.265、及び他の任意の圧縮規格に従って圧縮されているコンテンツ等の圧縮メディアコンテンツの例である。非圧縮メディアコンテンツの例は、RGB形式のビデオを含む。メディアコンテンツは、図1に関連して説明したメディアコンテンツであり得る。入力部201は、処理するためのメディアコンテンツを受信し得る。入力部201は、ビデオ入力端子、バス、コネクタ、入力ビデオバッファ、通信ポート等とすることができる。
メディアセグメント化器202は、メディアコンテンツをセグメント化する。メディアセグメント化器は、メディアコンテンツ(例えば、ビデオ)をメディアセグメントへとセグメント化し得る。一例では、メディアセグメント化器202がメディアコンテンツを様々なセクション、部分、フレーム、ブロック、画像グループ(GOP)、スライス、シーン、断片(MPEG DASHでサポートされているfragmented MP4等)、(例えば、HLSのSegmented Adaptive Transport Stream内で使用されるような)他の任意の種類のセグメント、及び他の任意の種類の時間間隔(動的な時間間隔又は均一な時間間隔、例えば2秒や5秒)へとセグメント化する。一実施形態では、メディアコンテンツが既にセグメント化されていてもよく、メディアセグメント化器202が任意選択的であり、バイパス又は除去され得る。節電の決定はそれらのメディアセグメントに基づいて実行され得る。セグメントのサイズは実施上の考慮事項に基づいて最適化することができる。例えば、セグメントが小さ過ぎる場合、速度を変えるのが難しい場合がある。しかし、セグメントが長過ぎる場合、節電の機会が失われる可能性がある。
電力推定器203は、メディアセグメント化器202によって決定されたメディアセグメントの電力消費量を決定する。一例では、電力推定器203が任意の電力決定方法によって電力消費量を決定し得る。例えば、電力推定器203は、セグメント化された部分のそれぞれの個々のコンテンツの画素の平均輝度値又は正規化輝度値を決定し得る。一例では、電力推定器203が、シーンを構成するメディアセグメントの平均電力に基づいてシーンの平均電力を決定し得る。一例では、平均電力は、そのシーンのエネルギをそのシーンの持続時間又はそのシーンのフレーム数で除算することによって決定され得る。メディアセグメント又はメディアコンテンツの平均電力も同様に決定することができる。電力推定器203は、メディアセグメント又はメディアセグメントの副単位(例えば、フレーム)の電力消費量又はエネルギを推定することができる。一例では、電力はメディアコンテンツの表示時又は提供時に使用が予想され、予測され、又は推定される電力であり得る。即ち、機器200は、エンドユーザの機器又は装置上のコンテンツに関連する電力を予想し、予測し、又は推定することができる。
積分器204は、メディアセグメント又はメディアセグメントの副単位の電力消費量を或る期間にわたって積分又は合計することができる。例えば、積分器204は、セグメント化されたシーン内の全てのフレームの電力を積分し、セグメント化されたシーンの総電力を提供することができる。一例では、積分器204を任意選択的とすることができ、又は一定の条件に基づいてのみ利用することができる。例えば、積分器204は、シーンがセグメント化されている場合(例えば、ビデオシーンが複数のビデオフレームへとセグメント化されている場合)にのみ利用することができる。積分器204は、フレーム又はシーン内の全てのメディアセグメントの総電力又はエネルギを合計することができる。
正規化器205は、シーンの平均電力消費量を決定することができる。一例では、正規化器205が、シーンのエネルギをシーン内のメディアセグメント数又はメディアセグメントの副単位数で除算することができる。例えば、正規化器205は、積分器204によって決定される総電力又はエネルギを積分器204によって評価されるシーン内のフレーム数で除算することができる。正規化器205は、フレームごと、時間間隔ごと、期間、又は任意のメディアセグメントの副単位ごとに平均電力又はエネルギを決定することができる。一例では、正規化器205及び積分器204を任意選択的とすることができ、又は電力推定器203の一部として一体化することができる。
速度修正器206は、少なくとも1つの電力推定器203、積分器204、及び/又は正規化器205から電力消費情報を受信することができる。速度修正器206は、速度決定器207、及び音声/ビデオ(「A/V」)速度調節器208を含み得る。一例では、速度決定器207及びA/V速度調節器208を速度修正器206内に一体化することができる。
速度決定器207は、各メディアセグメントの提供速度を決定する。速度決定器207は、電力推定器203、積分器204、及び/又は正規化器205によって決定される電力消費量に基づいてセグメントの速度を決定することができる。一例では、速度決定器207がセグメントに関する修正済みの開始及び終了時間を決定し得る。一例では、速度決定器207がメディアコンテンツのより速い速度又はより遅い速度を決定し得る。
一例では、速度決定器207が、平均電力消費量に基づいて1つ又は複数のメディアセグメントの修正済みの速度を決定し得る。一例では、速度決定器207が、電力消費量との直接の関係に基づいて速度を決定し得る。速度決定器は、メディアセグメントの平均電力とそのセグメントの速度との間の直接の関係に基づいてメディアセグメントの速度を決定し得る。例えば、メディアセグメントが相対的に高い電力消費量を有する場合、速度決定器207はそのセグメントの速度を上げることができる。同様に、メディアセグメントが相対的に低い電力消費量を有する場合、速度決定器207はそのセグメントの速度を落とすことができる。
概して速度決定器207は、高電力セグメントの持続時間(又はフレーム数)を減らし、低電力セグメントの持続時間(又はフレーム数)を増やすことができる。速度変化にもかかわらず、メディアコンテンツの全体的な合計時間がほぼ同じままであることを確実にするために、速度決定器207はプログラムの全体的な速度を追跡することもできる。一例では、メディアコンテンツの合計時間が同じままである。別の例では、メディアコンテンツの合計時間が元の(通常の)メディアコンテンツの時間よりも短く又は長い。
一例では、速度決定器207が、基準閾値をシフトすることに基づいて速度修正を決定し得る。一例では、図5の基準閾値505に関連して説明する原理に従って閾値を決定することができる。
別の例では、速度決定器207が、伝達の傾斜の特性を変えることに基づいて速度修正を決定し得る。一例では、図6に関連して説明する原理に従って傾斜の伝達特性の変化を決定することができる。
別の例では、速度決定器207が、許容可能速度の最大範囲を変えることに基づいて速度修正を決定し得る。一例では、速度決定器207は、基準閾値をシフトすること、伝達特性の傾斜を変えること、及び許容可能速度の最大範囲を変えることの組合せに基づいて速度修正を決定し得る。
一例では、A/V速度調節器208は音声/ビデオ速度調節プレイアウトユニットであり得る。例えば、A/V速度調節器208はビデオセグメントの速度を(例えば、ビデオセグメントのプレイアウト時間又は提示時間を調節することによって)上げることができる。或いは、A/V速度調節器208はビデオセグメントの速度を(例えば、ビデオセグメントのプレイアウト時間又は提示時間を調節することによって)落とすことができる。一例では、独自のA/V速度調節ユニットを有する下流の受信装置にメタデータが速度調節を示し得るため、A/V速度調節器208が利用されなくてもよい。その場合、適用される速度調節を案内するために、メタデータ211が下流のA/V速度調節ユニットに与えられる。
速度修正器206はメタデータ211を更に決定し得る。メタデータ211は、速度修正器206によって提供される速度修正に基づいて決定され得る。例えば、メタデータ211はメディアコンテンツの速度を示し得る。メタデータ211は、メディアコンテンツの速度がどこで変わるかを示すタイムスタンプ又はメディアコンテンツポイントに関する情報を含み得る。例えば、メタデータ211は、メディアコンテンツの速度が高速、低速、及び通常速度であるときに関する情報を含み得る。或いは、メタデータ211は、メディアコンテンツの速度のバージョン(例えば、高速、低速、通常及び/又は実際の速度)を示し得る。例えば、メタデータ211は、表1に関連して記載したメタデータであり得る。メタデータ211は節電を実現できるようにし得る。メタデータ211は、現在のシーンのコンテンツ、未来のシーンのコンテンツ、プログラムの種類、及び他のメディアコンテンツ情報の1つ又は複数に関係し得る。メタデータ211は速度情報に関係し得る。メタデータは、速度、速度変化の実行時、或る速度の持続時間、速度変化の開始、及び速度変化の終了の1つ又は複数に関係するインジケータを含み得る。一例では、メディアコンテンツが修正されなくてもよく、速度修正がメタデータ内でのみ示され得る。この例では、メタデータが電力消費量及び/又は再生速度の同期されたインジケーションを含む。同期点は、メディアセグメントベース及び/又はタイムスタンプベースである。
一例では、帯域内メタデータでは、速度操作がいつ開始及び/又は終了すべきかをメタデータ211の到達が示し得る。メタデータ211は節電メディアコンテンツ210と同期され得る。別の例では、速度操作がいつ開始及び/又は終了すべきかを示すために、提示タイムスタンプ又はピクチャオーダカウント等の一意のマーカが使用され得る。一例では、メタデータ211が、電力推定器203、積分器204、及び正規化器205の1つ又は複数によって決定される電力消費インジケーションを含み得る。
機器200は、任意選択的なビデオ圧縮器(符号器)209を含み得る。ビデオ圧縮器209は、速度修正器206からの節電メディアコンテンツを圧縮することができる。圧縮器209は速度修正器206の一部であり得る。
節電メディアコンテンツ210及びメタデータ211は、変調器、HDMIポート等の出力ポート、イーサネットインタフェース、通信ポート等を介して提供され得る。節電メディアコンテンツ210はメタデータ211を含むことができ、又はメタデータ211と別個であり得る。メタデータ211は、節電メディアコンテンツ210と同じ又は異なる経路又はシステム経由で伝送され得る。或いは、メタデータ211は変調され、且つ/又はメディア節約コンテンツ210と異なるチャネル、周波数、期間、データ形式、又は変調方式に指定されてもよい。
機器200は、プロセッサ220及びメモリ221を更に含み得る。一例では、機器200のコンポーネント201〜209がプロセッサ220及びメモリ221に接続され得る。プロセッサ220は、コンポーネント201〜209の機能を実装するために様々なハードウェアコンポーネントをモニタし制御することができる。別の例では、プロセッサ220は、コンポーネント201〜209の様々な機能を行うためにソフトウェアを実行することができる。
メモリ221は、コンポーネント201〜209の1つ又は複数から受信される情報を記憶するように構成され得る。メモリ221は様々なメモリの種類の1つ又は複数であり得る。例えば、メモリ221は、HDD、DRAM、キャッシュ、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、ディスク記憶装置(例えば、磁気ディスク記憶装置又は光ディスク記憶装置)、ソリッドステート磁気装置等の1つ又は複数であり得る。
メモリ221は、コンポーネント201〜209の技法を実行するように構成されているコンピュータ実行可能命令を記憶することができる。メモリ221は、プロセッサ220によって実行される命令を記憶することができる。実行可能命令はプロセッサ220によってアクセス可能である。実行可能命令は、ランダムアクセスメモリ(「RAM」)内に記憶することができ、又は非一時的コンピュータ可読媒体内に記憶することができる。かかる非一時的コンピュータ可読媒体は、例えば電子媒体、磁気媒体、光学媒体、電磁媒体、半導体媒体等、多くの物理媒体の何れか1つを含み得る。適切な非一時的コンピュータ可読媒体のより具体的な例は、これのみに限定されないが、フロッピディスケット又はハードドライブ等の携帯型磁気コンピュータディスケット、読取専用メモリ(「ROM」)、消去プログラム可能読取専用メモリ、携帯型コンパクトディスク、又は直接若しくは間接的に結合され得る他の記憶装置を含む。媒体は、上記の装置の1つ若しくは複数の任意の組合せ及び/又は他の装置も含み得る。
当業者によって容易に考えられるように、機器200は他の要素(不図示)を更に含み得るだけでなく、特定の要素を省略し得る。例えば、当業者によって容易に理解されるように、他の様々な入力装置及び/又は出力装置をそれらの特定の実装形態に応じて含めることができる。例えば、様々な種類の無線及び/又は有線の入力装置及び/又は出力装置を使用することができる。更に、当業者によって容易に理解されるように、様々な構成における追加のプロセッサ、コントローラ、メモリ等を利用することもできる。本明細書に記載の本原理の教示を所与とし、機器200のこれらの及び他の改変形態が当業者によって容易に予期される。
更に、本明細書で開示する技法を機器200が実行できることを理解すべきである。例えば、機器200は、図4Aに関連して説明する方法の1つ又は複数を全体的に又は部分的に実行し得る。
図2Bは、本原理による機器250の概略図を示す。機器250は、命令を処理し、情報を受信することができる機器であり得る。機器250は、図1に関連して説明した機器120と同様であり得る。例えば、機器250は、受信機、復号器、又は消費者装置であり得る。機器250は、節電メディアコンテンツ210及びメタデータ211を受信し得る。
機器250は入力部251を含む。入力部251は、チューナ、変調器、ビデオ入力端子、バス、コネクタ、入力バッファ、通信ポート等とすることができる。機器250は、節電メディアコンテンツ210を入力部251経由で受信することができる。機器250は、任意選択的に節電メディアコンテンツ210及びメタデータ211を入力251部経由で受信することもできる。一例では、図2Aに関連して説明した原理に従って節電メディアコンテンツ210及びメタデータ211を決定することができる。一例では、図1に関連して説明したように節電メディアコンテンツ210及びメタデータ211を受信することができる。
機器250は速度修正器252を含み得る。速度修正器252は、速度決定器253、及び音声/ビデオ(「A/V」)速度調節器254を含み得る。一例では、速度決定器253及びA/V速度調節器254を速度修正器252内に一体化することができる。
速度決定器253は、節電メディアコンテンツ210の速度及び/又は修正済みのプレイアウト時間を決定し得る。一例では、速度決定器253は、受信されるメタデータ211に基づいてメディアセグメントごとの速度及び/又は修正済みのプレイアウト時間を決定し得る。一例では、速度決定器253は、節電メディアコンテンツ210のメディアセグメントごとの電力消費インジケーションを得るためにメタデータ211を分析し得る。別の例では、速度決定器253は、節電メディアコンテンツ210のメディアセグメントのそれぞれの速度を決定するためにメタデータ211を分析し得る。一例では、速度決定器253は、メディアセグメントごとの速度及び/又は修正済みのプレイアウト時間をそのメディアセグメントの節電バージョンの選択によって決定し得る。別の例では、速度修正器252及び/又は速度決定器253は、メディアコンテンツの電力を最適化するために既に修正済みの速度を有するメディアコンテンツを受信し得る。
別の例では、電力最適化済みのメディアコンテンツをどのように提供するかを決定するために、速度修正器252がメディアセグメント化器、電力推定器、積分器、及び/又は正規化器を更に含み得る。一例では、メディアセグメント化器、電力推定器、積分器、及び/又は正規化器が、図2Aの機器200に関連して説明したメディアセグメント化器202、電力推定器203、積分器204、及び正規化器205に対応し得る。一例では、A/V調節器254が、図2AのA/V調節器208に関連して説明した原理に従ってメディアコンテンツを修正し得る。
一例では、機器250が節電アルゴリズムを適応的に制御するために、公益事業のサービスプロバイダが動的な料金情報(例えば、キロワット時当たりの価格)を機器250に提供し得る。機器250は、現在のエネルギ使用量に基づいてメディアコンテンツを修正し得る。機器250は別の家庭用電化製品によって制御され得る。機器250は、電力消費量及びユーザエクスペリエンスの両方又は一方を最適化し得る、サービスプロバイダによって提供されるパラメータに基づいて節電の決定を行い得る。機器250は、エネルギ使用量を減らしながらもエクスペリエンスを改善するために、電力消費情報を自宅電力消費量又は室内照明と一体化し得る。
速度修正器252は、任意選択的な出力部255に電力最適化済みのメディアコンテンツを出力し得る。出力部255は、変調器、HDMIポート等の出力ポート、又は通信ポートとすることができる。出力部255は、電力最適化済みのメディアコンテンツ(ビデオコンテンツ等)をディスプレイ装置及び/又はスピーカ260に出力し得る。従って、エネルギを節約する方法で視聴するために、電力最適化済みのメディアコンテンツがユーザに提供され得る。
機器250は、プロセッサ256及びメモリ257を更に含み得る。一例では、機器250のコンポーネント251〜255がプロセッサ256及びメモリ257に接続され得る。プロセッサ256は、コンポーネント251〜255の機能を実装するために様々なハードウェアコンポーネントをモニタし制御することができる。別の例では、プロセッサ256は、コンポーネント251〜255の様々な機能を行うためにソフトウェアを実行することができる。
メモリ257は、コンポーネント251〜255の1つ又は複数から受信される情報を記憶するように構成され得る。メモリ257は様々なメモリの種類の1つ又は複数であり得る。例えば、メモリ257は、HDD、DRAM、キャッシュ、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、ディスク記憶装置(例えば、磁気ディスク記憶装置又は光ディスク記憶装置)、ソリッドステート磁気装置等の1つ又は複数であり得る。
メモリ257は、コンポーネント251〜255の技法を実行するように構成されているコンピュータ実行可能命令を記憶することができる。メモリ257は、プロセッサ256によって実行される命令を記憶することができる。実行可能命令はプロセッサ256によってアクセス可能である。実行可能命令は、ランダムアクセスメモリ(「RAM」)内に記憶することができ、又は非一時的コンピュータ可読媒体内に記憶することができる。かかる非一時的コンピュータ可読媒体は、例えば電子媒体、磁気媒体、光学媒体、電磁媒体、半導体媒体等、多くの物理媒体の何れか1つを含み得る。適切な非一時的コンピュータ可読媒体のより具体的な例は、これのみに限定されないが、フロッピディスケット又はハードドライブ等の携帯型磁気コンピュータディスケット、読取専用メモリ(「ROM」)、消去プログラム可能読取専用メモリ、携帯型コンパクトディスク、又は直接若しくは間接的に結合され得る他の記憶装置を含む。媒体は、上記の装置の1つ若しくは複数の任意の組合せ及び/又は他の装置も含み得る。
当業者によって容易に考えられるように、機器250は他の要素(不図示)を更に含み得るだけでなく、特定の要素を省略し得る。例えば、当業者によって容易に理解されるように、他の様々な入力装置及び/又は出力装置をそれらの特定の実装形態に応じて含めることができる。例えば、様々な種類の無線及び/又は有線の入力装置及び/又は出力装置を使用することができる。更に、当業者によって容易に理解されるように、様々な構成における追加のプロセッサ、コントローラ、メモリ等を利用することもできる。本明細書に記載の本原理の教示を所与とし、機器250のこれらの及び他の改変形態が当業者によって容易に予期される。
更に、本明細書で開示する技法を機器250が実行できることを理解すべきである。例えば、機器250は、図4Bに関連して説明する方法の1つ又は複数を全体的に又は部分的に実行し得る。
図3は、本原理による例示的システム300を示す。図示のように、システム300は、通信ネットワーク320を含む本原理による一例である。通信ネットワーク320は、インターネット、広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)等の通信ネットワークとすることができる。通信ネットワーク320は、ケーブル、衛星、電話回線、電力線、又は他の媒体によるブロードキャストネットワークも含み得る。それにより、システム300は、通信ネットワーク320を介したメディアコンテンツのストリーミング、アップロード、及び/又はダウンロードを可能にする。
システム300はコンテンツサーバ310を含み得る。コンテンツサーバ310は、装置350−1〜350−nの1つ又は複数から要求を受信し得る。コンテンツサーバ310は、ストリーミング又はダウンロードのために映画又はTV番組等のメディアコンテンツを伝送することができる。装置350−1〜350−nは、通信ネットワーク320を介してコンテンツサーバ310と通信することができる。
コンテンツサーバ310は、データ、ウェブページ、メディアコンテンツ等の情報を伝送することができる。ローカルユーザ装置350−1〜350−n上で処理を利用できない場合及び/又は行うことができない場合、コンテンツサーバ310は追加の情報処理を提供し得る。
一例では、コンテンツサーバ310がメモリ311、プロセッサ312、及び通信インタフェース313を含む。コンテンツサーバ310は、メディアコンテンツ及びその関連メタデータを提供し得る。メディアコンテンツ及び関連メタデータはメモリ311内に記憶され、プロセッサ312によって処理され得る。メモリ311は、1つ又は複数のハードドライブ及び/又は他の適切なメモリ装置等の非一時的記憶媒体とすることができる。通信インタフェース313は、コンテンツサーバ310が通信ネットワーク320を介してデータを伝送することを可能にし得る。
一例では、コンテンツサーバ310は、図1に関連して説明した機器110と同様であり得る。別の例では、コンテンツサーバ310は図2Aに関連して説明した機器200と同様であり得る。
装置350−1〜350−nは、メディアコンテンツを受信する装置である。一例では、かかる装置がセットトップボックス、コンピュータ、ラップトップ、タブレット、携帯電話等を含み得る。一例では、装置350−1が例示的なユーザ装置の詳細なブロック図を示す。装置350−1は、通信インタフェース351、プロセッサ352、メモリ353、及び任意選択的なI/Oインタフェース354を含む。通信インタフェース351は、通信ネットワーク320からの通信、例えば情報の受信を可能にする。プロセッサ352は、受信済みのメディアコンテンツ情報を提供するための節電の側面を処理することができる。メモリ353は、様々なファイル及び情報を処理し記憶する、RAM等の一時的メモリ及びROM、ハードドライブ、フラッシュメモリ等の非一時的メモリの両方を表し得る。
一例では、装置350−1〜350−nは、図1に関連して説明した機器120と同様であり得る。別の例では、装置350−1〜350−nは、図2Bに関連して説明した機器250と同様であり得る。更に別の実施形態では、装置350−1〜350−nは、図2Aに関連して説明した機器200と同様であり得る。
図4Aは、本原理による例示的方法400の流れ図を示す。方法400は節電メディアコンテンツを決定し得る。
方法400は、メディアコンテンツを受信するブロック401を含み得る。メディアコンテンツは圧縮形式でも非圧縮形式でもよい。MPEG2、H.264、H.265、及び他の任意の圧縮規格に従って圧縮されているコンテンツ等の圧縮メディアコンテンツの例である。非圧縮メディアコンテンツの例は、RGB形式のビデオを含む。メディアコンテンツは、図1及び図2Aに関連して説明したメディアコンテンツであり得る。ブロック401はブロック402に制御を渡し得る。
ブロック402は、メディアコンテンツをメディアセグメントへとセグメント化し得る。一例では、ブロック402は、図2Aのメディアセグメント化器202に関連して説明した原理に従ってメディアコンテンツをセグメント化し得る。ブロック402はブロック403に制御を渡し得る。一実施形態では、ブロック402が任意選択的であり得る。一実施形態では、ブロック402を除去することができる。
ブロック403は、メディアセグメントの電力消費量を決定し得る。一例では、ブロック403は各メディアセグメントの画素の輝度値に基づいて電力消費量を決定し得る。ブロック403は、図2Aのコンポーネント203〜205に関連して説明した原理に従って電力消費量を決定し得る。ブロック403はブロック404に制御を渡し得る。
ブロック404は、本原理に従って速度修正を決定し得る。一例では、ブロック404は、メディアコンテンツの複数の部分のそれぞれのコンテンツに対応する修正済みのプレイアウト時間を決定し得る。一例では、ブロック404は、電力消費量の決定に基づいてメディアセグメントの速度を決定し得る。一例では、ブロック404は、メディアセグメントの修正済みの開始及び終了時間を決定し得る。一例では、ブロック404は、図2Aのコンポーネント205〜208に関連して説明した原理に従って速度修正を決定し得る。ブロック404はブロック405に制御を渡し得る。
ブロック405は、メディアコンテンツのメタデータを決定し得る。ブロック405は、ブロック403及び404のそれぞれの電力消費量の決定及び速度修正の決定に関係するメタデータを決定し得る。一例では、ブロック405は、本原理に従ってメディアコンテンツの速度を示すメタデータを決定し得る。例えば、メタデータは、メディアセグメントの速度(例えば、速度が速いか、遅いか、通常か)に関する情報を含み得る。一例では、ブロック405は、メディアコンテンツセグメントの開始及び終了時間を示すメタデータを生成し得る。一例では、ブロック405は、速度操作がいつ開始又は終了すべきかを示し得るメタデータを決定することができる。メタデータは、速度、速度変化の実行時、或る速度の持続時間、速度変化の開始、及び速度変化の終了の1つ又は複数に関係するインジケータを更に含み得る。一例では、ブロック405は、メディアコンテンツの速度のバージョンを示すメタデータを決定し得る。例えば、メタデータは、同じメディアコンテンツ又はメディアセグメントの第1の「速い」高速バージョン及び第2の「低速」バージョンを示し得る。メタデータは、メディアコンテンツの様々な速度を示す柔軟性を与え得る。例えば、伝送又は符号化を行う装置は、メディアセグメント(例えば、ビデオセグメント)のコンテンツ及び/又はエネルギ評価に基づいて、様々な再生速度調節レベルに関係するメタデータ内の情報を提供し得る。一例では、ブロック405は、図2Aのメタデータ211に関連して説明した原理に従ってメタデータを決定し得る。一実施形態では、405が任意選択的であり得る。一実施形態では、ブロック405を除去することができる。一例では、405が任意選択的であり得る。ブロック405はブロック406に制御を渡し得る。
ブロック406は、節電メディアコンテンツ及びメタデータを提供し得る。一例では、ブロック406は、節電メディアコンテンツ及びメタデータを伝送し得る。一例では、図2Aの節電メディアコンテンツ210に関連して説明した原理に従って電力最適化済みのメディアコンテンツを決定し得る。一例では、ブロック406は、図2Aのメタデータ211に関連して説明した原理に従ってメタデータを決定し得る。一例では、ブロック406は、図2Aに関連して説明した原理に従って節電メディアコンテンツ及びメタデータを伝送し得る。
一例では、ブロック406は、メタデータを対応するメディアコンテンツと共に帯域内で送ることができ、又は別個のファイル若しくは別個のストリームとして帯域外で送ることができる。一例では、ブロック406は、下流の装置又は受信機にメタデータを提供し得る。
一例では、ブロック406がメタデータを提供しなくてもよく、代わりに節電メディアコンテンツのみを提供し得る。例えば、メディアコンテンツセグメントに対して実際の修正を行うことによって(例えば、決定済みの電力消費インジケーションに基づいてそれぞれのプレイアウト時間を修正することによって)節電メディアコンテンツが決定され得る。かかる修正は、外部の電力管理信号に応答したものであり得る。信号は、電力公益事業のプロバイダ、家庭用電化製品、及び/又はホームネットワークからであり得る。例えば、この信号は、電力のピーク需要時に電力公益事業のプロバイダからその顧客基盤による全体的な電力需要を減らすために送信され得る。
図4Bは、本原理による例示的方法450の流れ図を示す。
方法450は、節電メディアコンテンツ及び/又はメタデータを受信するブロック451を含み得る。ブロック451は、図2Bの入力部251に関連して説明した原理に従って受信済みの節電メディアコンテンツを処理することができる。ブロック451はブロック452に制御を渡し得る。
ブロック452は、本原理の実施形態に従って速度修正を決定し得る。一例では、ブロック452は、メディアコンテンツの複数の部分のそれぞれのコンテンツに対応する修正済みのプレイアウト時間を決定し得る。一例では、ブロック452は、メディアコンテンツセグメントの修正済みの開始及び終了時間を決定し得る。例えば、ブロック452は、メディアコンテンツの通常速度よりも速い速度又は遅い速度を決定し得る。ブロック452は、図2Bに関連して説明したコンポーネント252〜254に関連して説明したように速度修正を決定し得る。
一例では、ブロック452は、メディアコンテンツの速度をメタデータに基づいて決定し得る。一例では、ブロック452は、電力消費量のメタデータのインジケーションに基づいてセグメントの速度を決定し得る。一例では、ブロック452は、メタデータを利用してメディアコンテンツの表示速度を制御することができる。一例では、図2Aのコンポーネント252〜254に関連して説明した原理に従ってメタデータに基づく速度修正が決定され得る。
一実施形態では、ブロック452は、図6に関連して説明する原理に従って基準電力閾値に基づくメディアコンテンツの速度を決定し得る。基準閾値はユーザ装置内に記憶され、ユーザによって入力又は変更され得る。メタデータは時間又はフレーム等の単位当たりの平均電力消費量を示すことができ、ユーザは単位当たりの平均電力消費量よりも多く又は少なく指示し得る。例えば、ブロック452は、ユーザに電力閾値を入力するように求めることができ、ユーザは、例えば10%又は−10%と入力し、単位当たりの平均電力消費量を10%又は−10%増やすことを望むことを示し得る。従って、ブロック452は、基準閾値に従って最適化される修正済みの節電コンテンツを作り出す。ブロック453は最適化済みのメディアコンテンツを出力する。
一例では、メタデータを任意選択的とすることができ、代わりにブロック452が節電メディアコンテンツのみを受信し得る。受信される節電メディアコンテンツは、修正済みの速度又はプレイアウト時間のインジケーションを既に含んでいてもよい。
ブロック453は電力最適化済みのメディアコンテンツを出力する。電力最適化済みのメディアコンテンツはディスプレイ、例えばディスプレイ260に与えられ得る。
図4A及び図4Bの方法400及び方法450は、プロセッサによって実行され得るコンピュータ実行可能命令を含むコンピュータプログラム製品として実装され得る。コンピュータ実行可能命令を有するコンピュータプログラム製品は、上記のそれぞれの装置の個々の非一時的コンピュータ可読記憶媒体に記憶され得る。
図5は、本原理による、修正済みのプレイアウト時間の決定を示すプロット図500の一例を示す。図5では、例示的な基準閾値505が基準電力消費量を示す。基準閾値505は、ユーザによって選択されてもよく、又は(例えば、全映画や全TV番組等のビデオコンテンツのフレームの平均電力値に基づいて)決定されてもよい。基準閾値505に基づき、修正済みのメディアコンテンツのプレイアウト時間を決定することができる。修正済みのプレイアウト時間は、図1〜図4に関連して説明した原理に従って決定され得る。メディアセグメントの電力消費量が基準閾値505を上回る場合、メディアセグメントのプレイアウト時間を減らすことができる(例えば、セグメント1(501)参照)。他方では、メディアセグメントの電力消費量が基準閾値505を下回る場合、メディアセグメントのプレイアウト時間を増やすことができる(例えば、セグメント2(502)参照)。図5は、基準閾値505を上回る(従って、そのメディアプレイアウト時間が減らされ得る)セグメント3、及び基準閾値にある(従って、そのメディアプレイアウト時間が同じに保たれ得る)セグメント4を更に示す。
図6は、例示的な速度修正伝達関数600を示す。伝達関数600は、メディアコンテンツのプレイアウトの持続時間にわたる決定済みの電力消費量を実現するための、未修正メディアのプレイアウト速度に対するメディアコンテンツのプレイアウト速度への修正量を示す。
図6は、メディアコンテンツセグメントの例示的な閾値601、602、及び603を更に示す。伝達関数600のx軸は電力消費量を示す。伝達関数600のy軸はメディアコンテンツの速度変化のパーセンテージを示す。図6に示すように、閾値602は第1のメディアセグメントに対応する基準閾値であり得る。基準閾値は所望の電力消費量を示し得る。第2のメディアセグメントに対応する閾値601の電力消費量は、基準閾値602の電力消費量の2倍である。従って、閾値601のプレイアウト速度は、基準閾値602のプレイアウト速度に対して10%増加している。第3のメディアセグメントに対応する閾値603の電力消費量は基準閾値602の電力消費量の半分である。従って、閾値601のプレイアウト速度は、基準閾値602のプレイアウト速度に対して10%低下している。一例では、伝達関数600がプレイアウト速度に対して最大±10%の調節を可能にする。但し、一連の調節が伝達関数600又は他の任意の電力伝達関数に利用され得る。一例では、調節の範囲がユーザによって設定されてもよく、又は与えられるパラメータに基づいて決定され得る。一例では、完全なビデオコンテンツの総プレイアウト時間が視聴者にとって実質的に未修正であるように見えるように、速度修正器がそれぞれのコンテンツに対応する修正済みのプレイアウト時間を調節又は正規化し得る。速度修正の「積極度」は、基準閾値をシフトすること、伝達特性の傾斜を変えること、許容可能速度の最大範囲を変えること、又はそれらの組合せの少なくとも1つによって制御され得る。
一実施形態では、コンテンツサーバ310が、メディアコンテンツの完全に加速されたバージョン又は完全に減速されたバージョンを伝送し得る。完全に加速されたバージョンでは、メディアコンテンツの各セグメントが同じ量、例えば10%だけ加速され、完全に減速されたバージョンではコンテンツの各セグメントが同じ量、例えば10%だけ減速される。メディアセグメントをX%加速する場合、そのメディアセグメント内のフレーム数はX%減少する。そのため、Xが十分大きい場合、そのメディアセグメント内の少なくとも1つのフレームが削除される。加速セグメントについて時間分解能がほぼ同じであるように、削除されるフレームはセグメントにわたって均等に分布すべきである。コード化セグメントを再符号化することによって加速セグメントが生成される場合、時間分解能はほぼ同じであるべきである。同様に、メディアセグメントをX%減速する場合、そのメディアセグメント内のフレーム数はX%増加する。そのため、Xが十分大きい場合、そのメディアセグメント内に少なくとも1つのフレームが挿入される。減速セグメントについて時間分解能がほぼ同じであるように、挿入されるフレームはセグメントにわたって均等に分布すべきである。コード化セグメントを再符号化することによって減速セグメントが生成される場合、時間分解能はほぼ同じであるべきである。
完全に加速されたバージョンを伝送する利点は伝送帯域幅が減ることである。低帯域幅(及び低時間分解能)バージョンを使用することは、自社の可用帯域幅内により多くのメディアコンテンツを収めることができる点において、Comcast又はDirecTV等のメディアサービス事業者にとって好ましい場合がある。かかる事業者は、自社のチャネルの多くを圧縮することによって低帯域幅バージョンを使用することを既に行っており、そのため元の原資料のフル解像度をCPE(顧客宅内機器)が利用することができない。
低帯域幅バージョンは、ライブコンテンツのほうがより適している可能性がある。ライブコンテンツで加速を行うには、一定量のコンテンツをバッファリングする必要があり、低帯域幅バージョンはそのプレイアウトよりも速くリアルタイムで到達するため、十分なバッファを得るために必要な時間が大幅に短縮される可能性がある。このシナリオでは、バッファの取得を一層加速するためにコンテンツの最初のX分を常に実時間又はそれよりも遅く減速することも可能である(潜在的に、節電を僅かに減少させるが、「ライブTV」のシナリオをより現実的な可能事にする)。但し、ブロードキャストに遅れて参加するユーザの参加時のライブコンテンツが大抵既にストリーミングされている点において、この形態はかかるユーザにとって問題を引き起こす。
完全に減速されたバージョンは、より高い時間分解能のコンテンツを得るためにより高い帯域幅及びより長いダウンロード時間を許容することを厭わない映画愛好家等の一部のユーザにとって好ましい場合がある。完全に加速されたバージョン又は完全に減速されたバージョンが圧縮(符号化)コンテンツである場合、コンテンツプロバイダから提供される元の(通常)メディアコンテンツは、完全に加速されたバージョンを作る場合、各セグメント内のフレーム数を減らすように再符号化されるべきであり、完全に減速されたバージョンを作る場合、各セグメント内のフレーム数を増やすように再符号化されるべきことに留意すべきである。
ユーザ装置350−1等のユーザ装置は、メディアコンテンツの元のバージョン、メディアコンテンツの節電バージョン、メディアコンテンツの完全に減速されたバージョン、又はメディアコンテンツの完全に加速されたバージョンを受信し得る。以下の説明ではユーザ装置350−1を一例として使用する。ユーザ装置350−1は、メモリ353の一部である又はプロセッサ352によって制御される別個のメモリである、入力メディアコンテンツを記憶する第1のバッファ(不図示)を含む。プロセッサ352は第1のバッファにおいて音声部分とビデオ部分とを分け、それらを音声処理ユニット及びビデオ処理ユニット(不図示)にそれぞれ伝送する。メディアコンテンツが符号化される場合、第1のバッファはトランスポートバッファであり、音声処理ユニット及びビデオ処理ユニットは音声復号器及びビデオ復号器のそれぞれである。ユーザ装置350−1は、ユーザ装置350−1と一体化されてもユーザ装置350−1に付加されてもよい、ディスプレイ(不図示)とインタフェースするディスプレイインタフェース(不図示)も含む。ディスプレイインタフェースはプロセッサ352によって制御され、ディスプレイによって表示されるピクチャ(復号フレーム)を記憶するピクチャバッファ(不図示)を含む。ピクチャバッファは、メモリ353の一部又は別個のメモリであり得る。
ピクチャバッファは、1つのフレーム又は2つのフレームを記憶でき得る。2つのフレームを記憶する場合、ピクチャバッファは第1の領域と第2の領域とに分けられ、ユーザ装置350−1のプロセッサ352が2つの領域内のフレームを交互に更新する。即ち、更新期間ごとにプロセッサ352が異なる領域内のフレームを更新する。2つのフレームを記憶する場合、プロセッサ352は2つの領域からのフレームを交互にディスプレイに提示する。即ち、各提示期間内に、プロセッサ352はピクチャバッファの異なる領域からのフレームをディスプレイに提示する。通常再生時に提示フレームレートとピクチャ更新フレームレートとが同じである場合、一方の領域が更新される場合に他方の領域が提示されるべきであるように提示と更新とを同期すべきである。提示フレームレートは、ユーザ装置350−1のデフォルトのフレームレートとすることができ、受信されたメディアコンテンツによって与えられてもよく、且つ/又はユーザによって修正され得る。プロセッサ352がピクチャバッファ内のフレームを提示フレームレートよりも遅く更新する場合、ピクチャバッファ内の同じフレームが次の提示フレーム間隔(期間)内で表示され得る。従って、再生中のフレーム数はメディアセグメント内のフレーム数よりも多い。従って、ピクチャバッファ更新フレームレートが提示フレームレートと同じである場合、再生速度は落とされる。他方では、プロセッサ352がピクチャバッファ内のフレームを提示フレームレートよりも速く更新する場合、一部のフレームが表示されないことがあり、従って再生中のフレーム数はメディアセグメント内のフレーム数よりも少ない。従って、提示フレームレートが同じままでありながらも再生速度が速くなる。
ピクチャ更新レートは復号レートに結合され得る。即ち、復号フレームが入手可能になるとプロセッサ352がピクチャバッファを更新する。
一実施形態では、プロセッサ352がピクチャバッファの更新レートを提示フレームレートと同じに保つが、セグメント内にフレームを挿入してセグメントの再生を遅くするか、又はセグメント内のフレームを飛ばして/削除してセグメントの再生を速くすることができる。
メディアセグメントの再生速度の基準は通常速度であることに留意すべきであり、通常速度とは、セグメントの導出元であるメディアコンテンツセグメントの元のバージョンを再生する速度である。受信されたメディアコンテンツのいかなるバージョンの通常再生でも、それがオリジナルであろうが、減速されていようが、又は加速されていようが、復号フレームレート及びピクチャバッファ更新フレームレートはディスプレイへの提示レートと同じである。減速セグメントは、元のバージョン内の対応するセグメントよりも多くのフレームを有するために減速されており、減速セグメントの導出元である元のセグメントを再生するよりも同セグメントを再生するのに長い時間がかかる。減速セグメントの再生速度は、元のバージョン内のフレーム数対減速セグメント内のフレーム数の比率である係数によって減速される。同様に、加速セグメントは、元のバージョン内の対応するセグメントよりも少ないフレームを有するために加速されており、加速セグメントの導出元である元のセグメントを再生するよりも加速セグメントを再生するのに短い時間がかかる。加速セグメントの再生速度は、元のバージョン内のフレーム数に対する加速セグメント内のフレーム数の比率の逆である係数によって加速される。そのため、本明細書で使用するとき、セグメントの再生を減速するとは、セグメント内に含まれるフレーム数よりも多くのフレームを再生することを意味し、セグメントの再生を加速するとは、セグメント内に含まれるフレーム数よりも少ないフレームを再生することを意味する。同様に、フレーム群の再生を減速するとは、群内に含まれるフレーム数よりも多くのフレームを再生することを意味し、フレーム群の再生を加速するとは、群内に含まれるフレーム数よりも少ないフレームを再生することを意味する。
プロセッサ352がメディアコンテンツを受信すると、プロセス352は受信されたメディアコンテンツのバージョンをユーザに知らせ、そのまま再生すること、及び節電機能を実行すること等の選択肢の1つを選択するようにユーザに求めることができる。
受信されたメディアコンテンツが元のバージョンであり、ユーザが節電機能を実行する選択肢を選択する場合、プロセッサ352は、受信されたメディアコンテンツの単位当たりの平均電力に対するパーセンテージを示し得る基準電力閾値を指定するようにユーザに求めることができる。例えば、10は受信されたメディアコンテンツの単位当たりの平均電力よりも10%低いことを示す。受信されたメディアコンテンツの単位当たりの平均電力は、例えばメディアコンテンツに関連するメタデータ内に含まれ得る。メディアコンテンツの単位当たりの平均電力を入手できない場合、プロセッサ352がメディアコンテンツの単位当たりの平均電力を決定すべきである。プロセッサ352は、受信されたメディアコンテンツがコード化されている場合に各セグメントを復号し、そのセグメントの単位当たりの平均電力を決定し得る。セグメントの単位当たりの平均電力が指定の電力閾値を下回る場合、そのセグメントのフレーム数又は再生持続時間が増やされる。プロセッサ352は、上記のようにフレームを挿入すること又は提示フレームレートよりも遅いレートでピクチャバッファを更新することによって増加を伴い得る。挿入されるフレームは、繰返しフレーム又は隣接する2つのフレームから補間されるフレームであり得る。セグメントの平均電力が指定の電力閾値を上回る場合、そのセグメントのフレーム数又は再生持続時間が減らされる。プロセッサ352は、上記のようにフレームを飛ばすこと又はフレームレートよりも高いレートでピクチャバッファを更新することによって減少を伴い得る。
受信されたメディアコンテンツが節電バージョンであり、ユーザが節電機能を実行する選択肢を選択する場合、プロセッサ352は現在の電力閾値をユーザに示すことができ、ユーザが電力閾値を依然として変更することを望む場合、基準電力閾値を指定するようにユーザに求めることができる。再生されるフレーム数を調節するプロセスは、元のバージョンに関連して説明したプロセスと同じである。
受信されたメディアコンテンツが完全に加速されたバージョン又は完全に減速されたバージョンである場合、プロセッサ352はユーザがそのまま再生する選択を行う前に、視聴時間が完全に加速されたバージョンでは短くなり、完全に減速されたバージョンでは長くなっていることをユーザに示すべきである。ユーザが電力閾値を変更することを望む場合、ユーザは基準電力閾値を指定するように求められる。再生されるフレーム数を調節するプロセスは、元のバージョンに関連して説明したプロセスと同じである。
図7は、受信されたメディアコンテンツの全てのバージョンについて節電機能を実行する選択肢をユーザが選択するときにプロセッサ352によって実行されるプロセス700を示す。ステップ705では、プロセッサ352は第1のセグメント及び第2のセグメントを有するメディアコンテンツを受信するように動作可能であり又はそのように構成されている。ステップ710では、プロセッサ352は、第1のメディアセグメント内の第2の数のフレームと異なる第1の数のフレームを有する第1のメディアセグメントを再生するように動作可能であり又はそのように構成されている。例えば、第1のメディアセグメントが10フレーム有しても、プロセッサ352は10フレームよりも多い又は少ない第1のメディアセグメントを再生し得る。
ステップ715では、プロセッサ352は第2のメディアセグメントを再生するように動作可能であり又はそのように構成され、第1の数は第1のメディアセグメントの平均電力及びメディアコンテンツの平均電力に従って決定される。先に指摘したように、メディアセグメントの平均電力は、メディアセグメントの電力をそのメディアセグメント内のフレーム数又はそのメディアセグメントの持続時間で除算することによって計算され得る。同じく先に指摘したように、フレーム、メディアセグメント、及びメディアコンテンツの電力は、フレーム、メディアコンテンツ、及びメディアコンテンツのそれぞれの中の全ての画素の全ての輝度値を合計することによって計算され得る。メディアセグメントの電力は、再生装置の電力消費量と直接相関する。例えば、先に指摘したように、高電力のメディアセグメントは再生装置のより高い電力消費量を必要とする。
第2の数は、第1のメディアセグメント内に含まれるフレーム数を示す。第1のメディアセグメントについて再生すべきフレーム数を表す第1の数は、第1のメディアセグメントに関連するメタデータから導出することができる。同様に、再生すべき第2のセグメントのフレーム数を表す第3の数は、第2のセグメントに関連するメタデータから導出することができる。第3の数は、第2のメディアセグメント内に含まれるフレーム数を示す第4の数と異なり得る。メタデータは、再生数及び各メディアセグメント内に含まれるフレーム数を直接示し得る。メタデータは、提示フレームレートに対する相対的な復号フレームレートを示し得る。例えば、第1のセグメントについて提示フレームレートが30フレーム/秒であり、指定の復号フレームレートが15フレーム/秒である場合、第1の数は第2の数の2倍になる。他方では、第1のセグメントについて提示フレームレートが30フレーム/秒であり、指定の復号フレームレートが60フレーム/秒である場合、第1の数は第2の数の半分になる。何れの場合にも、追加又は削除されるフレームはメディアセグメントにわたって均等に分布する。メタデータは、第1のセグメントを再生する開始時間及び終了時間又は持続時間を指定することによって第3の数を示すこともできる。例えば、第1のセグメント内に30フレームあり、提示フレームレートが30フレーム/秒であり、第1のセグメントに関連するメタデータが2分の1秒の持続時間を示す場合、第1の数は第2の数の半分であり、メタデータが2秒の持続時間を示す場合には第1の数は第2の数の2倍である。メディアコンテンツ内の第2のセグメント及び他のセグメントのそれぞれに同じ原理が当てはまる。サーバは、メディアコンテンツの単位当たりの平均電力、第1のメディアセグメント及び第2のメディアセグメントの単位当たりの平均電力、並びに電力閾値に従ってこれらの2つの数を決定すべきである。上記のように、フレームの電力は、そのフレームの画素の輝度値に従って計算することができる。
第1の数及び第3の数が入手できない場合、又はメタデータから導出できない場合、プロセッサ352は、メディアコンテンツの単位当たりの平均電力、第1のメディアセグメント及び第2のメディアセグメントの単位当たりの平均電力、並びにメモリ353内に記憶されているデフォルトであり得る、又はプロセッサ352による要求時にユーザによって入力され得る電力閾値に従って、それらの2つの数を決定するように動作可能であり又はそのように構成されている。メディアコンテンツ、第1のメディアセグメント、及び第2のメディアセグメントの単位当たりの平均電力の何れもメタデータから得ることができる。それらの何れか1つが入手できない場合、プロセッサ352は先に記載した原理に従って欠落しているものを決定するように動作可能であり又はそのように構成されている。
メディアコンテンツの単位当たりの平均電力及び第1のメディアセグメントの単位当たりの平均電力が入手可能になると、プロセッサ352は第1の数をしかるべく決定することができる。第1のメディアセグメントの単位当たりの平均電力がメディアコンテンツの平均電力を上回る場合、プロセッサ352は第1の数が第2の数よりも小さいと判定するように動作可能であり又はそのように構成され、第1のメディアセグメントの単位当たりの平均電力がメディアコンテンツの平均電力以下である場合、プロセッサ352は第1の数が第2の数以上であると判定するように動作可能であり又はそのように構成されている。例えば、第1の数は、第2の数と、メディアコンテンツの単位当たりの平均電力及び第1のメディアセグメントの単位当たりの平均電力の比率との積であるように決定される。この積は、好ましくは整数に切り上げられる。第3の数も同様に導出することができる。他のセグメントのそれぞれを再生するフレーム数も同様の方法で決定することができる。
一実施形態では、受信されたメディアコンテンツが完全に減速されたバージョンである場合、フレーム数を増やすことによって又は復号及び/若しくはピクチャバッファ更新フレームレートを落とすことによって再生速度を更に減速するために、メディアコンテンツの平均電力を下回る電力消費量を有するセグメントは、好ましくは調節されず、受信されたメディアコンテンツが完全に加速されたバージョンである場合、フレーム数を減らすことによって又は復号及び/若しくはピクチャバッファアップグレードフレームレートを増やすことによって再生速度を更に加速するために、メディアコンテンツの平均電力を上回る電力を有するセグメントは、好ましくは調節されない。
一実施形態では、プロセッサ352が、例えば受信されたメディアコンテンツに関連するメタデータから、受信されたメディアコンテンツについて再生されるべきフレームの総数を受信する。メタデータ内のこの受信された総数は、受信されたメディアコンテンツ内の総フレーム数及び再生されるように決定されるフレーム数と異なり得る。決定される再生数がメタデータ内の受信された総数と同じではない場合、セグメントごとのフレームの決定される再生数を調節することができる。例えば、決定される再生数がメタデータ内の受信された総数を上回る場合、減速セグメント(受信されたメディアコンテンツ内の実際のフレーム数よりも多い再生数を有するセグメント)の再生数を比例的に増やすべきであり、決定される再生数がメタデータ内の受信された総数を下回る場合、加速セグメント(受信されたメディアコンテンツ内の実際のフレーム数よりも少ない再生数を有するセグメント)の再生数を比例的に減らすべきである。このようにして、決定される再生数は受信された総数とほぼ同じであり、そのため再生持続時間の差は、これのみに限定されないが3秒等の閾値の範囲内にある。
図8は、4つのセグメント、即ちセグメントA、B、C、及びDを有する、ユーザ装置350−1によって受信される完全に加速されたメディアコンテンツの一例を示す。図8〜図14では、縦軸及び横軸は瞬時の電力及び時間をそれぞれ表す。説明を簡単にするために、縦方向の各ブロックは1電力単位/時間単位であり、横方向の各ブロックは1つの時間単位である。例えば、画素の輝度値の範囲が0〜255の場合、1電力単位は、これのみに限定されないが5千万輝度値と等しくてもよく、時間単位は、これのみに限定されないが1秒であり得る。ユーザ装置350−1が使用するディスプレイの種類にもよるが、ユーザは電力単位/単位時間情報、例えばキロワット/秒又は1秒、1分、若しくは1時間当たりの金額を変換する変換テーブルをユーザ装置350−1内に記憶できてもよい。
図8では、基準電力閾値810がデフォルト値、ユーザによって入力される値、又はメタデータ内に含まれる値である。この例の平均電力820は、8.5電力単位/時間単位である。平均電力820は、例えばメタデータによりサーバによって提供され得る。この例では基準電力が10であり、この値は平均電力を(10−8.5)100/8.5パーセント、即ち約17.6%上回り、ユーザが、より多くの再生電力が必要であっても再生持続時間を長くすることを望むことを示す。見て分かるように、各セグメントは実例として4つの時間単位の同じ持続時間を有するが異なる電力を有する。これは一例に過ぎず、各セグメントは別のセグメントの持続時間と異なる持続時間を有し得る。
受信されたメディアコンテンツは完全に加速されたバージョンであるため、一実施形態では、目的は基準閾値810を下回る平均電力を有するセグメントを減速し、基準電力閾値810を上回る平均電力を有するセグメントを更に加速しないことである。セグメントAは電力閾値810よりも大きい平均電力を有し、更に加速すべきではない。そのため、セグメントAの調節済みの再生持続時間は4つの時間単位のままであり、即ち調節後のセグメントA内のフレーム数はセグメントA内に含まれるフレーム数と同じである。セグメントCは電力閾値810と等しい平均電力を有する。そのため、再生持続時間は調節後も同じままである。セグメントB及びセグメントDは、電力閾値810を下回る平均電力を有する。そのため、プロセッサ352は何れのセグメントの再生持続時間又はフレーム数も増やす必要がある、即ち何れのセグメントの再生も減速する必要があると決定する。図9及び図10は、調節後の各セグメントの再生持続時間の2つの例を示す。
ユーザはキロワット又は金額/単位時間の制約を入力することができ、プロセッサ352はその入力データを電力単位/時間単位に変換することができる。例えば、図9では、プロセッサ352が、ユーザの所望の電力消費量を平均電力920として7.5電力単位/単位時間に変換する。基準電力閾値910は図8の基準電力閾値810と同じである。セグメントA及びセグメントCの電力は412(48)及び410(40)のそれぞれであり、上記のようにこれらは変更されない。セグメントを再生可能な最長時間が9つの時間単位であると仮定し、7.5電力単位/単位時間の平均電力消費量の要件を満たすために、プロセッサはセグメントBの再生時間を4つの時間単位から9つの時間単位に延ばし、且つセグメントDの再生時間を4つの時間単位から7つの時間単位に延ばすべきであると決定するように動作可能であり又はそのように構成されている。セグメントごとの再生持続時間に対する制限がない場合、セグメントB及びセグメントDの再生持続時間の割当ては各セグメントのそれぞれの平均電力に任意の方法で反比例すべきである。
ユーザは、4つのセグメントを再生する総電力及びセグメントごとの調節済みの再生持続時間を指定することができ、一例として図10に示されている。基準電力閾値1010は図8の基準電力閾値810と同じである。プロセッサ352は、セグメントB及びセグメントDの再生持続時間の増加は、それぞれにセグメントB及びセグメントDの平均電力の二乗に反比例すべきであると判断することができ、160電力単位の総消費量を満たすために、セグメントBの再生持続時間を4つの時間単位から8つの時間単位に増やし、且つセグメントDの再生時間を4つの時間単位から5つの時間単位に増やすべきであると決定する。セグメントB及びセグメントDの再生持続時間の増加を分配する際の他のアルゴリズムも使用することができる。例えば、低い平均電力を有するセグメントB等のセグメントは、セグメントBの平均電力よりも高い平均電力を有するセグメントD等のセグメントよりも長く延ばすべきである。
ユーザは、各セグメントが同じ電力を消費すべきであると指定することができる。例えば、各セグメントが約48電力単位の平均電力を有するべきであるとユーザが指定する場合、調節済みの再生時間が一例として図11に示されており、図11ではセグメントAを再生するための持続時間は同じであり、セグメントBでは12個の時間単位であり、セグメントCでは5つの時間単位であり、セグメントDでは6つの時間単位である。
ユーザは、メディアコンテンツを再生するための総電力及び総持続時間を指定することができる。例えば、ユーザは、総電力が240電力単位であり、メディアコンテンツの総再生時間が32個の時間単位であると指定することができる。図12は、セグメントごとの調節済みの再生時間の一例を示す。この場合、プロセッサ352は、基準電力閾値810に等しい基準電力閾値120未満の平均電力を有する各セグメントが、11個の時間単位の最長持続時間で再生されることを決定する。残りの部分は、その平均電力が基準電力閾値1210に等しいセグメントCに割り当てられる。他のアルゴリズムも使用することができる。例えば、基準電力閾値を下回る平均電力を有する各セグメントの持続時間は、基準電力閾値以下の平均電力を有する全セグメントの総電力に対する自らの総電力に任意の方法で反比例する。
一実施形態では、ユーザが追加の制約を指定しない場合、プロセッサ352はセグメントBの再生持続時間をセグメントBの平均電力に従って増やすように動作可能であり又はそのように構成されている。例えば、セグメントBの調節済みの再生持続時間は、セグメントBの現在の持続時間と基準電力とを掛け、セグメントBの平均電力で除算したものである。セグメントDの再生持続時間も同様に導出することができる。
受信されるバージョンが元のバージョンである場合、高電力消費量を有するセグメントは節電についても調節されるべきことに留意すべきである。
図13は、4つのセグメント、即ちセグメントA、B、C、及びDを有する、完全に減速された受信されたメディアコンテンツの一例を示す。基準電力閾値1310は、デフォルト値、ユーザによって入力される値、又はメタデータ内に含まれる値である。この例の平均電力1320は、8電力単位である。平均電力1320は、例えばメタデータによりサーバによって提供され得る。この例では基準電力が6電力単位であり、この値は8電力単位の平均電力よりも小さく、ユーザが再生中により多くの電力を節約することを望むことを示す。
見て分かるように、各セグメントは、実例として同じ持続時間である8つの時間単位を有するが異なる平均電力を有する。実例として全てのセグメントが同じ持続時間を有するが、本原理は様々な持続時間を有するセグメントに適用することができる。
受信されたメディアコンテンツは完全に減速されたバージョンであるため、一実施形態では、目的は基準閾値1310を上回る平均電力を有するセグメントを加速し、基準電力閾値1310以下の平均電力を有するセグメントを更に減速しないことである。
セグメントDは電力閾値1310と等しい平均電力を有する。そのため、再生持続時間は調節後も変更されず、即ちフレームの再生数はセグメントD内に含まれるフレーム数と同じである。セグメントBは電力閾値1310を下回る平均電力を有し、これ以上減速すべきではない。セグメントA及びセグメントCは、電力閾値1310よりも大きい平均電力を有する。そのため、プロセッサ352はセグメントA及びセグメントCの再生持続を減らすべきであると決定する。或るアルゴリズムによれば、セグメントA及びセグメントCの再生時間は図14に示すように4つの時間単位及び6つの時間単位のそれぞれであるように決定される。このアルゴリズムは、再生の低減が基準電力1310及びセグメントの平均電力間の差に比例し、基準電力1310によって除算され、次の整数に切り上げられるものであり得る。完全に加速されたバージョンに関連して上記で説明したのと同様の他のアルゴリズムも使用することができる。
受信されるバージョンが元のバージョンである場合、低電力消費量を有するセグメントは節電についても調節されるべきことに留意すべきである。
一実施形態では、全てのセグメントが受信されるまで再生を遅らせないために、ユーザ装置350−1は、メディアコンテンツの受信開始時に又は受信前にメディアコンテンツ内の各セグメントの持続時間及び平均電力消費量を示すメタデータを得るべきであり、それにより全てのセグメントが受信される前にプロセッサ352はセグメントごとの調節済みの再生時間を決定することができる。
一実施形態では、プロセッサ352は、メディアコンテンツを受信するためのバッファを管理するように動作可能であり又はそのように構成されている。受信ビデオの復号/ピクチャバッファ更新フレームレートが提示フレームレート(例えば、ラスタフレームレート)から切り離される場合、受信機/復号器において検討する入力バッファレベルの問題があり得る。入力バッファは、例えば受信コンテンツがMPEG、H.264、HEVC、又は他の規格で符号化されている場合にはトランスポートバッファである。ライブコンテンツを扱う場合、コンテンツは発生した通りにのみ符号化し配信することができる。上記のより低い時間分解能のメディアコンテンツの場合、符号化及びブロードキャスト側で生じる一種の時間的圧縮があることを認識しなければならない。換言すれば、10%の加速の例を検討し、9フレーム相当のビデオを作り出すのに10フレーム期間かかる。即ち、ライブイベントの会場で捕捉されるとき、符号化ビデオの全てのフレームが1を超えるフレーム時間を表す。そのため、ビデオデータが可能な限り早く受信機に送られても、ビデオの最初のフレームを1フレーム時間内に受信することができない。これは、復号を開始する前に幾らかのデータ量が蓄積されなければならないことを認識するバッファリング方式を実装する必要があることを示唆している。復号を開始するのに必要なバッファレベルは、ビデオ圧縮形式のバッファリング規則並びに節電方式内で実装される「加速」レベルの両方によって決定される。
チャネル変更後、受信機の入力バッファが空になる。チャネル変更後の正常な取得プロセスは、復号を開始することができるランダムアクセスポイントを復号器が見つけるまで復号器が入力ストリームを構文解析することを必要とする。上記の加速モードの場合、復号器は自らの入力バッファ内にデータを蓄積するために、未修正のストリームを復号する場合にかかるよりも多くの時間を必要とする。持続的な復号を行うことができる(即ちバッファアンダフローがない)レベルにより迅速に到達するように復号プロセスを適合させるために、復号器は、入力ストリームによって示されるよりも遅い速度で復号を開始することを決めることができる。換言すれば、適切なフレーム期間数にわたって復号ビデオを広めるために復号器が復号フレームレートを10%減少させる必要がある場合、復号器は、代わりに復号フレームレートを15%減少させることを決めることができる。そうすることで入力バッファが空になるレートが遅くなり、定常状態の復号を開始できるレベルまでバッファレベルが上昇することが可能になる。この時点で、復号器は、符号化フレームレートと低減された復号フレームレートとの差と一致するフレームレートの増加に戻る。
より低い電力消費量の利益に応えるために、フレームレートを変える目標の1つは高電力シーンの持続時間を短縮することであることに留意すべきである。換言すれば、或るメディアセグメントは、公称提示フレームレートで予期されるよりも10%少ないフレームで符号化され得る一方、別のシーンは、公称提示フレームレートで予期されるよりも10%多いフレームで符号化されてもよく、公称提示フレームレートは、元のソースメディアコンテンツが再生されるときの提示フレームレートである。公称提示フレームレートで復号され表示される場合、10%少ないフレームを有するメディアセグメントは、元のソースメディアコンテンツ内でかかるセグメントが表現するよりも少ないフレーム時間を占有する一方、10%多いフレームを有するメディアセグメントは、元のメディアコンテンツ内でかかるセグメントが表現するよりも多くの時間を占有する。公称フレームレートで符号化されるメディアセグメント、即ちメディアセグメントの元のバージョンを送りながら、この同じ目標を受信機において実現することができる。この場合、メディアコンテンツセグメントに関連するメタデータがビデオのプレイアウト速度を案内する。メタデータは、別々に又はメディアコンテンツと共に伝送され得る。相対的に高電力のシーン又は画像を表すビデオの部分では、そのビデオの部分を表すフレーム数を減らすために、フレームスキップ又はフレームレート変換アルゴリズムを使用することができる。メタデータは、高電力セグメントの始まり及び終わり、並びに目標の電力低減を実現するのに必要なフレーム低減量を指し示す。同様の方法で、メタデータは低電力ビデオセグメントの始まり及び終わりも指し示す。メタデータは、目標の電力低減を実現するためにこの低電力シーンにより多くのフレーム時間数を占有させるのに必要なフレームレートの拡張量のインジケーションも提供する。
メディアコンテンツの元のバージョンが受信されていると仮定し、メディアセグメントに関連するメタデータは、メディアセグメントが平均の電力セグメントであるか、平均よりも高い電力セグメントであるか、又は平均よりも低い電力セグメントであるかを示し得る。高電力メディアセグメント中、それらの高電力メディアセグメントの電力消費量を減らすためにそれらのフレームが元のバージョンを再生する場合よりも少ないフレームサイクルを占有することを可能にするため、復号器は、対応する元のバージョンが再生されるときの提示フレームレートであり、且つ復号/ピクチャバッファ更新レートである実時間(通常)レートよりも速いレートでピクチャバッファを復号し更新することができる。上記のように、復号器は復号/ピクチャ更新フレームレートを維持し得るが、同じ目的を実現するために一部のフレームを抜かす/飛ばす。
低電力ビデオセグメント中、低電力メディアセグメントのそれぞれの導出元である元のバージョンを再生する場合よりもそれらのフレームが多いフレームサイクルを占有することを可能にするため、復号器は、通常レートよりも遅いレートでピクチャバッファを復号又は更新することができる。上記のように、復号器は、同じ目的を実現するために、復号/ピクチャ更新フレームレートを維持するが、幾つかのフレームを挿入することができる。
復号/ピクチャバッファ更新速度におけるこれらのメタデータの改変形態は、使用中のビデオ及び音声圧縮形式によって指図される通常の復号器のバッファパラメータ内では明らかにされない。そのため、この可変復号速度に必要な追加の入力バッファマージンがシステムレベルで明らかにされる必要がある。例えば、長期間の高電力メディアコンテンツがある状況を検討する。復号器は、バッファアンダフローに遭遇する前に、その入力ビデオデータバッファを短時間だけ実時間よりも速いレートで空けることができる。長期間の低電力ビデオコンテンツについても同様の状況が当てはまる。復号器が自らの入力バッファからのデータを実時間よりも遅いレートで長期間消費する場合、実時間レートで継続的に到達する入力データが有限サイズのいかなる入力バッファも直ちにオーバフローさせる。
そのため、メディアセグメントが加速される場合、ユーザ装置350−1の入力バッファがより速く空になる、即ちより速くアンダフロー状態に到達する可能性が高く、メディアセグメントが減速される場合、バッファがより速く埋まる、即ちより速くオーバフロー状態に到達する可能性が高い。そのため、入力バッファの使用レベルをモニタし制御する必要がある。図15は、入力バッファの使用量を制御するためにユーザ装置350−1のプロセッサ352によって実行される例示的プロセス1500を示す。ステップ1505では、プロセッサ352は、バッファの使用量が第1の閾値に到達するまで第1のメディアセグメントをバッファ内に受信しながら第1のメディアセグメントのフレームを連続して再生し、且つ第1のメディアセグメントの残りのフレームの再生を加速するように動作可能であり又はそのように構成され、第1のメディアセグメントは減速セグメントである。ステップ1510では、プロセッサ352は、バッファの使用量が第2の閾値に到達するまで第2のメディアセグメントをバッファ内に受信しながら第2のメディアセグメントのフレームを連続して再生し、且つ第2のメディアの残りのフレームの再生を減速するように動作可能であり又はそのように構成され、第2のメディアセグメントは加速セグメントである。上記のように、加速は残りのフレームの一部を抜かし/飛ばし、又は復号/ピクチャバッファ更新レートを増加することによって実現することができる。抜かす/飛ばすフレーム数は、残りのフレーム数とメディアセグメントを減速しない場合に残りのフレームが表すフレーム数との差であることが好ましい。例えば、残りのフレーム数が11であり、それが10%減速された場合、残りのフレームはセグメントが減速されない場合、10フレームのみを表す。そのため、1フレーム抜かす/飛ばす必要がある。復号又はピクチャ更新レートを変える観点から、この例ではレートを10%増加すべきである。この原理は全ての減速セグメントの再生に当てはまる。
ステップ1515では、プロセッサ352は、バッファの使用量(バッファレベル)が第2の閾値に到達するまで第2のメディアセグメントのフレームを連続して再生し、且つ第2のメディアセグメントの残りのフレームの再生を減速するように動作可能であり又はそのように構成されている。先に説明したように、減速は残りのフレーム内にフレームを挿入し、又は復号/ピクチャ更新レートを落とすことによって実現することができる。挿入するフレーム数は、メディアセグメントを加速しない場合に残りのフレームが表すフレーム数と残りのフレーム数との差であることが好ましい。例えば、残りのフレーム数が9であり、それが10%加速された場合、残りのフレームはセグメントが減速されない場合10フレームを表す。そのため、1フレーム挿入する必要がある。復号又はピクチャ更新レートを変える観点から、この例ではレートを10%減少すべきである。この原理は全ての加速セグメントの再生に当てはまる。
受信されたメディアコンテンツが元のバージョンではない場合、プロセッサ352が元のバージョンに対する加速セグメントの加速度及び減速セグメントの減速度を決定し、残りのフレームが元のバージョン内で表すフレーム数を決定することができるように、メタデータは元のバージョン内のセグメントごとのフレーム数を示すべきである。例えば、減速セグメント内にXフレームあり、元のバージョン内にYフレームあり、閾値の到達後にZの残りのフレームがある場合、減速度はP=(X−Y)/Yであり、Zの残りのフレームが表すフレーム数はQ=Z(Y/X)である。従って、第1の閾値に到達するとき、プロセッサ352は、通常レートに(1+P)を乗じたレートに等しい(通常速度よりも速い)レートでピクチャバッファを復号/更新することにより、又はZ−Qフレーム抜かし/飛ばし、復号/ピクチャバッファ更新レートを維持することにより、残りのフレームの再生を加速すべきである。Z−Qは、0又は少なくとも1以上であり得る整数に切り上げられるべきである。
同様に加速セグメントでは、減速の例と同じ数を使用し、加速度はP=(Y−X)/Yであり、Zの残りのフレームが表すフレーム数はQ=Z(Y/X)である。従って、第2の閾値に到達するとき、プロセッサ352は、通常レートに(1−P)を乗じたレートに等しい(通常速度よりも遅い)レートでピクチャバッファを復号/更新することにより、又はQ−Zフレーム挿入し、復号/ピクチャバッファ更新レートを維持することにより、残りのフレームの再生を減速すべきである。Q−Zは、0又は少なくとも1以上であり得る整数に切り上げられるべきである。
第1の閾値及び第2の閾値はデフォルトとしてローカルに設定することができ、又はユーザによって入力及び/若しくは変更され得る。第1のメディアセグメントの直後の第3のメディアセグメントも減速セグメントである場合、プロセッサ352は、バッファレベルが第3の閾値に到達するまで第3のメディアセグメントのフレームを連続して再生し、且つ第3のセグメントの残りのフレームの再生を加速するように動作可能であり又はそのように構成されている。第3の閾値は第1の閾値よりも高いべきである。同様に、第2のメディアセグメントの直後の第4のメディアセグメントも加速セグメントである場合、プロセッサ352は、バッファレベルが第4のレベルに到達するまで第4のセグメントのフレームを連続して再生し、且つ第4のセグメントの残りのフレームの再生を減速するように動作可能であり又はそのように構成されている。第4の閾値は第2の閾値よりも低いべきである。本開示の原理によれば、連続した減速セグメントの閾値は現在のセグメントの閾値よりも高く、連続した加速セグメントの閾値は現在のセグメントの閾値よりも低い。
一実施形態では、メタデータが閾値を示すことができ、メタデータは、好ましくは対応するメディアセグメントが受信される前に受信機によって受信されるべきである。閾値は、バッファレベルを圧縮ビデオフレーム、メガビット、秒、セグメント、公称バッファレベルからのパーセンテージデルタ等に関して示し得る。目標閾値は、高電力ビデオセグメント及び低電力ビデオセグメントの頻度及び持続時間に応じて経時変化することが予期される。実際には、高電力ビデオ及び低電力ビデオの期間中、実時間(通常)よりも速い又は遅いレートでメディアセグメントを再生するためのメタデータ・ディレクティブにプロセッサ352が従うことに応じて入力バッファレベルが空になり又は埋まるにつれて、目標閾値はフレームごとに変わることが予期され、実時間(通常)レートは上記のように元のバージョン内の対応するセグメントを再生するレートである。そのため、目標閾値メタデータは一定間隔で更新され、帯域内で又は帯域外でユーザ装置350−1に送信される。チャネル変更後に受信機/復号器が目標閾値メタデータを迅速に取得することを可能にするために、目標閾値メタデータの更新レートは少なくとも目標バッファレベルの変更と同程度であり、潜在的にブロードキャストの単方向配信システムでは頻度が更に高い。
ブロードキャスト配信システムでは、ユーザ装置350−1におけるメディアデータの到達レートは一定であり、概して実時間の再生に必要なレートをたどる。そのため、入力バッファ内のデータのレベルを修正するために、受信機は、自らがバッファからデータを抽出するレートを修正しなければならない。受信機は、目標の節電を実現するために実時間よりも速く又は遅く再生するように命じるメタデータに既に応答している。しかし、目標バッファレベルも実現し維持するために、受信機は、節電メタデータによって直接示されるよりも速い又は遅いレートで入力バッファからのデータを消費する必要がある。目標バッファレベルと実際のバッファレベルとの間の差異は、チャネル変更の直後に最も顕著である可能性が高い。チャネル変更後、入力バッファレベルはゼロパーセントになる。受信機は、節電メタデータによって推奨されるレートを僅かに下回る復号及び/又はピクチャバッファ更新レートで動作するために、復号レート又はピクチャバッファ更新レートを修正することを決め得る。推奨されるよりも遅い復号及びピクチャバッファ更新レートで動作することは、データが入力バッファ内に徐々に蓄積し、やがて目標バッファレベルに到達することを可能にする。復号及びピクチャバッファ更新レートの任意の低減は、最低プレイアウト速度を決定するユーザ又はシステムレベルの設定によっても限定される。最低プレイアウト速度は、平均的な視聴者によって実時間の再生とほぼ等しいように見えるレートで動作する、実時間よりも遅いプレイアウトを可能にするように理想的には選択される。先に論じたように、復号レート/ピクチャバッファ更新レートを低減することは再生セグメントにフレームを追加することと均等であり、それは、提示レートがピクチャバッファ更新レートよりも高くなり、ピクチャバッファ内の同じフレームが複数回表示され得るからである。
以下の実例ではセグメント内のフレーム数が復号器によって修正されないが、セグメント内のフレーム数及び復号レート/ピクチャバッファ更新レートを修正して、そのセグメントを減速又は加速することが可能である。
ユーザが入力する最低速度は、例えばフレーム/秒及び減速のパーセンテージによって表され得る。例えば、提示レートが30フレーム/秒であり、ユーザが15フレーム/秒を指定する場合、減速は50%になる。
フレームレートの変更が受信機/復号器への配信前に符号器において実施されようが、未修正の(通常)メディアデータを受信している受信機/復号器においてフレームレート変換アルゴリズムによって実施されようが、入力バッファの使用量を制御しモニタすることが適用可能である。
図16は、バッファレベルの経時変化を示す。横方向は時間を表し、縦の次元は0%〜100%に及ぶバッファレベルを表すが、図16は最大使用レベルが90%であると例示的に示す。区間1601では、プロセッサ352は、通常メディアセグメントを即ち通常速度で再生しており、バッファは約50%に保たれている。時点1602では、ユーザがチャネルを変え、プロセッサ352はバッファをクリアするように動作可能であり又はそのように構成されている。そのため、バッファレベルは0%まで下がる。この時点で、プロセッサ352は、90%の再生速度を有する減速セグメントであるセグメント1603を再生し始める。
セグメント1603では再生速度が減速されているため、バッファは直ちに埋まることになる。このセグメントのメタデータは、バッファが40%に到達するときに受信機がセグメントの残りのフレームを通常速度で再生すべきであると示す。残りのフレームの再生を通常速度まで加速することを例示するが、バッファレベルが上昇し続けない場合、いかなる加速も十分である。この原理はいかなる減速セグメントの再生にも当てはまる。再生を加速するために、プロセッサ352は残りのフレーム内の一部のフレームを飛ばすことができる。例えば、10フレーム残っている場合、この例のプロセッサは、1番目のフレーム、5番目のフレーム、又は最後のフレームであり得る1つのフレームを飛ばすべきである。一実施形態では、複数のフレームを飛ばす場合、ほぼ同じ時間分解能を保つようにそれらのフレームが残りのフレーム内に分布すべきである。フレームを抜かす/飛ばす代わりに、プロセッサ352は、この例の提示フレームレートの10/9であるレートで復号を増加させ、且つ/又はピクチャバッファを更新することによって残りのフレームの再生を加速することができる。
時点1604では、プロセッサ352は、バッファレベルが40%に到達したことを検出し、セグメント1603の残りのフレームを上記のように通常速度で再生する。そのため、バッファレベルは、セグメント1303の再生が終了し、セグメント1606の再生が開始する時点1605まで40%に保たれる。セグメント1606は、80%の再生速度を有する減速セグメントであり、メタデータは、バッファレベルが80%に到達するときにユーザ装置がこのセグメントを通常速度で再生すべきであると示す。
時点1607では、プロセッサ352は、バッファレベルが80%に到達したことを検出し、セグメント1606の残りのフレームを上記のように通常速度で再生する。そのため、バッファレベルは、セグメント1306の再生が終了し、セグメント1609の再生が開始する時点1608まで80%に保たれる。セグメント1609は、120%の再生速度を有する加速セグメントであり、メタデータは、バッファレベルが10%に到達するときにユーザ装置がこのセグメントを通常速度で再生すべきであると示す。
時点1610では、プロセッサ352は、バッファレベルが10%に到達したことを検出し、セグメント1309の残りのフレームを通常速度で再生する。この事例では、プロセッサ352が残りのフレームの再生を減速する。残りのフレームの再生を通常速度まで減速することを例示するが、バッファレベルが下落し続けない場合、いかなる減速も十分である。この原理はいかなる減速セグメントの再生にも当てはまる。そのため、バッファレベルは、セグメント1309の再生が終了し、セグメント1612の再生が開始する時点1611まで10%に保たれる。セグメント1612は、95%の再生速度を有する減速セグメントであり、メタデータは、バッファレベルが40%に到達するときにユーザ装置がこのセグメントを通常速度で再生すべきであると示す。
時点1613では、プロセッサ352はバッファレベルが40%に到達したことを検出し、セグメント1312の残りのフレームを上記のように通常速度で再生する。そのため、バッファレベルは、セグメント1612の再生が終了し、セグメント1615の再生が開始する時点1614まで40%に保たれる。セグメント1615は、75%の再生速度を有する減速セグメントであり、メタデータは、バッファレベルが90%に到達するときにユーザ装置がこのセグメントを通常速度で再生すべきであると示す。
時点1616では、プロセッサ352は、バッファレベルが90%に到達したことを検出し、セグメント1615の残りのフレームを上記のように通常速度で再生する。そのため、バッファレベルは、セグメント1315の再生が終了し、セグメント1618の再生が開始する時点1617まで90%に保たれる。セグメント1318は、110%の再生速度を有する加速セグメントであり、メタデータは、バッファレベルが60%に到達するときにユーザ装置がこのセグメントを通常速度で再生すべきであると示す。しかし、ユーザは、セグメント1618の再生が完了する前に且つバッファレベルが60%に到達する前に、時点1619で別のチャネルに変更する。プロセッサ352は、チャネル変更を理由に時点1619においてバッファをクリアする。
LCD、LED、OLED、プラズマ等の任意の種類のディスプレイと一体化されるか又はそれらに付加される装置が本開示の原理による節電効果の利益を享受することができる。
本明細書に記載した様々なプロセス及び特徴の実装形態は、多岐にわたる異なる機器又はアプリケーションによって具体化することができる。かかる機器の例は、符号器、復号器、復号器からの出力を処理する後処理系、符号器への入力を与える前処理系、ビデオ符号器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、及び他の通信装置を含む。明白であるように、機器は可搬式とすることができ、移動車両内に設置することさえできる。
加えて、これらの方法は、プロセッサによって実行される命令によって実装されてもよく、かかる命令(及び/又は実装形態によって作り出されるデータ値)は、例えばハードディスク、コンパクトディスケット(「CD」)、光ディスク(例えば、デジタル多用途ディスク又はデジタルビデオディスクと多くの場合に呼ばれるDVD等)、ランダムアクセスメモリ(「RAM」)、読取専用メモリ(「ROM」)等、例えば集積回路、ソフトウェア担体、又は他の記憶装置等のプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えばハードウェア、ファームウェア、ソフトウェア、又は組合せ内にあり得る。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はその2つの組合せ内に見つけることができる。従って、プロセッサは、例えばプロセスを実行するように構成された装置及びプロセスを実行するための命令を有するプロセッサ可読媒体(記憶装置等)を含む装置の両方として特徴付けることができる。更に、プロセッサ可読媒体は、実装形態によって作り出されるデータ値を命令に加えて又は命令の代わりに記憶し得る。
当業者に明らかなように、実装形態は、例えば記憶又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号を作り出し得る。かかる情報は、例えば方法を実行するための命令、又は記載した実装形態の1つによって作り出されるデータを含み得る。例えば、信号は、記載した例の構文を読み書きするための規則をデータとして運ぶように、又は記載した例によって書かれる実際の構文値をデータとして運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として(例えば、スペクトルの無線周波数部分を用いて)、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームで担体を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
幾つかの実装形態を記載してきた。それでもなお、様々な修正形態がなされ得ることが理解されるであろう。例えば、他の実装形態を作り出すために別の実装形態の要素が組み合わせられ、補われ、修正され、又は除去され得る。更に、開示した構造及びプロセスを他の構造及びプロセスが置換してもよく、その結果生じる実装形態が開示した実装形態と少なくともほぼ同じ結果を実現するために、少なくともほぼ同じ機能を少なくともほぼ同じ方法で実行することを当業者であれば理解するであろう。従って、これらの及び他の実装形態も本願によって予期される。
本発明の完全な理解を与えるために多くの具体的詳細を本明細書に記載してきた。但し、上記の例がそれらの具体的詳細なしに実施されてもよいことが当業者によって理解されるであろう。他の例では、本発明を不明瞭にしないために、よく知られている操作、コンポーネント、及び回路を詳しく説明していない。本明細書で開示した特定の構造上の及び機能上の詳細は代表的なものである可能性があり、必ずしも本発明の範囲を限定しないことが理解され得る。
本発明の様々な例は、ハードウェア要素、ソフトウェア要素、又はその両方の組合せを用いて実装することができる。一部の例は、例えばマシンによって実行される場合にそれらの例による方法及び/又は操作をマシンに実行させ得る命令又は命令の組を記憶し得るコンピュータ可読媒体又は製品を用いて実装され得る。かかるマシンは、例えば任意の適切な処理プラットフォーム、計算プラットフォーム、計算装置、処理装置、計算システム、処理システム、コンピュータ、プロセッサ等を含むことができ、ハードウェア及び/又はソフトウェアの任意の適切な組合せを用いて実装することができる。コンピュータ可読媒体又は製品は、例えば任意の適切な種類のメモリユニット、メモリ装置、メモリ製品、メモリ媒体、記憶装置、記憶域製品、記憶媒体、及び/又は記憶ユニットを含み得る。命令は、任意の適切な高水準、低水準、オブジェクト指向、ビジュアル、コンパイラ型、及び/又はインタープリタ型のプログラミング言語を用いて実装される、ソースコード、コンパイル済みコード、解釈済みコード、実行可能コード、静的コード、動的コード、暗号化コード等の任意の適切な種類のコードを含み得る。
本明細書に記載した実装形態は、例えば方法又はプロセス、機器、ソフトウェアプログラム、データストリーム、又は信号によって実装することができる。単一形式の実装形態に関連してのみ論じられている(例えば、方法としてのみ論じられている)場合でも、論じられた特徴の実装形態は他の形式(例えば、機器又はプログラム)で実装することもできる。機器及びその中に含まれる構成要素、例えばプロセッサ、符号器、及び復号器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は、例えばプロセッサ等の機器によって実施することができ、プロセッサは、例えばコンピュータ、マイクロプロセッサ、集積回路、プログラム可能論理デバイスを含む処理装置全般を指す。プロセッサは、例えばコンピュータ、携帯電話、ポータブル/携帯情報端末(「PDA」)、エンドユーザ間の情報の通信を促進する他の装置等の通信装置も含む。
加えて、本願又は本願の特許請求の範囲は、様々な情報片を「決定すること」に言及する場合がある。情報を決定することは、例えば情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことの1つ又は複数を含み得る。
更に、本願又は本願の特許請求の範囲は、様々な情報片に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば情報を受信すること、(例えば、メモリから)情報を取り出すこと、情報を記憶すること、情報を処理すること、情報を伝送すること、情報を移動すること、情報を複製すること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することの1つ又は複数を含み得る。
加えて、本願又は本願の特許請求の範囲は、様々な情報片を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に広義語であることを意図する。情報を受信することは、例えば情報にアクセスすること、又は情報を(例えば、メモリから)取り出すことの1つ又は複数を含み得る。更に、「受信すること」は、典型的には、例えば情報を記憶する操作、情報を処理する操作、情報を伝送する操作、情報を移動する操作、情報を複製する操作、情報を消去する操作、情報を計算する操作、情報を決定する操作、情報を予測する操作、又は情報を推定する操作等の操作に何らかの方法で関与する。

Claims (36)

  1. 第1のメディアセグメント及び第2のメディアセグメントを有するメディアコンテンツを受信することと、
    前記第1のメディアセグメント内の第2の数のフレームと異なる第1の数のフレームを有する前記第1のメディアセグメントを再生することと、
    前記第2のメディアセグメントを再生することと
    を含み、前記第1の数は、前記第1のメディアセグメントの平均電力及び前記メディアコンテンツの平均電力に従って決定される、方法。
  2. 前記第2のメディアセグメントが第4の数のフレームを有し、且つ前記第2のメディアセグメントを再生することが、第3の数のフレームを有する前記第2のメディアセグメントを再生することを含み、及び前記第3の数は、前記第2のメディアセグメントの平均電力及び前記メディアコンテンツの前記平均電力に従って導出される、請求項1に記載の方法。
  3. 前記第1のメディアセグメント及び前記第2のメディアセグメントに関連するメタデータを受信することと、
    前記第1のメディアセグメント及び前記第2のメディアセグメントに関連する前記メタデータから前記第1の数及び前記第3の数をそれぞれ導出することと
    を更に含む、請求項2に記載の方法。
  4. セグメントの電力が前記セグメントの画素の輝度値に従って計算され、及び前記セグメントの平均電力が、前記セグメントの前記電力を前記セグメント内のフレーム数で除算することによって計算される、請求項2に記載の方法。
  5. 前記メディアコンテンツは、前記第1のセグメント及び前記第2のセグメントを有する元の符号化メディアコンテンツの再符号化バージョンである、請求項2に記載の方法。
  6. 前記第1のメディアセグメントの前記平均電力を決定することと、
    前記第1のメディアセグメントの前記平均電力が閾値を上回る場合、前記第1の数を前記第2の数よりも小さいものとして決定することと、
    前記第1のメディアセグメントの前記平均電力が前記閾値を下回る場合、前記第1の数が前記第2の数よりも大きいと決定することと
    を更に含む、請求項2に記載の方法。
  7. 前記受信されたメディアコンテンツは、完全に減速されたバージョンであり、及び前記方法が、前記第2のメディアセグメントの前記平均電力が閾値を下回る場合、前記第3の数を前記第4の数と同じものとして決定することと、前記第2のメディアセグメントの前記平均電力が前記閾値を上回る場合、前記第3の数を前記第4の数よりも小さいものとして決定することとを更に含む、請求項2に記載の方法。
  8. 前記受信されたメディアコンテンツは、完全に加速されたバージョンであり、及び前記方法が、前記第2のメディアセグメントの前記平均電力が閾値を上回る場合、前記第3の数を前記第4の数と同じものとして決定することと、前記第2のメディアセグメントの前記平均電力が前記閾値を下回る場合、前記第3の数を前記第4の数よりも大きいものとして決定することとを更に含む、請求項2に記載の方法。
  9. メディアコンテンツを記憶するように構成されているメモリと、
    第1のメディアセグメント及び第2のメディアセグメントを有する前記メディアコンテンツを受信し、及び前記第1のメディアセグメント内の第2の数のフレームと異なる第1の数のフレームを有する前記第1のメディアセグメントを再生し、且つ前記第2のメディアセグメントを再生するように構成されているプロセッサと
    を含み、前記第1の数は、前記第1のメディアセグメントの平均電力及び前記メディアコンテンツの平均電力に従って決定される、装置。
  10. 前記第2のメディアセグメントは第4の数のフレームを有し、且つ前記第2のメディアセグメントを再生することは、第3の数のフレームを有する前記第2のメディアセグメントを再生することを含み、及び前記第3の数は、前記第2のメディアセグメントの平均電力及び前記メディアコンテンツの前記平均電力に従って導出される、請求項9に記載の装置。
  11. 前記プロセッサは、前記第1のメディアセグメント及び前記第2のメディアセグメントに関連するメタデータを受信し、且つ前記第1のメディアセグメント及び前記第2のメディアセグメントに関連する前記メタデータから前記第1の数及び前記第3の数をそれぞれ導出するように構成されている、請求項10に記載の装置。
  12. セグメントの電力は、前記セグメントの画素の輝度値に従って計算され、及び前記セグメントの平均電力は、前記セグメントの前記電力を前記セグメント内のフレーム数で除算することによって計算される、請求項10に記載の装置。
  13. 前記メディアコンテンツは、前記第1のセグメント及び前記第2のセグメントを有する元の符号化メディアコンテンツの再符号化バージョンである、請求項10に記載の装置。
  14. 前記プロセッサは、前記第1のメディアセグメントの前記平均電力を決定し、前記第1のメディアセグメントの前記平均電力が閾値を上回る場合、前記第1の数を前記第2の数よりも小さいものとして決定し、且つ前記第1のメディアセグメントの前記平均電力が前記閾値を下回る場合、前記第1の数が前記第2の数よりも大きいと決定するように構成されている、請求項10に記載の装置。
  15. 前記受信されたメディアコンテンツは、完全に減速されたバージョンであり、前記第2のメディアセグメントの前記平均電力が閾値を下回る場合、前記プロセッサが、前記第3の数を前記第4の数と同じものとして決定するように構成され、及び前記第2のメディアセグメントの前記平均電力が前記閾値を上回る場合、前記プロセッサが、前記第3の数を前記第4の数よりも小さいものとして決定するように構成されている、請求項10に記載の装置。
  16. 前記受信されたメディアコンテンツは、完全に加速されたバージョンであり、前記第2のメディアセグメントの前記平均電力が閾値を上回る場合、前記プロセッサが、前記第3の数を前記第4の数と同じものとして決定するように構成され、及び前記第2のメディアセグメントの前記平均電力が前記閾値を下回る場合、前記プロセッサが、前記第3の数を前記第4の数よりも大きいものとして決定するように構成されている、請求項10に記載の装置。
  17. 第1のメディアセグメント及び第2のメディアセグメントを有するメディアコンテンツを受信することと、
    前記第1のメディアセグメント内の第2の数のフレームと異なる第1の数のフレームを有する前記第1のメディアセグメントを再生することと、
    前記第2のメディアセグメントを再生することと
    を行うためのコンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体に記憶されるコンピュータプログラム製品であって、前記第1の数は、前記第1のメディアセグメントの平均電力及び前記メディアコンテンツの平均電力に従って決定される、コンピュータプログラム製品。
  18. バッファの使用量が第1の閾値に到達するまで第1のメディアセグメントを前記バッファ内に受信しながら前記第1のメディアセグメントのフレームを連続して再生し、且つ前記第1のメディアセグメントの残りのフレームの再生を加速することであって、前記第1のメディアセグメントが減速セグメントである、再生及び加速することと、
    前記バッファの前記使用量が第2の閾値に到達するまで第2のメディアセグメントを前記バッファ内に受信しながら前記第2のメディアセグメントのフレームを連続して再生し、且つ前記第2のメディアの残りのフレームの再生を減速することであって、前記第2のメディアセグメントが加速セグメントである、再生及び減速することと
    を含む、方法。
  19. 前記第1のメディアセグメントの残りのフレームの再生を加速することは、前記第1のメディアセグメントの前記残りのフレームの少なくとも1つのフレームを飛ばすこと、及びディスプレイのためのピクチャバッファ内のフレームの更新を加速することの1つを含む、請求項18に記載の方法。
  20. 前記第2のメディアセグメントの残りのフレームの再生を減速することは、前記第2のメディアセグメントの前記残りのフレームに少なくとも1つのフレームを挿入すること、及びディスプレイのためのピクチャバッファ内のフレームの更新を減速することの1つを含む、請求項18に記載の方法。
  21. 前記メディアコンテンツは、前記第1のメディアセグメントの直後であり且つ減速セグメントである第3のメディアセグメントを含み、前記方法は、前記バッファの前記使用量が第3の閾値に到達するまで前記第3のメディアセグメントのフレームを連続して再生し、且つ前記第3のメディアセグメントの残りのフレームの再生を加速することであって、前記第3の閾値が前記第1の閾値よりも高い、再生及び加速することを更に含む、請求項18に記載の方法。
  22. 前記メディアコンテンツは、前記第2のメディアセグメントの直後であり且つ加速セグメントである第4のメディアセグメントを含み、及び前記方法は、前記バッファの前記使用量が第4の閾値に到達するまで前記第4のメディアセグメントのフレームを連続して再生し、且つ前記第4のメディアセグメントの残りのフレームの再生を減速することであって、前記第4の閾値が前記第2の閾値よりも低い、再生及び減速することを更に含む、請求項18に記載の方法。
  23. 前記メディアコンテンツは、前記第2のメディアセグメントの直後であり且つ減速セグメントである第5のメディアセグメントを含み、及び前記方法は、前記バッファの前記使用量が前記第1の閾値に到達するまで前記第5のメディアセグメントのフレームを連続して再生し、且つ前記第5のメディアセグメントの残りのフレームの再生を加速することを更に含む、請求項18に記載の方法。
  24. 前記メディアコンテンツは、前記第1のメディアセグメントの直後であり且つ加速セグメントである第6のメディアセグメントを含み、及び前記方法は、前記バッファの前記使用量が前記第2の閾値に到達するまで前記第6のメディアセグメントのフレームを連続して再生し、且つ前記第6のメディアセグメントの残りのフレームの再生を減速することを更に含む、請求項18に記載の方法。
  25. 前記第1の閾値及び前記第2の閾値を受信することを更に含む、請求項18に記載の方法。
  26. 前記第1のメディアセグメントの残りのフレームの前記再生を加速することは、前記第1のセグメントの導出元のセグメントの再生速度まで前記再生を加速し、及び前記第2のメディアの残りのフレームの再生を減速することは、前記第2のセグメントの導出元のセグメントの再生速度まで前記再生を減速する、請求項18に記載の方法。
  27. メディアコンテンツを記憶するように構成されているメモリと、
    バッファの使用量が第1の閾値に到達するまで第1のメディアセグメントを前記バッファ内に受信しながら前記第1のメディアセグメントのフレームを連続して再生し、且つ前記第1のメディアセグメントの残りのフレームの再生を加速することであって、前記第1のメディアセグメントは減速セグメントである、再生及び加速することと、前記バッファの前記使用量が第2の閾値に到達するまで第2のメディアセグメントを前記バッファ内に受信しながら前記第2のメディアセグメントのフレームを連続して再生し、且つ前記第2のメディアの残りのフレームの再生を減速することであって、前記第2のメディアセグメントが加速セグメントである、再生及び減速することとを行うように構成されているプロセッサと
    を含む、装置。
  28. 前記プロセッサは、前記第1のメディアセグメントの残りのフレームの少なくとも1つのフレームを飛ばすこと、及びディスプレイのためのピクチャバッファ内のフレームの更新を加速することの1つによって前記第1のメディアセグメントの前記残りのフレームの再生を加速するように構成されている、請求項26に記載の装置。
  29. 前記プロセッサは、前記第2のメディアセグメントの残りのフレームに少なくとも1つのフレームを挿入すること、及びディスプレイのためのピクチャバッファ内のフレームの更新を減速することの1つによって前記第2のメディアの前記残りのフレームの再生を減速するように構成されている、請求項26に記載の装置。
  30. 前記メディアコンテンツは、前記第1のメディアセグメントの直後であり且つ減速セグメントである第3のメディアセグメントを含み、前記プロセッサは、前記バッファの前記使用量が第3の閾値に到達するまで前記第3のメディアセグメントのフレームを連続して再生し、且つ前記第3のメディアセグメントの残りのフレームの再生を加速するように構成され、前記第3の閾値は前記第1の閾値よりも高い、請求項26に記載の装置。
  31. 前記メディアコンテンツは、前記第2のメディアセグメントの直後であり且つ加速セグメントである第4のメディアセグメントを含み、前記プロセッサは、前記バッファの前記使用量が第4の閾値に到達するまで前記第4のメディアセグメントのフレームを連続して再生し、且つ前記第4のメディアセグメントの残りのフレームの再生を減速するように構成され、前記第4の閾値は前記第2の閾値よりも低い、請求項26に記載の装置。
  32. 前記メディアコンテンツは、前記第2のメディアセグメントの直後であり且つ減速セグメントである第5のメディアセグメントを含み、前記プロセッサは、前記バッファの前記使用量が前記第1の閾値に到達するまで前記第5のメディアセグメントのフレームを連続して再生し、且つ前記第5のメディアセグメントの残りのフレームの再生を加速するように構成されている、請求項26に記載の装置。
  33. 前記メディアコンテンツは、前記第1のメディアセグメントの直後であり且つ加速セグメントである第6のメディアセグメントを含み、前記プロセッサは、前記バッファの前記使用量が前記第2の閾値に到達するまで前記第6のメディアセグメントのフレームを連続して再生し、且つ前記第6のメディアセグメントの残りのフレームの再生を減速するように構成されている、請求項26に記載の装置。
  34. 前記プロセッサは、前記第1の閾値及び前記第2の閾値を受信するように構成されている、請求項8に記載の装置。
  35. 前記プロセッサは、前記第1のセグメントの導出元のセグメントの再生速度まで前記再生を加速することによって前記第1のメディアセグメントの残りのフレームの再生を加速し、且つ前記第2のセグメントの導出元のセグメントの再生速度まで前記再生を減速することによって前記第2のメディアの残りのフレームの再生を減速するように構成されている、請求項26に記載の装置。
  36. バッファの使用量が第1の閾値に到達するまで第1のメディアセグメントを前記バッファ内に受信しながら前記第1のメディアセグメントのフレームを連続して再生し、且つ前記第1のメディアセグメントの残りのフレームの再生を加速することであって、前記第1のメディアセグメントは減速セグメントである、再生及び加速することと、
    前記バッファの前記使用量が第2の閾値に到達するまで第2のメディアセグメントを前記バッファ内に受信しながら前記第2のメディアセグメントのフレームを連続して再生し、且つ前記第2のメディアの残りのフレームの再生を減速することであって、前記第2のメディアセグメントは加速セグメントである、再生及び減速することと
    を行うためのコンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体に記憶されるコンピュータプログラム製品。
JP2018513333A 2015-09-15 2016-09-15 節電メディアコンテンツを再生する方法、システム、及び機器 Withdrawn JP2018533272A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562218679P 2015-09-15 2015-09-15
US62/218,679 2015-09-15
US201662372475P 2016-08-09 2016-08-09
US201662372470P 2016-08-09 2016-08-09
US62/372,470 2016-08-09
US62/372,475 2016-08-09
USPCT/US2016/047379 2016-08-17
PCT/US2016/047379 WO2017048447A1 (en) 2015-09-15 2016-08-17 Method and apparatus for providing power saving media content
PCT/US2016/051809 WO2017048887A1 (en) 2015-09-15 2016-09-15 Methods, systems and apparatus for playing back power saving media content

Publications (1)

Publication Number Publication Date
JP2018533272A true JP2018533272A (ja) 2018-11-08

Family

ID=58289880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018513333A Withdrawn JP2018533272A (ja) 2015-09-15 2016-09-15 節電メディアコンテンツを再生する方法、システム、及び機器

Country Status (6)

Country Link
US (1) US20180270536A1 (ja)
EP (1) EP3351004A1 (ja)
JP (1) JP2018533272A (ja)
KR (1) KR20180053667A (ja)
CN (1) CN108028954A (ja)
WO (1) WO2017048887A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017048447A1 (en) 2015-09-15 2017-03-23 Technicolor Usa Inc Method and apparatus for providing power saving media content
EP3386193A1 (en) * 2017-04-04 2018-10-10 Thomson Licensing Method of delivery of audiovisual content and corresponding device
US10972792B2 (en) 2019-06-27 2021-04-06 Rovi Guides, Inc. Systems and methods for scene change recommendations
US10972793B2 (en) * 2019-06-27 2021-04-06 Rovi Guides, Inc. Systems and methods for scene change evaluation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676142B1 (en) * 2002-06-07 2010-03-09 Corel Inc. Systems and methods for multimedia time stretching
CN2684491Y (zh) * 2004-02-27 2005-03-09 英业达股份有限公司 便携式信息设备的节电控制装置
US7376331B2 (en) * 2004-03-29 2008-05-20 Cyberlink Corp. Method and system for regulating power in portable audio/video playback device
US20080297662A1 (en) * 2007-06-01 2008-12-04 Gibbs Benjamin K Method and system for optimizing mobile electronic device performance when processing video content
US8849948B2 (en) * 2011-07-29 2014-09-30 Comcast Cable Communications, Llc Variable speed playback
US20130278834A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Display power reduction using extended nal unit header information
MX345571B (es) * 2012-07-09 2017-02-03 Vid Scale Inc Decodificacion y emision en tiempo real de video sensibles a la energia.
US9363473B2 (en) * 2012-12-17 2016-06-07 Intel Corporation Video encoder instances to encode video content via a scene change determination

Also Published As

Publication number Publication date
CN108028954A (zh) 2018-05-11
KR20180053667A (ko) 2018-05-23
EP3351004A1 (en) 2018-07-25
US20180270536A1 (en) 2018-09-20
WO2017048887A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
JP7061567B2 (ja) 節電メディア・コンテンツを提供する方法および装置
US10757158B2 (en) Feedback optimized video coding parameters
CN110177230B (zh) 再现方法和再现装置
CN110460745B (zh) 显示装置
US8468571B2 (en) Enabling trick plays during VBR playback of a CBR transmitted media file
US20130042015A1 (en) Constant-Quality Rate-Adaptive Streaming
US11218663B2 (en) Video chunk combination optimization
JP2011050117A (ja) トリックモードおよび速度移行
JP2018533272A (ja) 節電メディアコンテンツを再生する方法、システム、及び機器
US20090313652A1 (en) Ad splicing using re-quantization variants
CN112425178B (zh) 两遍组块并行转码处理
US20140267899A1 (en) Methods And Systems For Intelligent Playback
US20220295127A1 (en) Consolidating content streams to conserve bandwidth
WO2018031598A1 (en) Methods, systems and apparatus for playing back power saving media content
US20240112703A1 (en) Seamless insertion of modified media content
JPWO2018142947A1 (ja) 情報処理装置および方法
Blestel et al. Selective Storage: Store and Deliver Only What Matters

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190913

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191111

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200817