JP2014505929A - 特別なメディア再生のシナリオのための電力の最適化 - Google Patents

特別なメディア再生のシナリオのための電力の最適化 Download PDF

Info

Publication number
JP2014505929A
JP2014505929A JP2013546338A JP2013546338A JP2014505929A JP 2014505929 A JP2014505929 A JP 2014505929A JP 2013546338 A JP2013546338 A JP 2013546338A JP 2013546338 A JP2013546338 A JP 2013546338A JP 2014505929 A JP2014505929 A JP 2014505929A
Authority
JP
Japan
Prior art keywords
stream
video
audio
decoding
scenario
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013546338A
Other languages
English (en)
Inventor
ヴェンカタスブラマニアン,サンカラナラヤナン
ラティ,サイレシュ
Original Assignee
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2014505929A publication Critical patent/JP2014505929A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Power Sources (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、特別のメディア再生のシナリオにおいて電力消費を最適化する方法、システム、装置及びコンピュータプログラムプロダクトに関する。本方法は、マルチメディアストリームの第一の部分の復号化が中断されるシナリオを識別する段階、マルチメディアストリームの第二の部分の復号化を継続する間、マルチメディアストリームの第一の部分の復号化を中断する段階を含む。第一の部分はビデオストリームであり、第二の部分は、オーディオストリームであり、シナリオは、ビデオストリームのプレイバックウィンドウが隠されることを含む。第一の部分はオーディオストリームであり、第二の部分はビデオストリームであり、シナリオは、オーディオストリームがミュートされることを含む。本方法は、シナリオが変化したかを判定する段階、及びマルチメディアストリームの第一の部分の復号化を再開する段階を更に含む。

Description

本発明は、コンピューティング装置における電力の最適化に関する。
本明細書に含まれるものは、著作権保護を受けるマテリアルである。著作権者は、特許商標庁のパテントファイル又はレコードに現れたときに、任意の人物による特許のファクシミリの複製に対して異議がないが、さもなければ、著作権に対する全ての権利を保有する。
今日の社会における携帯装置の普及により、モバイルコンピューティング環境で実行するアプリケーションは、数の上で増加し、高度化している。ユーザは、一般にテレビ及び/又は映画を見るのと同様に、それらの携帯装置で音楽を聴く、全てのアプリケーションは、相当な量の電力を必要とする。多くの携帯装置の制限されたバッテリ寿命及びマルチメディアアプリケーションの高い電力の需要のため、携帯装置により使用される相当な量の電力は、マルチメディアアプリケーションにより消費される。
本発明の実施の形態は、特別なメディア再生のシナリオの間の電力消費を最適化する方法、装置、システム及びコンピュータプログラムプロダクトを提供する。1実施の形態では、本方法は、マルチメディアストリームの第一の部分の復号化が中断されるシナリオを識別する段階、マルチメディアストリームの第二の部分を復号化し続ける間に、マルチメディアストリームの第一の部分の復号化を中断する段階を含む。第一の部分は、ビデオストリームであり、第二の部分は、オーディオストリームであり、シナリオは、ビデオストリームのプレイバックウィンドウが隠されることを含む場合がある。第一の部分は、オーディオストリームであり、第二の部分は、ビデオストリームであり、シナリオは、オーディオストリームがミュートされることを含む。本方法は、シナリオが変化したかを判定する段階、及びマルチメディアストリームの第一の部分の復号化を再開する段階を更に含む。本発明は、マルチメディアストリームの第二の部分で現在復号化されている第一のフレームを識別する段階、マルチメディアストリームの第一の部分における第二のフレームであって、第一のフレームに対応する第二のフレームを識別する段階、及びマルチメディアストリームの第一の部分の第二のフレームでのレンダリングを再開する段階を更に含む。
本発明の「1実施の形態」又は「実施の形態」に対する明細書における参照は、実施の形態に関して記載される特定の特徴、構造又は特性が本発明の少なくとも1つの実施の形態に含まれることを意味する。従って、明細書を通して様々な位置に現れる記載「1実施の形態では」、「1実施の形態によれば」は、必ずしも、同じ実施の形態を全て示すものではない。
説明のため、特定の構成及び詳細が本発明の完全な理解を提供するために述べられる。しかし、当業者にとって、本発明の実施の形態が本明細書で提示された特定の詳細なしに実施される場合があることが明らかであろう。さらに、公知の特徴は、本発明を曖昧にしないように省略又は簡略化される場合がある。様々な例は、この記載を通して与えられる場合がある。これらは、本発明の特定の実施の形態の単なる記載にすぎない。本発明の範囲は、与えられた例に限定されない。
本発明の1実施の形態に係る特別なメディア再生のシナリオの電力の最適化を可能にするシステムのブロック図である。 通常の再生のシナリオの間の図1のシステムのコンポーネント間でのデータフローを示すメディアパイプラインである。 本発明の1実施の形態に係る、ビデオプレイバックアプリケーションが別のアプリケーションにより重ね合わせられる再生のシナリオの間に、図1のシステムのコンポーネント間のデータフローを示すメディアパイプラインである。 本発明の1実施の形態に係る、オーディオ出力がミュートされる再生のシナリオの間に、図1のシステムのコンポーネント間のデータフローを示すメディアパイプラインである。 通常の再生のシナリオの間の図1のシステムのコンポーネント間の相互作用を示すシーケンスダイアグラムである。 本発明の1実施の形態に係る、ビデオプレイバックアプリケーションが別のアプリケーションに重ね合わせられる再生のシナリオの間の、図1のシステムのコンポーネント間の相互作用を示すシーケンスダイアグラムである。 本発明の1実施の形態に係る、オーディオ出力がミュートされる再生のシナリオの間の、図1のシステムのコンポーネント間の相互作用を示すシーケンスダイアグラムである。 本発明の別の実施の形態に係る、オーディオ出力がミュートされる再生のシナリオの間の、図1のシステムのコンポーネント間の相互作用を示すシーケンスダイアグラムである。
図1は、本発明の1実施の形態に係る、特別なメディア再生のシナリオについて電力の最適化を可能にするシステムのブロック図である。システム100は、アプリケーションレイヤ110及びオペレーティングシステム/ランニングレイヤ150を有するソフトウェア環境と、プロセッサ160及びメモリ170を含むハードウェア環境を有する。システムのユーザ102は、メディアアプリケーション120及び他のアプリケーション130のようなアプリケーションレイヤ110におけるプロセッサ160で実行されるアプリケーションを使用する。ユーザ102は、あるアプリケーションから別のアプリケーションに焦点をシフトし、これによりアクティブなアプリケーションは、アクティブでないアプリケーションに重ね合わせられる。例えば、ユーザ102は、メディアアプリケーション120を使用してビデオを再生するか、ワードプロセッシングアプリケーションをアクティブにし、これによりビデオアプリケーションを隠す。ユーザ102は、ワードプロセッシングアプリケーションにおいて作業している間、オーディオストリームを聞き続けることを選択する場合がある。通常の再生のシナリオでは、ビデオストリームは、ビデオストリームの表示がアクティブではない場合でさえ、オーディオストリームに合わせて復号化され続ける。
図1に示される実施の形態では、ビデオ表示が別のアプリケーションにより重ね合わされる、この再生のシナリオが検出され、システム100における電力消費を最適化するために使用される。オペレーティングシステム/ランタイム150は、電力消費が最適化されるシナリオを検出する。ポリシーデータストア140は、ユーザ102により設定可能な電力最適化パラメータを記憶する。電力最適化パラメータの1つの例は、ビデオ復号化を中断する電力節約モードに切り替える前に、ビデオプレイバックアプリケーションが別のアプリケーションにより重ね合わせられる時間量である。例えば、ビデオプレイバックアプリケーションが10秒間だけ別のアプリケーションにより重ねられる場合、ビデオストリームの復号化は、電力を節約するために中断される。電力最適化パラメータの別の例は、オーディオ復号化を中断する電力節約モードへの切り替えの前にオーディオがミュートされる時間量である。
オペレーティングシステム/ランタイム150が、ビデオプレイバックアプリケーションが別のアプリケーションにより重ね合わされるか、又はオーディオストリームのミュートのような、電力消費が最適化されるシナリオを検出したとき、オペレーティングシステム/ランタイム150は、ポリシーデータストア140をチェックして、ポリシーを作動させるかを判定する。あるポリシーの電力最適化パラメータが適合される場合、オペレーティングシステム/ランタイム150は、利用可能なオーディオ又はビデオストリームの復号化を中断するようにメディアアプリケーション120に通知する。オペレーティングシステム/ランタイム150による通知に応答して、メディアアプリケーション120は、適用可能なオーディオ又はビデオストリームの復号化を中断する。1実施の形態では、適用可能なオーディオ又はビデオストリームの復号化の中断は、ビットストリームの解析及びレンダリングをオフにすることを含む。
システム100のハードウェア環境を参照して、プロセッサ160は、処理電力をシステム100に供給するものであって、シングルコアプロセッサ又はマルチコアプロセッサであり、1を超えるプロセッサがシステム100に含まれる場合がある。プロセッサ160は、1以上のシステムバス、通信経路又は媒体(図示せず)を介してシステム100の他のコンポーネントに接続される。プロセッサ160は、オペレーティングシステム/メディアアプリケーション120及び他のアプリケーション130のようなホストアプリケーションを実行する。
システム100は、メモリ170のようなメモリ装置を更に含む。これらのメモリ装置は、ランダムアクセスメモリ(RAM)及びリードオンリメモリ(ROM)を含む。この開示のため、用語「ROM」は、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュROM、フラッシュメモリ等のような不揮発性メモリ装置を一般に示すために使用される。これらのメモリ装置は、IDE(Integrated Drive Electronics)ハードドライブ、及び/又は、フロプティカルディスク、光ストレージ、テープ、フラッシュメモリ、メモリスティック、デジタルビデオディスク、バイオロジカルストレージ等のような他の装置又はメディアを更に含む。
また、プロセッサ160は、ディスプレイコントローラ、SCSI(Small Computer System Interface)コントローラ、ネットワークコントローラ、USB(Universal Serial Bus)コントローラ、キーボード及びマウスのような入力装置等のような更なるコンポーネントに通信可能に結合される場合もある。システム100は、様々なシステムコンポーネントを通信可能に結合するため、メモリコントローラハブ、入力/出力(I/O)コントローラハブ、PCIルートブリッジ等のような1以上のブリッジ又はハブを含む。本明細書で使用されたとき、用語「バス」は、ポイント・ツー・ポイント経路のような共通通信経路を示すために使用される。
システム100の幾つかのコンポーネントは、バスと通信する(例えばPCIコネクタといった)インタフェースをもつアダプタカードとして実現される場合がある。1実施の形態では、1以上の装置は、プログラマブル又はノンプログラマブルロジックデバイス又はアレイ、特定用途向け集積回路(ASIC)、埋め込みコンピュータ、スマートカード等のようなコンポーネントを使用した、組み込みコントローラとして実現される場合がある。
本明細書で使用されたとき、用語「処理システム」及び「データ処理システム」は、単一のマシン、互いに動作する通信可能に結合されたマシン又はデバイスのシステムを広義に含むことが意図される。例となる処理システムは、限定されるものではないが、分散コンピューティングシステム、スーパーコンピュータ、高性能コンピューティングシステム、コンピューティングクラスタ、メインフレームコンピュータ、ミニコンピュータ、クライアントサーバシステム、パーソナルコンピュータ、ワークステーション、サーバ、ポータブルコンピュータ、ラップトップコンピュータ、タブレット、電話、パーソナルデジタルアシスタント(PDA)、ハンドヘルド装置、オーディオ及び/又はビデオ装置のような娯楽装置、及び他の情報を処理又は伝送する他の装置を含む。
システム100は、少なくとも部分的に、キーボード、マウス等のような従来の入力装置からの入力により制御されるか、及び/又は、別のマシン、生体フィードバック、又は他の入力源又は信号から受信されたコマンドにより制御される。システム100は、ネットワークコントローラ、モデム、或いは、他の通信ポート又はカップリングのような、1以上のリモートデータ処理システム(図示せず)への1以上のコネクションを利用する場合がある。
システム100は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、イントラネット、インターネット等のような、物理的なネットワーク及び/又は論理的なネットワークにより他の処理システム(図示せず)に相互接続される。ネットワークを含む通信は、無線周波(RF)、衛星、マイクロ波、IEEE(Institute of Electrical and Electronics Engineers)802.11、Bluetooth(登録商標)、光、赤外線、ケーブル、レーザ等を含む、様々な有線及び/又は無線の短距離又は長距離のキャリア及びプロトコルを利用する場合がある。
図2は、通常の再生のシナリオの間の図1のメディアアプリケーションのコンポーネント間のデータフローを示すメディアパイプラインである。メディアソースファイル210は、図1のメディアアプリケーション120のデマルチプレクサ/スプリッタ220コンポーネントにより受信される入力メディアストリームを表す。デマルチプレクサ/スプリッタ220は、入力メディアストリームをビデオストリーム221とオーディオストリーム222に分割する。ビデオストリーム221は、ビデオデコーダ230への入力として供給され、ビデオデコーダは、ビットストリームを解析及びデコードし、デコードされたビデオビットストリーム231をビデオレンダラー240に供給し、ビデオレンダラーは、ビデオ出力をレンダリングする。デマルチプレクサ/スプリッタ220から、オーディオストリーム222は、オーディオデコーダ250への入力として供給される。デコードされた出力オーディオストリーム251は、ソース装置260に供給される。
図3は、本発明の1実施の形態に係る、ビデオプレイバックアプリケーションが別のアプリケーションによりオーバラップされる再生のシナリオの間の、図1のメディアアプリケーションのコンポーネント間のデータフローを示すメディアパイプラインである。メディアソースファイル310は、図1のメディアアプリケーション120のデマルチプレクサ/スプリッタ320コンポーネントにより受信される入力メディアストリームを表す。デマルチプラクサ/スプリッタ320は、入力メディアストリームをビデオストリーム321とオーディオストリーム322に分割する。しかし、ビデオプレイバックアプリケーションは、別のアプリケーションにより重ね合わされているため、デマルチプレクサ/スプリッタ320は、ビデオストリーム321をビデオデコーダ330に供給せず、したがってビデオストリームは、ビデオレンダラー340に到達せず、従ってビデオ出力はレンダリングされない。ビデオがデコードされない時間の間、ビデオをデコード及びレンダリングするCPUサイクルを除くことで、有意な電力の節約が可能である。ビデオストリームはデコードされないが、デマルチプレクサ/スプリッタ320は、オーディオストリーム322をオーディオデコーダ350に供給し続ける。デコードされた出力オーディオシステム351は、サウンド装置360に供給される。
別のアプリケーションにより重ね合わされているビデオプレイバックアプリケーションのシミュレーションは、ビデオストリームを再生する3GBのRAMをもつINTEL(登録商標)Core2Duo(登録商標)2.0GHzで実行され、メディアストリームのビデオストリームは、MPEG4-Part2でエンコードされ、オーディオストリームは、MP3でエンコードされる。オーディオ復号化とビデオ復号化の両者による1分間の再生のシナリオは、オーディオ復号化のみによる1分間の再生のシナリオ(ビデオアプリケーションは、別のアプリケーションにより重ね合わされる)に比較される。CPI(Clocks Per Instruction Retired)における42%の低減が発見され、消費される電力における比例した節約を生じさせる。
図4は、本発明の1実施の形態に係る、オーディオ出力がミュートされる再生のシナリオの間の、図1のメディアアプリケーションのコンポーネント間のデータフローを示すメディアパイプラインである。メディアソースファイル410は、図1のメディアアプリケーション120のデマルチプレクサ/スプリッタ420のコンポーネントにより受信される入力メディアストリームを表す。デマルチプレクサ/スプリッタ420は、入力メディアストリームをビデオストリーム421及びオーディオストリーム422に分割する。ビデオストリーム421は、ビデオデコーダ430への入力として供給され、ビデオデコーダは、ビットストリームを解析及びデコードし、デコードされたビットストリーム431をビデオレンダラー440に供給し、ビデオレンダラーは、ビデオ出力をレンダリングする。しかし、デマルチプレクサ/スプリッタ420は、オーディオデコーダ450への入力としてオーディオストリーム422を供給せず、出力オーディオストリームは、サウンド装置460に供給されない。有意な電力の節約は、オーディオ出力をデコード及びレンダリングするため、CPUサイクルをバイパスすることで達成される。
図5は、通常の再生のシナリオの間の図1のメディアアプリケーションのコンポーネント間の相互作用を示すシーケンスダイアグラムである。アクション5.1では、入力メディアストリームは、メディアプレーヤ510に供給される。ビデオクリップの受信に応答して、アクション5.2では、メディアプレーヤ510はオーディオデコーダ510を呼び出し、ビットストリームを供給する。アクション5.3では、オーディオデコーダ520は、ビットストリームをデコードし、オーディオストリーム出力をスピーカ550でレンダリングする。アクション5.4では、メディアプレーヤ510はビデオデコーダ530を呼び、ビデオストリームを供給する。アクション5.5では、ビデオデコーダ530は、ビデオ出力ストリームをデコードして、ディスプレイ560でレンダリングする。このアクティビティの間、OSサービス540は、ポリシーがアクティブであるときに電力消費量が最適化されるシナリオをモニタリングする。図5におけるステップは、ビデオクリップにおける全てのフレームについて繰り返される。オーディオ及びビデオ復号化及びレンダリングのアクションは、並列に行われる場合があり、例えばアクション5.2及び5.3は、アクション5.4及び5.5と並列に行われる場合がある。さらに、幾つかのオーディオ又はビデオフレームは、他のオーディオ又はビデオフレームがレンダリングされているのと同時にデコードされ、例えば、ステップ5.2で、幾つかのフレームは、ステップ5.3(又は5.5)で他のフレームがレンダリングされるのと同時にデコードされる。
図6は、本発明の1実施の形態に係る、ビデオプレイバックアプリケーションが別のアプリケーションにより重ね合わせられる再生のシナリオの間の図1のメディアアプリケーションのコンポーネント間の相互作用を示すシーケンスダイアグラムである。アクション6.1では、入力メディアストリームは、メディアプレーヤ610に供給される。アクション6.2では、ビデオクリップの受信に応答して、メディアプレーヤ610は、オーディオデコーダ620を呼び出し、ビットストリームを供給する。アクション6.3では、オーディオデコーダ620は、ビットストリームをデコードし、オーディオストリーム出力をスピーカ650にレンダリングする。アクション6.4では、メディアプレーヤ610は、ビデオデコーダ630を呼び出し、ビデオストリームを供給する。アクション6.5では、ビデオデコーダ630は、ビデオ出力ストリームをデコードして、ディスプレイ660でレンダリングする。全てのこのアクティビティの間、OSサービス640は、電力の消費が最適化されるシナリオをモニタする。このポイントまで、電力消費を最適化する機会が生じないので、通常の再生のシナリオが続く。図6におけるステップは、メディアクリップにおける全てのフレームについて実行される。図におけるオーディオ及びビデオのステップは並列して行われる。
アクション6.6では、OSサービス640は、ビデオプレイバックアプリケーションが別のアプリケーションにより重ね合わせられるシナリオを識別する。アクション6.7では、OSサービス640は、イベントPLAYBACK_APPLICATION_LOST_FOCUSをメディアプレーヤ610に送出する。イベントの受信に応じて、メディアプレーヤ610は、電力最適化モードに入るため、ビデオストリームの復号化を中断する。アクション6.8では、メディアプレーヤ610は、オーディオストリームを復号化のためにオーディオデコーダ620に送出し続け、アクション6.9では、オーディオデコーダ620は、出力オーディオストリームをスピーカ650でレンダリングする。ビデオ復号化が再び必要とされるシナリオをOSサービス640が識別するまで、オーディオのみの再生が継続する。
アクション6.10では、ユーザは、ビデオプレイバックアプリケーションへの焦点を回復する。このイベントの検出に応答して、アクション6.11において、OSサービス640は、イベントPLAYBACK_APPLICATION_FOCUS_REGAINEDをメディアプレーヤ610に送出する。イベントの受信に応答して、メディアプレーヤ610は、CurrentFrameパラメータによりGetReferenceFrame機能を呼び出すことで、オーディオ出力において再生されている現在のフレームを識別する。現在アクティブなオーディオフレームは、現在のビデオフレームを復号化してオーディオ再生と同期したビデオ再生を配置するため、対応するビデオフレーム及び関連される参照フレームを識別するために使用される。アクション6.13では、全ての参照フレームは、メディアプレーヤ610から復号化のためにビデオデコーダ630に送出される。現在のオーディオフレームに対応する参照フレームを識別するため、全ての参照フレームが復号化される。現在のビデオフレームから開始するフレームのみが表示される。全ての参照フレームが復号化される必要があるとしても、制限された数の参照フレームのみが利用可能である。例えば、H.264規格の下で、毎秒24フレームで実行するビデオクリップが参照フレームをデコードするために1秒未満を必要とするように、最大で16の参照フレームが利用可能である。
アクション6.14では、オーディオストリームとビデオストリームが同期されたからには、焦点が当てられたビデオプレイバックアプリケーション及びミュートされていないオーディオとにより通常の再生が再開される。アクション6.14では、メディアプレーヤ610は、オーディオストリームをオーディオデコーダ620に供給し、アクション6.15で、オーディオデコーダは、オーディオストリームをデコードし、スピーカ650でレンダリングする。アクション6.16では、メディアプレーヤ610は、ビデオストリームを復号化のためにビデオデコーダ630に送出し、アクション6.17では、ビデオデコーダ630は、ビデオストリームをデコードし、ディスプレイ660をレンダリングする。
図7は、本発明の1実施の形態に係る、オーディオ出力がミュートされる再生のシナリオの間の、図1のメディアアプリケーションのコンポーネント間の相互作用を示すシーケンスダイアグラムである。アクション7.1では、入力メディアストリームは、コマンドPlayClip(NoOfFrames)を介してメディアプレーヤ710に供給される。ビデオクリップの受信に応答して、アクション7.2では、メディアプレーヤ710は、オーディオデコーダ720を呼び出し、ビットストリームを供給する。アクション7.3では、オーディオデコーダ720は、ビットストリームをデコードして、オーディオストリーム出力をスピーカ750でレンダリングする。アクション7.4では、メディアプレーヤ710は、ビデオデコーダ730を呼び出し、ビデオストリームを供給する。アクション7.5では、ビデオデコーダ730は、ビデオ出力ストリームをデコードし、ディスプレイ760でレンダリングする。全てのこのアクティビティの間、OSサービス740は、電力の消費を最適化することができるシナリオをモニタする。このポイントまで、電力の消費を最適化する機会が生じないので、通常の再生のシナリオが続く。
アクション7.6では、サービス740は、オーディオ再生がミュートされるシナリオを識別する。アクション7.7では、OSサービス740は、イベントAUDIO_MUTEDをメディアプレーヤ710に送出する。イベントの受信に応答して、メディアプレーヤ710は、電力最適化モードに入るため、オーディオストリームの復号化を中断する。アクション7.8では、メディアプレーヤ710は、ビデオストリームを復号化のためにビデオデコーダ730に送出し続け、アクション7.9では、ビデオデコーダ730は、出力ビデオストリームをディスプレイ760でレンダリングする。オーディオ復号化が再び必要とされるシナリオをOSサービス740が識別するまで、ビデオのみの再生が継続する。
アクション7.10では、ユーザは、オーディオ再生のミュートを解除する。このイベントの検出に応答して、アクション7.11では、OSサービス740は、イベントAUDIO_UNMUTEDをメディアプレーヤ710に送出する。イベントの受信に応答して、メディアプレーヤ710は、CurrentFrameパラメータによりGetReferenceFrame機能を呼び出すことで、ビデオ出力で再生されている現在のフレームを識別する。現在アクティブなビデオフレーム及びオーディオのミュートを解除する時間は、対応するオーディオ参照フレームを識別して、ビデオの再生をオーディオの再生に同期させるために使用される。アクション7.13では、全ての参照フレームは、メディアプレーヤ710から復号化のためにオーディオデコーダ730に送出される。全ての参照フレームは、現在のオーディオフレームに対応する参照フレームを識別するために復号化される。
アクション7.14では、オーディオストリームとビデオストリームとが同期されたからには、焦点が当てられるビデオプレイバックアプリケーションとミュートされていないオーディオとにより通常の再生が再開される。アクション7.14では、メディアプレーヤ710は、オーディオストリームをオーディオデコーダ720に供給し、アクション7.15で、オーディオデコーダは、オーディオストリームをデコードして、スピーカ750でレンダリングする。アクション7.16で、メディアプレーヤ710は、ビデオストリームを復号化のためにビデオデコーダ730に送出し、アクション7.17で、ビデオデコーダ730は、ビデオストリームをデコードし、ディスプレイ760でレンダリングする。
図8は、本発明の別の実施の形態に係る、オーディオ出力がミュートされた再生のシナリオの間の図1のシステムのコンポーネント間の相互作用を示すシーケンスダイアグラムである。アクション8.1では、入力メディアストリームは、コマンドPlayVideoClip(NoOfFrames)を介してメディアプレーヤ810に供給される。アクション8.2では、ビデオクリップの受信に応答して、メディアプレーヤ810は、オーディオデコーダ820を呼び出し、ビットストリームを供給する。アクション8.3では、オーディオデコーダ820は、ビットストリームをデコードし、オーディオストリーム出力をスピーカ850でレンダリングする。アクション8.4では、メディアプレーヤ810は、ビデオデコーダ830を呼び出し、ビデオストリームを供給する。アクション8.5では、ビデオデコーダ830は、ビデオ出力ストリームをデコードし、ディスプレイ860でレンダリングする。ポリシーがアクティブであるときにこのアクティビティの全ての間、OSサービス840は、電力消費が最適化されるシナリオをモニタする。このポイントまで、電力消費を最適化する機会が生じないので、通常の再生シナリオが続く。
アクション8.6では、OSサーバ840は、オーディオ再生がミュートされるシナリオを識別する。アクション8.7では、OSサービス840は、イベントAUDIO_MUTEDをメディアプレーヤ810に送出する。イベントの受信に応答して、メディアプレーヤ810は、電力最適化モードに入るため、オーディオストリームの復号化を中断する。アクション8.8では、メディアプレーヤ810は、ビデオストリームを復号化のためにビデオデコーダ830に送出し続け、アクション8.9では、ビデオデコーダ830は、出力ビデオストリームをディスプレイ860でレンダリングする。オーディオ復号化が再び必要とされるシナリオをOSサービス840が識別するまで、ビデオのみの再生が継続する。
アクション8.10では、ユーザは、オーディオ再生のミュートを解除する。このイベントの検出に応答して、アクション8.11では、OSサービス840は、イベントAUDIO_UNMUTEDをメディアプレーヤ810に送出する。焦点が当てられたビデオプレイバックアプリケーションとミュートされていないオーディオとにより通常の再生が再開する。アクション8.12では、メディアプレーヤ810は、オーディオストリームをオーディオデコーダ820に供給し、アクション8.13では、オーディオデコーダは、オーディオストリームをデコードし、スピーカ850でレンダリングする。アクション8.14では、メディアプレーヤ810は、ビデオストリームを復号化のためにビデオデコーダ830に送出し、アクション8.15では、ビデオデコーダ830は、ビデオストリームをデコードし、ディスプレイ860でレンダリングする。
本明細書で記載された技術は、オーディオ又はビデオ復号化が回避される特別な再生のシナリオを認識することで、電力節約が達成されるのを可能にする。結果として得られる電力の節約は、マルチメディアプレゼンテーションのユーザの楽しみを妥協することなしに、携帯装置のバッテリ寿命を延長する。
本明細書で開示されるメカニズムの実施の形態は、ハードウェア、ソフトウェア、ファームウェア、係る実現アプローチの組み合わせで実現される場合がある。本発明の実施の形態は、少なくとも1つのプロセッサ、(揮発性及び不揮発性メモリ及び/又はストレージエレメントを含む)データストレージシステム、少なくとも1つの入力装置、少なくとも1つの出力装置を含むプログラマブルシステムで実行するコンピュータプログラムとして実現される場合がある。
プログラムコードは、本明細書で記載された記載を実行し、出力情報を生成するために適用される。また、本発明の実施の形態は、本発明の動作を実行する命令を含むか、又は本明細書で記載された構造、回路、装置、プロセッサ及び/又はシステムの特徴を定義するHDLのようなデザインデータを含むコンピュータアクセス可能な記録媒体を含む。また、係る実施の形態は、プログラムプロダクトと呼ばれる。
係るコンピュータアクセス可能な記録媒体は、限定されることなしに、ハードディスク、フロプティカルディスクを含む何れかのタイプのディスク、光ディスク、コンパクトディスクリードオンリメモリ(CD-ROM)、コンパクトディスクリライタブル(CD-RW)、及び光磁気ディスク、リードオンリメモリ(ROM)のような半導体装置、ダイナミックランダムアクセスメモリ(DRAM)のようなランダムアクセスメモリ(RAM)、スタティックランダムアクセスメモリ(SRAM)、消去可能なプログラマブルリードオンリメモリ(EPROM)、フラッシュプログラマブルメモリ(FLASH)、電気的に消去可能なプログラマブルリードオンリメモリ(EEPROM)、磁気又は光カード、又は電子的な命令を記録するために適した何れかの他のタイプの記録媒体を含めて、コンピュータ又は装置により製造又は形成される有形の粒子の配置を含む場合がある。
出力情報は、公知のやり方で1以上の出力装置に適用される場合がある。この適用のため、処理システムは、例えばデジタルシグナルプロセッサ(DSP)、マイクロコントローラ、特定用途向け集積回路(ASIC)のようなプロセッサを有するシステムを含む。
プログラムは、処理システムと通信するため、高水準手続又はオブジェクト指向プログラミング言語で実現される。また、プログラムは、望まれる場合、アセンブリ言語又はマシン言語で実現される場合がある。実際、本明細書で記載されたメカニズムは、特定のプログラミング言語に制限されるものではない。何れのケースであっても、言語は、コンパイル言語又はインタープリタ言語である場合がある。
本明細書では、特別のメディア再生のシナリオの間に電力の消費を最適化する方法及びシステムの実施の形態が提示された。本発明の特定の実施の形態が図示及び記載されたが、様々な変形、バリエーション、及び変更が特許請求の範囲から逸脱することなしに行われることが当業者にとって明らかであろう。従って、当業者であれば、その広義の態様において、本発明から逸脱することなしに変形及び変更が行われることを認識されるであろう。特許請求の範囲は、本発明の範囲及び精神に含まれる全ての係る変形、バリエーション及び変更をそれらの範囲において包含するものである。

Claims (15)

  1. マルチメディアストリームの第一の部分の復号化が中断されるシナリオを識別する段階と、
    前記マルチメディアストリームの第二の部分の復号化を継続する一方、前記マルチメディアストリームの前記第一の部分の復号化を中断する段階と、
    を含むコンピュータで実現される方法。
  2. 前記第一の部分はビデオストリームであり、前記第二の部分はオーディオストリームであり、前記シナリオは、前記ビデオストリームについてのプレイバックアプリケーションが隠されることを含む、
    請求項1記載の方法。
  3. 前記第一の部分はオーディオストリームであり、前記第二の部分はビデオストリームであり、前記シナリオは、前記オーディオストリームがミュートされることを含む、
    請求項1記載の方法。
  4. 前記シナリオが変化したかを判定する段階と、
    前記マルチメディアストリームの前記第一の部分の復号化を再開する段階と、
    を更に含む請求項1記載の方法。
  5. 前記マルチメディアストリームの前記第一の部分の復号化を再開する段階は、
    前記マルチメディアストリームの前記第二の部分で現在復号化されている第一のフレームを識別する段階と、
    前記マルチメディアストリームの前記第一の部分における第二のフレームであって、前記第一のフレームに対応する第二のフレームを識別する段階と、
    前記第二のフレームで前記マルチメディアストリームの前記第二の部分のレンダリングを再開する段階と、
    を含む請求項4記載の方法。
  6. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに結合されるメモリであって、マルチメディアストリームの第一の部分の復号化が中断されるシナリオを識別し、前記マルチメディアストリームの第二の部分の復号化を継続する一方、前記マルチメディアストリームの前記第一の部分の復号化を中断する、ための命令を記憶するメモリと、
    を備えるシステム。
  7. 前記第一の部分はビデオストリームであり、前記第二の部分はオーディオストリームであり、前記シナリオは、前記ビデオストリームのプレイバックアプリケーションが隠されることを含む、
    請求項6記載のシステム。
  8. 前記第一の部分はオーディオストリームであり、前記第二の部分はビデオストリームであり、前記シナリオは、前記オーディオストリームがミュートされることを含む、
    請求項6記載のシステム。
  9. 前記命令は、前記シナリオが変化したかを決定し、前記マルチメディアストリームの前記第一の部分の復号化を再開するための命令を更に含む、
    請求項6記載のシステム。
  10. 前記メディアストリームの前記第一の部分の復号化を再開することは、
    前記マルチメディアストリームの前記第二の部分で現在復号化されている第一のフレームを識別する段階と、
    前記マルチメディアストリームの前記第一の部分における第二のフレームであって、前記第一のフレームに対応する第二のフレームを識別する段階と、
    前記第二のフレームで前記マルチメディアストリームの前記第二の部分のレンダリングを再開する段階と、
    を含む請求項9記載のシステム。
  11. コンピュータ読み取り可能な記録媒体と、
    前記コンピュータ読み取り可能な記録媒体で記録される命令であって、処理システムで実行されたときに、前記処理システムに、マルチメディアストリームの第一の部分の復号化が中断されるシナリオを識別し、前記マルチメディアストリームの第二の部分の復号化を継続する一方、前記マルチメディアストリームの前記第一の部分の復号化を中断する処理を実行させる命令と、
    を備えるコンピュータプログラムプロダクト。
  12. 前記第一の部分はビデオストリームであり、前記第二の部分はオーディオストリームであり、前記シナリオは、前記ビデオストリームのプレイバックアプリケーションが隠されることを含む、
    請求項11記載のコンピュータプログラムプロダクト。
  13. 前記第一の部分はオーディオストリームであり、前記第二の部分はビデオストリームであり、前記シナリオは、前記オーディオストリームがミュートされることを含む、
    請求項11記載のコンピュータプログラムプロダクト。
  14. 前記命令は、前記処理システムに、前記シナリオが変化したかを決定し、前記マルチメディアストリームの前記第一の部分の復号化を再開する処理を更に実行させる、
    請求項11記載のコンピュータプログラムプロダクト。
  15. 前記メディアストリームの前記第一の部分の復号化を再開することは、
    前記マルチメディアストリームの前記第二の部分で現在復号化されている第一のフレームを識別し、前記マルチメディアストリームの前記第一の部分における第二のフレームであって、前記第一のフレームに対応する第二のフレームを識別する段階と、
    前記第二のフレームで前記マルチメディアストリームの前記第二の部分のレンダリングを再開することを含む、
    請求項14記載のコンピュータプログラムプロダクト。
JP2013546338A 2010-12-29 2011-12-20 特別なメディア再生のシナリオのための電力の最適化 Pending JP2014505929A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/981,103 2010-12-29
US12/981,103 US20120170666A1 (en) 2010-12-29 2010-12-29 Power optimization for special media playback scenarios
PCT/US2011/066259 WO2012092036A2 (en) 2010-12-29 2011-12-20 Power optimization for special media playback scenarios

Publications (1)

Publication Number Publication Date
JP2014505929A true JP2014505929A (ja) 2014-03-06

Family

ID=46380772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013546338A Pending JP2014505929A (ja) 2010-12-29 2011-12-20 特別なメディア再生のシナリオのための電力の最適化

Country Status (8)

Country Link
US (1) US20120170666A1 (ja)
EP (1) EP2659356A4 (ja)
JP (1) JP2014505929A (ja)
KR (1) KR101566255B1 (ja)
CN (1) CN103282882B (ja)
AU (1) AU2011352783A1 (ja)
TW (1) TW201239756A (ja)
WO (1) WO2012092036A2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426439B2 (en) * 2013-03-12 2016-08-23 Intel Corporation Exposing media processing features
US9948573B2 (en) * 2013-03-14 2018-04-17 Comcast Cable Communications, Llc Delivery of multimedia components according to user activity
KR102277258B1 (ko) * 2014-02-27 2021-07-14 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 애플리케이션 처리 방법
CN110753262A (zh) * 2018-07-24 2020-02-04 杭州海康威视数字技术股份有限公司 录像数据的消音方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218006A (ja) * 2004-02-02 2005-08-11 Matsushita Electric Ind Co Ltd 携帯デジタル放送受信装置
WO2008015864A1 (fr) * 2006-08-04 2008-02-07 Panasonic Corporation Dispositif électronique et son procédé de commande de volume sonore
JP2010288044A (ja) * 2009-06-11 2010-12-24 Toshiba Corp 動画像復号装置、プログラムおよび復号処理簡略化方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5191644A (en) * 1990-10-10 1993-03-02 Fuji Xerox Co., Ltd. Multiwindow control system
US6993251B1 (en) * 2000-03-31 2006-01-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for concealing disk soft errors in recorded digital television signals
US7522964B2 (en) * 2000-12-01 2009-04-21 O2Micro International Limited Low power digital audio decoding/playing system for computing devices
RU2356107C2 (ru) * 2003-02-25 2009-05-20 Эл Джи Электроникс Инк. Способ воспроизведения содержательной информации устройством для интерактивных оптических дисков
KR100526554B1 (ko) * 2003-07-21 2005-11-03 삼성전자주식회사 디지털 멀티미디어 방송 수신용 이동단말에서 음성통화시오디오신호를 처리하는 장치 및 방법
JP2005252375A (ja) * 2004-03-01 2005-09-15 Hitachi Ltd 携帯用動画再生装置
CN1930871B (zh) * 2004-06-02 2015-03-04 松下电器产业株式会社 便携式终端装置
JP2006129262A (ja) * 2004-10-29 2006-05-18 Toshiba Corp 電子機器および同機器の消費電力制御方法
JP2007013438A (ja) * 2005-06-29 2007-01-18 Toshiba Corp 音声画像再生装置及び動作制御方法
KR100800815B1 (ko) * 2006-11-21 2008-02-01 삼성전자주식회사 디지털 방송을 수신하는 이동 단말기 및 방법
US8310443B1 (en) * 2007-05-02 2012-11-13 Google Inc. Pie chart time indicator
US7992026B2 (en) * 2007-10-19 2011-08-02 Nokia Corporation Controlling broadcast content processing using display state information
JP5299866B2 (ja) * 2009-05-19 2013-09-25 日立コンシューマエレクトロニクス株式会社 映像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218006A (ja) * 2004-02-02 2005-08-11 Matsushita Electric Ind Co Ltd 携帯デジタル放送受信装置
WO2008015864A1 (fr) * 2006-08-04 2008-02-07 Panasonic Corporation Dispositif électronique et son procédé de commande de volume sonore
JP2010288044A (ja) * 2009-06-11 2010-12-24 Toshiba Corp 動画像復号装置、プログラムおよび復号処理簡略化方法

Also Published As

Publication number Publication date
CN103282882A (zh) 2013-09-04
WO2012092036A3 (en) 2012-12-06
KR20130105878A (ko) 2013-09-26
EP2659356A4 (en) 2017-10-25
EP2659356A2 (en) 2013-11-06
US20120170666A1 (en) 2012-07-05
WO2012092036A2 (en) 2012-07-05
AU2011352783A1 (en) 2013-07-04
CN103282882B (zh) 2016-10-26
KR101566255B1 (ko) 2015-11-05
TW201239756A (en) 2012-10-01

Similar Documents

Publication Publication Date Title
US8738951B2 (en) Mobile systems with seamless transition by activating second subsystem to continue operation of application executed by first subsystem as it enters sleep mode
US20170269673A1 (en) Power-gating media decoders to reduce power consumption
US7340621B2 (en) Power conservation techniques for a digital computer
JP4878444B2 (ja) 主コンピューティング環境に対する補助コンピューティング環境としてのタスク指向処理
US8244313B2 (en) Method and electronic device capable of saving power
EP1860555A2 (en) Media subsystem, method and computer program product for adaptive media buffering
JP5537726B2 (ja) マルチメディアファイルの制御過程に高速な応答を実現する方法及び放送装置
JP2014505929A (ja) 特別なメディア再生のシナリオのための電力の最適化
US20120159222A1 (en) Method and system for rapid entry into and for rapid exiting from sleep states for processors of a portable computing device
US9965626B2 (en) Memory attack detection
JP2017502539A (ja) マルチユーザの省電力コードブックの最適化を実現するためのシステムおよび方法
US9298502B2 (en) Pausing virtual machines using API signaling
TWI632816B (zh) 具有能源節約的連續資料遞送技術
CN103530100A (zh) 一种wmp组件静音的方法、装置及播放器
JP2011076387A (ja) 省電力モードを有する端末装置における省電力制御装置、方法、及びプログラム
US20130103392A1 (en) Apparatus and method of reproducing audio data using low power
US7418609B2 (en) Method for instant on multimedia playing
TWI772438B (zh) 用於計算設備中的動態緩衝器大小設定的系統和方法
KR101933137B1 (ko) 저전력으로 동작하는 디지털 신호 처리장치, 디지털 신호 처리방법, 및 상기 디지털 신호 처리장치를 이용하는 모바일 단말기
Archibald Audio System for Portable Market

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140701

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140930

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150120