JP2010193143A - 動画出力方法および動画出力装置 - Google Patents

Abstract

【課題】動画出力装置の変化する状況に応じて、動画の再生映像の品質を著しく低下させることなく低消費電力化を図り、また効果的な高品質化を図る。
【解決手段】動画データの隣接するフレーム間の差分量を検出し、検出された差分量に基づいて各フレームのレベルを決定する。予め定められた各種の条件を監視結果に基づいて、動画データのフレーム数を増減することなく映像出力データを出力する通常モードと、各フレームのレベルに基づいて動画データの特定のフレームを間引く間引きモードと、差分量が所定値以上のフレーム間に中間フレームを生成して挿入する高品質モードとの３動作モードを選択的に実行する。
【選択図】図１

Description

本発明は、動画の再生に関し、特にその動画出力方法および動画出力装置に関する。

従来、動画の再生に関する技術分野において、再生映像の品質向上を目的として、動画再生時にデコーダ部から出力される動きベクトル情報を元に、出力する画像に対するエッジの強調およびフレームの追加挿入を行う技術が提案されている（特許文献１参照）。

特許第４１３９４３０号公報

近年、動画の再生処理を行うプロセッサのパフォーマンスが飛躍的に向上しシステムが複雑化してきた。このような状況においては、より効果的手法としてシステム全体の観点からのアプローチが必要になってきている。例えば、消費電力の制限が厳しいモバイル環境下における動画出力装置においては、電源状態としての電池残量や、ＣＰＵ負荷、コンテンツ品質、等の種々の条件の兼ね合い（バランス）が重要となる。

上記従来技術は、動画の再生映像の品質向上のみを目的としたものであり、このような要請に応えるものではない。

本発明はこのような背景においてなされたものであり、動画出力装置の変化する状況に応じて、動画の再生映像の品質を著しく低下させることなく低消費電力化を図ったり、効果的な高品質化を図ったりする方法および装置を提供する。

本発明による動画出力方法は、動画データの隣接するフレーム間の差分量を検出するステップと、検出された差分量に基づいて各フレームのレベルを決定するステップと、予め定められた各種の条件を監視するステップと、監視結果に基づいて、前記動画データのフレーム数を増減することなく映像出力データを出力する通常モードと、前記各フレームのレベルに基づいて前記動画データの特定のフレームを間引く間引きモードと、前記差分量が所定値以上のフレーム間に中間フレームを生成して挿入する高品質モードとの３動作モードを選択的に実行するステップとを備えたものである。

第１および第２のフレーム間の差分量として動きベクトルを抽出し、両フレームの中間フレームの生成は、第１のフレームの画像と前記動きベクトルの分割値に基づいて行うことができる。

前記各種の条件は、電源状態が所定の状態であるか否か、アプリケーションの表示ウィンドウがフォーカスされているか否か、ＣＰＵ負荷が所定値を越えたか否か、コンテンツ品質がそれ以上の向上を図れるか否か、のうちの少なくとも一つである。

本発明による動画出力装置は、符号化された動画データを復号するデコーダと、復号された動画データの隣接するフレーム間の差分量を抽出する差分抽出手段と、予め定められた各種の条件を監視する監視手段と、監視結果に基づいて、前記動画データのフレーム数を増減することなく映像出力データを出力する通常モードと、前記検出された差分量に基づいて決定された各フレームのレベルに基づいて前記動画データの特定のフレームを間引く間引きモードと、前記差分量が所定値以上のフレーム間に中間フレームを生成して挿入する高品質モードとの３動作モードを選択的に実行する最適化部とを備えたものである。

本発明によれば、予め定められた各種の条件を監視して、監視結果に基づいて、動画データのフレーム数の制御に関する動作モードを切り替えることにより、装置の状況に応じた低消費電力化または効果的な高品質化が可能となる。

本発明の動的映像出力最適化システムを実現するためのデータ処理装置の主要な機能を示した図である。 本発明の実施の形態におけるフレームの最適化の概略を示した図である。 本発明の実施の形態での高品質化モードにおける中間フレームの作成方法の説明図である。 本発明の実施の形態における最適化部で行うモード判定処理の手順を示したフローチャートである。

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。

図１は、本発明の動的映像出力最適化システムを実現するためのデータ処理装置１００の主要な機能を示した図である。データ処理装置１００は、図示しないが、ハードウェア的には、ＣＰＵ、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ、ＤＶＤ等）、入出力装置、通信装置等により構成される。

データ処理装置１００は、ファイルパーサ１１０、デコーダ１２０、動きベクトル分析部１３０、監視部１４０、最適化部１５０、表示ドライバ１６０を備えている。このデータ処理装置１００が出力する映像出力データは表示部（ディスプレイ）１７０へ送出され、動画として表示される。

ファイルパーサ１１０は、外部から入力された、または内部の記憶装置（図示せず）に記憶された、動画ファイルのデータを解析してビデオストリームを出力し、デコーダ１２０へ送る。ビデオストリームは圧縮符号化された動画データである。

デコーダ１２０は、受け取ったビデオストリームに対してデコード処理を行う。その際に、動きベクトル分析部１３０により、フレーム内のマクロブロック層に含まれる動きベクトルを抽出する。この時、同期フレーム、差分フレームに関わらず、全てのフレームのデコード処理を行うものとする。

全てのデコードされたフレームと、動きベクトル分析部１３０からの定量化されている動きベクトル（差分情報）は、最適化部(Optimizer)１５０に渡される。最適化部１５０は、全フレーム中の優先フレームの選別、および、所定のフレーム間の中間フレームの生成に用いられる。優先フレームとは、後述する間引きモード時に間引きの対象とならないフレームをいう。

最適化部１５０は、より具体的には、後述する監視部１４０の監視結果に基づいて、動画データのフレーム数を増減することなく映像出力データを出力する通常モードと、前記検出された差分に基づいて決定された各フレームのレベルに基づいて動画データの特定のフレームを間引く間引きモードと、差分が所定値以上のフレーム間に中間フレームを生成して挿入する高品質モードとの３動作モードを選択的に実行する。

そのために、最適化部１５０は、原則的に、動き予測の量によりフレームの優先度を判断する。但し、同期フレームに関しては、録画時に同期フレームが必要と判断されていることを考慮し、間引かれないように優先度を高く設定する。（換言すれば、同期フレームは原則間引かれないように、優先フレームの判定用の優先度の閾値を設定する。）

最適化部１５０では、復号された動画データの隣接するフレーム間の差分として与えられた動きベクトルの値をあらかじめ定義されている基準値（閾値）と比較する。動きベクトルの値が基準値を超えている場合は当該フレームを差分量の多いフレームと判断し、優先フレーム（動き予測が大きい）として扱う。なお、動画データの１枚目のフレームは優先度を最大とする。

本実施の形態では、複雑化するシステムにおける最適手段を見つけるため、監視部１４０を設けている。監視部１４０は、システムに対して、画像品質を向上させる方向に働きかけるべきか、リフレッシュレートを下げて処理負荷を低減させる方向に働きかけるべきかの判断材料を最適化部１５０に対して入力する。この時の判断材料としては次のものを想定している。
（１）電源状態（パワーステータス）： 本例では電池残量
（２）表示ウィンドウ状態（Ｆｏｃｕｓ／Ｂａｃｋ Ｗｉｎｄｏｗ）： 本例では表示画面中の映像出力ウィンドウにフォーカスがあたっているか否か
（３）ＣＰＵ負荷： ＣＰＵに掛かる負荷
（４）コンテンツ品質： ビデオストリームのビットレート（ｂｐｓ）、フレームレート（ｆｐｓ）

システムでは、監視部１４０からの情報を元に、最適化部で適切な動作モードに切り替えを行う。以下に、本実施の形態において採用する動作モードとして、通常モード以外のモードについて説明する。なお、通常モードとは本発明を適用しなかった場合の処理に相当する。

「間引きモード」
この間引きモードにおいて、選別された優先フレームは表示部１７０へと渡され、差分の小さいフレームは表示部１７０への送信を見送られる。このような手法によって、差分の大きいフレームのみの表示を優先的に行い、効率的にリフレッシュレートを低減させることで、課題としている映像出力時の負荷を低減している。

「高品質化モード」
高品質化モードにおいては、優先フレームの前にフレームを挿入し、動き量の多いフレーム間でのフレーム枚数を増やすことによって、動画の品質を向上させる。

図２により、本実施の形態におけるフレームの最適化の概略を説明する。

図２（ａ）に示すように、デコーダ１２０は、受け取った全てのビデオストリームをデコードする。この時、動きベクトル分析部１３０は、マクロブロック層より動きベクトルの抽出を行い、データ選別に備える。

図２（ｂ）に、図２（ａ）の同期フレームおよび差分フレームの各々について、直前のフレームからの差分量に基づいて当該フレームの優先度を決定する。ここでは、フレームの優先度として、レベル１〜１０のいずれかのレベルに割り振った例を示している。（差分量が大きいほどレベル値が大きくなる。）

この際、同期フレーム（Ｉフレーム）および差分フレーム（Ｐフレーム）を同じ基準で選別し、実際の差分量に応じた処理を行う。以下の例では、レベル６以上のフレームを変化量の大きいフレームとして扱うこととする。

図２（ｃ）は間引きモードにおいて最適化部１５０により抽出されたフレームを示している。間引きモードでは、実際の差分量に基づくフレーム選別によって、映像の品質を可能な限り保持したまま、リフレッシュレートを下げることが出来る。その結果、消費電力の低減が図れる。この例では、レベル６以上のフレーム（優先フレーム）を残す（すなわち、それら以外のフレームを除外する）。

高品質化モードでは、図２（ｄ）に示すように、優先フレームとその前フレームを元に両フレームの間に１または複数の中間フレームを生成する。このような中間フレームとして差分フレームを生成する。この中間フレームを優先フレームの前に挿入し、激しい動きでも品質を下げない、高品質方向に最適化した映像の表示を実現する。

図３に示すように、高品質化モードにおける中間フレームの作成方法は、既知のの技術を用いて行うことができる。本実施の形態では、第１および第２のフレーム間の差分として動きベクトルを抽出し、両フレームの中間フレームの生成は、第１のフレームの画像と動きベクトルの分割値に基づいて行う。すなわち、前後フレームから得られた動きベクトルの中間値を用いて、オブジェクトの動きにのみ対応した中間フレームを生成する。より具体的には、通常のデコード処理と同じく、前フレームを参照画像（基準ピクチャ）として扱い、続く後フレームから動きベクトル情報を取得する。この時、中間フレームの生成のため、検出された動きベクトル量は、作成しようとしている中間フレームの枚数で分割した値を用いる。中間に１枚挿入する場合には、検出された動きベクトル値の半分の値を用い、２枚挿入する場合には、検出された動きベクトル値を３分割（３等分）した値を用いる。３枚挿入する場合は４分割（４等分）した値を用いる。このように挿入する枚数をｎとすると、分割数はｎ＋１となる。中間フレームを生成する際に、直接的にフレーム全体を処理対象とすると処理量が増大する。これに対して、動きベクトル情報に基づいて中間フレームを生成することにより、処理量が軽減される。

隣接するフレーム間に挿入する中間フレームの枚数は予め定めた固定値であってもよいし、フレーム間の差分量に応じて枚数を動的に変更するようにしてもよい。但し、変更後のフレームレートが表示部の表示可能なフレームレートを越えない範囲で行う。

次に図４により、監視部１４０で取得した情報を元に、最適化部１５０で行うモード判定処理を説明する。この処理は、データ処理装置１００のＣＰＵに対する、一定時間（例えば数秒）毎に周期的に、および、ウィンドウのフォーカス状態の変化などの所定のイベントの発生等に応じて割り込みにより起動される。

基本的には、図示のフローが示すように、最優先で判断が必要な判定項目から順に判定を行う。

まず、電池残量の判定を行う（Ｓ１１）。電池残量は所定値を下回った場合、間引きモード（Ｓ１７）へ移行する。間引きモードでは図２（ｃ）に示したように、優先フレームのみを表示部１７０へ出力する。これにより、電力の消耗を軽減することができる。

電池残量は所定値以上であると判定された場合、アプリケーションの表示ウィンドウ判定を行う（Ｓ１２）。この判定は、判定の対象となる動画の表示を行うアプリケーションの表示ウィンドウがフォーカスされているか（アクティブとなっているか）否かを判定するものである。フォーカスされていない場合には、ユーザが当該アプリケーションに注目していないと判断して、間引きモード（Ｓ１７）に移行する。

フォーカスされていると判定された場合、ＣＰＵ負荷判定を行う（Ｓ１３）。ＣＰＵ負荷が所定値（この例では８０％）を越えたと判定された場合、間引きモード（Ｓ１７）へ移行する。

ＣＰＵ負荷が所定値以下であると判定された場合、コンテンツ品質判定を行う（Ｓ１４）。ここではコンテンツ品質の向上が可能であるか否かをチェックする。可能で有れば、高品質モードに移行する（Ｓ１５）。可能でなければ、通常モードに移行する（Ｓ１６）。この判定は、コンテンツのフレームレートと表示部１７０に表示可能なフレームレートとを比較することにより行う。ここでの品質向上は、表示部が表示可能なフレームレートに対して、原則、コンテンツが持つフレームレートが低い場合にのみ成立する。例えば、コンテンツのフレームレートを１５ＦＰＳ（６６ｍｓｅｃ周期）、表示部１７０が表示可能なフレームレートを６０ＦＰＳ（１６ｍｓｅｃ周期）とした場合、高品質モードに移行可能である。高品質モードでは、フレーム補間が必要な区間で、一時的に３０ＦＰＳ（３３ｍｓｅｃ）で表示を更新することができる。

本実施の形態によれば、消費電力の制限が厳しいモバイル環境化における動画出力において、コンテンツの映像データを変更することなく、最適化した映像出力システムが実現される。常時、全てのフレームに対してデコード処理を継続するため、システムの状況変化発生時での即モード切り替えにも対応できる。

以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、ステップＳ１１，Ｓ１３などで挙げた具体的な値は必ずしも上記のものに限るものではない。

１００…データ処理装置、１１０…ファイルパーサ、１２０…デコーダ、１３０…ベクトル分析部、１４０…監視部、１５０…最適化部、１６０…表示ドライバ、１７０…表示部

Claims (8)

1. 動画データの隣接するフレーム間の差分量を検出するステップと、
   検出された差分量に基づいて各フレームのレベルを決定するステップと、
   予め定められた各種の条件を監視するステップと、
   監視結果に基づいて、前記動画データのフレーム数を増減することなく映像出力データを出力する通常モードと、前記各フレームのレベルに基づいて前記動画データの特定のフレームを間引く間引きモードと、前記差分量が所定値以上のフレーム間に中間フレームを生成して挿入する高品質モードとの３動作モードを選択的に実行するステップと
   を備えた動画出力方法。
2. 第１および第２のフレーム間の差分量として動きベクトルを抽出し、両フレームの中間フレームの生成は、第１のフレームの画像と前記動きベクトルの分割値に基づいて行う請求項１に記載の動画出力方法。
3. 前記各種の条件は、電源状態が所定の状態であるか否か、アプリケーションの表示ウィンドウがフォーカスされているか否か、ＣＰＵ負荷が所定値を越えたか否か、コンテンツ品質がそれ以上の向上を図れるか否か、のうちの少なくとも一つである請求項１または２に記載の動画出力方法。
4. まず、電源状態をチェックし、電源状態が所定の状態であれば間引きモードへ移行し、そうでなければアプリケーションの表示ウィンドウをチェックし、アプリケーションの表示ウィンドウがフォーカスされていなければ間引きモードへ移行し、そうでなければＣＰＵ負荷をチェックし、ＣＰＵ負荷が所定値を越えていれば間引きモードへ移行し、そうでなければコンテンツ品質の向上可能性をチェックし、コンテンツ品質がそれ以上の向上を図れなければ、通常モードへ移行し、向上を図れる場合には高品質モードへ移行する請求項３に記載の動画出力方法。
5. 符号化された動画データを復号するデコーダと、
   復号された動画データの隣接するフレーム間の差分量を抽出する差分抽出手段と、
   予め定められた各種の条件を監視する監視手段と、
   監視結果に基づいて、前記動画データのフレーム数を増減することなく映像出力データを出力する通常モードと、前記検出された差分量に基づいて決定された各フレームのレベルに基づいて前記動画データの特定のフレームを間引く間引きモードと、前記差分量が所定値以上のフレーム間に中間フレームを生成して挿入する高品質モードとの３動作モードを選択的に実行する最適化部と
   を備えた動画出力装置。
6. 前記差分抽出手段は、第１および第２のフレーム間の差分量として動きベクトルを抽出し、前記最適化部は、第１のフレームの画像と前記動きベクトルの分割値に基づいて両フレームの中間フレームの生成を行う請求項５に記載の動画出力装置。
7. 前記各種の条件は、電源状態が所定の状態であるか否か、アプリケーションの表示ウィンドウがフォーカスされているか否か、ＣＰＵ負荷が所定値を越えたか否か、コンテンツ品質がそれ以上の向上を図れるか否か、のうちの少なくとも一つである請求項５または６に記載の動画出力装置。
8. 前記最適化部は、まず、電源状態をチェックし、電源状態が所定の状態であれば間引きモードへ移行し、そうでなければアプリケーションの表示ウィンドウをチェックし、アプリケーションの表示ウィンドウがフォーカスされていなければ間引きモードへ移行し、そうでなければＣＰＵ負荷をチェックし、ＣＰＵ負荷が所定値を越えていれば間引きモードへ移行し、そうでなければコンテンツ品質の向上可能性をチェックし、コンテンツ品質がそれ以上の向上を図れなければ、通常モードへ移行し、向上を図れる場合には高品質モードへ移行する請求項７に記載の動画出力装置。