JP2009171435A

JP2009171435A - 情報処理装置、及びプログラム

Info

Publication number: JP2009171435A
Application number: JP2008009502A
Authority: JP
Inventors: Atsushi Matsuno; 厚松野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-01-18
Filing date: 2008-01-18
Publication date: 2009-07-30
Anticipated expiration: 2028-01-18
Also published as: JP4346663B2; US8005348B2; US20090185072A1

Abstract

【課題】複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを可能とした情報処理装置を提供する。
【解決手段】ＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツを再生するＨＤＤＶＤプレーヤアプリケーションプログラム１５１のレンダラ１５１５は、コンポジット部１５１５ａによる複数の画像データの合成処理およびプレゼント部１５１５ｂによる合成画像データの出力処理の所要時間を計測し、その値が予め定められた値を越えていないかどうかを監視し、越えていた場合、単位時間当たりの処理対象フレーム数を減少させることによって、動画像データの合成処理に関するフレームレートを段階的に低下させる。
【選択図】図３

Description

この発明は、例えばＨＤＤＶＤ（High Definition Digital Versatile Disc）を再生する機能を有するパーソナルコンピュータなどの情報処理装置に適用して好適なフレームレート調整技術に関する。

近年、動画像のデジタル圧縮符号化技術の進展に伴い、ＨＤ（High Definition）規格の高精細映像を扱うことが可能な再生装置（プレーヤ）が普及し始めている。また、最近では、このＨＤ規格の高精細映像をパーソナルコンピュータで扱えるようにするためのソフトウェア開発も進められている。

パーソナルコンピュータは、例えば搭載するＣＰＵの性能等によって、その処理能力が大きく異なってくる。また、パーソナルコンピュータは、種々のソフトウェアを同時に動作させることが可能であるので、同一のパーソナルコンピュータ上においても、各ソフトウェアの動作環境は大きく変動する。

このようなことから、その時々の状況に応じて、デジタル圧縮符号化された動画像データのデコードを処理量の少ない簡便なものに切り換える等といった負荷低減のための提案がこれまでも種々なされている（例えば特許文献１等参照）。
特開２００１−２４５２９４号公報

ところで、ＨＤＤＶＤＶｉｄｅｏ規格では、Ｐｌａｎｅ１〜Ｐｌａｎｅ５の５つのＰｌａｎｅが定義されており、各Ｐｌａｎｅにカーソル、グラフィクス、サブピクチャ、サブビデオ、メインビデオがそれぞれ割り当てられている。そのため、ＤＶＤメディアに格納されるＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツを再生する場合には、最大で５つの画像を合成する必要がある。従って、デコードの処理量のみならず、複数の画像を合成しつつ描画するレンダリングの処理量も飛躍的に増加する。

しかしながら、例示した特許文献１を含めて、デコードの処理量を制御する仕組みについては種々検討されているものの、当該レンダリングの処理量を制御する仕組みについてはこれまで何ら検討されていないのが実情である。レンダリングの処理量の増加は、たとえデコードの処理量を最大限度まで低減したとしても、いわゆるコマ落ちを発生させてしまうおそれを否定し切れないため、当該レンダリングの処理量を制御する仕組みが強く望まれる。

この発明は、このような事情を考慮してなされたものであり、複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを可能とした情報処理装置を提供することを目的とする。

この目的を達成するために、この発明の情報処理装置は、複数の画像を合成して各フレームの画像が形成される動画像を符号化した前記複数の画像の画像データを含んでなる符号化された動画像データを入力する入力手段と、前記入力手段が入力した動画像データに含まれる前記複数の画像データを各々復号する復号手段と、前記復号手段が各々復号した前記複数の画像データを合成して各フレームの画像の画像データを形成して出力する描画手段と、を具備し、前記描画手段は、前記複数の画像データを合成して当該合成した画像データを出力するまでの所要時間を計測する計測手段と、前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像データの合成処理に関するフレームレートを低下させるフレームレート調整手段と、を有することを特徴とする。

この発明によれば、複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを可能とした情報処理装置を提供することができる。

以下、図面を参照して、この発明の一実施形態を説明する。

図１は、本実施形態に係る情報処理装置のシステム構成を示す図である。この情報処理装置は、例えばノートブック型パーソナルコンピュータとして実現されている。

図１に示すように、本コンピュータは、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、ＬＣＤ１０６、サウンドコントローラ１０７、スピーカ１０８、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＨＤＤＶＤドライブ１１２、カードコントローラ１１３、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１６、キーボード（ＫＢ）１１７、タッチパッド１１８、クリックボタン１１９等を備えている。

ＣＰＵ１０１は、本コンピュータ１０の動作を制御するプロセッサであり、ＨＤＤ１１１から主メモリ１０３にロードされる各種プログラムを実行する。このＣＰＵ１０１によって実行される各種プログラムの中には、オペレーティングシステム１５０や、ＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツを再生するＨＤＤＶＤプレーヤアプリケーションプログラム１５１が存在する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩＥＸＰＲＥＳＳ規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。ＧＰＵ１０５は、本コンピュータのディスプレイモニタとして使用されるＬＣＤ１０６を制御する表示コントローラである。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスおよびＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１１１、ＨＤＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０７との通信を実行する機能も有している。サウンドコントローラ１０７は音源デバイスであり、再生対象のオーディオデータをスピーカ１０８に出力する。

カードコントローラ１１３は、ＰＣカードやＳＤ（Secure Digital）カードのようなカードを制御する。無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。ＥＣ／ＫＢＣ１１６は、電力管理のためのエンベデッドコントローラと、ＫＢ１１７、タッチパッド１８およびクリックボタン１１９を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。

次に、図２を参照して、ＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツの画像構成について説明する。

ＨＤＤＶＤＶｉｄｅｏ規格では、Ｐｌａｎｅ１〜Ｐｌａｎｅ５の５つのＰｌａｎｅが定義されており、各レイヤにカーソル、グラフィクス、サブピクチャ、サブビデオ、メインビデオがそれぞれ割り当てられている。そのため、ＤＶＤメディアに格納されるＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツには、メインビデオデータ、サブビデオデータ、サブピクチャデータ、グラフィクスデータ、ナビゲーションデータが含まれる（そのほか、オーディオデータとしてメインオーディオデータ、サブオーディオデータが含まれる）。

ナビゲーションデータには、さらにスクリプト（ＸＭＬ）が含まれている。このスクリプトは、例えばユーザによるポインティングデバイス（タッチパッド１１８およびクリックボタン１１９）操作に応じてグラフィクスデータおよびカーソルを表示制御するためのデータであり、カーソルの形状やカーソルを配置可能なカーソル領域などを記述することができる。

即ち、ＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツは、各フレーム毎に、Ｐｌａｎｅ１〜Ｐｌａｎｅ５の５つの画像ａ１〜画像ａ５を合成することによって、目的の画像ａ６が形成されることになる。ＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツは、６０ｆｐｓ（フレーム／秒）のフレームレートで描画（レンダリング）されるのが一般的であるため、ＬＣＤ１０６のリフレッシュレートを６０Ｈｚとすると、１６ｍｓ〜１７ｍｓの時間で合成および描画を行わなければならない。

そこで、本コンピュータは、このＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツを再生するＨＤＤＶＤプレーヤアプリケーションプログラム１５１が、いわゆるコマ落ちを発生させることがないように、その時々の状況に応じて、レンダリングに関わるフレームレートを低下させる機能を備えたものであり、以下、この点について詳述する。

図３は、前述した画像構成をもつＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツを再生するＨＤＤＶＤプレーヤアプリケーションプログラム１５１の画像処理に関わる機能ブロックを示す図である。

ＨＤＤＶＤプレーヤアプリケーションプログラム１５１は、オペレーティングシステム１５０の制御下で動作するいわゆるアプリケーションプログラムであり、図３に示すように、データ読み取り部１５１１、暗号化解除処理部１５１２、デマルチプレクサ（Ｄｅｍｕｘ）１５１３、デコーダ１５１４およびレンダラ１５１５を備えている。

また、デコーダ１５１４は、ビデオデコーダ１５１４ａ、サブピクチャデコーダ１５１４ｂ、サブビデオデコーダ１５１４ｃ、グラフィクスデコーダ１５１４ｄ、カーソルドローウィングマネージャ１５１４ｅおよびオーディオデコーダ１５１４ｆを有しており、また、レンダラ１５１５は、コンポジット部１５１５ａおよびプレゼント部１５１５ｂを有している。

ＤＶＤメディアに格納されたＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツ（メインビデオデータ、サブビデオデータ、サブピクチャデータ、メインオーディオデータ、サブオーディオデータ、グラフィクスデータ、ナビゲーションデータ）は、データ読み取り部１５１１がＨＤＤＶＤドライブ１１２によって読み出す。各データはそれぞれ暗号化されており、また、ＨＤＤＶＤストリームとして多重化されている。

データ読み取り部１５１１によって読み出されたＨＤＤＶＤストリームは、暗号化解除処理部１５１２に送られて暗号化を解除するための処理が行われる。暗号化が解除されたＨＤＤＶＤストリームは、Ｄｅｍｕｘ１５１３に送られる。

Ｄｅｍｕｘ１５１３は、このＨＤＤＶＤストリームから各データを分離する。Ｄｅｍｕｘ１５１３によって分離された各データは、デコーダ１５１４に送られ、メインビデオデータはビデオデコーダ１５１４ａ、サブピクチャデータはサブピクチャデコーダ１５１４ｂ、サブビデオデータはサブビデオデコーダ１５１４ｃ、グラフィクスデータはグラフィクスデコーダ１５１４ｄ、メインオーディオデータおよびサブオーディオデータはオーディオデコーダ１５１４ｆによってそれぞれデコードされる。また、ナビゲーションデータは、カーソルドローウィングマネージャ１５１４ｅに渡され、カーソルドローウィングマネージャ１５１４ｅは、当該ナビゲーションデータに含まれるスクリプト（ＸＭＬ）に基づき、カーソルデータを生成する。

このデコーダ１５１４によってデコードされたメインビデオデータ、サブピクチャデータ、サブビデオデータおよびグラフィクスデータと、同じくデコーダ１５１４によって生成されたカーソルデータとは、ＶＲＡＭ１０５Ａに格納される。これらのデータの格納領域として、主メモリ１０３を適用することも可能である。そして、これらのデータはレンダラ１５１５によって読み出され、コンポジット部１５１５ａによって合成された後、プレゼント部１５１５ｂによってＧＰＵに向けて出力され、当該ＧＰＵ１０５を介してＬＣＤ１０６に表示される。なお、デコーダ１５１４によってデコードされたメインオーディオデータおよびサブオーディオデータは、サウンドコントローラ１０７を介してスピーカ１０８に出力される。

レンダラ１５１５は、コンポジット部１５１５ａによる複数の画像データの合成処理およびプレゼント部１５１５ｂによる合成画像データの出力処理の所要時間を計測し、その値が前述の１６ｍｓを越えていないかどうかを監視する。そして、越えていたら、レンダラ１５１５は、本来であれば１秒間に６０フレーム処理すべきところを、その単位時間当たりの処理対象フレーム数を段階的（１／２，１／３，１／４等）に低下させていく。即ち、例えば、まず、６０ｆｐｓから３０ｆｐｓにフレームレートを低下させ、これによっても所要時間が１６ｍｓを越えているようであれば、３０ｆｐｓからさらに２０ｆｐｓ、１５ｆｐｓへとフレームレートを低下させていく。このフレームレートの低下は、いわゆる間引きを行うことで実施する。

逆に、例えば合成させるべきＰｌａｎｅ数が減少したり、（他のソフトウェアが動作を終了させた等により）本コンピュータの動作環境が改善したことにより、所要時間が短縮する傾向が見られた場合には、レンダラ１５１５は、低下させたフレームレートを復帰させるべく段階的に上昇させていく。

このように、本コンピュータ上で動作する（ＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツを再生する）ＨＤＤＶＤプレーヤアプリケーションプログラム１５１は、レンダラ１５１５が、レンダリングの処理量を制御する仕組みを備える。なお、ここでは、デコードの処理量を制御する仕組みについては特に触れていないが、デコーダ１５１４に、種々提案されている既存のデコードの処理量を制御する仕組みを併せて備えさせることは当然に可能である。

図４は、本コンピュータ上で動作するＨＤＤＶＤプレーヤアプリケーションプログラム１５１が実行するレンダリングに関わる動作手順を示すフローチャートである。

ＨＤＤＶＤプレーヤアプリケーションプログラム１５１のレンダラ１５１５は、デコーダ１５１４によってデコードまたは生成されてＶＲＡＭ１０５Ａに格納された複数の画像データをコンポジット部１５１５ａが合成し（ステップＡ１）、この合成後の画像データをプレゼント部１５１５ｂが出力する（ステップＡ２）。

また、レンダラ１５１５は、ステップＡ１〜ステップＡ２のコンポジット部１５１５ａによる合成処理およびプレゼント部１５１５ｂによる出力処理の所要時間を計測し（ステップＡ３）、その値が１６ｍｓを越えていないかどうかを監視する（ステップＡ４）。

もし、その値が１６ｍｓを越えていた場合（ステップＡ４のＹＥＳ）、レンダラ１５１５は、現在のフレームレートが最小か否かを調べ（ステップＡ５）、最小でなければ（ステップＡ５のＮＯ）、フレームレートを１段階低下させる（ステップＡ６）。

また、その値が１６ｍｓの範囲内にある場合（ステップＡ４のＮＯ）、レンダラ１５１５は、現在のフレームレートが最大か否かを調べ（ステップＡ７）、最大でなければ（ステップＡ７のＮＯ）、フレームレートを１段階上昇させる（ステップＡ８）。

このように、本コンピュータは、複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを実現する。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係るコンピュータのシステム構成を示す図ＨＤＤＶＤＶｉｄｅｏ規格のＡＶコンテンツの画像構成を説明するための概念図同実施形態のコンピュータ上で動作するＨＤＤＶＤプレーヤアプリケーションプログラムの画像処理に関わる機能ブロックを示す図同実施形態のコンピュータ上で動作するＨＤＤＶＤプレーヤアプリケーションプログラムが実行するレンダリングに関わる動作手順を示すフローチャート

符号の説明

１０１…ＣＰＵ、１０２…ノースブリッジ、１０３…主メモリ、１０４…サウスブリッジ、１０５…グラフィクスプロセッシングユニット（ＧＰＵ）、１０５Ａ…ビデオメモリ（ＶＲＡＭ）、１０６…ＬＣＤ、１０７…サウンドコントローラ、１０８…スピーカ、１０９…ＢＩＯＳ−ＲＯＭ、１１０…ＬＡＮコントローラ、１１１…ハードディスクドライブ（ＨＤＤ）、１１２…ＨＤＤＶＤドライブ、１１３…カードコントローラ、１１４…無線ＬＡＮコントローラ、１１５…IEEE 1394コントローラ、１１６…エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）、１１７…キーボード（ＫＢ）、１１８…タッチパッド、１１９…クリックボタン、１５０…オペレーティングシステム、１５１…ＨＤＤＶＤプレーヤアプリケーションプログラム、１５１１…読み取り部、１５１２…暗号化解除処理部、１５１３…デマルチプレクサ、１５１４…デコーダ、１５１４ａ…ビデオデコーダ、１５１４ｂ…サブピクチャデコーダ、１５１４ｃ…サブビデオデコーダ、１５１４ｄ…グラフィクスデコーダ、１５１４ｅ…カーソルドローウィングマネージャ、１５１４ｆ…オーディオデコーダ、１５１５…レンダラ、１５１５ａ…コンポジット部、１５１５ｂ…プレゼント部。

Claims

複数の画像を合成して各フレームの画像が形成される動画像を符号化した前記複数の画像の画像データを含んでなる動画像データを入力する入力手段と、
前記入力手段が入力した動画像データに含まれる前記複数の画像データを各々復号する復号手段と、
前記復号手段が各々復号した前記複数の画像データを合成して各フレームの画像の画像データを形成して出力する描画手段と、
を具備し、
前記描画手段は、
前記複数の画像データを合成して当該合成した画像データを出力するまでの所要時間を計測する計測手段と、
前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像データの合成処理に関するフレームレートを低下させるフレームレート調整手段と、
を有することを特徴とする情報処理装置。
前記描画手段の前記フレームレート調整手段は、フレームレートを段階的に低下させていくことを特徴とする請求項１記載の情報処理装置。
前記描画手段の前記フレームレート調整手段は、フレームレートを低下させた後、前記計測手段が計測した所要時間が予め定められた値以下となった場合、フレームレートを上昇させる手段を含むことを特徴とする請求項１記載の情報処理装置。
前記複数の画像データには、主映像として用いられるメインビデオデータ、副映像として用いられるサブビデオデータ、字幕等を表示するためのサブピクチャデータおよび操作ガイダンス等を表示するためのグラフィクスデータが含まれることを特徴とする請求項１記載の情報処理装置。
複数の画像を合成して各フレームの画像が形成される動画像を表示する機能を有する情報処理装置において、
前記複数の画像の合成に関わる所要時間を計測する計測手段と、
前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像の合成処理に関するフレームレートを低下させるフレームレート調整手段と、
を具備することを特徴とする情報処理装置。
複数の画像を合成して各フレームの画像が形成される動画像を表示する機能を有するコンピュータを、
前記複数の画像の合成から当該合成した画像の出力に関わる所要時間を計測する計測手段、
前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像の合成処理に関するフレームレートを低下させるフレームレート調整手段、
として機能させるためのプログラム。