JP2006254320A - 情報処理装置および同装置で用いられるプログラム - Google Patents

Abstract

【課題】動画像ストリームのデコードをスムーズに実行することが可能な情報処理装置を実現する。
【解決手段】ビデオ再生アプリケーションプログラムは、動画像ストリームに含まれる画面に対してブレンド処理が施されるか否かを判別し（Ｓ１０１）、ブレンド処理が施される場合には、ＣＰＵに実行させるべきデコード処理として特殊デコード処理を選択し、指定されている透過率に応じた制御モードを選定する（Ｓ１０３）。そして、ビデオ再生アプリケーションプログラムは、選定した制御モードに従ってデブロッキングフィルタ処理の処理量を低減させるデコード処理をＣＰＵ上で実行する（Ｓ１０４）。
【選択図】図８

Description

本発明はパーソナルコンピュータのような情報処理装置および同装置で用いられるデコード用のプログラムに関する。

近年、ＤＶＤ（Digital Versatile Disc）プレーヤ、ＴＶ装置のようなオーディオ・ビデオ（ＡＶ）機器と同様のＡＶ機能を備えたパーソナルコンピュータが開発されている。

このようなパーソナルコンピュータにおいては、圧縮符号化された動画像ストリームをソフトウェアによってデコードするソフトウェアデコーダが用いられている。ソフトウェアデコーダの使用により、専用のハードウェアを設けることなく、圧縮符号化された動画像ストリームをプロセッサ（ＣＰＵ）によってデコードすることが可能になる。

ソフトウェアデコーダを用いたシステムとしては、ＭＰＥＧ２、ＭＰＥＧ４のような動き補償フレーム間予測符号化によって符号化されたストリームをデコードした後に、そのデコードによって得られた出力画像信号に対して画質改善のためのポストフィルタ処理を施すシステムが知られている（例えば、特許文献１参照）。このシステムにおいては、コマ落ちの発生を防止するために、ポストフィルタ処理で実行されるべきフィルタ処理を変更してポストフィルタ処理に要する時間を削減する技術が利用されている。
特開２００１−２４５２９４号公報

しかし、ポストフィルタ処理はデコーダの外側で行われる処理である。このため、もしソフトウェアデコーダのデコード処理自体に遅れが生じた場合には、たとえポストフィルタ処理に要する時間を低減しても、コマ落ちの発生を防止することはできない。

ところで、最近では、次世代の動画像圧縮符号化技術として、Ｈ．２６４／ＡＶＣ（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格が注目されている。Ｈ．２６４／ＡＶＣ規格は、ＭＰＥＧ２、ＭＰＥＧ４のような従来の圧縮符号化技術よりも高能率の圧縮符号化技術である。このため、Ｈ．２６４／ＡＶＣ規格に対応するエンコード処理およびデコード処理の各々においては、ＭＰＥＧ２、ＭＰＥＧ４のような従来の圧縮符号化技術よりも多くの処理量が必要とされる。

したがって、Ｈ．２６４／ＡＶＣ規格で圧縮符号化された動画像ストリームをソフトウェアによってデコードするように設計されたパーソナルコンピュータにおいては、システムの負荷が増大すると、デコード処理自体に遅れが生じ、これによってスムーズな動画再生を実行できなくなる危険がある。

本発明は上述の事情を考慮してなされたものであり、動画像ストリームのデコードをスムーズに実行することが可能な情報処理装置およびプログラムを提供することを目的とする。

本発明に係る情報処理装置は、圧縮符号化された動画像ストリームをデコードする情報処理装置であって、前記動画像ストリームに含まれる画面に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施す手段と、指定された透過率で第１の画面上に第２の画面を重畳させるブレンド処理を施す手段と、前記動画像ストリームに含まれる画面に対して前記ブレンド処理が施されるか否かを判定し、当該ブレンド処理が施される場合に、前記透過率に応じて、前記第１の画面および前記第２の画面の少なくとも一方に対する前記デブロッキングフィルタ処理の処理量を変化させる制御手段とを具備することを特徴とする。

本発明に係るプログラムは、圧縮符号化された動画像ストリームをデコードするデコード処理をコンピュータに実行させるプログラムであって、前記動画像ストリームに含まれる画面に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施す処理を、前記コンピュータに実行させる手順と、指定された透過率で第１の画面上に第２の画面を重畳させるブレンド処理が前記動画像ストリームに含まれる画面に対して施されるか否かを判定する処理を、前記コンピュータに実行させる手順と、前記ブレンド処理が施される場合に、前記透過率に応じて、前記第１の画面および前記第２の画面の少なくとも一方に対する前記デブロッキングフィルタ処理の処理量を変化させる処理を、前記コンピュータに実行させる手順とを具備することを特徴とする。

本発明によれば、動画像ストリームのデコードをスムーズに実行することが可能となる。

以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えば、ノートブック型パーソナルコンピュータ１０として実現されている。

図１はノートブック型パーソナルコンピュータ１０のディスプレイユニットを開いた状態における正面図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２にはＬＣＤ（Liquid Crystal Display）１７から構成される表示装置が組み込まれており、そのＬＣＤ１７の表示画面はディスプレイユニット１２のほぼ中央に位置されている。

ディスプレイユニット１２は、コンピュータ本体１１に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１を電源オン／オフするためのパワーボタン１４、入力操作パネル１５、およびタッチパッド１６などが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ起動ボタン１５Ａ、ＤＶＤ（Digital Versatile Disc）起動ボタン１５Ｂも含まれている。ＴＶ起動ボタン１５Ａは、デジタルＴＶ放送番組のような放送番組データの再生及び記録を行うためのＴＶ機能を起動するためのボタンである。ＴＶ起動ボタン１５Ａがユーザによって押下された時、ＴＶ機能を実行するためのアプリケーションプログラムが自動的に起動される。ＤＶＤ起動ボタン１５Ｂは、ＤＶＤに記録されたビデオコンテンツを再生するためのボタンである。ＤＶＤ起動ボタン１５Ｂがユーザによって押下された時、ビデオコンテンツを再生するためのアプリケーションプログラムが自動的に起動される。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１１１、ノースブリッジ１１２、主メモリ１１３、グラフィクスコントローラ１１４、サウスブリッジ１１９、ＢＩＯＳ−ＲＯＭ１２０、ハードディスクドライブ（ＨＤＤ）１２１、光ディスクドライブ（ＯＤＤ）１２２、デジタルＴＶ放送チューナ１２３、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４、およびネットワークコントローラ１２５等を備えている。

ＣＰＵ１１１は本コンピュータ１０の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（ＨＤＤ）１２１から主メモリ１１３にロードされる、オペレーティングシステム（ＯＳ）、およびビデオ再生アプリケーションプログラム２０１のような各種アプリケーションプログラムを実行する。

ビデオ再生アプリケーションプログラム２０１は、圧縮符号化された動画像データをデコードおよび再生するためのソフトウェアである。このビデオ再生アプリケーションプログラム２０１は、Ｈ．２６４／ＡＶＣ規格に対応するソフトウェアデコーダである。ビデオ再生アプリケーションプログラム２０１は、Ｈ．２６４／ＡＶＣ規格で定義された符号化方式で圧縮符号化されている動画像ストリーム（例えば、デジタルＴＶ放送チューナ１２３によって受信されたデジタルＴＶ放送番組、光ディスクドライブ（ＯＤＤ）１２２から読み出されるＨＤ（High Definition）規格のビデオコンテンツ、など）をデコードするための機能を有している。

このビデオ再生アプリケーションプログラム２０１は、図３に示すように、デコード制御モジュール２１１、デコード実行モジュール２１２およびブレンド処理部２１３を備えている。

デコード実行モジュール２１２は、Ｈ．２６４／ＡＶＣ規格で定義されたデコード処理を実行するデコーダである。ブレンド処理部２１３は、デコード実行モジュール２１２によってデコードされた２つの画像を重ね合わせるためのブレンド処理を実行する。ブレンド処理は、重ねる側（上側）の画像データに付随するアルファデータに基づき、２つの画像データを画素単位で重ね合わせるものである（アルファブレンディング）。アルファデータは、重ねる側（上側）の画像データの各画素の透明度（透過率）または不透明度を示す係数である。なお、ここでは、重ねる側（上側）および重ねられる側（下側）の双方ともデコード実行モジュール２１２によってデコードされた画像を例に説明するが、これに限られるものではなく、いずれか一方を、例えばユーザインタフェース用に予め用意されたメニュー画面等の描画（グラフィックス）とした重ね合わせも可能である。

そして、デコード制御モジュール２１１は、デコード実行モジュール２１２によってデコードされた画像がブレンド処理部２１３によるブレンド処理に用いられるか否かで、デコード実行モジュール２１２によって実行されるデコード処理の内容を制御する。

具体的には、デコード制御モジュール２１１は、デコード実行モジュール２１２によってデコードされた画像がブレンド処理部２１３によるブレンド処理に用いられない場合、Ｈ．２６４／ＡＶＣ規格で定義されたデコード処理がＣＰＵ１１１によって実行されるように、デコード実行モジュール２１２によって実行すべきデコード処理の内容を制御する。一方、ブレンド処理部２１３によるブレンド処理に用いられる場合には、デコード制御モジュール２１１は、Ｈ．２６４／ＡＶＣ規格で定義されたデコード処理の一部が簡略または省略された処理に置換されるように、デコード実行モジュール２１２によって実行すべきデコード処理の内容を制御する。

ビデオ再生アプリケーションプログラム２０１によってデコードされた動画像データは、表示ドライバ２０２を介してグラフィクスコントローラ１１４のビデオメモリ１１４Ａに順次書き込まれる。これにより、デコードされた動画像データはＬＣＤ１７に表示される。表示ドライバ２０２はグラフィクスコントローラ１１４を制御するためのソフトウェアである。

また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１２０に格納されたシステムＢＩＯＳ（Basic Input Output System）も実行する。システムＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１１２はＣＰＵ１１１のローカルバスとサウスブリッジ１１９との間を接続するブリッジデバイスである。ノースブリッジ１１２には、主メモリ１１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１１２は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１１４との通信を実行する機能も有している。

グラフィクスコントローラ１１４は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このグラフィクスコントローラ１１４はビデオメモリ（ＶＲＡＭ）１１４Ａに書き込まれた画像データからＬＣＤ１７に送出すべき表示信号を生成する。

サウスブリッジ１１９は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１１９は、ＨＤＤ１２１、ＯＤＤ１２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１１９は、デジタルＴＶ放送チューナ１２３を制御する機能、およびＢＩＯＳ−ＲＯＭ１２０をアクセス制御するための機能も有している。

ＨＤＤ１２１は、各種ソフトウェア及びデータを格納する記憶装置である。光ディスクドライブ（ＯＤＤ）１２３は、ビデオコンテンツが格納されたＤＶＤなどの記憶メディアを駆動するためのドライブユニットである。デジタルＴＶ放送チューナ１２３は、デジタルＴＶ放送番組のような放送番組データを外部から受信するための受信装置である。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるＴＶ起動ボタン１５Ａ、ＤＶＤ起動ボタン１５Ｂの操作に応じて、本コンピュータ１０をパワーオンすることもできる。ネットワークコントローラ１２５は、例えばインターネットなどの外部ネットワークとの通信を実行する通信装置である。

次に、図４を参照して、ビデオ再生アプリケーションプログラム２０１によって実現されるソフトウェアデコーダの機能構成を説明する。

ビデオ再生アプリケーションプログラム２０１のデコード実行モジュール２１２は、Ｈ．２６４／ＡＶＣ規格に対応しており、図示のように、エントロピー復号部３０１、逆量子化部３０２、逆ＤＣＴ部（DCT：Discrete Cosine Transform）３０３、加算部３０４、デブロッキングフィルタ部３０５、フレームメモリ３０６、動きベクトル予測部３０７、補間予測部３０８、重み付き予測部３０９、イントラ予測部３１０、およびモード切替スイッチ部３１１を含む。Ｈ．２６４の直交変換は整数精度であり、従来のＤＣＴとは異なるが、ここではＤＣＴと称することとする。

各画面（ピクチャ）の符号化は、たとえば１６ｘ１６画素のマクロブロック単位で実行される。各マクロブロックごとに、フレーム内符号化モード（イントラ符号化モード）および動き補償フレーム間予測符号化モード（インター符号化モード）のいずれか一方が選択される。

動き補償フレーム間予測符号化モードにおいては、既に符号化された画面（ピクチャ）からの動きを推定することによって、符号化対象画面に対応する動き補償フレーム間予測信号が定められた形状単位で生成される。そして、符号化対象画面（ピクチャ）から動き補償フレーム間予測信号を引いた予測誤差信号が、直交変換（ＤＣＴ）、量子化、およびエントロピー符号化によって、符号化される。また、イントラ符号化モードにおいては、符号化対象画面（ピクチャ）から予測信号が生成され、その予測信号が直交変換（ＤＣＴ）、量子化、およびエントロピー符号化によって、符号化される。

Ｈ．２６４／ＡＶＣ規格に対応するコーデックは、さらに圧縮率を高めるために、
（１）従来のＭＰＥＧよりも高い画素精度（１／４画素精度）の動き補償
（２）フレーム内符号化を効率的に行うためのフレーム内予測
（３）ブロック歪みを低減するためのデブロッキングフィルタ
（４）４ｘ４画素単位の整数ＤＣＴ
（５）任意の位置の複数の画面（ピクチャ）を参照画面として使用可能なマルチリファレンスフレーム
（６）重み付け予測
等の技術を利用する。

以下、図４のソフトウェアデコーダの動作を説明する。

Ｈ．２６４／ＡＶＣ規格にしたがって圧縮符号化された動画像ストリームは、まず、エントロピー復号部３０１に入力される。圧縮符号化された動画像ストリームには、符号化された画像情報の他に、動き補償フレーム間予測符号化（インター予測符号化）で用いられた動きベクトル情報、フレーム内予測符号化（イントラ予測符号化）で用いられたフレーム内予測情報、予測モード（インター予測符号化／イントラ予測符号化）を示すモード情報等が含まれている。

デコード処理は、たとえば１６ｘ１６画素のマクロブロック単位で実行される。エントロピー復号部３０１は動画像ストリームに対して可変長復号のようなエントロピー復号処理を施して、動画像ストリームから、量子化ＤＣＴ係数、動きベクトル情報（動きベクトル差分情報）、フレーム内予測情報、およびモード情報を分離する。この場合、例えば、デコード対象画面（ピクチャ）内の各マクロブロックは４ｘ４画素（または８ｘ８画素）のブロック毎にエントロピー復号処理され、各ブロックは４ｘ４（または８ｘ８画素）の量子化ＤＣＴ係数に変換される。以下では、各ブロックが４ｘ４である場合を想定する。

動きベクトル情報は、動きベクトル予測部３０７に送られる。フレーム内予測情報は、イントラ予測部３１０に送られる。モード情報はモード切替スイッチ部３１１に送られる。

各デコード対象ブロックの４ｘ４の量子化ＤＣＴ係数は、逆量子化部３０２による逆量子化処理により４ｘ４のＤＣＴ係数（直交変換係数）に変換される。この４ｘ４のＤＣＴ係数は、逆ＤＣＴ部３０３による逆整数ＤＣＴ（逆直交変換）処理によって、周波数情報から、４ｘ４の画素値に変換される。この４ｘ４の画素値は、デコード対象ブロックに対応する予測誤差信号である。この予測誤差信号は加算部３０４に送られ、そこでデコード対象ブロックに対応する予測信号（動き補償フレーム間予測信号またはフレーム内予測信号）が加算され、これによってデコード対象ブロックに対応する４ｘ４の画素値がデコードされる。

イントラ予測モードにおいては、モード切替スイッチ部３１１によってイントラ予測部３１０が選択され、これによってイントラ予測部３１０からのフレーム内予測信号が予測誤差信号に加算される。インター予測モードにおいては、モード切替スイッチ部３１１によって重み付き予測部３０９が選択され、これによって、動きベクトル予測部３０７、補間予測部３０８、および重み付き予測部３０９によって得られる動き補償フレーム間予測信号が予測誤差信号に加算される。

このように、デコード対象画面に対応する予測誤差信号に予測信号（動き補償フレーム間予測信号またはフレーム内予測信号）を加算してデコード対象画面をデコードする処理が所定のブロック単位で実行される。

デコードされた各画面（ピクチャ）は、デブロッキングフィルタ部３０５によってデブロッキングフィルタ処理が施された後に、フレームメモリ３０６に格納される。このデブロッキングフィルタ部３０５は、例えば４ｘ４画素のブロック単位で、デコードされた各画面に対してブロックノイズを低減するためのデブロッキングフィルタ処理を施す。このデブロッキングフィルタ処理は、ブロック歪みが参照画像に含まれてしまい、これによってブロック歪みが復号画像に伝搬してしまうことを防止する。デブロッキングフィルタ処理のための処理量は膨大であり、ソフトウェアデコーダの全処理量の５０パーセントを占める場合もある。デブロッキングフィルタ処理は、ブロック歪みが生じやすい箇所に対してはより強いフィリタリングが施され、ブロック歪みが生じにくい箇所に対しては弱いフィリタリングが施されるように、適応的に実行される。デブロッキングフィルタ処理はループフィルタ処理によって実現されている。

そして、デブロッキングフィルタ処理された各画面は、フレームメモリ３０６から出力画像フレーム（または出力画像フィールド）として読み出される。また、動き補償フレーム間予測のための参照画像として使用されるべき各画面（参照画面）は、フレームメモリ３０６内に一定期間保持される。Ｈ．２６４／ＡＶＣ規格の動き補償フレーム間予測符号化においては、複数の画面を参照画面として使用することができる。このため、フレームメモリ３０６は、複数画面分の画像を記憶するための複数個のフレームメモリ部を備えている。

動きベクトル予測部３０７は、デコード対象ブロックに対応する動きベクトル差分情報に基づいて、動きベクトル情報を生成する。補間予測部３０８は、デコード対象ブロックに対応する動きベクトル情報に基づいて、参照画面内の、整数精度の画素群および１／４画素精度の予測補間画素群から、動き補償フレーム間予測信号を生成する。１／４画素精度の予測補間画素の生成においては、まず６タップフィルタ（入力６つ、出力１つ）を用いて１／２画素を生成し、続いて２タップフィルタを用いることにより実現される。このため、高周波成分まで考慮した高精度の予測補間処理を実行できるが、その分、動き補償には多くの処理量が必要となる。

重み付け予測部３０９は、動き補償フレーム間予測信号に対して重み係数を乗じる処理を動き補償ブロック単位で実行することにより、重み付けされた動き補償フレーム間予測信号を生成する。この重み付け予測は、デコード対象画面の明るさを予測する処理である。この重み付け予測処理により、フェード・イン、フェード・アウトのように、明るさが時間の経過と共に変化する画像の画質を向上することができる。しかし、その分、ソフトウェアデコードに必要な処理量は増大する。

イントラ予測部３１０は、デコード対象画面からその画面内に含まれるデコード対象ブロックのフレーム内予測信号を生成するものである。このイントラ予測部３１０は、上述のフレーム内予測情報に従って画面内予測処理を実行して、デコード対象ブロックと同一画面内に存在する、当該デコード対象ブロックに近接する既にデコードされた他のブロック内の画素値からフレーム内予測信号を生成する。このフレーム内予測（イントラ予測）は、ブロック間の画素相関を利用して圧縮率を高める技術である。このフレーム内予測においては、例えば１６ｘ１６画素の場合、フレーム内予測情報に従って、垂直予測（予測モード０）、水平予測（予測モード１）、平均値予測（予測モード２）、平面予測（予測モード３）を含む４種類の予測モードの内の一つが、フレーム内予測ブロック単位で選択される。平面予測が選択される頻度は他のフレーム内予測モードよりも低いが、平面予測のために必要とされる処理量は、他のどのフレーム内予測モードの処理量よりも多い。

本実施形態においては、ブレンド処理部２１３によるブレンド処理が行われる場合、そのブレンド処理に用いられる画像のデコード処理について、図４で説明したデコード処理（以下、通常デコード処理と称する）と、特殊デコード処理とを選択的に実行する。特殊デコード処理は、デブロッキングフィルタ処理を簡略または省略したデコード処理であり、当該デブロッキングフィルタ処理の処理量（もしくは演算量）を低減させることができる（例えば、ブレンド処理が施される場合に、指定されている透過率が所定の基準値よりも大きければ、後述する非参照画面に対するデブロッキングフィルタ処理の強度を小さくする等）。なお、具体的な制御方法については、後で述べる。

また、本実施形態においては、デブロッキングフィルタ処理の処理量の低減の対象となるのは、主として動画であり、ブレンド処理に使用されるアルファデータを備えた重ねる側（上側）の画面だけであってもよいし、重ねられる側（下側）の画面だけであってもよいし、重ねる側（上側）の画面および重ねられる側（下側）の画面の双方であってもよい。以下では、説明の複雑化を避けるため、アルファデータを備えた重ねる側（上側）の画面（動画）がデブロッキングフィルタ処理の処理量の低減の対象である場合について説明する。

ここでブレンド処理部２１３によって実行されるブレンド処理（アルファブレンディング）について簡単に説明する。

第１の画像（下側）上に第２の画像（上側）を画素単位で重ね合わせる場合、ブレンド処理部２１３は、次の（１）式によって、この重ね合わせ後の合成画像の各画素の値を演算する。

Ｖ＝α×Ｂ＋（１−α）Ａ …（１）式
ここで、Ｖはアルファブレンディングで得られる合成画像の各画素の値で、αは第２の画像の各画素に対応するアルファデータで０〜１の値をとる。Ｂは第２の画像の各画素の値で、Ａは第１の画像の各画素の値である。

いま、図５に示すように、１９２０×１０８０画素の第１の画面（ａ１）上に７２０×４８０画素の第２の画面（ａ２）を重ね合わせた合成画面（ａ３）をブレンド処理（アルファブレンディング）で生成する場合を考える。

この場合、１９２０×１０８０画素の第１の画面（ａ１）のうち、７２０×４８０画素の第２の画面（ａ２）が重畳されない領域の各画素のアルファデータは０である。そのため、７２０×４８０画素の第２の画面（ａ２）が重畳されない領域は透明となるので、合成画面（ａ３）上における当該領域には第１の画面（ａ１）の画像データが１００％の不透明度で表示される。また、７２０×４８０画素の第２の画面（ａ２）の画像データの各画素は、合成画面（ａ３）上において、第２の画面（ａ２）の画像データに対応するアルファデータで指定される透明度で第１の画面（ａ１）の画像データ上に表示される。例えば、アルファデータ＝１の第２の画面（ａ２）の画像データの画素は１００％の不透明度で表示され、当該画素位置に対応する第１の画面（ａ１）の画像データの画素は表示されないことになる。

次に、図６を参照して、動画像ストリームに含まれる参照画面および非参照画面について説明する。
デコード処理前の動画像ストリームに含まれる各種の画面は、所定の順序でソフトウェアデコーダ（図４）に入力されて動き補償フレーム間予測やフレーム内予測などの処理が施される。ここでは、画面（Ｉピクチャ）４０１，画面（Ｂピクチャ）４０２，画面（Ｂピクチャ）４０３，画面（Ｂピクチャ）４０４，画面（Ｐピクチャ４０５）がこの順序でソフトウェアデコーダに入力されて処理される場合を考える。

なお、Ｐピクチャは、１つの画面を参照することによって動き補償フレーム間予測を行うための画面である。Ｂピクチャは、２つの画面を参照することによって動き補償フレーム間予測を行うための画面である。Ｉピクチャは、他の画面を参照することなく当該画面内（イントラ）だけで独立してフレーム内予測を行うための画面である。

図６中に示される画面４０１は、他の画面を参照することはないが、画面４０２，画面４０３，および画面４０５から参照される。また、画面４０３は、画面４０１および画面４０５を参照し、画面４０２および画面４０４から参照される。また、画面４０５は、画面４０１を参照し、画面４０３および画面４０４から参照される。このように画面間予測に際して他の画面から参照される画面４０１，画面４０３，および画面４０５は、参照画面に該当する。

一方、図６中に示される画面４０２は、画面４０１および画面４０３を参照するが、他の画面からは参照されない。また、画面４０４は、画面４０３および画面４０５を参照するが、他の画面からは参照されない。このように画面間予測に際して他の画面から参照されない画面４０２および画面４０４は、非参照画面に該当する。

前述の特殊デコード処理においてデブロッキングフィルタ処理の処理量を低減させる制御方法としては、以下のような３つの方法が挙げられる。

制御方法１： ある条件が成立したときに、非参照画面に対するデブロッキングフィルタ処理を無効（disable）にする。なお、対象の画像が参照画面であるか非参照画面であるかは、後述するＮＡＬ（Network Abstraction Layer）ユニットに含まれるnal_ref_idcの値を参照することで判別することができる。例えばnal_ref_idcの値が０の場合、その画像は非参照画面である。

制御方法２： ある条件が成立したときに、非参照画面もしくは全画像に対するデブロッキングフィルタ処理のフィルタ強度を小さくする。なお、フィルタ強度は、フィルタ処理の対象となる画素の属性から求まるｂＳ（Boundary Strength）によって決定される。ｂＳは、０，１，２，３，４のいずれかの値を示す。例えば、ｂＳの値が０の場合、フィルタ処理は行われない。一方、ｂＳの値が４の場合は、最も強いフィルタ処理が行われ、それに伴い、演算量も増大する。この制御方法２では、例えば、実際のｂＳの値が１，２，３の場合には、ｂＳ値＝０に対応する強度でフィルタ処理が行われるように（即ち、フィルタ強度が小さくなるように）制御し、また、実際のｂＳの値が４の場合には、ｂＳ値＝４に対応する強度でフィルタ処理が行われるように（即ち、フィルタ強度がそのまま維持されるように）制御する。

制御方法３： ある条件が成立したときに、全画面に対するデブロッキングフィルタ処理を無効（disable）にする。

上述の制御方法１〜３を適宜組み合わせることにより、例えば、画像のブレンド処理が施される場合に指定されている透過率が小さい画素に対してはデコード後の画像の品質を劣化させない制御を行い、上記透過率が小さい画素に対してはデブロッキングフィルタ処理の演算量が低減されるような制御を行うことができる。

図７は、上述の制御方法１〜３を組み合わせて実現される制御の一例を説明するための図である。

この例においては、動画像ストリームに含まれる画面に対してブレンド処理が施される場合に、指定されている透過率に応じて、デブロッキングフィルタ処理の処理量（もしくは演算量）が段階的に変化するように制御される。

例えば、画像のブレンド処理が施される際、指定されている透過率が６０％を超える場合には、非参照画面を対象としてデブロッキングフィルタ処理の強度を小さくするための制御モードＣ１が適用される。また、指定されている透過率が７０％を超える場合には、非参照画面を対象としてデブロッキングフィルタ処理を省略するための制御モードＣ２が適用される。また、指定されている透過率が８０％を超える場合には、全画面を対象としてデブロッキングフィルタ処理の強度を小さくための制御モードＣ３が適用される。また、指定されている透過率が９０％を超える場合には、全画面を対象としてデブロッキングフィルタ処理を省略するための制御モードＣ４が適用される。

以下、図８のフローチャートを参照して、ビデオ再生アプリケーションプログラム２０１によって実行されるデコード処理の手順を説明する。

ビデオ再生アプリケーションプログラム２０１は、デコード処理の実行期間中、ブレンド処理部２１３によるアルファブレンディングの実行有無を監視し（ステップＳ１０１）、アルファブレンディングが行われていなければ（ステップＳ１０１のＮＯ）、ＣＰＵ１１１に実行させるべきデコード処理として上述の通常デコード処理を選択し、これによって図４で説明した一連の処理をＣＰＵ１１１上で実行する（ステップＳ１０２）。

一方、アルファブレンディングが行われていれば（ステップＳ１０１のＹＥＳ）、ビデオ再生アプリケーションプログラム２０１は、ＣＰＵ１１１に実行させるべきデコード処理として上述の特殊デコード処理を選択し、指定されている透過率に応じた制御モード（図７）を選定する（ステップＳ１０３）。

例えば、指定されている透過率が６０％を超える場合には、非参照画面を対象としてデブロッキングフィルタ処理の強度を小さくするための制御モードＣ１が適用される。また、指定されている透過率が７０％を超える場合には、非参照画面を対象としてデブロッキングフィルタ処理を省略するための制御モードＣ２が適用される。また、指定されている透過率が８０％を超える場合には、全画面を対象としてデブロッキングフィルタ処理の強度を小さくための制御モードＣ３が適用される。また、指定されている透過率が９０％を超える場合には、全画面を対象としてデブロッキングフィルタ処理を省略するための制御モードＣ４が適用される。

上記制御モードの選定に際し、ビデオ再生アプリケーションプログラム２０１は、必要に応じて、動画像ストリームに含まれるシンタックス情報を解析することにより、符号化対象画面が非参照画面であるか否かを判別する。このシンタックス情報は、動画像ストリームのシーケンス構造を示す情報である。上述の動きベクトル情報、フレーム内予測情報、およびモード情報等もシンタックス情報の一部である。ビデオ再生アプリケーションプログラム２０１は、エントロピー復号された後のシンタックス情報に基づいて、動画像ストリームに含まれる符号化画面群の中から非参照画面群を検出することができる。

具体的には、Ｈ．２６４のシーケンスの構造は、図９のように複数のアクセスユニット（ＡＵ）から構成されている。各アクセスユニットは１つの画面に対応している。各アクセスユニットは複数のＮＡＬユニットから構成されている。各ＮＡＬユニットは図１０に示すようにヘッダ部とデータ部に分かれている。ＮＡＬユニットは３２種類あり、ＮＡＬヘッダ部を解析することによってその種類を判別することができる。このＮＡＬヘッダ部には、前述のnal_ref_idcが含まれている。従って、このnal_ref_idcの値を参照することにより、対象の画像が参照画面であるか非参照画面であるかを判別することができる。例えばnal_ref_idcの値が０の場合、その画像は非参照画面であることが判かる。

そして、ビデオ再生アプリケーションプログラム２０１は、選定した制御モードに従ってデブロッキングフィルタ処理の処理量を低減させるデコード処理をＣＰＵ１１１上で実行する（ステップＳ１０４）。

動画像ストリーム全てのデコードが完了するまで、上述のステップＳ１０１〜Ｓ１０４の処理は繰り返し実行される（ステップＳ１０５）。

このように画像のブレンド処理が施される場合に、指定されている透過率に応じた制御モードが選定され、デブロッキングフィルタ処理の処理量が適切な分だけ低減された特殊デコード処理が行われる。

なお、本実施形態では、デブロッキングフィルタ処理の処理量の低減の対象が重ねる側（上側）の画面である場合を例にとって説明したが、代わりに、その対象が重ねられる側（下側）の画面であってもよいし、重ねる側（上側）の画面および重ねられる側（下側）の画面の双方であってもよい。その場合の制御方法や動作については、前述の図７や図８を用いて説明した内容と同様となる。

以上のように、本実施形態によれば、デコード処理の対象となる画面がアルファブレンディングされる場合、指定されている透過率に応じて段階的にデコード処理を低減させるような制御が可能となるため、視聴者に対してデコード後の画像の画質が急激に劣化するような印象を与えることを回避することができ、また、デコード遅延によるフレームドロップを可能な限り回避することができ、スムーズな動画再生を実現することができる。

なお、上述のデコード制御処理は全てコンピュータプログラムによって実現されているので、このコンピュータプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を容易に実現することができる。

また、本実施形態のソフトウェアデコーダは、パーソナルコンピュータに限らず、ＰＤＡ、携帯型電話機等にも適用することができる。

また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係るコンピュータの概観を示す斜視図。 図１のコンピュータのシステム構成を示すブロック図。 図１のコンピュータで用いられるビデオ再生アプリケーションプログラムの機能構成を示すブロック図。 図３のビデオ再生アプリケーションプログラムによって実現されるソフトウェアデコーダの構成を示すブロック図。 ブレンド処理（アルファブレンディング）の一例を説明するための図。 動画像ストリームに含まれる参照画面および非参照画面を説明するための図。 図３のビデオ再生アプリケーションプログラムによってデブロッキングフィルタ処理の処理量を低減させる制御の一例を説明するための図。 図３のビデオ再生アプリケーションプログラムによって実行されるデコード処理の手順を示すフローチャート。 図３のビデオ再生アプリケーションプログラムによってデコードされる動画像ストリームの構造を示す図。 図９の動画像ストリームのアクセスユニットの構造を示す図。

符号の説明

1０…コンピュータ、１１１…ＣＰＵ、１１３…メモリ、１１４…グラフィクスコントローラ、２０１…ビデオ再生アプリケーション、２１１…デコード制御モジュール、２１２…デコード実行モジュール、２１３…ブレンド処理部、３０１…エントロピー復号部、３０２…逆量子化部、３０３…逆ＤＣＴ部、３０４…加算部、３０５…デブロッキングフィルタ部、３０６…フレームメモリ、３０７…動きベクトル予測部、３０８…補間予測部、３０９…重み付き予測部、３１０…イントラ予測部、３１１…モード切替スイッチ部、４０１〜４０５…画面。

Claims (9)

1. 圧縮符号化された動画像ストリームをデコードする情報処理装置であって、
   前記動画像ストリームに含まれる画面に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施す手段と、
   指定された透過率で第１の画面上に第２の画面を重畳させるブレンド処理を施す手段と、
   前記動画像ストリームに含まれる画面に対して前記ブレンド処理が施されるか否かを判定し、当該ブレンド処理が施される場合に、前記透過率に応じて、前記第１の画面および前記第２の画面の少なくとも一方に対する前記デブロッキングフィルタ処理の処理量を変化させる制御手段とを具備することを特徴とする情報処理装置。
2. 前記制御手段は、前記ブレンド処理が施される場合に、前記第１の画面および前記第２の画面のうち、動画に相当する画面に対するデブロッキングフィルタ処理の処理量を変化させることを特徴とする請求項２記載の情報処理装置。
3. 前記制御手段は、前記ブレンド処理が施される場合に、前記透過率に応じて、前記デブロッキングフィルタ処理の強度を変化させることを特徴とする請求項１又は２記載の情報処理装置。
4. 前記制御手段は、前記ブレンド処理が施される場合に、前記透過率が所定の基準値よりも大きければ、前記デブロッキングフィルタ処理の強度を小さくすることを特徴とする請求項３記載の情報処理装置。
5. 前記制御手段は、前記ブレンド処理が施される場合に、前記透過率に応じて、前記デブロッキングフィルタ処理の処理量変化の対象とされるべき画面を変えることを特徴とする請求項１乃至４のいずれかに記載の情報処理装置。
6. 前記制御手段は、前記ブレンド処理が施される場合に、前記透過率が所定の基準値よりも大きければ、前記動画像ストリームに含まれる画面群のうち、画面間予測に際して他の画面から参照されない非参照画面に対するデブロッキングフィルタ処理の強度を小さくすることを特徴とする請求項５記載の情報処理装置。
7. 圧縮符号化された動画像ストリームをデコードするデコード処理をコンピュータに実行させるプログラムであって、
   前記動画像ストリームに含まれる画面に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施す処理を、前記コンピュータに実行させる手順と、
   指定された透過率で第１の画面上に第２の画面を重畳させるブレンド処理が前記動画像ストリームに含まれる画面に対して施されるか否かを判定する処理を、前記コンピュータに実行させる手順と、
   前記ブレンド処理が施される場合に、前記透過率に応じて、前記第１の画面および前記第２の画面の少なくとも一方に対する前記デブロッキングフィルタ処理の処理量を変化させる処理を、前記コンピュータに実行させる手順とを具備することを特徴とするプログラム。
8. 前記デブロッキングフィルタ処理の処理量を変化させる処理を前記コンピュータに実行させる手順は、前記ブレンド処理が施される場合に、前記透過率が所定の基準値よりも大きければ、前記デブロッキングフィルタ処理の強度を小さくする処理を前記コンピュータに実行させる手順を含むことを特徴とする請求項７記載のプログラム。
9. 前記デブロッキングフィルタ処理の処理量を変化させる処理を前記コンピュータに実行させる手順は、前記ブレンド処理が施される場合に、前記透過率が所定の基準値よりも大きければ、前記動画像ストリームに含まれる画面群のうち、画面間予測に際して他の画面から参照されない非参照画面に対するデブロッキングフィルタ処理の強度を小さくする処理を前記コンピュータに実行させる手順を含むことを特徴とする請求項７記載のプログラム。

Images