JP2006191239A - 再生装置 - Google Patents

Abstract

【課題】仕様の変更などに対して柔軟に対応することが可能な再生装置を実現する。
【解決手段】デマルチプレクス（Ｄｅｍｕｘ）部１０３は、メインビデオデータと、メインオーディオデータと、サブビデオデータを有するグラフィクスデータと、サブオーディオデータとを含む動画像ストリームに対する分離処理を行う。また、デコーダ１０４〜１０７は、上記分離処理を通じて得られるサブビデオデータやサブオーディオデータなどに対してデコード処理を実行する。このように再生時の前段の処理に該当する分離処理などのほか、グラフィクスに対するデコード処理やサブオーディオに対するデコード処理が、ソフトウェアであるプレーヤアプリケーション１５によって実現される。
【選択図】 図３

Description

本発明は、ＨＤ−ＤＶＤ（High Definition Digital Versatile Disc）プレーヤのような再生装置に関する。

近年、動画像のデジタル圧縮符号化技術の進展に伴い、ＨＤ（High Definition）規格の高精細映像を扱うことが可能な再生装置（プレーヤ）の開発が進められている。

このようなプレーヤにおいては、圧縮符号化されているデータを記録媒体から読み出して再生する際に、効率的に分離および復号（デコード）の処理を施す必要がある。

例えば、特許文献１には、ドライブから読み出されて転送されてくるＭＰＥＧビットストリームを受信し、それをビデオ、サブピクチャ、およびオーディオパケットに分離した後、それらをそれぞれデコード処理するＭＰＥＧ２デコーダが開示されている。
特開平８−２０５０９２号公報

しかしながら、上記特許文献１の技術によれば、主映像に関わるデータのみならず、副映像に関わるデータに対しても、ハードウェアによって分離および復号（デコード）の処理を施す構成であるため、将来においてシステムの仕様変更（例えば副映像の処理に関する仕様変更）が生じた場合には柔軟に対処することができないという問題がある。

本発明は上述の事情を考慮してなされたものであり、仕様の変更などに対して柔軟に対応することが可能な再生装置を提供することを目的とする。

上述の課題を解決するため、本発明の再生装置は、第１のビデオデータと、第２のビデオデータを含むグラフィクスデータとを有する動画像ストリームに対してプログラムによる分離処理を実行し、この分離処理を通じて得られる前記第２のビデオデータに対してプログラムによるデコード処理を実行する実行手段と、前記分離処理を通じて得られる前記第１のビデオデータをデコードするデコーダ回路と、前記デコーダ回路によりデコードされた第１のビデオデータと、前記実行手段におけるデコード処理によりデコードされた第２のビデオデータを含むグラフィクスデータとを重ね合わせて出力するブレンド処理回路とを具備することを特徴とする。

本発明によれば、仕様の変更などに対して柔軟に対応することが可能となる。

以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態の係る再生装置の構成例が示されている。この再生装置はオーディオ・ビデオ（ＡＶ）コンテンツを再生するメディアプレーヤである。この再生装置は、例えば、ＨＤ−ＤＶＤ（High Definition Digital Versatile Disc）規格のＤＶＤメディアに格納されたオーディオ・ビデオ（ＡＶ）コンテンツを再生するＨＤ−ＤＶＤプレーヤとして実現されている。

このＨＤ−ＤＶＤプレーヤは、図１に示されているように、ＣＰＵ（Central Processing Unit）１１、ノースブリッジ１２、主メモリ１３、サウスブリッジ１４、不揮発性メモリ１５、オーディオコーデック１６、ＵＳＢ（Universal Serial Bus）コントローラ１７、ＨＤ−ＤＶＤドライブ１８、オーディオバス１９、グラフィクスバス２０、ＰＣＩ（Peripheral Component Interconnect）バス２１、ビデオコントローラ２２、オーディオコントローラ２３、オーディオデコーダ（回路）２４、ビデオデコーダ（回路）２５、ブレンド処理部（回路）３０、オーディオミキサ（Audio Mix）３１，３２、ビデオエンコーダ４０、およびＨＤＭＩ（High Definition Multimedia Interface）のようなＡＶインタフェース（ＨＤＭＩ−ＴＸ）４１等から構成されている。

本ＨＤ−ＤＶＤプレーヤにおいては、プレーヤアプリケーション１５０と、オペレーティングシステム（ＯＳ）１５１とが予め不揮発性メモリ１５にインストールされている。プレーヤアプリケーション１５０はＯＳ１５１上で動作するソフトウェアであり、ＨＤ−ＤＶＤドライブ１８から読み出されるＡＶコンテンツを再生するための制御を行う。

ＨＤ−ＤＶＤドライブ１８によって駆動されるＨＤ−ＤＶＤメディアに蓄積されたＡＶコンテンツは、Ｈ．２６４またはＭＰＥＧ２方式で圧縮符号化されたストリームのような動画像ストリーム（ＨＤ−ＤＶＤストリーム）から構成されている。このＨＤ−ＤＶＤストリームには、圧縮符号化されたメインビデオデータ（動画像）、圧縮符号化されたメインオーディオデータ、アルファデータを含む圧縮符号化されたグラフィクスデータ、圧縮符号化されたサブオーディオデータとが多重化されている。

圧縮符号化されたメインビデオデータは、主映像（主画面イメージ）として用いられる動画像データをＨ．２６４／ＡＶＣ規格の符号化方式で符号化したデータである。メインビデオデータはＨＤ規格の高精細画像から構成されている。また、ＳＤ（Standard Definition）規格のメインビデオデータを使用することもできる。圧縮符号化されたグラフィクスデータは、メインビデオ上に重ね合わされた状態で表示される副映像（副画面イメージ）である。グラフィクスデータは、メインビデオを補足する動画像から構成されるサブビデオデータと、字幕等のテキスト／静止画を含むサブピクチャデータと、メニューオブジェクトのような操作ガイダンスを表示するためのナビゲーションデータ（Advanced Navigation）とから構成されている。ナビゲーションデータは、静止画／動画（アニメーションを含む）／テキストから構成されている。ナビゲーションデータは、メニューオブジェクトのようなオブジェクト画像の動きを記述したスクリプトを含んでいる。このスクリプトはＣＰＵ１１によって解釈および実行される。これにより、インタラクティブ性の高いメニューオブジェクトをメインビデオ上に表示することができる。

これらサブビデオデータ、サブピクチャデータ、およびナビゲーションデータもそれぞれ圧縮符号化されている。

ＨＤ規格のメインビデオは例えば１９２０×１０８０ピクセルまたは１２８０×７２０ピクセルの解像度を持つ。また、サブビデオデータ、サブピクチャデータ、およびナビゲーションデータの各々は、例えば７２０×４８０ピクセルの解像度を持つ。

本ＨＤ−ＤＶＤプレーヤにおいては、ＨＤ−ＤＶＤドライブ１８から読み出されるＨＤ−ＤＶＤストリームからメインビデオデータ、メインオーディオデータ、グラフィクスデータ、サブオーディオデータを分離する分離処理と、グラフィクスデータおよびサブオーディオをデコードする処理はソフトウェア（プレーヤアプリケーション１５０）によって実行され、多くの処理量を必要とするメインビデオデータおよびメインオーディオデータをデコードするデコード処理は専用のハードウェアによって実行される。

ＣＰＵ１１は、本ＨＤ−ＤＶＤプレーヤの動作を制御するために設けられたプロセッサであり、不揮発性メモリ１５から主メモリ１３にロードされる、ＯＳ１５１およびプレーヤアプリケーション１５０を実行する。主メモリ１３内の記憶領域の一部は、ビデオメモリ（ＶＲＡＭ）１３１として使用される。なお、主メモリ１３内の記憶領域の一部をＶＲＡＭ１３１として使用する必要はなく、主メモリ１３とは独立したメモリデバイスとしてＶＲＡＭ１３１を設けてもよい。

ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１４との間を接続するブリッジデバイスである。このノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラが内蔵されている。さらに、このノースブリッジ１２には、ＧＰＵ（Graphics Processing Unit）１２０も内蔵されている。

ＧＰＵ１２０は、主メモリ１３の一部の記憶領域に割り当てられたビデオメモリ（ＶＲＡＭ）にＣＰＵ１１によって書き込まれたデータから、グラフィクス画面イメージを形成するグラフィクスデータ（またはグラフィクス画像データと云う）を生成するグラフィクスコントローラである。ＧＰＵ１２０は、ビットブロック転送（bit block transfer）のようなグラフィクス演算機能を用いて、グラフィクスデータを生成する。例えば、ＣＰＵ１１によってＶＲＡＭ上の３つのプレーンにそれぞれ画像データ（サブビデオ、サブピクチャ、ナビゲーション）が書き込まれた場合、ＧＰＵ１２０は、それら３つのプレーンに対応する画像データ同士をピクセル毎に重ね合わせるブレンド処理をビットブロック転送を用いて実行し、これによってメインビデオと同じ解像度（例えば１９２０×１０８０ピクセル）を有するグラフィクス画面イメージを形成するためのグラフィクスデータを生成する。ブレンド処理は、サブビデオ、サブピクチャ、ナビゲーションの画像データそれぞれに対応するアルファデータを用いて実行される。アルファデータは、それに対応する画像データの各ピクセルの透明度（または不透過度）を示す係数である。サブビデオ、サブピクチャ、ナビゲーションそれぞれに対応するアルファデータは、それらサブビデオ、サブピクチャ、ナビゲーションの画像データと一緒にストリームに多重化されている。すなわち、ストリームに含まれるサブビデオ、サブピクチャ、ナビゲーションの各々は、画像データとアルファデータとから構成される。

ＧＰＵ１２０によって生成されたグラフィクスデータはＲＧＢ色空間を有している。グラフィクスデータの各ピクセルはデジタルＲＧＢデータ（２４ｂｉｔ）によって表現される。

ＧＰＵ１２０は、グラフィクス画面イメージを形成するグラフィクスデータを生成するだけでなく、その生成したグラフィクスデータに対応するアルファデータを外部に出力する機能も有している。

具体的には、ＧＰＵ１２０は、生成したグラフィクスデータをデジタルＲＧＢビデオ信号として外部に出力すると共に、その生成したグラフィクスデータに対応するアルファデータも外部に出力する。アルファデータは、生成されたグラフィクスデータ（ＲＧＢ）の各ピクセルの透明度（または不透明度）を示す係数（８ｂｉｔ）である。ＧＰＵ１２０は、グラフィクスデータ（２４ｂｉｔのデジタルＲＧＢビデオ信号）およびアルファデータ（８ｂｉｔ）から構成されるアルファデータ付きのグラフィクスデータ（３２ｂｉｔのＲＧＢＡデータ）を、ピクセル毎に出力する。アルファデータ付のグラフィクスデータ（３２ｂｉｔのＲＧＢＡデータ）は専用のグラフィクスバス２０を介してピクセル毎に同期してブレンド処理部３０に送られる。グラフィクスバス２０は、ＧＰＵ１２０とブレンド処理部３０との間に接続された伝送線路である。

このように、本ＨＤ−ＤＶＤプレーヤにおいては、アルファデータ付きのグラフィクスデータがグラフィクスバス２０を介してＧＰＵ１２０からブレンド処理部３０に直接的に転送される。これにより、ＰＣＩバス２１等を介してアルファデータをＶＲＡＭからブレンド処理部３０を転送する必要が無くなり、アルファデータの転送によるＰＣＩバス２１のトラフィックの増大を防止することができる。

もしＰＣＩバス２１等を介してアルファデータをＶＲＡＭからブレンド処理部３０に転送したならば、ＧＰＵ１２０から出力されるグラフィクスデータとＰＣＩバス２１経由で転送されるアルファデータとをブレンド処理部３０内で同期化しなければならず、そのためにブレンド処理部３０の構成が複雑化される。本ＨＤ−ＤＶＤプレーヤにおいては、ＧＰＵ１２０はグラフィクスデータとアルファデータとをピクセル毎に同期して出力する。このため、グラフィクスデータとアルファデータとの同期化を容易に実現することができる。

サウスブリッジ１４は、ＰＣＩバス２１上の各デバイスを制御する。また、サウスブリッジ１４は、ＨＤ−ＤＶＤドライブ１８を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１４は、不揮発性メモリ１５、ＵＳＢコントローラ１７、およびオーディオコーデック１６をアクセスする機能を有している。

ＨＤ−ＤＶＤドライブ１８は、ＨＤ−ＤＶＤ規格に対応するオーディオ・ビデオ（ＡＶ）コンテンツが格納されたＨＤ−ＤＶＤメディアのような蓄積メディアを駆動するためのドライブユニットである。

オーディオコーデック１６は、ソフトウェアによってデコードされたサブオーディオデータをＩ２Ｓ（Inter-IC Sound）形式のデジタルオーディオ信号に変換する。このオーディオコーデック１６は、オーディオバス１９を介してオーディオミキサ（Audio Mix）３１および３２にそれぞれ接続されている。オーディオバス１９は、オーディオコーデック１６とオーディオミキサ（Audio Mix）３１および３２の各々との間に接続された伝送線路である。このオーディオバス１９により、オーディオコーデック１６からのデジタルオーディオ信号は、ＰＣＩバス２１を介さずにオーディオミキサ（Audio Mix）３１および３２にそれぞれ転送される。

ビデオコントローラ２２は、ＰＣＩバス２１に接続されている。このビデオコントローラ２２は、ビデオデコーダ２５とのインタフェースを実行するためのＬＳＩである。ソフトウェアによってＨＤ−ＤＶＤストリームから分離されたメインビデオデータのストリーム（Video Stream）は、ＰＣＩバス２１およびビデオコントローラ２２を介して、ビデオデコーダ２５に送られる。また、ＣＰＵ１１から出力されるデコード制御情報（Control）も、ＰＣＩバス２１およびビデオコントローラ２２を介して、ビデオデコーダ２５に送られる。

ビデオデコーダ２５は、Ｈ．２６４／ＡＶＣ規格に対応するデコーダであり、ＨＤ規格のメインビデオデータをデコードして例えば１９２０×１０８０ピクセルの解像度のビデオ画面イメージを形成するデジタルＹＵＶビデオ信号を生成する。このデジタルＹＵＶビデオ信号はブレンド処理部３０に送られる。

オーディオコントローラ２３は、ＰＣＩバス２１に接続されている。オーディオコントローラ２３は、オーディオデコーダ２４とのインタフェースを実行するためのＬＳＩである。ソフトウェアによってＨＤ−ＤＶＤストリームから分離されたメインオーディオデータのストリーム（Audio Stream）は、ＰＣＩバス２１およびオーディオコントローラ２３を介して、オーディオデコーダ２４に送られる。

オーディオデコーダ２４は、メインオーディオデータをデコードしてＩ２Ｓ（Inter-IC Sound）形式のデジタルオーディオ信号を生成する。このデジタルオーディオ信号は、オーディオコントローラ２３を介してオーディオミキサ（Audio Mix）３１および３２にそれぞれ送られる。

ブレンド処理部３０は、ＧＰＵ１２０およびビデオデコーダ２５にそれぞれ結合されており、ＧＰＵ１２０から出力されるグラフィクスデータとビデオデコーダ２５によってデコードされたメインビデオデータとを重ね合わせるためのブレンド処理を実行する。このブレンド処理においては、ＧＰＵ１２０からグラフィクスデータ（ＲＧＢ）と一緒に出力されるアルファデータに基づいて、グラフィクスデータを構成するデジタルＲＧＢビデオ信号とメインビデオデータを構成するデジタルＹＵＶビデオ信号とをピクセル単位で重ね合わせるためのブレンド処理（アルファブレンディング処理）が実行される。この場合、メインビデオデータは下側の画面イメージとして用いられ、グラフィクスデータはメインビデオデータ上に重ねられる上側の画面イメージとして用いられる。

ブレンド処理によって得られる出力画像データは例えばデジタルＹＵＶビデオ信号としてビデオエンコーダ４０およびＡＶインタフェース（ＨＤＭＩ−ＴＸ）４１にそれぞれ供給される。ビデオエンコーダ４０は、ブレンド処理によって得られる出力画像データ（デジタルＹＵＶビデオ信号）をコンポーネントビデオ信号またはＳ−ビデオ信号に変換して、ＴＶ受像機のような外部の表示装置（モニタ）に出力する。ＡＶインタフェース（ＨＤＭＩ−ＴＸ）４１は、デジタルＹＵＶビデオ信号とデジタルオーディオ信号とを含むデジタル信号群を外部のＨＤＭＩ機器に出力する。

オーディオミキサ（Audio Mix）３１は、オーディオコーデック１６によってデコードされたサブオーディオデータとオーディオデコーダ２４によってデコードされたメインオーディオデータとを合成（ミキシング）し、そのミキシング結果をステレオオーディオ信号として出力する。オーディオミキサ（Audio Mix）３２は、オーディオコーデック１６によってデコードされたサブオーディオデータとオーディオデコーダ２４によってデコードされたメインオーディオデータとを合成（ミキシング）し、そのミキシング結果を５．１チャンネルのオーディオ信号として出力する。

次に、図２を参照して、ＣＰＵ１１によって実行されるプレーヤアプリケーション１５０の構成を説明する。

プレーヤアプリケーション１５０は、デマルチプレクス（Ｄｅｍｕｘ）モジュール、デコード制御モジュール、サブピクチャ（Sub-Picture）デコードモジュール、サブビデオ（Sub-Video）デコードモジュール、ナビゲーション（Navigation）デコードモジュール、サブオーディオ（Sub-Audio）デコードモジュール、グラフィクスドライバ、オーディオドライバ、およびＰＣＩストリーム転送ドライバを備えている。

Ｄｅｍｕｘモジュールは、ＨＤ−ＤＶＤドライブ１８から読み出されたストリームから、メインビデオデータ、メインオーディオデータ、グラフィクスデータ（サブピクチャデータ、サブビデオデータ、ナビゲーションデータ）、サブオーディオデータを分離するデマルチプレクス処理を実行するソフトウェアである。デコード制御モジュールは、メインビデオデータ、メインオーディオデータ、グラフィクスデータ（サブピクチャデータ、サブビデオデータ、ナビゲーションデータ）、およびサブオーディオデータそれぞれのデコード処理を制御するソフトウェアである。デコード処理の制御は、ＨＤ−ＤＶＤストリームに多重化されたている再生制御情報等にしたがって実行される。この再生制御情報は、メインビデオデータおよびグラフィクスデータ（サブピクチャデータ、サブビデオデータ、ナビゲーションデータ）の再生手順を制御する情報である。

サブピクチャ（Sub-Picture）デコードモジュールは、サブピクチャデータをデコードする。サブビデオ（Sub-Video）デコードモジュールは、サブビデオデータをデコードする。ナビゲーション（Navigation）デコードモジュールは、ナビゲーションデータをデコードする。サブオーディオ（Sub-Audio）デコードモジュールは、サブオーディオデータをデコードする。

グラフィクスドライバは、ＧＰＵ１２０を制御するためのソフトウェアである。デコードされたサブピクチャデータ、デコードされたサブビデオデータ、およびデコードされたナビゲーションは、グラフィクスドライバを介してＧＰＵ１２０に送られる。また、グラフィクスドライバは、ＧＰＵ１２０に対して各種描画命令を発行する。

オーディオドライバは、オーディオコーデック１６を制御するためのソフトウェアである。デコードされたサブオーディオデータは、グラフィクスドライバを介してオーディオコーデック１６に送られる。

ＰＣＩストリーム転送ドライバは、ＰＣＩバス２１を介してストリームを転送するためのソフトウェアである。メインビデオデータおよびメインオーディオデータは、ＰＣＩストリーム転送ドライバによって、ＰＣＩバス２１を介してビデオデコーダ２５およびオーディオデコーダ２４にそれぞれ転送される。

次に、図３を参照して、ＣＰＵ１１によって実行されるプレーヤアプリケーション１５０によって実現されるソフトウェアデコーダの機能構成を説明する。

ソフトウェアデコーダは、図示のように、ストリーム読み取り部１０１、暗号化解除処理部１０２、デマルチプレクス（Ｄｅｍｕｘ）部１０３、Sub-Pictureデコーダ１０４、Sub-Videoデコーダ１０５、Advanced Navigationデコーダ１０６、およびSub-Audioデコーダ１０７等を備えている。

ＨＤ−ＤＶＤドライブ１８のＨＤ−ＤＶＤメディアに格納されたストリーム（ＨＤ−ＤＶＤストリーム）は、ストリーム読み取り部１０１によってＨＤ−ＤＶＤドライブ１８から読み出される。ＨＤ−ＤＶＤストリームはＣＳＳ（Content Scrambling System）などによって暗号化されている。ストリーム読み取り部１０１によってＨＤ−ＤＶＤメディアから読み出されたＨＤ−ＤＶＤストリームは、暗号化解除処理部１０２に入力される。暗号化解除処理部１０２は、ＨＤ−ＤＶＤストリームの暗号化を解除するための処理を実行する。暗号化が解除されたＨＤ−ＤＶＤストリームは、デマルチプレクス（Ｄｅｍｕｘ）部１０３に入力される。このＤｅｍｕｘ１０３は、プレーヤアプリケーション１５０のＤｅｍｕｘモジュールによって実現されている。Ｄｅｍｕｘ１０３は、ＨＤ−ＤＶＤストリームからメインビデオデータ（MAIN VIDEO）、メインオーディオデータ（MAIN AUDIO）、グラフィクスデータ（Sub-Picture、Sub-Video、およびAdvanced Navigation）、およびサブオーディオデータ（Sub-Audio）を分離する。

メインビデオデータ（MAIN VIDEO）は、ＰＣＩバス２１を介してビデオデコーダ２５に送られる。メインビデオデータ（MAIN VIDEO）はビデオデコーダ２５によってデコードされる。デコードされたメインビデオデータはＨＤ規格の１９２０×１０８０ピクセルの解像度を有し、デジタルＹＵＶビデオ信号としてブレンド処理部３０に送られる。メインオーディオデータ（MAIN AUDIO）は、ＰＣＩバス２１を介してオーディオデコーダ２４に送られる。メインオーディオデータ（MAIN AUDIO）はオーディオデコーダ２４によってデコードされる。デコードされたメインオーディオデータ（MAIN AUDIO）は、Ｉ２Ｓ形式のデジタルオーディオ信号としてオーディオミキサ３１に送られる。

Sub-Pictureデータ、Sub-Videoデータ、およびAdvanced Navigationデータは、それぞれSub-Pictureデコーダ１０４、Sub-Videoデコーダ１０５、およびAdvanced Navigationデコーダ１０６にそれぞれ送られる。これらSub-Pictureデコーダ１０４、Sub-Videoデコーダ１０５、およびAdvanced Navigationデコーダ１０６は、それぞれプレーヤアプリケーション１５０のサブピクチャ（Sub-Picture）デコードモジュール、サブビデオ（Sub-Video）デコードモジュール、およびナビゲーション（Navigation）デコードモジュールによって実現されている。これらSub-Pictureデコーダ１０４、Sub-Videoデコーダ１０５、およびAdvanced Navigationデコーダ１０６によってそれぞれデコードされたSub-Pictureデータ、Sub-Videoデータ、およびAdvanced Navigationデータは、ＶＲＡＭに書き込まれる。ＶＲＡＭに書き込まれたSub-Pictureデータ、Sub-Videoデータ、およびAdvanced Navigationデータの各々は、ピクセル毎にＲＧＢデータとアルファデータ（Ａ）とを含む。

Sub-Audioデータは、Sub-Audioデコーダ１０７に送られる。Sub-Audioデコーダ１０７は、プレーヤアプリケーション１５０のサブオーディオ（Sub-Audio）デコードモジュールから実現されている。Sub-AudioデータはSub-Audioデコーダ１０７によってデコードされる。デコードされたSub-Audioデータはオーディオコーデック１６によってＩ２Ｓ形式のデジタルオーディオ信号に変換された後、オーディオミキサ３１に送られる。

ＧＰＵ１２０は、Sub-Pictureデコーダ１０４、Sub-Videoデコーダ１０５、およびAdvanced Navigationデコーダ１０６それぞれのデコード結果から、つまり、ＣＰＵ１１によってＶＲＡＭに書き込まれた、Sub-Pictureデータ、Sub-Videoデータ、およびAdvanced Navigationデータそれぞれに対応する画像データから、１９２０×１０８０ピクセルのグラフィクス画面イメージを形成するグラフィクスデータを生成する。この場合、Sub-Pictureデータ、Sub-Videoデータ、およびAdvanced Navigationデータそれぞれに対応する３つの画像データは、ＧＰＵ１２０のミキサ（ＭＩＸ）部１２１によって実行されるアルファブレンディング処理によってピクセル毎に重ね合わされる。

このアルファブレンド処理においては、ＶＲＡＭに書き込まれた３つの画像データそれぞれに対応するアルファデータが用いられる。すなわち、ＶＲＡＭに書き込まれた３つの画像データの各々は、ＲＧＢデータとアルファデータとから構成されている。ミキサ（ＭＩＸ）部１２１は、３つの画像データそれぞれのアルファデータとＣＰＵ１１から通知される３つの画像データそれぞれの位置情報とに基づいてブレンド処理を実行することにより、例えば、少なくとも一部が重ね合わされた３つの画像データを含むグラフィクス画面イメージを生成する。画像データ同士が重ね合わされた領域については、その領域に対応する新たなアルファデータがミキサ（ＭＩＸ）部１２１によって算出される。１９２０×１０８０ピクセルのグラフィクス画面イメージの内、有効な画像データが存在しない領域の各ピクセルの色は黒となる。有効な画像データが存在しない領域の各ピクセルに対応するアルファ値は当該ピクセルが透明であることを示す値（アルファ＝０）となる。

このようにして、ＧＰＵ１２０は、Sub-Pictureデコーダ１０４、Sub-Videoデコーダ１０５、およびAdvanced Navigationデコーダ１０６それぞれのデコード結果から、１９２０×１０８０ピクセルのグラフィクス画面イメージを形成するグラフィクスデータ（ＲＧＢ）およびそのグラフィクスデータに対応するアルファデータを生成する。なお、Sub-Pictureデータ、Sub-Videoデータ、およびAdvanced Navigationデータのいずれか一つの画像のみが表示されるシーンについては、１９２０×１０８０ピクセルのサーフェース上に当該画像（例えば７２０×４８０）が配置されたグラフィクス画面イメージに対応するグラフィクスデータおよびそのグラフィクスデータに対応するアルファデータが生成される。

ＧＰＵ１２０によって生成されたグラフィクスデータ（ＲＧＢ）およびアルファデータは、グラフィクスバス２０を介してＲＧＢＡデータとしてブレンド処理部３０に送られる。

このように、図３の構成によれば、再生時の前段の処理に該当する暗号化解除処理や分離処理に加え、グラフィクスに対するデコード処理やサブオーディオに対するデコード処理を、ソフトウェア（プログラム）で実現しているため、将来においてシステムの仕様変更（例えばグラフィクスの処理に関する仕様変更）が生じた場合でも、ソフトウェアを更新することにより、容易に対処することができる。また、処理量が多い主映像や主音声のデータに対するデコード処理やミックス処理、ブレンド処理については、専用のハードウェアで実現しているため、高品質な映像／音声の再生を維持することができる。

次に図４を参照して、ブレンド処理部３０によって実行されるブレンド処理（アルファブレンディング処理）を説明する。

アルファブレンディング処理は、グラフィクスデータ（ＲＧＢ）に付随するアルファデータ（Ａ）に基づいて、グラフィクスデータとメインビデオデータとをピクセル単位で重ね合せるブレンド処理である。この場合、グラフィクスデータ（ＲＧＢ）はオーバーサーフェースとして用いられ、ビデオデータ上に重ね合される。ＧＰＵ１２０から出力されるグラフィクスデータの解像度は、ビデオデコーダ２５から出力されるメインビデオデータの解像度と同一である。

いま、１９２０×１０８０ピクセルの解像度を持つメインビデオデータ（Video）が画像データＣとしてブレンド処理部３０に入力され、１９２０×１０８０ピクセルの解像度を持つグラフィクスデータが画像データＧとしてブレンド処理部３０に入力された場合を想定する。ブレンド処理部３０は、１９２０×１０８０ピクセルの解像度を持つアルファデータ（Ａ）に基づき、画像データＣ上に画像データＧをピクセル単位で重ね合わせるための演算を実行する。この演算は、以下の式（１）によって実行される。

Ｖ＝α×Ｇ＋（１−α）Ｃ …（１）
ここで、Ｖはアルファブレンディング処理によって得られる出力画像データの各ピクセルの色、αはグラフィクスデータＧの各ピクセルに対応するアルファ値である。

次に、図５を参照して、ＧＰＵ１２０のＭＩＸ部１２１によって実行されるブレンド処理（アルファブレンディング処理）を説明する。

ここでは、ＶＲＡＭに書き込まれたSub-PictureデータおよびSub-Videoデータから１９２０×１０８０ピクセルの解像度を持つグラフィクスデータを生成する場合を想定する。Sub-PictureデータおよびSub-Videoデータの各々は、例えば７２０×４８０ピクセルの解像度を持つ。この場合、Sub-PictureデータおよびSub-Videoデータの各々には、例えば７２０×４８０ピクセルの解像度のアルファデータも付随する。

例えば、Sub-Pictureデータに対応するイメージはオーバーサーフェースとして使用され、Sub-Videoデータに対応するイメージはアンダーフェースとして使用される。

Sub-Pictureデータに対応するイメージとSub-Videoデータに対応するイメージとが重なった領域の各ピクセルの色は、以下の式（２）によって求められる。

Ｇ＝Ｇｏ×αｏ＋Ｇｕ（１−αｏ） …（２）
ここで、Ｇは重なった領域の各ピクセルの色、Ｇｏはオーバーサーフェースとして使用されるSub-Pictureデータの各ピクセルの色、αｏはオーバーサーフェースとして使用されるSub-Pictureデータの各ピクセルのアルファ値、Ｇｕはアンダーフェースとして使用されるSub-Videoデータの各ピクセルの色である。

また、Sub-Pictureデータに対応するイメージとSub-Videoデータに対応するイメージとが重なった領域の各ピクセルのアルファ値は、以下の式（３）によって求められる。

α＝αｏ＋αｕ×（１−αｏ） …（３）
ここで、αは重なった領域の各ピクセルのアルファ値、αｕはアンダーサーフェースとして使用されるSub-Videoデータの各ピクセルのアルファ値である。

このように、ＧＰＵ１２０のＭＩＸ部１２１は、Sub-Pictureデータに対応するアルファデータおよびSub-Videoデータに対応するアルファデータの内、オーバーサーフェースとして使用される方のアルファデータを用いて、Sub-PictureデータとSub-Videoデータとを重ね合わせ、これにより１９２０×１０８０ピクセルの画面イメージを形成するグラフィクスデータを生成する。さらに、ＧＰＵ１２０のＭＩＸ部１２１は、Sub-Pictureデータに対応するアルファデータとSub-Videoデータに対応するアルファデータとから、１９２０×１０８０ピクセルの画面イメージを形成するグラフィクスデータの各ピクセルのアルファ値を算出する。

具体的には、ＧＰＵ１２０のＭＩＸ部１２１は、１９２０×１０８０ピクセルのサーフェース（全ピクセルの色＝黒、全ピクセルのアルファ値＝０）と、７２０×４８０ピクセルのSub-Videoデータのサーフェースと、７２０×４８０ピクセルのSub-Pictureデータのサーフェースとを重ね合わせるブレンド処理を実行することにより、１９２０×１０８０ピクセルの画面イメージを形成するグラフィクスデータと１９２０×１０８０ピクセルのアルファデータとを算出する。１９２０×１０８０ピクセルのサーフェースが最も下側のサーフェースとして使用され、Sub-Videoデータのサーフェースが２番目に下側のサーフェースとして使用され、Sub-Pictureデータのサーフェースが最も上側のサーフェースとして使用される。

１９２０×１０８０ピクセルの画面イメージの内、Sub-PictureデータおよびSub-Videoデータのどちらも存在しない領域の各ピクセルの色は黒となる。また、Sub-Pictureデータのみが存在する領域内の各ピクセルの色は、Sub-Pictureデータの対応する各ピクセルの本来の色と同じとなる。同様に、Sub-Videoデータのみが存在する領域内の各ピクセルの色は、Sub-Videoデータの対応する各ピクセルの本来の色と同じとなる。

また１９２０×１０８０ピクセルの画面イメージの内、Sub-PictureデータおよびSub-Videoデータのどらも存在しない領域の各ピクセルに対応するアルファ値は零となる。Sub-Pictureデータのみが存在する領域内の各ピクセルのアルファ値は、Sub-Pictureデータの対応する各ピクセルの本来のアルファ値と同じとなる。同様に、Sub-Videoデータのみが存在する領域内の各ピクセルのアルファ値は、Sub-Videoデータの対応する各ピクセルの本来のアルファ値と同じとなる。

図６には、１９２０×１０８０ピクセルのメインビデオデータ上に７２０×４８０ピクセルのサブビデオデータが重ねて表示される様子が示されている。

図６においては、グラフィクスデータは、１９２０×１０８０ピクセルのサーフェース（全ピクセルの色＝黒、全ピクセルのアルファ値＝０）と、７２０×４８０ピクセルのSub-Videoデータのサーフェースとをピクセル毎に重ね合わせるブレンド処理によって生成される。

上述したように、表示装置に出力される出力画像データ（Video＋Graphics）は、グラフィクスデータとメインビデオデータとをブレンドすることによって生成される。

１９２０×１０８０ピクセルのグラフィクスデータの内、７２０×４８０ピクセルのサブビデオデータが存在しない領域の各ピクセルのアルファ値は零である。このため、７２０×４８０ピクセルのサブビデオデータが存在しない領域は透明となるので、その領域にはメインビデオデータが１００パーセントの不透明度で表示される。

７２０×４８０ピクセルのサブビデオデータの各ピクセルは、サブビデオデータに対応するアルファデータで指定される透明度でメインビデオデータ上に表示される。例えば、アルファ値＝１のサブビデオデータのピクセルは１００パーセントの不透明度で表示され、当該ピクセル位置に対応するメインビデオデータのピクセルは表示されない。

また、図７に示すように、７２０×４８０ピクセルの解像度に縮小されたメインビデオデータを、１９２０×１０８０ピクセルの解像度に拡大されたサブビデオデータ上の一部の領域に表示することもできる。

図７の表示形態は、ＧＰＵ１２０が有するスケーリング機能およびビデオデコーダ２５が有するスケーリング機能を用いて実現される。

具体的には、ＧＰＵ１２０は、ＣＰＵ１１からの指示に従って、サブビデオデータの解像度（画像サイズ）が１９２０×１０８０ピクセルになるまでサブビデオデータの解像度を段階的に拡大するスケーリング処理を実行する。このスケーリング処理は、ピクセル補間を用いて実行される。サブビデオデータの解像度が大きくなるに従い、１９２０×１０８０ピクセルのグラフィクスデータの内、７２０×４８０ピクセルのサブビデオデータが存在しない領域（アルファ値＝０の領域）は徐々に小さくなる。これにより、メインビデオデータ上に重ねて表示されるサブビデオデータのサイズは徐々に大きくなり、逆にアルファ値＝０の領域は徐々小さくなる。サブビデオデータの解像度（画像サイズ）が１９２０×１０８０ピクセルになった場合、ＧＰＵ１２０は、例えば、７２０×４８０ピクセルのサーフェース（全ピクセルの色＝黒、全ピクセルのアルファ値＝０）を１９２０×１０８０ピクセルのサブビデオデータ上にピクセル毎に重ね合わせるブレンド処理を実行して、１９２０×１０８０ピクセルのサブビデオデータ上にアルファ値＝０の７２０×４８０ピクセルの領域を配置する。

一方、ビデオデコーダ２５は、ＣＰＵ１１からの指示に従って、メインビデオデータの解像度を７２０×４８０ピクセルに縮小するスケーリング処理を実行する。

７２０×４８０ピクセルに縮小されたメインビデオデータは、１９２０×１０８０ピクセルのサブビデオデータ上に配置された、７２０×４８０ピクセルのアルファ値＝０の領域に表示される。すなわち、ＧＰＵ１２０から出力されるアルファデータは、メインビデオデータが表示される領域を制限するためのマスクとしても使用することができる。

このように、ＧＰＵ１２０から出力されるアルファデータはソフトウェアによって自由に制御することができるので、グラフィクスデータを効果的にメインビデオデータ上に重ねて表示することができ、これによりインタラクティブ性の高い映像表現を容易に実現することができる。さらに、アルファデータはグラフィクスデータと一緒にＧＰＵ１２０からブレンド処理部３０に自動的に転送されるので、ソフトウェアは、ブレンド処理部３０へのアルファデータの転送を意識する必要はない。

次に、図８を参照して、メインビデオデータおよびグラフィクスデータそれぞれがブレンド処理部３０に転送される動作を説明する。

メインビデオデータは、デジタルＹＵＶビデオ信号としてビデオデコーダ２５からブレンド処理部３０に転送される。ＨＤ−ＤＶＤストリームに含まれるＡＶコンテンツによっては、ＨＤ（High Definition）規格のメインビデオデータではなく、ＳＤ（Standard Definition）規格のメインビデオデータを使用するものもある。このため、ビデオデコーダ２５は、ＳＤおよびＨＤの双方に対応できるように構成されている。ビデオデコーダ２５から出力されるメインビデオデータの垂直ライン数は、480i，480p，1080i，720pのいずれかである。480iはＳＤ規格のインターレース画像の垂直ライン数であり、480pはＳＤ規格のプログレッシブ画像の垂直ライン数である。また、1080iはＨＤ規格のインターレース画像の垂直ライン数であり、720pはＨＤ規格のプログレッシブ画像の垂直ライン数である。

ＧＰＵ１２０はアルファデータ付きのグラフィクスデータをＲＧＢＡ形式のデジタルビデオ信号としてグラフィクスバス２０上に出力する。アルファデータ付きのグラフィクスデータの画面イメージの解像度はメインビデオデータの画面イメージの解像度と同じである。すなわち、ＣＰＵ１１の制御の下、ＧＰＵ１２０は、480i，480p，1080i，720pのいずれかに対応する、アルファデータ付きのグラフィクスデータを出力する。

図９は、グラフィクスバス２０を介してアルファデータ付きのグラフィクスデータが転送される様子を示している。

グラフィクスバス２０は３２ビット幅を有しており、図９に示されているように、グラフィクスデータ（ＲＧＢ＝２４ｂｉｔ）およびアルファデータ（Ａ＝８ｂｉｔ）はピクセルクロック信号に同期してグラフィクスバス２０を介して転送される。ピクセルクロック信号は、例えばＧＰＵ１２０内に設けられたピクセルクロック発生器（ＰＬＬ：Phase-Locked Loop）から出力される。Ｒ１，Ｇ１，Ｂ１，Ａ１は第１ピクセルの赤，緑，青，透明度（アルファ）の４つの成分を示し、同様に、Ｒ２，Ｇ２，Ｂ２，Ａ２は第２ピクセルの赤，緑，青，透明度（アルファ）の４つの成分を示している。

このようにして、グラフィクスデータ（ＲＧＢ）およびアルファデータ（Ａ）はピクセル毎に同期した状態でブレンド処理部３０に送られる。したがって、グラフィクスデータ（ＲＧＢ）とアルファデータ（Ａ）との同期化を図る回路をブレンド処理部３０に設けることなく、グラフィクスデータ（ＲＧＢ）とメインビデオデータ（ＹＵＶ）との重ね合わせを容易に実行することができる。

なお、アルファデータ（Ａ）とグラフィクスデータ（ＲＧＢ）とを必ずしも同一のバスを介して転送する必要はなく、図１０に示すように、アルファデータ（Ａ）とグラフィクスデータ（ＲＧＢ）とを互いに異なる伝送線路を介して転送してもよい。図１０においては、アルファデータ（Ａ）は第１のグラフィクスバス２０Ａを介してＧＰＵ１２０からブレンド処理部３０に転送され、グラフィクスデータ（ＲＧＢ）は第２のグラフィクスバス２０Ｂを介してＧＰＵ１２０からブレンド処理部３０に転送される。グラフィクスバス２０Ａ，２０Ｂは、それぞれＧＰＵ１２０とブレンド処理部３０との間に配設されている。

次に、図１１を参照して、ブレンド処理部３０の構成例を説明する。

ビデオデコーダ２５から出力されるビデオデータは、輝度信号の解像度よりも色差信号の解像度が低い４：２：２フォーマットのＹＵＶデータである。一方、ＧＰＵ１２０から出力されるグラフィクスデータはＲＧＢデータである。グラフィクスデータの色空間をＲＧＢ色空間からＹＵＶ色空間に変換した場合、グラフィクスデータは輝度信号の解像度と色差信号の解像度が等しい４：４：４フォーマットのＹＵＶデータとなる。

グラフィクスデータとビデオデータとをＹＵＶ色空間上でブレンドするために、ブレンド処理部３０は、図示のように、ＲＧＢＡ−ｔｏ−ＹＵＶ変換部２０１、４：２：２−ｔｏ−４：４：４変換部２０２、アルファ演算部２１０、および４：４：４−ｔｏ−４：２：２変換部２１１を備えている。

ＧＰＵ１２０からのアルファデータ付きのグラフィクスデータ（ＲＧＢＡ）はＲＧＢＡ−ｔｏ−ＹＵＶ変換部２０１に送られる。ＲＧＢＡ−ｔｏ−ＹＵＶ変換部２０１は、グラフィクスデータ（ＲＧＢ）の色空間をＲＧＢ色空間からＹＵＶ色空間に変換することにより、アルファデータ付きのＹＵＶ４：４：４フォーマットのグラフィクスデータ（ＹＵＶＡ）を生成する。ＹＵＶ４：４：４フォーマットのグラフィクスデータに付加されるアルファデータは、ＲＧＢデータに付加されている値がそのまま使用される。生成されたグラフィクスデータ（ＹＵＶＡ）はアルファ演算部２１０に送られる。

ビデオデコーダ２５からのＹＵＶ４：２：２フォーマットのビデオデータは４：２：２−ｔｏ−４：４：４変換部２０２に送られる。４：２：２−ｔｏ−４：４：４変換部２０２は、ＹＵＶ４：２：２フォーマットのビデオデータをアップサンプリングして、ＹＵＶ４：４：４フォーマットのビデオデータを生成する。このＹＵＶ４：４：４フォーマットのビデオデータはアルファ演算部２１０に送られる。

アルファ演算部２１０は、アルファデータ付きのグラフィクスデータ（ＹＵＶＡ）のアルファデータ（Ａ）に基づいて、グラフィクスデータ（ＹＵＶ４：４：４）とビデオデータ（ＹＵＶ４：４：４）とをピクセル毎に重ね合わせるための演算（アルファブレンディング演算）を実行して、ＹＵＶ４：４：４フォーマットの出力画像データを生成する。ＹＵＶ４：４：４フォーマットの出力画像データは、直接に、あるいは４：４：４−ｔｏ−４：２：２変換部２１１を介してＹＵＶ４：２：２フォーマットにダウンサンプリングされた後に、ビデオエンコーダ４０に送られる。

以上のように、本実施形態のＨＤ−ＤＶＤプレーヤにおいては、再生時の前段の処理に該当する暗号化解除処理や分離処理に加え、グラフィクスに対するデコード処理やサブオーディオに対するデコード処理を、ソフトウェア（プログラム）で実現しているため、将来においてシステムの仕様変更（例えばグラフィクスの処理に関する仕様変更）が生じた場合でも、ソフトウェアを更新することにより、容易に対処することができる。また、処理量が多い主映像や主音声のデータに対するデコード処理やミックス処理、ブレンド処理については、専用のハードウェアで実現しているため、高品質な映像／音声の再生を維持することができる。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る再生装置の構成を示すブロック図。 図１の再生装置で用いられるプレーヤアプリケーションの構成を示す図。 図２のプレーヤアプリケーションによって実現されるソフトウェアデコーダの機能構成を説明するための図。 図１の再生装置に設けられたブレンド処理部によって実行されるブレンド処理を説明するための図。 図１の再生装置に設けられたＧＰＵによって実行されるブレンド処理を説明するための図。 図１の再生装置においてメインビデオデータ上にサブビデオデータが重ねて表示される様子を示す図。 図１の再生装置においてサブビデオデータ上の一部の領域にメインビデオデータが表示される様子を示す図。 図１の再生装置においてメインビデオデータおよびグラフィクスデータそれぞれがブレンド処理部に転送される動作を示す図。 図１の再生装置においてグラフィクスデータとアルファデータが同期して転送される様子を示す図。 図１の再生装置においてグラフィクスデータとアルファデータとが異なる伝送線路を介して転送される様子を示す図。 図１の再生装置に設けられたブレンド処理部の構成を示すブロック図。

符号の説明

１１…ＣＰＵ、１６…オーディオコーデック、１８…ＨＤ−ＤＶＤドライブ、２４…オーディオデコーダ、２５…ビデオデコーダ、３０…ブレンド処理部、３１，３２…オーディオミキサ、２０…グラフィクスバス、２１…ＰＣＩバス、１０１…ストリーム読取り部、１０２…暗号化解除処理部、１０３…デマルチプレクス部、１０４…Sub-Pictureデコーダ、１０５…Sub-Videoデコーダ、１０６…Advanced Navigationデコーダ、１２０…ＧＰＵ、１３１…ビデオメモリ（ＶＲＡＭ）。

Claims (9)

1. 第１のビデオデータと、第２のビデオデータを含むグラフィクスデータとを有する動画像ストリームに対してプログラムによる分離処理を実行し、この分離処理を通じて得られる前記第２のビデオデータに対してプログラムによるデコード処理を実行する実行手段と、
   前記分離処理を通じて得られる前記第１のビデオデータをデコードするデコーダ回路と、
   前記デコーダ回路によりデコードされた第１のビデオデータと、前記実行手段におけるデコード処理によりデコードされた第２のビデオデータを含むグラフィクスデータとを重ね合わせて出力するブレンド処理回路と
   を具備することを特徴とする再生装置。
2. 前記グラフィクスデータは、静止画データを含んでおり、
   前記実行手段は、前記分離処理を通じて得られる前記静止画データに対してプログラムによるデコード処理を実行することを特徴とする請求項１記載の再生装置。
3. 前記グラフィクスデータは、操作ガイダンスを表示するためのナビゲーションデータを含んでおり、
   前記実行手段は、前記分離処理を通じて得られる前記ナビゲーションデータに対してプログラムによるデコード処理を実行することを特徴とする請求項１又は２記載の再生装置。
4. 前記実行手段は、前記分離処理を行う前に、前記動画像ストリームに対してプログラムによる暗号化解除処理を実行することを特徴とする請求項１記載の再生装置。
5. 前記第２のビデオデータを含むグラフィクスデータを、各ピクセルの透明度を示すアルファデータと共に、前記ブレンド処理回路に対して出力するグラフィクス処理装置をさらに具備することを特徴とする請求項１記載の再生装置。
6. 前記ブレンド処理回路は、前記グラフィクス処理装置から送られてくる前記アルファデータに基づいて、前記第１のビデオデータとグラフィクスデータとのブレンド処理を行うことを特徴とする請求項５記載の再生装置。
7. 前記第１のビデオデータは、前記第２のビデオデータよりも処理量が多いことを特徴とする請求項１記載の再生装置。
8. 第１のビデオデータと、第１のオーディオデータと、第２のビデオデータを有するグラフィクスデータと、第２のオーディオデータとを含む動画像ストリームに対してプログラムによる分離処理を実行し、この分離処理を通じて得られる前記第２のビデオデータに対してプログラムによるデコード処理を実行し、前記分離処理を通じて得られる前記第２のオーディオデータに対してプログラムによるデコード処理を実行する実行手段と、
   前記分離処理を通じて得られる前記第１のビデオデータをデコードするビデオデコーダ回路と、
   前記分離処理を通じて得られる前記第１のオーディオデータをデコードするオーディオデコーダ回路と、
   前記ビデオデコーダ回路によりデコードされた第１のビデオデータと、前記実行手段におけるデコード処理によりデコードされた第２のビデオデータを含むグラフィクスデータとを重ね合わせて出力するブレンド処理回路と、
   前記オーディオデコーダ回路によりデコードされた第１のオーディオデータと、前記実行手段におけるデコード処理によりデコードされた第２のオーディオデータをミキシングして出力するミキサ回路と
   を具備することを特徴とする再生装置。
9. 前記第１のビデオデータは、前記第２のビデオデータよりも処理量が多く、
   前記第１のオーディオデータは、前記第２のオーディオデータよりも処理量が多いことを特徴とする請求項８記載の再生装置。

Images