JP2010515375A - マルチレイヤ・ビデオ合成におけるバウンディング・ボックスの補助的情報の使用 - Google Patents

Abstract

グラフィックス情報をビデオに合成するための機器は、ビデオ情報のプレーンのソース、ならびに、レンダリングされたグラフィックス・プレーン、およびレンダリングされたグラフィックス・プレーン内の不透明なピクセルを含む複数の分解された領域を指定するバウンディング情報を提供するためのレンダラを含む。コントローラは、バウンディング情報に基づいて、レンダリングされたグラフィックス・プレーンの合成を制御するために、レンダラに接続される。コンポジタは、コントローラからの制御情報に基づいて、ビデオ情報のプレーンおよびレンダリングされたグラフィックス・プレーン内の複数の分解された領域のみを合成するために、ソース、レンダラ、およびコントローラに接続される。

Description

本発明の実施例は、一般に、マルチレイヤ・ビデオ合成、およびマルチレイヤ・ビデオ合成におけるグラフィックスおよびサブピクチャ情報の処理に関する。

（関連出願のクロスリファレンス）
本願は、２００６年１０月２３日に出願された米国出願番号１１／５８４，９０３、発明の名称「透明および不透明領域の識別によるビデオ合成の最適化」（弁護士参照番号Ｐ２３８０６）に関連し、その全内容が参照として組み込まれる。

ＨＤ ＤＶＤおよびブルーレイ（Ｂｌｕ−Ｒａｙ）のような新規の高精細度ビデオ再生システムには、より大きい対話性（interactivity）が加えられた。例えば、図１に示されるように、ＨＤ ＤＶＤシステム１００は、プレーヤに対して、合成されるビデオおよびグラフィックス・プレーンの４つ（またはそれ以上）のレイヤをサポートすることを要求する。このようなレイヤのそれぞれは、プレーンごと、および／またはピクセルごとに（半透明(translucency)の量を特定するための）アルファ値を有する。グラフィックス・プレーン１１０は、例えば、適切なレートでファイル・キャッシュからレンダリングされ、画素ごとに半透明アルファ値を有する。サブピクチャ・プレーン１２０は、例えば、適切なレートまたは合計３０ｍｐｂｓ以内でファイル・キャッシュからレンダリングされ、画素ごとの半透明アルファ値および／またはプレーンの半透明アルファ値を有する。完全を期すために、メイン・ビデオ・プレーンは高精細度ビデオ（例えば、＜２９．９７ｍｂｐｓで１０８０ｉ６０）を含み、また、アディショナル・ビデオ・プレーンは標準精細度ビデオ（例えば＜４−６ｍｂｐｓで４８０ｉ６０）を含む。

グラフィックス・プレーン１１０および／またはサブピクチャ・プレーン１２０は、合成エンジン（コンポジタとも称する）の帯域幅および仕事量を支配する。フルサイズのプレーン１１０／１２０のピクセルごとの合成をサポートする必要があるプレーヤは、読取り／書込み可能な帯域幅全体のかなりの部分を消費する。例えば、このような合成は、モバイルのプラットフォームに大きな電力負担をかける。

多くの用途のために、大きなグラフィックス・プレーンが要求される。いくつかのアプリケーションは、周辺領域（例えば、上部のドロップ・カーテン、下部のポップ・アップ・メニュー、脚注、間隔を空けて配置されたグラフィックスのロゴを有する字幕等）にグラフィックスを配置する傾向がある。多くの場合、ほとんどのグラフィックスおよび／またはサブピクチャのピクセルは透明である。例えば、プレーン１１０／１２０のピクセルの９０％が透明な場合、合成帯域幅およびスループットの６０−７０％が無駄に使用される。

添付図面は、本明細書に組み込まれ、かつその一部を構成するものであり、本発明の原理と一致する１またはそれ以上の実施例を図示し、その記述と共にこれらの実施例を説明する。図面は、必ずしも同一縮尺ではなく、本発明の原理を示すために拡大される場合がある。

従来の高精細度レイヤ・ビデオ・フォーマットを示す。

グラフィックスおよび／またはサブピクチャ情報を含むマルチレイヤ・ビデオを合成するためのシステムを示す。

合成のためのバウンディング・ボックスおよび対応するドローイング・レクタングルを概念的に示す。

グラフィックス領域内のバウンディング・ボックス、および合成領域内のドローイング・レクタングルを概念的に示す。

バウンディング・ボックスおよびドローイング・レクタングルを使用して合成する方法を示す。

以下の詳細な説明は、添付図面を参照する。同一の参照番号は、同一の要素を識別するために、異なる図中で使用される。以下の記述では、特定の詳細事項について、請求の範囲に記載された発明について多面的に完全な理解を提供するために、特別の構造、アーキテクチャ、インタフェース、技術などのように記載されるが、これらは制限目的のためではなく、説明目的のためである。しかしながら、請求の範囲に記載された本発明の様々な側面は、これら特定の詳細事項以外の他の実施例によっても実施可能であることは、本発明の開示により利益を受ける当業者にとって明白であろう。例えば、周知の装置、回路、および方法についての記述は、必要以上に詳細に説明することにより本発明の記述を不明瞭にしないために省略される。

図２は、グラフィックスおよび／またはサブピクチャ情報を含むマルチレイヤ・ビデオを合成するためのシステム２００を示す。システム２００は、メイン・ビデオ・プレーンおよび／またはアディショナル・ビデオ・プレーン（サブ・ビデオ・プレーンとも呼ばれる）のようなビデオ情報のソース２１０を含む。ソース２１０は、サブピクチャおよび／またはグラフィックス情報を合成するために、コンポジタ２４０にビデオ情報のプレーンを出力する。

システム２００は、さらに、サブピクチャまたはグラフィックス・レンダラ(renderer)２２０を含む。レンダラ２２０は、サブピクチャ・レンダラおよびグラフィックス・レンダラのうちの一方または両方を含む。従って、レンダラ２２０は、何がレンダリングされるかに依存して、サブピクチャ・ビットストリームおよび／またはグラフィックス言語、ならびに制御情報を受け取る。レンダラ２２０は、サブピクチャ用およびグラフィックス用に２つの別個の機能を有するレンダラを含むことに注意すべきである。しかし、それらは、説明を単純化するために、図２では１つの要素として示される。いくつかの実施例において、レンダラ２２０は、グラフィックス・プレーン１１０および／またはサブピクチャ・プレーン１２０全体をレンダリングし、それらをコンポジタ２４０に出力する。

レンダラ２２０は、レンダリングされたサブピクチャおよび／またはグラフィックス・プレーンをコンポジタ２４０へ出力することに加えて、バウンディング情報（例えば、バウンディング・ボックスまたはドローイング・レクタングル）を含むメッセージを合成コントローラ２３０に出力する。このようなバウンディング情報は、コンポジタに出力される不透明なサブピクチャまたはグラフィックス・オブジェクトの空間的な範囲を指定するが、それについては以下でより詳しく説明する。このようなバウンディング情報は「補助的(supplementary)」であると考えられ、それが存在しない場合であっても、グラフィックスおよび／またはサブピクチャ・プレーン全体が、レンダラ２２０によって描画またはレンダリングされ、コンポジタ２４０によって合成されることを意味することに注意すべきである。

合成コントローラ２３０は、レンダラ２２０からバウンディング情報を受け取り、それに基づいて、コンポジタ２４０によるサブピクチャおよび／またはグラフィックス情報処理を制御する。例えば、コントローラ２３０は、そのような「制限範囲外」のサブピクチャおよび／またはグラフィックス情報が透明である（または、そのように扱われるくらい十分に透明に近い）ことを示して、一定の境界（例えば、後述するバウンディング・ボックス）の外側にあるいかなる情報も合成しないようにコンポジタ２４０に命令する。

さらに、コントローラ２３０は、例えば、情報の様々なレイヤが合成される合成領域にレンダリングされる、グラフィックスまたはサブピクチャ・プレーン（例えば、プレーン１１０および／または１２０）からのバウンディング情報をマッピングするために配置される。例えば、グラフィックスまたはサブピクチャ・プレーン内の情報は、それが合成領域の精細度／サイズとは異なる精細度／サイズにレンダリングされる場合、コントローラ２３０によって適切にスケールにされる。同様に、レンダリングされたときの境界または基準位置（例えば、左上コーナ）が合成領域の対応する境界または基準位置からシフトまたはオフセットされた位置にある場合、グラフィックスまたはサブピクチャ・プレーン内の情報は、コントローラ２３０によってシフトまたはオフセットされる。いくつかの実施例において、そのようなスケーリングおよび／またはオフセットは、コントローラ２３０から、実際にスケーリングおよび／またはオフセットを実行するコンポジタ２４０への適切なスケーリングおよび／またはオフセット命令によって遂行される。

コンポジタ２４０は、合成コントローラ２３０からのコマンドおよび／または命令に基づいて、ソース２１０からのビデオ情報を、レンダラ２２０からのサブピクチャおよび／またはグラフィックス・プレーンと結合させるために配置される。特に、コンポジタ２４０は、コントローラ２３０によって指定された領域内にある、そのようなグラフィックスまたはサブピクチャ情報のみを合成する。バウンディング領域の外側にあるプレーン１１０／１２０の残りの情報は透明であり、コンポジタ２４０によって無視される。コンポジタ２４０は、ピクセル単位で情報を合成するために配置されるが、他の粒状度（例えばブロックごと）も考えられる。図２には明示されていないが、コンポジタ２４０は、システム２００のユーザに対して視覚的に表示するために、合成されたビデオ情報をフレーム・バッファおよび／または接続されたディスプレイ（図示せず）に出力する。

図３Ａは、合成のためのバウンディング・ボックス３１０および対応するドローイング・レクタングル(「ｄｒａｗＲｅｃｔ」)３２０を示す。図３Ｂは、グラフィックス・プレーン３３０内のバウンディング・ボックス３１０および合成目標領域３４０内のドローイング・レクタングル３２０を概念的に示す。さらに図３Ｂには、理解を助けるために、バウンディング・ボックス３１０およびｄｒａｗＲｅｃｔ３２０よって包囲されたグラフィック・オブジェクトも示される。例えば、取り決めによって、ボックス３１０およびｄｒａｗＲｅｃｔ３２０の外側の領域は、透明（または、ほぼ透明）であるとみなされ、コンポジタ２４０によって合成されない。

図４は、バウンディング・ボックス３１０およびドローイング・レクタングル３２０を使用して合成する方法を示す。説明を容易にするために図２，図３Ａ，図３Ｂを参照して記載されるが、図４に記載されたスキームは、これらの図に示された特定事項に制限されると解釈すべきではない。

この方法は、最初の部分において、グラフィックスおよび／またはサブピクチャ・プレーン内の透明部分を（例えば、不透明な領域に対してバウンディング・ボックスを使用して）識別することを要する。これは、サブピクチャ・プレーンのピクセル・レベルでの半透明、およびグラフィックス・プレーン内のテキストおよびテクスチャ・マップの半透明および配置を含む。特に、補助的なバウンディング・ボックス（「Ｂｂｏｘ」）が、重要なこれらのグラフィックス／サブピクチャ・プレーン内の不透明な領域のために生成される［動作４１０］。複数のＢｂｏｘは、グラフィックスおよび／またはサブピクチャ・プレーン内の不透明なピクセルを含む領域を記述する。Ｂｂｏｘは、レンダラ２２０からコントローラ２３０へ送られ、ソース・プレーンの座標（例えばグラフィックス・プレーンの座標）に基づいて記述される。Ｂｂｏｘは、コンポジタ２４０への命令を促進するためにオーバーラップすべきでない。前述したように、Ｂｂｏｘは、それが存在しない場合であっても、重要な全てのプレーンは描画されるので、「補助的」である。

このようなバウンディング・ボックス情報は、動作４１０において、１）グラフィックス／サブピクチャ・プレーンの復号時間中にプレーヤによって識別されるか、あるいは、２）レンダラ２２０によるレンダリング時間中に識別される。また、バウンディング・ボックス情報は、グラフィックスまたはサブピクチャ・コンテンツ内に直接提供される。第１の「復号時間」アクティブ技術に従って、動作４１０でバウンディング・ボックス情報を識別するスキームは、前出の関連出願番号１１／５８４，９０３に記載されており、参照として組み込まれる。そこに記述されているように、バウンディング・ボックスは、それぞれが不透明なピクセルを含むデータに隣接するラインによって画定される。

第２の「レンダリング時間」アクティブ技術に従って、動作４１０でバウンディング・ボックス情報を識別するスキームは、レンダラ２２０内のタイル状のレンダを使用し、そのタイルをバウンディング・ボックス検出のビルディング・ブロックとして使用する。グラフィックスまたはサブピクチャ・プレーンがタイル単位でレンダリングされたとき、典型的には半透明検出器が存在する。全体のタイルが（例えば、半透明検出器内のアルファ検出器および／またはオブジェクト・カバレージ検出器によって判定された）透明なピクセルのみを含むとき、タイルは透明であるとしてマークされる。他方、不透明なピクセルが存在するとき、このようなタイルの周囲がＢｂｏｘ３１０として指定される。このようなタイルベースのバウンディングは、コントローラ２３０からの命令を介したコンポジタ２４０による合成に用いられる。Ｂｂｏｘ３１０が決定されても、動作４１０は、グラフィックスおよび／またはサブピクチャ・プレーンのために、少なくとも１つの、いくつかの実施例では複数の分解されたＢｂｏｘ３１０を生成する。Ｂｂｏｘ３１０は、どのような不透明なオブジェクトでも囲むことができるほど十分に大きいが、図３Ｂに示されるように、そのようなオブジェクトを囲むのに十分な領域を大きく越えるほど拡張すべきでない。

動作４１０は、補助的なバウンディング・ボックス３１０の生成に加えて、さらにプレーンごとのオブジェクト（例えば、図３Ｂの図形およびテキスト）をレンダリングする。いくつかの実施例では、レンダラ２２０によって実行される動作４１０は、さらに、プレーン１１０および／または１２０のためのスケーリング・ファクタを生成する。しかしながら、他の実施例では、合成コントローラ２３０は、例えば動作４２０と共にスケーリング・ファクタを生成する。

バウンディング・ボックス３１０からドローイング・レクタングル（ｄｒａｗＲｅｃｔ）３２０を導出するコントローラ２３０によって、処理が継続される［動作４２０］。各ｄｒａｗＲｅｃｔ３２０は、ｄｒａｗＲｅｃｔ３２０の合成領域内の行先位置、および対応するＢｂｏｘ３１０のグラフィックスまたはサブピクチャ・プレーン内のソース領域を含む。各ｄｒａｗＲｅｃｔは、行先へピクセル単位で整合され、その結果、ソース内に断片的な位置を含む。断片的なソース領域は、あらゆるＢｂｏｘの解体境界のためにオリジナルＢｂｏｘｅ３１０を含むべきである。これは、Ｂｂｏｘ３１０を使用せずに得られるのと同様の結果を伝送するために、隣接するＢｂｏｘ３１０を処理するための重要な「記帳」である。

ビデオ、およびレンダラ２２０からレンダリングされたプレーン１１０／１２０のレイヤを合成するために、コントローラ２３０からのｄｒａｗＲｅｃｔ３２０を使用して、コンポジタ２４０によって処理が継続される［動作４３０］。特に、コンポジタ２４０は、ｄｒａｗＲｅｃｔ３２０内に入ったプレーン１１０／１２０の領域のみを合成し、これらのプレーンの透明領域を合成しないことによって多くの処理を節約する。図４には明示されていないが、動作４３０は、さらに、ユーザに対して合成された情報を視覚的に表示するために、フレーム・バッファおよび／または接続されたディスプレイ（図示せず）に、合成されたビデオ情報を出力することを含む。

上記スキームおよび機器は、合成出力に視覚的に影響しない領域（例えば、透明なグラフィックおよび／またはサブピクチャ情報）を合成せずに、マルチ・レイヤとビデオ情報との合成を提供する点において有益である。バウンディング・ボックスは、スケールされるピクセルごとのアルファ値で予めレンダリングされた大きいプレーン用のスキームにおいて補助的情報として使用されてもよい。このようなスキームは、合成効率の著しい向上および省電力を提供するので、小型および／またはモバイル・プラットフォームに対する低電力要求を多少なりとも満たすことができる。

１またはそれ以上の実施例に関する以上の記載は、図および記述を提供するが、本発明の範囲を網羅するものではく、あるいは開示されたとおりの形式に制限することを意図するものではない。様々な修正および変更が上記の教示に照らして可能であり、あるいは、本発明の様々な実施例を実施することによって習得されるであろう。

例えば、バウンディング「ボックス」およびドローイング「レクタングル」がここでは記述されたが、不透明領域を境界づけ、透明領域を除外するために、あらゆる適切な幾何学的図形を使用することができる。したがって、ここに使用されるように、「ボックス」および「レクタングル」は、内角が直角である厳密な四辺構造以外の形状を包含する。

本発明の記述において使用された要素、動作、または命令は、それに関する明示的な記述がない限り、本発明にとって重大または不可欠なものであると解釈すべきではない。さらに、ここに使用されるように、名詞は、１またはそれ以上のアイテムを含むように意図される。多様な変更および修正が、本発明の思想および原理から本質的に逸脱することなく本発明の上記実施例に基づいてなし得るであろう。そのような修正および変更はすべて本開示範囲に含まれ、かつ、以下の請求項によって保護されることを意図するものである。

Claims (19)

1. グラフィックス情報をビデオに合成するための機器であって、
   ビデオ情報のプレーンのソースと、
   レンダリングされたグラフィックス・プレーン、および前記レンダリングされたグラフィックス・プレーン内の不透明なピクセルを含む複数の分解された領域を指定するバウンディング情報を提供するためのレンダラと、
   前記バウンディング情報に基づいて前記レンダリングされたグラフィックス・プレーンの合成を制御するために前記レンダラに接続されたコントローラと、
   前記コントローラからの制御情報に基づいて、前記ビデオ情報のプレーンおよび前記レンダリングされたグラフィックス・プレーン内の前記複数の分解された領域のみを合成するために、前記ソース、前記レンダラ、および前記コントローラに接続されたコンポジタと、
   から構成されることを特徴とする機器。
2. 前記ビデオ情報のプレーンは、ビデオ情報の高精細度プレーンおよびビデオ情報の標準精細度プレーンを含むことを特徴とする請求項１記載の機器。
3. 前記レンダラは、前記バウンディング情報として少なくとも１つのバウンディング・ボックスを生成するために配置されることを特徴とする請求項１記載の機器。
4. 前記レンダラは、グラフィックス情報の復号中に前記少なくとも１つのバウンディング・ボックスを生成するために配置されることを特徴とする請求項３記載の機器。
5. 前記レンダラは、前記レンダリングされたグラフィック・プレーンのタイルベースのレンダリングの間に前記少なくとも１つのバウンディング・ボックスを生成するために配置されることを特徴とする請求項３記載の機器。
6. 前記コントローラは、前記コンポジタによって使用されるために、前記複数の分解された領域を複数の分解されたドローイング・レクタングルにスケーリングするために配置されることを特徴とする請求項１記載の機器。
7. グラフィックス情報をビデオに合成する方法であって、
   グラフィックス情報のプレーンをレンダリングする段階と、
   前記グラフィックス情報のプレーン内の不透明なピクセルのすべてを包囲する第１バウンディング・ボックスを生成する段階と、
   前記第１バウンディング・ボックスから、合成領域のための第１ドローイング・レクタングルを導出する段階と、
   前記第１ドローイング・レクタングル内に入った前記グラフィックス情報のプレーンからのグラフィックス情報のみをビデオ情報の複数のレイヤと合成する段階と、
   から構成されることを特徴とする方法。
8. 前記レンダリングする段階は、タイリングの手法で前記プレーンをレンダリングする段階を含み、
   前記生成する段階は、不透明なピクセルを含むレンダリングされたタイルのセットを決定することを特徴とする請求項７記載の方法。
9. 前記レンダリングされたタイルのセットの周囲は、前記第１バウンディング・ボックスを画定することを特徴とする請求項８記載の方法。
10. 前記生成する段階は、入力されたグラフィックス情報の復号中に前記バウンディング・ボックスを画定する段階を含むことを特徴とする請求項７記載の方法。
11. 前記生成する段階は、入力されたグラフィック内に包含されたバウンディング情報から前記バウンディング・ボックスを決定する段階を含むことを特徴とする請求項７記載の方法。
12. 前記導出する段階は、前記グラフィックス情報のプレーンと前記合成領域との間を空間的に一致させるために十分な量で、前記第１バウンディング・ボックスをスケーリングおよびオフセットする段階を含むことを特徴とする請求項７記載の方法。
13. サブピクチャ情報のプレーンをレンダリングする段階と、
    前記サブピクチャ情報のプレーン内の不透明なピクセルのすべてを包囲する第２バウンディング・ボックスを生成する段階と、
    前記第２バウンディング・ボックスから合成領域のための第２ドローイング・レクタングルを導出する段階と、
    をさらに含み、
    前記合成する段階は、前記第２ドローイング・レクタングル内に入った前記サブピクチャ情報のプレーンからのサブピクチャ情報のみをビデオ情報の複数のレイヤに合成する段階を含む、
    ことを特徴とする請求項７記載の方法。
14. サブピクチャ情報をビデオに合成するための機器であって、
    ビデオ情報のプレーンのソースと、
    レンダリングされたサブピクチャ・プレーン、および前記レンダリングされたサブピクチャ・プレーン内の不透明なピクセルを含む複数の分解された領域を指定するバウンディング情報を提供するためのレンダラと、
    前記バウンディング情報に基づいて前記レンダリングされたサブピクチャ・プレーンの合成を制御するために前記レンダラに接続されたコントローラと、
    前記コントローラからの制御情報に基づいて、前記ビデオ情報のプレーン、および前記レンダリングされたサブピクチャ・プレーン内の前記複数の分解された領域のみを合成するために、前記ソース、前記レンダラ、および前記コントローラに接続されたコンポジタと、
    から構成されることを特徴とする機器。
15. 前記ビデオの情報のプレーンは、ビデオ情報の高精細度プレーンおよびビデオ情報の標準精細度プレーンを含むことを特徴とする請求項１４記載の機器。
16. 前記レンダラは、前記バウンディング情報として複数のバウンディング・ボックスを生成するために配置されることを特徴とする請求項１４記載の機器。
17. 前記グラフィックス・レンダラは、サブピクチャ情報の復号中に前記複数のバウンディング・ボックスを生成するために配置されることを特徴とする請求項１６記載の機器。
18. 前記グラフィックス・レンダラは、前記レンダリングされたサブピクチャ・プレーンのタイルベースのレンダリングの間に前記複数のバウンディング・ボックスを生成するために配置されることを特徴とする請求項１６記載の機器。
19. 前記コントローラは、前記コンポジタによって使用されるために、前記複数の分解された領域を複数の分解されたドローイング・レクタングルにスケーリングするために配置されることを特徴とする請求項１４記載の機器。

Images