JP2007079664A - ３次元グラフィクスから２次元ビデオへのエンコーディングのための方法および装置 - Google Patents

Abstract

【課題】３次元モデルを２次元にレンダリングする際に、重要なオブジェクトにより多くのビットを割り当てることで、人間が見たときの視覚上の品質を向上させる。
【構成・動作】３次元モデルから取り出した例えば奥行き情報によりビットバジェットの配分を決める。
【選択図】図２

Description

本発明の実施形態はビデオエンコーディングの分野に関する。

携帯情報端末（ＰＤＡ）や携帯電話のようなさまざまなモバイルクライアントが、ストリーミングビデオコンテンツを表示するためのディスプレイ画面を備えている。無線ネットワーク（例えば３Ｇ無線ネットワーク）の帯域幅の拡大とともに、ストリーミングビデオが無線メディアの大部分を占めるであろうと考えられていた。しかし、それに反して、これまで最も急成長しているアプリケーションは、３次元（３Ｄ）グラフィクスモデルに基づくモバイルネットワークゲームの領域にある。例えば、韓国や日本のような国々では、モバイルネットワークゲームの利用が増大しているため、モバイル電子機器を用いたモバイルネットワークゲームにアクセスすることへの要望が多い。

モバイルネットワークゲームは、リアルタイムの対話性を必要とし、これにより、現在の３Ｇ無線ネットワークのリアルタイムメカニズムに対して、適時に大量のデータを配信可能でなければならないという厳しい要求が課せられる。さらに、通常のモバイルクライアントは、計算資源が限定された低消費電力で軽量の装置であり、高品質グラフィクスに通常必要な毎秒数百万トライアングルをレンダリングする能力はない。そのため、現在のモバイルオンラインゲームは、通常、グループのサイズおよび対話性が制限され、視覚上の品質が簡略化されすぎている。

モバイルオンラインゲームの品質を改善するためには、無線ネットワーク技術における根本的進歩と、モバイルコンピューティングハードウェアにおける抜本的高速化が必要である。しかし、ゲーム観戦者はモバイルクライアントユーザのなかで大きなしかも成長している集団を形成している。ゲーム観戦者は、アクションを見ることのみに興味のある非参戦者としてネットワークゲームにアクセスするユーザである。このようなネットワークゲームはモバイルネットワークゲームに限定されない。例えば、ゲーム観戦者は、３Ｄグラフィクスをレンダリングするのに十分なハードウェアを備えたホームパーソナルコンピュータからネットワークゲームにアクセスするかもしれない。ネットワークゲームが成熟するにつれて、高度な技術を持つプレーヤは、そうしたプレーヤを忠実に追いかけ、対戦している自分たちのヒーローを、マルチキャストチャネルにおいてを集団で観戦するファン層を獲得する。

現在、モバイルネットワークゲーム観戦者は、活動的なゲーム参戦者と同じ制限を受けている。具体的には、ネットワークゲームを観戦するためには、観戦者のモバイルクライアントは、通常、３Ｄグラフィクスを表示するために必要なハードウェア要件を満たさなければならない。しかし、上述のように、通常のモバイルクライアントは、３Ｄグラフィクスをレンダリングすることが可能なハードウェアを含んでいない。したがって、モバイルゲーム観戦者は、しばしば、あまり魅力的でなくまた簡略化しすぎたグラフィクスしかもっていないために、観戦するにはあまり魅力のないモバイルオンラインゲームを眺めるだけしかできない。

３次元グラフィクスから２次元ビデオへのエンコーディングのための方法および装置である本発明の各種の実施形態がここに記載される。一実施形態では、少なくとも１つの３次元オブジェクトを表現する３次元モデルが受信される。この３次元モデルは２次元フレームにレンダリングされる。この２次元フレームについてのコンポジション情報が３次元モデルから抽出される。２次元フレームとコンポジション情報に基づいてビットストリームがエンコーディングされる。

以下、本発明の種々の実施形態について詳細に説明する。その例が添付図面に示される。本発明は、これらの実施形態に関連して説明されるが、本発明をこれらの実施形態に限定することを意図しないことが理解されるであろう。逆に、本発明は、特許請求の範囲の請求項によって定義される本発明の精神、範囲内に含まれ得る代替形態、変更形態および均等な形態を包含することを意図している。さらに、本発明の以下の説明では、本発明の十分な理解を提供するためにいくつかの具体的詳細事項が記載される。他の事例では、周知の方法、手続き、コンポーネント、および回路は、本発明の態様を不必要に分かりにくくすることがないように、詳細には記載されていない。

本発明の態様はコンピュータシステムで実装できる。コンピュータシステムは、一般に、情報および命令を処理するプロセッサと、情報および命令を記憶するランダムアクセス（揮発性）メモリ(RAM)と、静的な情報および命令を記憶する読み出し専用（不揮発性）メモリ(ROM)と、情報および命令を記憶する磁気式または光学式のディスクおよびディスクドライブのようなデータ記憶装置と、情報をコンピュータユーザに対して表示するディスプレイ装置（例えばモニタ）のような任意選択のユーザ出力装置と、情報およびコマンド選択をプロセッサに送信する英数字キーおよびファンクションキーを含む任意選択のユーザ入力装置（例えばキーボード）と、ユーザ入力情報およびコマンド選択をプロセッサに送信するカーソル制御装置（例えばマウス）のような任意選択のユーザ入力装置とを含む。

図１は、本発明の一実施形態によるゲーム観戦者ビデオエンコーディング・モバイルネットワーク１００（以下、ネットワーク１００という）のブロック図を示している。ネットワーク１００は、コアネットワーク１０４およびモバイルマルチキャストサポート１１２を含む。コアネットワーク１０４は、ゲームプレーヤ１０２、ポータル１０６、ゲームサーバ１０８およびグラフィクス−ビデオエンコーダ(graphics-to-video encoder)１１０を含む。ゲームプレーヤ１０２は、有線接続を用いてコアネットワーク１０４に接続されてもよいし、また無線接続を用いて接続されてもよい。一実施形態では、ゲームプレーヤは、ポータル１０６経由で許可を取得しオンラインゲームに登録する。こうして、ゲームプレーヤ１０２は、ゲームサーバ１０８経由でサーバ−クライアントモデルでゲームに参戦する。ゲームサーバ１０８は、３次元（３Ｄ）ゲームプレイ（例えば３Ｄモデルを用いたゲーム）をゲームプレーヤ１０２に提供するように動作可能である。ゲームサーバ１０８は、ゲームプレーヤ１０２およびグラフィクス−ビデオエンコーダ１１０へ、更新されたゲームイベントを送信する。なお、任意の人数のゲームプレーヤ１０２がコアネットワーク１０４にアクセスしてもよいことが理解されるべきである。

グラフィクス−ビデオエンコーダ１１０はグレンコーダ(grencoder)とも呼ばれるが、これは更新されたゲームイベントをエンコーディングビットストリームに変換するコンピュータシステムである。一実施形態では、このビットストリームは、モバイルマルチキャストサポート１１２を用いて、興味を持っているゲーム観戦者１１４および１１６へストリーミングされる。しかし、無線データ通信を送信するための任意の方法または技法を用いてもよいことが理解されるべきである。一実施形態では、モバイルマルチキャストサポート１１２は３Ｇ無線規格を利用し、ビットストリームを観戦者１１４および観戦者１１６に送信するために、ゲートウェイGPRS (General Packet Radio Service)サポートノード(GGSN (ゲートウエイGPRSサポートノード、Gateway GPRS Support Node))、GPRS服務サポートノード(Serving GPRS Support Node (SGSN))、複数のUMTS (Universal Mobile Technology System)地上無線アクセスネットワーク(UMTS Terrestrial Radio Access network (UTRAN))ノード、および複数のユーザ機器(UE)を含む。しかし、いかなる無線規格を用いてもよいことが理解されるべきである。一実施形態では、ユーザ機器はモバイルクライアントである。一実施形態では、モバイルクライアントは携帯情報端末である。別の実施形態では、モバイルクライアントは携帯電話である。

図２は、本発明の一実施形態によるグレンコーダ１１０のブロック図を示している。グレンコーダ１１０は、グラフィクスレンダリングユニット２１０、コンポジション情報抽出部２２０、およびビデオエンコーダ２３０を含む。一実施形態では、グレンコーダ１１０は、３次元グラフィクスから２次元ビデオへのエンコードのためのプロセスを実行するように動作可能である。

グラフィクスレンダリングユニット２１０は、サーバ（例えば、図１のゲームサーバ１０８）から３Ｄモデルを受信する。グラフィクスレンダリングユニット２１０は、３Ｄモデルのオブジェクトの３Ｄ表現を２Ｄ平面上にレンダリングし、生の２次元（２Ｄ）フレーム（２１５）を生成する。レンダリングはラスタ化とも呼ばれる。一実施形態では、これはグラフィクスレンダリングユニット２１０のフレームバッファ中で実行される。

コンポジション情報抽出部２２０は、３Ｄモデルからコンポジション情報２２５を抽出することにより、エンコードされたビットストリーム２３５の視覚上の品質を改善するように動作可能である。グラフィクスレンダリングユニット２１０は、２Ｄフレーム２１５を生成している元の３Ｄモデル２０５にアクセスすることによって、エンコーディングソースのシーンコンポジション情報にアクセスすることができる。このコンポジション情報は通常、ビデオエンコーダから利用可能である。一実施形態では、コンポジション情報は３Ｄモデル２０５のオブジェクトの奥行き値を含む。オブジェクトの奥行き値は、どちらのオブジェクトがカメラにより近いか、したがってどちらのオブジェクトが覆い隠されており、どちらのオブジェクトが覆い隠されていないかを識別するために用いられる。カメラに近い方のオブジェクトが関心を持たれる、つまり重要なオブジェクトでもあると仮定することによって、奥行き値は重要な領域も明らかにする。なお、コンポジション情報は他の要素を含んでよいことが理解されるべきである。他のファクタとしては、以下のものに限定されないが、動き、テクスチャ、形、フォグ、照明、および他の意味情報が挙げられる。一実施形態では、コンポジション情報抽出部２２０は、重要な領域の視覚上の品質を改善するために、コンポジション情報２２５をビデオエンコーダ２３０へ送信する。別の実施形態では、コンポジション情報抽出部２２０は、重要な領域を識別するために、コンポジション情報２２５に基づいて重み付け係数を生成する。そして、重要な領域の視覚上の品質を改善するために、重み付け係数がビデオエンコーダ２３０へ送信される。

ビデオエンコーダ２３０は、エンコードされたビットストリーム２３５を生成するために、２Ｄフレーム２１５およびコンポジション情報２２５を受信する。コンポジション情報２２５は、２Ｄフレーム２１５の重要な領域を識別するために用いられる。ビデオエンコーダ２３０は、重要な領域により多くのビットを割り当てるモード選択ストラテジを適用するように構成され、それにより、エンコードされたビットストリーム２３５の視覚上の品質を改善する。その後、ビットストリームはパケット化され、関心を持っている観戦者（例えば、図１のゲーム観戦者１１４および１１６）へ送信される。なお、ビデオエンコーダ２３０は、MPEG (Moving Pictures Experts Group)ビデオエンコーダのような、いかなる規格準拠ビデオエンコーダであってもよいことが理解されるべきである。

図３は、本発明の一実施形態による、３次元グラフィクスから２次元ビデオへのエンコーディングのためのプロセス３００のフローチャートを示している。図３中の各ステップの動作は以下の通りである。
３１０ 少なくとも１つの３次元オブジェクトを表現する３次元モデルを受信する
３２０ ３次元モデルを２次元フレームにレンダリングする
３３０ ２次元フレームのためのコンポジション情報を３次元モデルから抽出する
３４０ コンポジション情報に基づいて重み付け係数を生成する
３５０ ２次元フレームおよび重み付け係数に基づいてビットストリームをエンコーディングする
一実施形態では、プロセス３００は、図１および図２のグレンコーダ１１０のようなコンピュータ可読およびコンピュータ実行可能命令の制御下で、プロセッサおよび電子コンポーネント（例えばコンピュータシステム）によって実行される。具体的なステップがプロセス３００に開示されているが、このようなステップは例示に過ぎない。すなわち、本発明の実施形態は、種々の他のステップまたは図３に記載されたステップの変形を実行するのに十分に適合している。

ステップ３１０で、少なくとも１つの３Ｄオブジェクトを表現する３Ｄモデルが受信される。一実施形態では、３Ｄモデルはサーバ（例えば、図１のゲームサーバ１０８）から受信される。一実施形態では、３ＤモデルはOpenGLに準拠している。OpenGLは、Silicon Graphics Inc.主導で策定されたグラフィクスのための業界規格であり、グラフィクスプログラマがさまざまな種類のコンピューティングプラットフォーム上で容易にコンパイルおよび最適化が可能なソフトウェアを書くことを可能にするアプリケーションプログラミングインタフェース(API)のセットを提供する。別の実施形態では、３ＤモデルはOpenGL ES（組み込み機器用OpenGL (OpenGL embedded system)）に準拠している。OpenGL ESは、モバイルネットワークゲームにとって本質的と考えられるOpenGL APIのサブセットである。フルサイズのOpenGLではなくOpenGL ESを用いることで、グラフィクス仕様をサポートするためのハードウェアメーカの負担が軽くなるとともに、ハードウェアメーカがより少数のAPIに特化できるようにする。

ステップ３２０で、３Ｄモデルが２Ｄフレームにレンダリングされる。一実施形態では、２Ｄフレームをレンダリングするためにいかなる標準的なラスタ化を用いてもよい。一実施形態では、２Ｄフレームは、ある種のMPEGエンコーダに要求される１６の倍数の幅および高さを有する。

ステップ３３０で、２Ｄフレームについてのコンポジション情報が３Ｄモデルから抽出される。一実施形態では、コンポジション情報は２Ｄフレームのピクセルについての奥行き値を示す奥行き情報を含む。なお、コンポジション情報としては、以下のものに限定されないが、動き情報（例えばモーションベクトル）、テクスチャ情報、オブジェクト形状情報、照明情報、フォグ情報、および他の意味情報が挙げられることが理解されるべきである。また、ステップ３３０は、ステップ３２０の前または後のいずれにおいても実行できることが理解されるべきである。

３Ｄオブジェクトが２Ｄ平面にマッピングされる際のラスタ化中に奥行き情報を抽出する一実施形態では、マッピングされる各ピクセルについての奥行き値を、オブジェクト覆い隠しの判定のために、Ｚバッファ法を用いて計算することができる。３ＤオブジェクトがOpenGL ES APIで表現されている場合、ラスタ化後の特定のAPIについて、元のAPIを呼び出す前にまずフレームバッファから各ピクセル(ｊ, ｋ)に対する奥行き値ｄ(ｊ, ｋ)を抽出するAPIラッパが書かれる。したがって、本発明の実施形態は、OpenGL ESをサポートしているいかなるモバイルネットワークゲーム開発者でも容易に採用することができ、ゲーム開発者は、グレンコーディング用の奥行き値を求めるために、ゲームソフトウェアにいかなる変更も加える必要がない。

ステップ３４０で、コンポジション情報に基づいて重み付け係数が生成される。一実施形態では、重み付け係数は、２Ｄフレームの少なくとも１つのマクロブロックについて生成される。重み付け係数は、ビデオエンコーディング中にビット割当てを補助するために用いられる。例えば、重み付け係数は、２Ｄフレームの全マクロブロックについて生成されてもよい。より大きい重み付け係数を有するマクロブロックが、重要な領域（例えば、他のマクロブロックよりも重要である領域）として指示される。例えば、人物の画像を表現する２Ｄフレームでは、高い重み付け係数を有するマクロブロックが人物（例えば前景）を表現し、他方、より低い重み付け係数を有するマクロブロックが背景を表現することができる。ビデオエンコーディング中には、背景を表現するマクロブロックに比べてより大きい割合のビットを人物を表現するマクロブロックに割り当て、それにより、同じビット数を用いながら、２Ｄフレームの見かけの解像度を向上させることができる。

図４は、本発明の一実施形態による重み付け係数を生成するためのプロセスのフローチャートを示している。
図４の各ステップの動作は以下の通りである。
４１０ マクロブロックについての平均奥行き値を当該マクロブロック中のピクセルの奥行き値に基づいて求める
４２０ マクロブロックについての分散奥行き値を当該マクロブロック中のピクセルの奥行き値に基づいて求める
４３０ マクロブロックについての重み付け係数を平均奥行き値および分散奥行き値に基づいて生成する
一実施形態では、プロセス４００は、図１および図２のグレンコーダ１１０のようなコンピュータ可読およびコンピュータ実行可能命令の制御下で、プロセッサおよび電子コンポーネント（例えばコンピュータシステム）によって実行される。具体的なステップがプロセス４００に開示されているが、このようなステップは例示に過ぎない。すなわち、本発明の実施形態は、種々の他のステップまたは図４に記載されたステップの変形を実行するのに十分適合している。

プロセス４００のステップ４１０で、マクロブロックについての平均奥行き値が当該マクロブロック中のピクセルの奥行き値に基づいて求められる。MPEGの用語では、マクロブロックとは１６ピクセル×１６ピクセルのピクセルグループであり、２Ｄフレーム／ピクチャはオーバーラップしないマクロブロックから構成される。一実施形態では、レート制約の下で歪みの総量が最小化されるように、Ｎ個のマクロブロック（ＭＢ）からなるグループに属する各ＭＢに対して１つのエンコーディングモードが選択される。例えば、１行のＭＢ同士の相互依存性は、ビデオ規格h.263バージョン２ (h.263+)において線形にモデル化されているので、各ＭＢ_ｉのレートおよび歪み、すなわちＲ_i()およびＤ_i()は、ＭＢ_iのモードｍ_iおよび前のＭＢ_i-1のモードｍ_i-1（利用可能であれば）のみに依存する。したがって、モード選択問題は、次の最適化として定式化することができる。

ただし、以下の条件が成立しているものとする。

ここで、ｈ．２６３ｖ２の場合、予測（Ｐ）フレームに対する可能なモードセット

は

であり、Ｒ_sはＮ個のＭＢに対するビットレート制約である。

元の制約問題を解く代わりに、次のような対応するラグランジアン、すなわち無制約問題を解くのが通例である。

ここで、λ_oは所与の値のラグランジュ乗数である。式（２）の最適解{ｍ_i ^o}が、

と定義される動作レート(operational rate)Ｒ_s ^oがＲ_sに等しくなるλ_oが存在するような最適解であれば、{ｍ_i ^o}は式（１）の最適解でもあることを容易に示すことができる。このようなλ_oが存在しない場合は、Ｒ_sにできるだけ近いＲ_s ^oを与えるようなλ_oを採用することが望ましい。その理由は、式（２）の近似解として{ｍ_i ^o}を用いる際の近似誤差は| Ｒ_s ^o - Ｒ_s |に比例するからである。量子化パラメータＱが与えられると適当なλ_oを経験的に求めることができることがわかっている。λ_oが与えられると、式（２）は通常、トレリスをたどり、その中で最短経路を求めることにより解かれる。

各ピクセル(ｊ, ｋ)の利用可能な奥行き値ｄ(ｊ, ｋ)が与えられた場合、各ＭＢ_iの重みｗ_iは、当該ＭＢについての重要さの程度を反映させて計算することができる。ｗ_iが与えられると、元のラグランジアンの代わりに、以下の修正ラグランジアンを解くことができる。

このようにすると、ペナルティ関数λ(ｗ_i)Ｒ_i()の厳しさを制御する乗数λ(ｗ_i)はＭＢ_iの重みｗ_iに依存する（このように、乗数λ(ｗ_i)は変数をとるので、乗数関数とも呼ぶ）。以下では、どのようにしてピクセル奥行き値ｄ(ｊ, ｋ)をＭＢの重みｗ_iにマッピングし、また適切な乗数関数λ(ｗ_i)を決めるか、を説明する。

各ピクセル(ｊ，ｋ)の奥行き値ｄ(ｊ, ｋ)が与えられたとき、１６×１６のＭＢ_iの各々についての重みｗ_iを、ＭＢ_iの重要さの程度を反映するように計算する必要がある。そのため、先ず、反奥行き値(anti-depth value)を、最大奥行き値からピクセル奥行きを引いた結果であるスカラー差（つまり、ｄ_max−ｄ(ｊ, ｋ)）と定義する。一般に、カメラにより近い（つまり、反奥行き値が大きい）オブジェクトの表面ほど観戦者の関心を引く可能性が高い。したがって、或るＭＢ内の反奥行き値の平均は、そのＭＢ内のオブジェクトの表面がカメラにどのくらい近いと考えられるかの良好な指標となるであろう。実際、ピクセルの反奥行き値平均の２乗を、カメラに近いオブジェクトの重要性を強調するために用いることができるだろう。

ステップ４２０で、ピクセルの奥行き値に基づいて、マクロブロックについての分散奥行き値を求める。観察者はオブジェクトの形状を識別しようとするので、オブジェクトのエッジが重要となることが多い。ＭＢ内のオブジェクトのエッジは、ピクセル奥行き値の分散にしばしば反映される。

一例として、図５において、頂点ではなく底面の方がカメラに近い円錐オブジェクト５１０を考える。図５は、本発明の一実施形態による、２Ｄ平面上に射影された例示的な３Ｄオブジェクト５１０を示している。このとき、ＭＢ₃およびＭＢ₄は大きな反奥行き値平均を有し、一方ＭＢ₁およびＭＢ₂は大きなピクセル奥行き値分散を有する。

上記の２つの考察に基づき、ｗ_iはＭＢ_i内の反奥行き値平均の２乗にＭＢ_i内の奥行き値の分散を加えたものに等しいという公式をここで採用する。

他のＭＢを犠牲にして重要な領域にビットをより多く分配する程度を制御するため、γ≧１が、どのＭＢもビットバジェット、つまりビットの総割当量、のうちγ／Ｎより多くのシェアを取らないような乗数係数として定義される（Ｎは領域の個数であることに注意）。この分配制御を達成するため、オフセット重みｖ_iをｖ_i＝ｗ_i＋ｗ_offとして定義する。ここでｗ_offはオフセットパラメータである。平均として、各ＭＢ_iはビットバジェット全体のうち

の割合を占める。ここで、

はＮ個のＭＢのオフセット重みの平均である。γの定義により、

を得る。式（４）の不等式は、オフセットパラメータｗ_offを次式のように定義することによって満足される。

ここで、

かつ

である。

このビット分配ストラテジを用いることにより、次式のように、ビットバジェットＲ_sはＮ個のＭＢに完全に使い尽くされる。

ステップ４３０で、平均奥行き値および分散奥行き値に基づいて、マクロブロックに対する重み付け係数が生成される。重み付け係数は乗数関数λ(ｗ_i)とも呼ぶ。

式（２）の元のラグランジアン最適化に対して、最適解{ｍ_ｉ ^ｏ}が式（１）の元の制約付き最適化のＲ_sに等しいか非常に近い動作レート

を有するように、λ_oが事前に選択されると仮定する。ここで目標は、それぞれのＭＢ_iの重みｗ_iに対して、式（３）の修正ラグランジアン最適化を実行する場合にビットバジェットＲ_sの

の割合が利用されることになる乗数λ(ｗ_ｉ)を求めることである。これは、式（３）の解{ｍ_i ^*}から動作レート

がＲ_s ^oと同じになることを意味する。この要件を有することには、λに対して従来導出されたどの公式も、本発明の修正されたレート−歪み最適化が適用されたとき、同じ意図された動作レートを有するという利益がある。

マッピングλ(ｗ_i)を導出するためには、λおよびレートＲの理論的特徴づけが必要である。ラグランジュ乗数λは、次式のように、歪み−レート関数の傾きに負号を付けたものに対応する。

エントロピー制約スカラー量子化に対する典型的な高レート近似曲線は次式のように書くことができる。

ここで、ａおよびｂは、レート−歪み関数をパラメータ化した定数である。したがって、λは次式のようにＲと指数関数的に関係する。

式（９）の１つの解釈は、Ｎ個のＭＢに対して動作レートＲ_s ⁰を達成するには、式（９）によって適当な乗数λ_oが求められるということである。ところが、パラメータａ、ｂも意図されたレートＲ_s ^oも判っていない。しかし、

から、Ｎ個のＭＢに対して平均としてＭＢ当たり（１／Ｎ）Ｒ_s ^oのビット消費となることが分かる。そこで、ＭＢ_iに対してターゲット利用率

を達成するには、動作レートが

となるλ(ｗ_i)を求め、それを式（３）でなされているようにＭＢ_iのみに適用することで、平均として

を消費することになる。

Ｎ個のＭＢに対して

ビットを消費するλ(ｗ_i)を求めるには、λ_oに関してＲ_s ^oについて解き、式（９）に代入する。

式（９）を見ればｂ／ａ≧λ_oであることが分かる。ｂ／ａ＝αλ_o（ここでα≧１）とすれば、次式を得る。

図３に戻って、ステップ３５０で、２Ｄフレームおよびコンポジション情報に基づいてビットストリームがエンコーディングされる。一実施形態では、ビットストリームは、そのビットストリームのマクロブロックに対する重み付け係数（例えばλ(ｗ_i)）を利用してエンコーディングされる。一実施形態では、その後、ビットストリームは、モバイルマルチキャストサポートを用いて、関心を持っているゲーム観戦者へストリーミングされる。

本発明の種々の実施形態が、３次元グラフィクスから２次元ビデオへのエンコーディングを改善するための方法および装置を提供する。本発明は、規格に準拠したビデオにおけるモバイルネットワークゲームシーケンスを多数のゲーム観戦者にストリーミングするための方法および装置を提供する。グレンコーダが、入力として３Ｄゲームグラフィクスを受け取り、ｈ．２６３＋ビデオエンコーディング中にインテリジェントなモード選択を実行することによって、ビデオ中の重要な領域の視覚上の品質を高める。重要な領域は、３Ｄオブジェクトがラスタ化中に２Ｄサーフェスに射影される時に利用可能となるフレームバッファ内のピクセルのコンポジション情報（例えば奥行き値）を抽出することによって識別される。

以上、本発明の実施形態として、３次元グラフィクスから２次元ビデオへのエンコーディングのための方法および装置について説明した。本発明は特定の実施形態において説明されているが、本発明は、そのような実施形態によって限定されると解釈されるべきではなく、添付の特許請求項に従って解釈されるべきであることが理解されるべきである。

本発明の一実施形態によるゲーム観戦者ビデオエンコーディングおよびモバイルネットワークのブロック図。 本発明の一実施形態によるグラフィクス−ビデオエンコーダのブロック図。 本発明の一実施形態による３次元グラフィクスから２次元ビデオへのエンコーディングのためのプロセスのフローチャート。 本発明の一実施形態による重み付け係数を生成するためのプロセスのフローチャート。 本発明の一実施形態による２次元（２Ｄ）平面上に射影された例示的な３次元（３Ｄ）オブジェクトを示す図。

符号の説明

１００ ネットワーク
１０２ プレーヤ
１０４ コアネットワーク
１０６ ポータル
１０８ ゲームサーバ
１１０ グラフィクス−ビデオエンコーダ
１１２ モバイルマルチキャストサポート
１１４、１１６ ゲーム観戦者
２０５ ３Ｄモデル
２１０ グラフィクスレンダリングユニット
２１５ ２Ｄフレーム
２２０ コンポジション情報抽出部
２２５ コンポジション情報
２３０ ビデオエンコーダ
２３５ エンコードされたビットストリーム
５１０ 円錐オブジェクト
ＭＢ₁、ＭＢ₂、ＭＢ₃、ＭＢ₄ マクロブロック

Claims (10)

1. ３次元グラフィクスから２次元ビデオへのエンコーディングのための以下のステップを含む方法（３００）、
   （ア）少なくとも１つの３次元オブジェクトを表現する３次元モデル（２０５）を受信する（３１０）、
   （イ）前記３次元モデル（２０５）を２次元フレーム（２１５）にレンダリングする（３２０）、
   （ウ）前記３次元モデル（２０５）から前記２次元フレーム（２１５）に対するコンポジション情報（２２５）を抽出する（３３０）、
   （エ）前記２次元フレーム（２１５）および前記コンポジション情報（２２５）に基づいてビットストリーム（２３５）をエンコーディングする（３５０）。
2. 前記コンポジション情報（２２５）に基づいて重み付け係数を生成し（３４０）、それによって、前記ビットストリーム（２３５）が前記重み付け係数を利用してエンコーディングされるステップを含む、請求項１に記載の方法。
3. 前記重み付け係数の生成（３４０）は、エンコーディングパラメータを選択するために前記２次元フレーム（２１５）の少なくとも１つのマクロブロックに対して適用される、請求項２に記載の方法。
4. 前記コンポジション情報（２２５）は、前記マクロブロックのピクセルについての奥行き値を示す奥行き情報を含む、請求項３に記載の方法。
5. 前記重み付け係数の生成（３４０）は以下のステップを含む請求項４に記載の方法、
   （オ）前記ピクセルの前記奥行き値に基づいて前記マクロブロックについての平均奥行き値を求める（４１０）、
   （カ）前記ピクセルの前記奥行き値に基づいて前記マクロブロックについての分散奥行き値を求める（４２０）、
   （キ）前記平均奥行き値および前記分散奥行き値に基づいて前記マクロブロックについての前記重み付け係数を生成する（４３０）。
6. 前記コンポジション情報（２２５）は、前記２次元フレーム（２１５）のピクセルについてのモーションベクトルを示す動き情報を含む、請求項１に記載の方法。
7. 前記コンポジション情報（２２５）は、前記２次元フレーム（２１５）のピクセルについてのテクスチャを示すテクスチャ情報を含む、請求項１に記載の方法。
8. 前記ビットストリームをモバイルクライアントへ送信するステップを含む、請求項２に記載の方法。
9. 前記モバイルクライアントは携帯情報端末である、請求項８に記載の方法。
10. 以下の(a)から(c)を設けたグラフィクス−ビデオエンコーダ、
    (a) ３次元モデルを２次元フレームにレンダリングするグラフィクスレンダリングユニット、
    (b) 前記グラフィクスレンダリングユニットに結合され、前記３次元モデルから前記２次元フレームについてのコンポジション情報を抽出するコンポジション情報抽出部、
    (c) 前記グラフィクスレンダリングユニットおよび前記コンポジション情報抽出部に結合され、前記２次元フレームおよび前記コンポジション情報に基づいてビットストリームをエンコーディングするビデオエンコーダ。
    
    

Images