JP2006072662A

JP2006072662A - 画像符号化装置

Info

Publication number: JP2006072662A
Application number: JP2004254813A
Authority: JP
Inventors: Mamoru Hashimoto; 守橋本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-09-01
Filing date: 2004-09-01
Publication date: 2006-03-16
Anticipated expiration: 2024-09-01
Also published as: JP4203754B2

Abstract

【課題】
３ＤＣＧの動画像のオブジェクト形状を、より高速に符号化することができる動画像符号化装置を提供する。
【解決手段】
入力データに含まれるオブジェクトをモデリングしてポリゴンオブジェクトを生成し、前記ポリゴンオブジェクトに基づいて３ＤＣＧデータを生成し、ポリゴンオブジェクトの情報に基づいて、前記ポリゴンオブジェクトをレンダリングしてオブジェクトデータを生成し、符号化画像生成手段に供給する。そして、前記符号化画像生成手段は、前記オブジェクト生成手段から供給される前記オブジェクトデータを符号化して符号化オブジェクトを生成し、前記符号化オブジェクトと、前記符号化された３ＤＣＧデータとを多重化して多重化３ＤＣＧを生成するように動作させる。
【選択図】図２

Description

本発明は、動画像を符号化する画像符号化装置、画像符号化方法および画像符号化プログラムに関し、特に３次元コンピュータグラフィックス（３ＤＣＧ）動画を符号化する技術に関する。

通信技術の進歩に伴って高速回線が普及し、伝送可能な単位時間当たりのデータ転送量も増加してきている。そのため、それまで困難であった動画像の送受信も実行可能になってきている。一般的に動画像のデータ量は膨大であり、通信回線を使用して動画像が送信される場合、動画圧縮技術を利用してその動画データを符号化（エンコード）してから送信されている。符号化された動画像は、受信側の装置で復号化（デコード）される。

また、コンピュータ技術の進歩に伴って、より高精度な３次元コンピュータグラフィックス（以下、３ＤＣＧと記述する。）を生成することが可能になってきている。３ＤＣＧは、静止画像だけでなく動画像の分野においても利用されるようになってきている。３ＤＣＧで構成された動画像も、通信回線を介して送受信することが可能であり、その場合においても、動画像を符号化する技術が適用されている（例えば、特許文献１参照）。

図１は、従来の動画像符号化システムの構成を示すブロック図である。図１に示されているように従来の動画像符号化システム１００は、コンピュータグラフィックス装置１１０と画像符号化装置１２０とで構成されている。コンピュータグラフィックス装置１１０は、３ＤＣＧを生成するコンピュータグラフィックス生成機能ブロックである。図１を参照すると、コンピュータグラフィックス装置１１０は、モデリング部１１１と、座標変換部１１２と、レンダリング部１１３と、映像記憶部１１４とで構成されている。モデリング部１１１は、元画像に含まれるオブジェクトを特定し、モデリングを実行することによりポリゴンオブジェクトを生成するポリゴンオブジェクト生成機能ブロックである。座標変換部１１２は、モデリング部１１１が生成したポリゴンオブジェクトの頂点座標（以下、初期座標と呼ぶ。）の座標変換を実行し、新たな頂点座標（以下、変換座標と呼ぶ。）を計算する座標変換機能ブロックである。レンダリング部１１３は、座標変換部１１２から出力される変換座標に基づいてレンダリングを実行し、映像信号を生成するレンダリング機能ブロックである。映像記憶部１１４は、レンダリング部１１３から出力される映像信号を記憶する情報記憶機能ブロックである。映像記憶部１１４は、画像符号化装置１２０からの出力要求に応答して表示用映像信号を出力する。

また、図１に示されているように、画像符号化装置１２０は、動画像符号化部１２１と、形状符号化部１２２と、多重化部１２３とで構成されている。動画像符号化部１２１は、コンピュータグラフィックス装置１１０から出力された表示用映像信号に基づいて符号化動画像信号を生成する符号化動画像生成機能ブロックである。形状符号化部１２２は、コンピュータグラフィックス装置１１０から出力された表示用映像信号から、オブジェクトを抽出してそのオブジェクトを符号化するオブジェクト符号化機能ブロックである。多重化部１２３は、動画像符号化部１２１から出力される符号化動画像信号と、形状符号化部１２２から出力される符号化オブジェクトとに基づいて、動画像ストリームを出力する動画像出力機能ブロックである。

モデリング部１１１は、元画像に含まれる図形（オブジェクト）を複数のポリゴンで構成し、各々のポリゴンの頂点座標（初期座標）と動きを示す変換行列を生成する。モデリング部１１１は、そのポリゴンの初期座標と座標変換行列とを対応させて出力する。座標変換部１１２は、モデリング部１１１から出力された初期座標および座標変換行列から座標変換後の頂点座標を算出し、座標変換後の頂点座標（変換座標）として出力する。レンダリング部１１３は、変換座標を用いてシェーディング計算を行ない、陰面消去をし、３ＤＣＧ映像信号を生成する。映像記憶部１１４には、レンダリング部１１３から出力された３ＤＣＧ映像信号が書き込まれ、映像記憶部１１４は、その３ＤＣＧ映像信号を表示用映像信号として出力する。

動画像符号化部１２１は、表示用映像信号を用いて、例えばISO/IEC 14496-2 に示されるように、動き補償フレーム間予測変換符号化を行った後、可変長符号化され、符号化動画像信号を出力する。形状符号化部１２２は、表示用映像信号から映像中のオブジェクトの形状を抽出し、符号化されたオブジェクト形状符号化信号を出力する。多重化部１２３は、符号化動画像信号とオブジェクト形状符号化信号を多重化して単一のストリームに変換し、動画像ストリームとして出力する。

図１に示されている画像符号化装置１２０は、コンピュータグラフィックス装置１１０から出力される表示用映像信号に基づいて符号化処理を実行している。画像符号化装置１２０の形状符号化部１２２は、その符号化処理を実行する場合に、表示用映像信号からオブジェクト形状を抽出し、その抽出されたオブジェクト形状を符号化することで動画像ストリームを生成している。より高速にオブジェクト形状の符号化ができる動画像符号化システムが望まれている。さらに、正確なオブジェクト形状で動画像ストリームを生成することができる動画像符号化システムが望まれている。

特許第３２８７９７７号公報

本発明が解決しようとする課題は、３ＤＣＧで構成されている動画像を符号化する場合、その動画像のオブジェクト形状を、より高速に符号化することができる動画像符号化装置を提供することにある。

さらに、本発明が解決しようとする課題は、正確なオブジェクト形状で動画像ストリームを生成することができる動画像符号化装置を提供することにある。

以下に、［発明を実施するための最良の形態］で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。

入力データに含まれるオブジェクトをモデリングしてポリゴンオブジェクトを生成し、前記ポリゴンオブジェクトに基づいて３ＤＣＧ（３次元コンピュータグラフィックス）データを生成する３ＤＣＧ生成手段（１）と、前記３ＤＣＧ生成手段（１）から出力される３ＤＣＧデータに対応して、前記３ＤＣＧデータを符号化し、符号化された３ＤＣＧデータを生成する符号化画像生成手段（３）と、前記３ＤＣＧ生成手段（１）から出力されるポリゴンオブジェクトの情報に基づいて、前記ポリゴンオブジェクトをレンダリングしてオブジェクトデータを生成し、前記符号化画像生成手段（３）に供給するオブジェクト生成手段（２）とを具備する画像符号化装置を構成する。そして、前記符号化画像生成手段（３）は、前記オブジェクト生成手段（２）から供給される前記オブジェクトデータを符号化して符号化オブジェクトを生成し、前記符号化オブジェクトと、前記符号化された３ＤＣＧデータとを多重化して多重化３ＤＣＧを生成するように動作させる。これによって、モデリングに使用したデータを使用して、符号化された３ＤＣＧを生成することが可能になる。

その画像符号化装置において、前記オブジェクト生成手段（２）は、前記オブジェクトデータを格納するオブジェクトデータ記憶手段（２５）を備え、前記オブジェクトデータ記憶手段（２５）は、前記３ＤＣＧ生成手段（１）から出力される３ＤＣＧデータに対応するオブジェクトデータを、前記符号化画像生成手段（３）に供給する。したがって、データの同期を適切に実行する画像符号化装置を構成することが可能になる。

その画像符号化装置において、前記３ＤＣＧデータは、複数のフレームで構成される動画３ＤＣＧとして生成されていることが好ましい。そして、前記３ＤＣＧ生成手段（１）は、さらに、モデリング手段（１１）と座標変換手段（１２）とを備え、前記モデリング手段（１１）は、モデリングによって前記ポリゴンオブジェクトの頂点座標と、前記頂点座標に対応する座標変換行列とを特定し、前記座標変換手段（１２）は、前記座標変換行列に基づいて、前記頂点座標の座標変換を実行して変換座標を生成し、前記オブジェクト生成手段（２）は、前記モデリング手段（１１）から供給される頂点座標と、前記座標変換手段（１２）から供給される変換座標に基づいて、前記ポリゴンオブジェクトをレンダリングして前記オブジェクトデータを生成する。また、その画像符号化装置において、前記オブジェクト生成手段（２）は、さらに、オブジェクト色決定手段（２１）と、オブジェクト色補間手段（２２）とを備え、前記オブジェクト色決定手段（２１）は、前記３ＤＣＧ生成手段（１）から供給されるオブジェクト番号に基づいて、前記ポリゴンオブジェクトの頂点の色を特定し、前記オブジェクト色補間手段（２２）は、補間法により前記座標変換手段（１２）から供給される変換座標に基づいて前記ポリゴンオブジェクトの頂点の色を補間して補間オブジェクトを生成する画像符号化装置を構成する。このような構成の画像符号化装置によって３ＤＣＧで構成された動画を符号化する。それによって、高精度の符号化動画像を生成することが可能になる。

その画像符号化装置において、前記オブジェクト生成手段（２）は、さらに、陰面処理手段を備え、前記陰面処理手段は、前記モデリング手段（１１）から供給される前記頂点座標と前記座標変換行列に対応して陰面処理を実行してオブジェクト形状画像を生成し、前記オブジェクト形状画像を前記オブジェクトデータとして前記符号化画像生成手段（３）に供給する。そして、その画像符号化装置において、前記陰面処理手段は、Ｚ値補間手段（２３）とＺバッファ処理手段（２４）とで構成されていることが好ましい。前記Ｚ値補間手段（２３）は、補間法により前記オブジェクト形状画像のＺ値を補間して補間Ｚ値を特定し、前記Ｚバッファ処理手段（２４）は、前記補間Ｚ値と前記補間オブジェクトに基づいてＺバッファ処理を実行して前記オブジェクト形状画像を生成するように画像符号化装置を構成することが好ましい。

その画像符号化装置において、前記符号化画像生成手段（３）は、さらに、形状符号化手段（３２）と、表示画像符号化手段（３１）と、画像多重化手段（３３）とを備え、前記形状符号化手段（３２）は、前記オブジェクト生成手段（２）から供給されるオブジェクト形状画像を符号化して符号化オブジェクト形状画像を生成し、前記符号化オブジェクト形状画像を前記画像多重化手段（３３）に出力し、前記表示画像符号化手段（３１）は、前記３ＤＣＧ生成手段（１）から供給される３ＤＣＧデータを符号化して符号化３ＤＣＧデータを生成し、前記符号化３ＤＣＧデータを前記画像多重化手段（３３）に出力し、前記画像多重化手段（３３）は、前記符号化３ＤＣＧデータと前記符号化オブジェクト形状画像とを多重化して前記多重化３ＤＣＧを生成するように画像符号化装置を構成することが好ましい。その上で、その画像符号化装置がネットワークに接続されている場合、前記ネットワークを介して前記多重化３ＤＣＧを動画ストリームとして配信することが可能な画像符号化装置を構成することが好ましい。

さらに、符号化された動画像を生成する方法として、以下の方法を採用することで上記課題を解決することが可能になる。その方法は、
（ａ）入力データに含まれるオブジェクトをモデリングしてポリゴンオブジェクトを生成するステップと、
（ｂ）前記ポリゴンオブジェクトに基づいて３ＤＣＧデータを生成するステップと、
（ｃ）前記３ＤＣＧデータを符号化し、符号化された３ＤＣＧデータを生成するステップと、
（ｄ）前記ポリゴンオブジェクトの情報に基づいて、前記ポリゴンオブジェクトをレンダリングしてオブジェクトデータを生成するステップと、
（ｅ）前記オブジェクトデータを符号化して符号化オブジェクトを生成するステップと、
（ｆ）前記符号化オブジェクトと、前記符号化された３ＤＣＧデータとを多重化して多重化３ＤＣＧを生成するステップ
を具備する画像符号化方法である。

その画像符号化方法において、前記（ｅ）ステップは、さらに、前記３ＤＣＧデータに対応するオブジェクトデータを特定するステップと、前記特定されたオブジェクトデータを読み出すステップとを含んでいることが好ましい。そして、前記３ＤＣＧデータは、複数のフレームで構成される動画３ＤＣＧとして生成されているものであっても良い。ここで、前記（ａ）ステップは、さらに、モデリングによって前記ポリゴンオブジェクトの頂点座標と、前記頂点座標に対応する座標変換行列とを特定するステップと、前記座標変換行列に基づいて、前記頂点座標の座標変換を実行して変換座標を生成するステップとを有し、前記（ｄ）ステップは、前記頂点座標と、前記変換座標に基づいて、前記ポリゴンオブジェクトをレンダリングして前記オブジェクトデータを生成するステップを含んでいることが好ましい。

前記（ｄ）ステップは、さらに、モデリング時に特定されるオブジェクト番号に基づいて、前記ポリゴンオブジェクトの頂点の色を特定するステップと、前記変換座標に基づいて、補間法により前記ポリゴンオブジェクトの頂点の色を補間して補間オブジェクトを生成するステップを具備し、その上で前記（ｄ）ステップは、さらに、前記頂点座標と前記座標変換行列に対応して陰面処理を実行してオブジェクト形状画像を生成する陰面処理ステップと、前記オブジェクト形状画像を前記オブジェクトデータとして出力するステップを具備する画像符号化方法によって符号化を実行する。また、その画像符号化方法において、前記陰面処理ステップは、さらに、補間法により前記オブジェクト形状画像のＺ値を補間して補間Ｚ値を特定するステップと、前記補間Ｚ値と前記補間オブジェクトに基づいてＺバッファ処理を実行して前記オブジェクト形状画像を生成するステップを具備する画像符号化方法であることが好ましい。ここで、その画像符号化方法において、ネットワーク配信が要求される場合、さらに、ネットワークを介して前記多重化３ＤＣＧを動画ストリームとして配信するステップを具備することが好ましい。

更には、上記課題を解決するためのコンピュータに搭載可能なプログラムを生成し、そのプログラムを実行することで、課題を解決することも可能である。そのコンピュータは、ポリゴンオブジェクトに基づいて３ＤＣＧデータを生成する３ＤＣＧ生成手段（１）と、前記３ＤＣＧ生成手段（１）から出力される３ＤＣＧデータを符号化し、符号化された３ＤＣＧデータを生成する符号化画像生成手段（３）と、前記３ＤＣＧ生成手段（１）から出力されるポリゴンオブジェクトの情報に基づいて、前記ポリゴンオブジェクトをレンダリングしてオブジェクトデータを生成するオブジェクト生成手段（２）とを具備するコンピュータであることが好ましい。課題を解決するためのプログラムは、そのコンピュータにおいて実行可能なプログラムであって、
（ａ）入力データに含まれるオブジェクトをモデリングして前記ポリゴンオブジェクトを生成するステップと、
（ｂ）前記ポリゴンオブジェクトに基づいて前記３ＤＣＧデータを生成するステップと、
（ｃ）前記３ＤＣＧデータを符号化し、符号化された３ＤＣＧデータを生成するステップと、
（ｄ）前記ポリゴンオブジェクトの情報に基づいて、前記ポリゴンオブジェクトをレンダリングしてオブジェクトデータを生成するステップと、
（ｅ）前記オブジェクトデータを符号化して符号化オブジェクトを生成するステップと、
（ｆ）前記符号化オブジェクトと、前記符号化された３ＤＣＧデータとを多重化して多重化３ＤＣＧを生成するステップ
を具備する方法をコンピュータで実行可能なプログラムである。

そのプログラムにおいて、前記（ｅ）ステップは、さらに、前記３ＤＣＧデータに対応するオブジェクトデータを特定するステップと、前記特定されたオブジェクトデータを読み出すステップを具備する。また、前記３ＤＣＧデータは、複数のフレームで構成される動画３ＤＣＧとして生成されているものとする。その場合、前記（ａ）ステップは、さらに、モデリングによって前記ポリゴンオブジェクトの頂点座標と、前記頂点座標に対応する座標変換行列とを特定するステップと、前記座標変換行列に基づいて、前記頂点座標の座標変換を実行して変換座標を生成するステップとを有し、
前記（ｄ）ステップは、前記モデリング手段（１１）から供給される頂点座標と、前記座標変換手段（１２）から供給される変換座標に基づいて、前記ポリゴンオブジェクトをレンダリングして前記オブジェクトデータを生成するステップを具備する方法をコンピュータで実行可能なプログラムであることが好ましい。

そのプログラムにおいて、前記（ｄ）ステップは、さらに、モデリング時に特定されるオブジェクト番号に基づいて、前記ポリゴンオブジェクトの頂点の色を特定するステップと、前記変換座標に基づいて、補間法により前記ポリゴンオブジェクトの頂点の色を補間して補間オブジェクトを生成するステップを具備し、その上で前記（ｄ）ステップは、さらに、前記頂点座標と前記座標変換行列に対応して陰面処理を実行してオブジェクト形状画像を生成する陰面処理ステップと、前記オブジェクト形状画像を前記オブジェクトデータとして出力するステップを具備する方法をコンピュータで実行可能なプログラムであることが好ましい。さらには、そのプログラムにおいて、前記陰面処理ステップは、補間法により前記オブジェクト形状画像のＺ値を補間して補間Ｚ値を特定するステップと、前記補間Ｚ値と前記補間オブジェクトに基づいてＺバッファ処理を実行して前記オブジェクト形状画像を生成するステップを具備する方法をコンピュータで実行可能なプログラムであれば尚良い。また、そのプログラムにおいて、ネットワーク配信が要求される場合、さらに、ネットワークを介して前記多重化３ＤＣＧを動画ストリームとして配信するステップ
を具備する方法をコンピュータで実行可能なプログラムであることが好ましい。

本発明によると、３ＤＣＧで構成されている動画像を符号化する場合、その動画像のオブジェクト形状を、より高速に符号化することが可能になる。

さらに、本発明によると、正確なオブジェクト形状で動画像ストリームを生成することができる動画像符号化装置を提供することができる。

［実施の形態の構成］
以下に、図面を使用して本発明を実施するための形態について述べる。図２は、本発明の実施の形態の構成を例示しているブロック図である。図２に示されているように、本実施の形態の動画像符号化システム１０は、コンピュータグラフィックス生成部１と、オブジェクト形状生成部２と、画像符号化部３とを含んで構成されている。また、動画像符号化システム１０は、バス６を介してＣＰＵ（中央演算処理装置）５とメモリ４とに接続されている。

ＣＰＵ５は、動画像符号化システム１０に備えられた各種の装置の制御や、指示された命令に応答してデータ処理を実行する演算処理装置である。ＣＰＵ５は、バス６を介して受け取ったデータを解釈して演算を実行し、その演算結果を所定の装置（機能ブロック）に出力する。メモリ４は、半導体デバイスや磁気ディスクなどで構成された情報記憶装置である。メモリ４は、ＣＰＵ５からの命令に対応して３ＤＣＧ作成に関わる情報の格納と読み出しを実行する。

動画像符号化システム１０を構成しているコンピュータグラフィックス生成部１は、元画像に基づいて３ＤＣＧを生成する３ＤＣＧ生成機能ブロックである。図２に示されているように、コンピュータグラフィックス生成部１は、モデリング部１１と、座標変換部１２と、レンダリング部１３と、映像記憶部１４とを含んで構成されている。また、オブジェクト形状生成部２は、オブジェクト色決定部２１と、オブジェクト色補間部２２と、Ｚ値補間部２３と、Ｚバッファ処理部２４と、オブジェクト形状記憶部２５とを含んで構成されている。さらに、画像符号化部３は、動画像符号化部３１と、形状符号化部３２と、多重化部３３とを含んで構成されている。

モデリング部１１は、ポリゴンオブジェクトを生成するポリゴン生成機能ブロックである。モデリング部１１は、元画像を構成しているオブジェクト（図形）を特定し、そのオブジェクトをポリゴン化してポリゴンオブジェクトを生成している。モデリング部１１は、オブジェクトを特定するときに、そのオブジェクトを識別するオブジェクト番号を付与している。モデリング部１１は、そのポリゴンオブジェクトの生成に対応して頂点座標と、その頂点座標の座標変換を実行するための変換行列（座標変換行列）を特定している。また、モデリング部１１は、後述するオブジェクト色決定部２１にオブジェクト番号を出力している。

座標変換部１２は、座標変換機能ブロックである。座標変換部１２は、モデリング部１１から供給される頂点座標と座標変換行列とに基づいてポリゴンオブジェクトの座標変換を実行している。レンダリング部１３は、レンダリングされたポリゴンから動画データを生成するレンダリング実行機能ブロックである。レンダリング部１３は、座標変換部１２から供給される座標変換後の頂点座標（以下、変換座標と呼ぶ。）に基づいてポリゴンのレンダリングを実行している。レンダリング部１３は、レンダリングされたポリゴンに対応して動画データを生成している。映像記憶部１４は、動画データ記憶機能ブロックである。映像記憶部１４は、レンダリング部１３で生成された動画データを格納し、その動画データを構成するフレーム順に出力している。映像記憶部１４は２個のフレームメモリより構成されていることが好ましい。その１つのフレームメモリにはレンダリング部１３の出力である映像信号を書き込み、もう一つのフレームメモリの記憶内容を表示用映像信号として出力することで適切にデータ出力を行うことができる。

オブジェクト色決定部２１は、ポリゴンに付加する色を決定するオブジェクト色決定機能ブロックである。オブジェクト色決定部２１は、モデリング部１１から出力されるオブジェクト番号に基づいて、そのポリゴンオブジェクトの各頂点の色を特定している。オブジェクト色補間部２２は、ポリゴン内部の色を決定するオブジェクト色補間機能ブロックである。オブジェクト色補間部２２は、オブジェクト色決定部２１が決定した頂点色を補間することでポリゴン内部の色を決定している。

Ｚ値補間部２３は、Ｚバッファ法による陰面処理を実行するための補間Ｚ値を特定するＺ値補間機能ブロックである。Ｚ値補間部２３には、変換座標が供給されている。Ｚ値補間部２３は、変換座標のＺ値を算出している。Ｚバッファ処理部２４は、Ｚバッファ法による陰面処理を行う陰面処理機能ブロックである。Ｚバッファ処理部２４は、オブジェクト色補間部２２から出力される補間頂点色と、Ｚ値補間部２３から出力される補間Ｚ値とに基づいてＺバッファ処理を実行している。Ｚバッファ処理部２４は、そのＺバッファ処理の実行によってオブジェクト形状画像を生成している。

オブジェクト形状記憶部２５は、Ｚバッファ処理部２４で生成されたオブジェクト形状画像を格納する情報記憶機能ブロックである。オブジェクト形状記憶部２５は、Ｚバッファ処理部２４から出力されるオブジェクト形状画像を格納し、映像記憶部１４から出力されるフレームに対応するオブジェクト形状画像を画像符号化部３に供給している。オブジェクト形状記憶部２５は２個のフレームメモリより構成されていることが好ましい。その１つのフレームメモリはＺバッファ処理部２４の出力であるＺバッファ処理後の補間された色情報を書き込み、もう一つのフレームメモリの記憶内容をオブジェクト形状画像として出力することで適切にデータ出力を行うことができる。

動画像符号化部３１は、映像記憶部１４から出力される動画データを符号化する符号化機能ブロックである。動画像符号化部３１が実行する符号化は、例えばISO/IEC 14496-2に示されるような動き補償フレーム間予測変換符号化を行ない、さらに可変長符号化を行って動画データを符号化動画像信号とする技術であることが好ましい。形状符号化部３２は、オブジェクト形状記憶部２５から出力されるオブジェクト形状画像を符号化するオブジェクト符号化機能ブロックである。形状符号化部３２が実行する符号化は、例えばISO/IEC 14496-2に示されるような２値形状情報に変換し、形状情報そのものの符号化、または以前の形状から動き補償予測符号化をおこない、符号化形状信号として出力する技術であることが好ましい。多重化部３３は、符号化されたデータを多重化する多重化機能ブロックである。多重化部３３は、動画像符号化部３１から出力される符号化動画データと、形状符号化部３２から出力される符号化オブジェクトとを多重化して、多重化データを生成している。

［実施の形態の動作］
以下に、図面を使用して本実施の形態の動作について説明を行う。以下に述べる動作において、その動画データは複数のフレームで構成されている３次元動画像であるものとする。

図３は、コンピュータグラフィックス生成部１の動作を示すフローチャートである。図３に示されているコンピュータグラフィックス生成部１の動作は、３ＤＣＧ作成者が、所定の３ＤＣＧの作成開始に応答して開始する。図３の動作において、コンピュータグラフィックス生成部１は、動画データを構成する複数のフレームの作業進捗状況を監視する。ステップＳ１０１において、コンピュータグラフィックス生成部１は、現在モデリングを実行しているフレームの処理が完了したかどうかの判断を行っている。その判断の結果、そのフレームの処理が完了している場合、映像記憶部１４から表示用映像信号を出力してステップＳ１０２に進む。ステップＳ１０２において、コンピュータグラフィックス生成部１は、処理の完了したフレームの次のフレームを選択し、コンピュータグラフィックス生成部１での処理を継続する。

ステップＳ１０３において、現在のフレーム（または、フレーム処理完了に対応して選択された次のフレーム）に、処理未完了のポリゴンオブジェクトが存在するかどうかの判断が実行される。その判断の結果、処理未完了のポリゴンオブジェクトがある場合、そのポリゴンオブジェクトを抽出してステップＳ１０４に進む。

ステップＳ１０４において、モデリング部１１は、処理未完了のポリゴンオブジェクトのモデリングを実行する。モデリング部１１は、そのモデリングに対応して、ポリゴンオブジェクトの頂点座標、変換行列およびオブジェクト番号を特定して次段の機能ブロック（座標変換部１２、オブジェクト色決定部２１）に出力する。

ステップＳ１０５において、座標変換部１２は、モデリング部１１から出力される頂点座標と座標変換行列とに基づいて、変換座標（座標変換後の頂点座標）を計算する。この計算で得られた変換座標に基づいて、新たなフレームを生成することが可能になる。図３に示されている動作を繰り返し行うことで動画データの生成を行うことができる。つまり、座標変換部１２は、変換座標を新たな頂点座標として、新たな座標変換行列に基づいて計算を実行することで、更なるフレームを生成させることができる。座標変換部１２は、この新たな頂点座標と新たな座標変換行列に対応する次のフレームの生成を繰り返すことで、ポリゴンで構成されている動画データを生成することが可能になる。

ステップＳ１０６において、レンダリング部１３は、座標変換部１２から出力される変換座標に基づいて、フレームを構成するポリゴンのレンダリングを実行する。レンダリング部１３は、シェーディングや陰面処理を実行して３ＤＣＧフレームを完成させ映像記憶部１４に出力する。映像記憶部１４は、レンダリング部１３から出力された３ＤＣＧフレームを格納し、画像符号化部３からの出力要求に応答してフレームごとに出力する。

図４は、オブジェクト形状生成部２の動作を示すフローチャートである。図４に示されている動作は、オブジェクト形状生成部２に、コンピュータグラフィックス生成部１から出力されるポリゴンオブジェクトのデータが供給されると開始する。ステップＳ２０１において、現在、オブジェクト形状画像の生成が完了したかどうかの判断を行う。オブジェクト形状画像の生成はフレームごとに実行される。その判断の結果、そのフレームの処理が完了している場合、ステップＳ２０２に進む。

ステップＳ２０２において、オブジェクト形状生成部２は、処理の完了したフレームの次のフレームを特定し、ステップＳ２０３に進む。ステップＳ２０３において、オブジェクト色決定部２１は、モデリング部１１から出力されるポリゴンオブジェクトの頂点座標と、オブジェクト番号とに基づいて、Ｚバッファ処理が完了したかどうかの判断を行う。その判断の結果、Ｚバッファ処理が行われていないオブジェクトが存在した場合、ステップＳ２０４に進む。ステップＳ２０４において、そのオブジェクト番号に対応するオブジェクト色を特定する。オブジェクト色の特定が完了したオブジェクトのデータは、オブジェクト色補間部２２に送信される。ステップＳ２０５において、オブジェクト色決定部２１から送信されたデータを受信したオブジェクト色補間部２２は、そのデータに含まれるオブジェクトに対応する変換座標を座標変換部１２から読み込み、オブジェクト色の補間を実行する。つまり、オブジェクト色補間部２２は、オブジェクトの色情報と座標変換後の頂点座標を用いて、座標変換後のポリゴンに含まれる各画素の色を線形補間で求め、補間された色情報として出力する。ここで、座標変換部１２は、オブジェクト色補間部２２が変換座標を読込んだことに応答して、その変換座標をＺ値補間部２３にも出力する。

ステップＳ２０６において、Ｚ値補間部２３は、座標変換部１２から供給される変換座標に基づいて、座標変換後のポリゴンに含まれる各画素のＺ値を線形補間で求め、補間されたＺ値としてＺバッファ処理部２４に出力する。ステップＳ２０７において、Ｚバッファ処理部２４は、各フレームの処理開始時にＺバッファを最大値（奥行きを無限大）に初期化し、以後は座標変換されたポリゴンの各画素に対するＺバッファ値と補間されたＺ値を比較し、補間されたＺ値がＺバッファ値より小さい（より近い）場合には、補間されたＺ値でＺバッファ値を更新するとともに、その画素の色情報をオブジェクト形状記憶部２５にＺバッファ処理後の補間された色情報として書き込む。補間されたＺ値がＺバッファ値以上の（より遠い）場合には、Ｚバッファ値は更新されず、補間された色情報はオブジェクト形状記憶部２５には書き込まれない。ステップＳ２０８において、オブジェクト形状記憶部２５は所定のタイミングでオブジェクト形状画像を出力する。これにより、高精度のオブジェクト形状画像を生成することが可能になる。

図５は、画像符号化部３の動作を示すフローチャートである。図５に示されている動作は、各フレームの符号化ごとに繰り返し実行される。ステップＳ３０１において、画像符号化部３の動画像符号化部３１は、コンピュータグラフィックス生成部１から出力されたフレームの符号化が完了したかどうかの判断を行う。符号化が完了していた場合ステップＳ３０３に進み、符号化が完了していなかった場合ステップＳ３０２に進む。ステップＳ３０２において、動画像符号化部３１が符号化を実行した後、処理はステップＳ３０３に進む。ステップＳ３０２において、動画像符号化部３１は、表示用映像信号を用いて、例えばISO/IEC 14496-2に示されるような動き補償フレーム間予測変換符号化を行ない、さらに可変長符号化を行なって符号化動画像信号として多重化部３３に出力する。
ステップＳ３０３において、オブジェクト形状生成部２から出力されたオブジェクト形状画像の符号化が完了したかどうかの判断を行う。オブジェク形状画像の符号化が完了している場合、処理はステップＳ３０５に進む。符号化が完了していない場合、ステップＳ３０４に進み、オブジェクト形状画像の符号化を行う。

ステップＳ３０４において、画像符号化部３の形状符号化部３２は、オブジェクト形状生成部２から出力されるオブジェクト形状画像の符号化を実行する。オブジェクト形状画像の符号化は、コンピュータグラフィックス生成部１から出力されるフレームに対応して行われる。形状符号化部３２は、オブジェクト形状画像を用いて、例えばISO/IEC 14496-2に示されるような２値形状情報に変換し、形状情報そのものの符号化または以前の形状から動き補償予測符号化をおこない、符号化形状信号として多重化部３３に出力する。

ステップＳ３０５において、多重化部３３は、符号化動画像信号と符号化形状信号を用いて、例えばISO/IEC14496-2に示されるようにフレーム単位での多重化処理を行なう。画像符号化部３は、その多重化された画像を動画像ストリームとして出力する（ステップＳ３０６）。
尚、以上説明してきた実施の形態において、陰面処理の手法にＺバッファ法を採用してきたが、これは、本発明の陰面処理の手法を限定するものではない。例えば、レイトレーシング法やスキャンライン法を使用して陰面処理を行うことも可能である。

以下に、本発明を実施するための装置が、プログラム制御により動作するコンピュータである場合を例に、本発明をより具体的に説明していく。以下の説明において、プログラム制御により動作する動画像符号化システム１０はパーソナルコンピュータであり、コンピュータグラフィックス生成部１とオブジェクト形状生成部２と画像符号化部３とは、いずれもパーソナルコンピュータ上で動作するソフトウェアモジュールである。

コンピュータグラフィックス生成部１において、モデリング部１１はＶＲＭＬ（ＶｉｒｔｕａｌＲｅａｌｉｔｙＭｏｄｅｌｉｎｇＬａｎｇｕａｇｅ）形式のファイルを読み込み、オブジェクトごとにポリゴンの頂点座標およびポリゴンの座標変換行列を取り出して、オブジェクト番号と共に出力する。座標変換部１２は、パーソナルコンピュータのＣＰＵを用いて座標変換後の頂点座標を計算する。レンダリング部１３は、コンピュータグラフィックスの標準的なアプリケーションインタフェースであるＯｐｅｎＧＬを用いて映像信号を出力する。映像記憶部１４は、パーソナルコンピュータのビデオカードに配置されたビデオメモリ内に確保される。

オブジェクト形状生成部２のオブジェクト色決定部２１では、オブジェクトの番号をＲＧＢ２４ビットカラーで表す。例えば、オブジェクト番号１７に対しては、１６進数表現で０ｘ００００１１がオブジェクト色として割り当てられ、出力される。オブジェクト色補間手段では、頂点に割り当てられたオブジェクト色でポリゴン全体を塗りつぶす処理を行なう。Ｚ値補間部２３とＺバッファ処理部２４は、発明を実施するための最良の形態で説明した通りの処理を実行するオブジェクト形状記憶部２５は、ＲＧＢ２４ビットカラーで表現されたオブジェクト形状画像を生成する。
画像符号化部３において、動画像符号化部３１は、ISO/IEC 14496-2で定められた動き補償フレーム間予測変換符号化処理を実行し、可変長符号化を行なう。形状符号化部３２は、ISO/IEC 14496-2で定められた２値形状情報の符号化を行なう。多重化部３３は、ISO/IEC 14496-1で定められた多重化を実行し、ＭＰＥＧ４ファイルフォーマットで動画像ストリームを出力する。これにより、ＭＰＥＧ４ファイルフォーマットで動画像ストリームを生成する場合に、より精密な画像を使用して、動画像を構成することが可能になる。

上述の実施の形態において、各機能ブロックは、ハードウェアのみで構成することも、ソフトウェアのみで構成することも可能である。さらに、本発明の各機能ブロックの構成は、ソフトウェアとハードウェアとに制限されることはない。本発明の画像符号化装置をソフトウェアとハードウェアとを混在させて構成することも可能である。また、本発明を適用する他の具体的な例としては、ＤＶＤレコーダ、ゲーム機器、携帯電話などがある。つまり本発明は、３次元コンピュータグラフィックスの表示が可能な表示画面を備えている装置全般に適用することができる。さらに、本発明を半導体装置に搭載する場合、その装置の具体的な例としては、動画エンコーダチップ、グラフィックプロセッサなどが挙げられ、それらの半導体デバイスを搭載したエンコーダボードやグラフィックボードを構成することで、より適切な動画ストリームが実現可能である。さらに、ソフトウェアで本発明を実現する場合、その具体的な例としては、コンピュータにインストールされて実行されるエンコーダソフトウェアやＤＳＰなどのエンコーダファームウェアが挙げられる。このようなエンコーダソフトウェアに本発明を適用することで、より適切な動画ストリームが実現可能である。

図１は、従来の動画像符号化装置の構成を示すブロック図である。図２は、本実施の形態の画像符号化装置の構成を例示するブロック図である。図３は、コンピュータグラフィックス生成部１の動作を示すフローチャートである。図４は、オブジェクト形状生成部２の動作を示すフローチャートである。図５は、画像符号化部３の動作を示すフローチャートである。

符号の説明

１０…画像符号化装置
１…コンピュータグラフィックス生成部
２…オブジェクト形状生成部
３…画像符号化部
４…メモリ
５…ＣＰＵ
６…バス
１１…モデリング部
１２…座標変換部
１３…レンダリング部
１４…映像記憶部
２１…オブジェクト色決定部
２２…オブジェクト色補間部
２３…Ｚ値補間部
２４…Ｚバッファ処理部
２５…オブジェクト形状記憶部
３１…動画像符号化部
３２…形状符号化部
３３…多重化部
１００…動画像符号化システム
１１０…コンピュータグラフィックス装置
１１１…モデリング部
１１２…座標変換部
１１３…レンダリング部
１１４…映像記憶部
１２０…画像符号化装置
１２１…動画像符号化部
１２２…形状符号化部
１２３…多重化部

Claims

入力データに含まれるオブジェクトをモデリングしてポリゴンオブジェクトを生成し、前記ポリゴンオブジェクトに基づいて３ＤＣＧデータを生成する３ＤＣＧ生成手段と、
前記３ＤＣＧ生成手段から出力される３ＤＣＧデータに対応して、前記３ＤＣＧデータを符号化し、符号化された３ＤＣＧデータを生成する符号化画像生成手段と、
前記３ＤＣＧ生成手段から出力されるポリゴンオブジェクトの情報に基づいて、前記ポリゴンオブジェクトをレンダリングしてオブジェクトデータを生成し、前記符号化画像生成手段に供給するオブジェクト生成手段と
を具備し、
前記符号化画像生成手段は、前記オブジェクト生成手段から供給される前記オブジェクトデータを符号化して符号化オブジェクトを生成し、前記符号化オブジェクトと、前記符号化された３ＤＣＧデータとを多重化して多重化３ＤＣＧを生成する
画像符号化装置。
請求項１に記載の画像符号化装置において、
前記オブジェクト生成手段は、
前記オブジェクトデータを格納するオブジェクトデータ記憶手段を備え、
前記オブジェクトデータ記憶手段は、前記３ＤＣＧ生成手段から出力される３ＤＣＧデータに対応するオブジェクトデータを、前記符号化画像生成手段に供給する
画像符号化装置。
請求項２に記載の画像符号化装置において、
前記３ＤＣＧデータは、複数のフレームで構成される動画３ＤＣＧとして生成され、
前記３ＤＣＧ生成手段は、さらに、モデリング手段と座標変換手段とを備え、
前記モデリング手段は、モデリングによって前記ポリゴンオブジェクトの頂点座標と、前記頂点座標に対応する座標変換行列とを特定し、
前記座標変換手段は、前記座標変換行列に基づいて、前記頂点座標の座標変換を実行して変換座標を生成し、
前記オブジェクト生成手段は、前記モデリング手段から供給される頂点座標と、前記座標変換手段から供給される変換座標に基づいて、前記ポリゴンオブジェクトをレンダリングして前記オブジェクトデータを生成する
画像符号化装置。
請求項３に記載の画像符号化装置において、
前記オブジェクト生成手段は、さらに、オブジェクト色決定手段と、オブジェクト色補間手段とを備え、
前記オブジェクト色決定手段は、前記３ＤＣＧ生成手段から供給されるオブジェクト番号に基づいて、前記ポリゴンオブジェクトの頂点の色を特定し、
前記オブジェクト色補間手段は、補間法により前記座標変換手段から供給される変換座標に基づいて前記ポリゴンオブジェクトの頂点の色を補間して補間オブジェクトを生成する
画像符号化装置。
請求項４に記載の画像符号化装置において、
前記オブジェクト生成手段は、さらに、陰面処理手段を備え、
前記陰面処理手段は、前記モデリング手段から供給される前記頂点座標と前記座標変換行列に対応して陰面処理を実行してオブジェクト形状画像を生成し、前記オブジェクト形状画像を前記オブジェクトデータとして前記符号化画像生成手段に供給する
画像符号化装置。
請求項５に記載の画像符号化装置において、
前記陰面処理手段は、Ｚ値補間手段とＺバッファ処理手段とで構成され、
前記Ｚ値補間手段は、補間法により前記オブジェクト形状画像のＺ値を補間して補間Ｚ値を特定し、
前記Ｚバッファ処理手段は、前記補間Ｚ値と前記補間オブジェクトに基づいてＺバッファ処理を実行して前記オブジェクト形状画像を生成する
画像符号化装置。
請求項６に記載の画像符号化装置において、
前記符号化画像生成手段は、さらに、形状符号化手段と、表示画像符号化手段と、画像多重化手段とを備え、
前記形状符号化手段は、前記オブジェクト生成手段から供給されるオブジェクト形状画像を符号化して符号化オブジェクト形状画像を生成し、前記符号化オブジェクト形状画像を前記画像多重化手段に出力し、
前記表示画像符号化手段は、前記３ＤＣＧ生成手段から供給される３ＤＣＧデータを符号化して符号化３ＤＣＧデータを生成し、前記符号化３ＤＣＧデータを前記画像多重化手段に出力し、
前記画像多重化手段は、前記符号化３ＤＣＧデータと前記符号化オブジェクト形状画像とを多重化して前記多重化３ＤＣＧを生成する
画像符号化装置。
請求項１から７の何れか１項に記載の画像符号化装置において、
さらに、ネットワークに接続され、
前記ネットワークを介して前記多重化３ＤＣＧを動画ストリームとして配信する
画像符号化装置。
（ａ）入力データに含まれるオブジェクトをモデリングしてポリゴンオブジェクトを生成するステップと、
（ｂ）前記ポリゴンオブジェクトに基づいて３ＤＣＧデータを生成するステップと、
（ｃ）前記３ＤＣＧデータを符号化し、符号化された３ＤＣＧデータを生成するステップと、
（ｄ）前記ポリゴンオブジェクトの情報に基づいて、前記ポリゴンオブジェクトをレンダリングしてオブジェクトデータを生成するステップと、
（ｅ）前記オブジェクトデータを符号化して符号化オブジェクトを生成するステップと、
（ｆ）前記符号化オブジェクトと、前記符号化された３ＤＣＧデータとを多重化して多重化３ＤＣＧを生成するステップ
を具備する画像符号化方法。
請求項９に記載の画像符号化方法において、
前記（ｅ）ステップは、さらに、
前記３ＤＣＧデータに対応するオブジェクトデータを特定するステップと、
前記特定されたオブジェクトデータを読み出すステップ
を具備する画像符号化方法。
請求項１０に記載の画像符号化方法において、
前記３ＤＣＧデータは、複数のフレームで構成される動画３ＤＣＧとして生成され、
前記（ａ）ステップは、さらに、
モデリングによって前記ポリゴンオブジェクトの頂点座標と、前記頂点座標に対応する座標変換行列とを特定するステップと、
前記座標変換行列に基づいて、前記頂点座標の座標変換を実行して変換座標を生成するステップとを有し、
前記（ｄ）ステップは、さらに、
前記頂点座標と、前記変換座標とに基づいて、前記ポリゴンオブジェクトをレンダリングして前記オブジェクトデータを生成するステップ
を具備する画像符号化方法。
請求項１１に記載の画像符号化方法において、
前記（ｄ）ステップは、さらに、
モデリング時に特定されるオブジェクト番号に基づいて、前記ポリゴンオブジェクトの頂点の色を特定するステップと、
前記変換座標に基づいて、補間法により前記ポリゴンオブジェクトの頂点の色を補間して補間オブジェクトを生成するステップ
を具備する画像符号化方法。
請求項１２に記載の画像符号化方法において、
前記（ｄ）ステップは、さらに、
前記頂点座標と前記座標変換行列とに対応して陰面処理を実行してオブジェクト形状画像を生成する陰面処理ステップと、
前記オブジェクト形状画像を前記オブジェクトデータとして出力するステップ
を具備する画像符号化方法。
請求項１３に記載の画像符号化方法において、
前記陰面処理ステップは、さらに、
補間法により前記オブジェクト形状画像のＺ値を補間して補間Ｚ値を特定するステップと、
前記補間Ｚ値と前記補間オブジェクトに基づいてＺバッファ処理を実行して前記オブジェクト形状画像を生成するステップ
を具備する画像符号化方法。
請求項９から１４の何れか１項に記載の画像符号化方法において、
さらに、ネットワークを介して前記多重化３ＤＣＧを動画ストリームとして配信するステップ
を具備する画像符号化方法。
ポリゴンオブジェクトに基づいて３ＤＣＧデータを生成する３ＤＣＧ生成手段と、
前記３ＤＣＧ生成手段から出力される３ＤＣＧデータを符号化し、符号化された３ＤＣＧデータを生成する符号化画像生成手段と、
前記３ＤＣＧ生成手段から出力されるポリゴンオブジェクトの情報に基づいて、前記ポリゴンオブジェクトをレンダリングしてオブジェクトデータを生成するオブジェクト生成手段と
を具備するコンピュータにおいて実行可能なプログラムであって、
（ａ）入力データに含まれるオブジェクトをモデリングして前記ポリゴンオブジェクトを生成するステップと、
（ｂ）前記ポリゴンオブジェクトに基づいて前記３ＤＣＧデータを生成するステップと、
（ｃ）前記３ＤＣＧデータを符号化し、符号化された３ＤＣＧデータを生成するステップと、
（ｄ）前記ポリゴンオブジェクトの情報に基づいて、前記ポリゴンオブジェクトをレンダリングしてオブジェクトデータを生成するステップと、
（ｅ）前記オブジェクトデータを符号化して符号化オブジェクトを生成するステップと、
（ｆ）前記符号化オブジェクトと、前記符号化された３ＤＣＧデータとを多重化して多重化３ＤＣＧを生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項１６に記載のプログラムにおいて、
前記（ｅ）ステップは、さらに、
前記３ＤＣＧデータに対応するオブジェクトデータを特定するステップと、
前記特定されたオブジェクトデータを読み出すステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項１７に記載のプログラムにおいて、
前記３ＤＣＧデータは、複数のフレームで構成される動画３ＤＣＧとして生成され、
前記（ａ）ステップは、さらに、
モデリングによって前記ポリゴンオブジェクトの頂点座標と、前記頂点座標に対応する座標変換行列とを特定するステップと、
前記座標変換行列に基づいて、前記頂点座標の座標変換を実行して変換座標を生成するステップとを有し、
前記（ｄ）ステップは、さらに、
前記モデリング手段から供給される頂点座標と、前記座標変換手段から供給される変換座標とに基づいて、前記ポリゴンオブジェクトをレンダリングして前記オブジェクトデータを生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項１８に記載のプログラムにおいて
前記（ｄ）ステップは、さらに、
モデリング時に特定されるオブジェクト番号に基づいて、前記ポリゴンオブジェクトの頂点の色を特定するステップと、
前記変換座標に基づいて、補間法により前記ポリゴンオブジェクトの頂点の色を補間して補間オブジェクトを生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項１９に記載のプログラムにおいて、
前記（ｄ）ステップは、さらに、
前記頂点座標と前記座標変換行列に対応して陰面処理を実行してオブジェクト形状画像を生成する陰面処理ステップと、
前記オブジェクト形状画像を前記オブジェクトデータとして出力するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項２０に記載のプログラムにおいて、
前記陰面処理ステップは、さらに、
補間法により前記オブジェクト形状画像のＺ値を補間して補間Ｚ値を特定するステップと、
前記補間Ｚ値と前記補間オブジェクトに基づいてＺバッファ処理を実行して前記オブジェクト形状画像を生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項１６から２１の何れか１項に記載のプログラムにおいて、
さらに、ネットワークを介して前記多重化３ＤＣＧを動画ストリームとして配信するステップ
を具備する方法をコンピュータで実行可能なプログラム。