JP2002369205A - 動画像生成装置 - Google Patents

Abstract

(57)【要約】 【課題】 実写映像の画質低下を招くことなく、動画像
の圧縮を行う。 【解決手段】 仮想３次元空間に配置する仮想物体のデ
ータを保存する仮想物体保存部１１と、仮想物体を構成
するポリゴンの頂点の表示座標系での座標値と輝度値に
変換する座標変換部１２と、特定画像をマッピングする
特定物体の表示座標系での領域であるマッピング領域を
検出するマッピング領域検出部１３と、検出されたマッ
ピング領域を含む特定ブロックを算出するマッピング物
体領域算出部１４と、特定ブロックの量子化テーブルを
変更する量子化テーブル変更部１５と、各ポリゴンの頂
点の表示座標系での座標値と輝度値から、ラスター演算
部１６から出力される画像データに対して、特定ブロッ
クならば変更された量子化テーブルを用い、そうでなけ
れば予め設定された量子化テーブルを用いて画像データ
を圧縮する直交変換動画圧縮部１７ａとを備えるものと
した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像生成装置に
関し、特に３次元コンピュータグラフィックス（３ＤＣ
Ｇ）による動画像から圧縮画像を生成する動画像生成装
置に関するものである。

【０００２】

【従来の技術】従来、３ＤＣＧによって描画された動画
像を圧縮する動画像生成装置は、３ＤＣＧによって描画
された画像を実写映像と同じ方法で圧縮する処理を行っ
ていた。図１１は、従来の動画像生成装置の構造を示す
ブロック図である。図１１において、動画像生成装置１
００は、座標変換部９１と、ラスター演算部９２と、直
交変換動画圧縮部９３とを備える。座標変換部９１は、
仮想３次元空間の物体データの幾何学演算を行い、物体
を構成するポリゴンの頂点の座標値と輝度値とを算出す
る。ラスター演算部９２は、座標変換部９１から算出さ
れた各物体の座標値と輝度値とから、表示領域の各画素
の輝度値を算出する。直交変換動画圧縮部９３は、ラス
ター演算部９２から出力される画像データを圧縮する。

【０００３】３ＤＣＧによって、実写映像をマッピング
した画像は、特殊効果の制作やタイトル制作、エンディ
ング制作、トランジェント制作に多用されている。ま
た、このような３ＤＣＧ画像を、インターネットでの動
画メールに利用する場合やパーソナルコンピュータ（Ｐ
Ｃ）の記憶装置に保存する場合には、通信回線やバンド
幅が小さかったり、またＰＣのバス幅が狭いことや記憶
装置の容量制限のため、動画像の圧縮を行う必要があ
る。またさらに、３ＤＣＧによってマッピングされた実
写映像領域は表示画像内で注目する領域であるため、少
なくとも高画質であることが要求される。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来の動画像生成装置１００においては、実写映像がマッ
ピングされていない仮想物体の描画領域と実写映像領域
とが区別されることなく圧縮されるため、圧縮にビット
レート等の制限があるシステムでは、実写映像領域の画
質低下が生じるという問題があった。

【０００５】本発明は、かかる問題点を解決するために
なされたものであり、実写映像の画質低下をまねくこと
なく、動画像の圧縮を行うことができる動画像生成装置
を提供することを目的とする。

【０００６】

【課題を解決するための手段】この課題を解決するため
に本発明に係る動画像生成装置は、仮想３次元空間に配
置する仮想物体のデータを保存する仮想物体保存部と、
前記仮想物体のデータを、前記仮想物体を構成するポリ
ゴンの頂点の表示座標系での座標値と輝度値とに変換す
る座標変換部と、特定画像をマッピングする特定物体の
表示座標系での領域であるマッピング領域を検出するマ
ッピング領域検出部と、前記マッピング領域検出部で検
出されたマッピング領域を含むブロックである特定ブロ
ックを算出するマッピング物体領域算出部と、前記特定
ブロックの量子化テーブルを変更する量子化テーブル変
更部と、前記座標変換部により算出された各ポリゴンの
頂点の表示座標系での座標値と輝度値とから、表示領域
の各画素の輝度値を算出するラスター演算部と、前記特
定ブロックならば、前記量子化テーブル変更部により変
更された量子化テーブルを用い、前記特定ブロックでな
いブロックならば、予め設定された量子化テーブルを用
いて前記ラスター演算部から出力される画像データを圧
縮する直交変換動画圧縮部とを備えたことを特徴とする
ものである。

【０００７】また、本発明に係る動画像生成装置は、仮
想３次元空間に配置する仮想物体のデータを保存する仮
想物体保存部と、前記仮想物体のデータを、前記仮想物
体を構成するポリゴンの頂点の表示座標系での座標値と
輝度値とに変換する座標変換部と、前記仮想物体毎に、
該仮想物体の量子化の優先度を示す量子化優先度を設定
する量子化優先設定部と、前記座標変換部で変換された
表示座標系での前記各仮想物体の占有する領域を算出す
る物体領域算出部と、各フレームのビットレートを設定
するフレームビットレート設定部と、前記物体領域算出
部で算出された前記各仮想物体の占有する領域と前記量
子化優先度と前記フレームビットレートとから、前記各
仮想物体が含まれる各ブロックの量子化テーブルを算出
する量子化テーブル算出部と、前記座標変換部により算
出された各ポリゴンの頂点の表示座標系での座標値と輝
度値とから、表示領域の各画素の輝度値を算出するラス
ター演算部と、各ブロック毎に、前記量子化テーブル算
出部で算出された各ブロックの量子化テーブルを用いて
前記ラスター演算部から出力される画像データを圧縮す
る直交変換動画圧縮部とを備えたことを特徴とするもの
である。

【０００８】また、本発明に係る動画像生成装置は、前
記直交変換動画圧縮部が、第１の描画フレームと、該第
１の描画フレームより時間的に隣接する第２の描画フレ
ームより、前記表示座標系の分割領域を示す各格子内に
存在するポリゴンの頂点を検出する頂点分類部と、第１
の描画フレームで各格子内に存在するポリゴンの頂点の
分布と、第２の描画フレームで各格子内に存在するポリ
ゴンの頂点の分布とから各格子間の移動ベクトルを算出
する頂点移動量算出部とにより、第１の描画フレームと
第２の描画フレームとの間での移動ベクトルを推定する
ことを特徴とするものである。

【０００９】また、本発明に係る動画像生成装置は、前
記直交変換動画圧縮部が、任意の時刻の描画フレームよ
り、前記表示座標系の分割領域を示す各格子に対して前
記各格子の頂点を示すサブ格子点を算出するサブ格子点
算出部と、任意の時刻で前記サブ格子点の画素値に配置
された前記物体の位置を算出するサブ格子点物体算出部
と、前記サブ格子点物体算出部で算出された前記物体の
任意の時刻経過後の移動座標を算出するサブ格子点移動
座標算出部と、任意の時刻で前記物体のサブ格子点位置
と、任意の時刻経過後の前記物体のサブ格子点位置とか
ら各格子点位置の移動ベクトルを算出するサブブロック
移動量算出部とを備えたことを特徴とするものである。

【００１０】

【発明の実施の形態】以下、本発明にかかる動画像生成
装置に好適な実施の形態について、図面を参照しながら
説明する。 （実施の形態１）本実施の形態１による動画像生成装置
は、テクスチャマッピングする物体の高画質化を図るた
めに、量子化テーブルの変更を行うものである。

【００１１】図１は、本発明の実施の形態１による動画
像生成装置の構成を示すブロック図である。図１におい
て、動画像生成装置１ａは、仮想物体保存部１１と、座
標変換部１２と、マッピング領域検出部１３と、マッピ
ング物体領域算出部１４と、量子化テーブル変更部１５
と、ラスター演算部１６と、直交変換動画圧縮部１７ａ
とを備える。

【００１２】仮想物体保存部１１は、仮想３次元空間に
配置する仮想物体のデータとして、仮想物体の３次元座
標系での座標値と、テクスチャデータ、仮想物体の表面
属性（光の反射、透過特性や色情報）、あるいはテクス
チャマッピングするためのテクスチャ座標、光源データ
（配光特性、強度など）から構成されるシナリオ情報を
保存する。

【００１３】座標変換部１２は、世界座標系に配置され
た仮想物体を、指定された仮想カメラから撮影するため
に、その仮想物体に対して視点座標変換と、透視変換と
を行い、各物体を構成するポリゴンの頂点の輝度計算、
及び描画領域である表示座標系への変換を行う。マッピ
ング領域検出部１３は、表示座標系において、特定画像
をマッピングする特定物体の領域であるマッピング領域
を検出する。ここで、特定画像とは、画像を見る人が注
目する画像であり、例えば、実写映像などのことであ
る。また、特定物体とは、その特定画像の貼り付けられ
る仮想物体のことである。

【００１４】マッピング物体領域算出部１４は、動画像
の圧縮を行うために、例えば８×８画素のブロックで表
示領域を分割し、マッピング領域検出部１３で検出され
たマッピング領域を最小の構成要素で包含するブロック
である特定ブロックを算出する。量子化テーブル変更部
１５は、マッピング物体領域算出部１４で求めた特定ブ
ロックに対して高画質化を図るために、その特定ブロッ
クに用いる量子化テーブルを、予め設定された量子化テ
ーブルから、より高画質となるテーブルに変更する。そ
して、その変更した量子化テーブルと、特定ブロックの
位置とを直交変換動画圧縮部１７ａに出力する。

【００１５】ラスター演算部１６は、座標変換部１２で
算出された各ポリゴンの頂点の表示座標系での座標値と
輝度値、及び実写映像も含んだテクスチャデータの座標
から、各ポリゴン内の画素を奥行き値比較による隠れ面
消去を行いながら補間演算し、表示領域の各画素の輝度
値を算出する。

【００１６】直交変換動画圧縮部１７ａは、ラスター演
算部１６から出力される画像データに対して、特定ブロ
ックについては、その変更された量子化テーブルにより
量子化を行い、特定ブロックでないブロックについて
は、予め設定された量子化テーブルにより量子化を行
う。

【００１７】なお、直交変換動画圧縮では、通常、フレ
ーム間の移動量推定にマクロブロック（１６×１６画
素）を用い、離散コサイン変換（ＤＣＴ）ではブロック
（８×８画素）が用いられるが、本実施の形態１では説
明を簡単にするためマクロブロックと８×８画素のブロ
ックとを区別することなく、ブロックに統一して説明を
行う。

【００１８】図２は、本実施の形態１によるＨ．２６３
規格等の直交変換動画圧縮部１７ａの構成を示すブロッ
ク図である。図２において、直交変換動画圧縮部１７ａ
は、さらに、移動量算出部３１と、減算器３２と、離散
コサイン変換部３３と、量子化部３４と、可変長符号化
部３５と、逆量子化部３６と、離散コサイン逆変換部３
７と、加算器３８と、バッファ部３９と、移動量補償部
４０とを備える。移動量算出部３１は、フレーム間の移
動量を算出する。離散コサイン変換部３３は、ブロック
単位にＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒ
ａｎｓｆｏｒｍ，離散コサイン変換）演算を行う。

【００１９】量子化部３４には、量子化テーブルが設定
されており、離散コサイン変換部３３の出力に対して、
量子化テーブルを用いて量子化処理を行い、量子化係数
を出力する。なお、特定ブロックに関しては、量子化テ
ーブル変更部１５により変更された量子化テーブルを用
いて量子化処理を行う。可変長符号化部３５は、量子化
部３４から出力された量子化係数に対して可変長符号化
処理を行い、画像符号化信号を出力する。

【００２０】逆量子化部３６は、量子化部３４から出力
される量子化係数に対して量子化部３４で用いた量子化
テーブルと同じテーブルを用いて逆量子化処理を行う。
なお、特定ブロックに関しては、量子化テーブル変更部
１５により変更された量子化テーブルと同じテーブルを
用いて逆量子化処理を行う。離散コサイン逆変換部３７
は、逆量子化部３６の出力に対して、逆ＤＣＴ処理を行
い、内部伸長結果を出力する。

【００２１】バッファ部３９は、離散コサイン逆変換部
３７から出力される内部伸長結果を保存する。移動量補
償部４０には、移動量算出部３１で算出された移動ベク
トルが入力されるとともに、バッファ部３９に保存され
た内部伸長結果が入力される。

【００２２】このように構成された動画像生成装置１ａ
について、その動作を説明する。なお、本実施の形態１
においては、仮想物体は三角形もしくは四角形のポリゴ
ンの集合体で構成されているものと仮定し、さらに３Ｄ
ＣＧの描画方法はＺバッファ法を利用するものとする。

【００２３】まず、仮想物体保存部１１で保存されてい
る、複数のポリゴンの集合体である仮想物体と、仮想光
源の光源色、強度やその配光特性、さらに、各時間での
仮想物体の世界座標系での位置情報や仮想光源の位置情
報からなるシナリオ情報とを用いて、座標変換部１２
は、ある時間でのシーンを仮想カメラで撮影するため
に、物体座標系で定義された仮想物体と、仮想光源と仮
想カメラとを世界座標系で配置する。さらに、座標変換
部１２は仮想カメラの位置を原点とし、仮想カメラの方
位を奥行き（Ｚ軸）とする視点座標系での各仮想物体や
仮想光源の位置を算出する。また、仮想光源の配光特性
と、仮想光源及び物体の位置関係、すなわち仮想物体を
構成するポリゴンの頂点と仮想光源との距離と、ポリゴ
ンの法線ベクトルと配光特性、物体表面の光の反射特
性、仮想物体のもつ色によってポリゴンの各頂点の輝度
（例えば、ＲＧＢ３原色）を算出する。さらに、仮想ス
クリーンへの投影を行うために、透視変換とＣＲＴや液
晶モニタの表示座標系への変換を行い、各ポリゴンの頂
点の表示座標系での位置と物体色を算出する。

【００２４】次に、ラスター演算部１６において、座標
変換部１２で算出された仮想物体の各ポリゴンの頂点の
座標と物体色から、ポリゴン内部の各画素の画素値を補
間演算によって算出するとともに、仮想カメラ位置から
の距離に応じて画素単位で奥行き値（Ｚ値）を比較して
隠れ面消去を行う。通常、各画素値の補間演算は、Ｄｉ
ｇｉｔａｌ ｄｉｆｆｅｒｅｎｃｅ Ａｎａｌｉｚｅｒ
（ＤＤＡ）を用いて行っている。

【００２５】次に、マッピング領域検出部１３は、座標
変換部１２で算出された表示座標系でのポリゴン頂点の
座標値を受け取り、特定物体、すなわち実写映像をテク
スチャマッピングするための仮想物体の表示座標系での
座標値を算出する。そして、もし特定物体を構成するポ
リゴンが連続的に配置されているならば、ポリゴンの集
合体の最外郭の頂点座標を算出する。また、特定物体を
構成するポリゴンが仮想３次元空間上に散在する場合
（例えば、爆発のような特殊効果を出す場合に生じる）
には、連続性を保ったポリゴン群の各最外郭の頂点座標
を抽出し、最外郭頂点を接続した多角形領域であるマッ
ピング領域を検出する。

【００２６】マッピング物体領域算出部１４は、マッピ
ング領域検出部１３により検出されたマッピング領域を
用いて、特定ブロックを算出する。次に、図３を用い
て、特定ブロックの算出方法について説明する。

【００２７】図３は、本発明の実施の形態１による特定
ブロックの算出に関する説明図である。図３において、
三角形の集合体で構成された仮想物体は、特定物体のポ
リゴンである。また、表示領域を構成する８×８画素の
ブロックのうち、斜線で表されたブロックは特定物体の
ポリゴンが存在する特定物体のブロック、すなわち特定
ブロックであり、白色のブロックは特定ブロックではな
いブロックである。つまり、マッピング領域検出部１３
で算出される各ポリゴンの頂点とは、例えば、頂点１，
２，４あるいは頂点５，７，８であり、ポリゴン群の各
最外郭とは、頂点１，３，６，９，１２，１０，７，４
で囲まれる部分である。従って、頂点１，３，６，９，
１２，１０，７，４で囲まれる領域がマッピング領域で
ある。このマッピング領域を包含する最低限のブロック
が特定ブロックである。

【００２８】なお、本実施の形態１では、マッピング領
域を包含するブロックを特定ブロックとして算出した
が、各ブロック内でマッピング領域が占める比率によっ
て特定ブロックか、あるいは特定ブロックではないブロ
ックかを判断してもよい。例えば、注目するブロックに
おいて、マッピング領域の占める割合が、５０％以上な
ら特定ブロックとし、５０％未満なら特定ブロックでは
ないブロックとしてもよい。

【００２９】次に、特定画像の高画質化を図るために、
マッピング物体領域算出部１４で算出された特定ブロッ
クに対して、量子化テーブル変更部１５で量子化テーブ
ルの変更を行う。そして、直交変換動画圧縮部１７ａ
は、量子化テーブル変更部１５によって変更された量子
化テーブルを用いて、ラスター演算部１６から出力され
る画像データを圧縮する。

【００３０】次に、直交変換動画圧縮部１７ａにおけ
る、圧縮処理について説明する。まず、時間ｔにおい
て、ラスター演算部１６で算出されたイントラフレーム
の画像（Ｉ画像）は、移動量算出部３１を経由して離散
コサイン変換部３３で直交変換が行われる。Ｉ画像は、
量子化テーブル変更部１５により変更された量子化テー
ブルか、あるいは予め設定されていた量子化テーブルを
もとに量子化部３４において量子化され、可変長符号化
器３５で符号化されて出力される。また、この量子化さ
れたデータは、量子化部３４で用いられたのと同じ量子
化テーブルを用いて逆量子化部３６によって逆量子化さ
れ、離散コサイン逆変換部３７で逆直交変換が行われ、
バッファ部３９に保存される。一方、フレーム間相関を
とる時間ｔ＋１の画像が移動量算出部３１に入力される
と、時刻ｔと時刻ｔ＋１の画像の移動量が算出され、バ
ッファ部３９内の画像に対し、移動量補償部４０は、移
動量を加算して予測画像を算出する。ここで、時刻ｔと
は、ｔ番目のフレームの時刻のことである。したがっ
て、時刻ｔと時刻ｔ＋１のフレームは、時間的に隣接す
るフレームである。

【００３１】そして、減算器３２は時刻ｔ＋１の入力画
像と予測画像との差分をとり、この差分画像に対して離
散コサイン変換部３３によって直交変換がなされる。量
子化部３４はＩ画像と同様に量子化テーブルをもとに量
子化処理を行い、量子化係数を可変長符号化部３５で符
号化して出力する。また、逆量子化部３６は量子化テー
ブルをもとに逆量子化を行い、離散コサイン逆変換部３
７によって前述の差分画像に戻し、さらに前述の予測画
像に加算してバッファ部３９に保存する。

【００３２】ここで、離散コサイン変換部３３によって
算出された各周波数成分は量子化部３４において量子化
テーブルをもとに量子化されるので、この量子化テーブ
ルの持ち方によって高周波成分の画質劣化等が生じる場
合がある。そこで、特定物体のブロックに対しては、量
子化テーブル変更部１５で量子化テーブルを変更して高
周波成分のウェイトを大きくするように量子化テーブル
の設定の変更を行う。

【００３３】このように、本実施の形態１による動画像
生成装置１ａによれば、直交変換を行う際に、特定ブロ
ックに関しては、量子化テーブル変更部１５によって変
更された量子化テーブルを用い、特定ブロックでないブ
ロックに関しては、予め設定された量子化テーブルを用
いて画像データを圧縮することで、特定画像の領域であ
るマッピング領域の画質を、他の領域の画質に対して向
上させることができ、全体としての圧縮率の低下を最小
限に抑えながら、実写映像などの特定画像を高画質化す
ることができる効果が得られる。

【００３４】なお、本実施の形態１においては、説明を
簡単にするために、フレーム内符号化であるイントラフ
レームと、順方向フレーム間予測によるインターフレー
ムの２種のピクチャで符号化されていると仮定している
が、双方向予測を含めたＭＰＥＧ１やＭＰＥＧ２のよう
な直交変換圧縮にも容易に拡張可能である。

【００３５】また、本実施の形態１においては、圧縮
（符号化）について述べたが、伸張（逆符号化）につい
ても、移動ベクトルと、特定物体のブロック領域を記述
したデータと、その量子化テーブルを受け取り、特定物
体領域の量子化テーブルを変更することにより通常の伸
張の拡張で実現することができる。

【００３６】また、本実施の形態１では、量子化テーブ
ル変更部１５は、特定ブロックの位置と、その量子化テ
ーブルとを直交変換動画圧縮部１７ａに出力するとした
が、量子化テーブル変更部１５と直交変換動画圧縮部１
７ａとが同期しているのであれば、量子化テーブル変更
部１５が、特定ブロックの位置を直交変換動画圧縮部１
７ａに出力しなくてもよい。

【００３７】さらに、直交変換動画圧縮部１７ａが、特
定ブロックに用いる量子化テーブルと、それ以外のブロ
ックに用いる量子化テーブルとの２種類しか持っていな
い場合は、量子化テーブル変更部１５は、直交変換動画
圧縮部１７ａに量子化テーブルを指示しなくても、量子
化テーブルを変更する旨のみを出力すればよい。

【００３８】（実施の形態２）本実施の形態２による動
画像生成装置は、保存された仮想物体毎に、予め量子化
優先度を設定して、動画像の高画質化を図るものであ
る。図４は、本発明の実施の形態２による動画像生成装
置の構成を示すブロック図である。図４において、動画
像生成装置１ｂは、仮想物体保存部１１と、座標変換部
１２と、ラスター演算部１６と、直交変換動画圧縮部１
７ａと、量子化優先設定部４１と、物体領域算出部４２
と、フレームビットレート設定部４３と、量子化テーブ
ル算出部４４とを備える。

【００３９】なお、仮想物体保存部１１、座標変換部１
２、ラスター演算部１６、及び直交変換動画圧縮部１７
ａに関わる部分の構成、及び動作は、実施の形態１の動
画像生成装置１ａと同じであり、説明を省略する。量子
化優先設定部４１は、仮想物体保存部１１に保存された
シナリオ情報に含まれる各仮想物体に、直交変換動画圧
縮部１７ａにおける量子化優先度を設定する。物体領域
算出部４２は、表示座標系での各仮想物体の占有する領
域を算出する。フレームビットレート設定部４３は、最
終圧縮画像のビットレートを設定する。量子化テーブル
算出部４４は、優先順位が付けられた仮想物体のブロッ
ク数と最終圧縮画像のビットレートから各ブロックの量
子化テーブルを算出する。

【００４０】このように構成された本実施の形態２によ
る動画像生成装置１ｂについて、その動作を説明する。
まず、量子化優先設定部４１は、直交変換動画圧縮部１
７ａで圧縮する画像データを、注目度の高い仮想物体の
順位で画質向上を図るために、各仮想物体に対して量子
化の優先順位を設定する。この優先順位の設定におい
て、より注目度の高い仮想物体ほど、より高い優先順位
が設定される。物体領域算出部４２は、各物体を構成す
るポリゴンの表示座標系での座標値から、最外郭の頂点
を連結して求められる多角形内部を包含するブロックを
検出する。

【００４１】量子化テーブル算出部４４は、フレームビ
ットレート設定部４３によってシステム全体としての最
終圧縮画像の設定されたビットレートの値と、物体領域
算出部４２で算出された量子化の優先順位のつけられた
仮想物体毎のブロック数とから、各ブロックの量子化テ
ーブルを算出する。トータルのビットレートに制限があ
る場合、ある優先度のブロックの量子化テーブルを固定
化することはできないため、例えば、各優先度のウェイ
ト比率とそのブロック数の乗算を行い、全ての優先度の
ブロックについて和を求め、和がトータルビットレート
以下となるように量子化テーブルを設定する。ここで、
ある優先度のブロックの量子化テーブルを固定化したい
場合、トータルビットレートから固定化したビットレー
トの総和を減算し、他の優先度のブロックに対するビッ
トレートを決定する。例えば、優先順位の最も高い物体
が表示領域全体にある場合と、優先順位の最も低い物体
が表示領域全体にある場合とでは、各ブロックの優先度
の和を求めることにより、量子化テーブルを等しくする
ことになる。なお、この量子化テーブルは図２で示され
る量子化部３４、及び逆量子化部３６に設定される。

【００４２】この他の動画像生成装置１ｂの動作は、実
施の形態１で説明したものと同様であり、その説明を省
略する。このように、本実施の形態２による動画像生成
装置１ｂによれば、動画生成時の各仮想物体の各フレー
ムでの移動先を容易に算出することができるという３Ｄ
ＣＧの特徴を用い、予め各物体の量子化優先度を設定
し、最終圧縮画像のビットレートを与えて、優先順位が
付けられた仮想物体のブロック数と、最終圧縮画像のビ
ットレートから各ブロックの量子化テーブルを算出する
ことで、トータルのビットレートを制限内に納めなが
ら、注目させたい特定物体の量子化の優先度を上げて、
視聴者にとって見かけの画質向上を図ることができる。

【００４３】（実施の形態３）本実施の形態３による動
画像生成装置は、３ＤＣＧの物体の時刻変化に対する表
示画面上での移動量を算出することにより、直交変換動
画圧縮を行う際の移動量推定の精度を向上させるもので
ある。図５は、本発明の実施の形態３による動画像生成
装置の構成を示すブロック図である。図５において、動
画像生成装置１ｃは、仮想物体保存部１１と、座標変換
部１２と、マッピング領域検出部１３と、マッピング物
体領域算出部１４と、量子化テーブル変更部１５と、ラ
スター演算部１６と、直交変換動画圧縮部１７ｃとを備
える。なお、直交変換動画圧縮部１７ｃに関わる部分以
外の構成、及び動作は、実施の形態１の動画像生成装置
１ａと同じであり、説明を省略する。

【００４４】図６は、本発明の実施の形態３による直交
変換動画圧縮部１７ｃの構成を示すブロック図である。
図６において、本実施の形態３による直交変換動画圧縮
部１７ｃは、座標変換部１２からの出力をも受け付ける
ものであり、減算器３２と、離散コサイン変換部３３
と、量子化部３４と、可変長符号化部３５と、逆量子化
部３６と、離散コサイン逆変換部３７と、加算器３８
と、バッファ部３９と、移動量補償部４０と、頂点分類
部５１と、頂点移動量算出部５２とを備える。

【００４５】なお、頂点分類部５１、及び頂点移動量算
出部５２に関わる部分以外の構成、及び動作は、実施の
形態１の直交変換動画圧縮部１７ａと同じであり、説明
を省略する。頂点分類部５１は、時刻ｔ及び時刻ｔ＋１
における表示座標系での各ブロック内に存在するポリゴ
ンの頂点を分類する。頂点移動量算出部５２は、時刻ｔ
での各ブロックのポリゴンの頂点が時刻ｔ＋１において
どのブロックに移動するかを算出し、その分布状態から
ブロックの移動ベクトルを算出する。

【００４６】このように構成された本実施の形態３によ
る直交変換動画圧縮部１７ｃについて、その動作を説明
する。まず、頂点分類部５１は、座標変換部１２から出
力された、時刻ｔ及び時刻ｔ＋１における各ポリゴンの
表示座標系での座標値を入力とし、各ポリゴンの頂点が
いずれのブロックに属するかを分類する。続いて、時刻
ｔ及び時刻ｔ＋１で分類された各ポリゴンの頂点は頂点
移動量算出部５２に入力され、ブロック全体としての移
動ベクトルが算出される。

【００４７】図７は、本発明の実施の形態３によるポリ
ゴンの移動量の算出に関する説明図である。図７におい
て、頂点１，２，５，６を有するポリゴンは時刻ｔでブ
ロックｍ内に存在している。また、時刻ｔ＋１におい
て、頂点１，２，５，６を有するポリゴンは、ブロック
ｎ内に存在している。また、ブロックｍ及びブロックｎ
内でのポリゴンの領域占有率は高いため、頂点１，２，
５，６を有するポリゴンは時刻ｔから時刻ｔ＋１へ時間
が経過した時に、ブロックｍからブロックｎに移動した
ものと推定することができる。

【００４８】続いて、頂点移動量算出部５２で算出され
た移動ベクトルは、移動量補償部４０に入力される。な
お、その他の動作については、実施の形態１と同様であ
るので説明を省略する。このように、本実施の形態３に
よる動画像生成装置１ｃによれば、時刻ｔにおける直交
変換用ブロック内の３ＤＣＧ物体のポリゴンを構成する
頂点の時刻ｔ＋１への移動量を座標変換によって算出
し、時刻ｔにおける頂点が時刻ｔ＋１においてどのブロ
ック内に移動するかを判別して、時刻ｔから時刻ｔ＋１
へのブロックの移動ベクトルを推定する直交変換動画圧
縮部１７ｃを備えたことで、直交変換圧縮の移動量推定
の精度を向上させることができるという効果が得られ
る。

【００４９】なお、本実施の形態３においては、頂点の
移動量を用いて移動量補償を行ったが、さらに、その物
体が他の物体によって隠れるかどうかの推定を入れるこ
とにより、より移動量推定を正確にすることができる。
例えば、本実施の形態３での時刻ｔにおける複数のブロ
ックが、時刻ｔ＋１で同一ブロックＡに移動したと推定
された場合、ブロックＡに移動したと推定された各物体
の頂点の奥行き値比較を行い、奥行きが最小の物体を含
む時刻ｔでのブロックがブロックＡに移動したと推定す
ると、移動量補償の精度を向上させることができる。

【００５０】また、本実施の形態３では、本実施の形態
３による直交変換動画圧縮部１７ｃを実施の形態１によ
る動画像生成装置１ａに備えた構成としたが、実施の形
態２による動画像生成装置１ｂに本実施の形態３による
直交変換動画圧縮部１７ｃを備えた構成としてもよい。

【００５１】（実施の形態４）本実施の形態４による動
画像生成装置は、３ＤＣＧの物体の時刻変化に対する表
示画面上での移動量を算出することにより、直交変換動
画圧縮を行う際の移動量推定の精度を向上させるもので
ある。

【００５２】図８は、本発明の実施の形態４による動画
像生成装置の構成を示すブロック図である。図８におい
て、動画像生成装置１ｄは、仮想物体保存部１１と、座
標変換部１２と、マッピング領域検出部１３と、マッピ
ング物体領域算出部１４と、量子化テーブル変更部１５
と、ラスター演算部１６と、直交変換動画圧縮部１７ｄ
とを備える。なお、直交変換動画圧縮部１７ｄに関わる
部分以外の構成、及び動作は、実施の形態１の動画像生
成装置１ａと同じであり、説明を省略する。

【００５３】図９は、本発明の実施の形態４による直交
変換動画圧縮部１７ｄの構成を示すブロック図である。
図９において、直交変換動画圧縮部１７ｄは、減算器３
２と、離散コサイン変換部３３と、量子化部３４と、可
変長符号化部３５と、逆量子化部３６と、離散コサイン
逆変換部３７と、加算器３８と、バッファ部３９と、移
動量補償部４０と、サブ格子点算出部６１と、サブ格子
点物体算出部６２と、サブ格子点移動座標算出部６３
と、サブブロック移動量算出部６４とを備える。

【００５４】なお、サブ格子点算出部６１、サブ格子点
物体算出部６２、サブ格子点移動座標算出部６３、及び
サブブロック移動量算出部６４に関わる部分以外の構
成、及び動作は、実施の形態３の直交変換動画圧縮部１
７ｃと同じであり、説明を省略する。

【００５５】サブ格子点算出部６１は、時刻ｔの描画フ
レームからブロックを細分割するサブ格子点を算出す
る。サブ格子点物体算出部６２は、サブ格子点の画素値
を決定している物体とその３次元位置を算出する。サブ
格子点移動座標算出部６３は、サブ格子点物体算出部６
２で算出された３次元位置の時刻ｔ＋１での表示座標で
ある移動サブ格子点表示座標を算出する。サブブロック
移動量算出部６４は、時刻ｔでのサブ格子点の表示座標
と移動サブ格子点表示座標の分布によって時刻ｔから時
刻ｔ＋１へのブロックの移動ベクトルを算出する。

【００５６】このように構成された本実施の形態４によ
る動画像生成装置１ｄについて、その動作を説明する。
まず、仮想物体保存部１１から取り出されたシナリオ情
報の時刻ｔ及び時刻ｔ＋１におけるポリゴンは、座標変
換部１２で各ポリゴンの表示座標系での座標値が算出さ
れ、サブ格子点算出部６１に出力される。サブ格子点算
出部６１では、各ブロックを均等に分割してサブ格子点
を算出する。続いて、サブ格子点物体算出部６２で、サ
ブ格子点の画素値を決定している物体上のサブ格子点物
体位置を算出し、サブ格子点移動座標算出部６３に出力
する。次に、サブ格子点移動座標算出部６３は、そのサ
ブ格子点の画素値を決定する物体名、その物体上の３次
元位置を算出する。例えば、仮想視点からそのサブ格子
点を通る半直線を結び、その半直線と最初に交差する物
体と３次元座標を算出すればよい。具体的には３ＤＣＧ
での光線追跡法を用いれば容易に算出することができ
る。

【００５７】次に、サブ格子点移動座標算出部６３は、
座標変換部１２と同様の処理により、時刻ｔ＋１におけ
る表示座標系での座標値を算出する。全サブ格子点に対
し同じ処理を行うことによって、時刻ｔでのサブ格子点
の移動ベクトルを算出することができる。サブブロック
移動量算出部６４はこの全サブ格子点の移動ベクトルを
分類し、ブロック内のサブ格子点の移動ベクトルから、
そのブロックの移動ベクトルを推定する。サブブロック
移動量算出部６４で算出された移動ベクトルは、移動量
補償部４０に入力される。なお、その他の動作について
は、実施の形態１と同様であるので説明を省略する。

【００５８】図１０は、本発明の実施の形態４によるポ
リゴンの移動量を算出するための説明図である。図１０
において、サブ格子点算出部６１で算出されたサブ格子
点は、各ブロックを細分割した点線と点線との交差部分
である。時刻ｔにおいて、細分割したブロックｍ（斜線
で示している）上に、サブ格子点ａ，ｂ，ｃ，ｄを有す
るポリゴンが存在している。このサブ格子点ａ，ｂ，
ｃ，ｄを有するポリゴンは、時刻ｔ＋１において、ブロ
ックｎ上に存在している。このとき、ブロックｍ及びブ
ロックｎ内でのポリゴンの領域占有率は高いため、サブ
格子点ａ，ｂ，ｃ，ｄを有するポリゴンは時刻ｔから時
刻ｔ＋１へ時間が経過した時に、ブロックｍからブロッ
クｎに移動したものと推定することができる。

【００５９】このように、本実施の形態４による動画像
生成装置によれば、直交変換用ブロックをサブブロック
に均等に分割して、そのサブブロックの格子点における
画素の３ＤＣＧ物体の判別と３次元座標位置を算出し、
３次元座標での物体の移動から時刻ｔ＋１での表示座標
系での位置がどのブロックに存在するかを算出して、時
刻ｔから時刻ｔ＋１へのブロックの移動ベクトルを求め
る直交変換動画圧縮部を備えたことで、移動量推定の精
度を向上させるという効果が得られる。

【００６０】なお、本実施の形態４においては、サブ格
子点の物体の移動量を用いて移動量補償を行ったが、実
施の形態３と同様に、その物体が他の物体によって隠れ
るかどうかの推定を入れることにより、より移動量推定
を正確にすることができる。例えば、本実施の形態４で
の時刻ｔにおける複数のブロックが、時刻ｔ＋１で同一
ブロックＡに移動したと推定された場合、ブロックＡに
移動したと推定された各物体の頂点の奥行き値比較を行
い、奥行きが最小の物体を含む時刻ｔでのブロックが、
ブロックＡに移動したと推定すると、移動量補償の精度
を向上させることができる。

【００６１】また、本実施の形態４では、本実施の形態
４による直交変換動画圧縮部１７ｄを実施の形態１によ
る動画像生成装置に備えた構成としたが、実施の形態２
による動画像生成装置に本実施の形態４による直交変換
動画圧縮部１７ｄを備えた構成としてもよい。

【００６２】

【発明の効果】以上のように、本発明の請求項１に記載
の動画像生成装置によれば、直交変換を行う際に、特定
ブロックに関しては、量子化テーブル変更部によって変
更された量子化テーブルを用い、特定ブロックでないブ
ロックに関しては、予め設定された量子化テーブルを用
いて画像データを圧縮することで、特定画像の領域であ
るマッピング領域の画質を、他の領域の画質に対して向
上させることができ、全体としての圧縮率の低下を最小
限に抑えながら、実写映像などの特定画像を高画質化す
ることができる効果が得られる。

【００６３】また、本発明の請求項２に記載の動画像生
成装置によれば、動画生成時の各仮想物体の各フレーム
での移動先を容易に算出することができるという３ＤＣ
Ｇの特徴を用い、予め各物体の量子化優先度を設定し、
最終圧縮画像のビットレートを与えて、優先順位が付け
られた仮想物体のブロック数と、最終圧縮画像のビット
レートから各ブロックの量子化テーブルを算出すること
で、トータルのビットレートを制限内に納めながら、注
目させたい特定物体の量子化の優先度を上げて、視聴者
にとって見かけの画質向上を図ることができる。

【００６４】また、本発明の請求項３に記載の動画像生
成装置によれば、時刻ｔにおける直交変換用ブロック内
の３ＤＣＧ物体のポリゴンを構成する頂点の時刻ｔ＋１
への移動量を座標変換によって算出し、時刻ｔにおける
頂点が時刻ｔ＋１においてどのブロック内に移動するか
を判別して、時刻ｔから時刻ｔ＋１へのブロックの移動
ベクトルを推定する直交変換動画圧縮部を備えたこと
で、直交変換圧縮の移動量推定の精度を向上させること
ができるという効果が得られる。

【００６５】また、本発明の請求項４に記載の動画像生
成装置によれば、直交変換用ブロックをサブブロックに
均等に分割して、そのサブブロックの格子点における画
素の３ＤＣＧ物体の判別と３次元座標位置を算出し、３
次元座標での物体の移動から時刻ｔ＋１での表示座標系
での位置がどのブロックに存在するかを算出して、時刻
ｔから時刻ｔ＋１へのブロックの移動ベクトルを求める
直交変換動画圧縮部を備えたことで、移動量推定の精度
を向上させるという効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による動画像生成装置の
構成を示すブロック図

【図２】本発明の実施の形態１によるＨ．２６３規格等
の直交変換動画圧縮部の構成を示すブロック図

【図３】本発明の実施の形態１による特定物体のブロッ
クを算出するための説明図

【図４】本発明の実施の形態２による動画像生成装置の
構成を示すブロック図

【図５】本発明の実施の形態３による動画像生成装置の
構成を示すブロック図

【図６】本発明の実施の形態３による動画像生成装置の
直交変換動画圧縮部の構成を示すブロック図

【図７】本発明の実施の形態３によるポリゴンの移動量
の算出に関する説明図

【図８】本発明の実施の形態４による動画像生成装置の
構成を示すブロック図

【図９】本発明の実施の形態４による動画像生成装置の
直交変換動画圧縮部の構成を示すブロック図

【図１０】本発明の実施の形態４によるポリゴンの移動
量を算出するための説明図

【図１１】従来の動画像生成装置の構成を示すブロック
図

【符号の説明】

１ａ，１ｂ，１ｃ，１ｄ 動画像生成装置 １１ 仮想物体保存部 １２ 座標変換部 １３ マッピング領域検出部 １４ マッピング物体領域算出部 １５ 量子化テーブル変更部 １６ ラスター演算部 １７ａ，１７ｃ，１７ｄ 直交変換動画圧縮部 ３１ 移動量算出部 ３２ 減算器 ３３ 離散コサイン変換部 ３４ 量子化部 ３５ 可変長符号化部 ３６ 逆量子化部 ３７ 離散コサイン逆変換部 ３８ 加算器 ３９ バッファ部 ４０ 移動量補償部 ４１ 量子化優先設定部 ４２ 物体領域算出部 ４３ フレームビットレート設定部 ４４ 量子化テーブル算出部 ５１ 頂点分類部 ５２ 頂点移動量算出部 ６１ サブ格子点算出部 ６２ サブ格子点物体算出部 ６３ サブ格子点移動座標算出部 ６４ サブブロック移動量算出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 白井 豊 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B050 BA07 BA08 BA09 DA02 EA06 EA10 EA11 EA24 EA27 EA28 FA06 5B080 AA13 BA08 DA06 FA02 GA21 5C059 MA04 MA05 MA23 MC14 ME01 NN01 PP12 PP13 PP15

Claims (4)

【特許請求の範囲】
1. 【請求項１】 仮想３次元空間に配置する仮想物体のデ
   ータを保存する仮想物体保存部と、 前記仮想物体のデータを、前記仮想物体を構成するポリ
   ゴンの頂点の表示座標系での座標値と輝度値とに変換す
   る座標変換部と、 特定画像をマッピングする特定物体の表示座標系での領
   域であるマッピング領域を検出するマッピング領域検出
   部と、 前記マッピング領域検出部で検出されたマッピング領域
   を含むブロックである特定ブロックを算出するマッピン
   グ物体領域算出部と、 前記特定ブロックの量子化テーブルを変更する量子化テ
   ーブル変更部と、 前記座標変換部により算出された各ポリゴンの頂点の表
   示座標系での座標値と輝度値とから、表示領域の各画素
   の輝度値を算出するラスター演算部と、 前記特定ブロックならば、前記量子化テーブル変更部に
   より変更された量子化テーブルを用い、前記特定ブロッ
   クでないブロックならば、予め設定された量子化テーブ
   ルを用いて前記ラスター演算部から出力される画像デー
   タを圧縮する直交変換動画圧縮部とを備えた、 ことを特徴とする動画像生成装置。
2. 【請求項２】 仮想３次元空間に配置する仮想物体のデ
   ータを保存する仮想物体保存部と、 前記仮想物体のデータを、前記仮想物体を構成するポリ
   ゴンの頂点の表示座標系での座標値と輝度値とに変換す
   る座標変換部と、 前記仮想物体毎に、該仮想物体の量子化の優先度を示す
   量子化優先度を設定する量子化優先設定部と、 前記座標変換部で変換された表示座標系での前記各仮想
   物体の占有する領域を算出する物体領域算出部と、 各フレームのビットレートを設定するフレームビットレ
   ート設定部と、 前記物体領域算出部で算出された前記各仮想物体の占有
   する領域と前記量子化優先度と前記フレームビットレー
   トとから、前記各仮想物体が含まれる各ブロックの量子
   化テーブルを算出する量子化テーブル算出部と、 前記座標変換部により算出された各ポリゴンの頂点の表
   示座標系での座標値と輝度値とから、表示領域の各画素
   の輝度値を算出するラスター演算部と、 各ブロック毎に、前記量子化テーブル算出部で算出され
   た各ブロックの量子化テーブルを用いて前記ラスター演
   算部から出力される画像データを圧縮する直交変換動画
   圧縮部とを備えた、 ことを特徴とする動画像生成装置。
3. 【請求項３】 請求項１または請求項２記載の動画像生
   成装置において、 前記直交変換動画圧縮部は、 第１の描画フレームと、該第１の描画フレームより時間
   的に隣接する第２の描画フレームより、前記表示座標系
   の分割領域を示す各格子内に存在するポリゴンの頂点を
   検出する頂点分類部と、 第１の描画フレームで各格子内に存在するポリゴンの頂
   点の分布と、第２の描画フレームで各格子内に存在する
   ポリゴンの頂点の分布とから各格子間の移動ベクトルを
   算出する頂点移動量算出部とにより、第１の描画フレー
   ムと第２の描画フレームとの間での移動ベクトルを推定
   することを特徴とする動画像生成装置。
4. 【請求項４】 請求項１または請求項２記載の動画像生
   成装置において、 前記直交変換動画圧縮部は、 任意の時刻の描画フレームより、前記表示座標系の分割
   領域を示す各格子に対して前記各格子の頂点を示すサブ
   格子点を算出するサブ格子点算出部と、 任意の時刻で前記サブ格子点の画素値に配置された前記
   物体の位置を算出するサブ格子点物体算出部と、 前記サブ格子点物体算出部で算出された前記物体の任意
   の時刻経過後の移動座標を算出するサブ格子点移動座標
   算出部と、 任意の時刻で前記物体のサブ格子点位置と、任意の時刻
   経過後の前記物体のサブ格子点位置とから各格子点位置
   の移動ベクトルを算出するサブブロック移動量算出部と
   を備えた、 ことを特徴とする動画像生成装置。