JP2005203847A

JP2005203847A - 映像合成装置

Info

Publication number: JP2005203847A
Application number: JP2004005387A
Authority: JP
Inventors: Haruhisa Kato; 晴久加藤; Yasuyuki Nakajima; 康之中島
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2004-01-13
Filing date: 2004-01-13
Publication date: 2005-07-28
Anticipated expiration: 2024-01-13
Also published as: JP4222557B2

Abstract

【課題】変換符号化された複数の動画像を高速かつ高精度に合成して１つの変換符号化された画像を生成することができる映像合成装置を提供すること。
【解決手段】符号情報抽出部１で抽出された量子化済み予測誤差情報および動き予測情報を逆量子化部２で逆量子化する。逆動き補償部３は符号化領域上で逆動き補償を行って変換符号化情報を再構成する。合成部４は複数の変換符号化情報を符号化領域上で１つの変換符号化情報に合成し、動き補償部５は合成された変換符号化情報および符号化情報抽出部１で抽出された動き予測情報を用いて符号化領域上で動き補償を行って予測誤差情報および動き予測情報を生成する。符号化部７からは複数の動画像の全てまたはその一部が合成された１つの変換符号化された画像が出力される。
【選択図】図１

Description

本発明は、映像合成装置に関し、特に、符号化領域上で複数の動画像を高速かつ高精度に１つの画像に合成することができる映像合成装置に関する。

テレビ会議システムには、端末間でサーバを介することなく画像などの情報を直接やり取りする形態とサーバを介して画像などの情報をやり取りする形態の２種類がある。端末間にサーバが介在しない形態では利用者が増えるたびに他の全ての利用者との間に回線を接続することが必要である。

一方、サーバが存在する形態では、利用者の数に拘わらず利用者が増えてもその端末をサーバに接続するだけでシステムを構成することができる。したがって、一般に多地点を結ぶテレビ会議システムではサーバが介在する形態が採用される。

特許文献１〜３には、伝送されてきた符号化済み画像を一旦画素領域まで復号し、復号された画素を操作して１つの画面に配置し直し、それによって得られる画像を再び符号化して送出することにより、複数の符号化済み画像を１つに合成して配信するテレビ会議システムが記載されている。

また、特許文献４〜６には、テレビ会議システムではないが、符号化済み画像を画素領域までは復号せず、符号化領域上で近似処理を含む加工処理を行うサーバの要素技術が記載されている。
特開２００３−１０２００９号公報特開２００３−１６３９０３号公報特開２００３−２１９３０９号公報特開２０００−３５０２０７号公報特開２００１−１０３４８２号公報特開２００３−３４８５９８号公報

端末間にサーバが介在しない形態のテレビ会議システムは、システム設定が容易であるが、利用者が増えるたびに新規な端末と他の全ての利用者の端末との間に回線を接続する必要があるため、一対一以上の多地点を結ぶシステムとしては現実的でない。

端末間にサーバが介在する形態のテレビ会議システムにおいて、サーバは多地点から伝送されてきた画像を再配信するという機能だけでなく、伝送されてきた個々の画像を加工し、接続環境に応じた画像にして配信する機能を有することが要求される。

例えば、多地点から伝送されてきた画像を合成し１つの画像として構成し直すことでスムーズなテレビ会議の進行が期待でき、また、制御情報のオーバヘッドを低減したり、ビットレートやフレームレートを適応的に変換したりすることもできる。さらに、多地点から伝送されてきた画像を１つの画像に合成する際に、合成画面の中で発言者だけを大きくしたり、発言者だけを高画質に符号化したりすることも望ましいものである。

特許文献１〜３に記載された技術は、いずれも伝送されてきた符号化済み画像を一旦画素領域まで復号し、画素領域上で１つの画面に配置し直して再構成した画像を符号化して送出するものであるため、符号化済み画像を画素領域まで復号する処理負荷および画素領域上で合成した画像を再符号化する処理負荷によって大きな遅延が生じるという課題がある。

リアルタイム性が厳しく求められるテレビ会議システムでは、システムを快適に利用するためには片道当たり僅か0.3秒程度の遅延しか許されない。伝送路での遅延がある程度避けられないことを考慮すると、サーバの処理での遅延は極力抑えなければならず、サーバでの大きな遅延は致命的な問題となる。

特許文献４〜６に記載された技術を適用することで個々の符号化済み画像の復号処理と再符号化処理を省き、サーバでの処理負荷を軽減することが可能となる。しかしながら、ここでは符号化情報を利用しての加工処理が近似処理であるため、一旦画素領域にまで復号して処理する従来の方法で得られる画像の画質と比べて得られる画質が劣るという課題が生じる。

本発明の目的は、前述した従来技術の課題を解決し、変換符号化された複数の動画像を高速かつ高精度に合成して１つの変換符号化された画像を生成することができる映像合成装置を提供することにある。

前記した課題を解決するために、本発明は、変換符号化された画像を再構成する映像合成装置において、変換符号化された動画像の符号化情報を部分的に復号し、量子化済み予測誤差情報および動き予測情報を抽出する符号情報抽出部と、

前記符号化情報抽出部で抽出された量子化済み予測誤差情報を逆量子化して予測誤差情報を生成する逆量子化部と、前記逆量子化部で生成された予測誤差情報および前記符号情報抽出部で抽出された動き予測情報を用いて符号化領域上で逆動き補償を行って変換符号化情報を再構成する逆動き補償部と、前記逆動き補償部で再構成された複数の変換符号化情報を符号化領域上で１つの変換符号化情報に合成する合成部と、前記合成部で合成された変換符号化情報および前記符号化情報抽出部で抽出された動き予測情報を用いて符号化領域上で動き補償を行って予測誤差情報および動き予測情報を生成する動き補償部と、前記動き補償部で生成された予測誤差情報を量子化して量子化済み予測誤差情報を生成する量子化部と、前記量子化部で生成された量子化済み予測誤差情報および前記動き補償部で生成された動き予測情報を符号化して出力する符号化部とを備え、変換符号化された複数の動画像の全てまたはその一部を１つの変換符号化された画像として出力する点を基本的な特徴としている。

本発明によれば、複数の符号化済み画像を画素領域まで復号することなく、符号化領域上で合成して１つの符号化済み画像を再構成することができる。これにより画素領域までの復号処理および再符号化処理を省略できるので、画素を操作して合成する方式と比較して処理負荷を大幅に軽減できる。また、合成処理処理の過程、特に、逆動き補償や動き補償での演算処理を工夫することにより計算量を削減した高速処理が可能になる。さらに、特許文献３〜６に記載されているような符号化領域上で情報を加工処理する方式と比較して得られる画質は高画質であり、画素を操作する方式と同等の画質を得ることができる。

以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る映像合成装置の実施形態を示すブロック図である。本実施形態の映像合成装置は、符号情報抽出部１、逆量子化部２、逆動き補償部３、合成部４、動き補償部５、量子化部６、および符号化部７を備える。

まず、符号情報抽出部１は、変換符号化によって圧縮された複数の動画像の符号化情報を部分的に復号して動き予測情報（動きベクトル）および量子化済み予測誤差情報（差分ＤＣＴ係数）を抽出する。

なお、ここでの抽出処理は、入力された複数の動画像全てに対して行う必要はなく、出力する画像に含ませる動画像に対して行えばよい。また、入力された１つの動画像内についても全て対して抽出処理を行う必要はなく、例えば顔部分などの動画像の一部に対して抽出処理を行うようにして出力する画像に該部分のみを含ませるようにすることもできる。

符号情報抽出部１で抽出された動きベクトルは、逆動き補償部３および動き補償部５に出力され、量子化済み差分ＤＣＴ係数は、逆量子化部２に出力される。

逆量子化部２は、符号情報抽出部１で得られた量子化済み差分ＤＣＴ係数を逆量子化する。逆量子化により生成された量子化誤差を含んだ差分ＤＣＴ係数は、逆動き補償部３に出力される。逆量子化部２に、出力する画像に必要な差分ＤＣＴ係数を選択して出力させる機能を持たせることもできる。

逆動き補償部３はフレームメモリを含み、フレームメモリから得られる１フレーム前の参照ＤＣＴ係数と符号情報抽出部１で抽出された動きベクトルと逆量子化部２で得られた処理対象フレームの差分ＤＣＴ係数（８×８ＤＣＴ係数）とを用いてＤＣＴ係数領域上で逆動き補償し、処理対象フレームの完全なＤＣＴ係数を導出する。

逆動き補償部３で導出された、複数の画像についてのＤＣＴ係数は合成部４に入力される。合成部４は、入力されたＤＣＴ係数を１つのフレームとして合成する。なお、出力する画像に必要なＤＣＴ係数をここで選択して合成するようにすることもできる。

動き補償部５は、符号情報抽出部１で得られた動きベクトルを、出力する画像の動きベクトルとして再利用するとともに、合成部４で得られたＤＣＴ係数に対して動き補償を行う。ここでのＤＣＴ係数領域上における動き補償は、逆動き補償部３での処理の逆の操作である。動き補償部５で得られる動きベクトルは符号化部７へ出力され、動き補償されたＤＣＴ係数は量子化部６へ出力される。

量子化部６は、動き補償部５で得られたＤＣＴ係数を量子化し、量子化されたＤＣＴ係数を符号化部７へ出力する。符号化部７は、量子化部６で得られた量子化済みＤＣＴ係数および動き補償部５で得られた動きベクトルを符号化して出力する。

次に、逆動き補償部３における処理の具体例について説明する。図２は、逆量子化部２での逆量子化により生成された差分８×８ＤＣＴ係数の４組すなわちマクロブロックと、動きベクトルに基づいて参照される前フレームの参照ＤＣＴ係数との関係を示す。なお、Ｒ_００〜Ｒ_２２はそれぞれ、８×８ＤＣＴ係数のブロックである。

逆動き補償する場合、マクロブロック１つ分の４組の差分８×８ＤＣＴ係数は、最大で前フレームの９組の８×８ＤＣＴ係数Ｒ_００〜Ｒ_２２にまたがることがあるので、以下では、ＤＣＴ係数領域上で動きベクトルと９組の参照８×８ＤＣＴ係数から４組の差分８×８ＤＣＴ係数を逆動き補償する場合を例として説明する。

まず、動きベクトルの水平成分，垂直成分ともに０を含んだ８の倍数である場合には、１つのブロック（ＤＣＴ係数ブロック）は前フレームのブロックと全く重なり、複数のブロックにまたがらないので、該当する場所の参照ＤＣＴ係数を取得して処理を終了する。それ以外の場合、複数のブロックにまたがるのでＤＣＴ係数をそれらのブロックから取得して再構成する必要がある。

動きベクトルの水平成分，垂直成分ともに８の倍数でない場合、動きベクトルが指す参照領域を含む９組の参照８×８ＤＣＴ係数Ｒ_ｍ，ｎを(1)式のように１つの２４×２４行列Ｒとして表す。

ここで、４組の差分８×８ＤＣＴ係数Ｄに対しての画素領域（ベースバンド）上での逆動き補償を行列形式で表現すると、動きベクトル（ｕ，ｖ）に対する８×８ＤＣＴ係数行列Ｙは(2)式で表される。なお、「０」は全てが０の行列を表している。

ここで、Ｔ_ｎは、ｎ次のＤＣＴ変換行列を表し、演算子ｔは、転置操作を表す。また、ｉ，ｊはそれぞれ、動きベクトルの成分ｕ，ｖをＤＣＴ係数の次数で割った余りを表す。(2)式は次数が８であるため、ｉ，ｊはそれぞれ１から７を取り得る。行列Ｖ_ｉ，Ｈ_ｊはそれぞれ、１６×１６要素を抽出するために入力された動きベクトルに応じて変化する１６×２４、２４×１６のシフト行列であり、動きベクトルが整数画素単位の場合には(3),(4)式で表すことができる。なお、行列Ｖ_ｉ，Ｈ_ｊを個別に用いることは、動きベクトルの成分ごとに参照ＤＣＴ係数の領域を抽出することに相当する。

ここで、Ｅ_ｎは、ｎ×ｎの単位行列を表す。また、０_ｉ，０_ｊはそれぞれ、１６×ｉの０行列、ｊ×１６の０行列を表す。つまり、１６×２４行列Ｖ_ｉ内の１６×１６単位行列Ｅ_１６は動きベクトルの水平成分の８による剰余で前後する。同じく、２４×１６行列Ｈ_ｊ内の１６×１６単位行列Ｅ_１６は動きベクトルの垂直成分の８による剰余で上下する。いずれも、剰余が０でない７通りを取り得るので、予め計算して保持しておくことができる。

また、動きベクトルが半画素単位の場合、行列Ｖ_ｊ，Ｈ_ｉはそれぞれ、(5),(6)式で表すことができ、さらに動きベクトルが１／４画素単位の場合など、動きベクトルの精度に応じて拡張することができる。

ここで、(5)式における０と１／２と１とからなる半画素生成行列は１６×２４行列であり、(6)式における０と１／２と１とからなる半画素生成行列は２４×１６行列である。いずれの場合でも(2)式のＤＣＴ係数行列Ｒ以外はすべて定数行列であるので、それらを予め計算して格納しておくことにより演算回数を削減することができる。

さらに、(2)式の定数行列の積を求めると、(7)式のように対称性が現れる。この対称性を勘案して逆動き補償での計算量を削減することができる。ここで、Ａ_ｉ，Ａ′_ｉ，Ａ_ｊ，Ａ′_ｊは８×８行列を表す。Ａ_ｉ，Ａ′_ｉを水平成分の変換テーブルとし、Ａ_ｊ，Ａ′_ｊを垂直成分の変換テーブルとして予め計算して格納しておくことができ、これらの変換テーブルは、動きベクトルの精度に応じて変わる。

上記(2)式に上記(7)式を適用すると、ＤＣＴ係数領域で逆動き補償されたＤＣＴ係数行列Ｙは、下記(8)式で表される。

(1)式をＲに適用して(8)式を展開すると、(9)式が導出される。(9)式の括弧内の式には、(10),(11)式で表される共通する部分があり、(10)および(11)式を予め計算して保持させておくことにより計算量を削減できる。また、解像度変換行列は行列Ａ_ｉ，Ａ′_ｉ，Ａ_ｊ，Ａ′_ｊだけであるので、その格納に必要なメモリの量を小さく抑えることができる。

また、一般に部分行列ＡとＡ′（Ａ_ｉとＡ′_ｉあるいはＡ_ｊとＡ′_ｊ）の間には密接な関係があり、両者の部分要素の対称性を勘案した計算を行うことにより計算量を削減できる。例えばｉ＝１，ｉ＝２の場合、すなわちＡ_１とＡ′_１、Ａ_２とＡ′_２の関係を図３（ａ），（ｂ）に示す。同図ではＡ_ｉとＡ′_ｉで要素が完全に一致する箇所を“＋”、正負符号が反転する箇所を“−”、全く異なる箇所を“ ”（無印）、要素が０の箇所を“０”で表している。

ここで、Ａ_ｉとＡ′_ｉで全く一致する要素だけを抽出した行列をＡ'_ｉ、絶対値は等しいが正負符号が逆の要素だけを抽出した行列をＡ"_ｉと定義し、Ａ_ｉの残りの要素からなる行列を‘Ａ_ｉ、Ａ′_ｉの残りの要素からなる行列を“Ａ_ｉと定義すると、行列Ａ_ｉと行列Ａ′_ｉは(12)式に書き直すことができる。(12)式はＡ'_ｉ、Ａ"_ｉ、‘Ａ_ｉ、“Ａ_ｉの対称性に応じて行列Ａ_ｉと行列Ａ′_ｉを複数に分解して計算するものであり、計算量を削減できる。

(10)式に(12)式を代入すると(13)式が導出される。

(13)式を一見すると、もともと行列積が２回であったのが４回に増えているが、Ａ_ｉ’、Ａ"_ｉ、‘Ａ_ｉおよび“Ａ_ｉはいずれも疎行列（０要素を多く含む行列）であるので計算量は減少する。例えばｉ＝１のとき、Ａ_ｉとＡ′_ｉで完全に一致する要素だけから構成される行列Ａ'_ｉの非０要素は１２個であり、残る５２個は０である。同様に、行列Ａ"_ｉ、‘Ａ_ｉ、“Ａ_ｉの非０要素はそれぞれ２１個、３１個、３１個でしかない。このとき、(10)式の計算に必要な乗算回数は１０２４回であるのに対し、(13)式の計算に必要な乗算回数は７６０回であり、約２５％の計算量を削減できる。上記では(10)式の計算の例を説明したが、(9)式や(11)式の計算についても同様にして計算量を削減できる。このように(13)式によれば行列Ａ_ｉと行列Ａ′_ｉとの間のＡ'_ｉ、Ａ"_ｉ、‘Ａ_ｉ、“Ａ_ｉの対称性を利用し、共通項をまとめた計算が可能になり、計算量を削減できる。

また、図３（ａ），（ｂ）に示すようにｉによって対称性の分布が異なり、ｉが奇数より偶数、単に偶数より４の倍数のほうが絶対値が一致する要素が多く、計算量の削減効果が大きい。よって、ｉとｊとが異なる数値を持つ場合、２の因数が多い成分から抽出処理を行うようにすれば全体の計算量を削減できる。

上記処理により計算量を削減できるが、さらに上記処理は画素領域上での逆動き補償と等価であり、結果的に同等の処理であるため、この処理を経ても画素領域まで復号して逆動き補償を行う方式と同等の画質を保つことができる。逆に、画素領域上で逆動き補償では逆ＤＣＴ変換、逆動き補償などの処理ごとにその結果を整数に丸めて格納する必要があり、幾度もの丸め込み操作により僅かながら画質が劣化するが、上記処理は一括して行われて丸め込み操作が少ないので、画質劣化は最小限に抑えられる。

また、動きベクトルの水平成分、垂直成分のどちらか一方が８の倍数で、他方が８の倍数でない場合には、８の倍数の成分に関しては処理を省略できる。例えば水平成分が８の倍数の場合には行列Ｒを２４×１６行列に設定し、逆に垂直成分が８の倍数の場合には行列Ｒを１６×２４行列に設定することで演算量を削減できる。

動き補償部５での処理、すなわちＤＣＴ係数領域上における動き補償は変換テーブルなどを利用し、出力する画像に応じて上記の逆動き補償と逆の操作を行うことにより実現できる。

以上、実施形態について説明したが、本発明は上記実施形態に限定されず、種々に変更できる。例えば、合成部４での合成の際に、出力する画像のフレームサイズや入力された複数の画像に対するフレームサイズの構成比率などによって、８×８ＤＣＴ係数の低域成分を抽出して縮小したり、８×８ＤＣＴ係数の高域成分に０を挿入して拡大したりすることも可能である。

なお、このように入力された画像のフレームサイズに何らかの拡大縮小処理を施した場合には、動きベクトルおよびＤＣＴ係数もそれに一致させる必要がある。例えば縮小処理を施した場合には、個々の符号化単位ごとに複数の動きベクトルから１つの動きベクトルを推定し、低次のＤＣＴ係数に対してＤＣＴ係数領域上で動き補償を行う。この際の動きベクトルの推定は、符号化単位が占める領域にある動きベクトルの中央値、符号化単位のアクティビティなどを重みとした重み付き平均、あるいは符号化単位が占める面積を重みとした重み付き平均などを求めることで実現できる。

また、縮小処理が施された場合には低次のＤＣＴ係数だけが抽出されているので、動き補償部５での処理に使用するＤＣＴ変換行列Ｔ_ｎの次数ｎを、縮小率に応じた次数に置き換える必要がある。例えばフレームサイズを１／２に縮小する場合、４次のＤＣＴ変換行列Ｔ_４を用いる。このときシフト行列は縦横それぞれ１，２，３の３種類ずつ保持するだけで十分である。また、動き補償後のＤＣＴ係数に対しては低次のＤＣＴ係数から、出力する画像に用いられる次数のＤＣＴ係数に変換する。この変換には、先の出願（特願2003-372223号）に記載した基底変換の技術を利用できる。

本発明は、ＤＣＴ係数に限られず他の変換符号化方式で変換された変換符号化情報についても同様に適用可能であり、符号化領域上で高速かつ高精度に画像を合成することを可能にするので、多地点テレビ会議システムなどの複数の画像を加工処理して配信するシステムへ有効に適用できる。

本発明に係る映像合成装置の実施形態を示すブロック図である。逆動き補償処理に用いられる差分ＤＣＴ係数と参照ＤＣＴ係数の関係を示す説明図である。逆動き補償処理での部分行列の説明図である。

符号の説明

１・・・符号化情報抽出部、２・・・逆量子化部、３・・・逆動き補償部、４・・・合成部、５・・・動き補償部、６・・・量子化部、７・・・符号化部

Claims

変換符号化された画像を再構成する映像合成装置において、
変換符号化された動画像の符号化情報を部分的に復号し、量子化済み予測誤差情報および動き予測情報を抽出する符号情報抽出部と、
前記符号化情報抽出部で抽出された量子化済み予測誤差情報を逆量子化して予測誤差情報を生成する逆量子化部と、
前記逆量子化部で生成された予測誤差情報および前記符号情報抽出部で抽出された動き予測情報を用いて符号化領域上で逆動き補償を行って変換符号化情報を再構成する逆動き補償部と、
前記逆動き補償部で再構成された複数の変換符号化情報を符号化領域上で１つの変換符号化情報に合成する合成部と、
前記合成部で合成された変換符号化情報および前記符号化情報抽出部で抽出された動き予測情報を用いて符号化領域上で動き補償を行って予測誤差情報および動き予測情報を生成する動き補償部と、
前記動き補償部で生成された予測誤差情報を量子化して量子化済み予測誤差情報を生成する量子化部と、
前記量子化部で生成された量子化済み予測誤差情報および前記動き補償部で生成された動き予測情報を符号化して出力する符号化部とを備え、
変換符号化された複数の動画像の全てまたはその一部を１つの変換符号化された画像として出力することを特徴とする映像合成装置。
前記符号情報抽出部は、変換符号化された動画像から、出力する画像に応じて符号化情報の全てまたはその一部だけを部分的に復号し、量子化済み予測誤差情報および動き予測情報を抽出することを特徴とする請求項１に記載の映像合成装置。
前記逆量子化部は、出力する画像に必要な予測誤差情報を逆量子化して送出することを特徴とする請求項１に記載の映像合成装置。
前記逆動き補償部は、動き予測情報と予測誤差情報と参照する変換符号化情報から符号化領域上で変換符号化情報を再構成することを特徴とする請求項１に記載の映像合成装置。
前記逆動き補償部は、画素領域上での逆動き補償と結果的に同等の処理を実行することを特徴とする請求項４に記載の映像合成装置。
前記逆動き補償部は、動き予測情報の成分ごとおよび動き予測情報が取り得る数値ごとに異なる変換テーブルを利用することを特徴とする請求項４に記載の映像合成装置。
前記逆動き補償部は、動き予測情報の成分ごとに参照する変換符号化情報の領域を抽出することを特徴とする請求項６に記載の映像合成装置。
前記逆動き補償部は、動き予測情報の成分ごとに参照する変換符号化情報の領域の抽出に際し、２の因数が多い動き予測情報の成分から抽出を行うことを特徴とする請求項７に記載の映像合成装置。
前記逆動き補償部で利用される変換テーブルは、動き予測情報の精度に応じて拡張可能であることを特徴とする請求項６に記載の映像合成装置。
前記逆動き補償部で利用される変換テーブルは、予め計算されて格納されていることを特徴とする請求項６に記載の映像合成装置。
前記逆動き補償部は、変換テーブルの対称性を勘案して計算することにより逆動き補償での全体の計算量が削減されるように構成されていることを特徴とする請求項６に記載の映像合成装置。
前記逆動き補償部は、計算過程において共通する項を予め計算することにより逆動き補償での全体の計算量が削減されるように構成されていることを特徴とする請求項１１に記載の映像合成装置。
前記逆動き補償部は、変換テーブルの部分要素における局所的な対称性を勘案して計算することにより全体の計算量が削減されるように構成されていることを特徴とする請求項１１に記載の映像合成装置。
前記逆動き補償部は、変換テーブルの部分要素における局所的な対称性に応じて変換テーブルを複数に分解して利用することを特徴とする請求項１３に記載の映像合成装置。
前記逆動き補償部は、変換テーブルの部分要素における局所的な対称性を利用し、共通項をまとめて計算することにより乗算回数が削減されるように構成されていることを特徴とする請求項１４に記載の映像合成装置。
前記動き補償部は、動き予測情報と変換符号化情報と参照する変換符号化情報から符号化領域上で動き補償を行って予測誤差情報を生成することを特徴とする請求項１に記載の映像合成装置。
前記動き補償部は、逆動き補償の逆演算を行うことを特徴とする請求項１６に記載の映像合成装置。
前記動き補償部は、動き補償処理に変換テーブルを利用し、出力する画像に応じて動き予測情報を再構成することを特徴とする請求項１６に記載の映像合成装置。
前記合成部は、出力する画像に必要な予測誤差情報を合成することを特徴とする請求項１に記載の映像合成装置。