JP2002112269A - 画像合成方法および画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 少ない演算量で安価に合成画像の符号化デー
タを生成する。 【解決手段】 画像ＡおよびＢの符号化データが各々第
１復号部１００および第２復号部２００によって復号さ
れ、これにより得られる各画像データが画像合成部３０
０によって合成される。この合成の際に、合成結果が画
像Ａ、画像Ｂ、画像ＡおよびＢの合成のいずれであるか
が画像合成部３００から制御部６００に送られる。制御
部６００は、合成画像のうち画像Ａと同一内容であり、
かつ、その参照マクロブロックも画像Ａと同じであるよ
うなマクロブロックについては、元の画像Ａの符号化デ
ータを流用し、他については符号化部４００によるフレ
ーム間差分符号化またはフレーム内符号化により符号化
データを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、フレーム間予測
符号化アルゴリズムを含む符号化アルゴリズムにより得
られた符号化データを復号し、その復号画像に他の画像
を合成した合成画像の符号化データを生成する画像合成
方法および画像合成装置に関する。

【０００２】

【従来の技術】動画像の高能率圧縮符号化アルゴリズム
として、ＭＰＥＧ（Moving Picture Experts Group）の
規格に対応した符号化アルゴリズムが知られている。こ
の符号化アルゴリズムでは、フレーム内符号化アルゴリ
ズムとフレーム間予測符号化アルゴリズムを併用してい
る。さらに詳述すると、この符号化アルゴリズムでは、
動画像を構成する多数のフレームを各々一定個数のフレ
ームからなるＧＯＰ（Group Of Picture）に分け、ＧＯ
Ｐの先頭のフレームについてはフレーム内符号化を行
い、他のフレームについてはフレーム間予測符号化を行
う。ここで、フレーム内符号化とは、他のフレームを全
く参照することなく処理対象であるフレームの符号化を
行うことをいう。また、フレーム間予測符号化は、処理
対象であるフレームを所定個数の画素からなる複数のマ
クロブロックに分け、各マクロブロック毎に、他の先行
するフレーム（参照フレーム）中に含まれている当該マ
クロブロックに類似した参照マクロブロックを求め、当
該マクロブロックからみた参照マクロブロックまでの相
対的変位を表す動きベクトルと、当該マクロブロックと
参照マクロブロックとの差分画像とを符号化するもので
ある。この符号化アルゴリズムにおいて、参照フレーム
の中から参照マクロブロックを探索する処理は、動き予
測と呼ばれている。

【０００３】さて、動画像の符号化データが与えられて
いる場合において、元の動画像に例えばテロップの画像
を合成したものの符号化データが必要となる場合があ
る。従来、かかる場合には、次のような手順からなる画
像合成方法により、テロップなどを含んだ合成画像の符
号化データを生成していた。 ａ．符号化データから動画像の画像データを復号する。 ｂ．復号された画像データとテロップの画像データとを
合成する。 ｃ．上記ｂの処理により得られた合成画像の画像データ
を符号化し、符号化データを生成する。

【０００４】

【発明が解決しようとする課題】以上のように、従来の
画像合成方法では、元々の画像の符号化データを得るた
めに実行された符号化処理と同じ符号化処理を合成画像
の画像データについて実行し、合成画像の符号化データ
を得ていた。ここで、合成前の画像と合成画像とが全体
的に異なる場合には、合成画像について符号化処理を再
度実行するのも致し方のないところである。しかしなが
ら、元の動画像の一部にテロップなどを合成するような
場合もある。そのような場合に、合成画像の全体につい
て符号化処理を実行し直すとすると、合成画像において
合成前と変わらない部分については、合成前の動画像の
符号化データを得るために既に実行された符号化処理と
同じ処理を再度実行し直すことになる。特に、この符号
化処理は、既に説明したように、動き補償を伴ったフレ
ーム間予測符号化アルゴリズムを含んでおり、同アルゴ
リズムにおける動き予測は膨大な量の演算を必要とす
る。このような演算量の大きな符号化処理を、合成前の
画像と大差のない合成画像の符号化データを得るために
再度実行するのは無駄であり、合成画像の符号化データ
を得るためのコストを低減するためにも避けるべきもの
である。

【０００５】この発明は以上説明した事情に鑑みてなさ
れたものであり、少ない演算量で安価に合成画像の符号
化データを生成することができる画像合成方法および画
像合成装置を提供することを目的としている。

【０００６】

【課題を解決するための手段】この発明は、フレーム内
符号化アルゴリズムと動き補償を伴ったフレーム間予測
符号化アルゴリズムを含む符号化アルゴリズムにより符
号化された一連のフレームの符号化データから各フレー
ムに対応した第１の画像データを復号する復号過程と、
前記各フレームに対応した第１の画像データと第２の画
像データとから各フレームに対応した第３の画像データ
を合成する画像合成過程と、各フレーム毎に、当該フレ
ームを構成する各領域のうち当該領域に対応した符号化
データがフレーム内符号化により得られたものであり、
かつ、当該領域に対応した前記第１の画像データと前記
第３の画像データとが一致する領域を非合成領域とし、
当該フレームを構成する各領域のうち当該領域に対応し
た符号化データがフレーム間予測符号化により得られた
ものであり、当該領域に対応した前記第１の画像データ
と前記第３の画像データとが一致し、かつ、当該領域に
対応した符号化データを得るために参照された参照領域
に対応した前記第１の画像データと当該参照領域に対応
した前記第３の画像データとが一致する領域を非合成領
域とし、当該フレームを構成する他の領域を合成領域と
する区分け過程と、前記画像合成過程により得られた第
３の画像データのうち前記合成領域に対応したものを符
号化する符号化過程と、前記各フレームの符号化データ
のうち前記非合成領域に対応したものと前記符号化過程
において得られた前記合成領域に対応した符号化データ
とを併合することにより前記第３の画像データに対応し
た符号化データを生成する併合過程とを具備することを
特徴とする画像合成方法を提供する。また、この発明
は、同様な処理により画像合成を行う画像合成装置を提
供する。

【０００７】

【発明の実施の形態】以下、本発明を更に理解しやすく
するため、実施の形態について説明する。かかる実施の
形態は、本発明の一態様を示すものであり、この発明を
限定するものではなく、本発明の範囲で任意に変更可能
である。

【０００８】図１は、この発明の一実施形態に係る画像
合成装置の構成を示すブロック図である。この画像合成
装置は、動画像の符号化データから画像データを復号
し、これに対して他の画像データを合成して合成画像の
画像データを生成し、この合成画像に対応した符号化デ
ータを生成する装置である。

【０００９】図１に示すように、本実施形態に係る画像
合成装置は、第１復号部１００と、第２復号部２００
と、画像合成部３００と、符号化部４００と、併合部５
００と、制御部６００と、メモリ７００とを有してい
る。

【００１０】ここで、第１復号部１００は、処理対象で
ある動画像（以下、画像Ａとする）の符号化データを復
号し、画像データを出力する装置である。この第１復号
部１００に入力される符号化データは、動画像を構成す
る一連のフレームに対し、ＭＰＥＧ−２に準拠した符号
化処理を施すことにより生成された符号化データであ
る。かかる符号化データを復号するため、この第１復号
部１００は、バッファ１０１と、可変長復号器１０２
と、逆量子化器１０３と、逆ＤＣＴ部１０４と、加算器
１０５と、フレームメモリ１０６と、動き補償部１０７
とを有している。

【００１１】バッファ１０１は、順次入力される一連の
フレームに対応した符号化データを一時的に格納する装
置である。ここで、バッファ１０１に格納される符号化
データについて説明する。

【００１２】まず、各フレームに対応した符号化データ
は、当該フレームを分割した複数のマクロブロックに対
応した符号化データを含んでいる。これらの各マクロブ
ロックに対応した符号化データには、フレーム内符号化
により得られたものと、フレーム間予測符号化により得
られたものとがある。さらに詳述すると、まず、ＧＯＰ
の先頭のＩフレームについてはフレーム内符号化が行わ
れる。従って、このＩフレームを構成する各マクロブロ
ックに対応した符号化データは、すべてフレーム内符号
化により得られたものである。また、Ｉフレームの後続
の各フレームは、フレーム間予測符号化が行われるのが
一般的であるが、これらの各フレームを構成する一部の
マクロブロックについてフレーム内符号化が行われる場
合もある。従って、Ｉフレームの後続の各フレームの各
マクロブロックに対応した符号化データは、フレーム間
予測符号化により得られたものまたはフレーム内符号化
により得られたものである。

【００１３】各マクロブロックに対応した符号化データ
のうちフレーム内符号化により得られた符号化データ
は、当該マクロブロックを４分割した８×８画素のブロ
ックの各々について、当該ブロックの画像データに対
し、直交変換の一種であるＤＣＴ（Discrete Cosine Tr
ansform；離散コサイン変換）を施し、これにより得ら
れたＤＣＴ係数を量子化し、さらに可変長符号化したデ
ータにより構成されている。

【００１４】また、各マクロブロックに対応した符号化
データのうちフレーム間予測符号化により得られた符号
化データは、当該マクロブロックに対応した動きベクト
ルの可変長符号を含むとともに当該マクロブロックを分
割した各ブロック毎に量子化されたＤＣＴ係数の可変長
符号を含んでいる。これらの可変長符号のうち前者のも
のにおける動きベクトルは、当該マクロブロックから参
照フレーム内の参照マクロブロックまでの相対移動に対
応している。また、後者のもののＤＣＴ係数は、当該マ
クロブロックに対応した画像と参照マクロブロックとの
差分画像に対し、ブロック単位でＤＣＴを施すことによ
り得られたものである。以上がバッファ１０１に格納さ
れる一連のフレームに対応した符号化データの詳細であ
る。

【００１５】これらの符号化データのうち各マクロブロ
ックに対応した可変長符号はバッファ１０１から順次読
み出され、可変長復号器１０２に供給される。可変長復
号器１０２は、各マクロブロックに対応した可変長符号
を可変長符号化前のデータ、すなわち、量子化されたＤ
ＣＴ係数または動きベクトルに戻す。そして、可変長復
号器１０２は、量子化されたＤＣＴ係数を逆量子化器１
０３に供給し、動きベクトルを動き補償部１０７に供給
する。

【００１６】逆量子化器１０３は、可変長復号器１０２
から供給される量子化されたＤＣＴ係数を量子化前のＤ
ＣＴ係数に戻す回路である。逆ＤＣＴ部１０４は、逆量
子化器１０３から供給されるＤＣＴ係数に対して逆ＤＣ
Ｔを施し、マクロブロックを構成する各ブロックに対応
した画像データを復元する。

【００１７】ここで、逆量子化器１０３から逆ＤＣＴ部
１０４に供給されるＤＣＴ係数には、フレーム内符号化
が行われたマクロブロックに対応したものと、フレーム
間予測符号化が行われたマクロブロックに対応したもの
とがある。

【００１８】前者のＤＣＴ係数が逆ＤＣＴ部１０４に供
給された場合、逆ＤＣＴにより元のマクロブロックの画
像データが得られる。例えばＩフレームに対応した符号
化データの復号時には、Ｉフレームを構成する各マクロ
ブロックの画像データがこの逆ＤＣＴ部１０４から順次
出力され、加算器１０５を介してフレームメモリ１０６
に格納される。また、Ｉフレーム以外のフレームに対応
した符号化データの復号時でも、フレーム内符号化が行
われたマクロブロックの符号化データの復号が行われる
ときには、逆ＤＣＴ部１０４が行う逆ＤＣＴにより元の
マクロブロックの画像データが得られ、フレームメモリ
１０６に格納される。

【００１９】一方、後者のフレーム間予測符号化が行わ
れたマクロブロックに対応したＤＣＴ係数が逆ＤＣＴ部
１０４に供給された場合、当該マクロブロックとこれに
対応した参照マクロブロックとの差分画像に対応した画
像データが逆ＤＣＴにより得られる。

【００２０】このとき動き補償部１０７には、当該マク
ロブロックに対応した動きベクトルが可変長復号器１０
２から供給される。動き補償部１０７は、当該マクロブ
ロックの位置とこの動きベクトルとに基づいて参照フレ
ーム内における参照マクロブロックの所在位置を求め、
その所在位置に所在する参照マクロブロックの画像デー
タをフレームメモリ１０６から読み出して加算器１０５
に供給する。加算器１０５は、このようにして供給され
る参照マクロブロックの画像データと、そのとき逆ＤＣ
Ｔ部１０４から出力されている差分画像の画像データと
を加算する。この加算により当該マクロブロックの画像
データが得られ、フレームメモリ１０６に格納される。
以上が第１復号部１００の詳細である。この第１復号部
１００によって復号される画像Ａの画像データは、画像
合成部３００に供給される。

【００２１】次に第２復号部２００について説明する。
この第２復号部２００には、処理対象である画像Ａと合
成するテロップなどの画像Ｂの符号化データが供給され
る。第２復号部２００は、この画像Ｂの符号化データを
復号する装置である。本実施形態では、この画像Ｂの符
号化データも、画像Ａの符号化データと同様、ＭＰＥＧ
−２に準拠した符号化処理により生成された符号化デー
タである。従って、第２復号部２００は、第１復号部１
００と同様なバッファ２０１、可変長復号器２０２、逆
量子化器２０３、逆ＤＣＴ部２０４、加算器２０５、フ
レームメモリ２０６および動き補償部２０７により構成
されている。

【００２２】本実施形態に係る画像合成装置には、処理
対象である画像Ａと合成する対象であるテロップなどの
画像が符号化データとして上記第２復号部２００に入力
される場合もあるが、符号化されていない状態の画像デ
ータのまま入力される場合もある。そこで、いずれの入
力形態にも対応すべく、画像合成部３００の前段にスイ
ッチＳＷが設けられている。すなわち、本実施形態で
は、画像Ｂの符号化データが第２復号部２００に入力さ
れる場合には、第２復号部２００によって復号される画
像Ｂの画像データがスイッチＳＷを介して画像合成部３
００に供給され、画像Ａと合成する画像Ｃの画像データ
が符号化されていない状態で直接入力される場合には、
この画像データＣがスイッチＳＷを介して画像合成部３
００に供給される。

【００２３】画像合成部３００は、第１復号部１００に
よって復号される画像Ａの画像データと、スイッチＳＷ
を介して供給される画像Ｂまたは画像Ｃの画像データと
を合成し、合成画像の画像データを生成する。また、画
像合成部３００は、このように合成画像の画像データを
出力する他、各マクロブロック単位で合成処理の監視を
行い、各マクロブロックに対応した合成画像が画像Ａと
一致しているのか、画像Ｂと一致しているのか、それと
も画像Ａと画像Ｂとが混在したものであるのかを示す合
成結果情報をマクロブロック毎に出力する。この合成結
果情報は制御部６００に供給される。画像合成部３００
によって生成された合成画像の画像データは、所定時間
（例えば１ＧＯＰ相当）遅延されて、画像合成部３００
から符号化部４００へ出力される。このように合成画像
の画像データを遅延させて符号化部４００へ供給するの
は、符号化部４００において行う符号化処理の方法を制
御部６００が決定する際、符号化部４００の処理対象と
なるフレームよりも時間的に後のフレームの合成結果情
報を参照する場合があるからである。

【００２４】符号化部４００は、制御部６００による制
御の下、画像合成部３００から出力される合成画像の画
像データの符号化を行い、ＭＰＥＧ２に準拠した形式の
符号化データを生成する装置である。この符号化部４０
０では、合成画像の各フレームを構成する各マクロブロ
ック毎に、フレーム内符号化処理または動き補償を伴っ
たフレーム間差分符号化処理を実行する。

【００２５】一般的にＭＰＥＧ２等に準拠した符号化処
理では、動き補償を伴ったフレーム間予測符号化を行
う。これに対し、この符号化部４００は、動き補償は行
うが動き予測は行わない。ここで、フレーム間差分符号
化処理において動き補償を行うためには、動きベクトル
が必要である。本実施形態では、動き予測により動きベ
クトルを得るのではなく、第１復号部１００において画
像Aの符号化データから取り出された動きベクトルを利
用することにより動き補償を伴ったフレーム間差分符号
化を実行する。

【００２６】このフレーム間差分符号化に利用可能な動
きベクトルは、制御部６００によって取得され、符号化
制御のための制御情報の一部として符号化部４００に供
給される。符号化部４００は、このような利用可能な動
きベクトルが供給されるマクロブロックについては、そ
の動きベクトルを利用し、動き補償を伴ったフレーム間
差分符号化を実行する。また、符号化部４００は、利用
可能な動きベクトルを取得することができないようなマ
クロブロックについては、フレーム内符号化を実施す
る。フレーム内符号化または動き補償を伴ったフレーム
間差分符号化のいずれを行うかを指定する情報も、符号
化制御のための制御情報の一部として制御部６００から
符号化部４００に供給される。

【００２７】図１に示すように、符号化部４００は、減
算器４０１と、加算器４０２と、フレームメモリ４０３
と、動き補償部４０４と、ＤＣＴ部４０５と、量子化器
４０６と、可変長符号化器４０７と、逆量子化器４０８
と、逆ＤＣＴ部４０９とを有している。

【００２８】以下、この符号化部４００によって行われ
る符号化処理について説明する。上述した画像合成部３
００は、１フレーム分の画像合成を行うと、合成画像の
画像データを各マクロブロック毎に符号化部４００に供
給する。ここで、１つのマクロブロックに対応した画像
データが符号化部４００に供給されるとき、次の各情報
が制御部６００から符号化部４００に供給される。 ａ．その画像データに対してフレーム内符号化を行うの
か動き補償を伴ったフレーム間差分符号化を行うのかを
指定する情報 ｂ．フレーム間差分符号化において参照する参照フレー
ムを指定する情報 ｃ．フレーム間差分符号化を行う場合に用いる動きベク
トル

【００２９】画像合成部３００から出力された画像デー
タについてフレーム内符号化の実施すべき旨を指定する
情報が制御部６００から出力されている場合、符号化部
４００における動き補償部４０４は「０」を減算器４０
１に対して供給する。従って、画像合成部３００から出
力された画像データは、減算器４０１をそのまま通過
し、ＤＣＴ部４０５によりＤＣＴ係数に変換される。こ
のＤＣＴ係数は、量子化器４０６によって量子化され、
可変長符号化器４０７によって可変長符号化され、符号
化データとして併合部５００へ出力される。また、量子
化器４０６の出力データは、逆量子化器４０８によって
逆量子化されてＤＣＴ係数に戻される。このＤＣＴ係数
は、逆ＤＣＴ部４０９によって画像データに逆変換され
る。そして、このようにして得られた画像データが加算
器４０２を介してフレームメモリ４０３に格納される。

【００３０】これに対し、フレーム間差分符号化の実施
を指定する情報と、フレーム間差分符号化を行う場合に
参照する参照フレームを指定する情報と、フレーム間差
分符号化を行う場合に用いる動きベクトルが、制御部６
００から符号化部４００に与えられた場合の符号化処理
は次のようになる。

【００３１】まず、動き補償部４０４は、画像合成部３
００から出力された画像データに対応したマクロブロッ
クの位置と、制御部６００から与えられた動きベクトル
とに基づいて、参照フレーム内において当該マクロブロ
ックに対応した参照マクロブロックの占有位置を求め
る。そして、フレームメモリ４０３に格納された参照フ
レームの画像データのうちこの参照マクロブロックに対
応した画像データを読み出して減算器４０１に供給す
る。この結果、減算器４０１は、画像合成部３００から
出力される画像データと動き補償部４０４によって供給
される参照マクロブロックの画像データの差分をとり、
差分画像の画像データとして出力する。この差分画像の
画像データは、ＤＣＴ部４０５によりＤＣＴ係数に変換
される。このＤＣＴ係数は、量子化器４０６によって量
子化され、可変長符号化器４０７によって可変長符号化
され、符号化データとして併合部５００へ出力される。

【００３２】また、量子化器４０６の出力データは、逆
量子化器４０８によって逆量子化されてＤＣＴ係数に戻
される。このＤＣＴ係数は、逆ＤＣＴ部４０９によって
差分画像の画像データに逆変換される。この差分画像の
画像データが逆ＤＣＴ部４０９から加算器４０２へ出力
されるとき、動き補償部４０４は、上述した参照マクロ
ブロックの画像データを減算器４０１を介して加算器４
０２に供給する。加算器４０２は、この参照マクロブロ
ックの画像データと差分画像の画像データとを加算す
る。そして、この結果得られる復号画像の画像データが
フレームメモリ４０３に格納される。以上が符号化部４
００において行われる符号化処理である。

【００３３】併合部５００は、符号化部４００から得ら
れる符号化データと第１復号部１００のバッファ１０１
内の符号化データとを併合して、合成画像の符号化デー
タとして出力する装置である。この併合は、あるマクロ
ブロックについては符号化部４００から出力される符号
化データを採用し、別のマクロブロックについてはバッ
ファ１０１内の符号化データを採用する、という具合
に、マクロブロック単位で行われる。いずれの符号化デ
ータを採用するかは、制御部６００から供給される併合
制御のための制御情報により指定される。

【００３４】制御部６００は、この画像合成装置の各部
の制御を行う手段である。また、メモリ７００は、制御
部６００がこの画像合成装置の各部の制御を行うに当た
って参照する各種の制御情報を記憶する手段である。

【００３５】制御部６００によって行われる処理のうち
主要なものを挙げると次の通りである。

【００３６】ａ．合成結果マップの生成 制御部６００は、画像合成部３００から供給される各マ
クロブロック毎の合成結果情報を用いて合成結果マップ
をメモリ７００内に生成する。メモリ７００には、最近
の所定個数のフレームに対応した合成結果マップが記憶
される。図２は１つのフレームに対応した合成結果マッ
プを例示している。この図２に示すように、合成結果マ
ップはフレームを構成する各マクロブロックに対応した
要素によって構成されている。そして、各マクロブロッ
クに対応した要素は、当該マクロブロックに対応した合
成画像が画像Ａと一致しているのか、画像Ｂと一致して
いるのか、それとも画像Ａと画像Ｂとが混ざり合った合
成画像になっているのかを示している。

【００３７】ｂ．動きベクトルマップの生成 制御部６００は、第１復号部１００の可変長復号部１０
２から出力される動きベクトルを受け取り、各マクロブ
ロックに対応した動きベクトルを表す動きベクトルマッ
プをフレーム毎に生成し、メモリ７００に格納する。メ
モリ７００には、このようにして生成された最新の所定
個数のフレームに対応した動きベクトルマップが格納さ
れるようになっている。図３（ａ）および（ｂ）は１つ
のフレームに対応した動きベクトルマップを各々例示し
ている。フレーム間予測符号化には、単方向予測符号化
と、順方向予測および逆方向予測の両方を行う双方向予
測符号化とがある。動きベクトルマップにおいて、単方
向予測符号化が行われたマクロブロックに対応した要素
は、図３（ａ）に示すように、１つの動きベクトルのＸ
成分ＶＸとＹ成分ＶＹとにより構成されている。また、
双方向予測符号化が行われたマクロブロックに対応した
要素は、図３（ｂ）に示すように、順方向予測用の動き
ベクトルのＸ成分ＶＸＦおよびＹ成分ＶＹＦと、逆方向
予測用の動きベクトルのＸ成分ＶＸＲおよびＹ成分ＶＹ
Ｒとにより構成されている。

【００３８】ｃ．各マクロブロックに対応した合成画像
の符号化データの取得方法の決定 図４は、各マクロブロックに対応した合成画像の符号化
データの取得方法〜を示すものである。各取得方法
について説明すると次の通りである。

【００３９】図４におけるマクロブロックＭＢａのよ
うに、画像Ａの符号化データのうち当該マクロブロック
に対応したもの（動きベクトルＭＶおよびＤＣＴ係数の
可変長符号）をそのまま合成画像の符号化データとして
流用する。

【００４０】図４におけるマクロブロックＭＢｂのよ
うに、画像Ａの符号化データのうち当該マクロブロック
に対応したものから得られた動きベクトルＭＶを用いて
合成画像中の参照マクロブロックの位置を求める。そし
て、当該マクロブロックに対応した合成画像の画像デー
タと参照マクロブロックの画像データを用いてフレーム
間差分符号化（両画像データ間の差分のＤＣＴ、量子化
および可変長符号化）を行う。

【００４１】図４におけるマクロブロックＭＢｃのよ
うに、当該マクロブロックに対応した合成画像の画像デ
ータのフレーム内符号化を行う。なお、以上の取得方法
〜のうち取得方法が適用されるマクロブロックが
特許請求の範囲における非合成領域に対応しており、取
得方法またはが適用されるマクロブロックが特許請
求の範囲における合成領域に対応している。

【００４２】制御部６００は、合成結果マップ７０１お
よび動きベクトルマップ７０２を参照することにより、
各マクロブロックに対応した合成画像の符号化データの
取得方法を上記取得方法〜の中のいずれにするかを
判定する。

【００４３】この判定方法の詳細は次の通りである。な
お、以下の説明において、対象マクロブロックとは、符
号化データの取得方法の判定を行う対象となるマクロブ
ロックを意味する。

【００４４】＜対象マクロブロックに対応した画像Ａの
符号化データがフレーム内符号化データである場合＞対
象マクロブロックに対応した合成画像の画像データがフ
レーム内符号化により得られたものであり、対象マクロ
ブロックに対応した合成画像が画像Ａと一致している場
合、制御部６００は、その対象マクロブロックに対応し
た合成画像の画像データの符号化データの取得方法を上
記方法とする。また、対象マクロブロックに対応した
合成画像の画像データがフレーム内符号化により得られ
たものであり、対象マクロブロックに対応した合成画像
が画像Ａと一致していない場合、制御部６００は、その
対象マクロブロックに対応した合成画像の画像データの
符号化データの取得方法を上記方法とする。

【００４５】＜対象マクロブロックに対応した画像Ａの
符号化データがフレーム間単方向予測符号化データであ
る場合＞対象マクロブロックに対応した画像Ａの符号化
データがフレーム間単方向予測符号化により得られたも
のである場合、制御部６００は、その対象マクロブロッ
クに対応した合成画像の画像データの符号化データの取
得方法を下記表１に従って決定する。

【００４６】

【表１】

【００４７】上記表１において、参照マクロブロックに
対応した合成画像とは、画像Ａの符号化データから得ら
れた対象マクロブロックに対応した動きベクトルによっ
て特定されるエリアである。

【００４８】具体的には、制御部６００は、次のように
して対象マクロブロックに対応した合成画像の符号化デ
ータの取得方法を決定する。

【００４９】ステップ１：まず、制御部６００は、対象
マクロブロックに対応した合成画像が画像Ａであるか、
画像Ｂであるか、画像Ａと画像Ｂの合成画像であるのか
を合成結果マップ７０１から求める。

【００５０】ステップ２：次に制御部６００は、対象マ
クロブロックに対応した画像Ａのフレーム間予測符号化
において参照された参照フレームを求めるとともに、こ
の参照フレーム内において対象マクロブロックのフレー
ム間予測符号化のために参照された参照マクロブロック
の位置を動きベクトルマップ７０２から求める。

【００５１】ステップ３：次に制御部６００は、上記参
照フレームに対応した合成画像のフレームを求め、この
合成画像のフレーム内において参照マクロブロックに対
応した画像（表１中の“参照マクロブロックに対応した
合成画像”）が画像Ａであるか、画像Ｂであるか、画像
Ａと画像Ｂの合成画像であるかを当該合成画像のフレー
ムに対応した合成結果マップから求める。

【００５２】ステップ４：次に、ステップ１および３の
判定結果に基づいて、対象マクロブロクに対応した合成
画像の符号化データの取得方法を決定する。例えば対象
マクロブロックに対応した合成画像が画像Ａであり、参
照マクロブロックに対応した合成画像が画像Ａである場
合、制御部６００は、画像Ａの符号化データのうち当該
対象マクロブロックに対応したものをそのまま合成画像
の符号化データとして流用する取得方法を選択する。

【００５３】また、対象マクロブロックに対応した合成
画像が画像Ａであり、参照マクロブロックに対応した合
成画像が画像Ｂである場合、制御部６００は、対象マク
ロブロックに対応した合成画像の画像データのフレーム
内符号化を行う取得方法を選択する。

【００５４】また、対象マクロブロックに対応した合成
画像が画像Ａであり、参照マクロブロックに対応した合
成画像が画像Ａと画像Ｂの合成画像である場合、２つの
選択枝がある。その１つの選択枝は、画像Ａの符号化デ
ータから得られた動きベクトルのうち対象マクロブロッ
クに対応したものを用いて動き補償を行い、対象マクロ
ブロックに対応した合成画像の画像データのフレーム間
差分符号化を行う取得方法である。もう１つの選択枝
は、対象マクロブロックに対応した合成画像の画像デー
タのフレーム内符号化を行う取得方法である。このよ
うに複数の選択枝がある場合、制御部６００は、各選択
枝を選択した場合において得られるであろう符号化デー
タの符号量を推定し、符号量の最も少なくなる選択枝を
選択する。以上、表１に挙げられた９通りの場合のうち
最初の３通りの場合について制御部６００が行う具体的
判断を示したが、他の場合の判断は表１に示す通りであ
る。

【００５５】＜対象マクロブロックに対応した画像Ａの
符号化データがフレーム間双方向予測符号化データであ
る場合＞対象マクロブロックに対応した画像Ａの符号化
データがフレーム間双方向予測符号化データである場
合、制御部６００は、その対象マクロブロックに対応し
た合成画像の画像データの符号化データの取得方法を下
記表２〜表８に従って決定する。

【００５６】

【表２】

【００５７】

【表３】

【００５８】

【表４】

【００５９】

【表５】

【００６０】

【表６】

【００６１】

【表７】

【００６２】

【表８】

【００６３】具体的には、制御部６００は、次のように
して対象マクロブロックに対応した合成画像の符号化デ
ータの取得方法を決定する。

【００６４】ステップ１：まず、制御部６００は、対象
マクロブロックに対応した合成画像が画像Ａであるか、
画像Ｂであるか、画像Ａと画像Ｂの合成画像であるのか
を合成結果マップ７０１から求める。

【００６５】ステップ２：次に制御部６００は、対象マ
クロブロックに対応した画像Ａのフレーム間順方向予測
符号化において参照された順方向予測用参照フレームを
求めるとともに、この順方向予測用参照フレーム内にお
いて対象マクロブロックのフレーム間順方向予測符号化
のために参照された順方向予測用参照マクロブロックの
位置を動きベクトルマップ７０２から求める。

【００６６】ステップ３：次に制御部６００は、上記順
方向予測用参照フレームに対応した合成画像のフレーム
を求め、この合成画像のフレーム内において順方向予測
用参照マクロブロックに対応した画像（表１〜表８中の
“順方向予測用参照マクロブロックに対応した合成画
像”）が画像Ａであるか、画像Ｂであるか、画像Ａと画
像Ｂの合成画像であるかを当該合成画像のフレームに対
応した合成結果マップから求める。

【００６７】ステップ４：次に制御部６００は、対象マ
クロブロックに対応した画像Ａのフレーム間逆方向予測
符号化において参照された逆方向予測用参照フレームを
求めるとともに、この逆方向予測用参照フレーム内にお
いて対象マクロブロックのフレーム間逆方向予測符号化
のために参照された逆方向予測用参照マクロブロックの
位置を動きベクトルマップ７０２から求める。

【００６８】ステップ５：次に制御部６００は、上記参
照フレームに対応した合成画像のフレームを求め、この
合成画像のフレーム内において逆方向予測用参照マクロ
ブロックに対応した画像（表１〜表８中の“逆方向予測
用参照マクロブロックに対応した合成画像”）が画像Ａ
であるか、画像Ｂであるか、画像Ａと画像Ｂの合成画像
であるかを当該合成画像のフレームに対応した合成結果
マップから求める。

【００６９】ステップ６：次に、ステップ１、３および
５の判定結果に基づき、表２〜８に従い、対象マクロブ
ロックに対応した合成画像の符号化データの取得方法を
決定する。

【００７０】制御部６００は、以上のようにして対象マ
クロブロックに対応した合成画像の符号化データの取得
方法を決定すると、その取得方法に従って符号化データ
を取得するための制御を行う。

【００７１】まず、制御部６００は、対象マクロブロッ
クに対応した合成画像の符号化データの取得方法として
取得方法を選択した場合、第１復号部１００のバッフ
ァ１０１に格納されている当該対象マクロブロックに対
応した画像Ａの符号化データを併合部５００に取り込む
ための併合制御情報を併合部５００に送る。これにより
併合部５００は、該当する符号化データをバッファ１０
１から読み出し、当該対象マクロブロックに対応した合
成画像の符号化データとして取り込む。

【００７２】次に、制御部６００は、対象マクロブロッ
クに対応した合成画像の符号化データの取得方法として
取得方法を選択した場合、対象マクロブロックに対応
した合成画像のフレーム間差分符号化において参照すべ
き参照フレームを指定する情報と、フレーム間差分符号
化に使用する動きベクトルとを符号化部４００に供給
し、フレーム間差分符号化を行わせる。そして、このフ
レーム間差分符号化により得られる符号化データを併合
部５００に取り込むための併合制御情報を併合部５００
に送る。これにより併合部５００は、該当する符号化デ
ータを符号化部４００から取り込む。

【００７３】次に、制御部６００は、対象マクロブロッ
クに対応した合成画像の符号化データの取得方法として
取得方法を選択した場合、対象マクロブロックに対応
した合成画像のフレーム内符号化を符号化部４００に指
示する。そして、このフレーム内符号化により得られる
符号化データを併合部５００に取り込むための併合制御
情報を併合部５００に送る。これにより併合部５００
は、該当する符号化データを符号化部４００から取り込
む。以上が制御部６００の機能の詳細である。

【００７４】本実施形態によれば、画像Ａの符号化デー
タと画像Ｂの符号化データが各々第１復号部１００およ
び第２復号部２００によって復号され、これにより得ら
れる画像Ａの画像データと画像Ｂの画像データが画像合
成部３００によって合成される。この合成の際に、合成
結果情報が画像合成部３００から制御部６００に送ら
れ、制御部６００により合成結果マップ７０１および動
きベクトルマップ７０２が生成される。そして、これら
の各マップを参照することにより、合成画像のフレーム
中の各マクロブロックに対応した符号化データの取得方
法が制御部６００によって各マクロブロック毎に選択さ
れる。すなわち、画像Ａの符号化データのうち当該マク
ロブロックに対応したものをそのまま合成画像の符号化
データとして流用するか、画像Ａの符号化データのうち
当該マクロブロックに対応したものから得られた動きベ
クトルを用いて、当該マクロブロックに対応した合成画
像の画像データのフレーム間差分符号化を行うか、当該
マクロブロックに対応した合成画像の画像データのフレ
ーム内符号化を行うかが選択されるのである。そして、
制御部６００による制御の下、この選択された方法に従
って、合成画像のフレーム中の各マクロブロックに対応
した符号化データが取得され、併合部５００によって併
合される。

【００７５】以上のように、本実施形態によれば、元の
画像Ａの符号化データのうち流用可能なものを流用して
合成画像の符号化データを生成するので、流用部分につ
いては符号化処理を省略し、演算量を低減することがで
きる。

【００７６】また、本実施形態によれば、符号化データ
を流用できない合成領域について、画像Ａの符号化デー
タの動きベクトルを流用可能な部分については、この動
きベクトルを用いて、動き補償を伴ったフレーム間差分
符号化を行い、他の部分についてはフレーム内符号化を
行うので、演算量の大きな動き予測を行わないで合成画
像の符号化データを生成することができる。

【００７７】なお、以上説明した実施形態では、ＭＰＥ
Ｇ２に準拠した２種類の符号化データから合成画像の符
号化データを生成する場合を例に挙げたが、本発明は、
ＭＰＥＧ１、ＭＰＥＧ４などの他の規格に準拠した符号
化データから合成画像の符号化データを生成する場合に
も適用可能である。

【００７８】

【発明の効果】以上説明したように、この発明によれ
ば、動画像の符号化データを用いて、その動画像に他の
画像が合成された合成画像の符号化データを生成する際
に、元の動画像の符号化データ中のデータのうち合成画
像の符号化データとして流用可能なものを流用すること
ができるので、少ない演算量で安価に合成画像の符号化
データを生成することができる。

【図面の簡単な説明】

【図１】 この発明の一実施形態である画像合成装置の
構成を示すブロック図である。

【図２】 同実施形態における合成結果マップを示す図
である。

【図３】 同実施形態における動きベクトルマップを示
す図である。

【図４】 同実施形態における各マクロブロックに対応
した合成画像の符号化データの取得方法を説明する図で
ある。

【記号の説明】

１００……第１復号部、２００……第２復号部、３００
……画像合成部、４００……符号化部、５００……併合
部、６００……制御部、７００……メモリ。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 フレーム内符号化アルゴリズムと動き補
   償を伴ったフレーム間予測符号化アルゴリズムを含む符
   号化アルゴリズムにより符号化された一連のフレームの
   符号化データから各フレームに対応した第１の画像デー
   タを復号する復号過程と、 前記各フレームに対応した第１の画像データと第２の画
   像データとから各フレームに対応した第３の画像データ
   を合成する画像合成過程と、 各フレーム毎に、当該フレームを構成する各領域のうち
   当該領域に対応した符号化データがフレーム内符号化に
   より得られたものであり、かつ、当該領域に対応した前
   記第１の画像データと前記第３の画像データとが一致す
   る領域を非合成領域とし、当該フレームを構成する各領
   域のうち当該領域に対応した符号化データがフレーム間
   予測符号化により得られたものであり、当該領域に対応
   した前記第１の画像データと前記第３の画像データとが
   一致し、かつ、当該領域に対応した符号化データを得る
   ために参照された参照領域に対応した前記第１の画像デ
   ータと当該参照領域に対応した前記第３の画像データと
   が一致する領域を非合成領域とし、当該フレームを構成
   する他の領域を合成領域とする区分け過程と、 前記画像合成過程により得られた第３の画像データのう
   ち前記合成領域に対応したものを符号化する符号化過程
   と、 前記各フレームの符号化データのうち前記非合成領域に
   対応したものと前記符号化過程において得られた前記合
   成領域に対応した符号化データとを併合することにより
   前記第３の画像データに対応した符号化データを生成す
   る併合過程とを具備することを特徴とする画像合成方
   法。
2. 【請求項２】 前記符号化過程では、前記合成領域に対
   応した第３の画像データから、フレーム内符号化または
   当該合成領域に対応した元の符号化データに含まれてい
   る動きベクトルを用いた動き補償を伴うフレーム間差分
   符号化により符号化データを生成することを特徴とする
   請求項１に記載の画像合成方法。
3. 【請求項３】 複数種類の符号化方法の各々について、
   当該符号化方法により前記合成領域に対応した第３の画
   像データの符号化を行ったときに得られる符号化データ
   の符号量を算出し、最も符号量が少なくなる符号化方法
   を選択する符号化方法選択過程を具備することを特徴と
   する請求項１または２に記載の画像合成方法。
4. 【請求項４】 フレーム内符号化アルゴリズムと動き補
   償を伴ったフレーム間予測符号化アルゴリズムを含む符
   号化アルゴリズムにより符号化された一連のフレームの
   符号化データから各フレームに対応した第１の画像デー
   タを復号する復号部と、 前記各フレームに対応した第１の画像データと第２の画
   像データとから各フレームに対応した第３の画像データ
   を合成する画像合成部と、 各フレーム毎に、当該フレームを構成する各領域のうち
   当該領域に対応した符号化データがフレーム内予測符号
   化により得られたものであり、かつ、当該領域に対応し
   た前記第１の画像データと前記第３の画像データとが一
   致する領域を非合成領域とし、当該フレームを構成する
   各領域のうち当該領域に対応した符号化データがフレー
   ム間符号化により得られたものであり、当該領域に対応
   した前記第１の画像データと前記第３の画像データとが
   一致し、かつ、当該領域に対応した符号化データを得る
   ために参照された参照領域に対応した前記第１の画像デ
   ータと当該参照領域に対応した前記第３の画像データと
   が一致する領域を非合成領域とし、当該フレームを構成
   する他の領域を合成領域とする区分け手段と、 前記画像合成過程により得られた第３の画像データのう
   ち前記合成領域に対応したものを符号化する符号化部
   と、 前記各フレームの符号化データのうち前記非合成領域に
   対応したものと前記符号化過程において得られた前記合
   成領域に対応した符号化データとを併合することにより
   前記第３の画像データに対応した符号化データを生成す
   る併合部とを具備することを特徴とする画像合成装置。