JP4274653B2 - 動画像合成装置および動画像合成方法 - Google Patents
動画像合成装置および動画像合成方法 Download PDFInfo
- Publication number
- JP4274653B2 JP4274653B2 JP32300299A JP32300299A JP4274653B2 JP 4274653 B2 JP4274653 B2 JP 4274653B2 JP 32300299 A JP32300299 A JP 32300299A JP 32300299 A JP32300299 A JP 32300299A JP 4274653 B2 JP4274653 B2 JP 4274653B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- data
- code
- macroblock
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、圧縮符号化された動画像データを合成する動画像合成装置、動画像合成方法および該動画像合成方法を実行させるためのプログラムを記録した記録媒体に係り、より詳しくは、ＭＰＥＧ形式に圧縮符号化された動画像データの符号化種別（Ｉピクチャ形式およびＰピクチャ形式）に関係なく、異なる符号化種別の動画像データを高速に合成することができる動画像合成装置、動画像合成方法および記録媒体に関する。
【０００２】
【従来の技術】
動画像の映像信号をデジタルデータ（動画像データ）として圧縮符号化する方式としてＭＰＥＧ方式と呼ばれる国際標準規格がある。ＭＰＥＧ方式は、連続するフレームの相関性を利用し、前後のフレームから変化した情報だけを符号化することで高い圧縮率を実現している。すなわち、ＭＰＥＧ方式では、他のフレームを参照せずに１枚のフレーム内で符号化が完結しているフレームをＩピクチャ（Intra picture）形式データ（以下、Ｉピクチャという）、直前のフレームから変化した情報だけを符号化するフレームをＰピクチャ（Predictive picture）形式データ（以下、Ｐピクチャという）、前後２枚のフレームから変化した情報だけを符号化したフレームをＢピクチャ（Bidirectionally predictive picture）形式データ（以下、Ｂピクチャという）とそれぞれ定義し、これら３種類のフレームがＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，…のように混在した形式で符号化される。
【０００３】
このＭＰＥＧ方式は、高い圧縮率を実現できるため、動画像データをネットワークを介して送信したり、或いは、記憶装置上に蓄積する際に広く利用されている。そして、動画像合成装置によりＭＰＥＧ方式の動画像データを複数合成してマルチ画面映像を生成することによって、動画一覧システムやテレビ会議システムを実現することが可能となる。
【０００４】
なお、ビデオカメラで撮影した映像をネットワークを介して送信し、各映像を合成してマルチ画面表示するようなシステムでは、Ｂピクチャを挿入すると再生時に遅延が発生がするため、ＩピクチャとＰピクチャのみを用いる場合が多い。
【０００５】
従来の複数のＭＰＥＧ方式の動画像データを合成してマルチ画面映像を生成する動画像合成装置の構成図を図２５に示す。ここで、図２５の第１従来例の動画像合成装置は、合成される元の動画像データが同一種別の符号化形式である場合（つまり、同じピクチャ形式のフレーム同士を合成する場合）に用いられる。
【０００６】
図２５において、第１従来例の動画像合成装置は、合成装置５００により各入力された動画像データにおけるフレームの表示位置情報を合成画面の配置にあわせて変更し、マルチ画面映像（合成動画像）を生成するものである。これにより、入力された動画像データを復号することなく合成動画像に高速に合成することができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記第１従来例の動画像合成装置にあっては、異なる符号化形式のフレーム同士を合成することができず、ビデオカメラで撮影した映像や受信した放送を合成してマルチ画面で一覧表示するようなシステムを構成する場合には、入力される各動画像データのフレームの符号化形式種別が揃っているという保証はないことから、実用性の点で問題があった。
【０００８】
また、複数のＭＰＥＧ方式の動画像データを合成してマルチ画面映像を生成する他の動画像合成装置として、入力された動画像データを復号して合成動画像データを生成してから符号化することにより、入力される動画像データにおけるフレームの符号化形式に関係なく合成動画像を生成する動画像合成装置がある。図２６には、この第２従来例の動画像合成装置の構成図を示す。
【０００９】
同図において、第２従来例の動画像合成装置は、復号化装置６００ａ，６００ｂにより入力された動画像データを一旦ビットマップなどの空間領域の動画像データに復号し、符号化装置６０１により合成動画像データを生成して、再び符号化することにより合成動画像を生成している。これにより、合成しようとする動画像データのフレームの符号化形式種別に関係なく、マルチ画面映像（合成動画像）を生成することができる。
【００１０】
しかしながら、上記第２従来例の動画像合成装置にあっては、動画像データを復号し、再び符号化するために、復号化装置６００ａ，６００ｂおよび符号化装置６０１が必要である。つまり、復号および符号化の複雑な計算を高速に行うためには、より性能の高い高価な装置構成が必要となり、装置コストが増大してしまうという問題があった。また、符号化された動画像データを復号し合成してから再び符号化するので、映像の品質が劣化するという問題もあった。
【００１１】
本発明は、上記従来の事情や問題点に鑑みてなされたものであって、例えばＭＰＥＧ規格に準拠するＩピクチャおよびＰピクチャが任意の順番で混在するような動画像データを合成する際に、Ｉピクチャの符号化種別をＰピクチャ形式に変換することにより、最低限の復号処理で異なる符号化種別を含む動画像データを高速に合成することができる動画像合成装置、動画像合成方法および記録媒体を提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１に係る動画像合成装置は、入力される映像信号をＭＰＥＧ規格に準拠したＩピクチャ形式およびＰピクチャ形式を含む動画像データとして符号化する画像符号化手段と、前記動画像データを蓄積する画像蓄積手段と、前記動画像データのＩピクチャ形式データを前記Ｐピクチャ形式データに変換するフレーム種別変換手段と、前記画像蓄積手段から動画像データを取り出して合成処理する画像合成手段とを備え、異なる符号化種別を含む動画像データを合成する際に、前記画像合成手段は、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００１３】
また、請求項２に係る動画像合成装置は、入力される映像信号をＭＰＥＧ規格に準拠したＩピクチャ形式およびＰピクチャ形式を含む動画像データとして符号化する画像符号化手段と、前記画像符号化手段がマクロブロックデータを可変長符号化する際に、該マクロブロックデータの境界を識別可能なマーキングコードを挿入するマーキングコード挿入手段と、前記動画像データを蓄積する画像蓄積手段と、前記動画像データのマーキングコードを検出して前記Ｉピクチャ形式データのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換するフレーム種別変換手段と、前記画像蓄積手段から動画像データを取り出して合成処理を行なう画像合成手段とを備え、異なる符号化種別を含む動画像データを合成する際に、前記画像合成手段は、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００１４】
また、請求項３に係る動画像合成装置は、請求項２記載の動画像合成装置において、前記マーキングコード挿入手段が挿入するマーキングコードは、前記フレーム種別変換手段によりマクロブロックの符号化種別を変換する際の符号長の減少量が処理系のデータ処理単位の倍数長となるような符号長を持つ符号語であり、前記フレーム種別変換手段は、前記マクロブロックの符号化種別を変換する際に、前記マーキングコードを削除するものである。
【００１５】
また、請求項４に係る動画像合成装置は、請求項２または３記載の動画像合成装置において、前記画像符号化手段がマクロブロックデータを可変長符号化する際に、該マクロブロックデータの符号長が処理系のデータ処理単位となるように、マクロブロックの高周波成分の符号語を変更する符号長調整手段を備えるものである。
【００１６】
また、請求項５に係る動画像合成装置は、ＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピクチャ形式に符号化されたＩピクチャ形式データおよびＰピクチャ形式データを含む動画像データの毎秒最大Ｎ枚（Ｎは正整数）のフレームが入力される複数の画像バッファと、前記複数の画像バッファから動画像データを取り出す際に、動画像データがないときに前記Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段と、前記動画像データのＩピクチャ形式データを前記Ｐピクチャ形式データに変換するフレーム種別変換手段と、前記複数の画像バッファから動画像データを取り出し、Ｎ分の１秒に１回、合成処理を行なう画像合成手段とを備え、異なる符号化種別含む動画像データを合成する際に、前記画像合成手段は、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００１７】
また、請求項６に係る動画像合成装置は、請求項５記載の動画像合成装置において、前記画像合成手段により合成された動画像データの符号化量が一定になるように調整する符号量調整手段を備えるものである。
【００１８】
また、請求項７に係る動画像合成装置は、請求項６記載の動画像合成装置において、前記符号量調整手段は、前記画像合成手段により合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャ形式データを前記スキップフレームに置き換え、所定の範囲より小さい場合には、該動画像データの後ろに所定の補填データを付加するものである。
【００１９】
また、請求項８に係る動画像合成装置は、請求項１，２，３，４，５，６または７記載の動画像合成装置において、前記フレーム種別変換手段は、前記Ｉピクチャ形式データのフレームの符号化種別をＰピクチャ形式の符号語に変換するものである。
【００２０】
また、請求項９に係る動画像合成装置は、請求項１，２，３，４，５，６，７または８記載の動画像合成装置において、前記フレーム種別変換手段は、前記Ｉピクチャ形式データのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換するものである。
【００２１】
また、請求項１０に係る動画像合成装置は、請求項１，２，３，４，５，６，７，８または９記載の動画像合成装置において、前記フレーム種別変換手段は、前記Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるように、マクロブロックスタッフィング（Macroblock Stuffing）コードを挿入するものである。
【００２２】
また、請求項１１に係る動画像合成装置は、請求項１，２，３，４，５，６，７，８，９または１０記載の動画像合成装置において、前記フレーム種別変換手段は、前記Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致するように、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えるものである。
【００２３】
また、請求項１２に係る動画像合成装置は、請求項１，２，３，４，５，６，７，８，９，１０または１１記載の動画像合成装置において、前記画像合成手段により生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換するノイズ削減手段を備えるものである。
【００２４】
また、請求項１３に係る動画像合成方法は、入力される映像信号をＭＰＥＧ規格に準拠したＩピクチャ形式およびＰピクチャ形式を含む動画像データとして符号化する画像符号化ステップと、前記動画像データを蓄積する画像蓄積ステップと、前記動画像データのＩピクチャ形式データを前記Ｐピクチャ形式データに変換するフレーム種別変換ステップと、前記画像蓄積ステップから動画像データを取り出して合成処理する画像合成ステップとを備え、異なる符号化種別を含む動画像データを合成する際に、前記画像合成ステップは、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００２５】
また、請求項１４に係る動画像合成方法は、入力される映像信号をＭＰＥＧ規格に準拠したＩピクチャ形式およびＰピクチャ形式を含む動画像データとして符号化する画像符号化ステップと、前記画像符号化ステップがマクロブロックデータを可変長符号化する際に、該マクロブロックデータの境界を識別可能なマーキングコードを挿入するマーキングコード挿入ステップと、前記動画像データを蓄積する画像蓄積ステップと、前記動画像データのマーキングコードを検出して前記Ｉピクチャ形式データのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換するフレーム種別変換ステップと、前記画像蓄積ステップから動画像データを取り出して合成処理を行なう画像合成ステップとを備え、異なる符号化種別を含む動画像データを合成する際に、前記画像合成ステップは、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００２６】
また、請求項１５に係る動画像合成方法は、請求項１４記載の動画像合成方法において、前記マーキングコード挿入ステップが挿入するマーキングコードは、前記フレーム種別変換ステップによりマクロブロックの符号化種別を変換する際の符号長の減少量が処理系のデータ処理単位の倍数長となるような符号長を持つ符号語であり、前記フレーム種別変換ステップは、前記マクロブロックの符号化種別を変換する際に、前記マーキングコードを削除するものである。
【００２７】
また、請求項１６に係る動画像合成方法は、請求項１４または１５記載の動画像合成方法において、前記画像符号化ステップがマクロブロックデータを可変長符号化する際に、該マクロブロックデータの符号長が処理系のデータ処理単位となるように、マクロブロックの高周波成分の符号語を変更する符号長調整ステップを備えるものである。
【００２８】
また、請求項１７に係る動画像合成方法は、ＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピクチャ形式に符号化されたＩピクチャ形式データおよびＰピクチャ形式データを含む動画像データの毎秒最大Ｎ枚（Ｎは正整数）のフレームを複数の画像バッファに入力する画像入力ステップと、前記複数の画像バッファから動画像データを取り出す際に、動画像データがないときに前記Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成ステップと、前記動画像データのＩピクチャ形式データを前記Ｐピクチャ形式データに変換するフレーム種別変換ステップと、前記複数の画像バッファから動画像データを取り出し、Ｎ分の１秒に１回、合成処理を行なう画像合成ステップとを備え、なる符号化種別を含む動画像データを合成する際に、前記画像合成ステップは、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００２９】
また、請求項１８に係る動画像合成方法は、請求項１７記載の動画像合成方法において、前記画像合成ステップにより合成された動画像データの符号化量が一定になるように調整する符号量調整ステップを備えるものである。
【００３０】
また、請求項１９に係る動画像合成方法は、請求項１８記載の動画像合成方法において、前記符号量調整ステップは、前記画像合成ステップにより合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャ形式データを前記スキップフレームに置き換え、所定の範囲より小さい場合には、該動画像データの後ろに所定の補填データを付加するものである。
【００３１】
また、請求項２０に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８または１９記載の動画像合成方法において、前記フレーム種別変換ステップは、前記Ｉピクチャ形式データのフレームの符号化種別をＰピクチャ形式の符号語に変換するものである。
【００３２】
また、請求項２１に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８，１９または２０記載の動画像合成方法において、前記フレーム種別変換ステップは、前記Ｉピクチャ形式データのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換するものである。
【００３３】
また、請求項２２に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８，１９，２０または２１記載の動画像合成方法において、前記フレーム種別変換ステップは、前記Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるように、マクロブロックスタッフィング（Macroblock Stuffing）コードを挿入するものである。
【００３４】
また、請求項２３に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８，１９，２０，２１または２２記載の動画像合成方法において、前記フレーム種別変換ステップは、前記Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致するように、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えるものである。
【００３５】
また、請求項２４に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８，１９，２０，２１，２２または２３記載の動画像合成方法において、前記画像合成ステップにより生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換するノイズ削減ステップを備えるものである。
【００３６】
また、請求項２５に係るコンピュータにより読み取り可能な記録媒体は、請求項１３，１４，１５，１６，１７，１８，１９，２０，２１，２２，２３または２４記載の動画像合成方法をコンピュータに実行させるためのプログラムとして記録したものである。
【００３７】
本発明の請求項１，８，９，１０，１１および１２に係る動画像合成装置、請求項１２，２０，２１，２２，２３および２４に係る動画像合成方法、並びに、請求項２５に係る記録媒体では、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成するようにしている。
【００３８】
特に、請求項８および９に係る動画像合成装置、並びに、請求項２０および２１に係る動画像合成方法では、Ｉピクチャ形式データからＰピクチャ形式データへの変換は、フレーム種別変換手段（フレーム種別変換ステップ）において、Ｉピクチャ形式データのフレームの符号化種別をＰピクチャ形式の符号語に変換し、Ｉピクチャ形式データの各マクロブロックの符号化種別をＰピクチャ形式データのイントラマクロブロックを示す符号語に変換することにより行うのが望ましい。
【００３９】
これにより、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化がなく高速に合成動画像を生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【００４０】
また特に、請求項１０に係る動画像合成装置および請求項２２に係る動画像合成方法では、フレーム種別変換手段（フレーム種別変換ステップ）によりマクロブロックの符号化種別を変換する際に、マクロブロックの先頭にマクロブロックスタッフィングコードを複数個挿入して、Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるようにしている。
【００４１】
例えば、データ処理単位が８ビットの処理系において、マクロブロックの符号化種別の変換により４ビットだけ符号長が増加した場合には、４個のマクロブロックスタッフィングコードを挿入することにより、全体として４８ビット増加してしまうが、符号長の増加量が処理系のデータ処理単位の倍数長となり、変換に伴うビットシフト処理等が不要となる。つまり、マクロブロックの符号化種別を計算機等の処理系を用いて変換する際に、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することが可能となる。
【００４２】
また特に、請求項１１に係る動画像合成装置および請求項２３に係る動画像合成方法では、フレーム種別変換手段（フレーム種別変換ステップ）によりマクロブロックの符号化種別を変換する際に、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えるようにしている。
【００４３】
例えば、データ処理単位が８ビット処理系において、マクロブロックの符号化種別の変換により４ビットだけ符号長が増加した場合には、直前のマクロブロックの高周波成分を４ビット減らすことにより全体として符号長が変化しないようにするか、或いは、直前のマクロブロックの高周波成分を４ビット増やすことにより全体として符号長が８ビット増となるようにして、符号長の変化量が処理系のデータ処理単位と一致するようにする。これにより、マクロブロックの符号化種別を計算機等の処理系を用いて変換する際に、Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致し、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することが可能となる。
【００４４】
また特に、請求項１２に係る動画像合成装置および請求項２４に係る動画像合成方法では、フレーム種別変換手段（フレーム種別変換ステップ）によるマクロブロックの符号化種別変換の際に、書き換えられた動画像データの量子化行列の高周波成分をノイズ削減手段（ノイズ削減ステップ）により所定の小さい値に変換するようにしている。これにより、再生時に高速化のために書き換えられた高周波成分により生じる画質の劣化を抑制することができる。
【００４５】
また、本発明の請求項２，３，４，８，９，１０，１１および１２に係る動画像合成装置、請求項１４，１５，１６，２０，２１，２２，２３および２４に係る動画像合成方法、並びに、請求項２５に係る記録媒体では、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、画像符号化手段（画像符号化ステップ）がマクロブロックデータを可変長符号化する際に、マーキングコード挿入手段（マーキング挿入ステップ）により、各マクロブロックデータの高周波成分の符号語としてマクロブロックデータ境界を識別可能なマーキングコードを挿入するようにし、合成の際には、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成するようにしている。
【００４６】
例えば、マーキングコードを“０００００１００００００１０１０１０１０”とすれば、マクロブロックデータの最後を示すＥＯＢ（End Of Code）コード“１０”と結合した“０００００１００００００１０１０１０１０１０”という符号語は、マクロブロックデータ内において最終位置にしか存在せず、この符号語を検出することによりマクロブロックの境界を見つけることができることとなる。したがって、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能であり、また従来のように可変長復号および再符号化処理をする必要がないので、画質の劣化がなく、しかもより高速に合成動画像を生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【００４７】
特に、請求項３に係る動画像合成装置および請求項１５に係る動画像合成方法では、マーキングコード挿入手段（マーキングコード挿入ステップ）により、マクロブロックの符号化種別を変換する際の符号長の減少量が処理系のデータ処理単位の倍数長となるような符号長を持つマーキングコードを挿入し、マクロブロックの符号化種別を変換する際に、挿入したマーキングコードを削除するようにしている。
【００４８】
これにより、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能となり、また挿入したマーキングコードを削除することで、符号化種別の変換による符号長の増減が処理系のデータ処理単位と一致することとなり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することが可能となる。
【００４９】
また特に、請求項４に係る動画像合成装置および請求項１６に係る動画像合成方法では、マクロブロックデータを可変長符号化する際に、符号長調整手段（符号長調整ステップ）により、マクロブロックの高周波成分の符号語を例えば符号長調整符号に書き換えるなどして変更するようにしている。
【００５０】
例えば、データ処理単位が８ビットの処理系において、マクロブロックデータ全体の符号長が、マーキングコードを含めて８ビットの倍数長に対して何ビット不足しているかを計算し、その値に応じた符号長調整符号を挿入する。これにより、マーキングコードを挿入してもマクロブロックデータの符号長が処理系のデータ処理単位となり、マクロブロックの符号化種別を変換する際に、可変長復号することなくデータ処理単位での比較演算のみで変換箇所を特定することが可能となり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することが可能となる。
【００５１】
また特に、請求項１２に係る動画像合成装置および請求項２４に係る動画像合成方法では、マーキングコード挿入手段および符号長調整手段により高周波成分に符号語が付加された動画像データについて、ノイズ削減手段（ノイズ削減ステップ）により量子化行列の高周波成分を所定の小さい値に変換するようにしている。これにより、再生時に高速化のために高周波成分に付加したマーキングコードや符号長調整符号により生じる画質の劣化を少なくし、高速に合成動画像を生成することが可能となる。
【００５２】
さらに、本発明の請求項５，６，７，８，９，１０，１１および１２に係る動画像合成装置、請求項１７，１８，１９，２０，２１，２２，２３および２４に係る動画像合成方法、並びに、請求項２５に係る記録媒体では、動画像データの毎秒最大Ｎ枚のフレームが入力される複数個の画像バッファ（画像入力ステップ）と、Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段（スキップフレーム生成ステップ）とを備えて、画像合成手段（画像合成ステップ）により各画像バッファの動画像データを合成する際に動画像データがない場合、スキップフレームを挿入して、Ｎ分の１秒に１回、合成処理を行なうようにしている。また、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成するようにしている。
【００５３】
これにより、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化がなく高速に合成動画像を生成することが可能であり、しかも、ＭＰＥＧ規格に準拠した毎秒Ｎフレーム分の合成動画像を高速に生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【００５４】
特に、請求項６および７に係る動画像合成装置、並びに、請求項１８および１９に係る動画像合成方法では、合成された動画像データの符号量が一定になるように調整する符号量調整手段（符号量調整ステップ）を備えて、合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャ形式データをスキップフレームに置き換え、所定の範囲より小さい場合には、動画像データの後ろに所定の補填データを付加するようにしている。
【００５５】
例えば、合成動画像データが設定された符号量を超過する場合にはＩピクチャ形式データをスキップフレームに置き換え、不足する場合には補填ビットを挿入することにより、再生時にオーバフローおよびアンダーフローを起こすことなく、遅延やジッタのない滑らかな合成動画像を高速に生成することができる。
【００５６】
【発明の実施の形態】
以下、本発明の動画像合成装置および動画像合成方法の実施の形態について、〔第１の実施形態〕、〔第２の実施形態〕、〔第３の実施形態〕、〔第４の実施形態〕、〔第５の実施形態〕、〔第６の実施形態〕の順に図面を参照して詳細に説明する。
【００５７】
なお、それぞれの実施形態の説明では、本発明に係る動画像合成装置および動画像合成方法について詳述するが、本発明に係る記録媒体については、動画像合成方法を実行させるためのプログラムを記録した記録媒体であることから、その説明は以下の動画像合成方法の説明に含まれるものである。
また、本発明の動画像合成装置および動画像合成方法は、「Ｈ．２６１」、「Ｈ．２６３」、「ＭＰＥＧ１」、「ＭＰＥＧ２」、「ＭＰＥＧ４」の各圧縮符号化方式に適用可能である。
【００５８】
〔第１の実施形態〕
先ず、本発明の第１の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第１の実施形態は、本発明の請求項１，８および９に係る動画像合成装置、並びに、請求項１３，２０および２１に係る動画像合成方法に対応するものである。
【００５９】
図１は第１の実施形態に係る動画像合成装置の構成図である。本実施形態の動画像合成装置は、フレーム種別変換手段１０４によりＩピクチャをＰピクチャに変換することで、復号を行わずに合成処理を行うものである。
同図において、本実施形態の動画像合成装置は、画像符号化手段１０１、画像蓄積手段１０２、画像合成手段１０３およびフレーム種別変換手段１０４を備えて構成されている。
【００６０】
ここで、画像符号化手段１０１は、入力される映像信号１５１をＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピクチャ形式に符号化したＩピクチャおよびＰピクチャを含む動画像データ１５２を生成する。つまり、画像符号化手段１０１は、ビデオカメラなどにより撮像された映像信号１５１を受け取り、１フレーム単位でＭＰＥＧ形式（Ｉピクチャ形式およびＰピクチャ形式）に圧縮符号化して、ＩピクチャおよびＰピクチャを生成する。
【００６１】
例えば、画像符号化手段１０１は、ＭＰＥＧ符号化器であり、その圧縮符号化方法は、図２に示すような過程で行われる。ここで、図２はＭＰＥＧ符号化器１０１における圧縮符号化方法を説明する説明図である。
【００６２】
同図において、入力された映像信号１５１は、先ず、１枚のフレームの画像の内容を示す画素データ１５１に変換され、ＭＰＥＧ符号化器１０１に入力される。この画素データにおける各画素は、輝度Ｙ、色差Ｕおよび色差Ｖで表される。次に、ＭＰＥＧ符号化器１０１は、入力された画素データを、マクロブロックと呼ばれる１６×１６画素の小領域に分割し、各マクロブロック単位で動き予測およびＤＣＴ（離散コサイン）変換を行う。
【００６３】
動き予測は、Ｐピクチャとして圧縮する場合に、直前のフレームの画素データと比較することにより行われる。そして、変化の少ない領域が見つかった場合は、その領域への動きベクトルを記録し、各画素データの変化量を差分データとして計算し、順方向予測マクロブロックとして符号化する。また、変化の少ない領域が見つからない場合には、マクロブロックをイントラマクロブロックとしてそのまま符号化する。
【００６４】
ＤＣＴ変換では、差分データまたは画素データは、輝度Ｙに関してさらに８×８画素の４領域に分割され、また、色差Ｕおよび色差Ｖに関しては８×８画素に間引かれる。そして、８×８の２次元ＤＣＴ変換が施されることにより、それぞれのＤＣＴ係数データが生成される。次に、ＤＣＴ係数データは、量子化が行なわれ、ＭＰＥＧ形式のコードブックに従って可変長符号化されることにより、ＭＰＥＧ形式の動画像データ１５２（ＭＰＥＧビットストリーム）が生成される。ＭＰＥＧ形式に符号化された動画像データの１フレーム分のデータは、図３に示すように、階層構造で構成されている。ここで、図３はＭＰＥＧ形式の１フレーム分のデータ構成を例示する説明図である。
【００６５】
図３において、ＭＰＥＧ形式の１フレームは、フレーム全体の情報を示すピクチャヘッダコード１１および幾つかのスライスデータ１２により構成され、このスライスデータ１２は、スライス全体の情報を示すスライスヘッダコード１７およびスライスを構成する幾つかのマクロブロックデータ１８により構成され、このマクロブロックデータ１８は、マクロブロック全体の情報を示すマクロブロックヘッダ１９と、輝度成分のＤＣＴ係数値を示す４つの輝度ＹＤＣＴ係数データ２０と、色差成分のＤＣＴ係数値を示す色差ＵＤＣＴ係数データ２１および色差ＶＤＣＴ係数データ２２とにより構成されている。
【００６６】
ピクチャヘッダコード１１は、フレームの先頭であることを示すピクチャスタート（ＰＳＴ）コード１３と、フレームの表示順序を示すテンポラルリファレンス（ＴＲ）コード１４と、フレームの符号化種別を示すピクチャコーディングタイプ（ＰＣＴ）コード１５と、フレームを再生した際のバッファの容量を示すビデオバッファディレイ（ＶＤ）コード１６とを備えて構成されている。
【００６７】
また、マクロブロックヘッダコード１９は、マクロブロックの表示位置を示すマクロブロックアドレスインクリメント（ＭＢＡＩ）コード２３と、マクロブロックの符号化種別を示すマクロブロックタイプ（ＭＢＴＹＰＥ）コード２４と、マクロブロックの量子化スケール（ＱＳ）を示すコード２５とを備えている。
【００６８】
次に、画像蓄積手段１０２は、動画像データ１５２を蓄積する。つまり、画像符号化手段１０１によりＩピクチャ形式およびＰピクチャ形式に符号化された動画像データ１５２を画像合成手段１０３により取り出されるまで一時的に蓄積する。
【００６９】
また、画像合成手段１０３は、画像蓄積手段１０２から動画像データを取り出して合成処理する。また、フレーム種別変換手段１０４は、ＩピクチャをＰピクチャに変換する。すなわち、画像合成手段１０３は、画像蓄積手段１０２から合成動画像の１フレーム分の動画像データを取り出して、取り出した動画像データを合成する。
【００７０】
この際、動画像データが異なる符号化形式である場合、画像合成手段１０３は、画像蓄積手段１０２から取り出したＩピクチャをフレーム種別変換手段１０４に出力し、フレーム種別手段１０４は、画像合成手段１０３から受け取ったＩピクチャをＰピクチャに変換する。つまり、Ｉピクチャにおけるピクチャヘッダコード１１のＰＣＴコード１５およびマクロブロックヘッダコード１９のＭＢＴＹＰＥコード２４をＰピクチャ形式に変換する。そして、画像合成手段１０３は、フレーム種別変換手段１０４により変換された動画像データを受け取り合成処理を行うことにより合成動画像１５５を生成する。
【００７１】
次に、以上説明した構成を備える本実施形態の動画像合成装置の動作、即ち動画像合成方法について詳細に説明する。
【００７２】
先ず、画像符号化手段１０１は、入力される映像信号１５１を１フレーム単位でＭＰＥＧ形式のＩピクチャ形式あるいはＰピクチャ形式に圧縮符号化し、画像蓄積手段２０２に出力する。画像蓄積手段１０２は、画像符号化手段１０１により出力された動画像データ１５２を、画像合成手段１０３により指定されて取り出されるまで一時的に蓄積する。
【００７３】
そして、画像合成手段１０３は、画像蓄積手段１０２から合成しようとする各動画像データの１フレーム分のデータを取り込み、合成動画像の１フレーム分のデータを生成する。ここで、図４を参照して画像合成手段１０３の画像合成処理方法を説明する。なお、図４は第１の実施形態における画像合成手段１０３の画像合成処理方法を説明するフローチャートである。
【００７４】
図４において、先ず、ステップＳ４０では、画像合成手段１０３は、画像蓄積手段１０２から合成に使用する各動画像データの１フレーム分のデータを取り出す。そして、ステップＳ４１において、合成するための全ての動画像データが取り出されると、ステップＳ４２では、画像合成手段１０３は、取り出した全動画像データのフレームが全て同一の符号化種別であるか否かを判定し、同一である場合には、ステップＳ４４に進み、そのまま合成処理を行なう。また、Ｉピクチャ形式とＰピクチャ形式の両方のフレームが含まれる場合には、ステップＳ４３において、フレーム種別変換手段１０４が、以下で説明するようなフレーム種別変換方法によりＩピクチャをＰピクチャに変換する。
【００７５】
そして、ステップＳ４４において、画像合成手段１０３は、フレーム種別変換手段１０４により符号化種別が全てＰピクチャ形式に揃えられて動画像データを合成処理する。この合成処理は、合成後の合成画面上の配置にあわせて、各フレームのスライスデータ１２を並べ替え、スライスヘッダコード１９の表示位置情報を修正することで行なわれる。これにより、異なる符号化形式のピクチャ同士でも復号および再符号化処理することなく合成処理を行うことが可能となる。
【００７６】
次に、フレーム種別変換手段１０４におけるフレーム種別変換方法を図５を用いて説明する。図５は第１の実施形態におけるフレーム種別変換手段１０４のフレーム種別変換方法を説明するフローチャートである。
【００７７】
先ず、ステップＳ５０では、フレーム種別変換手段１０４は、ピクチャヘッダコード１１のＰＣＴコード１５をＩピクチャを示す符号化種別からＰピクチャを示す符号語に書き換える。次に、ステップＳ５１では、各マクロブロックデータ１８に対して、マクロブロックヘッダコード１９のＭＢＴＹＰＥコード２４を、Ｉピクチャのイントラマクロブロックを示す符号化種別からＰピクチャのイントラマクロブロックを示す符号語に書き換える。具体的に、この符号語を示せば、図６の如く表される。ここで、図６はＩピクチャおよびＰピクチャのマクロブロックの符号化種別の符号語を例示する説明図である。
【００７８】
図６に示すように、ＭＢＴＹＰＥコード２４は、各マクロブロックの符号化種別に対して量子化スケールを指定する場合および標準の量子化スケールを使う場合の符号語をそれぞれ有している。例えば、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に書き換える場合、元のＩピクチャのＭＢＴＹＰＥコード２４が“０１”であったときは、ＭＢＴＹＰＥコード２４は、“０００００１”に変換される。
【００７９】
また、標準の量子化スケールを使う場合にも同様に、Ｉピクチャのマクロブロックの符号化種別を変換する場合、ＭＢＴＹＰＥコード２４は“１”から“０００１１”に変換される。なお、どちらの符号語を使用する場合でも、変換された符号語の増加量は同じとなる。
【００８０】
上記ステップＳ５１の処理を、全てのマクロブロックのＭＢＴＹＰＥコード２４に対して行い（ステップＳ５２）、Ｉピクチャのマクロブロックの符号化種別を、全てＰピクチャのイントラマクロブロックを示す符号語に書き換える。
【００８１】
以上のように、合成しようとする動画像データが異なる符号化形式の場合でも、フレーム種別変換手段１０４によりＩピクチャにおけるピクチャヘッダコード１１のＰＣＴコード１５およびマクロブロックヘッダコード１９のＭＢＴＹＰＥコード２４をＰピクチャ形式に変換してＩピクチャをＰピクチャに変換することができ、復号および再符号化することなく動画像データを合成することが可能となる。
【００８２】
このように、第１の実施形態の動画像合成装置および動画像合成方法では、ＩピクチャをＰピクチャに変換するフレーム種別変換手段１０４（フレーム種別変換ステップ）を備え、合成しようとする動画像データの符号化種別がＩピクチャ形式とＰピクチャ形式を含む場合に、ＰＣＴコード１５およびＭＢＴＹＰＥコード２４をそれぞれＩピクチャを示す符号化種別からＰピクチャを示す符号語に書き換えて、ＩピクチャをＰピクチャに変換し、画像合成手段１０３（画像合成ステップ）により符号化種別がＰピクチャ形式に揃えられた動画像データを合成している。これにより、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化を伴うことなく高速に合成動画像を生成することができる。
【００８３】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第２の実施形態は、本発明の請求項１，８，９および１０に係る動画像合成装置、並びに、請求項１３，２０，２１および２２に係る動画像合成方法に対応するものである。
【００８４】
本実施形態の動画像合成装置は、図１に示した動画像合成装置（第１の実施形態）のフレーム種別変換手段１０４において、Ｉピクチャの各マクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換する際に、マクロブロックの先頭に符号語（マクロブロックスタッフィングコード（Macroblock Stuffing code）を複数個挿入するようにしたものである。
【００８５】
本実施形態におけるフレーム種別変換手段１０４以外の構成要素の機能および動作については、第１の実施形態と同様であるため詳細な説明は省略する。
【００８６】
図１の動画像合成装置において、第１の実施形態と同様に、映像信号１５１は、画像符号化手段１０１によりＭＰＥＧ形式に圧縮符号化され、画像蓄積手段１０２に一時的に蓄積される。次に、画像合成手段１０３は、合成動画像の１フレーム分のデータを生成するために、画像蓄積手段１０２から合成する各動画像データの１フレーム分のデータを取り込む。
【００８７】
この際、動画像データの符号化種別が異なる場合には、フレーム種別変換手段１０４が、ＰＣＴコード１５の符号化種別をＰピクチャ形式に変換し、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に書き換えて、ＩピクチャをＰピクチャに変換する。例えば、マクロブロックの符号化種別の符号語は、それぞれ図６に示すようなビット構成を有しており、Ｐピクチャのイントラマクロブロックを示す符号語に変換した後のデータ構成は、元のＩピクチャのビット数より４ビット増加した構成となる。
【００８８】
このとき、４ビットの符号長の増加は、１ビット単位でデータを処理するような処理系であれば特に問題にはならないが、多くの計算機で行われているような８ビット単位でデータを処理する処理系においては、符号長が変化した部分以降の全てのマクロブロックデータに対して、４ビットのビットシフト処理を行わねばならない。
【００８９】
このような問題に対し、本実施形態では、フレーム種別変換手段１０４によりＩピクチャの符号長の増加量がデータ処理単位の倍数長となるようにマクロブロックスタッフィングコード（以下、ＭＢＳＴＵＦＦコード）を挿入する。つまり、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に書き換える際にマクロブロックの先頭に符号語であるＭＢＳＴＵＦＦコードを挿入することにより、Ｉピクチャの符号長の増加量がデータ処理単位の倍数長となり、データ処理単位に合わせて各マクロブロックの符号化種別を変換することができるため、マクロブロックの符号化種別を変換する際にマクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するビットシフト処理が不要となる。
【００９０】
以下に、第２の実施形態におけるフレーム種別変換手段１０４のフレーム種別変換方法を図７を用いて説明する。
【００９１】
図７において、先ず、ステップＳ７０では、第１の実施形態のフレーム種別変換手段１０４と同様に、フレーム全体の符号化種別を示すＰＣＴコード１５をＩピクチャからＰピクチャを示す符号語に書き換える。次に、ステップＳ７１では、各マクロブロックの符号化種別をＩピクチャのイントラマクロブロックを示す符号語からＰピクチャのイントラマクロブロックを示す符号語に書き換える。例えば、図６の符号語を用いた場合、符号語の書き換えにより４ビット分だけ符号長が増加する。
【００９２】
この場合、１ビット単位でデータを処理するような処理系であれば、このようなビット単位の符号長の変化は特に問題とならないが、多くの計算機では８ビット単位でデータを処理するため、符号長が変化した部分以降の全てのマクロブロックデータに対して、４ビットのビットシフト処理を行なわねばならない。
【００９３】
そこで、本実施形態のフレーム種別変換手段１０４は、ステップＳ７３において、マクロブロックの符号化種別を示すＭＢＴＹＰＥコード２４を書き換える際に、マクロブロックデータの先頭にＭＢＳＴＵＦＦコードを４個挿入する。このＭＢＳＴＵＦＦコードは、ＭＰＥＧ規格において、データ量が所定のビットレートに対して不足する際に、マクロブロックデータの先頭に１１ビット単位で挿入可能な符号語である。したがって、ステップＳ７２においてＭＢＳＴＵＦＦコードを４個挿入することにより４４ビットのデータが挿入される。ここで、図８に、ＭＢＳＴＵＦＦコードが挿入される前後のマクロブロックデータのデータ構成を例示する説明図を示す。図８（ａ）はＭＢＳＴＵＦＦコードを挿入する前、（ｂ）はＭＢＳＴＵＦＦコードを挿入した後のデータ構成を示している。
【００９４】
図８に示すように、マクロブロックの符号長は、マクロブロックの符号化種別を変換する際にＭＢＳＴＦＦコードを挿入することにより、マクロブロックの符号語の書き換えによる４ビットの増加と、ＭＢＳＴＵＦＦコードの挿入による４４ビットの増加により、全体としてマクロブロックヘッダコード１９の符号長の増加は４８ビットとなる。全体の符号長の増加量としては、８ビットの倍数となるため、マクロブロックヘッダコード１９以降のマクロブロックデータ１８に関してはビットシフト処理が不要になる。
【００９５】
以上のように、第２の実施形態に係る動画像合成装置および動画像合成方法では、フレーム種別変換手段１０４（フレーム種別変換ステップ）において、Ｉピクチャの各マクロブロックの符号語をＰピクチャのイントラマクロブロックを示す符号語に変換する際に、マクロブロックの先頭にＭＢＳＴＵＦＦコードを複数個挿入している。これにより、Ｉピクチャ形式データの符号長の増加量をデータ処理単位の倍数長とすることができ、マクロブロックの符号化種別を変換する際に、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することができる。
【００９６】
なお、本実施形態では、データ処理単位が８ビットである処理系について説明したが、どのような処理単位を持つ処理系に対してもＭＳＢＴＵＦＦコードを挿入することによりシフトビット処理を不要にすることが可能である。この場合、各処理単位に応じて挿入するＭＢＳＴＵＦＦコードの個数を変更する必要がある。
【００９７】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第３の実施形態は、本発明の請求項１，８，９および１１に係る動画像合成装置、並びに、請求項１３，２０，２１および２３に係る動画像合成方法に対応するものである。
【００９８】
本実施形態の動画像合成装置は、図１に示した動画像合成装置（第１の実施形態）のフレーム種別変換手段１０４において、Ｉピクチャの各マクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換する際に、直前のマクブロックの高周波成分の符号語を変換するようにしたものである。なお、第２の実施形態の動画像合成装置と比較すると、追加されるデータ量が少ないためにより高速にデータ処理を行うことが可能である。
【００９９】
本実施形態におけるフレーム種別変換手段１０４以外の構成要素の機能および動作については、第１の実施形態と同様であるため詳細な説明は省略する。
【０１００】
図１の動画像合成装置において、第１の実施形態と同様に、映像信号１５１は、画像符号化手段１０１によりＭＰＥＧ形式に圧縮符号化され、画像蓄積手段１０２に一時的に蓄積される。次に、画像合成手段１０３は、合成動画像の１フレーム分のデータを生成するために、合成しようとする各動画像データの１フレーム分のデータを取り込む。この際、動画像データの符号化種別が異なる場合、フレーム種別変換手段１０４は、ＩピクチャのＰＣＴコード１５の符号化種別をＰピクチャ形式に変換し、マクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に書き換える。
【０１０１】
本実施形態のフレーム種別変換手段１０４は、さらに、この符号語の書き換えにより増加したビットによるビットシフト処理を不要にするために、Ｉピクチャデータの符号長の変化量がデータ処理単位と一致するように直前のマクロブロックの高周波成分の符号語を置き換える。つまり、Ｉピクチャのマクロブロックの符号化種別を変換する際に、各スライスデータの先頭のマクロブロックに関しては、そのマクロブロックの先頭に符号語であるマクロブロックスタッフィングコードを挿入し、それ以外のマクロブロックに関しては、直前のマクロブロックの高周波成分の符号語を置き換える。これにより、データ処理単位に合わせてフレーム種別変換処理を行なうことができ、マクロブロックの符号化情報が記載されている先頭部分以外の符号語に対するビットシフト処理が不要となる。
【０１０２】
ここで、ＭＰＥＧ規格におけるマクロブロックの符号化順序について図９を用いて説明する。図９（ａ）はマクロブロックデータの符号列の符号化順序を示す説明図、図９（ｂ）は２次元ＤＣＴ変換により生成されたＤＣＴ係数行列を示す説明図、図９（ｃ）はＤＣＴ係数の符号列における符号化順序を示す説明図である。
【０１０３】
ＭＰＥＧ規格において、マクロブロックデータ１８は、図９（ａ）に示すように、マクロブロックデータの先頭に前述のＭＢＡＩ１７およびＭＢＴＹＰＥ１８などのマクロブロック全体の情報を示すマクロブロックヘッダコード１９、１６×１６画素のマクロブロックの輝度情報を４つの８×８の画素ブロックに分割し、ＤＣＴ変換した４つの輝度ＹＤＣＴ係数２０、１６×１６画素の色差情報Ｕおよび色差情報Ｖを間引き処理等により８×８の画素ブロックに変換し、ＤＣＴ変換した２つの色差ＵＤＣＴ係数２１および色差ＶＤＣＴ係数２２が符号化されている。
【０１０４】
各２次元ＤＣＴ変換により得られたＤＣＴ係数は、図９（ｂ）に示すように８×８の大きさのＤＣＴ係数行列になっており、同図に示すようにジグザグスキャン順に符号化される。ＤＣＴ係数行列は、高周波成分（図では、６２，６３，６４）が最後に位置するようにスキャンされることにより、図９（ｃ）に示すような符号列が生成される。なお、ＤＣＴ係数行列のスキャン方法としては、オルタネートスキャン方法などもあり、何れのスキャン方法であっても良い。
【０１０５】
マクロブロックの符号列の最後に位置する高周波成分は、データによっても異なるが、符号語を書き換えても画質にあまり影響がない。このため、本実施形態では、フレーム種別変換手段１０４において、図９（ｃ）に示す高周波成分（６２，６３，６４）の符号語を書き換えている。これにより、マクロブロックデータをデータ処理単位の長さに調整し、より高速にデータ処理を行うことが可能になる。
【０１０６】
以下に、フレーム種別変換手段１０４におけるフレーム種別変換方法を図１０を用いて説明する。ここで、図１０は第３の実施形態におけるフレーム種別変換手段１０４のフレーム種別変換方法を説明するフローチャートである。
【０１０７】
同図において、先ず、ステップＳ１００では、第１の実施形態のフレーム種別変換手段１０４と同様に、フレーム全体の符号化種別を示すＰＣＴコードをＩピクチャ形式からＰピクチャ形式を示す符号語に書き換える。ステップＳ１０１では、スライスデータの先頭のマクロブロックの符号化種別をＩピクチャのイントラマクロブロックを示す符号語からＰピクチャのイントラマクロブロックを示す符号語に書き換え、ステップＳ１０２において、第２の実施形態の動画像合成装置と同様に、スライスデータの先頭のマクロブロックに対してＭＢＳＴＵＦＦコードを４個挿入する。
【０１０８】
次に、ステップＳ１０３では、先頭のマクロブロック以外のマクロブロックに対して、ＭＢＴＹＰＥコードを書き換え、ステップＳ１０４において、直前のマクロブロックの高周波成分の符号語を４ビット短い符号語または４ビット長い符号語に変換する。
【０１０９】
ここで、図１１にＭＢＴＹＰＥコードおよび高周波成分の符号語の書き換えを行う前後のマクロブロックデータのデータ構成を例示する説明図を示す。図１１（ａ）は、Ｉピクチャのマクロブロックの符号化種別を変換する前のデータ構成を示したものであり、図１１（ｂ）および１１（ｃ）は、Ｉピクチャのマクロブロックの符号化種別を変換後、直前のマクロブロックの高周波成分の符号語を４ビット短い符号語または４ビット長い符号語に変換したフレーム構成を示している。
【０１１０】
図１１（ｂ）に示すように、高周波成分の符号語を４ビットの短い符号語に変換する場合、マクロブロックデータの符号長は、符号化種別の書き換えにより４ビット増加するが、直前のマクロブロックの高周波成分の符号語が４ビット減少するため、全体として符号長の変化はなく、書き換え箇所前後でビットシフト処理が発生しない。
【０１１１】
また、図１１（ｃ）に示すように、高周波成分の符号語を４ビット長い符号語に変換する場合には、マクロブロックデータの符号長は、符号化種別の書き換えにより４ビット増加し、直前のマクロブロックの高周波成分の符号語が４ビット増加するため、全体として符号長が８ビット増加することとなり、書き換え箇所前後でビットシフト処理が発生しない。
【０１１２】
このように上記ステップＳ１０３および１０４をスライス内の全てのマクロブロックについて行い（ステップＳ１０５）、スライス内の全てのマクロブロックの符号化種別および高周波成分の書き換えが行われると、次に、ステップＳ１０６において、ピクチャ内の全てのスライスに対して処理が行われたか否かが判定される。そして、全てのスライスに対して処理が行われていない場合はステップＳ１０１に戻り、ピクチャ内の全てのスライスについてステップＳ１０１〜ステップＳ１０５における処理をピクチャ内の全てのスライスを処理するまで繰り返し行う。
【０１１３】
以上のように、第３の実施形態の動画像合成装置および動画像合成方法では、フレーム種別変換手段１０４（フレーム種別変換ステップ）において、Ｉピクチャの各マクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換する際に、直前のマクロブロックの高周波成分の符号語を変換している。これにより、Ｉピクチャの符号長の変化量がデータ処理単位と一致し、マクロブロックの符号化種別を変換する際に、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することができる。
【０１１４】
なお、本実施形態では、直前のマクロブロックの高周波成分の符号語を変換したが、直後のマクロブロックの低周波成分の符合語を変換しても、同様に実施可能である。
【０１１５】
また、本実施形態では、データ処理単位が８ビットにおける処理系について説明したが、どのような処理単位を持つ処理系に対しても、処理単位に合わせて高周波成分の符号語を変換することにより、同様に実施可能である。
【０１１６】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第４の実施形態は、本発明の請求項１，２，３，４，８，９および１２に係る動画像合成装置、並びに、請求項１３，１４，１５，１６，２０，２１および２４に係る動画像合成方法に対応するものである。
【０１１７】
図１２は第４の実施形態に係る動画像合成装置の構成図である。本実施形態の動画像合成装置は、図１に示した動画像合成装置に、さらに、マーキングコード挿入手段３５、符号長調整手段２０６およびノイズ削減手段２０７を付加した構成であり、可変長復号せずにフレームの符号化種別の変換処理を行う個所を特定可能とし、変換位置以降のデータに対するビットシフト処理が不要にしてより高速な処理を可能としている。
【０１１８】
図１２において、本実施形態の動画像合成装置は、画像符号化手段２０１、画像蓄積手段２０２、画像合成手段２０３およびフレーム種別変換手段２０４を備えて構成され、さらにマーキングコード挿入手段２０５、符号長調整手段２０６およびノイズ削減手段２０７を備えて構成されている。
【０１１９】
なお、本実施形態における画像蓄積手段２０２および画像合成手段２０３は、第１、第２および第３の実施形態と同様であるため詳細な説明は省略する。
【０１２０】
マーキングコード挿入手段２０５は、画像符号化手段２０１がマクロブロックデータを可変長符号化する際に、マクロブロックデータの境界を識別可能なマーキングコードを挿入する。このマーキングコードは、マクロブロックデータを構成する可変長符号の１つであり、データ処理単位の倍数長より４ビット長い符号語である。マーキングコード挿入手段２０５は、このマーキングコードをマクロブロックの最後を示すＥＯＢ（End Of Block）コードの直前に配置することにより、マクロブロックの境界を検出可能とする。
【０１２１】
また、フレーム種別変換手段２０４は、マーキングコードを検出してＩピクチャのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換する。つまり、マーキングコード挿入手段２０５によりマクロブロックに挿入されたマーキングコードを検出してマクロブロックの境界を検出し、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換する。このように、マーキングコードを検出することで、ＩピクチャのＭＢＴＹＰＥコードの位置を高速および正確に見つけることができるため、マクロブロックの符号化種別を変換する際のデータ処理速度が速くなる。
【０１２２】
また、符号長調整手段２０６は、画像符号化手段２０１がマクロブロックを可変長符号化する際に、マクロブロックデータの符号長がデータ処理単位となるようにマクロブロックの高周波成分の符号語を変更する。つまり、マーキングコードが挿入されることによって増加したマクロブロックの符号長がデータ処理単位となるように、マクロブロックの高周波成分の符号語を変更することにより、マクロブロックの符号化種別を変換する際のビットシフト処理を不要としている。
【０１２３】
また、ノイズ削減手段２０７は、画像合成手段２０３により生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換する。つまり、データ処理速度の高速化のために、マーキングコード挿入手段２０５および符号長調整手段２０６によってマクロブロックの高周波成分に付加された符号語により発生する映像ノイズを削減して、画像が劣化するのを防いでいる。
【０１２４】
以下に、本実施形態の動画像合成装置における画像符号化手段２０１の画像符号化方法、マーキングコード挿入手段２０５のマーキングコード挿入方法および符号長調整手段２０６の符号長調整方法について、図１３〜１５を用いて説明する。ここで、図１３は第４の実施形態における画像符号化手段２０１の画像符号化方法を示すフローチャート、図１４は符号長調整手段２０６が符号長の調整に使用する符号長調整テーブルを例示する説明図、図１５はマーキングコードの挿入および符号長調整が行われたマクロブロックデータのデータ構成を例示する説明図である。
【０１２５】
図１３において、先ず、ステップＳ１３０では、画像符号化手段２０１は、映像信号２５１をマクロブロック単位に分割し、ＤＣＴ変換後、生成された輝度ＹＤＣＴ係数および色差ＵＤＣＴ係数を符号化する。次に、ステップＳ１３１において、色差ＶＤＣＴ係数の第１成分から第６０成分を可変長符号化し、ステップＳ１３２において、色差ＶＤＣＴ係数の第６１成分のレベルを“１”として可変長符号化する。
【０１２６】
ステップＳ１３３では、符号長調整手段２０６が、この時点におけるマクロブロックデータの符号長Ｎを調べ、最後に追加されるマーキングコードを含めて、マクロブロックデータ全体の符号長Ｎがデータ処理単位である８ビットの倍数長に対して何ビット不足しているか求める。すなわち、この不足長は、８−（符号長Ｎ＋マーキングコード長＋ＥＯＢコード）ｍｏｄ８を計算することにより求められる。ここで「ＭｍｏｄＮ」は、自然数Ｍを自然数Ｎで割った余りを求める演算である。
【０１２７】
次に、ステップＳ１３４では、この不足長に応じて、図１４に示す符号長調整テーブルを参照し、符号長調整符号を挿入する。図１４に示すように、符号長調整符号は、ランが０あるいは１でありレベルが比較的小さい可変長符号を最大２つ組み合わせて生成されている。これにより、後にマーキングコードが挿入されてもそのビット数の増加によるビットシフト処理が不要になり、マクロブロックの符号化種別を変換する処理を高速に行うことが可能となる。
【０１２８】
そして、ステップＳ１３５では、マーキングコード挿入手段２０５によりマーキングコードが挿入され、最後に、ステップＳ１３６では、マクロブロックの終了を示すＥＯＢコードが挿入される。
【０１２９】
マーキングコードは、マクロブロックデータを構成する可変長符号の１つであり、図１５に示すように、マクロブロックの最後を示すＥＯＥコードの直前に配置される。例えば、“０００００１００００００１０１０１０１０”は、マーキングコードとして利用可能であり、ＥＯＢコードである“１０”を結合した“０００００１００００００１０１０１０１０１０”という符号語は、マクロブロックデータ内において、マクロブロックの最終位置にしか存在しないので、この符号語を検出することで、マクロブロックの境界を見つけ出すことができる。
【０１３０】
また、マーキングコードは、計算機のデータ処理単位の倍数長より４ビット長い符号語として構成され、上記例では、マクロブロックデータは符号長が２０ビットであり、データ処理単位である８ビットの２倍より４ビット長い符号となっている。これにより、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換することにより４ビット符号長が増加しても、このマーキングコードを削除することにより全体として１６ビット分の減少となり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するビットシフト処理が不要になる。
【０１３１】
ここで、図１５に、ステップＳ１３３〜ステップ１３５において、マクロブロックデータの高周波成分に符号語（符号長調整符号およびマーキングコード）が挿入されたデータ構成を示す。図１５に示すように、マクロブロックデータにおいて、マーキングコードはＥＯＢの前に挿入され、マクロブロックの境界を識別可能にしており、また、符号長調整符号の書き換えによりＥＯＢがバイト境界に位置するように調整されている。
【０１３２】
従来、マクロブロックデータが可変長符号化されていたために、マクロブロックの境界を検出するためには先頭より順次可変長復号する必要があったが、本実施形態では、上述のように、ステップＳ１３５においてマーキングコードを挿入することにより、符号の比較という簡単な処理のみでマクロブロックの境界を検出することができる。また、ステップＳ１３３およびＳ１３４の符号長調整符号の挿入により、マーキングコードの挿入によるビットシフト処理も不要になり、マクロブロックの符号化種別を変換する処理を高速に行うことができる。
【０１３３】
次に、本実施形態のフレーム種別変換手段２０４のフレーム種別変換方法について説明する。図１６は第４の実施形態におけるフレーム種別変換手段２０４のフレーム種別変換方法を説明するフローチャートである。
【０１３４】
図１６において、先ず、ステップＳ１６０では、第１の実施形態と同様に、フレーム種別変換手段２０４によりＰＣＴコードをＰピクチャを示す符号語に変換する。次に、ステップＳ１６１では、各スライスの先頭のマクロブロックに関して、第２の実施形態と同様に、ＭＢＳＴＵＦＦコードを４個挿入する。
【０１３５】
そして、それ以外のマクロブロックに関しては、ステップＳ１６３において、マーキングコードを検出して、マクロブロックの境界を検出する。マーキングコードとＥＯＢコードを結合した符号語は、図１５に示すように最後尾がバイト境界上に存在するので、バイト単位の比較処理で容易に検出可能である。そして、ステップＳ１６４では、マクロブロックの符号化種別を示すＭＢＴＹＰＥコードを書き換え、ステップＳ１６５においてマーキングコードを削除する。
【０１３６】
上記ステップＳ１６３〜ステップＳ１６５の処理をスライス内の全てのマクロブロックに対して行う（ステップＳ１６６）と、続いて、ステップＳ１６１〜ステップＳ１６６の処理をピクチャ内の全てのスライスに対して行う（ステップＳ１６７）。
【０１３７】
ここで、図１７にＭＢＴＹＰＥコードの変換およびマーキングコードを削除する前後のマクロブロックデータのデータ構成を例示する説明図を示す。図１７（ａ）はＭＢＴＹＰＥコードを変換前のマクロブロックデータを、図１７（ｂ）はＭＢＴＹＰＥコードの変換とマーキングコードの削除が行われたマクロブロックデータをそれぞれ示している。図１７（ｂ）に示すように、マクロブロックデータの符号長は、ＭＢＴＹＰＥコードが変換され（即ち、“０１”から“０００００１”の符号語に変換され）、マーキングコードが削除されることにより、マクロブロックの符号語全体としては２バイト短くなる。これにより、マーキングコードを削除しても、マクロブロックの符号化種別の書き換え位置前後でビット単位のずれが生じないため、ビットシフト処理をすることなくマクロブロックの符号化種別を変換することが可能になる。
【０１３８】
上記のようにマーキングコード挿入手段２０５および符号長調整手段２０６は、マクロブロックの符号化種別の書き換えの際に、マクロブロックの境界を可変長復号することなく検出可能にし、またそれにより必要となるビットシフト処理を不要とするが、マクロブロックデータの高周波成分の書き換えにより、画像合成手段２０３により合成された動画像データに映像ノイズが発生し、画像の劣化を生じてしまうという問題がある。
【０１３９】
このような問題に対処するため、本実施形態では、ノイズ削減手段２０７により、画像合成手段２０３が生成した動画像データの量子化行列の高周波成分を所定の小さい値に変換し、マーキングコード挿入手段２０５および符号長調整手段２０６によってマクロブロックの高周波成分に付加された符号語により発生する映像ノイズを削減して、画像が劣化するのを防いでいる。
【０１４０】
以下に、本実施形態のノイズ削減手段２０７について図１８を用いて説明する。図１８は第４の実施形態におけるノイズ削減手段２０７のノイズ削減方法を説明するフローチャートである。また、図１９は量子化行列の符号構成を例示する説明図である。
【０１４１】
図１８において、先ず、ノイズ削減手段２０７は、画像合成手段２０３により合成されたＭＰＥＧ形式の符号列２５５を受け取り、ステップＳ１８０において、入力される符号列からシーケンスヘッダコードを検出し、ステップＳ１８１において、検出したコード中に量子化行列コードが含まれているかをチェックする。
【０１４２】
そして、量子化行列コードが含まれている場合には、ステップＳ１８３へ進む。また、量子化行列コードが含まれていない場合には、ステップＳ１８２に進み、ＭＰＥＧ規格で定められている標準の量子化行列コードを生成し、シーケンスヘッダに挿入する。この量子化行列は、図１９（ａ）に示す各行列成分がジグザグスキャン順に符号化されており、図１９（ｂ）に示すように各成分が８ビットの固定長で符号化される。
【０１４３】
ステップＳ１８３では、量子化行列コードの第６１成分から第６４成分に対応する符号語を“０”または“１”に書き換える。このような、量子化行列コードを符号列に付加することにより、再生時に各マクロブロックの高周波成分は非常に小さいな値として逆量子化されるため、符号長調整手段２０６およびマーキングコード挿入手段２０５で付加した高周波成分の符号語（符号長調整符号およいマーキングコード）により画質が劣化するのを防ぐことができる。なお、ここでは高周波成分を第６１成分から第６４成分としているが、これに限定されることはない。
【０１４４】
以上のように、第４の実施形態の動画像合成装置および動画像合成方法では、マクロブロックの高周波成分の符号語を変更する符号長調整手段２０６（符号長調整ステップ）と、マクロブロックデータの境界を識別可能なマーキングコードを挿入するマーキングコード挿入手段２０５（マーキング挿入ステップ）と、生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換するノイズ削減手段２０７（ノイズ削減ステップ）とを備え、マクロブロックデータを可変長符号化する際に、各マクロブロックデータの高周波成分の符号語としてマーキングコードをマクロブロックの最後を示すＥＯＢ（End Of Block）コードの直前に挿入し、符号長調整手段２０６（符号長調整ステップ）によりマクロブロックの高周波成分の符号語を符号長調整符号に書き換え、マーキングコード挿入手段２０５（マーキング挿入ステップ）および符号長調整手段２０６（符号長調整ステップ）により高周波成分に符号語が付加された動画像データにおいて量子化行列の高周波成分を所定の小さい値に変換している。
【０１４５】
これにより、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能であり、マーキングコードを挿入してもマクロブロックデータの符号長がデータ処理単位となり、マクロブロックの符号化種別を変換する際に、可変長復号することなくデータ処理単位での比較演算のみで変換箇所を特定することが可能であり、再生時に高速化のために高周波成分に付加したマーキングコードや符号長調整符号により生じる画質の劣化がなく、高速に合成動画像を生成することができる。
【０１４６】
また、マーキングコード挿入手段２０５（マーキングコード挿入ステップ）では、マクロブロックの符号化種別を変換する際の符号長の減少量がデータ処理単位の倍数長となるような符号長を持つマーキングコードを挿入し、マクロブロックの符号化種別を変換する際に、挿入したマーキングコードを削除している。
これにより、マーキングコードを削除しても、符号化種別変換による符号長の増減がデータ処理単位と一致することとなり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することができる。
【０１４７】
なお、本実施形態では、計算機のデータ処理単位の倍数長より４ビット長いマーキングコードを使用したが、任意の長さの符号語を用いて書き換え位置の検出だけを行なうものとして、第２の実施形態と組み合わせた形態とすることも可能である。
【０１４８】
また、本実施形態では、符号長調整手段２０６においてマクロブロックデータの符号長をデータ処理単位に調整しているが、この符号長調整手段を省略して、最後尾にマーキングコードを挿入するようにし、マーキングコードの検出をバイト単位ではなくビット単位の比較処理を用いることにより行っても、同様に実施可能である。
【０１４９】
また、本実施形態では、マーキングコードとして１つの可変長符号を利用しているが、コードブック上の可変長符号を複数個組み合わせてマーキングコードを生成するようにしても、同様に実施可能である。
【０１５０】
また、本実施形態では、データ処理単位が８ビットの処理系により説明を行ったが、どのような処理単位を持つ処理系に対しても、処理単位に合わせた符号長調整符号およびマーキングコード用いて変換することにより、同様に実施可能である。
【０１５１】
また、本実施形態では、ノイズ削減手段２０７を備えることにより、符号長調整手段２０６およびマーキングコード挿入手段２０５が付加した符号語により画質の劣化を抑制したが、符号長調整符号およびマーキングコードとしてレベルが低い符号語を選択するようにすれば、ノイズ削減手段２０７を省略することも可能である。
【０１５２】
〔第５の実施形態〕
次に、本発明の第５の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第５の実施形態は、本発明の請求項１および５に係る動画像合成装置、並びに、請求項１３および１７に係る動画像合成方法に対応するものである。
【０１５３】
図２０は第５の実施形態に係る動画像合成装置の構成図である。本実施形態は、最大で毎秒３０フレーム（Ｎ＝３０）で送信されるＭＰＥＧ形式で符号化されたフレームデータを受信し、データが存在しない場合にはスキップフレームを挿入して合成処理を行うことで、ＭＰＥＧ規格に準拠した毎秒３０フレーム分の動画像を実時間で高速に合成するものである。
【０１５４】
同図において、本実施形態の動画像合成装置は、画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄ、スキップフレーム生成手段３０８、画像合成手段３０３およびフレーム種別変換手段３０４を備えて構成されている。
【０１５５】
ここで、画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄは、ＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピクチャ形式に符号化されたＩピクチャおよびＰピクチャを含む動画像データの毎秒最大３０枚のフレームが入力される複数の画像バッファである。つまり、各画像バッファには、ＭＰＥＧ形式で符号化されたＩピクチャまたはＩピクチャからの差分情報を符号化したＰピクチャが１秒間に最大３０枚送信され、画像合成手段３０３が取り出すまで一時的に蓄えられる。
【０１５６】
また、スキップフレーム生成手段３０８は、複数の画像バッファから動画像データを取り出す際に、動画像データがないときにＰピクチャ形式のスキップフレームを生成する。つまり、画像バッファから動画像データを取り出す際に動画像データがない場合には、動きベクトルが“０”であり、差分情報のないＰピクチャ形式の動画像データを生成して、実時間で動画像データの合成を行なうことを可能にする。
【０１５７】
また、フレーム種別変換手段３０４は、ＩピクチャをＰピクチャに変換する。つまり、フレーム種別変換手段３０４は、第１の実施形態のフレーム種別変換手段１０４と同様に、異なる符号化種別同士の動画像データを合成する場合、ＩピクチャのＰＣＴコードおよびＭＢＴＹＰＥコードの符号化種別をＰピクチャ形式に変換する。
【０１５８】
また、画像合成手段３０３は、画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄから動画像データを取り出し、３０分の１秒に１回、合成処理を行なう。つまり、異なる符号化種別同士の動画像データを合成する場合は、フレーム種別変換手段３０４によりＩピクチャをＰピクチャに変換し、Ｐピクチャ形式に揃えられた動画像データを合成処理する。また、この際、画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄから動画像データを取り出す動画像データがない場合には、スキップフレーム生成手段３０８によりスキップフレームを生成させ、生成されたスキップフレームを用いて合成処理することにより、ＭＰＥＧ規格に準拠した毎秒３０フレーム分の合成動画像３５５を実時間で高速に生成することができる。
【０１５９】
以下に、本実施形態の画像合成手段３０３の画像合成処理方法について、図２１を参照して詳細に説明する。ここで、図２１は第５の実施形態における画像合成手段３０３の画像合成処理を説明するフローチャートである。
【０１６０】
図２１において、先ず、画像合成手段３０３は、ステップＳ２１０では、各画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄに動画像データが存在するか否かを調べる。そして、動画像データがある場合は、ステップＳ２１１において画像バッファからその動画像データを取り出す。また、画像バッファに動画像データがない場合には、スキップフレーム生成手段３０８が、再生時に前のフレームと同じ画像を表示させるデータ（スキップフレーム）を生成する。このスキップフレーム生成手段３０８により生成されるスキップフレームデータは、動き予測の値が“０”であり、差分情報がないＰピクチャである。そして、ステップＳ２１３において、上記ステップＳ２１０〜ステップＳ２１２を全てのバッファについて処理するまで繰り返す。
【０１６１】
次に、ステップＳ２１４では、各フレームの符号化種別を判定し、異なる符号化種別を含む場合には、ステップＳ２１５においてＩピクチャからＰピクチャに変換して全てのフレームの符号化種別を揃えた上で、ステップＳ２１６において合成処理を行う。また、ステップＳ２１４において、全ての動画像データのフレームが同じ符号化種別の場合には、ステップＳ２１６に進み、合成処理が行われる。合成処理では、画像合成手段３０３が、３０分の１秒以内に上記ステップＳ２１０からＳ２１５を完了し、３０分の１秒に１回上記ステップＳ２１６を行なうことにより、実時間で動画像データの合成を行なうことができる。
【０１６２】
以上のように、第５の実施形態の動画像合成装置および動画像合成方法では、動画像データの毎秒最大３０枚のフレームが入力される複数個の画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄ（画像入力ステップ）と、Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段３０８（スキップフレーム生成ステップ）とを備え、画像合成手段３０３（画像合成ステップ）により各画像バッファの動画像データを合成する際に動画像データがない場合、スキップフレームを挿入して、３０分の１秒に１回だけ合成処理を行なう。これにより、ＭＰＥＧ規格に準拠した毎秒３０フレーム分の合成動画像を高速に実時間で生成することができる。
【０１６３】
なお、本実施形態では、第１の実施形態と同様に動作するフレーム種別変換手段を用いたが、第２、第３および第４実施形態のフレーム種別変換手段と組み合わせて構成しても、同様に実施可能である。
【０１６４】
また、入力されるデータは、４個と限定されることはなく、合成処理が実時間で処理可能な範囲で、入力数を変更可能である。
【０１６５】
〔第６の実施形態〕
次に、本発明の第６の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第６の実施形態は、本発明の請求項１，６および７に係る動画像合成装置、並びに、請求項１３，１８および１９に係る動画像合成方法に対応するものである。
【０１６６】
図２２は第６の実施形態に係る動画像合成装置の構成図である。本実施形態は、第５の実施形態（図２０参照）に対して符号量調整手段４０９をさらに備え、合成動画像データが設定された符号量を超過する場合には、Ｉピクチャをスキップフレームに置き換え、不足する場合には補填ビットを挿入するものである。
本実施形態における符号量調整手段４０９以外の構成要素の機能および動作については、第５の実施形態と同様であるため詳細な説明は省略する。
【０１６７】
図２２において、符号量調整手段４０９は、画像合成手段４０３により合成された動画像データの符号化量が一定になるように調整する。つまり、合成しようとする全フレームのデータ量を計算し、合成後の平均データ量が規定の上限を超える、即ち画像合成手段４０３により合成された合成動画像データのデータ量が所定の範囲より大きい場合には、一部のデータをスキップフレームに置き換える。また、規定の下限に満たない、即ち所定の範囲より小さい場合には、合成動画像データの最後に意味のない補填データを追加することで、所定の符号量の合成動画像４５５を生成する。
【０１６８】
以下に、第６の実施形態における符号量調整手段４０９の符号量調整方法を説明するフローチャートを図２３に示す。
同図において、先ず、ステップＳ２３０〜ステップＳ２３３では、第５の実施形態と同様に、各画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄから合成動画像の１フレーム分のデータを取り出す。つまり、各画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２に動画像データがあるか否かを調べ、ある場合にはその動画像データを画像バッファから取り出す。また、動画像データがない場合いは、スキップフレーム生成手段３０８においてスキップフレームを生成する。このスキップフレームは、動きベクトルが“０”であり差分情報のないＰピクチャである。
【０１６９】
ここで、ＭＰＥＧ規格（特に、ＭＰＥＧ１規格）においては、動画像の平均データ量が大きく変動してはならず、平均データ量が規定の範囲を超過した場合には、復号器においてバッファのオーバフローが発生し、平均データ量が規定の範囲より少ない場合には、復号器においてバッファのアンダーフローが発生し、正常に動画像の再生ができなくなる。
【０１７０】
本実施形態では、ステップＳ２３５において、符号量調整手段４０９により入力された動画像データの全データ量をチェックし、データ量が所定の範囲をオーバしているかを調べ、所定の範囲をオーバしている場合には、ステップＳ２３４において入力されたＩピクチャのどれかをスキップフレームに置き換え、ステップＳ２３５に戻る。上記ステップＳ２３４およびステップＳ２３５における処理動作を、データ量が所定の範囲に収まるまで繰り返す。したがって、平均データ量が規定の範囲より少ない場合に生じる復号器におけるバッファのアンダーフローを防ぐことができる。
【０１７１】
また、ステップＳ２３６〜ステップＳ２３８では、第５の実施形態と同様に、全てのフレームの符号化種別をチェックし、異なる符号化種別のフレームが含まれる場合には、ＩピクチャをＰピクチャに変換する。そして、全てが同じ符号化種別となったフレームを合成処理する。
【０１７２】
次に、ステップＳ２３９では、符号量調整手段４０９において、合成された動画像データのフレームのデータ量をチェックし、所定の範囲に満たない場合には、ステップＳ２４０においてフレームデータの最後に補填データを追加し、所定の範囲に収まるようにデータ量を増加させる。ここで、ＭＰＥＧ規格では、データ量の不足を補うために、フレーム間にデータ量を補填するための符号語を挿入できるため、この符号語を補填データとして用いる。これにより、平均データ量が規定の範囲を超過した場合に発生する復号器におけるバッファのオーバフローを防ぐことができる。
【０１７３】
図２４に、符号量の調整が行なわれた前後のフレーム構成を例示する。図２４（ａ）は調整前のフレーム構成、図２４（ｂ）は調整後のフレーム構成、図２４（ｃ）は調整前後での符号量の推移をそれぞれ示す。なお、図２４（ｃ）における上限および下限が、各フレームのデータ量が収まらなければならない範囲であることを意味している。また図中、ＩはＩピクチャ形式のフレーム、Ｓはスキップフレームを意味する。
【０１７４】
図２４（ａ）の調整前の動画像データでは、１フレーム目から３フレーム目まではデータ量が所定の範囲内にあり、正常に再生可能である。しかし、４フレーム目は、図２４（ｃ）に示すように、調整前のデータ量は大きく、オーバフローが発生してしまうために再生ができない。また、５フレーム目は、データ量が小さ過ぎるため、アンダーフローが発生し再生ができない。
【０１７５】
そこで、本実施形態では、図２４（ｂ）に示すように、４フレーム目の左下のＩピクチャをスキップフレームに変換し、５フレーム目の最後に補填データを追加する。その結果、図２４（ｃ）の調整後のグラフのように、全てのフレームにおいて、データ量が所定の範囲に収まるため、復号器によって正常に再生できるようになる。これにより、再生時にオーバフローおよびアンダーフローを起こすことがなく、動画像を高速に合成することができ、符号量が一定となることで再生時に遅延やジッタのない滑らかな動画像を生成することができる。
【０１７６】
以上のように、第６の実施形態の動画像合成装置および動画像合成方法では、合成された動画像データの符号量が一定になるように調整する符号量調整手段４０９（符号量調整ステップ）と、Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段３０８（スキップフレーム生成ステップ）とを備え、合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャをスキップフレームに置き換え、所定の範囲より小さい場合には、動画像データの後ろに所定の補填データを付加している。これにより、再生時にオーバフローおよびアンダーフローを起こすことなく、遅延やジッタのない滑らかな合成動画像を高速に生成することができる。
【０１７７】
【発明の効果】
以上説明したように、本発明の動画像合成装置、動画像合成方法および記録媒体によれば、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成することとしたので、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化がなく高速に合成動画像を生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【０１７８】
また、本発明によれば、フレーム種別変換手段（フレーム種別変換ステップ）によりマクロブロックの符号化種別を変換する際に、マクロブロックの先頭にマクロブロックスタッフィングコードを複数個挿入して、Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるようにしたので、マクロブロックの符号化種別を計算機等の処理系を用いて変換する際に、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することができる。
【０１７９】
また、本発明によれば、フレーム種別変換手段（フレーム種別変換ステップ）によりマクロブロックの符号化種別を変換する際に、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えることとしたので、マクロブロックの符号化種別を計算機等の処理系を用いて変換する際に、Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致し、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することができる。
【０１８０】
また、本発明によれば、フレーム種別変換手段（フレーム種別変換ステップ）によるマクロブロックの符号化種別変換の際に、書き換えられた動画像データの量子化行列の高周波成分をノイズ削減手段（ノイズ削減ステップ）により所定の小さい値に変換することとしたので、再生時に高速化のために書き換えられた高周波成分により生じる画質の劣化を抑制することができる。
【０１８１】
また、本発明の動画像合成装置、動画像合成方法および記録媒体によれば、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、画像符号化手段（画像符号化ステップ）がマクロブロックデータを可変長符号化する際に、マーキングコード挿入手段（マーキング挿入ステップ）により、各マクロブロックデータの高周波成分の符号語としてマクロブロックデータ境界を識別可能なマーキングコードを挿入するようにし、合成の際には、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成することとしたので、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能であり、また従来のように可変長復号および再符号化処理をする必要がないので、画質の劣化がなく、しかもより高速に合成動画像を生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【０１８２】
また、本発明によれば、マーキングコード挿入手段（マーキングコード挿入ステップ）により、マクロブロックの符号化種別を変換する際の符号長の減少量が処理系のデータ処理単位の倍数長となるような符号長を持つマーキングコードを挿入し、マクロブロックの符号化種別を変換する際に、挿入したマーキングコードを削除することとしたので、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能となり、また挿入したマーキングコードを削除することで、符号化種別の変換による符号長の増減が処理系のデータ処理単位と一致することとなり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することができる。
【０１８３】
また、本発明によれば、マクロブロックデータを可変長符号化する際に、符号長調整手段（符号長調整ステップ）により、マクロブロックの高周波成分の符号語を変更することとしたので、マーキングコードを挿入してもマクロブロックデータの符号長が処理系のデータ処理単位となり、マクロブロックの符号化種別を変換する際に、可変長復号することなくデータ処理単位での比較演算のみで変換箇所を特定することが可能となり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することができる。
【０１８４】
また、本発明によれば、マーキングコード挿入手段および符号長調整手段により高周波成分に符号語が付加された動画像データについて、ノイズ削減手段（ノイズ削減ステップ）により量子化行列の高周波成分を所定の小さい値に変換することとしたので、再生時に高速化のために高周波成分に付加したマーキングコードや符号長調整符号により生じる画質の劣化を少なくし、高速に合成動画像を生成することができる。
【０１８５】
また、本発明の動画像合成装置、動画像合成方法および記録媒体によれば、動画像データの毎秒最大Ｎ枚のフレームが入力される複数個の画像バッファ（画像入力ステップ）と、Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段（スキップフレーム生成ステップ）とを備えて、画像合成手段（画像合成ステップ）により各画像バッファの動画像データを合成する際に動画像データがない場合、スキップフレームを挿入して、Ｎ分の１秒に１回、合成処理を行なうようにし、また、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成することとしたので、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化がなく高速に合成動画像を生成することが可能であり、しかも、ＭＰＥＧ規格に準拠した毎秒Ｎフレーム分の合成動画像を高速に生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【０１８６】
さらに、本発明によれば、合成された動画像データの符号量が一定になるように調整する符号量調整手段（符号量調整ステップ）を備えて、合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャ形式データをスキップフレームに置き換え、所定の範囲より小さい場合には、動画像データの後ろに所定の補填データを付加することとしたので、再生時にオーバフローおよびアンダーフローを起こすことなく、遅延やジッタのない滑らかな合成動画像を高速に生成することができる。
【図面の簡単な説明】
【図１】第１の実施形態に係る動画像合成装置の構成図である。
【図２】ＭＰＥＧ符号化器における圧縮符号化方法を説明する説明図である。
【図３】ＭＰＥＧ形式の１フレーム分のデータ構成を例示する説明図である。
【図４】第１の実施形態における画像合成手段の画像合成処理を説明するフローチャートである。
【図５】第１の実施形態におけるフレーム種別変換手段のフレーム種別変換方法を説明するフローチャートである。
【図６】ＩピクチャおよびＰピクチャのマクロブロックの符号化種別の符号語を例示する説明図である。
【図７】第２の実施形態におけるフレーム種別変換手段のフレーム種別変換方法を説明するフローチャートである。
【図８】ＭＢＳＴＵＦＦコードが挿入される前後のマクロブロックデータのデータ構成を例示する説明図。
【図９】ＭＰＥＧ規格におけるマクロブロックの符号化順序を説明する説明図である。
【図１０】第３の実施形態におけるフレーム種別変換手段のフレーム種別変換方法を説明するフローチャートである。
【図１１】ＭＢＴＹＰＥコードおよび高周波成分の符号語の書き換えを行う前後のマクロブロックデータのデータ構成を例示する説明図を示す。
【図１２】第４の実施形態に係る動画像合成装置の構成図である。
【図１３】第４の実施形態における画像符号化手段の画像符号化方法を説明するフローチャートである。
【図１４】符号長調整手段が符号長の調整に使用する符号長調整テーブルを例示する説明図である。
【図１５】第４の実施形態におけるマーキングコードの挿入および符号長調整が行われたマクロブロックデータのデータ構成を例示する説明図である。
【図１６】第４の実施形態におけるフレーム種別変換手段のフレーム種別変換方法を説明するフローチャートである。
【図１７】ＭＢＴＹＰＥコードの変換およびマーキングコードを削除する前後のマクロブロックデータのデータ構成を例示する説明図である。
【図１８】第４の実施形態におけるノイズ削減手段のノイズ削減方法を説明するフローチャートである。
【図１９】量子化行列の符号構成を説明する説明図である。
【図２０】第５の実施形態に係る動画像合成装置の構成図である。
【図２１】第５の実施形態における画像合成手段の画像合成処理を説明するフローチャートである。
【図２２】第６の実施形態に係る動画像合成装置の構成図である。
【図２３】第６の実施形態における符号量調整手段の符号量調整方法を説明すフローチャートである。
【図２４】符号量の調整が行なわれた前後のフレーム構成を例示する説明図である。
【図２５】第１従来例の動画像合成装置の説明図である。
【図２６】第２従来例の動画像合成装置の説明図である。
【符号の説明】
１１ ピクチャヘッダコード
１２ スライスデータ
１３ ＰＳＣコード
１４ ＴＲコード
１５ ＰＣＴコード
１６ ＶＤコード
１７ スライスヘッダコーダ
１８ マクロブロックデータ
１９ マクロブロックヘッダコード
２０ 輝度ＹＤＣＴ係数コード
２１ 色差ＵＤＣＴ係数コード
２２ 色差ＶＤＣＴ係数コード
２３ ＭＢＡＩコード
２４ ＭＢＴＹＰＥコード
２５ ＱＳコード
１０１，２０１ 画像符号化手段
１０２，２０２ 画像蓄積手段
１０３，２０３，３０３，４０３ 画像合成手段
１０４，２０４，３０４ フレーム種別変換手段
１５１，２５１ 映像信号
１５３ 動画像データ
１５５，２５６，３５５，４５５ 合成動画像
２０５ マーキングコード挿入手段
２０６ 符号長調整手段
２０７ ノイズ削減手段
２５５ ＭＰＥＧ形式の符号列
３０２ａ，３０２ｂ，３０２ｃ，３０２ｄ 画像バッファ
３０８ スキップフレーム生成手段
４０９ 符号量調整手段
【発明の属する技術分野】
本発明は、圧縮符号化された動画像データを合成する動画像合成装置、動画像合成方法および該動画像合成方法を実行させるためのプログラムを記録した記録媒体に係り、より詳しくは、ＭＰＥＧ形式に圧縮符号化された動画像データの符号化種別（Ｉピクチャ形式およびＰピクチャ形式）に関係なく、異なる符号化種別の動画像データを高速に合成することができる動画像合成装置、動画像合成方法および記録媒体に関する。
【０００２】
【従来の技術】
動画像の映像信号をデジタルデータ（動画像データ）として圧縮符号化する方式としてＭＰＥＧ方式と呼ばれる国際標準規格がある。ＭＰＥＧ方式は、連続するフレームの相関性を利用し、前後のフレームから変化した情報だけを符号化することで高い圧縮率を実現している。すなわち、ＭＰＥＧ方式では、他のフレームを参照せずに１枚のフレーム内で符号化が完結しているフレームをＩピクチャ（Intra picture）形式データ（以下、Ｉピクチャという）、直前のフレームから変化した情報だけを符号化するフレームをＰピクチャ（Predictive picture）形式データ（以下、Ｐピクチャという）、前後２枚のフレームから変化した情報だけを符号化したフレームをＢピクチャ（Bidirectionally predictive picture）形式データ（以下、Ｂピクチャという）とそれぞれ定義し、これら３種類のフレームがＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，…のように混在した形式で符号化される。
【０００３】
このＭＰＥＧ方式は、高い圧縮率を実現できるため、動画像データをネットワークを介して送信したり、或いは、記憶装置上に蓄積する際に広く利用されている。そして、動画像合成装置によりＭＰＥＧ方式の動画像データを複数合成してマルチ画面映像を生成することによって、動画一覧システムやテレビ会議システムを実現することが可能となる。
【０００４】
なお、ビデオカメラで撮影した映像をネットワークを介して送信し、各映像を合成してマルチ画面表示するようなシステムでは、Ｂピクチャを挿入すると再生時に遅延が発生がするため、ＩピクチャとＰピクチャのみを用いる場合が多い。
【０００５】
従来の複数のＭＰＥＧ方式の動画像データを合成してマルチ画面映像を生成する動画像合成装置の構成図を図２５に示す。ここで、図２５の第１従来例の動画像合成装置は、合成される元の動画像データが同一種別の符号化形式である場合（つまり、同じピクチャ形式のフレーム同士を合成する場合）に用いられる。
【０００６】
図２５において、第１従来例の動画像合成装置は、合成装置５００により各入力された動画像データにおけるフレームの表示位置情報を合成画面の配置にあわせて変更し、マルチ画面映像（合成動画像）を生成するものである。これにより、入力された動画像データを復号することなく合成動画像に高速に合成することができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記第１従来例の動画像合成装置にあっては、異なる符号化形式のフレーム同士を合成することができず、ビデオカメラで撮影した映像や受信した放送を合成してマルチ画面で一覧表示するようなシステムを構成する場合には、入力される各動画像データのフレームの符号化形式種別が揃っているという保証はないことから、実用性の点で問題があった。
【０００８】
また、複数のＭＰＥＧ方式の動画像データを合成してマルチ画面映像を生成する他の動画像合成装置として、入力された動画像データを復号して合成動画像データを生成してから符号化することにより、入力される動画像データにおけるフレームの符号化形式に関係なく合成動画像を生成する動画像合成装置がある。図２６には、この第２従来例の動画像合成装置の構成図を示す。
【０００９】
同図において、第２従来例の動画像合成装置は、復号化装置６００ａ，６００ｂにより入力された動画像データを一旦ビットマップなどの空間領域の動画像データに復号し、符号化装置６０１により合成動画像データを生成して、再び符号化することにより合成動画像を生成している。これにより、合成しようとする動画像データのフレームの符号化形式種別に関係なく、マルチ画面映像（合成動画像）を生成することができる。
【００１０】
しかしながら、上記第２従来例の動画像合成装置にあっては、動画像データを復号し、再び符号化するために、復号化装置６００ａ，６００ｂおよび符号化装置６０１が必要である。つまり、復号および符号化の複雑な計算を高速に行うためには、より性能の高い高価な装置構成が必要となり、装置コストが増大してしまうという問題があった。また、符号化された動画像データを復号し合成してから再び符号化するので、映像の品質が劣化するという問題もあった。
【００１１】
本発明は、上記従来の事情や問題点に鑑みてなされたものであって、例えばＭＰＥＧ規格に準拠するＩピクチャおよびＰピクチャが任意の順番で混在するような動画像データを合成する際に、Ｉピクチャの符号化種別をＰピクチャ形式に変換することにより、最低限の復号処理で異なる符号化種別を含む動画像データを高速に合成することができる動画像合成装置、動画像合成方法および記録媒体を提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１に係る動画像合成装置は、入力される映像信号をＭＰＥＧ規格に準拠したＩピクチャ形式およびＰピクチャ形式を含む動画像データとして符号化する画像符号化手段と、前記動画像データを蓄積する画像蓄積手段と、前記動画像データのＩピクチャ形式データを前記Ｐピクチャ形式データに変換するフレーム種別変換手段と、前記画像蓄積手段から動画像データを取り出して合成処理する画像合成手段とを備え、異なる符号化種別を含む動画像データを合成する際に、前記画像合成手段は、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００１３】
また、請求項２に係る動画像合成装置は、入力される映像信号をＭＰＥＧ規格に準拠したＩピクチャ形式およびＰピクチャ形式を含む動画像データとして符号化する画像符号化手段と、前記画像符号化手段がマクロブロックデータを可変長符号化する際に、該マクロブロックデータの境界を識別可能なマーキングコードを挿入するマーキングコード挿入手段と、前記動画像データを蓄積する画像蓄積手段と、前記動画像データのマーキングコードを検出して前記Ｉピクチャ形式データのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換するフレーム種別変換手段と、前記画像蓄積手段から動画像データを取り出して合成処理を行なう画像合成手段とを備え、異なる符号化種別を含む動画像データを合成する際に、前記画像合成手段は、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００１４】
また、請求項３に係る動画像合成装置は、請求項２記載の動画像合成装置において、前記マーキングコード挿入手段が挿入するマーキングコードは、前記フレーム種別変換手段によりマクロブロックの符号化種別を変換する際の符号長の減少量が処理系のデータ処理単位の倍数長となるような符号長を持つ符号語であり、前記フレーム種別変換手段は、前記マクロブロックの符号化種別を変換する際に、前記マーキングコードを削除するものである。
【００１５】
また、請求項４に係る動画像合成装置は、請求項２または３記載の動画像合成装置において、前記画像符号化手段がマクロブロックデータを可変長符号化する際に、該マクロブロックデータの符号長が処理系のデータ処理単位となるように、マクロブロックの高周波成分の符号語を変更する符号長調整手段を備えるものである。
【００１６】
また、請求項５に係る動画像合成装置は、ＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピクチャ形式に符号化されたＩピクチャ形式データおよびＰピクチャ形式データを含む動画像データの毎秒最大Ｎ枚（Ｎは正整数）のフレームが入力される複数の画像バッファと、前記複数の画像バッファから動画像データを取り出す際に、動画像データがないときに前記Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段と、前記動画像データのＩピクチャ形式データを前記Ｐピクチャ形式データに変換するフレーム種別変換手段と、前記複数の画像バッファから動画像データを取り出し、Ｎ分の１秒に１回、合成処理を行なう画像合成手段とを備え、異なる符号化種別含む動画像データを合成する際に、前記画像合成手段は、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００１７】
また、請求項６に係る動画像合成装置は、請求項５記載の動画像合成装置において、前記画像合成手段により合成された動画像データの符号化量が一定になるように調整する符号量調整手段を備えるものである。
【００１８】
また、請求項７に係る動画像合成装置は、請求項６記載の動画像合成装置において、前記符号量調整手段は、前記画像合成手段により合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャ形式データを前記スキップフレームに置き換え、所定の範囲より小さい場合には、該動画像データの後ろに所定の補填データを付加するものである。
【００１９】
また、請求項８に係る動画像合成装置は、請求項１，２，３，４，５，６または７記載の動画像合成装置において、前記フレーム種別変換手段は、前記Ｉピクチャ形式データのフレームの符号化種別をＰピクチャ形式の符号語に変換するものである。
【００２０】
また、請求項９に係る動画像合成装置は、請求項１，２，３，４，５，６，７または８記載の動画像合成装置において、前記フレーム種別変換手段は、前記Ｉピクチャ形式データのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換するものである。
【００２１】
また、請求項１０に係る動画像合成装置は、請求項１，２，３，４，５，６，７，８または９記載の動画像合成装置において、前記フレーム種別変換手段は、前記Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるように、マクロブロックスタッフィング（Macroblock Stuffing）コードを挿入するものである。
【００２２】
また、請求項１１に係る動画像合成装置は、請求項１，２，３，４，５，６，７，８，９または１０記載の動画像合成装置において、前記フレーム種別変換手段は、前記Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致するように、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えるものである。
【００２３】
また、請求項１２に係る動画像合成装置は、請求項１，２，３，４，５，６，７，８，９，１０または１１記載の動画像合成装置において、前記画像合成手段により生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換するノイズ削減手段を備えるものである。
【００２４】
また、請求項１３に係る動画像合成方法は、入力される映像信号をＭＰＥＧ規格に準拠したＩピクチャ形式およびＰピクチャ形式を含む動画像データとして符号化する画像符号化ステップと、前記動画像データを蓄積する画像蓄積ステップと、前記動画像データのＩピクチャ形式データを前記Ｐピクチャ形式データに変換するフレーム種別変換ステップと、前記画像蓄積ステップから動画像データを取り出して合成処理する画像合成ステップとを備え、異なる符号化種別を含む動画像データを合成する際に、前記画像合成ステップは、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００２５】
また、請求項１４に係る動画像合成方法は、入力される映像信号をＭＰＥＧ規格に準拠したＩピクチャ形式およびＰピクチャ形式を含む動画像データとして符号化する画像符号化ステップと、前記画像符号化ステップがマクロブロックデータを可変長符号化する際に、該マクロブロックデータの境界を識別可能なマーキングコードを挿入するマーキングコード挿入ステップと、前記動画像データを蓄積する画像蓄積ステップと、前記動画像データのマーキングコードを検出して前記Ｉピクチャ形式データのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換するフレーム種別変換ステップと、前記画像蓄積ステップから動画像データを取り出して合成処理を行なう画像合成ステップとを備え、異なる符号化種別を含む動画像データを合成する際に、前記画像合成ステップは、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００２６】
また、請求項１５に係る動画像合成方法は、請求項１４記載の動画像合成方法において、前記マーキングコード挿入ステップが挿入するマーキングコードは、前記フレーム種別変換ステップによりマクロブロックの符号化種別を変換する際の符号長の減少量が処理系のデータ処理単位の倍数長となるような符号長を持つ符号語であり、前記フレーム種別変換ステップは、前記マクロブロックの符号化種別を変換する際に、前記マーキングコードを削除するものである。
【００２７】
また、請求項１６に係る動画像合成方法は、請求項１４または１５記載の動画像合成方法において、前記画像符号化ステップがマクロブロックデータを可変長符号化する際に、該マクロブロックデータの符号長が処理系のデータ処理単位となるように、マクロブロックの高周波成分の符号語を変更する符号長調整ステップを備えるものである。
【００２８】
また、請求項１７に係る動画像合成方法は、ＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピクチャ形式に符号化されたＩピクチャ形式データおよびＰピクチャ形式データを含む動画像データの毎秒最大Ｎ枚（Ｎは正整数）のフレームを複数の画像バッファに入力する画像入力ステップと、前記複数の画像バッファから動画像データを取り出す際に、動画像データがないときに前記Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成ステップと、前記動画像データのＩピクチャ形式データを前記Ｐピクチャ形式データに変換するフレーム種別変換ステップと、前記複数の画像バッファから動画像データを取り出し、Ｎ分の１秒に１回、合成処理を行なう画像合成ステップとを備え、なる符号化種別を含む動画像データを合成する際に、前記画像合成ステップは、符号化または変換されたＰピクチャ形式データを含む動画像データを合成処理するものである。
【００２９】
また、請求項１８に係る動画像合成方法は、請求項１７記載の動画像合成方法において、前記画像合成ステップにより合成された動画像データの符号化量が一定になるように調整する符号量調整ステップを備えるものである。
【００３０】
また、請求項１９に係る動画像合成方法は、請求項１８記載の動画像合成方法において、前記符号量調整ステップは、前記画像合成ステップにより合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャ形式データを前記スキップフレームに置き換え、所定の範囲より小さい場合には、該動画像データの後ろに所定の補填データを付加するものである。
【００３１】
また、請求項２０に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８または１９記載の動画像合成方法において、前記フレーム種別変換ステップは、前記Ｉピクチャ形式データのフレームの符号化種別をＰピクチャ形式の符号語に変換するものである。
【００３２】
また、請求項２１に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８，１９または２０記載の動画像合成方法において、前記フレーム種別変換ステップは、前記Ｉピクチャ形式データのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換するものである。
【００３３】
また、請求項２２に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８，１９，２０または２１記載の動画像合成方法において、前記フレーム種別変換ステップは、前記Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるように、マクロブロックスタッフィング（Macroblock Stuffing）コードを挿入するものである。
【００３４】
また、請求項２３に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８，１９，２０，２１または２２記載の動画像合成方法において、前記フレーム種別変換ステップは、前記Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致するように、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えるものである。
【００３５】
また、請求項２４に係る動画像合成方法は、請求項１３，１４，１５，１６，１７，１８，１９，２０，２１，２２または２３記載の動画像合成方法において、前記画像合成ステップにより生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換するノイズ削減ステップを備えるものである。
【００３６】
また、請求項２５に係るコンピュータにより読み取り可能な記録媒体は、請求項１３，１４，１５，１６，１７，１８，１９，２０，２１，２２，２３または２４記載の動画像合成方法をコンピュータに実行させるためのプログラムとして記録したものである。
【００３７】
本発明の請求項１，８，９，１０，１１および１２に係る動画像合成装置、請求項１２，２０，２１，２２，２３および２４に係る動画像合成方法、並びに、請求項２５に係る記録媒体では、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成するようにしている。
【００３８】
特に、請求項８および９に係る動画像合成装置、並びに、請求項２０および２１に係る動画像合成方法では、Ｉピクチャ形式データからＰピクチャ形式データへの変換は、フレーム種別変換手段（フレーム種別変換ステップ）において、Ｉピクチャ形式データのフレームの符号化種別をＰピクチャ形式の符号語に変換し、Ｉピクチャ形式データの各マクロブロックの符号化種別をＰピクチャ形式データのイントラマクロブロックを示す符号語に変換することにより行うのが望ましい。
【００３９】
これにより、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化がなく高速に合成動画像を生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【００４０】
また特に、請求項１０に係る動画像合成装置および請求項２２に係る動画像合成方法では、フレーム種別変換手段（フレーム種別変換ステップ）によりマクロブロックの符号化種別を変換する際に、マクロブロックの先頭にマクロブロックスタッフィングコードを複数個挿入して、Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるようにしている。
【００４１】
例えば、データ処理単位が８ビットの処理系において、マクロブロックの符号化種別の変換により４ビットだけ符号長が増加した場合には、４個のマクロブロックスタッフィングコードを挿入することにより、全体として４８ビット増加してしまうが、符号長の増加量が処理系のデータ処理単位の倍数長となり、変換に伴うビットシフト処理等が不要となる。つまり、マクロブロックの符号化種別を計算機等の処理系を用いて変換する際に、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することが可能となる。
【００４２】
また特に、請求項１１に係る動画像合成装置および請求項２３に係る動画像合成方法では、フレーム種別変換手段（フレーム種別変換ステップ）によりマクロブロックの符号化種別を変換する際に、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えるようにしている。
【００４３】
例えば、データ処理単位が８ビット処理系において、マクロブロックの符号化種別の変換により４ビットだけ符号長が増加した場合には、直前のマクロブロックの高周波成分を４ビット減らすことにより全体として符号長が変化しないようにするか、或いは、直前のマクロブロックの高周波成分を４ビット増やすことにより全体として符号長が８ビット増となるようにして、符号長の変化量が処理系のデータ処理単位と一致するようにする。これにより、マクロブロックの符号化種別を計算機等の処理系を用いて変換する際に、Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致し、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することが可能となる。
【００４４】
また特に、請求項１２に係る動画像合成装置および請求項２４に係る動画像合成方法では、フレーム種別変換手段（フレーム種別変換ステップ）によるマクロブロックの符号化種別変換の際に、書き換えられた動画像データの量子化行列の高周波成分をノイズ削減手段（ノイズ削減ステップ）により所定の小さい値に変換するようにしている。これにより、再生時に高速化のために書き換えられた高周波成分により生じる画質の劣化を抑制することができる。
【００４５】
また、本発明の請求項２，３，４，８，９，１０，１１および１２に係る動画像合成装置、請求項１４，１５，１６，２０，２１，２２，２３および２４に係る動画像合成方法、並びに、請求項２５に係る記録媒体では、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、画像符号化手段（画像符号化ステップ）がマクロブロックデータを可変長符号化する際に、マーキングコード挿入手段（マーキング挿入ステップ）により、各マクロブロックデータの高周波成分の符号語としてマクロブロックデータ境界を識別可能なマーキングコードを挿入するようにし、合成の際には、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成するようにしている。
【００４６】
例えば、マーキングコードを“０００００１００００００１０１０１０１０”とすれば、マクロブロックデータの最後を示すＥＯＢ（End Of Code）コード“１０”と結合した“０００００１００００００１０１０１０１０１０”という符号語は、マクロブロックデータ内において最終位置にしか存在せず、この符号語を検出することによりマクロブロックの境界を見つけることができることとなる。したがって、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能であり、また従来のように可変長復号および再符号化処理をする必要がないので、画質の劣化がなく、しかもより高速に合成動画像を生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【００４７】
特に、請求項３に係る動画像合成装置および請求項１５に係る動画像合成方法では、マーキングコード挿入手段（マーキングコード挿入ステップ）により、マクロブロックの符号化種別を変換する際の符号長の減少量が処理系のデータ処理単位の倍数長となるような符号長を持つマーキングコードを挿入し、マクロブロックの符号化種別を変換する際に、挿入したマーキングコードを削除するようにしている。
【００４８】
これにより、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能となり、また挿入したマーキングコードを削除することで、符号化種別の変換による符号長の増減が処理系のデータ処理単位と一致することとなり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することが可能となる。
【００４９】
また特に、請求項４に係る動画像合成装置および請求項１６に係る動画像合成方法では、マクロブロックデータを可変長符号化する際に、符号長調整手段（符号長調整ステップ）により、マクロブロックの高周波成分の符号語を例えば符号長調整符号に書き換えるなどして変更するようにしている。
【００５０】
例えば、データ処理単位が８ビットの処理系において、マクロブロックデータ全体の符号長が、マーキングコードを含めて８ビットの倍数長に対して何ビット不足しているかを計算し、その値に応じた符号長調整符号を挿入する。これにより、マーキングコードを挿入してもマクロブロックデータの符号長が処理系のデータ処理単位となり、マクロブロックの符号化種別を変換する際に、可変長復号することなくデータ処理単位での比較演算のみで変換箇所を特定することが可能となり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することが可能となる。
【００５１】
また特に、請求項１２に係る動画像合成装置および請求項２４に係る動画像合成方法では、マーキングコード挿入手段および符号長調整手段により高周波成分に符号語が付加された動画像データについて、ノイズ削減手段（ノイズ削減ステップ）により量子化行列の高周波成分を所定の小さい値に変換するようにしている。これにより、再生時に高速化のために高周波成分に付加したマーキングコードや符号長調整符号により生じる画質の劣化を少なくし、高速に合成動画像を生成することが可能となる。
【００５２】
さらに、本発明の請求項５，６，７，８，９，１０，１１および１２に係る動画像合成装置、請求項１７，１８，１９，２０，２１，２２，２３および２４に係る動画像合成方法、並びに、請求項２５に係る記録媒体では、動画像データの毎秒最大Ｎ枚のフレームが入力される複数個の画像バッファ（画像入力ステップ）と、Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段（スキップフレーム生成ステップ）とを備えて、画像合成手段（画像合成ステップ）により各画像バッファの動画像データを合成する際に動画像データがない場合、スキップフレームを挿入して、Ｎ分の１秒に１回、合成処理を行なうようにしている。また、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成するようにしている。
【００５３】
これにより、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化がなく高速に合成動画像を生成することが可能であり、しかも、ＭＰＥＧ規格に準拠した毎秒Ｎフレーム分の合成動画像を高速に生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【００５４】
特に、請求項６および７に係る動画像合成装置、並びに、請求項１８および１９に係る動画像合成方法では、合成された動画像データの符号量が一定になるように調整する符号量調整手段（符号量調整ステップ）を備えて、合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャ形式データをスキップフレームに置き換え、所定の範囲より小さい場合には、動画像データの後ろに所定の補填データを付加するようにしている。
【００５５】
例えば、合成動画像データが設定された符号量を超過する場合にはＩピクチャ形式データをスキップフレームに置き換え、不足する場合には補填ビットを挿入することにより、再生時にオーバフローおよびアンダーフローを起こすことなく、遅延やジッタのない滑らかな合成動画像を高速に生成することができる。
【００５６】
【発明の実施の形態】
以下、本発明の動画像合成装置および動画像合成方法の実施の形態について、〔第１の実施形態〕、〔第２の実施形態〕、〔第３の実施形態〕、〔第４の実施形態〕、〔第５の実施形態〕、〔第６の実施形態〕の順に図面を参照して詳細に説明する。
【００５７】
なお、それぞれの実施形態の説明では、本発明に係る動画像合成装置および動画像合成方法について詳述するが、本発明に係る記録媒体については、動画像合成方法を実行させるためのプログラムを記録した記録媒体であることから、その説明は以下の動画像合成方法の説明に含まれるものである。
また、本発明の動画像合成装置および動画像合成方法は、「Ｈ．２６１」、「Ｈ．２６３」、「ＭＰＥＧ１」、「ＭＰＥＧ２」、「ＭＰＥＧ４」の各圧縮符号化方式に適用可能である。
【００５８】
〔第１の実施形態〕
先ず、本発明の第１の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第１の実施形態は、本発明の請求項１，８および９に係る動画像合成装置、並びに、請求項１３，２０および２１に係る動画像合成方法に対応するものである。
【００５９】
図１は第１の実施形態に係る動画像合成装置の構成図である。本実施形態の動画像合成装置は、フレーム種別変換手段１０４によりＩピクチャをＰピクチャに変換することで、復号を行わずに合成処理を行うものである。
同図において、本実施形態の動画像合成装置は、画像符号化手段１０１、画像蓄積手段１０２、画像合成手段１０３およびフレーム種別変換手段１０４を備えて構成されている。
【００６０】
ここで、画像符号化手段１０１は、入力される映像信号１５１をＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピクチャ形式に符号化したＩピクチャおよびＰピクチャを含む動画像データ１５２を生成する。つまり、画像符号化手段１０１は、ビデオカメラなどにより撮像された映像信号１５１を受け取り、１フレーム単位でＭＰＥＧ形式（Ｉピクチャ形式およびＰピクチャ形式）に圧縮符号化して、ＩピクチャおよびＰピクチャを生成する。
【００６１】
例えば、画像符号化手段１０１は、ＭＰＥＧ符号化器であり、その圧縮符号化方法は、図２に示すような過程で行われる。ここで、図２はＭＰＥＧ符号化器１０１における圧縮符号化方法を説明する説明図である。
【００６２】
同図において、入力された映像信号１５１は、先ず、１枚のフレームの画像の内容を示す画素データ１５１に変換され、ＭＰＥＧ符号化器１０１に入力される。この画素データにおける各画素は、輝度Ｙ、色差Ｕおよび色差Ｖで表される。次に、ＭＰＥＧ符号化器１０１は、入力された画素データを、マクロブロックと呼ばれる１６×１６画素の小領域に分割し、各マクロブロック単位で動き予測およびＤＣＴ（離散コサイン）変換を行う。
【００６３】
動き予測は、Ｐピクチャとして圧縮する場合に、直前のフレームの画素データと比較することにより行われる。そして、変化の少ない領域が見つかった場合は、その領域への動きベクトルを記録し、各画素データの変化量を差分データとして計算し、順方向予測マクロブロックとして符号化する。また、変化の少ない領域が見つからない場合には、マクロブロックをイントラマクロブロックとしてそのまま符号化する。
【００６４】
ＤＣＴ変換では、差分データまたは画素データは、輝度Ｙに関してさらに８×８画素の４領域に分割され、また、色差Ｕおよび色差Ｖに関しては８×８画素に間引かれる。そして、８×８の２次元ＤＣＴ変換が施されることにより、それぞれのＤＣＴ係数データが生成される。次に、ＤＣＴ係数データは、量子化が行なわれ、ＭＰＥＧ形式のコードブックに従って可変長符号化されることにより、ＭＰＥＧ形式の動画像データ１５２（ＭＰＥＧビットストリーム）が生成される。ＭＰＥＧ形式に符号化された動画像データの１フレーム分のデータは、図３に示すように、階層構造で構成されている。ここで、図３はＭＰＥＧ形式の１フレーム分のデータ構成を例示する説明図である。
【００６５】
図３において、ＭＰＥＧ形式の１フレームは、フレーム全体の情報を示すピクチャヘッダコード１１および幾つかのスライスデータ１２により構成され、このスライスデータ１２は、スライス全体の情報を示すスライスヘッダコード１７およびスライスを構成する幾つかのマクロブロックデータ１８により構成され、このマクロブロックデータ１８は、マクロブロック全体の情報を示すマクロブロックヘッダ１９と、輝度成分のＤＣＴ係数値を示す４つの輝度ＹＤＣＴ係数データ２０と、色差成分のＤＣＴ係数値を示す色差ＵＤＣＴ係数データ２１および色差ＶＤＣＴ係数データ２２とにより構成されている。
【００６６】
ピクチャヘッダコード１１は、フレームの先頭であることを示すピクチャスタート（ＰＳＴ）コード１３と、フレームの表示順序を示すテンポラルリファレンス（ＴＲ）コード１４と、フレームの符号化種別を示すピクチャコーディングタイプ（ＰＣＴ）コード１５と、フレームを再生した際のバッファの容量を示すビデオバッファディレイ（ＶＤ）コード１６とを備えて構成されている。
【００６７】
また、マクロブロックヘッダコード１９は、マクロブロックの表示位置を示すマクロブロックアドレスインクリメント（ＭＢＡＩ）コード２３と、マクロブロックの符号化種別を示すマクロブロックタイプ（ＭＢＴＹＰＥ）コード２４と、マクロブロックの量子化スケール（ＱＳ）を示すコード２５とを備えている。
【００６８】
次に、画像蓄積手段１０２は、動画像データ１５２を蓄積する。つまり、画像符号化手段１０１によりＩピクチャ形式およびＰピクチャ形式に符号化された動画像データ１５２を画像合成手段１０３により取り出されるまで一時的に蓄積する。
【００６９】
また、画像合成手段１０３は、画像蓄積手段１０２から動画像データを取り出して合成処理する。また、フレーム種別変換手段１０４は、ＩピクチャをＰピクチャに変換する。すなわち、画像合成手段１０３は、画像蓄積手段１０２から合成動画像の１フレーム分の動画像データを取り出して、取り出した動画像データを合成する。
【００７０】
この際、動画像データが異なる符号化形式である場合、画像合成手段１０３は、画像蓄積手段１０２から取り出したＩピクチャをフレーム種別変換手段１０４に出力し、フレーム種別手段１０４は、画像合成手段１０３から受け取ったＩピクチャをＰピクチャに変換する。つまり、Ｉピクチャにおけるピクチャヘッダコード１１のＰＣＴコード１５およびマクロブロックヘッダコード１９のＭＢＴＹＰＥコード２４をＰピクチャ形式に変換する。そして、画像合成手段１０３は、フレーム種別変換手段１０４により変換された動画像データを受け取り合成処理を行うことにより合成動画像１５５を生成する。
【００７１】
次に、以上説明した構成を備える本実施形態の動画像合成装置の動作、即ち動画像合成方法について詳細に説明する。
【００７２】
先ず、画像符号化手段１０１は、入力される映像信号１５１を１フレーム単位でＭＰＥＧ形式のＩピクチャ形式あるいはＰピクチャ形式に圧縮符号化し、画像蓄積手段２０２に出力する。画像蓄積手段１０２は、画像符号化手段１０１により出力された動画像データ１５２を、画像合成手段１０３により指定されて取り出されるまで一時的に蓄積する。
【００７３】
そして、画像合成手段１０３は、画像蓄積手段１０２から合成しようとする各動画像データの１フレーム分のデータを取り込み、合成動画像の１フレーム分のデータを生成する。ここで、図４を参照して画像合成手段１０３の画像合成処理方法を説明する。なお、図４は第１の実施形態における画像合成手段１０３の画像合成処理方法を説明するフローチャートである。
【００７４】
図４において、先ず、ステップＳ４０では、画像合成手段１０３は、画像蓄積手段１０２から合成に使用する各動画像データの１フレーム分のデータを取り出す。そして、ステップＳ４１において、合成するための全ての動画像データが取り出されると、ステップＳ４２では、画像合成手段１０３は、取り出した全動画像データのフレームが全て同一の符号化種別であるか否かを判定し、同一である場合には、ステップＳ４４に進み、そのまま合成処理を行なう。また、Ｉピクチャ形式とＰピクチャ形式の両方のフレームが含まれる場合には、ステップＳ４３において、フレーム種別変換手段１０４が、以下で説明するようなフレーム種別変換方法によりＩピクチャをＰピクチャに変換する。
【００７５】
そして、ステップＳ４４において、画像合成手段１０３は、フレーム種別変換手段１０４により符号化種別が全てＰピクチャ形式に揃えられて動画像データを合成処理する。この合成処理は、合成後の合成画面上の配置にあわせて、各フレームのスライスデータ１２を並べ替え、スライスヘッダコード１９の表示位置情報を修正することで行なわれる。これにより、異なる符号化形式のピクチャ同士でも復号および再符号化処理することなく合成処理を行うことが可能となる。
【００７６】
次に、フレーム種別変換手段１０４におけるフレーム種別変換方法を図５を用いて説明する。図５は第１の実施形態におけるフレーム種別変換手段１０４のフレーム種別変換方法を説明するフローチャートである。
【００７７】
先ず、ステップＳ５０では、フレーム種別変換手段１０４は、ピクチャヘッダコード１１のＰＣＴコード１５をＩピクチャを示す符号化種別からＰピクチャを示す符号語に書き換える。次に、ステップＳ５１では、各マクロブロックデータ１８に対して、マクロブロックヘッダコード１９のＭＢＴＹＰＥコード２４を、Ｉピクチャのイントラマクロブロックを示す符号化種別からＰピクチャのイントラマクロブロックを示す符号語に書き換える。具体的に、この符号語を示せば、図６の如く表される。ここで、図６はＩピクチャおよびＰピクチャのマクロブロックの符号化種別の符号語を例示する説明図である。
【００７８】
図６に示すように、ＭＢＴＹＰＥコード２４は、各マクロブロックの符号化種別に対して量子化スケールを指定する場合および標準の量子化スケールを使う場合の符号語をそれぞれ有している。例えば、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に書き換える場合、元のＩピクチャのＭＢＴＹＰＥコード２４が“０１”であったときは、ＭＢＴＹＰＥコード２４は、“０００００１”に変換される。
【００７９】
また、標準の量子化スケールを使う場合にも同様に、Ｉピクチャのマクロブロックの符号化種別を変換する場合、ＭＢＴＹＰＥコード２４は“１”から“０００１１”に変換される。なお、どちらの符号語を使用する場合でも、変換された符号語の増加量は同じとなる。
【００８０】
上記ステップＳ５１の処理を、全てのマクロブロックのＭＢＴＹＰＥコード２４に対して行い（ステップＳ５２）、Ｉピクチャのマクロブロックの符号化種別を、全てＰピクチャのイントラマクロブロックを示す符号語に書き換える。
【００８１】
以上のように、合成しようとする動画像データが異なる符号化形式の場合でも、フレーム種別変換手段１０４によりＩピクチャにおけるピクチャヘッダコード１１のＰＣＴコード１５およびマクロブロックヘッダコード１９のＭＢＴＹＰＥコード２４をＰピクチャ形式に変換してＩピクチャをＰピクチャに変換することができ、復号および再符号化することなく動画像データを合成することが可能となる。
【００８２】
このように、第１の実施形態の動画像合成装置および動画像合成方法では、ＩピクチャをＰピクチャに変換するフレーム種別変換手段１０４（フレーム種別変換ステップ）を備え、合成しようとする動画像データの符号化種別がＩピクチャ形式とＰピクチャ形式を含む場合に、ＰＣＴコード１５およびＭＢＴＹＰＥコード２４をそれぞれＩピクチャを示す符号化種別からＰピクチャを示す符号語に書き換えて、ＩピクチャをＰピクチャに変換し、画像合成手段１０３（画像合成ステップ）により符号化種別がＰピクチャ形式に揃えられた動画像データを合成している。これにより、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化を伴うことなく高速に合成動画像を生成することができる。
【００８３】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第２の実施形態は、本発明の請求項１，８，９および１０に係る動画像合成装置、並びに、請求項１３，２０，２１および２２に係る動画像合成方法に対応するものである。
【００８４】
本実施形態の動画像合成装置は、図１に示した動画像合成装置（第１の実施形態）のフレーム種別変換手段１０４において、Ｉピクチャの各マクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換する際に、マクロブロックの先頭に符号語（マクロブロックスタッフィングコード（Macroblock Stuffing code）を複数個挿入するようにしたものである。
【００８５】
本実施形態におけるフレーム種別変換手段１０４以外の構成要素の機能および動作については、第１の実施形態と同様であるため詳細な説明は省略する。
【００８６】
図１の動画像合成装置において、第１の実施形態と同様に、映像信号１５１は、画像符号化手段１０１によりＭＰＥＧ形式に圧縮符号化され、画像蓄積手段１０２に一時的に蓄積される。次に、画像合成手段１０３は、合成動画像の１フレーム分のデータを生成するために、画像蓄積手段１０２から合成する各動画像データの１フレーム分のデータを取り込む。
【００８７】
この際、動画像データの符号化種別が異なる場合には、フレーム種別変換手段１０４が、ＰＣＴコード１５の符号化種別をＰピクチャ形式に変換し、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に書き換えて、ＩピクチャをＰピクチャに変換する。例えば、マクロブロックの符号化種別の符号語は、それぞれ図６に示すようなビット構成を有しており、Ｐピクチャのイントラマクロブロックを示す符号語に変換した後のデータ構成は、元のＩピクチャのビット数より４ビット増加した構成となる。
【００８８】
このとき、４ビットの符号長の増加は、１ビット単位でデータを処理するような処理系であれば特に問題にはならないが、多くの計算機で行われているような８ビット単位でデータを処理する処理系においては、符号長が変化した部分以降の全てのマクロブロックデータに対して、４ビットのビットシフト処理を行わねばならない。
【００８９】
このような問題に対し、本実施形態では、フレーム種別変換手段１０４によりＩピクチャの符号長の増加量がデータ処理単位の倍数長となるようにマクロブロックスタッフィングコード（以下、ＭＢＳＴＵＦＦコード）を挿入する。つまり、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に書き換える際にマクロブロックの先頭に符号語であるＭＢＳＴＵＦＦコードを挿入することにより、Ｉピクチャの符号長の増加量がデータ処理単位の倍数長となり、データ処理単位に合わせて各マクロブロックの符号化種別を変換することができるため、マクロブロックの符号化種別を変換する際にマクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するビットシフト処理が不要となる。
【００９０】
以下に、第２の実施形態におけるフレーム種別変換手段１０４のフレーム種別変換方法を図７を用いて説明する。
【００９１】
図７において、先ず、ステップＳ７０では、第１の実施形態のフレーム種別変換手段１０４と同様に、フレーム全体の符号化種別を示すＰＣＴコード１５をＩピクチャからＰピクチャを示す符号語に書き換える。次に、ステップＳ７１では、各マクロブロックの符号化種別をＩピクチャのイントラマクロブロックを示す符号語からＰピクチャのイントラマクロブロックを示す符号語に書き換える。例えば、図６の符号語を用いた場合、符号語の書き換えにより４ビット分だけ符号長が増加する。
【００９２】
この場合、１ビット単位でデータを処理するような処理系であれば、このようなビット単位の符号長の変化は特に問題とならないが、多くの計算機では８ビット単位でデータを処理するため、符号長が変化した部分以降の全てのマクロブロックデータに対して、４ビットのビットシフト処理を行なわねばならない。
【００９３】
そこで、本実施形態のフレーム種別変換手段１０４は、ステップＳ７３において、マクロブロックの符号化種別を示すＭＢＴＹＰＥコード２４を書き換える際に、マクロブロックデータの先頭にＭＢＳＴＵＦＦコードを４個挿入する。このＭＢＳＴＵＦＦコードは、ＭＰＥＧ規格において、データ量が所定のビットレートに対して不足する際に、マクロブロックデータの先頭に１１ビット単位で挿入可能な符号語である。したがって、ステップＳ７２においてＭＢＳＴＵＦＦコードを４個挿入することにより４４ビットのデータが挿入される。ここで、図８に、ＭＢＳＴＵＦＦコードが挿入される前後のマクロブロックデータのデータ構成を例示する説明図を示す。図８（ａ）はＭＢＳＴＵＦＦコードを挿入する前、（ｂ）はＭＢＳＴＵＦＦコードを挿入した後のデータ構成を示している。
【００９４】
図８に示すように、マクロブロックの符号長は、マクロブロックの符号化種別を変換する際にＭＢＳＴＦＦコードを挿入することにより、マクロブロックの符号語の書き換えによる４ビットの増加と、ＭＢＳＴＵＦＦコードの挿入による４４ビットの増加により、全体としてマクロブロックヘッダコード１９の符号長の増加は４８ビットとなる。全体の符号長の増加量としては、８ビットの倍数となるため、マクロブロックヘッダコード１９以降のマクロブロックデータ１８に関してはビットシフト処理が不要になる。
【００９５】
以上のように、第２の実施形態に係る動画像合成装置および動画像合成方法では、フレーム種別変換手段１０４（フレーム種別変換ステップ）において、Ｉピクチャの各マクロブロックの符号語をＰピクチャのイントラマクロブロックを示す符号語に変換する際に、マクロブロックの先頭にＭＢＳＴＵＦＦコードを複数個挿入している。これにより、Ｉピクチャ形式データの符号長の増加量をデータ処理単位の倍数長とすることができ、マクロブロックの符号化種別を変換する際に、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することができる。
【００９６】
なお、本実施形態では、データ処理単位が８ビットである処理系について説明したが、どのような処理単位を持つ処理系に対してもＭＳＢＴＵＦＦコードを挿入することによりシフトビット処理を不要にすることが可能である。この場合、各処理単位に応じて挿入するＭＢＳＴＵＦＦコードの個数を変更する必要がある。
【００９７】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第３の実施形態は、本発明の請求項１，８，９および１１に係る動画像合成装置、並びに、請求項１３，２０，２１および２３に係る動画像合成方法に対応するものである。
【００９８】
本実施形態の動画像合成装置は、図１に示した動画像合成装置（第１の実施形態）のフレーム種別変換手段１０４において、Ｉピクチャの各マクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換する際に、直前のマクブロックの高周波成分の符号語を変換するようにしたものである。なお、第２の実施形態の動画像合成装置と比較すると、追加されるデータ量が少ないためにより高速にデータ処理を行うことが可能である。
【００９９】
本実施形態におけるフレーム種別変換手段１０４以外の構成要素の機能および動作については、第１の実施形態と同様であるため詳細な説明は省略する。
【０１００】
図１の動画像合成装置において、第１の実施形態と同様に、映像信号１５１は、画像符号化手段１０１によりＭＰＥＧ形式に圧縮符号化され、画像蓄積手段１０２に一時的に蓄積される。次に、画像合成手段１０３は、合成動画像の１フレーム分のデータを生成するために、合成しようとする各動画像データの１フレーム分のデータを取り込む。この際、動画像データの符号化種別が異なる場合、フレーム種別変換手段１０４は、ＩピクチャのＰＣＴコード１５の符号化種別をＰピクチャ形式に変換し、マクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に書き換える。
【０１０１】
本実施形態のフレーム種別変換手段１０４は、さらに、この符号語の書き換えにより増加したビットによるビットシフト処理を不要にするために、Ｉピクチャデータの符号長の変化量がデータ処理単位と一致するように直前のマクロブロックの高周波成分の符号語を置き換える。つまり、Ｉピクチャのマクロブロックの符号化種別を変換する際に、各スライスデータの先頭のマクロブロックに関しては、そのマクロブロックの先頭に符号語であるマクロブロックスタッフィングコードを挿入し、それ以外のマクロブロックに関しては、直前のマクロブロックの高周波成分の符号語を置き換える。これにより、データ処理単位に合わせてフレーム種別変換処理を行なうことができ、マクロブロックの符号化情報が記載されている先頭部分以外の符号語に対するビットシフト処理が不要となる。
【０１０２】
ここで、ＭＰＥＧ規格におけるマクロブロックの符号化順序について図９を用いて説明する。図９（ａ）はマクロブロックデータの符号列の符号化順序を示す説明図、図９（ｂ）は２次元ＤＣＴ変換により生成されたＤＣＴ係数行列を示す説明図、図９（ｃ）はＤＣＴ係数の符号列における符号化順序を示す説明図である。
【０１０３】
ＭＰＥＧ規格において、マクロブロックデータ１８は、図９（ａ）に示すように、マクロブロックデータの先頭に前述のＭＢＡＩ１７およびＭＢＴＹＰＥ１８などのマクロブロック全体の情報を示すマクロブロックヘッダコード１９、１６×１６画素のマクロブロックの輝度情報を４つの８×８の画素ブロックに分割し、ＤＣＴ変換した４つの輝度ＹＤＣＴ係数２０、１６×１６画素の色差情報Ｕおよび色差情報Ｖを間引き処理等により８×８の画素ブロックに変換し、ＤＣＴ変換した２つの色差ＵＤＣＴ係数２１および色差ＶＤＣＴ係数２２が符号化されている。
【０１０４】
各２次元ＤＣＴ変換により得られたＤＣＴ係数は、図９（ｂ）に示すように８×８の大きさのＤＣＴ係数行列になっており、同図に示すようにジグザグスキャン順に符号化される。ＤＣＴ係数行列は、高周波成分（図では、６２，６３，６４）が最後に位置するようにスキャンされることにより、図９（ｃ）に示すような符号列が生成される。なお、ＤＣＴ係数行列のスキャン方法としては、オルタネートスキャン方法などもあり、何れのスキャン方法であっても良い。
【０１０５】
マクロブロックの符号列の最後に位置する高周波成分は、データによっても異なるが、符号語を書き換えても画質にあまり影響がない。このため、本実施形態では、フレーム種別変換手段１０４において、図９（ｃ）に示す高周波成分（６２，６３，６４）の符号語を書き換えている。これにより、マクロブロックデータをデータ処理単位の長さに調整し、より高速にデータ処理を行うことが可能になる。
【０１０６】
以下に、フレーム種別変換手段１０４におけるフレーム種別変換方法を図１０を用いて説明する。ここで、図１０は第３の実施形態におけるフレーム種別変換手段１０４のフレーム種別変換方法を説明するフローチャートである。
【０１０７】
同図において、先ず、ステップＳ１００では、第１の実施形態のフレーム種別変換手段１０４と同様に、フレーム全体の符号化種別を示すＰＣＴコードをＩピクチャ形式からＰピクチャ形式を示す符号語に書き換える。ステップＳ１０１では、スライスデータの先頭のマクロブロックの符号化種別をＩピクチャのイントラマクロブロックを示す符号語からＰピクチャのイントラマクロブロックを示す符号語に書き換え、ステップＳ１０２において、第２の実施形態の動画像合成装置と同様に、スライスデータの先頭のマクロブロックに対してＭＢＳＴＵＦＦコードを４個挿入する。
【０１０８】
次に、ステップＳ１０３では、先頭のマクロブロック以外のマクロブロックに対して、ＭＢＴＹＰＥコードを書き換え、ステップＳ１０４において、直前のマクロブロックの高周波成分の符号語を４ビット短い符号語または４ビット長い符号語に変換する。
【０１０９】
ここで、図１１にＭＢＴＹＰＥコードおよび高周波成分の符号語の書き換えを行う前後のマクロブロックデータのデータ構成を例示する説明図を示す。図１１（ａ）は、Ｉピクチャのマクロブロックの符号化種別を変換する前のデータ構成を示したものであり、図１１（ｂ）および１１（ｃ）は、Ｉピクチャのマクロブロックの符号化種別を変換後、直前のマクロブロックの高周波成分の符号語を４ビット短い符号語または４ビット長い符号語に変換したフレーム構成を示している。
【０１１０】
図１１（ｂ）に示すように、高周波成分の符号語を４ビットの短い符号語に変換する場合、マクロブロックデータの符号長は、符号化種別の書き換えにより４ビット増加するが、直前のマクロブロックの高周波成分の符号語が４ビット減少するため、全体として符号長の変化はなく、書き換え箇所前後でビットシフト処理が発生しない。
【０１１１】
また、図１１（ｃ）に示すように、高周波成分の符号語を４ビット長い符号語に変換する場合には、マクロブロックデータの符号長は、符号化種別の書き換えにより４ビット増加し、直前のマクロブロックの高周波成分の符号語が４ビット増加するため、全体として符号長が８ビット増加することとなり、書き換え箇所前後でビットシフト処理が発生しない。
【０１１２】
このように上記ステップＳ１０３および１０４をスライス内の全てのマクロブロックについて行い（ステップＳ１０５）、スライス内の全てのマクロブロックの符号化種別および高周波成分の書き換えが行われると、次に、ステップＳ１０６において、ピクチャ内の全てのスライスに対して処理が行われたか否かが判定される。そして、全てのスライスに対して処理が行われていない場合はステップＳ１０１に戻り、ピクチャ内の全てのスライスについてステップＳ１０１〜ステップＳ１０５における処理をピクチャ内の全てのスライスを処理するまで繰り返し行う。
【０１１３】
以上のように、第３の実施形態の動画像合成装置および動画像合成方法では、フレーム種別変換手段１０４（フレーム種別変換ステップ）において、Ｉピクチャの各マクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換する際に、直前のマクロブロックの高周波成分の符号語を変換している。これにより、Ｉピクチャの符号長の変化量がデータ処理単位と一致し、マクロブロックの符号化種別を変換する際に、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することができる。
【０１１４】
なお、本実施形態では、直前のマクロブロックの高周波成分の符号語を変換したが、直後のマクロブロックの低周波成分の符合語を変換しても、同様に実施可能である。
【０１１５】
また、本実施形態では、データ処理単位が８ビットにおける処理系について説明したが、どのような処理単位を持つ処理系に対しても、処理単位に合わせて高周波成分の符号語を変換することにより、同様に実施可能である。
【０１１６】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第４の実施形態は、本発明の請求項１，２，３，４，８，９および１２に係る動画像合成装置、並びに、請求項１３，１４，１５，１６，２０，２１および２４に係る動画像合成方法に対応するものである。
【０１１７】
図１２は第４の実施形態に係る動画像合成装置の構成図である。本実施形態の動画像合成装置は、図１に示した動画像合成装置に、さらに、マーキングコード挿入手段３５、符号長調整手段２０６およびノイズ削減手段２０７を付加した構成であり、可変長復号せずにフレームの符号化種別の変換処理を行う個所を特定可能とし、変換位置以降のデータに対するビットシフト処理が不要にしてより高速な処理を可能としている。
【０１１８】
図１２において、本実施形態の動画像合成装置は、画像符号化手段２０１、画像蓄積手段２０２、画像合成手段２０３およびフレーム種別変換手段２０４を備えて構成され、さらにマーキングコード挿入手段２０５、符号長調整手段２０６およびノイズ削減手段２０７を備えて構成されている。
【０１１９】
なお、本実施形態における画像蓄積手段２０２および画像合成手段２０３は、第１、第２および第３の実施形態と同様であるため詳細な説明は省略する。
【０１２０】
マーキングコード挿入手段２０５は、画像符号化手段２０１がマクロブロックデータを可変長符号化する際に、マクロブロックデータの境界を識別可能なマーキングコードを挿入する。このマーキングコードは、マクロブロックデータを構成する可変長符号の１つであり、データ処理単位の倍数長より４ビット長い符号語である。マーキングコード挿入手段２０５は、このマーキングコードをマクロブロックの最後を示すＥＯＢ（End Of Block）コードの直前に配置することにより、マクロブロックの境界を検出可能とする。
【０１２１】
また、フレーム種別変換手段２０４は、マーキングコードを検出してＩピクチャのマクロブロックの符号化種別をＰピクチャ形式の符号語に変換する。つまり、マーキングコード挿入手段２０５によりマクロブロックに挿入されたマーキングコードを検出してマクロブロックの境界を検出し、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換する。このように、マーキングコードを検出することで、ＩピクチャのＭＢＴＹＰＥコードの位置を高速および正確に見つけることができるため、マクロブロックの符号化種別を変換する際のデータ処理速度が速くなる。
【０１２２】
また、符号長調整手段２０６は、画像符号化手段２０１がマクロブロックを可変長符号化する際に、マクロブロックデータの符号長がデータ処理単位となるようにマクロブロックの高周波成分の符号語を変更する。つまり、マーキングコードが挿入されることによって増加したマクロブロックの符号長がデータ処理単位となるように、マクロブロックの高周波成分の符号語を変更することにより、マクロブロックの符号化種別を変換する際のビットシフト処理を不要としている。
【０１２３】
また、ノイズ削減手段２０７は、画像合成手段２０３により生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換する。つまり、データ処理速度の高速化のために、マーキングコード挿入手段２０５および符号長調整手段２０６によってマクロブロックの高周波成分に付加された符号語により発生する映像ノイズを削減して、画像が劣化するのを防いでいる。
【０１２４】
以下に、本実施形態の動画像合成装置における画像符号化手段２０１の画像符号化方法、マーキングコード挿入手段２０５のマーキングコード挿入方法および符号長調整手段２０６の符号長調整方法について、図１３〜１５を用いて説明する。ここで、図１３は第４の実施形態における画像符号化手段２０１の画像符号化方法を示すフローチャート、図１４は符号長調整手段２０６が符号長の調整に使用する符号長調整テーブルを例示する説明図、図１５はマーキングコードの挿入および符号長調整が行われたマクロブロックデータのデータ構成を例示する説明図である。
【０１２５】
図１３において、先ず、ステップＳ１３０では、画像符号化手段２０１は、映像信号２５１をマクロブロック単位に分割し、ＤＣＴ変換後、生成された輝度ＹＤＣＴ係数および色差ＵＤＣＴ係数を符号化する。次に、ステップＳ１３１において、色差ＶＤＣＴ係数の第１成分から第６０成分を可変長符号化し、ステップＳ１３２において、色差ＶＤＣＴ係数の第６１成分のレベルを“１”として可変長符号化する。
【０１２６】
ステップＳ１３３では、符号長調整手段２０６が、この時点におけるマクロブロックデータの符号長Ｎを調べ、最後に追加されるマーキングコードを含めて、マクロブロックデータ全体の符号長Ｎがデータ処理単位である８ビットの倍数長に対して何ビット不足しているか求める。すなわち、この不足長は、８−（符号長Ｎ＋マーキングコード長＋ＥＯＢコード）ｍｏｄ８を計算することにより求められる。ここで「ＭｍｏｄＮ」は、自然数Ｍを自然数Ｎで割った余りを求める演算である。
【０１２７】
次に、ステップＳ１３４では、この不足長に応じて、図１４に示す符号長調整テーブルを参照し、符号長調整符号を挿入する。図１４に示すように、符号長調整符号は、ランが０あるいは１でありレベルが比較的小さい可変長符号を最大２つ組み合わせて生成されている。これにより、後にマーキングコードが挿入されてもそのビット数の増加によるビットシフト処理が不要になり、マクロブロックの符号化種別を変換する処理を高速に行うことが可能となる。
【０１２８】
そして、ステップＳ１３５では、マーキングコード挿入手段２０５によりマーキングコードが挿入され、最後に、ステップＳ１３６では、マクロブロックの終了を示すＥＯＢコードが挿入される。
【０１２９】
マーキングコードは、マクロブロックデータを構成する可変長符号の１つであり、図１５に示すように、マクロブロックの最後を示すＥＯＥコードの直前に配置される。例えば、“０００００１００００００１０１０１０１０”は、マーキングコードとして利用可能であり、ＥＯＢコードである“１０”を結合した“０００００１００００００１０１０１０１０１０”という符号語は、マクロブロックデータ内において、マクロブロックの最終位置にしか存在しないので、この符号語を検出することで、マクロブロックの境界を見つけ出すことができる。
【０１３０】
また、マーキングコードは、計算機のデータ処理単位の倍数長より４ビット長い符号語として構成され、上記例では、マクロブロックデータは符号長が２０ビットであり、データ処理単位である８ビットの２倍より４ビット長い符号となっている。これにより、Ｉピクチャのマクロブロックの符号化種別をＰピクチャのイントラマクロブロックを示す符号語に変換することにより４ビット符号長が増加しても、このマーキングコードを削除することにより全体として１６ビット分の減少となり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するビットシフト処理が不要になる。
【０１３１】
ここで、図１５に、ステップＳ１３３〜ステップ１３５において、マクロブロックデータの高周波成分に符号語（符号長調整符号およびマーキングコード）が挿入されたデータ構成を示す。図１５に示すように、マクロブロックデータにおいて、マーキングコードはＥＯＢの前に挿入され、マクロブロックの境界を識別可能にしており、また、符号長調整符号の書き換えによりＥＯＢがバイト境界に位置するように調整されている。
【０１３２】
従来、マクロブロックデータが可変長符号化されていたために、マクロブロックの境界を検出するためには先頭より順次可変長復号する必要があったが、本実施形態では、上述のように、ステップＳ１３５においてマーキングコードを挿入することにより、符号の比較という簡単な処理のみでマクロブロックの境界を検出することができる。また、ステップＳ１３３およびＳ１３４の符号長調整符号の挿入により、マーキングコードの挿入によるビットシフト処理も不要になり、マクロブロックの符号化種別を変換する処理を高速に行うことができる。
【０１３３】
次に、本実施形態のフレーム種別変換手段２０４のフレーム種別変換方法について説明する。図１６は第４の実施形態におけるフレーム種別変換手段２０４のフレーム種別変換方法を説明するフローチャートである。
【０１３４】
図１６において、先ず、ステップＳ１６０では、第１の実施形態と同様に、フレーム種別変換手段２０４によりＰＣＴコードをＰピクチャを示す符号語に変換する。次に、ステップＳ１６１では、各スライスの先頭のマクロブロックに関して、第２の実施形態と同様に、ＭＢＳＴＵＦＦコードを４個挿入する。
【０１３５】
そして、それ以外のマクロブロックに関しては、ステップＳ１６３において、マーキングコードを検出して、マクロブロックの境界を検出する。マーキングコードとＥＯＢコードを結合した符号語は、図１５に示すように最後尾がバイト境界上に存在するので、バイト単位の比較処理で容易に検出可能である。そして、ステップＳ１６４では、マクロブロックの符号化種別を示すＭＢＴＹＰＥコードを書き換え、ステップＳ１６５においてマーキングコードを削除する。
【０１３６】
上記ステップＳ１６３〜ステップＳ１６５の処理をスライス内の全てのマクロブロックに対して行う（ステップＳ１６６）と、続いて、ステップＳ１６１〜ステップＳ１６６の処理をピクチャ内の全てのスライスに対して行う（ステップＳ１６７）。
【０１３７】
ここで、図１７にＭＢＴＹＰＥコードの変換およびマーキングコードを削除する前後のマクロブロックデータのデータ構成を例示する説明図を示す。図１７（ａ）はＭＢＴＹＰＥコードを変換前のマクロブロックデータを、図１７（ｂ）はＭＢＴＹＰＥコードの変換とマーキングコードの削除が行われたマクロブロックデータをそれぞれ示している。図１７（ｂ）に示すように、マクロブロックデータの符号長は、ＭＢＴＹＰＥコードが変換され（即ち、“０１”から“０００００１”の符号語に変換され）、マーキングコードが削除されることにより、マクロブロックの符号語全体としては２バイト短くなる。これにより、マーキングコードを削除しても、マクロブロックの符号化種別の書き換え位置前後でビット単位のずれが生じないため、ビットシフト処理をすることなくマクロブロックの符号化種別を変換することが可能になる。
【０１３８】
上記のようにマーキングコード挿入手段２０５および符号長調整手段２０６は、マクロブロックの符号化種別の書き換えの際に、マクロブロックの境界を可変長復号することなく検出可能にし、またそれにより必要となるビットシフト処理を不要とするが、マクロブロックデータの高周波成分の書き換えにより、画像合成手段２０３により合成された動画像データに映像ノイズが発生し、画像の劣化を生じてしまうという問題がある。
【０１３９】
このような問題に対処するため、本実施形態では、ノイズ削減手段２０７により、画像合成手段２０３が生成した動画像データの量子化行列の高周波成分を所定の小さい値に変換し、マーキングコード挿入手段２０５および符号長調整手段２０６によってマクロブロックの高周波成分に付加された符号語により発生する映像ノイズを削減して、画像が劣化するのを防いでいる。
【０１４０】
以下に、本実施形態のノイズ削減手段２０７について図１８を用いて説明する。図１８は第４の実施形態におけるノイズ削減手段２０７のノイズ削減方法を説明するフローチャートである。また、図１９は量子化行列の符号構成を例示する説明図である。
【０１４１】
図１８において、先ず、ノイズ削減手段２０７は、画像合成手段２０３により合成されたＭＰＥＧ形式の符号列２５５を受け取り、ステップＳ１８０において、入力される符号列からシーケンスヘッダコードを検出し、ステップＳ１８１において、検出したコード中に量子化行列コードが含まれているかをチェックする。
【０１４２】
そして、量子化行列コードが含まれている場合には、ステップＳ１８３へ進む。また、量子化行列コードが含まれていない場合には、ステップＳ１８２に進み、ＭＰＥＧ規格で定められている標準の量子化行列コードを生成し、シーケンスヘッダに挿入する。この量子化行列は、図１９（ａ）に示す各行列成分がジグザグスキャン順に符号化されており、図１９（ｂ）に示すように各成分が８ビットの固定長で符号化される。
【０１４３】
ステップＳ１８３では、量子化行列コードの第６１成分から第６４成分に対応する符号語を“０”または“１”に書き換える。このような、量子化行列コードを符号列に付加することにより、再生時に各マクロブロックの高周波成分は非常に小さいな値として逆量子化されるため、符号長調整手段２０６およびマーキングコード挿入手段２０５で付加した高周波成分の符号語（符号長調整符号およいマーキングコード）により画質が劣化するのを防ぐことができる。なお、ここでは高周波成分を第６１成分から第６４成分としているが、これに限定されることはない。
【０１４４】
以上のように、第４の実施形態の動画像合成装置および動画像合成方法では、マクロブロックの高周波成分の符号語を変更する符号長調整手段２０６（符号長調整ステップ）と、マクロブロックデータの境界を識別可能なマーキングコードを挿入するマーキングコード挿入手段２０５（マーキング挿入ステップ）と、生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換するノイズ削減手段２０７（ノイズ削減ステップ）とを備え、マクロブロックデータを可変長符号化する際に、各マクロブロックデータの高周波成分の符号語としてマーキングコードをマクロブロックの最後を示すＥＯＢ（End Of Block）コードの直前に挿入し、符号長調整手段２０６（符号長調整ステップ）によりマクロブロックの高周波成分の符号語を符号長調整符号に書き換え、マーキングコード挿入手段２０５（マーキング挿入ステップ）および符号長調整手段２０６（符号長調整ステップ）により高周波成分に符号語が付加された動画像データにおいて量子化行列の高周波成分を所定の小さい値に変換している。
【０１４５】
これにより、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能であり、マーキングコードを挿入してもマクロブロックデータの符号長がデータ処理単位となり、マクロブロックの符号化種別を変換する際に、可変長復号することなくデータ処理単位での比較演算のみで変換箇所を特定することが可能であり、再生時に高速化のために高周波成分に付加したマーキングコードや符号長調整符号により生じる画質の劣化がなく、高速に合成動画像を生成することができる。
【０１４６】
また、マーキングコード挿入手段２０５（マーキングコード挿入ステップ）では、マクロブロックの符号化種別を変換する際の符号長の減少量がデータ処理単位の倍数長となるような符号長を持つマーキングコードを挿入し、マクロブロックの符号化種別を変換する際に、挿入したマーキングコードを削除している。
これにより、マーキングコードを削除しても、符号化種別変換による符号長の増減がデータ処理単位と一致することとなり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することができる。
【０１４７】
なお、本実施形態では、計算機のデータ処理単位の倍数長より４ビット長いマーキングコードを使用したが、任意の長さの符号語を用いて書き換え位置の検出だけを行なうものとして、第２の実施形態と組み合わせた形態とすることも可能である。
【０１４８】
また、本実施形態では、符号長調整手段２０６においてマクロブロックデータの符号長をデータ処理単位に調整しているが、この符号長調整手段を省略して、最後尾にマーキングコードを挿入するようにし、マーキングコードの検出をバイト単位ではなくビット単位の比較処理を用いることにより行っても、同様に実施可能である。
【０１４９】
また、本実施形態では、マーキングコードとして１つの可変長符号を利用しているが、コードブック上の可変長符号を複数個組み合わせてマーキングコードを生成するようにしても、同様に実施可能である。
【０１５０】
また、本実施形態では、データ処理単位が８ビットの処理系により説明を行ったが、どのような処理単位を持つ処理系に対しても、処理単位に合わせた符号長調整符号およびマーキングコード用いて変換することにより、同様に実施可能である。
【０１５１】
また、本実施形態では、ノイズ削減手段２０７を備えることにより、符号長調整手段２０６およびマーキングコード挿入手段２０５が付加した符号語により画質の劣化を抑制したが、符号長調整符号およびマーキングコードとしてレベルが低い符号語を選択するようにすれば、ノイズ削減手段２０７を省略することも可能である。
【０１５２】
〔第５の実施形態〕
次に、本発明の第５の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第５の実施形態は、本発明の請求項１および５に係る動画像合成装置、並びに、請求項１３および１７に係る動画像合成方法に対応するものである。
【０１５３】
図２０は第５の実施形態に係る動画像合成装置の構成図である。本実施形態は、最大で毎秒３０フレーム（Ｎ＝３０）で送信されるＭＰＥＧ形式で符号化されたフレームデータを受信し、データが存在しない場合にはスキップフレームを挿入して合成処理を行うことで、ＭＰＥＧ規格に準拠した毎秒３０フレーム分の動画像を実時間で高速に合成するものである。
【０１５４】
同図において、本実施形態の動画像合成装置は、画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄ、スキップフレーム生成手段３０８、画像合成手段３０３およびフレーム種別変換手段３０４を備えて構成されている。
【０１５５】
ここで、画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄは、ＭＰＥＧ規格に準拠するＩピクチャ形式およびＰピクチャ形式に符号化されたＩピクチャおよびＰピクチャを含む動画像データの毎秒最大３０枚のフレームが入力される複数の画像バッファである。つまり、各画像バッファには、ＭＰＥＧ形式で符号化されたＩピクチャまたはＩピクチャからの差分情報を符号化したＰピクチャが１秒間に最大３０枚送信され、画像合成手段３０３が取り出すまで一時的に蓄えられる。
【０１５６】
また、スキップフレーム生成手段３０８は、複数の画像バッファから動画像データを取り出す際に、動画像データがないときにＰピクチャ形式のスキップフレームを生成する。つまり、画像バッファから動画像データを取り出す際に動画像データがない場合には、動きベクトルが“０”であり、差分情報のないＰピクチャ形式の動画像データを生成して、実時間で動画像データの合成を行なうことを可能にする。
【０１５７】
また、フレーム種別変換手段３０４は、ＩピクチャをＰピクチャに変換する。つまり、フレーム種別変換手段３０４は、第１の実施形態のフレーム種別変換手段１０４と同様に、異なる符号化種別同士の動画像データを合成する場合、ＩピクチャのＰＣＴコードおよびＭＢＴＹＰＥコードの符号化種別をＰピクチャ形式に変換する。
【０１５８】
また、画像合成手段３０３は、画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄから動画像データを取り出し、３０分の１秒に１回、合成処理を行なう。つまり、異なる符号化種別同士の動画像データを合成する場合は、フレーム種別変換手段３０４によりＩピクチャをＰピクチャに変換し、Ｐピクチャ形式に揃えられた動画像データを合成処理する。また、この際、画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄから動画像データを取り出す動画像データがない場合には、スキップフレーム生成手段３０８によりスキップフレームを生成させ、生成されたスキップフレームを用いて合成処理することにより、ＭＰＥＧ規格に準拠した毎秒３０フレーム分の合成動画像３５５を実時間で高速に生成することができる。
【０１５９】
以下に、本実施形態の画像合成手段３０３の画像合成処理方法について、図２１を参照して詳細に説明する。ここで、図２１は第５の実施形態における画像合成手段３０３の画像合成処理を説明するフローチャートである。
【０１６０】
図２１において、先ず、画像合成手段３０３は、ステップＳ２１０では、各画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄに動画像データが存在するか否かを調べる。そして、動画像データがある場合は、ステップＳ２１１において画像バッファからその動画像データを取り出す。また、画像バッファに動画像データがない場合には、スキップフレーム生成手段３０８が、再生時に前のフレームと同じ画像を表示させるデータ（スキップフレーム）を生成する。このスキップフレーム生成手段３０８により生成されるスキップフレームデータは、動き予測の値が“０”であり、差分情報がないＰピクチャである。そして、ステップＳ２１３において、上記ステップＳ２１０〜ステップＳ２１２を全てのバッファについて処理するまで繰り返す。
【０１６１】
次に、ステップＳ２１４では、各フレームの符号化種別を判定し、異なる符号化種別を含む場合には、ステップＳ２１５においてＩピクチャからＰピクチャに変換して全てのフレームの符号化種別を揃えた上で、ステップＳ２１６において合成処理を行う。また、ステップＳ２１４において、全ての動画像データのフレームが同じ符号化種別の場合には、ステップＳ２１６に進み、合成処理が行われる。合成処理では、画像合成手段３０３が、３０分の１秒以内に上記ステップＳ２１０からＳ２１５を完了し、３０分の１秒に１回上記ステップＳ２１６を行なうことにより、実時間で動画像データの合成を行なうことができる。
【０１６２】
以上のように、第５の実施形態の動画像合成装置および動画像合成方法では、動画像データの毎秒最大３０枚のフレームが入力される複数個の画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄ（画像入力ステップ）と、Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段３０８（スキップフレーム生成ステップ）とを備え、画像合成手段３０３（画像合成ステップ）により各画像バッファの動画像データを合成する際に動画像データがない場合、スキップフレームを挿入して、３０分の１秒に１回だけ合成処理を行なう。これにより、ＭＰＥＧ規格に準拠した毎秒３０フレーム分の合成動画像を高速に実時間で生成することができる。
【０１６３】
なお、本実施形態では、第１の実施形態と同様に動作するフレーム種別変換手段を用いたが、第２、第３および第４実施形態のフレーム種別変換手段と組み合わせて構成しても、同様に実施可能である。
【０１６４】
また、入力されるデータは、４個と限定されることはなく、合成処理が実時間で処理可能な範囲で、入力数を変更可能である。
【０１６５】
〔第６の実施形態〕
次に、本発明の第６の実施形態に係る動画像合成装置および動画像合成方法について説明する。ここで、第６の実施形態は、本発明の請求項１，６および７に係る動画像合成装置、並びに、請求項１３，１８および１９に係る動画像合成方法に対応するものである。
【０１６６】
図２２は第６の実施形態に係る動画像合成装置の構成図である。本実施形態は、第５の実施形態（図２０参照）に対して符号量調整手段４０９をさらに備え、合成動画像データが設定された符号量を超過する場合には、Ｉピクチャをスキップフレームに置き換え、不足する場合には補填ビットを挿入するものである。
本実施形態における符号量調整手段４０９以外の構成要素の機能および動作については、第５の実施形態と同様であるため詳細な説明は省略する。
【０１６７】
図２２において、符号量調整手段４０９は、画像合成手段４０３により合成された動画像データの符号化量が一定になるように調整する。つまり、合成しようとする全フレームのデータ量を計算し、合成後の平均データ量が規定の上限を超える、即ち画像合成手段４０３により合成された合成動画像データのデータ量が所定の範囲より大きい場合には、一部のデータをスキップフレームに置き換える。また、規定の下限に満たない、即ち所定の範囲より小さい場合には、合成動画像データの最後に意味のない補填データを追加することで、所定の符号量の合成動画像４５５を生成する。
【０１６８】
以下に、第６の実施形態における符号量調整手段４０９の符号量調整方法を説明するフローチャートを図２３に示す。
同図において、先ず、ステップＳ２３０〜ステップＳ２３３では、第５の実施形態と同様に、各画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２ｄから合成動画像の１フレーム分のデータを取り出す。つまり、各画像バッファ３０２ａ，３０２ｂ，３０２ｃ，３０２に動画像データがあるか否かを調べ、ある場合にはその動画像データを画像バッファから取り出す。また、動画像データがない場合いは、スキップフレーム生成手段３０８においてスキップフレームを生成する。このスキップフレームは、動きベクトルが“０”であり差分情報のないＰピクチャである。
【０１６９】
ここで、ＭＰＥＧ規格（特に、ＭＰＥＧ１規格）においては、動画像の平均データ量が大きく変動してはならず、平均データ量が規定の範囲を超過した場合には、復号器においてバッファのオーバフローが発生し、平均データ量が規定の範囲より少ない場合には、復号器においてバッファのアンダーフローが発生し、正常に動画像の再生ができなくなる。
【０１７０】
本実施形態では、ステップＳ２３５において、符号量調整手段４０９により入力された動画像データの全データ量をチェックし、データ量が所定の範囲をオーバしているかを調べ、所定の範囲をオーバしている場合には、ステップＳ２３４において入力されたＩピクチャのどれかをスキップフレームに置き換え、ステップＳ２３５に戻る。上記ステップＳ２３４およびステップＳ２３５における処理動作を、データ量が所定の範囲に収まるまで繰り返す。したがって、平均データ量が規定の範囲より少ない場合に生じる復号器におけるバッファのアンダーフローを防ぐことができる。
【０１７１】
また、ステップＳ２３６〜ステップＳ２３８では、第５の実施形態と同様に、全てのフレームの符号化種別をチェックし、異なる符号化種別のフレームが含まれる場合には、ＩピクチャをＰピクチャに変換する。そして、全てが同じ符号化種別となったフレームを合成処理する。
【０１７２】
次に、ステップＳ２３９では、符号量調整手段４０９において、合成された動画像データのフレームのデータ量をチェックし、所定の範囲に満たない場合には、ステップＳ２４０においてフレームデータの最後に補填データを追加し、所定の範囲に収まるようにデータ量を増加させる。ここで、ＭＰＥＧ規格では、データ量の不足を補うために、フレーム間にデータ量を補填するための符号語を挿入できるため、この符号語を補填データとして用いる。これにより、平均データ量が規定の範囲を超過した場合に発生する復号器におけるバッファのオーバフローを防ぐことができる。
【０１７３】
図２４に、符号量の調整が行なわれた前後のフレーム構成を例示する。図２４（ａ）は調整前のフレーム構成、図２４（ｂ）は調整後のフレーム構成、図２４（ｃ）は調整前後での符号量の推移をそれぞれ示す。なお、図２４（ｃ）における上限および下限が、各フレームのデータ量が収まらなければならない範囲であることを意味している。また図中、ＩはＩピクチャ形式のフレーム、Ｓはスキップフレームを意味する。
【０１７４】
図２４（ａ）の調整前の動画像データでは、１フレーム目から３フレーム目まではデータ量が所定の範囲内にあり、正常に再生可能である。しかし、４フレーム目は、図２４（ｃ）に示すように、調整前のデータ量は大きく、オーバフローが発生してしまうために再生ができない。また、５フレーム目は、データ量が小さ過ぎるため、アンダーフローが発生し再生ができない。
【０１７５】
そこで、本実施形態では、図２４（ｂ）に示すように、４フレーム目の左下のＩピクチャをスキップフレームに変換し、５フレーム目の最後に補填データを追加する。その結果、図２４（ｃ）の調整後のグラフのように、全てのフレームにおいて、データ量が所定の範囲に収まるため、復号器によって正常に再生できるようになる。これにより、再生時にオーバフローおよびアンダーフローを起こすことがなく、動画像を高速に合成することができ、符号量が一定となることで再生時に遅延やジッタのない滑らかな動画像を生成することができる。
【０１７６】
以上のように、第６の実施形態の動画像合成装置および動画像合成方法では、合成された動画像データの符号量が一定になるように調整する符号量調整手段４０９（符号量調整ステップ）と、Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段３０８（スキップフレーム生成ステップ）とを備え、合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャをスキップフレームに置き換え、所定の範囲より小さい場合には、動画像データの後ろに所定の補填データを付加している。これにより、再生時にオーバフローおよびアンダーフローを起こすことなく、遅延やジッタのない滑らかな合成動画像を高速に生成することができる。
【０１７７】
【発明の効果】
以上説明したように、本発明の動画像合成装置、動画像合成方法および記録媒体によれば、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成することとしたので、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化がなく高速に合成動画像を生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【０１７８】
また、本発明によれば、フレーム種別変換手段（フレーム種別変換ステップ）によりマクロブロックの符号化種別を変換する際に、マクロブロックの先頭にマクロブロックスタッフィングコードを複数個挿入して、Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるようにしたので、マクロブロックの符号化種別を計算機等の処理系を用いて変換する際に、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することができる。
【０１７９】
また、本発明によれば、フレーム種別変換手段（フレーム種別変換ステップ）によりマクロブロックの符号化種別を変換する際に、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えることとしたので、マクロブロックの符号化種別を計算機等の処理系を用いて変換する際に、Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致し、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、画質の劣化がなく高速に合成動画像を生成することができる。
【０１８０】
また、本発明によれば、フレーム種別変換手段（フレーム種別変換ステップ）によるマクロブロックの符号化種別変換の際に、書き換えられた動画像データの量子化行列の高周波成分をノイズ削減手段（ノイズ削減ステップ）により所定の小さい値に変換することとしたので、再生時に高速化のために書き換えられた高周波成分により生じる画質の劣化を抑制することができる。
【０１８１】
また、本発明の動画像合成装置、動画像合成方法および記録媒体によれば、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、画像符号化手段（画像符号化ステップ）がマクロブロックデータを可変長符号化する際に、マーキングコード挿入手段（マーキング挿入ステップ）により、各マクロブロックデータの高周波成分の符号語としてマクロブロックデータ境界を識別可能なマーキングコードを挿入するようにし、合成の際には、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成することとしたので、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能であり、また従来のように可変長復号および再符号化処理をする必要がないので、画質の劣化がなく、しかもより高速に合成動画像を生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【０１８２】
また、本発明によれば、マーキングコード挿入手段（マーキングコード挿入ステップ）により、マクロブロックの符号化種別を変換する際の符号長の減少量が処理系のデータ処理単位の倍数長となるような符号長を持つマーキングコードを挿入し、マクロブロックの符号化種別を変換する際に、挿入したマーキングコードを削除することとしたので、マクロブロックの符号化種別を変換する際に、可変長復号せずに変換箇所を特定することが可能となり、また挿入したマーキングコードを削除することで、符号化種別の変換による符号長の増減が処理系のデータ処理単位と一致することとなり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することができる。
【０１８３】
また、本発明によれば、マクロブロックデータを可変長符号化する際に、符号長調整手段（符号長調整ステップ）により、マクロブロックの高周波成分の符号語を変更することとしたので、マーキングコードを挿入してもマクロブロックデータの符号長が処理系のデータ処理単位となり、マクロブロックの符号化種別を変換する際に、可変長復号することなくデータ処理単位での比較演算のみで変換箇所を特定することが可能となり、マクロブロックの符号化情報が記述されている先頭部分以外の符号語に対するデータ処理が不要になり、より高速に合成動画像を生成することができる。
【０１８４】
また、本発明によれば、マーキングコード挿入手段および符号長調整手段により高周波成分に符号語が付加された動画像データについて、ノイズ削減手段（ノイズ削減ステップ）により量子化行列の高周波成分を所定の小さい値に変換することとしたので、再生時に高速化のために高周波成分に付加したマーキングコードや符号長調整符号により生じる画質の劣化を少なくし、高速に合成動画像を生成することができる。
【０１８５】
また、本発明の動画像合成装置、動画像合成方法および記録媒体によれば、動画像データの毎秒最大Ｎ枚のフレームが入力される複数個の画像バッファ（画像入力ステップ）と、Ｐピクチャ形式のスキップフレームを生成するスキップフレーム生成手段（スキップフレーム生成ステップ）とを備えて、画像合成手段（画像合成ステップ）により各画像バッファの動画像データを合成する際に動画像データがない場合、スキップフレームを挿入して、Ｎ分の１秒に１回、合成処理を行なうようにし、また、合成しようとする動画像データがＩピクチャ形式とＰピクチャ形式の異なる符号化種別を含む場合に、フレーム種別変換手段（フレーム種別変換ステップ）によりＩピクチャ形式データをＰピクチャ形式データに変換し、符号化種別がＰピクチャ形式に揃えられた動画像データを画像合成手段（画像合成ステップ）により合成することとしたので、従来のように可変長復号および再符号化処理をする必要がなく、画質の劣化がなく高速に合成動画像を生成することが可能であり、しかも、ＭＰＥＧ規格に準拠した毎秒Ｎフレーム分の合成動画像を高速に生成することが可能な優れた動画像合成装置、動画像合成方法および記録媒体を実現することができる。
【０１８６】
さらに、本発明によれば、合成された動画像データの符号量が一定になるように調整する符号量調整手段（符号量調整ステップ）を備えて、合成された動画像データのデータ量が所定の範囲より大きい場合には、Ｉピクチャ形式データをスキップフレームに置き換え、所定の範囲より小さい場合には、動画像データの後ろに所定の補填データを付加することとしたので、再生時にオーバフローおよびアンダーフローを起こすことなく、遅延やジッタのない滑らかな合成動画像を高速に生成することができる。
【図面の簡単な説明】
【図１】第１の実施形態に係る動画像合成装置の構成図である。
【図２】ＭＰＥＧ符号化器における圧縮符号化方法を説明する説明図である。
【図３】ＭＰＥＧ形式の１フレーム分のデータ構成を例示する説明図である。
【図４】第１の実施形態における画像合成手段の画像合成処理を説明するフローチャートである。
【図５】第１の実施形態におけるフレーム種別変換手段のフレーム種別変換方法を説明するフローチャートである。
【図６】ＩピクチャおよびＰピクチャのマクロブロックの符号化種別の符号語を例示する説明図である。
【図７】第２の実施形態におけるフレーム種別変換手段のフレーム種別変換方法を説明するフローチャートである。
【図８】ＭＢＳＴＵＦＦコードが挿入される前後のマクロブロックデータのデータ構成を例示する説明図。
【図９】ＭＰＥＧ規格におけるマクロブロックの符号化順序を説明する説明図である。
【図１０】第３の実施形態におけるフレーム種別変換手段のフレーム種別変換方法を説明するフローチャートである。
【図１１】ＭＢＴＹＰＥコードおよび高周波成分の符号語の書き換えを行う前後のマクロブロックデータのデータ構成を例示する説明図を示す。
【図１２】第４の実施形態に係る動画像合成装置の構成図である。
【図１３】第４の実施形態における画像符号化手段の画像符号化方法を説明するフローチャートである。
【図１４】符号長調整手段が符号長の調整に使用する符号長調整テーブルを例示する説明図である。
【図１５】第４の実施形態におけるマーキングコードの挿入および符号長調整が行われたマクロブロックデータのデータ構成を例示する説明図である。
【図１６】第４の実施形態におけるフレーム種別変換手段のフレーム種別変換方法を説明するフローチャートである。
【図１７】ＭＢＴＹＰＥコードの変換およびマーキングコードを削除する前後のマクロブロックデータのデータ構成を例示する説明図である。
【図１８】第４の実施形態におけるノイズ削減手段のノイズ削減方法を説明するフローチャートである。
【図１９】量子化行列の符号構成を説明する説明図である。
【図２０】第５の実施形態に係る動画像合成装置の構成図である。
【図２１】第５の実施形態における画像合成手段の画像合成処理を説明するフローチャートである。
【図２２】第６の実施形態に係る動画像合成装置の構成図である。
【図２３】第６の実施形態における符号量調整手段の符号量調整方法を説明すフローチャートである。
【図２４】符号量の調整が行なわれた前後のフレーム構成を例示する説明図である。
【図２５】第１従来例の動画像合成装置の説明図である。
【図２６】第２従来例の動画像合成装置の説明図である。
【符号の説明】
１１ ピクチャヘッダコード
１２ スライスデータ
１３ ＰＳＣコード
１４ ＴＲコード
１５ ＰＣＴコード
１６ ＶＤコード
１７ スライスヘッダコーダ
１８ マクロブロックデータ
１９ マクロブロックヘッダコード
２０ 輝度ＹＤＣＴ係数コード
２１ 色差ＵＤＣＴ係数コード
２２ 色差ＶＤＣＴ係数コード
２３ ＭＢＡＩコード
２４ ＭＢＴＹＰＥコード
２５ ＱＳコード
１０１，２０１ 画像符号化手段
１０２，２０２ 画像蓄積手段
１０３，２０３，３０３，４０３ 画像合成手段
１０４，２０４，３０４ フレーム種別変換手段
１５１，２５１ 映像信号
１５３ 動画像データ
１５５，２５６，３５５，４５５ 合成動画像
２０５ マーキングコード挿入手段
２０６ 符号長調整手段
２０７ ノイズ削減手段
２５５ ＭＰＥＧ形式の符号列
３０２ａ，３０２ｂ，３０２ｃ，３０２ｄ 画像バッファ
３０８ スキップフレーム生成手段
４０９ 符号量調整手段
Claims (10)
- ＭＰＥＧ規格に準拠したＩピクチャ形式データおよび第１のＰピクチャ形式データを含む複数の動画像データを合成する動画像合成装置であって、当該動画像合成装置は、
前記Ｉピクチャ形式データおよび前記第１のＰピクチャ形式データを含む動画像データに挿入された、マクロブロックデータの境界を識別可能なマーキングコードを検出し、前記Ｉピクチャ形式データのイントラマクロブロックの符号化種別をＰピクチャ形式データのイントラマクロブロックを示す符号語に変換し、前記第１のＰピクチャ形式データおよび第２のＰピクチャ形式データを含む動画像データを生成する変換手段と、
前記第１のＰピクチャ形式データおよび前記第２のＰピクチャ形式データを含む複数の動画像データを合成処理する画像合成手段と、を備えることを特徴とする動画像合成装置。 - 前記変換手段は、前記マクロブロックの符号化種別を変換する際に、前記マーキングコードを削除することを特徴とする請求項１記載の動画像合成装置。
- 前記変換手段は、前記Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるように、マクロブロックスタッフィング（Macroblock Stuffing）コードを挿入することを特徴とする請求項１または２記載の動画像合成装置。
- 前記変換手段は、前記Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致するように、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えることを特徴とする請求項１ないし３のいずれか１項記載の動画像合成装置。
- 前記画像合成手段により生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換するノイズ削減手段を備えることを特徴とする請求項１ないし４のいずれか１項記載の動画像合成装置。
- コンピュータが、ＭＰＥＧ規格に準拠したＩピクチャ形式データおよび第１のＰピクチャ形式データを含む複数の動画像データを合成する動画像合成方法であって、
前記Ｉピクチャ形式データおよび前記第１のＰピクチャ形式データを含む動画像データに挿入された、マクロブロックデータの境界を識別可能なマーキングコードを検出し、前記Ｉピクチャ形式データのイントラマクロブロックの符号化種別をＰピクチャ形式データのイントラマクロブロックを示す符号語に変換し、前記第１のＰピクチャ形式データおよび第２のＰピクチャ形式データを含む動画像データを生成する変換ステップと、
前記第１のＰピクチャ形式データおよび前記第２のＰピクチャ形式データを含む複数の動画像データを合成処理する画像合成ステップと、を備えることを特徴とする動画像合成方法。 - 前記変換ステップは、前記マクロブロックの符号化種別を変換する際に、前記マーキングコードを削除することを特徴とする請求項６記載の動画像合成方法。
- 前記変換ステップは、前記Ｉピクチャ形式データの符号長の増加量が処理系のデータ処理単位の倍数長となるように、マクロブロックスタッフィング（Macroblock Stuffing）コードを挿入することを特徴とする請求項６または７記載の動画像合成方法。
- 前記変換ステップは、前記Ｉピクチャ形式データの符号長の変化量が処理系のデータ処理単位と一致するように、直前のマクロブロックの高周波成分または直後のマクロブロックの低周波成分の符号語を書き換えることを特徴とする請求項６ないし８のいずれか１項記載の動画像合成方法。
- 前記画像合成ステップにより生成された動画像データの量子化行列の高周波成分を所定の小さい値に変換するノイズ削減ステップを備えることを特徴とする請求項６ないし９のいずれか１項記載の動画像合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32300299A JP4274653B2 (ja) | 1999-11-12 | 1999-11-12 | 動画像合成装置および動画像合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32300299A JP4274653B2 (ja) | 1999-11-12 | 1999-11-12 | 動画像合成装置および動画像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001145112A JP2001145112A (ja) | 2001-05-25 |
| JP4274653B2 true JP4274653B2 (ja) | 2009-06-10 |
Family
ID=18150050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32300299A Expired - Lifetime JP4274653B2 (ja) | 1999-11-12 | 1999-11-12 | 動画像合成装置および動画像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4274653B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4569968B2 (ja) * | 2006-06-13 | 2010-10-27 | Ｋｄｄｉ株式会社 | 動画像合成装置及びプログラム |
| US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| JP2009131319A (ja) * | 2007-11-28 | 2009-06-18 | Olympus Corp | 画像処理装置、及び画像処理システム |
| CA2728797A1 (en) * | 2008-06-25 | 2010-04-22 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
| JP5979406B2 (ja) * | 2012-02-22 | 2016-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
| US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| WO2014145921A1 (en) | 2013-03-15 | 2014-09-18 | Activevideo Networks, Inc. | A multiple-mode system and method for providing user selectable video content |
| EP3005712A1 (en) | 2013-06-06 | 2016-04-13 | ActiveVideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
-
1999
- 1999-11-12 JP JP32300299A patent/JP4274653B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001145112A (ja) | 2001-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8638849B2 (en) | Transcoding system using encoding history information | |
| JP5072893B2 (ja) | 画像符号化方法および画像復号化方法 | |
| US6798977B2 (en) | Image data encoding and decoding using plural different encoding circuits | |
| JP2002199402A (ja) | 離散コサイン変換コード化された信号を符号変換するシステムおよびそれに関連する方法 | |
| JP4532980B2 (ja) | 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| US7421129B2 (en) | Image compression and synthesis for video effects | |
| JP2004343280A (ja) | 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム | |
| JP4274653B2 (ja) | 動画像合成装置および動画像合成方法 | |
| JP4023324B2 (ja) | 透かし埋め込み及び画像圧縮部 | |
| CN1650629B (zh) | 编码设备和方法、编辑设备和方法 | |
| JPWO2002080574A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
| JP4823090B2 (ja) | 画像符号化装置 | |
| JPH08256308A (ja) | ディジタルビデオテ−プレコ−ダのビットストリ−ム配置／復元方法およびそれに適合なデ−タ圧縮装置および伸長装置 | |
| US8873878B2 (en) | Image processing apparatus and method with reduced processing load | |
| JPH10174098A (ja) | 映像データ圧縮装置およびその方法 | |
| US20080253447A1 (en) | Video Transcoding with Selection of Data Portions to be Processed | |
| JP5080304B2 (ja) | 秘匿データが挿入された画像データの表示方式 | |
| US20060130103A1 (en) | Video playback device | |
| KR100394013B1 (ko) | 비디오 스냅 영상용 변환 부호화 장치 | |
| JPH10174106A (ja) | 映像データ圧縮装置およびその方法 | |
| JP2820636B2 (ja) | 動画像圧縮装置 | |
| JP4193224B2 (ja) | 動画像符号化装置及び方法並びに動画像復号装置及び方法 | |
| JP2002185969A (ja) | 動画像符号化データの形式変換方法及び装置 | |
| JP3307367B2 (ja) | 可変転送レート符号化装置 | |
| JPH08163561A (ja) | 画像データ圧縮装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060905 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071121 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080820 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081015 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20081015 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090303 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |