JP2000232625A

JP2000232625A - 符号化データ編集多重化装置

Info

Publication number: JP2000232625A
Application number: JP3270599A
Authority: JP
Inventors: Hideki Takehara; 英樹竹原
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1999-02-10
Filing date: 1999-02-10
Publication date: 2000-08-22

Abstract

(57)【要約】【課題】動画像符号化データを編集する場合、編集後
の復号化時にバッファにアンダーフローまたはオーバー
フローが発生する可能性があり、それを防止するため、
再符号化すると装置のコストが高くなり、画質の劣化を
引き起こす。【解決手段】多重化制御部６は、ｖｄ１＞ｖｄ２であ
る場合には、ピクチャＩ₂₀を多重化するタイミングを
（ｖｄ１−ｖｄ２）時間分だけ遅延させる。よって、こ
の期間中は、多重化部７には、２つの動画像符号化デー
タはどちらも入力されず、バッファ占有量は復号により
減少する。その後、多重化制御部６は、スイッチ５の可
動端子５ｄを端子５ｂに切り換え接続するようにスイッ
チ５を制御する。多重化制御部６は、ｖｄ１＜ｖｄ２で
ある場合には、（ｖｄ２−ｖｄ１）時間分だけ符号化デ
ータを蓄積できるようにするため、ピクチャＩ₂₀を復号
化（デコード）するタイミングを（ｖｄ２−ｖｄ１）時
間分だけ遅延させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は符号化データ編集多
重化装置に係り、特に動画像符号化データを編集するの
に好適な符号化データ編集多重化装置に関する。

【０００２】

【従来の技術】従来より広く知られている動画像符号化
方式として、ＭＰＥＧ２（Moving Picture Experts Gro
up phase 2）と呼ばれる動画像符号化方式がある。ＭＰ
ＥＧ２では、画像間の動き補償（ＭＣ）予測と８×８画
素の離散コサイン変換（ＤＣＴ）を行い、これにより得
られる信号に対してさらに量子化、及び可変長符号化を
施すものである。また、ＭＣ予測の種類としては、過去
の画像を参照画像とする前方予測、未来の画像を参照画
像とする後方予測、過去、未来両方の画像を参照画像と
する双方向予測、及び予測を用いないイントラの各モー
ドがある。

【０００３】このＭＣ予測モードは、１６×１６画素の
マクロブロック毎に設定可能であるが、符号化画像（ピ
クチャ）の種類（ピクチャタイプ）により使用できるモ
ードが決められている。ピクチャタイプには３種類があ
る。イントラマクロブロックのみで構成されるＩピクチ
ャ、イントラ及び前方予測マクロブロックで構成される
Ｐピクチャ、すべてのＭＣ予測モードが許されるＢピク
チャがそれである。

【０００４】ここでＩピクチャは予測を用いず、原画像
自体をＤＣＴ変換し、量子化、可変長符号化されたもの
であるので、単独の符号化データで復号が可能であるの
に対し、Ｐピクチャは入力画像順で過去の、すでに符号
化されたＩまたはＰピクチャとのＭＣ予測誤差信号をＤ
ＣＴ変換、量子化、可変長符号化されたもの、そしてＢ
ピクチャは過去及び未来の、すでに符号化されたＩまた
はＰピクチャとのＭＣ予測誤差信号をＤＣＴ変換、量子
化、可変長符号化されたものである。このためＰ及びＢ
ピクチャの復号は、これに先行して、Ｉピクチャより始
まる参照画像の復号を行う必要がある。

【０００５】ＭＰＥＧ２では、任意数の上記タイプのピ
クチャにより構成されるＧＯＰ（group of pictures）
という階層を持ち得る。このＧＯＰで最初に符号化され
るピクチャはＩピクチャと定められており、このＩピク
チャの前にはＧＯＰの先頭であることを示すＧＯＰヘッ
ダが挿入される。このＧＯＰヘッダ中には、タイムコー
ド、そのＧＯＰを構成する符号化データがＧＯＰ内のデ
ータのみで復号可能、すなわち前のＧＯＰの画像データ
を参照しない独立したＧＯＰ（closed GOP）であるかど
うかを示すフラグ（closed_gop）、そして本来前のＧＯ
Ｐの画像データを参照する必要があるが、編集によりこ
れができなくなったことを示すフラグ（broken_link）
があり、ＧＯＰを単位として編集が行えるような工夫が
なされている。

【０００６】図５はこのようなＭＰＥＧ２による符号化
データ供給部を備えた従来の符号化データ編集装置の構
成を示すブロック図である。図６には編集される符号化
データの例を示す。編集はＧＯＰを単位として行われ
る。図５において、動画像符号化データ供給部１は図６
（ａ）に編集ポイント（編集点）２１より前の部分が２
２ａ、後の部分が２２ｂで模式的に示される、ＭＰＥＧ
２による第１の動画像符号化ストリームを発生してスイ
ッチ１６の端子１６ａに供給する。

【０００７】また、動画像符号化データ供給部２は図６
（ｂ）に編集ポイント（編集点）２１より前の部分が２
３ａ、後の部分が２３ｂで模式的に示される、ＭＰＥＧ
２による第２の動画像符号化ストリームを発生してスイ
ッチ１６の端子１６ｂに供給する。なお、ここでは、上
記の第１の動画像符号化ストリームと第２の動画像符号
化ストリームの符号化レートは固定で等しいとする。一
方、図５に示す音声符号化データ供給部３は、ＭＰＥＧ
で符号化された固定レートの音声符号化データを発生し
て、多重化制御部１５に供給する。

【０００８】多重化制御部１５は動画像符号化データ供
給部１と音声符号化データ供給部３から動画像及び音声
それぞれの符号化レートの情報を得て、それらの符号化
レート比によって多重化制御を行い、それを多重化部１
７に伝える。ここでの多重化アルゴリズムは、固定レー
トのときに一般的に行われている符号化レート比による
制御方式で行われる。

【０００９】また、多重化制御部１５は編集ポイント２
１に到達すると、スイッチ１６に端子１６ａから端子１
６ｂに切り替えるように指示する。これにより、スイッ
チ１６の可動端子１６ｃからは、図６（ｃ）に模式的に
示すように、編集ポイント（編集点）２１より前の第１
の動画像符号化ストリーム２２ａと、編集ポイント２１
より後の第２の動画像符号化ストリーム２３ｂとが時分
割的に多重された１つの動画像符号化データが取り出さ
れ、多重化部１７へ供給される。

【００１０】多重化部１７は、スイッチ１６から取り出
された上記の１つの動画像符号化データを、１アクセス
ユニット（１フレームで１ピクチャに相当）当たり１つ
のＰＥＳ（パケット化エレメンタリ・ストリーム）パケ
ットに挿入したパケット単位に分割すると共に、音声符
号化データ供給部３からの１つの音声符号化データは、
ｎアクセスユニット（ｎは整数）当たり１つのＰＥＳパ
ケットに挿入する。さらに多重化部１７は多重化制御部
１５からの指示がない場合には、スタッフィングパケッ
トをＰＥＳパケットに多重化する機能を有する。

【００１１】更に、多重化部１７は、上記のＰＥＳパケ
ット化が行われた動画像符号化データと音声符号化デー
タとを、ＭＰＥＧ２のＰＳ（プログラム・ストリーム）
に多重化する。なお、このＰＳには、アクセスユニット
に応じた復号時刻や提示時刻、メディア識別情報や基準
時刻情報なども多重されている。

【００１２】ところで、上記の動画像符号化データは１
ピクチャ毎に情報に応じて可変長の符号量を持ってお
り、このような可変長データを固定の転送レートで符号
化する場合は、復号器のバッファ量を最大値とすると、
一定速度でデータが溜まった所から、所定の時間単位で
復号化を一瞬で行う、ＶＢＶ（Video Buffering Verifi
er）と呼ばれる仮想デコーダモデルを符号化器の出力に
接続して使用し、そのデコード・バッファがオーバーフ
ローもアンダーフローも発生しないように符号化するこ
とがＭＰＥＧで規定されている。

【００１３】ここで、ＭＰＥＧでは、符号化器におい
て、上記のＶＢＶのバッファ占有量を所定クロック周期
で示すｖｂｖ＿ｄｅｌａｙ値が規定されており、次に、
前記第１の動画像符号化データの編集ポイント後に最初
に現れるアクセスユニットＩ₁₀のｖｂｖ＿ｄｅｌａｙ値
であるｖｄ１と、前記第２の動画像符号化データの編集
ポイント後に最初に現れるアクセスユニットＩ₂₀のｖｂ
ｖ＿ｄｅｌａｙ値であるｖｄ２の大きさの関係を３つの
場合に分けて、多重化後の動画像符号化データをデコー
ドしたデコード・バッファのバッファ占有値の遷移の様
子について説明する。

【００１４】まず、ｖｄ１＝ｖｄ２である場合の多重化
例について、図７と共に説明する。なお、図７及び後述
の図３、図４、図８及び図９は、１フレーム（１ピクチ
ャ）単位でデコード・バッファのバッファ占有値の遷移
を示しており、ＩはＩピクチャ、ＰはＰピクチャを示
し、また、Ｉ及びＰのいずれも記載していない変曲点部
分はＢピクチャである。

【００１５】図７（ａ）は第１の動画像符号化データを
デコードした場合の編集ポイント２５付近におけるデコ
ード・バッファ占有量遷移を示したものであり、第１の
動画像符号化データの編集ポイント２５後に最初に現れ
るアクセスユニットＩ₁₀のｖｂｖ＿ｄｅｌａｙ値である
ｖｄ１も図示されている。図７（ｂ）は第２の動画像符
号化データをデコードした場合の編集ポイント後のデコ
ード・バッファ占有量遷移を示したものであり、第２の
動画像符号化データの編集ポイント２５後に最初に現れ
るアクセスユニットＩ₂₀のｖｂｖ＿ｄｅｌａｙ値である
ｖｄ２も図示されている。

【００１６】これらの第１及び第２の動画像符号化デー
タを編集ポイント２５で接続すると、編集後の動画像符
号化データをデコードした場合の編集点付近におけるデ
コード・バッファ占有量遷移は、図７（ｃ）に示すよう
に、デコード・バッファがオーバーフローやアンダーフ
ローすることなく多重化される。

【００１７】次に、ｖｄ１＞ｖｄ２である場合の多重化
例について、図８と共に説明する。図８（ａ）は第１の
動画像符号化データをデコードした場合の編集ポイント
２７付近におけるデコード・バッファ占有量遷移を示し
たものであり、第１の動画像符号化データの編集ポイン
ト２７後に最初に現れるアクセスユニットＩ₁₀のｖｂｖ
＿ｄｅｌａｙ値であるｖｄ１も図示されている。

【００１８】図８（ｂ）は第２の動画像符号化データを
デコードした場合の編集ポイント後のデコード・バッフ
ァ占有量遷移を示したものであり、第２の動画像符号化
データの編集ポイント２７後に最初に現れるアクセスユ
ニットＩ₂₀のｖｂｖ＿ｄｅｌａｙ値であるｖｄ２も図示
されている。この場合、ｖｄ２＜ｖｄ１である。

【００１９】これらの第１及び第２の動画像符号化デー
タを編集ポイント２７で接続すると、編集後の動画像符
号化データをデコードした場合の編集点付近におけるデ
コード・バッファ占有量遷移は、図８（ｃ）に示され
る。この場合には、編集後の動画像符号化データのデコ
ード・バッファは、図８（ｃ）のように編集ポイント２
７以降でオーバーフローする可能性がある。これは、ｖ
ｄ１がｖｄ２より大きいため、アクセスユニットＩ₂₀を
デコードする時点において、デコード・バッファにデー
タが蓄積過ぎているために起こる。

【００２０】最後に、ｖｄ１＜ｖｄ２である場合の多重
化例について、図９と共に説明する。図９（ａ）は第１
の動画像符号化データをデコードした場合の編集ポイン
ト２９付近におけるデコード・バッファ占有量遷移を示
したものであり、第１の動画像符号化データの編集ポイ
ント２９後に最初に現れるアクセスユニットＩ₁₀のｖｂ
ｖ＿ｄｅｌａｙ値であるｖｄ１も図示されている。

【００２１】図９（ｂ）は第２の動画像符号化データを
デコードした場合の編集ポイント２９後のデコード・バ
ッファ占有量遷移を示したものであり、第２の動画像符
号化データの編集ポイント２９後に最初に現れるアクセ
スユニットＩ₂₀のｖｂｖ＿ｄｅｌａｙ値であるｖｄ２も
図示されている。この場合、ｖｄ２＞ｖｄ１である。

【００２２】これらの第１及び第２の動画像符号化デー
タを編集ポイント２９で接続すると、編集後の動画像符
号化データをデコードした場合の編集点付近におけるデ
コード・バッファ占有量遷移は、図９（ｃ）に示され
る。この場合には、編集後の動画像符号化データのデコ
ード・バッファは、図９（ｃ）のように、編集ポイント
２９以降でアンダーフローする可能性がある。これは、
ピクチャＩ₂₀で必要とされるアクセスユニットが、デコ
ードする以前にデコーダ・バッファに蓄積されていなけ
ればならないが、ｖｄ１がｖｄ２より短いため、デコー
ダ・バッファに十分に蓄積されないために起こる。

【００２３】また、オーバーフローやアンダーフローを
生じさせないようにするために、編集ポイント以降を符
号化し直す（再符号化する）という方法もあるが、それ
には動画像の符号化装置が必要となる。一般に符号化装
置は規模が大きく、費用もかかる。しかも再符号化する
と一般的に画質は劣化する。

【００２４】

【発明が解決しようとする課題】このように、動画像符
号化データを編集する場合、編集後の復号化時にデコー
ド・バッファにアンダーフローまたはオーバーフローが
発生する可能性がある。また、オーバーフローやアンダ
ーフローを防ぐために、再符号化すると装置のコストが
高くなり、画質の劣化を引き起こす。

【００２５】本発明は以上の点に鑑みなされたもので、
再符号化することなく、復号化時にデコード・バッファ
のオーバーフローやアンダーフローを起こさないように
符号化データの編集を行うことのできる符号化データ編
集多重化装置を提供することを目的とする。

【００２６】

【課題を解決するための手段】本発明は上記の目的を達
成するため、本発明の符号化データ編集多重化装置は、
第１の符号化ストリームの任意の編集ポイントより前の
部分の第１の符号化データの後に、第２の符号化ストリ
ームの任意の編集ポイントより後の部分の第２の符号化
データを繋げる編集を行う符号化データ編集多重化装置
において、互いに符号化レートが等しい、第１及び第２
の符号化ストリームを出力すると共に、第１の符号化ス
トリームの編集ポイントの後に最初に現れるアクセスユ
ニットの、デコード・バッファの占有量に関する第１の
遅延値と、第２の符号化ストリームの編集ポイントの後
に最初に現れるアクセスユニットの、デコード・バッフ
ァの占有量に関する第２の遅延値とをそれぞれ出力する
符号化ストリーム供給手段と、第１の遅延値と第２の遅
延値とを比較し、その比較結果を出力する比較部と、第
１の符号化ストリームと第２の符号化ストリームが各々
入力される第１及び第２の端子と、空端子である第３の
端子のいずれかに可動端子が接続されるように制御され
るスイッチと、スイッチの可動端子から取り出された符
号化データを多重化すると共に、タイムスタンプを付加
して、多重化データを出力する多重化部と、比較部から
の比較結果に応じて、第１の端子から第３の端子を介し
て第２の端子に、又は第１の端子から第２の端子に直接
に可動端子を切り換え接続するように、スイッチをスイ
ッチング制御して、可動端子から第１の符号化データに
続いて第２の符号化データを出力させると共に、多重化
部のタイムスタンプを制御する多重化制御部とを有する
構成としたものである。

【００２７】この発明では、編集ポイント前後のアクセ
スユニットのデコード・バッファの占有量に関する第１
及び第２の遅延値の大小比較結果に基づいて、空端子を
有し、かつ、第１の符号化データ又は第２の符号化デー
タを出力するスイッチを制御することで、第１の符号化
データに繋げる第２の符号化データの接続タイミングを
制御するようにしたため、第２の符号化データの最初の
アクセスユニットのバッファ占有量を適切に制御でき
る。

【００２８】

【発明の実施の形態】次に、本発明の一実施の形態につ
いて図面と共に説明する。図１は本発明になる符号化デ
ータ編集多重化装置の一実施の形態のブロック図を示
す。同図中、図５と同一構成部分には同一符号を付して
ある。図１に示す実施の形態は、図５に示した従来装置
に比し、バッファ遅延量比較部４を新たに設け、更に動
画像符号化データ供給部１より供給される第１の動画像
符号化データと、動画像符号化データ供給部２より供給
される第２の動画像符号化データの一方を選択して多重
化部７へ出力するスイッチ５を、どこにも接続されてい
ない端子（空端子）５ｃを有する構成とし、多重化制御
部６がバッファ遅延量比較部４の比較結果に応じてスイ
ッチ５を制御する点に特徴がある。

【００２９】バッファ遅延量比較部４は、動画像符号化
データ供給部１より供給される第１の動画像符号化デー
タと、動画像符号化データ供給部２より供給される第２
の動画像符号化データそれぞれの編集ポイント後に現れ
る最初のアクセスユニットのｖｂｖ＿ｄｅｌａｙ値ｖｄ
１及びｖｄ２を受け取り、それらを大小比較し、その比
較結果を多重化制御部６へ出力する。

【００３０】なお、バッファ占有量は、符号化レートと
ｖｂｖ＿ｄｅｌａｙ値から比例関係により、次式により
求めることができる。

【００３１】Ｂｎ＝（ｖｂｖ＿ｄｅｌａｙ×Ｒ）／９０００（１）ただし、上式中、「ｖｂｖ＿ｄｅｌａｙ」は動画像符号
化データを含むパケットのピクチャヘッダ内のｖｂｖ＿
ｄｅｌａｙで、ここではｖｄ１又はｖｄ２であり、ま
た、「Ｂｎ」はバッファ占有量（ヘッダ、ユーザーデー
タ、スタッフィングは除く）で、単位はビットであり、
更に、「Ｒ」は符号化レート［ｂｉｔ／ｓｅｃ］を示
す。（１）式自体は従来より知られている。

【００３２】スイッチ５は多重化制御部６の指示に従っ
て、多重化部７の入力端子に接続された可動端子５ｄを
固定端子５ａ、５ｃ及び５ｂのいずれかに繋げる。ここ
で、スイッチ５の可動端子５ｄが固定端子５ｃに繋がれ
た場合には、符号化データは多重化部７には供給されな
い。

【００３３】多重化部７は従来例で説明したものとほぼ
同じ構成である。多重化制御部６からの指示に従って、
動画像符号化データまたは音声符号化データ、もしくは
パディングパケットを多重化する。ただし、多重化部７
はスイッチ５の可動端子５ｄが固定端子５ｂに繋がれて
いるときに多重化制御部６から動画像符号化データを多
重化するよう指示が来た場合には、パディングパケット
を多重化する。

【００３４】次に、本発明の実施の形態の動作につい
て、図２のフローチャート及び図３、図４のバッファ占
有量遷移図を併せ参照して説明する。図１において、動
画像符号化データ供給部１は、ＭＰＥＧ２による第１の
動画像符号化データをスイッチ５の第１の端子５ａに供
給すると共に、第１の動画像符号化データの固定の符号
化レートの情報を多重化制御部６に供給し、更に、第１
の動画像符号化データの編集ポイント後に現れる最初の
アクセスユニットのｖｂｖ＿ｄｅｌａｙ値ｖｄ１をバッ
ファ遅延量比較部４に供給する。

【００３５】一方、動画像符号化データ供給部１は、Ｍ
ＰＥＧ２による第２の動画像符号化データをスイッチ５
の第２の端子５ｂに供給すると共に、第２の動画像符号
化データの編集ポイント後に現れる最初のアクセスユニ
ットのｖｂｖ＿ｄｅｌａｙ値ｖｄ２をバッファ遅延量比
較部４に供給する。なお、ここでは、上記の第１の動画
像符号化データと第２の動画像符号化データの符号化レ
ートは固定で等しいとする。また、音声符号化データ供
給部３は、ＭＰＥＧで符号化された固定レートの音声符
号化データを発生して、多重化制御部６に供給すると共
に、音声符号化データを多重化部７に供給する。

【００３６】バッファ遅延量比較部４は、入力された上
記のｖｂｖ＿ｄｅｌａｙ値ｖｄ１及びｖｄ２を大小比較
し（図２のステップ１０１）、その比較結果を多重化制
御部６に供給する。多重化制御部６は、バッファ遅延量
比較部４から入力された比較結果が、ｖｄ１＝ｖｄ２で
あるときは、前述したように第１の動画像符号化データ
と第２の動画像符号化データを繋げてもバッファのアン
ダーフローやオーバーフローは起こらないため、従来と
同様に、時間ｄｔ０（Ｉ₁₀）でスイッチ５の可動端子５
ｄを、それまで接続していた端子５ａから端子５ｂに切
り換え接続するようにスイッチ５に要求して、通常どお
りのタイムスタンプを付加するように多重化部７に伝え
る。

【００３７】次に、多重化制御部６にバッファ遅延量比
較部４から入力された比較結果が、ｖｄ１＞ｖｄ２であ
る場合について説明する。この場合には、通常どおりに
第１の動画像符号化データと第２の動画像符号化データ
を繋げると、図８で示したようにデコーダ・バッファで
オーバーフローする可能性がある。

【００３８】ここで、第１の動画像符号化データは図３
（ａ）に示すように、編集ポイント１１でのピクチャＩ
₁₀のデータは、デコード・バッファに何もデータが蓄積
されていない状態で、時刻ｄｔ０（Ｉ₁₀）からバッファ
に蓄積され始め、ｖｂｖ＿ｄｅｌａｙ値ｖｄ１経過した
時刻ｄｔ（Ｉ₁₀）に達した時のバッファ占有量で蓄積さ
れている。一方、第２の動画像符号化データは図３
（ｂ）に示すように、編集ポイント１１でのピクチャＩ
₂₀のデータは、デコード・バッファに何もデータが蓄積
されていない状態で、バッファに蓄積され始め、ｖｂｖ
＿ｄｅｌａｙ値ｖｄ２経過した時刻に達した時のバッフ
ァ占有量で蓄積される。

【００３９】従って、通常どおりに第１及び第２の動画
像符号化データを多重化すると、時刻ｄｔ（Ｉ₁₀）にお
いて、バッファ内には（ｖｄ１−ｖｄ２）時間分の余剰
データがあることになる。従って、（ｖｄ１−ｖｄ２）
時間分だけ符号化データを蓄積しないようにすればよ
い。

【００４０】そこで、この実施の形態では、多重化制御
部６は、ｖｄ１＞ｖｄ２である場合には、ピクチャＩ₂₀
を多重化するタイミングを（ｖｄ１−ｖｄ２）時間分だ
け遅延させる。すなわち、多重化制御部６は、時刻ｄｔ
０（Ｉ₁₀）から｜ｖｄ１−ｖｄ２｜時間分だけ、スイッ
チ５の可動端子５ｄをそれまで接続していた端子５ａか
ら端子５ｃに切り換え接続するようにスイッチ５を制御
する（図２のステップ１０４）。よって、この期間中
は、多重化部７には、２つの動画像符号化データはどち
らも入力されず、バッファ占有量は復号により減少す
る。

【００４１】続いて、多重化制御部６は、ｄｔ０
（Ｉ₁₀）＋｜ｖｄ１−ｖｄ２｜時間経過後に、スイッチ
５の可動端子５ｄを端子５ｂに切り換え接続するように
スイッチ５を制御し（図２のステップ１０５）、また、
各ピクチャに通常のＰＴＳ／ＤＴＳを付加するように多
重化部７に伝える（図２のステップ１０６）。これによ
り、以後、第２の動画像符号化データがスイッチ５を通
して多重化部７に入力される。このように、ｖｄ１＞ｖ
ｄ２である場合は、デコード・バッファのバッファ占有
量の遷移の様子を示す図３（ｃ）から分かるように、オ
ーバーフローの発生は防止される。

【００４２】次に、多重化制御部６にバッファ遅延量比
較部４から入力された比較結果が、ｖｄ１＜ｖｄ２であ
る場合について説明する。この場合には、通常どおりに
第１の動画像符号化データと第２の動画像符号化データ
を繋げると、図９に示したように、デコーダ・バッファ
でアンダーフローする可能性がある。

【００４３】ここで、第１の動画像符号化データは図４
（ａ）に示すように、編集ポイント１２でのピクチャＩ
₁₀のデータは、デコード・バッファに何もデータが蓄積
されていない状態で、時刻ｄｔ０（Ｉ₁₀）からバッファ
に蓄積され始め、ｖｂｖ＿ｄｅｌａｙ値ｖｄ１経過した
時刻ｄｔ（Ｉ₁₀）に達した時のバッファ占有量で蓄積さ
れている。

【００４４】一方、第２の動画像符号化データは図４
（ｂ）に示すように、編集ポイント１１でのピクチャＩ
₂₀のデータは、デコード・バッファに何もデータが蓄積
されていない状態で、バッファに蓄積され始め、ｖｂｖ
＿ｄｅｌａｙ値ｖｄ２（＞ｖｄ１）経過した時刻に達し
た時のバッファ占有量で蓄積される。すなわち、図４
（ｂ）に示すように、ピクチャＩ₂₀を正しくデコードす
るためは、時間ｖｄ２分だけのデータ量がバッファに蓄
積されなければならない。

【００４５】この場合、通常どおりに多重化すると、ｖ
ｄ１＜ｖｄ２であるため、時間ｄｔ（Ｉ₁₀）において、
バッファ内には（ｖｄ２−ｖｄ１）時間分のデータが不
足することがわかる。そこで、この実施の形態では、多
重化制御部６は、ｖｄ１＜ｖｄ２である場合には、（ｖ
ｄ２−ｖｄ１）時間分だけ符号化データを蓄積できるよ
うにするため、ピクチャＩ₂₀を復号化（デコード）する
タイミングを（ｖｄ２−ｖｄ１）時間分だけ遅延させ
る。

【００４６】すなわち、多重化制御部６は、時刻ｄｔ０
（Ｉ₁₀）でスイッチ５の可動端子５ｄをそれまで接続し
ていた端子５ａから端子５ｂに切り換え接続するように
スイッチ５を制御し（図２のステップ１０７）、ピクチ
ャＩ₂₀の以降の各ピクチャに通常のＰＴＳ／ＤＴＳを通
常よりも｜ｖｄ２−ｖｄ１｜時間分だけ遅延させて付加
するように多重化部７に伝える（図２のステップ１０
８）。これにより、以後、第２の動画像符号化データが
スイッチ５を通して多重化部７に入力される。

【００４７】実際にＭＰＥＧでは、タイムスタンプ（Ｐ
ＴＳ／ＤＴＳ）とｖｂｖ＿ｄｅｌａｙ値は同じ時間スケ
ール（９０ｋＨｚ）で符号化されるため、ピクチャＩ₂₀
のＰＴＳであるＰＴＳ（Ｉ₂₀）は、ＰＴＳ（Ｉ₂₀）＝ＰＴＳ（Ｉ₂₀）＋｜ｖｄ２−ｖｄ１｜（２）で表される。

【００４８】このように、ｖｄ１＜ｖｄ２である場合
は、デコード・バッファのバッファ占有量の遷移の様子
を示す図４（ｃ）から分かるように、時刻ｄｔ（Ｉ₁₀）
から｜ｖｄ２−ｖｄ１｜時間分だけ更にデータの蓄積が
行われてから、ピクチャＩ₂₀に切り換わるため、アンダ
ーフローの発生は防止される。

【００４９】

【発明の効果】以上説明したように、本発明によれば、
編集ポイント前後のアクセスユニットのデコード・バッ
ファの占有量に関する第１及び第２の遅延値の大小比較
結果に基づいて、空端子を有し、かつ、第１の符号化デ
ータ又は第２の符号化データを出力するスイッチを制御
し、第１の符号化データに繋げる第２の符号化データの
接続タイミングを制御することにより、第２の符号化デ
ータの最初のアクセスユニットのバッファ占有量を適切
に制御するようにしたため、編集後の多重化データの復
号時に、デコード・バッファのオーバーフローやアンダ
ーフローを生じることがないようにでき、このことから
符号化装置が必要なく、よって、装置のコストを従来に
比し下げることができ、また、再符号化の必要がないの
で画質の劣化もない符号化データ編集多重化装置を実現
できる。

【図面の簡単な説明】

【図１】本発明になる符号化データ編集多重化装置の一
実施の形態のブロック図である。

【図２】図１の要部の多重化制御部のｖｄ１とｖｄ２の
比較結果に応じた動作説明用フローチャートである。

【図３】ｖｄ１＞ｖｄ２の場合の本発明の一実施の形態
による、（ａ）第１の動画像符号化データの編集ポイン
ト付近のデコード・バッファ占有量遷移を示す図、
（ｂ）第２の動画像符号化データの編集ポイント後のデ
コード・バッファ占有量遷移を示す図、（ｃ）編集後の
動画像符号化データのデコード・バッファ占有量遷移を
示す図である。

【図４】ｖｄ１＜ｖｄ２の場合の本発明の一実施の形態
による、（ａ）第１の動画像符号化データの編集ポイン
ト付近のデコード・バッファ占有量遷移を示す図、
（ｂ）第２の動画像符号化データの編集ポイント後のデ
コード・バッファ占有量遷移を示す図、（ｃ）編集後の
動画像符号化データのデコード・バッファ占有量遷移を
示す図である。

【図５】従来の符号化データ編集多重化装置の一例のブ
ロック図である。

【図６】編集される符号化データの例を示す図である。

【図７】ｖｄ１＝ｖｄ２の場合の図５に示す従来装置に
よる、（ａ）第１の動画像符号化データの編集ポイント
付近のデコード・バッファ占有量遷移を示す図、（ｂ）
第２の動画像符号化データの編集ポイント後のデコード
・バッファ占有量遷移を示す図、（ｃ）編集後の動画像
符号化データのデコード・バッファ占有量遷移を示す図
である。

【図８】ｖｄ１＞ｖｄ２の場合の図５に示す従来装置に
よる、（ａ）第１の動画像符号化データの編集ポイント
付近のデコード・バッファ占有量遷移を示す図、（ｂ）
第２の動画像符号化データの編集ポイント後のデコード
・バッファ占有量遷移を示す図、（ｃ）編集後の動画像
符号化データのデコード・バッファ占有量遷移を示す図
である。

【図９】ｖｄ１＜ｖｄ２の場合の図５に示す従来装置に
よる、（ａ）編集後の動画像符号化データのデコード・
バッファ占有量遷移を示す図、（ｂ）第１の動画像符号
化データの編集ポイント付近のデコード・バッファ占有
量遷移を示す図、（ｃ）編集後の動画像符号化データの
デコード・バッファ占有量を示す図である。

【符号の説明】

１、２動画像符号化データ供給部３音声符号化データ供給部４バッファ遅延量比較部５スイッチ６多重化制御部７多重化部１１、１２編集ポイントｄｔ０（Ｉ₁₀）ピクチャＩ₁₀がバッファに蓄積され始
める時刻ｄｔ（Ｉ₁₀）ピクチャＩ₁₀がバッファに蓄積され終っ
た時刻ｖｄ１、ｖｄ２ｖｂｖ＿ｄｅｌａｙ値

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C053 FA14 GB06 GB08 GB11 GB22 GB38 JA22 KA01 KA08 KA22 KA24 KA26 5C059 KK01 KK35 KK39 MA00 MA04 MA05 MA23 PP05 PP06 PP07 RB09 RC04 RC32 SS30 UA02 UA34 5D044 AB05 AB07 DE03 DE39 FG10 GK08 HH05 HL14

Claims

【特許請求の範囲】

【請求項１】第１の符号化ストリームの任意の編集ポ
イントより前の部分の第１の符号化データの後に、第２
の符号化ストリームの任意の編集ポイントより後の部分
の第２の符号化データを繋げる編集を行う符号化データ
編集多重化装置において、互いに符号化レートが等しい、前記第１及び第２の符号
化ストリームを出力すると共に、前記第１の符号化スト
リームの前記編集ポイントの後に最初に現れるアクセス
ユニットの、デコード・バッファの占有量に関する第１
の遅延値と、前記第２の符号化ストリームの前記編集ポ
イントの後に最初に現れるアクセスユニットの、デコー
ド・バッファの占有量に関する第２の遅延値とをそれぞ
れ出力する符号化ストリーム供給手段と、前記第１の遅延値と前記第２の遅延値とを比較し、その
比較結果を出力する比較部と、前記第１の符号化ストリームと前記第２の符号化ストリ
ームが各々入力される第１及び第２の端子と、空端子で
ある第３の端子のいずれかに可動端子が接続されるよう
に制御されるスイッチと、前記スイッチの可動端子から取り出された符号化データ
を多重化すると共に、タイムスタンプを付加して、多重
化データを出力する多重化部と、前記比較部からの比較結果に応じて、前記第１の端子か
ら前記第３の端子を介して前記第２の端子に、又は前記
第１の端子から前記第２の端子に直接に前記可動端子を
切り換え接続するように、前記スイッチをスイッチング
制御して、前記可動端子から前記第１の符号化データに
続いて前記第２の符号化データを出力させると共に、前
記多重化部のタイムスタンプを制御する多重化制御部と
を有することを特徴とする符号化データ編集多重化装
置。
【請求項２】前記多重化制御部は、前記比較部からの
比較結果が前記第１の遅延値が前記第２の遅延値よりも
大であることを示しているときは、前記第１の符号化ス
トリームの前記編集ポイントの後に最初に現れるアクセ
スユニットがバッファに蓄積され始める時刻から前記第
１及び第２の遅延値の差分の絶対値の時間だけ前記スイ
ッチの可動端子を前記第３の端子に接続した後前記第２
の端子に切り換え接続するように前記スイッチを制御
し、前記比較部からの比較結果が前記第１の遅延値が前
記第２の遅延値よりも小であるか、又は等しいことを示
しているときは、前記第１の符号化ストリームの前記編
集ポイントの後に最初に現れるアクセスユニットがバッ
ファに蓄積され始める時刻で、それまで前記第１の端子
に接続されていた前記スイッチの可動端子を、前記第２
の端子に切り換え接続するように前記スイッチを制御
し、前記比較部からの比較結果が前記第１の遅延値が前
記第２の遅延値よりも小であるときは、前記スイッチか
ら取り出される前記第２の符号化データに、前記第１及
び第２の遅延値の差分の絶対値の時間だけ遅延したタイ
ムスタンプを付加させるように前記多重化部を制御する
ことを特徴とする請求項１記載の符号化データ編集多重
化装置。