JP2002218461A - 符号化信号の多重化装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来は、データストリームのような非連続性
のストリームを多重化する場合には、該当する復号時間
に相当する符号化ストリームの位置を特定できないた
め、ＴＳパケットにはヌルパケットを入れて余裕をもた
せる必要がある。 【解決手段】 他の符号化ストリームを多重化するタイ
ミングのＮフィールド（もしくはフレーム）前に、その
符号化ストリームの単位時間に多重化すべきビット数Ｍ
が、外部より仮想バッファポイント制御回路１８に入力
される。仮想バッファポイント制御回路１８は、画像フ
レームに対する符号化レートからＭだけ減らした値を計
算して、符号化レートとして符号量制御回路１９に出力
し、また、Ｍをストリームの最大遅延時間ＤＳの間蓄積
した総和ＳｕｍＭを仮想バッファのバッファポイントの
下限値として出力する。符号量制御回路１９は、仮想バ
ッファの制御ポイントが上記ＳｕｍＭより小さくならな
いように、割り当て符号量に制限を加える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は符号化信号の多重化
装置に係り、特にディジタル化された画像信号に対して
符号化装置により高能率符号化を行って得られた圧縮符
号化信号と、Ｎフィールド（もしくはフレーム）後の他
の符号化信号とを多重化して出力する符号化信号の多重
化装置に関する。

【０００２】

【従来の技術】近年、ディジタル化された画像信号に対
して、符号化装置により高能率符号化を行って得られる
圧縮された符号化信号を用いて、衛星波、地上波、電話
回線などの伝送路により情報を配信するサービスが開発
・実用化されている。このようなサービスにおいて、動
画像・音声の高能率符号化及び多重化方式として国際規
格であるＭＰＥＧ２（Moving Picture Experts Group p
hase 2）が用いられている。

【０００３】このＭＰＥＧ２による画像符号化方式は、
画像信号の隣接画素間（空間方向）の相関および、フレ
ームもしくはフィールド（時間方向）の相関を利用する
圧縮方式であり、多重化方式は画像・音声・データ等の
符号化されたデータを同期再生するために、各符号化ス
トリームに対して復号・再生時刻情報を付加し、システ
ム基準時刻やシステム構成情報と共に時分割多重する方
式である。

【０００４】ＭＰＥＧ２規格における画像符号化は、次
のようなアルゴリズムで処理される。まず、時間的に連
続する画像フレームを、基準フレームと予測フレームに
振り分ける。基準フレームは定期的に挿入され、空間方
向の相関のみを用いる事でそのフレームの符号化データ
のみで復元する事ができる。予測フレームは、基準とな
るフレームからの時間方向の相関と空間方向の相関を共
に用いる事により、基準フレームに対してより符号化効
率を高める事ができる。予測フレームは、復号された基
準フレームと符号化データより復元される。

【０００５】図５は従来の符号化信号の多重化装置の要
部である画像符号化装置の一例のブロック図を示す。こ
の画像信号符号化装置は、上記の画像フレーム間の予測
処理を用いた高能率符号化を実現する符号化装置であ
る。同図において、ディジタル画像信号はフレームメモ
リである入力画像メモリ１に入力されて、符号化シンタ
ックスに従って符号化される順番に並べ替えを行うため
遅延される。

【０００６】入力画像メモリ１から出力されたディジタ
ル画像信号は、動きベクトル検出回路２２供給される一
方、減算器３を経て２次元ブロック変換回路７に供給さ
れるが、基準フレームにおいては２次元ブロック変換回
路７にて垂直方向ｎ画素・水平方向ｍ画素（通常ｎ，ｍ
は８）の２次元ブロックに変換される。２次元ブロック
に変換されたデータは、直交変換回路８にて離散コサイ
ン変換（ＤＣＴ）されて、ＤＣＴ変換係数とされて量子
化回路９に送られる。

【０００７】量子化回路９において量子化されたＤＣＴ
変換係数は、上記２次元ブロックを複数個集めた単位
（マクロブロック）毎に、符号化回路１０において、符
号化テーブル１１の係数に対応したアドレスを参照する
事により可変長または固定長の符号化が行われ、マルチ
プレクサ１５により上記符号化データと画面内でのマク
ロブロックの場所等を示す付加情報とが多重化され、ビ
ットストリームとして出力される。

【０００８】一方、量子化されたＤＣＴ変換係数は逆量
子化回路１２、逆直交変換回路１３において逆量子化及
び逆ＤＣＴ変換が順次に行われ、さらにデブロック回路
１４を通して加算器５で動き補償予測回路４の出力予測
信号と加算されることにより、符号化ビットストリーム
に復号された後、参照画像メモリ６に格納される。

【０００９】続いて予測フレームにおいては、入力画像
メモリ１と参照画像メモリ６に格納されている画像との
間で動きベクトル検出回路２によって、画像間での動き
ベクトルが求められる。動きベクトル検出回路２は、一
般的にブロックマッチングにより求められ、符号化する
画像と予測メモリの画像をそれぞれ２次元ブロック化
し、画素毎の差分絶対値総和（もしくは差分二乗総和）
の最も小さいブロックに対する画面内の動き成分を動き
ベクトルとして出力する。

【００１０】動きベクトル検出回路２から出力された動
きベクトルにより、予測ブロックが動き補償予測回路４
により参照画像メモリ６から切り出される。動き補償予
測回路４では予測モードの選択を行い、符号化する入力
画像メモリ１から出力されたディジタル画像信号との差
分信号を減算器３で生成させる。この差分信号は２次元
ブロック変換回路７に供給され、垂直方向ｎ画素・水平
方向ｍ画素（通常ｎ，ｍは８）の２次元ブロックに変換
される。

【００１１】２次元ブロックに変換されたデータは、前
記基準フレームの各ブロックと同様の処理が行われ、Ｄ
ＣＴ変換係数が量子化処理され動きベクトルや予測モー
ドと共にビットストリームとして出力される。

【００１２】また、マルチプレクサ１５は、符号化回路
１０から出力される画像符号化信号と、動き補償予測回
路４からの動きベクトル及び予測モード信号と、２次元
ブロック変換回路７からの２次元ブロックに変換された
データと、符号量制御回路１６からのスタッフィングビ
ットとを入力として受け、これらを時系列的に多重化し
て符号化ビットストリームとして記録媒体又は伝送路１
７へ出力する一方、出力する符号化ビットストリームの
発生符号量を符号量制御回路１６に供給する。符号量制
御回路１６は、発生符号量と目標符号量との比較を行
い、目標符号量に近づけるために量子化回路９の量子化
の細かさ（量子化スケール）を制御する。ＭＰＥＧ２の
場合では、基準フレーム（Ｉピクチャ）と２種類の予測
フレーム（Ｐピクチャ：片方向予測、Ｂピクチャ：両方
向予測）という３種類の情報量の異なるピクチャタイプ
が存在するため、あらかじめ設定された符号化レートに
対して、３つのピクチャタイプの性質と出現頻度を用い
て、各フレームに対する目標符号量を算出する。

【００１３】また、目標符号量は、復号装置のストリー
ムバッファを仮想的にシミュレートして、バッファのオ
ーバーフロー・アンダーフローが起きないように制限さ
れる。符号量制御回路１６は、量子化スケールと出力符
号量とが一般的にほぼ反比例の関係がある事を利用し
て、各ピクチャタイプ毎に目標符号量に対する量子化ス
ケール値を計算し、量子化回路９に量子化処理を行わせ
る。

【００１４】ブロック毎に目標符号量に近付く方向に量
子化スケールを変動させる事によって、目標符号量内に
符号化ビットストリームを抑える。固定転送レート符号
化の場合に、細かい量子化スケールを用いても符号化ス
トリームの量が設定した符号化レートに満たない場合に
は、１つのピクチャの区切りを示すヘッダコードの前に
足りない符号量分のスタッフィングビットを詰め込む事
により、設定した符号化レートに合わせている。

【００１５】現在、ＭＰＥＧ２の技術を用いて、ディジ
タル高精細画像・音声信号を衛星波や地上波にて提供す
る計画が進められており、その規格としてＨＤＴＶディ
ジタル放送規格が決定されている。ディジタル放送規格
における多重化方法としてＭＰＥＧ２多重化規格のＴＳ
（トランスポートストリーム）が用いられている。

【００１６】図６は従来の符号化信号の多重化装置の一
例のブロック図を示す。この多重化装置は、画像符号化
装置２１、音声符号化装置２２、データ符号化装置２３
の出力である各符号化ストリームを多重化する。画像符
号化装置２１は、図５に示した構成である。また、音声
符号化装置２２は音声信号を符号化して音声符号化スト
リームを出力し、データ符号装置２３はデータを符号化
してデータ符号化ストリームを出力する。

【００１７】これらの符号化装置２１、２２及び２３
は、システム基準時刻発生回路２４より入力される多重
化基準時刻に対して、符号化装置２１、２２及び２３の
符号化遅延及び復号装置のストリームバッファ遅延を考
慮した遅延時間ＤＴを信号入力時刻に付加し、再生時刻
を打刻してＰＥＳ（Packetized Elementary Stream）パ
ケットとして符号化ストリームを出力する。

【００１８】符号化装置２１、２２及び２３からそれぞ
れ出力された符号化ストリームは、それぞれ画像ストリ
ームバッファ２５、音声ストリームバッファ２６及びデ
ータストリームバッファ２７に蓄えられる。各バッファ
２５〜２７では復号装置のストリームバッファがオーバ
ーフローしないように考慮した遅延時間ＤＢの間蓄えら
れた後、ＴＳ生成回路２８に供給されて基準時間単位の
多重化ビット数に即した各符号化ストリームがＴＳ（Tr
ansport Stream）化される。このＴＳは、１バイトの同
期バイトを有しＴＳの構成を示すパケットヘッダ部と、
ＰＥＳパケットが格納されるペイロード部から構成され
た、１８８バイト固定長のパケットである。

【００１９】多重化回路２９は、各符号化装置２１、２
２及び２３の符号化レートの比率に応じて、ＴＳ生成回
路２８の入力バッファを切り替え、ＴＳ生成回路２８に
対して符号化ストリームの識別信号を送る事により、各
符号化ストリームに対するＴＳ出力を切り替えて多重化
する。また、多重化回路２９はシステム基準時刻を出力
するＴＳパケット（ＰＣＲパケット）と、それぞれの符
号化ストリームがどのプログラムのものであるかを識別
するためのプログラム仕様情報（PSI:ProgramSpecific
Information）を記述したＴＳパケットを生成・出力す
る。

【００２０】

【発明が解決しようとする課題】ところで、従来の多重
化装置では、データストリームのような非連続性のスト
リームを多重化する場合や、ある一定時間に対して符号
化ストリームを追加するような場合には、ＴＳストリー
ム全体の符号化レートから、その付加されるストリーム
の最大符号化レートを予め引いておき、画像符号化を固
定符号化レートにて符号化するか、もしくは付加される
ストリームが多重化されるよりも時間的に充分前に画像
符号化の符号化レートを下げ、付加されるストリームの
多重化終了から時間的に充分後に画像符号化の符号化レ
ートを上げる必要がある。

【００２１】これは画像符号化の瞬間的な符号化レート
が仮想バッファサイズと符号化レートに依存する値で上
下することから、該当する復号・再生時間に相当する符
号化ストリームの位置を特定できないためである。この
ため、従来の多重化装置では、余裕を持たせている部分
のＴＳパケットにはヌル（ＮＵＬＬ）パケットが入るこ
とになり、冗長度が高く、無効な情報を出力するという
問題がある。

【００２２】本発明は以上の点に鑑みてなされたもの
で、所定の時間に対して、符号化している画像信号以外
の指定した符号化信号を指定された符号量だけ多重化す
る際に、復号装置が破綻を来たさないような多重化を行
い得る符号化信号の多重化装置を提供することを目的と
する。

【００２３】

【課題を解決するための手段】本発明は上記の目的を達
成するため、画像信号を高能率符号化して画像符号化ス
トリームを生成する画像符号化装置と、画像符号化スト
リームを一時蓄積する画像ストリームバッファと、画像
符号化ストリーム以外の非連続に出力される符号化スト
リームを生成すると共に、生成した符号化ストリームの
所定の単位時間毎の多重化要求符号量を出力する他の符
号化装置と、他の符号化装置から出力された符号化スト
リームを一時蓄積する他のストリームバッファと、多重
化要求符号量を受け取り、画像ストリームバッファの遅
延時間を考慮して計算した、単位時間に確保すべき多重
化データ量を所定のタイミングで出力する多重化符号量
制御回路と、多重化符号量制御回路から出力された単位
時間に確保すべき多重化データ量を入力として受け、入
力多重化データ量と画像ストリームバッファの最大遅延
時間に基づき仮想バッファ制御ポイントの下限値を生成
すると共に、設定すべき画像符号化レートを生成する仮
想バッファポイント制御回路と、画像ストリームバッフ
ァからの画像符号化ストリームと、他のストリームバッ
ファからの他の符号化ストリームとを多重化して多重化
ストリームを出力する多重化手段とを有する構成とし、
仮想バッファポイント制御回路からの符号化レートに、
画像符号化装置内の画像符号化ストリームの符号化レー
トを設定すると共に、仮想バッファ制御ポイントの下限
値よりも仮想バッファの制御ポイントが小さくならない
ように、画像符号化装置内の画像符号化ストリームの割
り当て符号量を制限するようにしたものである。

【００２４】この発明では、画像符号化ストリームと非
連続に出力される他の符号化ストリームとを多重化する
場合、他の符号化ストリームの単位時間に確保すべき多
重化データ量（多重化ビット数）と画像ストリームバッ
ファの最大遅延時間に基づき仮想バッファ制御ポイント
の下限値を生成すると共に、画像符号化装置内の画像符
号化ストリームの画像符号化レートを生成し、仮想バッ
ファ制御ポイントの下限値よりも仮想バッファの制御ポ
イントが小さくならないように、画像符号化装置内の画
像符号化ストリームの割り当て符号量を制限するように
しているため、仮想バッファの滞留時間と符号化制御の
タイミングとの間にずれがあっても、復号装置の画像ス
トリームバッファが破綻しないような制御ができる。な
お、仮想バッファポイント制御回路は、画像符号化装置
内にあってもよいし、外部にあってもよい。

【００２５】

【発明の実施の形態】次に、本発明の一実施の形態につ
いて図面と共に説明する。図１は本発明になる符号化信
号の多重化装置の要部である画像符号化装置の一実施の
形態のブロック図を示す。同図中、図５と同一構成部分
には同一符号を付し、その説明を省略する。図１に示す
画像符号化装置には、他の符号化ストリームを多重化す
るタイミングのＮフィールド（もしくはフレーム）前
に、その符号化ストリームの単位時間（フィールドもし
くはフレーム）に多重化すべきビット数Ｍが、外部より
仮想バッファポイント制御回路１８に入力される。

【００２６】仮想バッファポイント制御回路１８におい
ては、多重化装置での画像ストリームバッファ（後述の
図２の２５）の遅延時間をＤＢフィールド（もしくはフ
レーム）とすると、（ＤＢ−Ｎ）フィールド（もしくは
フレーム）後に符号化処理を行う画像フレームに対する
符号化レートから上記の多重化すべきビット数Ｍだけ減
らした値を計算して、符号化レートとして符号量制御回
路１９に出力し、仮想バッファ（ＭＰＥＧにおけるＶＢ
Ｖ（Video Buffering Verifier）に相当）の制御のパラ
メータ（フレーム当たりの出力ビット数）をＭだけ減ら
して制御する。

【００２７】これと共に、仮想バッファポイント制御回
路１８は、外部から入力された多重化すべきビット数Ｍ
をストリームの最大遅延時間ＤＳの間蓄積し、次式で表
される総和ＳｕｍＭを算出し、その総和ＳｕｍＭを仮想
バッファのバッファポイントの下限値として符号量制御
回路１９に出力する。

【数１】

【００２８】符号量制御回路１９においては、（ＤＢ−
Ｎ）フィールド（もしくはフレーム）後に符号化処理を
行う画像フレームに対する仮想バッファ制御のパラメー
タ（フレーム当たりの出力ビット数）をＭだけ減らした
符号化レートを設定すると共に、仮想バッファの制御ポ
イントが上記ＳｕｍＭより小さくならないように、割り
当て符号量に制限を加える。

【００２９】これは、仮想バッファの滞留時間が符号化
制御のタイミングとずれるため、そのずれにより復号装
置の画像ストリームバッファが破綻しないような制御を
行っている。これにより、特定するタイミングにて他の
符号化ストリームを固定量多重化しても、画像符号化ス
トリームが破綻せず復号できる。

【００３０】図２は本発明になる符号化信号の多重化装
置の一実施の形態のブロック図を示す。同図中、図６と
同一構成部分には同一符号を付し、その説明を省略す
る。図２に示す多重化装置には、多重化符号量制御回路
３１が具備されている。この多重化符号量制御回路３１
は、データ符号化装置２３等の非連続に出力されるスト
リームの時間単位の多重化要求符号量を受け取り、デー
タ符号化のバッファ遅延を考慮して、所定のタイミング
にて画像符号化装置２１内の図１に示した仮想バッファ
ポイント制御回路１８に多重化すべきビット数Ｍを出力
する。

【００３１】また、多重化すべきビット数Ｍは、さらに
画像符号化ストリームのバッファ遅延時間だけディレイ
された後に、多重化符号量としてＴＳ生成回路３２に入
力され、この値により確保された領域にデータ符号化ス
トリームがＴＳ化された後、多重化回路３３において、
各符号化装置２１、２２及び２３の符号化レートの比率
に応じて、ＴＳ生成回路３２の入力バッファを切り替
え、ＴＳ生成回路３２に対して符号化ストリームの識別
信号を送る事により、各符号化ストリームに対するＴＳ
出力を切り替えて多重化する。

【００３２】また、多重化回路３３はシステム基準時刻
を出力するＴＳパケット（ＰＣＲパケット）と、それぞ
れの符号化ストリームがどのプログラムのものであるか
を識別するためのＰＳＩを記述したＴＳパケットを生成
・出力する。

【００３３】上記の多重化について、更に図３及び図４
と共に説明する。図３に模式的に示すように、画像スト
リームバッファ２５には遅延時間ＤＢフィールド（もし
くはフレーム）分のバッファ部分４１ａに画像符号化ス
トリームが蓄積されている状態で、空いているバッファ
部分４１ｂに次の画像符号化ストリームが順次蓄積され
る。この画像ストリームバッファ２５の最大遅延時間は
ＤＳフィールド（もしくはフレーム）である。

【００３４】一方、データ符号化装置２３からのデータ
符号化ストリームがデータストリームバッファ２７に蓄
積されるが、その１フレーム毎の蓄積量は、あるときに
は０ビットであり、あるときには１００００ビットとい
うように、一定ではない。このデータストリームバッフ
ァ２７からの１フレーム後に多重化するビット数をＭと
すると、多重化回路３３でデータ符号化ストリームを多
重化したことによる画像符号化ストリームの遅延が最大
遅延量ＤＳを越えないようにする。

【００３５】図４はＤＳを越える地点での画像符号化ス
トリームとデータ符号化ストリームの多重化の様子を模
式的に示しており、多重化回路３３の多重化時間ｔ−Ｄ
Ｓから画像符号化装置２１の符号化時間ｔまでの最大遅
延量ＤＳの間に、斜線で示すデータ符号化ストリームが
白地で示す画像符号化ストリームに多重化されている。
このデータ符号化ストリームの総和は前記数１で表さ
れ、よって、最大遅延量ＤＳよりも数１で表される総和
ＳｕｍＭだけ少ない遅延に制御することにより、特定す
るタイミングにてデータ符号化ストリームを固定量多重
化しても、画像の符号化ストリームが破綻せず復号でき
る。

【００３６】

【発明の効果】以上説明したように、本発明によれば、
仮想バッファの制御ポイントが仮想バッファ制御ポイン
トの下限値よりも小さくならないように、画像符号化装
置内の画像符号化ストリームの割り当て符号量を制限す
ることにより、仮想バッファの滞留時間と符号化制御の
タイミングとの間にずれがあっても、復号装置の画像ス
トリームバッファが破綻しないような制御することによ
り、特定するタイミングにて他の符号化ストリームを画
像符号化ストリームに固定量多重化しても、画像符号化
ストリームが破綻せず復号できる。

【図面の簡単な説明】

【図１】本発明の符号化信号の多重化装置の要部である
画像符号化装置の一実施の形態のブロック図である。

【図２】本発明の符号化信号の多重化装置の一実施の形
態の構成を示すブロック図である。

【図３】画像符号化ストリームとデータ符号化ストリー
ムの多重化の説明用概略ブロック図である。

【図４】画像符号化ストリームとデータ符号化ストリー
ムの多重化の説明図である。

【図５】従来の符号化信号の多重化装置の要部である画
像符号化装置の一例のブロック図である。

【図６】従来の符号化信号の多重化装置の一例のブロッ
ク図である。

【符号の説明】

１ 入力画像メモリ ２ 動きベクトル検出回路 ４ 動き補償予測回路 ８ 直交変換回路 ９ 量子化回路 １０ 符号化回路 １８ 仮想バッファポイント制御回路 １９ 符号量制御回路 ２１ 画像符号化装置 ２２ 音声符号化装置 ２３ データ符号化装置 ２４ システム基準時刻発生回路 ２５ 画像ストリームバッファ ２６ 音声ストリームバッファ ２７ データストリームバッファ ３１ 多重化符号量制御回路 ３２ ＴＳ生成回路 ３３ 多重化回路

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK34 KK35 MA00 MA23 MC11 NN01 RB01 RB10 RC04 RC08 RC32 RC34 SS06 SS11 TA60 TC16 TC38 TD12 UA02 UA32 5C063 AB03 AB05 AC01 CA05 CA11 DA13 5K028 AA14 DD03 KK01 LL15 SS24

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像信号を高能率符号化して画像符号化
   ストリームを生成する画像符号化装置と、 前記画像符号化ストリームを一時蓄積する画像ストリー
   ムバッファと、 前記画像符号化ストリーム以外の非連続に出力される符
   号化ストリームを生成すると共に、生成した符号化スト
   リームの所定の単位時間毎の多重化要求符号量を出力す
   る他の符号化装置と、 前記他の符号化装置から出力された符号化ストリームを
   一時蓄積する他のストリームバッファと、 前記多重化要求符号量を受け取り、前記画像ストリーム
   バッファの遅延時間を考慮して計算した、前記単位時間
   に確保すべき多重化データ量を所定のタイミングで出力
   する多重化符号量制御回路と、 前記多重化符号量制御回路から出力された前記単位時間
   に確保すべき多重化データ量を入力として受け、入力多
   重化データ量と前記画像ストリームバッファの最大遅延
   時間に基づき仮想バッファ制御ポイントの下限値を生成
   すると共に、設定すべき画像符号化レートを生成する仮
   想バッファポイント制御回路と、 前記画像ストリームバッファからの画像符号化ストリー
   ムと、前記他のストリームバッファからの他の符号化ス
   トリームとを多重化して多重化ストリームを出力する多
   重化手段とを有し、前記仮想バッファポイント制御回路
   からの前記符号化レートに、前記画像符号化装置内の画
   像符号化ストリームの符号化レートを設定すると共に、
   前記仮想バッファ制御ポイントの下限値よりも仮想バッ
   ファの制御ポイントが小さくならないように、前記画像
   符号化装置内の画像符号化ストリームの割り当て符号量
   を制限することを特徴とする符号化信号の多重化装置。
2. 【請求項２】 前記他の符号化装置は、前記画像符号化
   ストリームと前記他の符号化ストリームを前記多重化手
   段で多重化するタイミングのＮフィールド（もしくはフ
   レーム）前に、単位時間に多重すべき前記他の符号化ス
   トリームのビット数Ｍを前記多重化要求符号量として出
   力し、前記仮想バッファポイント制御回路は、前記画像
   ストリームバッファの遅延時間から前記Ｎを差し引いた
   時間後に符号化処理を行う画像フレームに対する符号化
   レートから前記ビット数Ｍだけ減らした符号化レートを
   前記画像符号化装置に設定すると共に、前記画像ストリ
   ームバッファの最大遅延時間の間前記ビット数Ｍを蓄積
   した値を前記仮想バッファ制御ポイントの下限値として
   出力することを特徴とする請求項１記載の符号化信号の
   多重化装置。