JP2005072995A - レート変換装置 - Google Patents

Abstract

【課題】 画像符号化がＶＢＲの場合には、再符号化時の各フレームに対する符号化ビット数を適切に割り与える事ができず、適切な符号化処理を実現できない。
【解決手段】 パケット計測回路５１は、ピクチャ単位での画像パケット数ＮＰと最初のパケット到達時刻とにより、該当ピクチャのビット数ＮＢと該当ピクチャのストリーム伝送している時間Ｔを計測する。計算されたビット数ＮＢ及び時間Ｔは、ピクチャ毎にパケット情報メモリ５２に蓄えられる。平均ビットレート計算回路５３はパケット情報メモリ５２に記憶されているビット数ＮＢ及び時間Ｔに基づき、元ストリームの単位時間での平均ビットレートを計算する。その平均ビットレートを符号量制御回路１６が用いて、再符号化時のピクチャ毎のビット数を割り与える。これにより、再符号化時に有効な符号化情報を適切に使用できるようになり、良好なトランスコーディング機能が実現できる。
【選択図】 図１

Description

本発明はレート変換装置に係り、特に入力された可変転送レートの符号化ストリームを、復号して再度必要な符号量に変換する符号化処理を行うレート変換装置に関する。

近年、ディジタル化された画像・音声信号に対し高能率符号化による圧縮された情報を用いて、衛星波、地上波、電話回線などの伝送路により情報を配信するサービスが実用化されている。このようなサービスにおいて、動画像・音声の高能率圧縮符号化方式として国際規格であるＭＰＥＧ２（Moving Picture Experts Group Phase 2）が用いられている。ＭＰＥＧ２は、画像信号の隣接画素間（空間方向）の相関および、隣接フレーム間もしくは隣接フィールド間（時間方向）の相関を利用して、画像信号の情報量を圧縮する符号化方式である。

ＭＰＥＧ２規格における画像符号化は次のようなアルゴリズムで処理される。まず、時間的に連続する画像フレームを、基準フレームと予測フレームに振り分ける。基準フレームは空間方向の相関のみを用いて符号化する事で、そのフレームの符号化データのみで復元する事ができる。予測フレームは、基準となるフレームからの時間方向の相関と空間方向の相関を共に用いて符号化する事により、基準フレームに対してより符号化効率を高める事ができる。予測フレームの符号化データは、復号された基準フレームと予測フレームの符号化データより復元される。

具体的なＭＰＥＧ２画像符号化で用いられる符号化体系について図２（Ａ）を用いて説明する。図２にＩで示す基準フレームであるＩピクチャ（Ｉフレーム）は定期的に存在し、復号処理の基準となる。また、予測フレームには、同図（Ａ）にＰで示す時間的に前（過去）の基準フレームからの予測のみで符号化されるＰピクチャ（Ｐフレーム）と、Ｂで示す時間的に前後（過去と未来）の２つの基準フレームから予測符号化されるＢピクチャ（Ｂフレーム）が存在する。図２（Ａ）中の矢印は、予測方向を示す。

Ｐピクチャは、自身が予測フレームであると共に、続くＢピクチャやＰピクチャの基準フレームにもなる。Ｉピクチャの画像信号は、輝度信号で水平１６画素×垂直１６画素のマクロブロックと呼ばれる処理単位に分割される。分割されたマクロブロックのデータは、更に８×８画素単位の２次元ブロックに分割され、直交変換の一種であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理が行われる。

ＤＣＴ変換後の信号はその２次元ブロックの周波数成分に準じた値を示すため、一般的な画像では低域に成分が集中する。また、高周波数成分の情報劣化は低周波数成分の情報劣化よりも視覚的に目立ちにくい性質がある。よって、低域成分を細かく高域成分を粗く量子化し、その係数成分と成分が無い係数０の連続する長さを可変長符号化する事により、情報量を圧縮している。

Ｐピクチャの画像信号は、Ｉピクチャと同様に、輝度信号で水平１６画素×垂直１６画素のマクロブロックの単位に分割される。Ｐピクチャでは、マクロブロック毎に基準フレームとの間の動きベクトルを計算する。動きベクトルの検出は、一般的にブロックマッチングにより求められる。このブロックマッチングでは、マクロブロックの各画素と動きベクトル値だけマクロブロックの存在する水平・垂直の位置を動かした場所の基準フレームを水平１６画素×垂直１６画素にブロック化した各画素の差分絶対値総和（もしくは差分二乗総和）を求め、その最小値をとる動きベクトルの値を、検出された動きベクトルとして出力する。

マクロブロックの各画素は、動きベクトルにより切り出された２次元ブロックの各画素との差分がとられる。正確な動きベクトルが検出された場合には、差分ブロックの情報量は元のマクロブロックの持っている情報量よりも大幅に少なくなるため、Ｉピクチャよりも粗い量子化処理が可能となる。実際には差分ブロックを符号化するか非差分ブロック（イントラ（Ｉｎｔｒａ）ブロック）を符号化するかを選択し（予測モード判定）、選択されたブロックに対してＩピクチャと同様のＤＣＴ・可変長符号化処理を施し、情報量が圧縮される。

Ｂピクチャは、Ｐピクチャと同様の処理が行われるが、基準フレームであるＩ，Ｐピクチャが時間的に前後に存在するため、それぞれの基準フレームとの間で動きベクトルを検出する。Ｂピクチャでは予測の選択肢が、前基準フレームからの予測（フォワード（Ｆｏｒｗａｒｄ）予測）・後基準フレームからの予測（バックワード（Ｂａｃｋｗａｒｄ）予測）・２つの予測ブロックの画素毎平均値（アベレージ（Ａｖｅｒａｇｅ）予測）、の３種類存在し、Ｉｎｔｒａブロックを合わせた４種類から予測モード判定を行う。

Ｂピクチャは、時間的に前後の基準フレームから予測が可能となるため、Ｐピクチャよりも更に予測効率が向上する。よって、一般的にＰピクチャよりもさらに粗く量子化される。選択されたブロックはＩ、Ｐピクチャと同様の符号化処理がなされる。

Ｂピクチャは復号されるために、時間的に後の基準フレームからの予測処理が行われるため、基準フレームは、Ｂピクチャに先行して符号化される。そのため、入力された画像信号は図２（Ｂ）に示されるようにＢピクチャは基準フレームであるＩピクチャ又はＰピクチャの後の順番に並べ替えが行われ、符号化される。復号処理では、図２（Ｃ）に示すように、同図（Ｂ）に示した符号化処理時と逆の並べ替えを行い出力することにより、入力された画像信号の順番に復号画像が再生される。

次に、ＭＰＥＧ２画像符号化を実現する一般的な符号化・多重化装置と復号装置について説明する。図３は一般的な符号化・多重化装置の一例のブロック図を示す。同図において、入力されたディジタル画像信号は、フレームメモリ（入力画像メモリ）１に供給されて記憶され、符号化シンタックスに従って符号化される順番に並べ替えを行うため遅延される。入力画像メモリ１から出力されたディジタル画像信号は、２次元ブロック変換回路２にてマクロブロックが切り出される。

基準フレームにおいては、マクロブロックデータは減算器３を介して直交変換回路４に供給され、ここで水平８画素×垂直８画素単位でＤＣＴ変換が行われてＤＣＴ係数とされた後、量子化回路５に送られる。量子化回路５において量子化されたＤＣＴ係数は、符号化回路６において符号化テーブル７の係数に対応したアドレスを参照する事により、可変長または固定長の符号化が行われる。マルチプレクサ８は、上記符号化データと２次元ブロック変換回路２からの画面内でのマクロブロックの場所等を示す付加情報とが多重化され、ビットストリームとして出力される。

一方、量子化回路５において量子化されたＤＣＴ係数は、逆量子化回路９及び逆直交変換回路１０において逆量子化及び逆ＤＣＴ処理が行われ、符号化ビットストリームが復号され、デブロック回路１１及び加算器１２を介して参照画像メモリ１３に供給されて格納される。

続いて、予測フレームにおいては、入力画像メモリ１から切り出されたマクロブロックデータと参照画像メモリ１３に格納されている画像との間で動きベクトル検出回路１４によって、画像間での動きベクトルが求められる。動きベクトル検出回路１４から出力された動きベクトルは、動き補償予測回路１５に供給され、ここで参照画像メモリ１３からの参照画像から予測ブロックを切り出す。動き補償予測回路１５では予測モードの選択を行い、予測ブロックを減算器３に供給して符号化する入力画像ブロックとの差分信号を直交変換回路４に送り出す。差分信号は前記基準フレームの各ブロックと同様の処理が行われ、ＤＣＴ係数が量子化処理され動きベクトルや予測モードと共にビットストリームとしてマルチプレクサ８から出力される。

符号量の制御に関しては、符号量制御回路１６においてマルチプレクサ８から出力されたビットストリームの符号量と目標とする符号量との比較がとられ、目標符号量に近付けるために量子化回路５の量子化の細かさ（量子化スケール）を制御する。前述した３種類の情報量の異なるピクチャタイプ（フレームタイプ）に対し、設定された符号化レートに対してそれぞれのピクチャタイプの性質と出現頻度を用いて、各ピクチャに対する目標符号量を算出する。

また、目標符号量は、復号装置のストリームバッファを仮想的にシミュレートして、バッファのオーバーフロー・アンダーフローが起きないように制限される。量子化スケールは、スケールと出力符号量とが一般的にほぼ反比例の関係がある事を利用して、ピクチャタイプ毎に目標符号量に対する量子化スケール値を計算し、量子化処理を行う。ブロック毎に目標符号量に近付く方向に量子化スケールを変動させる事によって、目標符号量内に符号化ビットストリームを抑える。

符号化された画像ビットストリームは、音声等の他のビット音声ビットストリームと多重化される。ディジタル放送規格における多重化方法としては、ＭＰＥＧ２多重化規格のＴＳ（トランスポートストリーム）が用いられている。また、入力画像メモリ１及び音声符号化回路１９は、システム基準時刻発生回路２１より入力される多重化基準時刻に対して、符号化装置の符号化遅延及び復号装置のストリームバッファ遅延を考慮した遅延時間ＤＴを信号入力時刻に付加し、再生時刻を打刻してＰＥＳ（Packetized Elementary Stream）パケットとして符号化ストリームを出力する。

マルチプレクサ８から出力された符号化された画像ビットストリームは、画像ストリームバッファ１７に蓄えられ、音声符号化回路１９から出力された符号化された音声ビットストリームは、音声ストリームバッファ２０に蓄えられる。各バッファ１７、２０では復号装置のストリームバッファがオーバーフローしないように考慮した遅延時間ＤＢの間蓄えられた後、ＴＳ生成回路１８にて基準時間単位の多重化ビット数に即した各符号化ストリームがＴＳ化される。

ＴＳは１バイトの同期バイトと、ＴＳの構成を示すヘッダ部及び、ＰＥＳデータが格納されるペイロード（ｐａｙｌｏａｄ）部から構成され、１８８バイトで１ＴＳパケットとなる。多重化回路２２は、各符号化装置の符号化レートの比率に応じて、ＴＳ生成回路１８の入力バッファを切り替え、ＴＳ生成回路１８に対して符号化ストリームの識別信号を送る事により、各符号化ストリームに対するＴＳ出力を切り替え多重化する。

また、多重化回路２２はシステム基準時刻を出力するＴＳパケット（ＰＣＲ(Program Clock Reference)パケット）とそれぞれの符号化ストリームを識別するためのＰＳＩ（Program Specific Information）情報を記述したＴＳパケットを生成して記録媒体若しくは伝送路２３へ出力する。

図４は一般的な復号装置の一例のブロック図を示す。同図において、まず、入力された前述の多重化されたＴＳストリームがストリームバッファ２５に一時蓄えられた後、デマックス回路２６に供給される。デマックス回路２６は、多重化されたＴＳストリームからＰＳＩ情報を復号する事により、画像・音声のビットストリームとＰＣＲパケットを分離する。分離されたＰＣＲパケットはシステム基準時刻復元回路２７により、その到達時刻をシステム基準時刻とする事で再生処理の基準時刻を生成する。分離された画像ビットストリームと音声ビットストリームは、それぞれ画像ストリームバッファ２８、音声ストリームバッファ２９に入力されて一時蓄積された後読み出されて、それぞれ復号処理が行われる。

画像ビットストリームには仮想的にシミュレートされたバッファ値が書かれており、そのバッファ値分ビットストリームが画像ストリームバッファ２８に蓄えられてから以下の復号処理を行う事により、バッファが破綻して復号処理が止まる事を防いでいる。すなわち、画像ストリームバッファ２８から出力された画像ビットストリームは、可変長復号回路３０にて量子化スケール、予測モード、動きベクトル等の付加情報を分離すると共に、量子化されたＤＣＴ係数を復号する。

復号されたＤＣＴ係数は符号化回路内と同様の逆量子化回路３１、逆直交変換回路３２において逆量子化及び逆ＤＣＴ処理が行われ、Ｉｎｔｒａブロックもしくは差分ブロックが復号され、デブロック回路３３を介して加算器３４に供給される。予測ブロックの場合には、可変長復号回路３０にて復号した予測モードと動きベクトル値により、動き補償予測回路３５において参照画像メモリ３６から読み出された参照画像信号から予測ブロックが切り出される。これにより、復号されたＩｎｔｒａブロックもしくは差分ブロックと、動き補償予測回路３５において切り出された予測ブロックとの加算が加算器３４にて行われ、マクロブロックの画像信号が復元される。

加算器３４から出力された復元されたマクロブロックデータは、Ｉ又はＰピクチャの場合には参照画像メモリ３６に書き込まれ、Ｂピクチャの場合には出力フレームメモリ３７に蓄えられ画像信号として出力される。参照画像メモリ３６に蓄積されたＩ又はＰピクチャの画像データは、図２のタイミングに合わせて、出力するタイミングで出力フレームメモリ３７に蓄積され、Ｂピクチャと同様に出力される。

一方、音声ストリームバッファ２９に蓄積された音声ストリームは、音声復号回路３８に供給され、ここで復号された後、出力フレームメモリ３７から出力される画像データに同期して出力される。

このような画像符号化を用いた情報を配信するシステムにおいて、一旦符号化されたストリームを復号して再度符号化処理を行う必要性が存在する。例えば、情報を取材・記録された場所から情報を配信する場所に伝送する場合である。伝送路としては有線・無線の通信回線や記録媒体が考えられるが、伝送路と配信するシステムの伝送路の所有する帯域幅が異なる場合には、ビットストリームのビットレートを変更する必要がある。

具体的には、放送等から受信された符号化ストリームを所定の記録メディアに記録するために画像信号を、再度必要な符号量に変換する符号化処理を行うレート変換装置が従来より提案されている（例えば、特許文献１、特許文献２参照）。

このような、再符号化処理を行うレート変換装置（トランスコーダ）において、再符号化時の符号化劣化を少なくするために、トランスコーダで伝送される画像信号（復号されたベースバンド信号）上に、符号化された際のピクチャタイプ等のフレーム情報やマクロブロックの付加情報（以降、符号化情報と呼ぶ）を重畳させて伝送する方式が考えられている。

ＭＰＥＧ２符号化においては、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順で画像信号の品質が劣化している場合が一般的である。Ｉピクチャは基準となるフレームであるため、他のピクチャより細かく量子化されていると共に、他の画像からの参照がないため、参照フレーム劣化の影響を受けないからである。また、Ｐピクチャ、Ｂピクチャの順で、粗く量子化されると共に参照フレーム劣化の影響を受け易い。再符号化する時にＢピクチャとなっていたフレームをＩピクチャとして符号化すると、劣化の大きかった画像を基準フレームとして使用することとなるため、予測されるフレームがその劣化の影響を受け、再符号化した際の画質劣化が大きくなる。

そのため、符号化情報を参照して、再符号化時のピクチャタイプを合わせてやる事で、上記劣化要因が低減される。また、マクロブロック付加情報を用いる事で、動きベクトル検出のための処理量を削減できると共に、量子化スケールと符号化ビット数より、マクロブロックの持っている情報量の指針が得られ、ビットレート変換時に良好な符号量コントロールが期待できる。

このような、符号化情報を伝送するトランスコーダにおける復号装置及び符号化装置の構成について説明する。図５は従来のレート変換装置の一例のブロック図を示す。この従来のレート変換装置は、前記特許文献１に開示されたレート変換装置であり、基本的には図３、図４で述べた符号化装置・復号装置を繋げた構成となるため、図３、図４と同一構成部分には同一符号を付し、付加された機能ブロックについてのみ説明し、画像符号化に関する部分のみを説明する。

図５において、図４に示した復号装置Ａの可変長復号回路３０は、復号した際のフレーム情報とマクロブロック付加情報及び、マクロブロックの符号化ビット数を算出し、符号化情報生成回路４１に入力する。符号化情報生成回路４１においては、フレーム情報及びマクロブロック付加情報をフレーム毎にまとめてフォーマットし、符号化情報メモリ４２に蓄える。

符号化情報メモリ４２は、Ｉ、Ｐ、Ｂピクチャの出力並び替えに対応するように、出力フレームメモリ３７が蓄える複数フレーム分の記憶容量を具備している。この符号化情報メモリ４２から出力されたフレーム情報及びマクロブロック付加情報からなる符号化情報は、符号化情報重畳回路４３においてピクチャタイプにより取り出す符号化情報の順番が変更され、復号装置Ａ内の出力フレームメモリ３７から出力される画像データと同期して出力される。

図５において、符号化装置Ｂは図３に示した構成であり、入力画像メモリ１に復号装置Ａ内の出力フレームメモリ３７から画像信号が供給されて蓄えると共に、符号化情報生成回路４１で抜き取られた符号化情報が、符号化情報メモリ４４に蓄えられる。符号化情報メモリ４４は、入力画像メモリ１が蓄える複数フレーム分の記憶容量を具備している。この符号化情報メモリ４４から出力された符号化情報は、符号化情報分離回路４５を通して符号化シンタックス制御回路４６及びマクロブロック情報生成回路４７に供給される。

符号化シンタックス制御回路４６では、符号化情報分離回路４５で抜き取られた符号化情報からピクチャタイプを検出し、入力画像メモリ１に蓄積される画像データを符号化順に並べ替える制御を行う。ピクチャの符号化情報を抜き取る事ができない場合には、非検出信号が符号化情報分離回路４５から送られ、通常の符号化処理と同様に符号化装置Ｂ内で符号化シンタックスを構成し、符号化処理を行う。マクロブロック情報生成回路４７では、符号化情報メモリ４４に格納されている符号化情報を、符号化シンタックスに応じて順番を入れ替えて読み込み、各マクロブロックに対する符号化情報を抜き出す。

マクロブロック情報生成回路４７で抜き出された符号化情報は、符号化装置Ｂ内の動き補償予測回路１５及び符号量制御回路１６に伝送される。動き補償予測回路１５は、符号化情報に存在する動きベクトルと予測モードを用い、参照画像メモリ（図示せず）から予測ブロックを切り出して減算器(図示せず)に供給し、ここで符号化する入力画像ブロックとの差分信号を生成させ、その差分信号を直交変換回路(図示せず)に送り出す。

ピクチャでの符号化情報もしくは、マクロブロック毎の符号化情報を抜き取る事ができなかった場合には、符号化情報分離回路４５から非検出信号が送られ、従来の符号化処理と同様に動きベクトル検出及び予測モード選択処理が行われる。

符号量制御回路１６は、マクロブロック毎の符号化した際の量子化スケール及び要したビット数が符号化情報として入力され、現在制御ターゲットである符号化ビットレートでの設定符号量と比較処理を行うことにより、適切な量子化スケールを決定し、符号化処理を行う。なお、レート変換装置にて、復号装置・符号化装置が一体となっている場合には、符号化情報メモリ４２、４４は一箇所にまとめる事ができる。

なお、特許文献２記載の従来のレート変換装置は、情報量圧縮された画像符号を受信伝送路から入力バッファにて受信し、これを伸長して画像信号を出力する復号部と、復号で復号した画像信号に対し情報量を圧縮して画像符号を生成し、出力バッファから送信伝送路へ出力する符号化部と、符号化部を制御するトランスコーダ制御部とからなり、トランスコーダ制御部は、復号部の入力バッファを監視する入力バッファ監視手段と、符号化部の出力バッファを監視する出力バッファ監視手段と、入力バッファ監視手段と出力バッファ監視手段からの情報に基づき、符号化部の圧縮処理における量子化ステップを変更する量子化ステップ制御手段とからなる構成である。

特開２００２―１４２２２４号公報 特開２００１―１６０９６７号公報

従来のレート変換装置にて再符号化を行う際には、画像符号化が固定ビットレート（ＣＢＲ）にて符号化されている場合には、ストリームに記述されていたビットレートの値と再符号化を行う際に設定したビットストリームの間の比率を基準として、再符号化時のそれぞれのフレームに対する符号化ビット数を割り与える事により、適切な符号化処理が実現できる。

しかしながら、画像符号化が可変ビットレート（ＶＢＲ）の場合には、ストリームに記述されているビットストリームは最大ビットレートであり、符号化されたストリームの符号量を示す値とならない。そのため、ストリームに記述されていたビットレートの値と再符号化を行う際に設定したビットストリームの間の比率を基準として、再符号化時の各フレームに対する符号化ビット数を割り与える事ができず、符号化情報を有用に使用する事ができず、適切な符号化処理を実現できない。

本発明は以上の点に鑑みなされたもので、一度符号化処理が行われた符号化ストリームを、復号して再度必要な符号量に変換する符号化処理を行うレート変換記録を行う際に、復号前の符号化ストリーム情報を使用して再符号化時の符号畳制御を良好に行い得るレート変換装置を提供することを目的とする。

本発明は上記の目的を達成するため、画像信号がピクチャ単位で圧縮符号化された第１の平均ビットレートの第１の符号化データを、ピクチャ単位で複数のパケットから構成されるストリームとした第１の符号化データストリームを復号装置により復号して符号化装置に供給し、符号化装置では供給された復号画像信号を所定のブロック毎に直交変換してから量子化回路により量子化スケールに応じて量子化し、量子化された信号を符号化回路により再符号化して第２の平均ビットレートの第２の符号化データを出力すると共に、第２の符号化データの符号量を目標符号量に近付けるための量子化スケールを量子化回路に出力する符号量制御回路を備えたレート変換装置において、第１の符号化データストリームのピクチャ単位でのパケット数及びピクチャ毎の先頭パケット到着時刻を復号装置から入力として受け、当ピクチャのビット数及びピクチャ伝送時間を計測する計測手段と、計測手段により計測されたピクチャのビット数及びピクチャ伝送時間を、複数パケット分蓄積するメモリ手段と、メモリ手段からのピクチャのビット数及びピクチャ伝送時間に基づいて、第１の符号化データの平均ビットレートを計算し、その計算結果と符号化装置にて再符号化されるピクチャのピクチャタイプと、第２の平均ビットレートとに基づき、符号化装置内の符号量制御回路に対し、再符号化時のピクチャ毎の符号量を割り与える平均ビットレート計算手段とを有する構成としたものである。

この発明では、ＶＢＲにて構成された符号化ストリームをレート変換記録する際に、第１の符号化データ内の画像パケット数とピクチャの最初のパケット到達時刻を復号装置から入力として受け、該当ピクチャを含む以降特定ピクチャ数もしくは特定時間に到達したピクチャの伝送時間と該当ピクチャのビット数から第１の符号化データの平均ビットレートを計算し、その計算結果と第２の平均ビットレートと再符号化されるピクチャのピクチャタイプとから、再符号化時の符号量制御において瞬間的なビットレートを換算し、フレーム毎の配分及び制御を行う。これにより、ＶＢＲストリームをトランスコーディングする際にも、適切な符号量割り当てを実現できる。

本発明によれば、画像信号が第１の平均ビットレートで符号化された第１の符号化データに対して、伝送路や記録媒体に合わせてビットレートを変換して再符号化処理を行う場合に、多重化されたパケットのピクチャ（フレーム）毎の到達時刻とピクチャ（フレーム）毎のパケット数を計算し、その情報を再符号化する符号化装置に伝送することにより、第１の符号化データの現在の平均ビットレートを計算し、その計算結果と再符号化の第２の平均ビットレートと再符号化されるピクチャのピクチャタイプとから、再符号化時の符号量制御において瞬間的なビットレートを換算し、フレーム毎の配分及び制御を行うようにしたため、第１の符号化データにて割り与えられていたビット割り当てを継続でき、再符号化に有効な符号化情報を適切に使用でき、良好なトランスコーディング機能を実現できる。

次に、本発明を実施するための最良の形態について図面と共に説明する。図１は本発明になるレート変換装置の一実施の形態のブロック図を示す。同図中、図３乃至図５と同一構成部分には同一符号を付し、その説明を省略する。図１において、図４に示した復号装置Ａのデマックス回路２６は、復号装置Ａ内の画像復号部に分離した画像ストリームを出力すると共に、ピクチャ単位での画像パケット数ＮＰをパケット計測回路５１に供給する。また、ＰＥＳパケットが存在するピクチャの最初の画像ＴＳパケットのパケット到達時刻（最初のパケットが届いた時刻）ＲＰＣＲも同様にパケット計測回路５１に供給される。

パケット計測回路５１は、パケット数ＮＰより該当ピクチャのビット数ＮＢを計算する。簡単に計算する場合には、ＴＳパケット内のペイロード（ｐａｙｌｏａｄ）が最大１８４バイトなので、
ＮＢ＝１８４×８×ＮＰ
で求める事ができるが、ピクチャ毎の画像ストリームは必ずしも１８４バイトでアライメントされていないので、パケット内のペイロード（ｐａｙｌｏａｄ）バイト数をデマックス回路２６から送ってもらうと正確なビット数が計算できる。

また、先頭パケットの到達時刻ＲＰＣＲ（Ｆ）と次ピクチャの先頭パケットの到達時刻ＲＰＣＲ（Ｆ＋１）の差分を計算する事により、該当ピクチャのストリーム伝送している時間（フレーム間差分）Ｔを計測する。すなわち、次式により時間Ｔが計算される。

Ｔ＝ＲＰＣＲ（Ｆ＋１）−ＲＰＣＲ（Ｆ）
計算されたビット数ＮＢ及び時間Ｔは、ピクチャ毎にパケット情報メモリ５２に蓄えられる。再符号化する符号化装置Ｂ側では、平均ビットレート計算回路５３がパケット情報メモリ５２に記憶されているビット数ＮＢ及び時間Ｔに基づき、元ストリームの単位時間での平均ビットレートを計算する。その平均ビットレートを図３に示した符号化装置Ｂ内の符号量制御回路１６が用いて、再符号化時のピクチャ毎のビット数を割り与える。これにより、本実施の形態によれば、再符号化時に有効な符号化情報を適切に使用できるようになり、良好なトランスコーディング機能が実現できる。

なお、図１では、平均ビットレート計算回路５３を符号量制御回路１６とは別回路として構成しているが、実質的には符号量制御回路１６内で平均ビットレートの値を計算させる事が可能である。また、トランスコーディング処理として、元ストリームのピクチャタイプに一致させて再符号化時のピクチャタイプを決定する方式をとる場合には、単純に平均ビットレートの出力と再符号化レートとの比率を基に、再符号化時のピクチャ毎の割り当てビット数を決定する事ができる。

また、図１において、符号量制御回路１６による符号量制御は、フィードバック的に所定フレーム後（例えば、１５フレーム）に収束させるように制御させる。このフレームをＦＮＵＭとすると、現在からＦＮＵＭフレーム後までの平均ビットレートを求め、再符号化レートとの比率を計算する。

ここで、再符号化を行うフレームからＦＮＵＭフレーム後までに到達した元ストリームのビット数をΣＮＢ、それとストリームの該当ピクチャに要したビット数ＮＢ（Ｆ）を使って、再符号化レートをＲだとすると基本的な割当ビット数Ａ（Ｆ）は、
Ａ（Ｆ）＝（ＮＢ（Ｆ）×Ｒ）／（ΣＮＢ×ＦＲ／ＦＮＵＭ）
とすることで、スライド的に割当符号量を変化させる。ここで、上式中、ＦＲは元ストリームの１秒間のフレーム数(フレームレート)であり、例えば３０である。

再符号化が固定ビットレートの場合には、ＶＢＶ（Video Buffering Verifier）バッファの制御を行い、ＶＢＶバッファの制御を逸脱しないような制限が必要となる。また、平均ビットレートは到達時間から求める事も可能である。例えば、１秒間のＴＳパケット中に入っている元ストリームのピクチャ数から、平均ビットレートを計算する。

割り当てビット数（符号量）は、再符号化を行うピクチャから先頭パケット到達時刻Ｔを積算し、１秒を超えるまでそのピクチャのビット数を計算する事により行われる。１秒間をまたぐピクチャの計算は、該当ピクチャの先頭パケット到達時刻をＲＰＣＲ（Ｆ）、１秒をまたぐピクチャの先頭パケット到達時刻をＲＰＣＲ（Ｘ）、その次のピクチャの先頭パケット到達時刻をＲＰＣＲ（Ｘ＋１）、１秒をまたぐピクチャのビット数をＮＢ（Ｘ）とすると、最後のピクチャに対する積算ビット数ｎｂ＿ｌａｓｔは
nb_last＝((RPCR(F)＋1sec−RPCR(X))×(NB(X)))/(RPCR(X+1)−RPCR(X))
となる。

すなわち、ある基準時刻から１秒後をまたいで、あるピクチャのビットストリームが伝送される場合に、最後のピクチャのビット数をどの程度ビットレート計算に加えてあげるかという場合、最後のピクチャに対する積算ビット数は、（最後のフレームの伝送開始時刻から基準時刻＋１秒後までの時間）／(最後のピクチャの総伝送時間)により求められる。このようにして計算された１秒間のビット数ΣＮＢ＿１ｓｅｃを用いて、
Ａ（Ｆ）＝（ＮＢ（Ｆ）×Ｒ）／ΣＮＢ＿１ｓｅｃ
で割り当てビット数を算出する。

このように、本実施の形態によれば、符号化レートと元ストリームの各フレームのビット数より、再符号化時のフレーム（ピクチャ）単位の割り当てビット数を計算する事により、元ストリームにて割り与えられていたビット割り当てを継続でき、再符号化に有効な符号化情報を適切に使用でき、良好なレート変換機能が実現できる。

なお、以上の実施の形態では、ハードウェアによりレート変換装置を構成するように説明したが、本発明はこれに限定されるものではなく、例えば、コンピュータプログラムによるソフトウェアにより実現することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれるようにしてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

本発明装置の一実施の形態のブロック図である。 ＭＰＥＧ２画像符号化で用いられる符号化体系、符号化時の符号化順並び替えのタイミング、及び復号時のストリーム到達順と復号画像出力順を示す図である。 一般的なＭＰＥＧ２画像符号化装置及び多重化回路の一例のブロック図である。 一般的なＭＰＥＧ２画像復号装置の一例のブロック図である。 従来装置の一例のブロック図である。

符号の説明

１ 入力画像メモリ
１５ 動き補償予測回路
１６ 符号量制御回路
２６ デマックス回路
３０ 可変長復号回路
３７ 出力フレームメモリ
４１ 符号化情報生成回路
４２、４４ 符号化情報メモリ
４３ 符号化情報重畳回路
４５ 符号化情報分離回路
４６ 符号化シンタックス制御回路
４７ マクロブロック情報生成回路
５１ パケット計測回路
５２ パケット情報メモリ
５３ 平均ビットレート計算回路
Ａ 復号装置
Ｂ 符号化装置

Claims (1)

1. 画像信号がピクチャ単位で圧縮符号化された第１の平均ビットレートの第１の符号化データを、前記ピクチャ単位で複数のパケットから構成されるストリームとした第１の符号化データストリームを復号装置により復号して符号化装置に供給し、該符号化装置では供給された復号画像信号を所定のブロック毎に直交変換してから量子化回路により量子化スケールに応じて量子化し、量子化された信号を符号化回路により再符号化して第２の平均ビットレートの第２の符号化データを出力すると共に、前記第２の符号化データの符号量を目標符号量に近付けるための前記量子化スケールを前記量子化回路に出力する符号量制御回路を備えたレート変換装置において、
   前記第１の符号化データストリームの前記ピクチャ単位でのパケット数及びピクチャ毎の先頭パケット到着時刻を前記復号装置から入力として受け、該当ピクチャのビット数及びピクチャ伝送時間を計測する計測手段と、
   前記計測手段により計測された前記ピクチャのビット数及びピクチャ伝送時間を、複数パケット分蓄積するメモリ手段と、
   前記メモリ手段からの前記ピクチャのビット数及びピクチャ伝送時間に基づいて、前記第１の符号化データの平均ビットレートを計算し、その計算結果と前記符号化装置にて再符号化されるピクチャのピクチャタイプと、前記第２の平均ビットレートとに基づき、前記符号化装置内の前記符号量制御回路に対し、再符号化時のピクチャ毎の符号量を割り与える平均ビットレート計算手段と
   を有することを特徴とするレート変換装置。
   
   
   

Images