JP2004266847A

JP2004266847A - 記録媒体

Info

Publication number: JP2004266847A
Application number: JP2004099758A
Authority: JP
Inventors: Takayuki Sugawara; 隆幸菅原; Seiji Higure; 誠司日暮
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-03-30
Filing date: 2004-03-30
Publication date: 2004-09-24

Abstract

【課題】既に記録されているＭＰＥＧ画像データの途中から、もしくは末尾から新たなＭＰＥＧ画像データを追加記録した場合でも、再生時にＶＢＶバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスな再生を可能とする。
【解決手段】ＭＰＥＧ画像データのビットストリームとは別に、そのビットストリームおけるＩピクチャーの１フレーム前のピクチャー符号化終了時点でのＶＢＶバッファ値と、Ｐピクチャーの１フレーム前のピクチャー符号化終了時点でのＶＢＶバッファ値と、記録終了時点でのＶＢＶバッファ値と、前記各ＶＢＶバッファ値がＭＰＥＧ画像データのどの時点におけるＶＢＶバッファ値であるかを示すアドレス情報とを記録しておく。
【選択図】図１

Description

本発明は、MPEG符号化方式で圧縮された画像データであるMPEG画像データを記録した記録媒体に関するものである。そして、この発明は特に、追加記録したMPEG画像データを再生した場合にシームレスな再生を実現可能とするMPEG画像データの記録媒体を提供することを目的としている。

まず、従来技術であるMPEGについて簡単に説明する。MPEGについてはISO-IEC11172-2、ITU-T H.262 / ISO-IEC13818-2に詳細な説明がなされているので、ここでは概略のみ説明する。MPEGは1988年、ISO/IEC JTC1/SC2（国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2、現在のSC29）に設立された動画像符号化標準を検討する組織の名称（Moving Pictures Expert Group）の略称である。MPEG1（MPEGフェーズ1）は1.5Mbps程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたJPEGと、ISDNのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261（CCITT SGXV、現在のITU-T SG15で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは1993年8月、ISO/IEC 11172 として成立している。

MPEGは幾つかの技術を組み合わせて作成されている。図５に従来のMPEG符号化器を示し、以下に簡単に説明する。入力画像は動き補償予測器１で復号化した画像と、入力画像の差分とを差分器２で取ることで時間冗長部分を削減する。

予測の方向は、過去、未来、両方からの３モード存在する。また、これらは16画素×16画素のMB（マクロブロック）ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測により符号化するモードと、予測をしないでそのMBを独立で符号化するモードとの２つのモードが存在するのがPピクチャーである。また、未来からの予測、過去からの予測、両方からの予測、独立で符号化する４つのモードが存在するのがBピクチャーである。そして、全てのMBを独立で符号化するのがIピクチャーである。

動き補償は、動き領域をMBごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すMC(Motion Compensation)モードとともにMBの付加情報として伝送される。

Iピクチャから次のIピクチャの前のピクチャまでをGOP(Group Of Picture)といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が一つのGOPとして使用される。

差分画像はDCT器３において直交変換が行われる。DCT（Discrete Cosine Transform)とは、余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。MPEGではMBを４分割し8×8のDCTブロックに対して、２次元DCTを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、DCTを行うと係数が低域に集中する。

DCTされた画像データ（DCT係数）は量子化器４で量子化が行われる。量子化は量子化マトリックスという8×8の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、DCT係数をその量子化値で叙算する。MPEG復号化器（デコーダー）で逆量子化するときは量子化値で乗算することにより、元のDCT係数に近似している値を得ることになる。

量子化されたデータはVLC器５で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化のひとつであるＤＰＣＭ（differential pulse code modulation )を使用する。また交流（ＡＣ）成分は低域から高域にzigzag scanを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。

可変長符号化されたデータは一時バッファ６に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器２１に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器４にフィードバックして量子化スケールを調整することで符号量制御される。

量子化された画像データは逆量子化器７にて逆量子化、逆DCT器８にて逆DCTされ、加算器９を介して一時、画像メモリー１０に蓄えられたのち、動き補償予測器１において、差分画像を計算するためのリファレンスの復号化画像として使用される。

このようにしてMPEG符号化された符号化データを復号化するMPEG復号化器（デコーダー）を図６に示す。

入来する符号化データ（ストリーム）はバッファ１１でバッファリングされ、バッファ１１からのデータはVLD器１２に入力される。VLD器１２では可変長復号化を行い、直流（ＤＣ）成分および交流（ＡＣ）成分を得る。交流（ＡＣ）成分データは低域から高域にzigzag scanの順で８ｘ８のマトリックスに配置される。このデータは逆量子化器１３に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは逆DCT器１４に入力されて逆DCTされ、画像データ（復号化データ）として出力される。また、復号化データは一時、画像メモリー１６に蓄えられたのち、動き補償予測器１７において、差分画像を計算するためのリファレンスの復号化画像として使用される。

また、符号化ビットストリームはビデオの場合１ピクチャーごとに可変長の符号量をもっている。これはMPEGがDCT、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャーごとに配分する符号量は適応的に変更する必要性があり、動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。

この場合、多くはその画像のエントロピー比率に配分しつつ、バッファの制限を守りながら符号量制御される。バッファ管理器は発生した符号量と符号化レートの関係を監視し、所定のバッファ内に収まるように目標符号量を設定する。この値は可変長符号化器にフィードバックされ、符号量制御器に入り、そこで量子化器にセットする量子化値を大きくして発生符号量を抑えたり、量子化値を小さくして発生符号量を小さくしたりする。

このような可変長データを固定の転送レート（符号化レート）で符号化する場合、復号器の最大バッファ量を上限値とすると、一定速度でデータが入力されて、所定の値だけ溜まったとことから、所定の時刻（NTSCのビデオ信号なら1/29.97 sec単位）で復号化を一瞬で行うモデルを使用し、そのバッファがオーバーフローもアンダーフローも発生しないように符号化することがMPEGで規定されている。この規定（ＶＢＶバッファ規定）を守っていればVBVバッファ内でのレートは局部的に変化しているものの、観測時間を長く取れば固定の転送レートとなり、MPEGではこのことを固定レートであると定義している。

固定転送レートの場合、発生符号量の少ない場合にはバッファ占有量は、上限値に張り付いた状態になる。この場合、無効ビットを追加してオーバーフローしないように符号量を増やさなければならない。

可変転送レートの場合にはこの固定転送レートの定義を拡張して、バッファー占有率が上限値になった場合、復号器の読み出しを中止することにより、原理的にオーバーフローが起きないように定義されている。こうしたバッファ推移を図７に示す。仮に非常に発生符号量が少なくても、復号器の読み出しが中止されるので、固定転送レートの時のように無効ビットをいれる必要はない。従って、アンダーフローだけが発生しないように符号化する。

また、従来、特開平１１−７４７９９の発明によれば、記録媒体に記録されたMPEGデータなどの圧縮データを編集する場合、MPEGデータの連続性を保つため、その編集点ではVBVバッファをつねに固定になるよう発生符号量を制御したり、GOPをクローズドGOPとして符号化するなど、連続性を考慮した符号化をおこなう方法が記載されている。

また、特開平１１−１８７３５４の発明のよれば、符号化データにはなんの制約も施さずに、そのデータの部分区間のうち、編集素材として抜粋されたデータを指示する情報とその再生順番に関する情報を記述し、記録されたデータは変更せずに、単一記録媒体に映像編集を実現できる方法が記載されている。

しかしながら上記の従来の方式では、MPEG画像データは単純につなぐとVBVバッファの接続に矛盾が生じ、オーバーフローやアンダーフローがおきてしまった。また、固定長符号化の場合にはVBVの値がピクチャー単位に記述されており、画像ビットストリームを観測することで、追加記録する場合の開始点におけるVBVの開始値を計算で算出することができたが、それもMPEG圧縮データに一部を復号しなければならなかった。さらに、可変長符号化の場合には、VBVの値がシンタックスにまったく記述されないので、その圧縮データの先頭から、各ピクチャーの発生符号量を観測して計算しなければならなかった。これによって、より多くの回路と計算時間を要してしまっていた。

特開平１１−７４７９９の発明においては、どこで編集されても良いように、各GOPに対してVBVバッファが常に固定になるよう発生符号量を制御したり、GOPをクローズドGOPとして符号化するなど、連続性を考慮した符号化制約を施すことになり、符号化効率の面では不利な要因になっていた。

また、特開平１１−１８７３５４の発明においては、あたかも編集したように再生表示はされるが、その編集点での連続性は不完全で、MPEGデータのデコーダーバッファの初期化などの一時的な静止現象がおこる可能性があった。

本発明は、既に記録されているMPEG画像データの途中から、もしくは末尾から新たなMPEG画像データを追加記録した場合でも、再生時にVBVバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスな再生を可能とするMPEG画像データの記録媒体を提供することを目的としている。さらに、本発明は、既に記録されているMPEG画像データを復号しなくとも追加記録する場合の開始点におけるVBVの開始値がわかり、回路規模の小型化と計算時間の短縮化が図れるMPEG画像データの記録媒体を提供することを目的としている。

そこで、上記課題を解決するために本発明は、以下の記録媒体を提供するものである。
（１） MPEG符号化方式で圧縮された画像データであるMPEG画像データと共に、
前記MPEG画像データのビットストリームにおける所定単位毎の各VBVバッファ占有値に関する情報と、前記各VBVバッファ占有値に関する情報が前記MPEG画像データのどの時点におけるVBVバッファ占有値に関する情報であるかを示す情報とが記録されていることを特徴とする記録媒体。
（２） MPEG符号化方式で圧縮された画像データであるMPEG画像データと共に、
前記MPEG画像データのビットストリームにおけるＧＯＰ単位毎の各VBVバッファ占有値に関する情報と、前記各VBVバッファ占有値に関する情報が前記MPEG画像データのどの時点におけるVBVバッファ占有値に関する情報であるかを示す情報とが記録されていることを特徴とする記録媒体。

以上の通り、本発明を用いれば、既に記録されているMPEG画像データの途中から、もしくは末尾から新たなMPEG画像データを追加記録した場合でも、再生時にVBVバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスで高品位な再生を可能とする。さらに、本発明を用いれば、既に記録されているMPEG画像データを復号しなくとも追加記録する場合の開始点におけるVBVバッファ占有値の開始値がわかり、回路規模の小型化と追加記録のための処理時間の短縮化が図れる。

本発明を用いれば、既に記録されているMPEG画像データの途中から、もしくは末尾から新たなMPEG画像データを追加記録した場合でも、再生時にVBVバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスな再生を可能とする。さらに、本発明を用いれば、既に記録されているMPEG画像データを復号しなくとも追加記録する場合の開始点におけるVBVの開始値がわかり、回路規模の小型化と計算時間の短縮化が図れる。

図１を用いて本発明の概念を説明する。記録媒体には、MPEG符号化方式で圧縮された画像データであるMPEG画像データが記録される。このMPEG画像データは、一回の記録単位で符号化生成された連続再生可能なデータが複数連続して連なったビットストリームとして記録される。

これらの符号化されたMPEG画像データのビットストリームとは別に、MPEG画像データのビットストリームにおけるIピクチャーの１フレーム前のピクチャー符号化終了時点でのVBVバッファ値（占有値）と、Pピクチャーの１フレーム前のピクチャー符号化終了時点でのVBVバッファ値（占有値）と、記録終了時点でのVBVバッファ値（占有値）と、前記各VBVバッファ値がMPEG画像データのどの時点におけるVBVバッファ占有値であるかを示すアドレス情報（この例では、MPEG画像データのファイルのはじめからの相対アドレス）が記録される。これらのデータを含むVBVバッファ情報のデータ構造を図１に示す。

VBVバッファ情報は階層構造をもっている。始めにエントリーポイント情報構造体があり、その後にVBV情報構造体がある。エントリーポイント情報構造体は、始めにエントリーポイント（EP）のアドレスの個数を３２ビット、その後にEPｎ（ｎは１以上の自然数）アドレスを３２ビットで順に記述する。EPｎアドレスはVBV情報構造体のEPｎ情報（ｎは１以上の自然数）の記述されている位置を示し、このVBVバッファ情報の先頭からの相対アドレスを記述する。一方VBV情報構造体は、EP1情報から順に記述されており、EP1情報の中身は相対アドレス、PTM値、VBV値を順に記述する。

VBV情報構造体のEPｎ情報における相対アドレスとは、図２のように、MPEG画像データのビットストリームにおけるIピクチャーの１フレーム前のピクチャー符号化終了時点、Pピクチャーの１フレーム前のピクチャー符号化終了時点、及び記録終了時点での、そのMPEG画像データの先頭からの相対アドレスであり、例えば単位はバイトが用いられる。ディスクメディアに記録されている場合には、相対アドレスとしてセクターなどが用いられる。

VBV情報構造体のEPｎ情報におけるPTM値とは、MPEGのシステム規格（多重化規格）において、９０kHzもしくは２７MHｚのクロックで記録されているタイムスタンプである。MPEG規格ではPTS（Presentation Time Stamp）やDTS(Decoding Time Stamp)と呼ばれている。ここでは、MPEG画像データのビットストリームのIピクチャーの１フレーム前のピクチャー符号化終了時点、Pピクチャーの１フレーム前のピクチャー符号化終了時点、及び記録終了時点での、時間情報としてDTSを記録する。DTSは１ピクチャーに１つ記録されており、NTSCのビデオ信号であれば９０KHｚクロックで１ピクチャにつき３００３クロックの間隔で、記録されている。従って、本発明のように３ピクチャーごとにIピクチャかPピクチャが存在している場合で一番初めが０からスタートする場合には、９００９、１８０１８....という間隔でPTM情報がEPｎ情報に記述されることになる。

VBV情報構造体のEPｎ情報におけるVBV値は、MPEGで規定されているデコーダーの仮想バッファ占有値である。MPEG画像データの１ピクチャごとの発生符号量と、転送レートの値から計算で導けるもので、図３のように、圧縮されているビットストリーム情報のIピクチャーの１フレーム前のピクチャー符号化終了時点、Pピクチャーの１フレーム前のピクチャー符号化終了時点、及び記録終了時点での（図３に示す各○印の位置での）、各VBV占有値を記述する。もしくは、前記各時点でのMPEGで規定されているVBVdelay値を記述する。この値はVBV占有値まで、そのときの転送レートでどれだけの時間がかかるかという時間に換算した値である。本発明ではVBV値はVBVバッファ占有値に関する情報であれば何であっても良い。

MPEG圧縮では基本的にIBB、PBB、というように３フレーム単位でIかPのピクチャータイプを用いて符号化する。MPEG圧縮はBピクチャーは両方向から予測されている可能性があるので、符号化ビットストリーム順番において、ビットストリームのIピクチャー、Pピクチャーの１フレーム前のピクチャー符号化終了時点でしか、データのつなぎ追加は簡単にはできない。そのため本発明では、VBVの情報をビットストリームのIピクチャー、Pピクチャーの１フレーム前のピクチャー符号化終了時点で記述する形態をもつことに特徴がある。

次に、本発明の記録媒体の一実施例を使用する記録装置の一例の構成を図４に示し、MPEG符号化方式で画像データを符号化しながらVBVバッファ情報を作成する動作を説明をする。

記録媒体３１に符号化データがまったく無い状態、すなわち、初めて符号化する場合には、記録媒体３１からのデータ読み取り部３２では、データが存在していないので、データがないという情報をVBVバッファ情報検出器３３に送信する。VBVバッファ情報検出器３３でもデータが存在していないので、パラメータ設定器３４にはあらかじめ設定した初期値、すなわちVBV値は、たとえばMPEGで規定されるVBVの最大値の８０％の値とし、PTMタイムスタンプ情報は０とする。これらの初期設定値を画像符号化器３５に送信する。

画像符号化器３５では、符号化を初期設定値から開始する。画像符号化器３５では符号化を行いながら、ビットストリームのIピクチャーの１フレーム前、及びPピクチャーの１フレーム前のピクチャー符号化終了時点での発生符号量とPTM値、VBV値を、毎回、VBVバッファ情報作成器３６へ送信する。それとともに符号化データをデータ書き込み部３７へ送信する。さらに、画像符号化器３５は、ユーザーが画像圧縮記録を一時停止、もしくは終了した時点での発生符号量とPTM値、VBV値を、VBVバッファ情報作成器３６へ送信する。

VBVバッファ情報作成器３６では、入力された発生符号量値とPTM値とVBV値から図１に示す構造のVBVバッファ情報のデータを作成する。もしくはそのデータ構造を作成するのに必要なデータをメモリーして所定のフォーマットで記録保持する。VBVバッファ情報作成器３６で作成された情報は、データ書き込み部３７により符号化データ（MPEG画像データ）が記録媒体３１に書き込まれているときに、同時にバースト的に書き込みを行っても良い。また、VBVバッファ情報作成器３６で作成された情報は、符号化データ（MPEG画像データ）が書き込み終わったとき、すなわち、ユーザーが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されていたデータから、図１の構造に変換してデータ書き込み部３７により書き込みを行っても良い。

次に、記録媒体３１に前記したVBVバッファ情報と共に既に記録されている符号化データ（MPEG画像データ）に対して、その符号化データ（MPEG画像データ）における所定の位置から追加して新たな画像データを記録する場合の動作について説明する。

記録媒体３１には既に符号化ストリーム（MPEG画像データのビットストリーム）が記録されている。従って、データ読み取り部３２ではVBVバッファ情報を記録媒体３１から読み取り、VBV値、PTM値、相対アドレスを得る。追加記録が既に記録されている符号化ストリームの一番最後から行われる場合には、存在しているVBVバッファ情報の一番最後の値（相対アドレスが符号化ストリームの先頭から一番遠いVBVバッファ情報）を参照する。記録媒体３１上において、新たなMPEG画像データが追加記録される位置は、既に記録されているMPEG画像データの記録部分に続く位置でもよいし、全く別の位置でもよい。

既に記録されている符号化ストリームの途中からの追加書き込みを行う場合には、図示せぬ、ユーザーインターフェースから、既に記録されている画像データのどこのポイントから途中追加記録するかを指定してもらう。例えば、その指定の仕方が、データの相対アドレスの位置情報の場合には、VBVバッファ情報の構造のEPｎ情報内の相対アドレス情報にもっとも近い値のデータにリンクされているVBV値、PTM値を用いる。また、もし、その指定の仕方が、データの開始時刻からの時間や、追加記録されるポイントのタイムスタンプ情報であれば、同様にVBVバッファ情報の構造のEPｎ情報内のPTM値を用いて、この値が９０KHｚのクロックで記録されている場合にはその値に 1/90000秒の値を乗じることで秒の時間を得ることができ、その途中追加記録する位置（相対アドレス）とVBV値、PTM値を得ることができる。

これらの値はパラメータ設定器３４に入力され、画像符号化器３５においてその設定値から符号化が開始される。（その検出したVBV値に基づきVBVバッファ制御を開始して符号化を行う。）
一方、符号化データサーチ器３８では途中追加記録を開始する位置を、既に記録してあるビットストリームに対してサーチする。サーチはデータの相対アドレスを用いて、そのビットストリームファイルの頭からの位置にポインタを設定する。

画像符号化器３５では符号化を行いながら、ビットストリームのIピクチャー、Pピクチャーの１フレーム前のピクチャー符号化終了時点での発生符号量とPTM値、VBV値を、毎回、VBVバッファ情報作成器３６へ送信する。それとともに符号化データをデータ書き込み部３７へ送信する。さらに、画像符号化器３５は、ユーザーが画像圧縮記録を一時停止、もしくは終了した時点での発生符号量とPTM値、VBV値を、VBVバッファ情報作成器３６へ送信する。

新たなMPEG画像データは既に記録されているMPEG画像データの途中追加記録するポイントから、追加記録される。

なお、既に記録されているMPEG画像データの途中部分に追加記録される新たなMPEG画像データは、記録媒体３１上の既にMPEG画像データが記録されている部分に上書きされるように記録されてもよい。また、既にMPEG画像データが記録されている記録媒体３１上の部分とは全く別の記録媒体３１上の部分に記録されてもよい。（この場合、既に記録されているMPEG画像データ上の追加記録ポイントと新たなMPEG画像データとをリンクさせる必要がある。）
上記説明では、追加記録される新たなMPEG画像データは、既にMPEG画像データ記録されている記録媒体に記録されるものとして説明したが、記録媒体３１から読み出したMPEG画像データと共に、上記の方法で別の記録媒体に記録してもよい。

また、上記実施例では記録装置単体でのシステムとして説明したが、記録媒体は、ネットワークを介したデータベースであってもかまわない。

本発明に基づくVBVバッファ情報構造の一実施例を示す図である。本発明におけるMPEG画像データと相対アドレスとの関係を示す図である。 VBV値を説明する説明図である。本発明の記録媒体を使用するMPEG画像データ記録装置の一例を示すブロック図である。従来のMPEG符号化器の一例を示す図である。従来のMPEG復号化器の一例を示す図である。 MPEGにおけるVBVバッファ概念を説明するための図である。

符号の説明

３１記録媒体
３２データ読み取り部
３３ VBVバッファ情報検出器
３４パラメータ設定器
３５画像符号化器
３６ VBVバッファ情報作成器
３７データ書き込み部
３８符号化データサーチ器

Claims

MPEG符号化方式で圧縮された画像データであるMPEG画像データと共に、
前記MPEG画像データのビットストリームにおける所定単位毎の各VBVバッファ占有値に関する情報と、前記各VBVバッファ占有値に関する情報が前記MPEG画像データのどの時点におけるVBVバッファ占有値に関する情報であるかを示す情報とが記録されていることを特徴とする記録媒体。
MPEG符号化方式で圧縮された画像データであるMPEG画像データと共に、
前記MPEG画像データのビットストリームにおけるＧＯＰ単位毎の各VBVバッファ占有値に関する情報と、前記各VBVバッファ占有値に関する情報が前記MPEG画像データのどの時点におけるVBVバッファ占有値に関する情報であるかを示す情報とが記録されていることを特徴とする記録媒体。