JP2005198348A - 伝送方法 - Google Patents

Abstract

【課題】 アフレコデータを元のデータに戻すことができ、また、ユーザが複数のアフレコデータを記録して再生時に選択的にメインデータと置き換えて再生する。
【解決手段】 アフレコ・オーディオデータはオーディオ符号化器１０１ｂによりＭＰＥＧ符号化され、符号化されたアフレコ・オーディオデータはＰＥＳパケット化器１０２ｂでは、アフレコ・オーディオの要素データに識別情報を付加してパケット化され、アフレコ・オーディオのＰＥＳパケットはタイムスタンプ記録器１０３ｂによりタイムスタンプデータが記録される。識別情報及びタイムスタンプが記録されたアフレコ・オーディオのＰＥＳパケットは多重化器１０４を経由することなくストリーム化されて記録メディア１０８に記録される。
【選択図】 図１

Description

本発明は、少なくともオーディオ信号とビデオ信号により構成されるメインデータに対してオーディオ信号などを後で記録（アフターレコード、以下、アフレコ）・差し替えを行うアフレコシステムに好適な伝送方法に関する。

従来例として、特開平１１−１４４３７８号公報には、アフレコ用の新たな音声ビットストリームをデジタル記録媒体のうち、オリジナルデータの記録領域と略等しい時刻に対応する領域に書き込む方法が提案されている。また、特開平１１−２５９９９２号公報には、あらかじめ用意した空きパックにアフレコデータを記録する方法が提案されている。また、特開２０００−１９７００５号公報には、無音と判定された音声パックにアフレコ音声を上書き記録する方法が開示されている。

ところで、最近のデジタル機器として、Ｄ−ＶＨＳやＳＴＢではＴＳ（トランスポート・ストリーム）、ＤＶＤではＰＳ（プログラム・ストリーム）という多重化方式を用いて多重化されたデータを扱うようになっている。一方、いったん多重化すると、そのデータの一部を取り替えることが困難な形態となってしまうのも多重化の問題である。すなわち、音声のアフレコを行うために、多重化ストリームの音声部分のみを入れ替えるのは、簡単ではない。そこで記録メディア内での符号化データとしてアフレコなどへ簡単に対応できるフォーマットの必要性が高まっている。

しかしながら、上記の従来の方式では、アフレコを行う要素データに対して書き込みを行い、多重化されているメインストリームを書き換えてしまうことを前提としているため、書き換えた後は再度元に戻すことができない。また、複数のアフレコ音声を記録した後に、ユーザが選択的にアフレコデータを楽しむシステムは構築できなかった。

本発明は上記従来例の問題点に鑑み、アフレコデータを元のデータに戻すことができ、また、ユーザが複数のアフレコデータを記録して再生時に選択的にメインデータと置き換えて再生することを可能とする伝送方法を提供することを目的とする。

本発明は上記目的を達成するために、
メインデータを構成するオーディオ信号とビデオ信号との２つの信号のＭＰＥＧ方式に基づく圧縮符号化データが、前記オーディオ信号と前記ビデオ信号との同期再生用のタイムスタンプを含めてＭＰＥＧ方式に基づくパケットにより多重化されてなるメインデータのストリームと、
前記メインデータを構成するオーディオ信号に対する複数のアフレコ用のＭＰＥＧ方式に基づく圧縮符号化オーディオデータが、前記メインデータと同期再生するためのタイムスタンプ及び個々の前記アフレコ用圧縮符号化オーディオデータを識別するための識別情報を含めてＭＰＥＧ方式に基づくパケットにより、前記メインデータと多重化されることなくストリーム化されてなるアフレコ用データのストリームと、
を別々のストリームとして伝送路に伝送させることを特徴とする伝送方法、
を提供する。

以上説明したように本発明によれば、複数のアフレコ用の圧縮データは、メインデータと同期再生するためのタイムスタンプ及び個々のデータを識別するための識別情報を付加され、メインデータの多重化データと多重化することなくストリーム化されているので、アフレコデータを元のデータに戻すことが可能となる。また、ユーザが複数のアフレコデータを記録して再生時に選択的にメインデータと置き換えて再生することを可能とする。

以下、図面を参照して本発明の実施の形態について説明する。
＜ＭＰＥＧ＞
まず、本実施例で使用されているＭＰＥＧビデオ（ビデオ符号化方式）及びＭＰＥＧシステム（オーディオビデオ多重化方式）について説明する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２，現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Moving Picture Experts Group）の略称である。ＭＰＥＧ１（ＭＰＥＧフェーズ１）は１.５Ｍbps程度の蓄積メディアを対象とした標準であり、静止画符号化を目的としたＪＰＥＧと、ＩＳＤＮのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴ ＳＧＸＶ：現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＵ／ＩＥＣ １１１７２として成立している。また、ＭＰＥＧ２（ＭＰＥＧフェーズ２）は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月ＩＳＵ／ＩＥＣ １３８１８ Ｈ．２６２として成立している。

ＭＰＥＧは幾つかの技術を組み合わせて作成されている。図１２はＭＰＥＧ圧縮装置を示す。まず、入力画像Ｖinは加算器１により、動き補償予測器１１で復号化したリファレンスの画像との差分を取ることで時間冗長部分を削減する。予測の方向は、過去、未来、両方からの３モードが存在する。また、これらは１６画素×１６画素のＭＢ（マクロブロック）ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測と、予測をしないでそのＭＢを独立で符号化する２モードが存在するのがＰピクチャである。また未来からの予測、過去からの予測、両方からの予測、独立で符号化する４モードが存在するのがＢピクチャである。そして、全てのＭＢが独立で符号化するのがＩピクチャである。

動き補償では、動き領域をＭＢごとにパターンマッチングを行ってハーフぺル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何れからの予測かを示すＭＣ（Motion Compensation）モードと共にＭＢの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Pictures)といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が使用される。

差分画像はＤＣＴ（Discrete Cosine Transform）器２において直交変換が行われる。ＤＣＴとは、余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧでは、ＭＢを４分割して８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般に、ビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。

ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器３で量子化が行われる。量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは、量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。

量子化されたデータはＶＬＣ器４で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は、予測符号化のひとつであるＤＰＣＭ（Differential Pulse Code Modulation）を使用して符号化する。また、交流（ＡＣ）成分は 低域から高域の方向にジグザグ・スキャンを行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。可変長符号化されたデータは一時、バッファ５に蓄えられ、所定の転送レートで符号化データとして出力される。

また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器６に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器３にフィードバックして量子化スケールを調整することで符号量が制御される。また、量子化された画像データは逆量子化器７にて逆量子化され、次いで逆ＤＣＴ器８にて逆ＤＣＴされて元のＤＣＴ係数が復元される。このＤＣＴ係数は加算器９により、動き補償予測器１１で復号化したリファレンスの画像と加算され、この加算された画像データが一時、画像メモリ１０に蓄えられた後、動き補償予測器１１において、差分画像を計算するためのリファレンスの復号化画像として使用される。

図１３はＭＰＥＧ復号装置を示す。符号化されたストリームはバッファリングされ、バッファ１２からのデータはＶＬＤ（可変長復号）器１３に入力される。ＶＬＤ器１３では可変長復号化され、直流（ＤＣ）成分及び交流（ＡＣ）成分を得る。交流（ＡＣ）成分データは低域から高域の方向にジグザグ・スキャンされて８×８のマトリックスに配置する。このデータは逆量子化器１４に入力され、量子化マトリクスにて逆量子化される。逆量子化されたデータは逆ＤＣＴ器１５に入力されて逆ＤＣＴされ、このＤＣＴ係数は加算器１６により、動き補償予測器１８で復号化したリファレンスの画像と加算され、この加算された画像データが復号化データとして出力される。また、復号化データは一時、画像メモリ１７に蓄えられた後、動き補償予測器１８において差分画像を計算するためのリファレンスの復号化画像として使用される。

ＭＰＥＧシステムはＭＰＥＧビデオ及びオーディオなどで符号化されたビットストリームを１個のビットストリームに多重化し、同期を確保しながら再生する方式を規定したものである。システムで規定されている内容は大きく分けて次の５点である。
１）複数の符号化されたビットストリームの同期再生
２）複数の符号化されたビットストリームの単一ビットストリームへの多重化
３）再生開始時のバッファの初期化
４）連続的なバッファの管理
５）復号や再生などの時刻の確定
ＭＰＥＧシステムで多重化を行うには情報をパケット化する必要がある。パケットによる多重化とは、例えばビデオ、オーディオを多重化する場合、各々をパケットと呼ばれる適当な長さのストリームに分割し、ヘッダなどの付加情報を付けて、適宜、ビデオ、オーディオのパケットを切り替えて時分割伝送する方式である。ヘッダにはビデオ、オーディオなどを識別する情報や、同期のための時間情報が存在する。パケット長は伝送媒体やアプリケーションに依存し、ＡＴＭのように５３バイトから、光ディスクのように４Ｋバイトと長いものまで存在している。ＭＰＥＧでは、パケット長は可変で任意に指定できるようになっている。

データはパック、パケット化され、１パックは数パケットで構成されている。各パックの先頭部分には、pack-start-codeやＳＣＲ（System Clock Reference）が記述されており、パケットの先頭部分にはStream IDやタイムスタンプが記述されている。タイムスタンプにはオーディオ、ビデオなどの同期をとる時間情報が記述されており、ＤＴＳ（Decoding Time Stamp)とＰＴＳ（Presentation Time Stamp）の２種類が存在する。ＰＣＲ（Program Clock Reference)は２７ＭＨｚの時間精度で記述されており、デコーダの基準時計をロックする情報である。ＤＴＳはそのパケットデータ内の最初のアクセスユニット（ビデオなら１ピクチャ、オーディオなら例えば１１５２サンプル）のデコード開始時刻を示し、ＰＴＳは表示（再生）開始時刻を示している。

図１４に示すように、オーディオ、ビデオ、その他のデコーダは、ＰＣＲでロックした共通の基準時計を常に監視し、ＤＴＳやＰＴＳの時間と一致したときに、デコードや表示を行う仕組みになっている。多重化されたデータが各デコーダでバッファリングされ、同期した表示を行うための仮想的なデコーダをＳＴＤ（System Target Decoder)と呼び、このＳＴＤがオーバーフローやアンダーフローを起こさないように多重化されていなければならない。

また、ＭＰＥＧシステムには、大きく分けてＴＳ（Transport Stream)とＰＳ（Program Stream）が存在する。これらはＰＥＳ（Packetized Elementary Stream)、及びその他の必要な情報を含むパケットから構成されている。ＰＥＳは両ストリーム間の変換を可能とするための中間ストリームとして規定されていて、ＭＰＥＧで符号化されたビデオ、オーディオデータの他、プライベートストリームなどをパケット化したものである。

ＰＳは共通の基準時間を有するプログラムのビデオ、オーディオを多重化することが可能である。パケットレイヤはＰＥＳと呼ばれ、この構造は図１５に示すように、後述するＴＳと共用して用いられ、これらの相互互換性を可能とする。ＰＳのＳＴＤモデルでは、ストリームはＰＥＳパケット内のStream IDによってスイッチされる。

ＴＳもＰＳと同じように共通の基準時間を有するプログラムのビデオ、オーディオの多重化をすることが可能であるが、ＴＳはさらに異なる基準時間を有する通信や放送などのマルチプログラムの多重化を可能としている。ＴＳはＡＴＭセル長や誤り訂正符号化する場合を考慮し、１８８バイトの固定長パケットで構成されており、エラーが存在する系でも使用できるように考慮されている。ＴＳパケット自体の構造はそれほど複雑ではないがマルチプログラムのストリームであるため、その運用は複雑である。ＰＳと比べて特徴的なことは、ＴＳパケットが上位構造であるにも関わらず、ＰＥＳパケットより（通常は）短く、ＰＥＳパケットを分割してＴＳパケットに乗せて伝送する点である。

ＴＳのＳＴＤモデルでは、ストリームはＴＳパケット内のＰＩＤ（パケットＩＤ）によってスイッチされる。ＴＳパケットの構造を図１５に示す。始めのヘッダには８ビットのSYNCバイトがあり、その後にエラー指示、ユニット先頭指示、破棄する場合の優先指示のビットが１ビットずつ記述される。その後にＰＩＤと言って、このパケットのペイロードの種類を示すＩＤが記述される。その後にスクランブル情報（２ビット）、ペイロードにアダプテーションフィールドを伝送するかどうかを示す情報（２ビット）、パケットの連続性を示す情報（４ビット）がそれぞれ記述され、最後に要素符号化データもしくはアダプテーション情報の後に要素データを記述する。また無効データを伝送することもできるようになっている。

ＭＰＥＧシステムのＴＳには、その多重化されている番組の情報に関するパケットがどのＰＩＤであるのかを指示する仕組みがある。それを図１６を参照して説明する。まずＴＳパケット群の中からＰＩＤ＝０のものを探す。それはＰＡＴ（Program Association Table）と呼ばれる情報パケットであり、そのパケットの中にはプログラムナンバーＰＲに対応する情報ＰｌＤがリンクされた形で記述されている。次に目的のＰＲに対応するＰＩＤのパケットを読みに行くと、ＰＭＴ（Program Map Table）と呼ばれる情報パケットがあり、そのパケットの中にはそのプログラムナンバーＰＲに対応する番組のビデオパケットのＰＩＤと、オーディオパケットのＰＩＤの情報が記述されている。ＰＡＴとＰＭＴのことをＰＳＩ（Program Specific Infomation）と呼び、目的の番組のチャンネルにアクセス（エントリ）することが可能な情報体系になっている。

＜アフレコ装置＞
次に本発明の好適な実施の形態について説明する。まず、図１を用いて本発明の伝送方法の一実施例を適用したアフレコ装置について説明する。ユーザインターフェース（Ｕｓｅｒ Ｉ／Ｆ）１０９はメインデータを記録するのか、アフレコ・オーディオデータを記録するのかが選択可能であり、その指示信号がＣＰＵ１１０から信号切り替え器１０５に伝送される。まず、メインのデータを生成して記録メディア１０８に記録する場合について説明する。ビデオデータとオーディオデータはそれぞれ、ビデオ符号化器１０１ａ、オーディオ符号化器１０１ｂに入力され、既に説明したＭＰＥＧ符号化が行われる。符号化されたデータはそれぞれ、ＭＰＥＧのシステム多重化を行うために、各要素ごとにそれぞれＰＥＳパケット化器１０２ａ、１０２ｂに伝送される。ＰＥＳパケット化器で１０２ａ、１０２ｂはそれぞれ、ビデオ、オーディオの各要素データをパケット化する。

各ＰＥＳパケットにはそれぞれ、タイムスタンプ記録器１０３ａ、１０３ｂにおいて前述したＰＣＲや、ＰＴＳ、ＤＴＳなどのタイムスタンプデータが記録される。タイムスタンプは２７ＭＨｚのクロック情報を用いて作成する。次いで各ＰＥＳパケットの要素データは多重化器１０４においてＰＳ多重もしくは図５に示すようにＴＳ多重などのフォーマットで多重化される。多重化されたデータは、信号切り替え器１０５に入力される。

ここではメインデータを記録するために、信号切り替え器１０５では多重化器１０４からのデータが選択されて、いったんバッファ１０６ａに記録される。バッファされたデータは記録制御器１０７によって記録メディア１０８に記録される。メインデータは後述する情報フォーマットに従って、図２に示すPR0.dat というファイル名で記録される。

次に、アフレコ・オーディオデータを生成して記録メディア１０８に記録する場合について説明する。この場合には、ユーザインターフェース１０９においてアフレコ・オーディオデータの記録が選択されており、ＣＰＵ１１０からその指示信号が信号切り替え器１０５に、また、アフレコデータ識別情報がＰＥＳパケット化器１０２ｂに伝送される。アフレコ・オーディオデータはオーディオ符号化器１０１ｂに入力され、同様にＭＰＥＧ符号化が行われる。符号化されたアフレコ・オーディオデータは、ＭＰＥＧのシステムのタイムスタンプ付加を行うために、ＰＥＳパケット化器１０２ｂに伝送される。

ＰＥＳパケット化器１０２ｂでは、アフレコ・オーディオの要素データに識別情報を付加してパケット化する。アフレコ・オーディオのＰＥＳパケットにはタイムスタンプ記録器１０３ｂにおいて前述したＰＣＲや、ＰＴＳ、ＤＴＳなどのタイムスタンプデータが記録される。タイムスタンプは２７ＭＨｚのクロック情報を用いて作成する。次いで識別情報及びタイムスタンプが記録されたアフレコ・オーディオのＰＥＳパケットは多重化器１０４を経由することなく信号切り替え器１０５に伝送される。信号切り替え器１０５では、アフレコオーディオデータが記録されるので、タイムスタンプ記録器１０３ｂからのデータが選択されてバッファ１０６ｂに記録される。バッファされたデータは記録制御器１０７によって記録メディア１０８に記録される。

＜フォーマット及び記録媒体＞
アフレコ・オーディオデータは後述する情報フォーマットに従ってプレイリストという情報として記録される。ファイル名は第１番目のアフレコデータであれば、図２に示したＰＬＯのフォルダ内のAF-1.datというファイル名として記録される。第Ｍ番目のアフレコオーディオデータであれば、AF-m.datというファイル名となる。図８に示したように、アフレコ用のデータとして記述できるAF＿numberは８ビットあるので（０は使用しない）、２５４個までの独立したアフレコ・オーディオデータを記録することができる。

次に、記録メディア１０８に記録する情報のフォーマットについて図２〜図９を用いて説明する。記録する情報はオーディオやビデオのサイド情報データである。情報データは図２のように、ROOTの下にLIBという名前のフォルダを作成し、その下に複数のプログラムに関するSIDE.ifoというファイルネームでサイド情報を記録する。SIDE.ifoのフォーマットは図３に示すように階層構造をもっている。一番上位にTOTAL＿MANAGER＿IFOが定義され、そのなかにはGENERAL＿IFOとCNTNT＿IFOがある。GENERAL＿IFOは、この情報群全体に関するパラメータが記述される。GENERAL＿IFOの詳細は図６に示すようなSYNTAX構造になっている。

次のCNTNT＿IFOの中身は、複数のプログラムごとの情報としてPR＿IFO＿0からPL＿IFO＿nまでが記述されている。詳細は図７に示すようになっている。また、アフレコ編集した場合にはPLAYL＿IFOというプレイリスト情報を記述する。これは基となる図２に示すPRというフォルダの中のオーディオビデオの多重化ストリームPRn.datとアフレコした場合の図２に示すPLnの中のアフレコオーディオデータAF-1.dat〜AF-m.datのストリームファイルをリンクさせるためのリスト情報である。

ユーザは基となる図２に示すPRというフォルダの中のオーディオビデオの多重化ストリームPRn.datに対して、１からｍまでのｍ種類のアフレコ・オーディオデータを登録できる。ｍが０のときにはアフレコオーディオを使わないで、元の音声を使用する。１からｍまでの番号を指示したときには、アフレコ・オーディオ音声を用いて、再生もしくは伝送を行う。PLAYL＿IFOの構造の詳細は図８に示すようになっている。またこの下の階層に、プログラムの一部をインデックスとして登録できる構造INDEX＿IFOがある。この構造のフォーマットは図４に示すようになっている。INDEX＿のシンタックスは図９に示すようになっている。

＜再生装置＞
次に、図１０を用いて本発明の伝送方法により伝送されたアフレコ用データの好適な再生装置の一例について説明する。ここで、ＣＰＵ１２１はユーザインターフェース（Ｕｓｅｒ Ｉ／Ｆ）１２０から、通常のメインデータを再生するか又はアフレコ・オーディオデータを再生するかの指示が入力され、また識別情報が入力されると、入力に応じた指示信号を信号切り替え器１１４に出力し、また、その識別情報を識別情報検出器１２３に出力する。まず、通常のメインデータを再生する場合について説明する。記録メディア１０８に記録されたメインデータの多重化ストリームデータは、読み取り制御器１１１によって読み取られてバッファ１１２ａに記録される。バッファ１１２ａに入力されたデータは分離器１１３によって、多重化されていたデータを要素ごとに分離して、ビデオ信号はタイムスタンプ検出器１１５ａへ、オーディオ信号は信号切り替え器１１４に伝送する。

信号切り替え器１１４ではメインデータを再生するので、分離器１１３からのオーディオ信号が選択され、タイムスタンプ検出器１１５ｂへ伝送される。タイムスタンプ検出器１１５ａ、１１５ｂではそれぞれ、前述したＰＣＲや、ＰＴＳ、ＤＴＳなどのタイムスタンプデータを検出し、検出したタイムスタンプ関連の情報はタイムスタンプ比較器１２４に伝送される。

次にビデオ、オーディオの各ＰＥＳパケットは、それぞれＰＥＳパケット解除器１１６ａ、１１６ｂによってパケットが解除され、それぞれビデオデータはビデオ復号化器１１７ａへ、オーディオデータはオーディオ復号化器１１７ｂへ伝送される。ビデオ復号化器１１７ａでは復号されたビデオデータをメモリ１１８ａに一時記憶し、オーディオ復号器１１７ｂではオーディオデータをメモリ１１８ｂに一時記憶する。

このとき、タイムスタンプ比較器１２４では、検出したＰＣＲ情報からシステムのクロックを同期させて、マスターとなるクロック情報を生成する一方、ＤＴＳの復号タイミング情報をシステムクロックと比較し、一致したときにビデオ復号器１１７ａへ復号開始信号を伝送することにより、タイムスタンプデータが記述されていたパケットに対応するビデオをそのタイミングで復号する。またＰＴＳについては、オーディオとビデオ共に表示タイミング情報をシステムクロックと比較し、一致したときにビデオデータは表示モニタ１１９ａへ、オーディオデータはスピーカ１１９ｂへそのタイミングで出力する。タイムスタンプ比較器１２４においては、基準クロックをＰＣＲ信号にてＰＬＬをロックするが、基準信号は２７ＭＨｚのクロックを用いて行う。

次にアフレコ・オーディオ信号を再生する場合について説明する。アフレコ・オーディオ信号は、メインデータのビデオ信号を再生しつつ、メインデータのオーディオ信号の部分をアフレコ・オーディオ信号と取り替えて再生する。まず、ユーザインターフェース１２０からはアフレコ・オーディオの何番をメインデータの何番に取り替えて再生するかが入力される。図８に示す情報フォーマットのPLAYL＿INFO()内のPR＿numberがメインデータの番号、AF＿numberがアフレコ・オーディオデータの番号に相当する。識別情報検出器１２３は、ＣＰＵ１２１からの指示信号により、情報フォーマットの図８に示すデータ構造から、前記PR＿numberとAF＿numberを読み取り、読み取り制御器１１１に対して相当するファイル名のデータを読み取る指示信号を出す。ＣＰＵ１２１はまた、信号切り替え器１１４に対してアフレコ選択信号を出す。

これにより、記録メディア１０８に記録されているビデオとオーディオが多重化されたメインデータファイルと、アフレコ・オーディオデータファイルの２つのファイルを読み取り制御器１１１にてバースト的に読み取りを行い、それぞれの要素データをバッファ１１２ａ，バッファ１１２ｂに一時蓄える。バッファ１１２ｂに蓄えられたアフレコ・オーディオデータは信号切り替え器１１４に伝送される。一方、バッファ１１２ａに入力されたデータは分離器１１３によって多重化されていたデータを要素ごとに分離して、ビデオ信号はタイムスタンプ検出器１１５ａへ、オーディオ信号は信号切り替え器１１４に伝送する。信号切り替え器１１４ではアフレコデータを再生するので、バッファ１１２ｂからの信号が選択されてタイムスタンプ検出器１１５ｂへ伝送される。タイムスタンプ検出器１１５ａ、１１５ｂ以下の動作は、メインデータ再生の場合と同じであるので説明を省略する。

＜伝送装置＞
次に、図１１を用いてメインデータとアフレコオーディオデータとを伝送する他の伝送装置について説明する。まず、普通のメインデータを伝送する場合について説明する。記録メディア１０８に記録されたメインデータの多重化ストリームデータは、読み取り制御器１１１によってバッファ１１２ａに記録される。バッファ１１２ａに入力されたデータは、要素切り替え器１２５に伝送される。このとき、ユーザインターフェース１２０からメインデータを伝送することが入力され、ＣＰＵ１２１から要素切り替え器１２５メインデータを伝送することを示す指示信号が伝送されている場合、要素切り替え器１２５では、バッファ１１２ａからの信号をそのままバッファ１２６を介して伝送路に伝送する。

次に、アフレコ・オーディオ信号を伝送する場合について説明する。アフレコ・オーデイオ信号は、メインデータのビデオ信号を基に、メインデータのオーディオ信号の部分をアフレコ・オーディオ信号と取り替えて伝送する。まず、ユーザインターフェース１２０からはアフレコ・オーディオの何番をメインデータの何番に取り替えて、伝送するかが入力される。図８に示す情報フォーマットのPLAYL＿INFO()内のPR＿numberがメインデータの番号、AF＿numberがアフレコオーディオデータの番号に相当する。識別情報検出器１２３はＣＰＵ１２１からの指示信号により、情報フォーマットの図８に示すデータ構造から、前記PR＿numberとAF＿number を読み取り、読み取り制御器１１に対して相当するファイル名のデータを読み取る指示信号を出す。

これにより、記録メディア１０８に記録されているビデオとオーディオが多重化されたメインデータファイルと、アフレコ・オーディオデータファイルの２つのファイルを読み取り制御器１１１にてバースト的に読み取りを行い、それぞれの要素データをバッファ１１２ａ、バッファ１１２ｂに一時蓄える。バッファ１１２ｂに蓄えられたアフレコ・オーディオデータは信号切り替え器１１４へ伝送され、一方、バッファ１１２ａに入力されたデータは要素切り替え器１２５に伝送される。

このとき、ユーザインターフェース１２０からアフレコ・オーディオデータを伝送することが入力されて、ＣＰＵから信号切り替え器１１４、要素切り替え器１２５にアフレコオーディオデータを伝送することを示す指示信号が伝送されており、要素切り替え器１２５ではアフレコオーディオデータを伝送するので、メインデータの多重化データのオーディオ部分を信号切り替え器１１４から入力されたアフレコ・オーディオデータのオーディオ部分と入れ替えてバッファ１２６を介して伝送路に伝送する。ＰＣＲやＤＴＳ、ＰＴＳなどのタイムスタンプはまったく変更しなくてよい。ただし、ＭＰＥＧ多重化規格で採用されているＣＲＣコードはアフレコオーディオデータを入れ替えたパケット部分に応じて、再計算されて新しい値に変更する。

なお、本実施例はメインデータを作成するときに、アフレコデータの種類のデータをあらかじめ要素データの中に作成すること、及びアフレコデータの転送レートはメインデータに含まれるアフレコデータの種類と同じ要素データと同じであることを想定してるが、メインデータを作成するときに、あらかじめダミーデータで、予想するアフレコデータと同じ転送レートの要素データを多重化しておいてもよい。

また、あらかじめダミーデータで、予想するアフレコデータと同じ転送レートの要素データを多重化しておくか、ダミーでない要素データをメインデータ作成時に記録しておくときには、図１１における要素切り替え器１２５においては、ＰＣＲやＤＴＳ、ＰＴＳなどのタイムスタンプはまったく変更しなくてよいが、ダミーデータを記録しておかない場合や、アフレコデータの転送レートが違う場合には、要素切り替え器１２５が実質的に再多重化をして、新たなＰＣＲやＤＴＳ、ＰＴＳなどのタイムスタンプを付け直すことが必要である。しかしながらその場合でも、本発明の効果は、十分に発揮される。

以上のように、少なくともオーディオとビデオ信号を圧縮符号化し、それぞれの符号化データの所定の単位に同期再生用のタイムスタンプを記録して、それぞれを多重化して記録するメインデータと、多重化された要素データの少なくとも１つの種類について、１つもしくは複数のアフレコ用の圧縮データを多重化しないで記録するので、簡単にアフレコデータを記録するフォーマットが実現でき、アフレコデータも多くの種類を記録することができる。

また、少なくともオーディオとビデオ信号が圧縮符号化され、それぞれの符号化データの所定の単位に同期再生用のタイムスタンプが記録されているデータが、多重化されて記録されているメインデータと、多重化された要素データの少なくとも１つもしくは複数種類について、アフレコ用の圧縮データが多重化されない状態で記録されているアフレコデータを、時分割的に読み出し、再生するので、記録した複数のアフレコデータを簡単に識別することができ、しかも、再多重化することなく、アフレコデータを再生できる。

また、少なくともオーディオとビデオ信号が圧縮符号化され、それぞれの符号化データの所定の単位に同期再生用のタイムスタンプが記録されているデータが、多重化されて記録されているメインデータと、多重化された要素データの少なくとも１つもしくは複数種類について、アフレコ用の圧縮データが多重化されないで記録されているアフレコデータを時分割的に読み出し、多重化されて記録されているメインデータの要素データのデータと、アフレコ用のデータを入れ替えて伝送するので、伝送されるデータにおいては完全にＭＰＥＧ多重化規格に準拠したデータを伝送可能となり、外部の伝送先に存在するＭＰＥＧ対応の再生器で、本発明のアフレコデータを反映した伝送データを再生することができる。

また、すべてにおいて、この構成によって、アフレコを選択して記録、再生伝送した後でも、再度元に戻すことができ、かつ複数のアフレコ音声を記録した後に、ユーザが選択的にアフレコデータを楽しむシステムを提供できる。

さらにまた、上記したアフレコ装置の機能をプログラムによりコンピュータに実現させてもよいし、上記した再生装置の機能をプログラムによりコンピュータに実現させてもよい。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明に係る伝送方法の一実施例を適用したアフレコ装置を示すブロック図である。 ライブラリ情報のファイル構成のフォーマット例を示す説明図である。 ライブラリ情報におけるPROGRAMのフォーマット例を示す説明図である。 ライブラリ情報におけるINDEXのフォーマット例を示す説明図である。 ハードディスク上のＴＳストリームのフォーマットを示す説明図である。 本発明の一実施例に用いられるサイド情報のGENERAL＿IFOテーブルを示す説明図である。 本発明の一実施例に用いられるサイド情報のPROGRAM＿IFOテーブルを示す説明図である。 本発明の一実施例に用いられるサイド情報のPLAYL＿IFOテーブルを示す説明図である。 本発明の一実施例に用いられるサイド情報のINDEX＿IFOテーブルを示す説明図である。 本発明の一実施例により伝送されたアフレコ用データの好適な再生装置の一例を示すブロック図である。 メインデータとアフレコオーディオデータとを伝送する他の伝送装置の一例を示すブロック図である。 ＭＰＥＧ符号化器を示すブロック図である。 ＭＰＥＧ復号化器を示すブロック図である。 ＭＰＥＧ多重化システムを示すブロック図である。 ＭＰＥＧのＴＳとＰＳ及びＰＥＳの関連を示す説明図である。 ＭＰＥＧのＴＳのＰＳＩの使用例を示す説明図である。

符号の説明

１０１ａ ビデオ符号化器
１０１ｂ オーディオ符号化器
１０２ａ，１０２ｂ ＰＥＳパケット化器
１０３ａ，１０３ｂ タイムスタンプ記録器
１０４ 多重化器
１０５，１１４ 信号切り替え器
１０８ 記録メディア
１０９，１２０ ユーザインターフェース
１２３ 識別情報検出器
１２４ タイムスタンプ比較器

Claims (1)

1. メインデータを構成するオーディオ信号とビデオ信号との２つの信号のＭＰＥＧ方式に基づく圧縮符号化データが、前記オーディオ信号と前記ビデオ信号との同期再生用のタイムスタンプを含めてＭＰＥＧ方式に基づくパケットにより多重化されてなるメインデータのストリームと、
   前記メインデータを構成するオーディオ信号に対する複数のアフレコ用のＭＰＥＧ方式に基づく圧縮符号化オーディオデータが、前記メインデータと同期再生するためのタイムスタンプ及び個々の前記アフレコ用圧縮符号化オーディオデータを識別するための識別情報を含めてＭＰＥＧ方式に基づくパケットにより、前記メインデータと多重化されることなくストリーム化されてなるアフレコ用データのストリームと、
   を別々のストリームとして伝送路に伝送させることを特徴とする伝送方法。

Images