JP2006252642A - マルチチャンネル情報処理装置、マルチチャンネル情報再生装置、マルチチャンネル情報処理方法並びにマルチチャンネル情報再生方法 - Google Patents

Abstract

【課題】 特殊な処理を必要とせずに、マルチチャンネル情報の各要素ストリームのチャンネルチェンジをシームレスに実現できるようにする。
【解決手段】 マルチチャンネル音響データは、チャンネルごとに第１〜第４ＭＰＥＧオーディオ符号化器１０５〜１０８に入力され、第１〜第４ＭＰＥＧオーディオ符号化器１０５〜１０８のそれぞれにおける符号化を経て、第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３に入力される。第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３では、ＭＰＥＧオーディオ符号化データは、すべて同一のパケット長に分割されるとともに、すべてのチャンネルにおいて、共通した基準時間軸を用いてタイムスタンプが記述される。これにより、各チャンネルのストリームが同一パケット長を有し、同一時刻の再生タイミングを有するパケットに同一時刻のタイムスタンプが記述されたマルチチャンネル情報が生成される。
【選択図】 図１

Description

本発明は、マルチチャンネル情報（複数のチャンネルを含む情報）を含む記録データ又は伝送用データの生成処理や、マルチチャンネル情報の再生処理に係るマルチチャンネル情報処理装置、マルチチャンネル情報再生装置、マルチチャンネル情報処理方法並びにマルチチャンネル情報再生方法に関し、特に、マルチチャンネル音響データを含む記録データ又は伝送用データの生成処理や、マルチチャンネル情報の再生処理に係るマルチチャンネル情報処理装置、マルチチャンネル情報再生装置、マルチチャンネル情報処理方法並びにマルチチャンネル情報再生方法に関する。

例えば、ビデオ及びオーディオに関する符号化や多重化方式で最も広く応用されているものとして、ＭＰＥＧ（Moving Pictures Expert Group）方式が存在する。以下では、このＭＰＥＧについて説明する。

ＭＰＥＧ１（ＭＰＥＧフェーズ１）は毎秒１．５メガビット（１．５Ｍｂｐｓ）程度の蓄積メディアを対象とした標準技術である。ＭＰＥＧ１は、静止画符号化を目的としたＪＰＥＧの技術と、ＩＳＤＮのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術とを受け継ぎ、蓄積メディア用に新しい技術を導入したものであり、１９９３年８月にＩＳＯ／ＩＥＣ １１１７２として成立されたものである。ＭＰＥＧ２（ＭＰＥＧフェーズ２）は、通信や放送などの多様なアプリケーションに対応できるような汎用標準技術を目的として、１９９４年１１月にＩＳＯ／ＩＥＣ１３８１８、Ｈ．２６２として成立されたものである。これらのＭＰＥＧ１及びＭＰＥＧ２は、ビデオ符号化やオーディオ符号化と共に、多重化方式も規定されている（下記の非特許文献１を参照）。

次に、ＭＰＥＧ方式を用いて、ビデオ信号の符号化データをマルチチャンネルで多重化する例について説明する。ＭＰＥＧシステム規格はＭＰＥＧビデオ及びＭＰＥＧオーディオなどで符号化されたビットストリームを、１つのビットストリームに多重化するとともに、同期を確保しながら多重化されたビットストリームを再生する方式を規定したものである。システムで規定されている内容は大きく分けて、次の５点である。
１）複数の符号化されたビットストリームの同期再生
２）複数の符号化されたビットストリームの単一ビットストリームへの多重化
３）再生開始時のバッファの初期化
４）連続的なバッファの管理
５）復号や再生などの時刻の確定

ＭＰＥＧシステムで多重化を行う場合、情報がパケット化される必要がある。パケットによる多重化とは、例えばビデオ及びオーディオを多重化する場合、それぞれをパケットと呼ばれる適当な長さのストリームに分割し、ヘッダなどの付加情報を付けて、適宜、ビデオ及びオーディオのパケットを切り換えて時分割伝送する方式である。パケットのヘッダにはビデオ、オーディオなどを識別する情報や、同期のための時間情報が存在する。また、パケット長は伝送媒体やアプリケーションに依存し、ＡＴＭのように５３バイトから、光ディスクのように４キロバイトの長さに達するものまで存在している。ＭＰＥＧでは、パケット長は可変であり、任意に指定できるようになっている。

ＭＰＥＧ１システムは、主にＣＤ−ＲＯＭなどのデジタル記録媒体を対象とし、多重化できる最大チャンネル数として、オーディオ３２、ビデオ１６、その他２がサポートされている。また、ＭＰＥＧ１システムのデータ構造は、図１２に図示されているように規定されている。図１２は、従来の技術に係るＭＰＥＧ１システムのデータ構造を示す図である。ＭＰＥＧ１システムのデータはパック化及びパケット化され、１パックは複数のパケットで構成されている。各パックの先頭部分には、パックスタートコード（pack_start_code）やＳＣＲ(System Clock Reference)が記述されたパックヘッダが設けられ、各パケットの先頭部分には、ストリームＩＤ（stream_id）やタイムスタンプなどが記述される。タイムスタンプには、オーディオ、ビデオなどの同期付けを行うための時間情報が記述されている。なお、タイプスタンプは、ＤＴＳ (Decoding Time Stamp)及びＰＴＳ(Presentation Time Stamp) の２種類が存在する。

また、ＳＣＲは、９０ＫＨｚの時間精度で記述されており、デコーダの基準時計をロックする情報である。ＤＴＳは、そのパケットに含まれるデータの最初のアクセスユニット（ビデオなら１ピクチャ、オーディオなら例えば１１５２サンプル）のデコード開始時刻を示しており、ＰＴＳは、表示（再生）開始時刻を示している。オーディオデコーダやビデオデコーダ、その他のデコーダは、ＳＣＲでロックした共通の基準時計を常に監視し、ＤＴＳやＰＴＳの時刻と一致したときに、デコードや表示を行うように構成されている。多重化されたデータが各デコーダでバッファリングされるとともに、同期した表示を行うための仮想的なデコーダ（ＳＴＤ（System Target Decoder））が、オーバーフローやアンダーフローを起こさないように多重化される。

次に、図１３を参照しながら、ＭＰＥＧシステムにおいて同期再生を実現するための構成について説明する。図１３は、従来の技術に係るＭＰＥＧシステムの再生器の一構成例を示すブロック図である。多重化されたシステムストリームはシステムデコーダに入力される。システムデコーダ１３０１では、システムストリームから、オーディオパケット、ビデオパケット、ＳＣＲ、ＰＴＳやＤＴＳが分離化される。オーディオパケットは、そのパケットが分離された後、オーディオの要素データとしてオーディオデコーダ１３０２に入力される。一方、ビデオパケットは、そのパケットが分離された後、ビデオの要素データとしてビデオデコーダ１３０３に入力される。オーディオデコーダ１３０２では、後述のビデオパックのＤＴＳの時刻にオーディオが復号され、ビデオデコーダ１３０３ではビデオパックのＤＴＳの時刻にビデオが復号されて、それぞれオーディオデータメモリ１３０４及びビデオデータメモリ１３０５に入力される。

一方、ＳＣＲはクロックコントロール部１３０６に入力されて、このクロックコントロール部１３０６で再生器の基準クロックが生成され、比較部１３０７に供給される。また、比較部１３０７には、ＰＴＳやＤＴＳも供給される。比較部１３０７は、基準クロックの時刻と、オーディオ及びビデオのパケットのそれぞれに付加されていたＰＴＳ及びＤＴＳとを比較して、これらが一致したときに、オーディオデータメモリ１３０４及びビデオデータメモリ１３０５内の対応データのデコードや表示を行うように構成されている。

また、ＭＰＥＧ２システムは、上記のＭＰＥＧ１システムの機能に対して、通信や放送の広範囲なアプリケーションに対応できるように機能を拡張、追加したものである。ＭＰＥＧ２システムのデータ構造は、大きく分けて、ＴＳ（Transport Stream：トランスポートストリーム）及びＰＳ（Program Stream：プログラムストリーム）の２つが存在する。これらはいずれも、ＰＥＳ（Packetized Elementary Stream）、及びその他の必要な情報を含むパケットにより構成されている。ＰＥＳは、両ストリーム間の変換を可能とするための中間ストリームとして規定されており、ＭＰＥＧ方式で符号化されたビデオ、オーディオのほかに、プライベートストリームなどをパケット化したものである。

また、ＭＰＥＧ１ではオーディオビデオ同期に十分な９０ＫＨｚのＳＣＲが採用されているのに対し、ＭＰＥＧ２では、エンコーダ側と同一のクロックをデコーダ側で再現可能とするために、２７ＭＨｚに拡張されたＳＣＲ（ＴＳではＰＣＲ（Program Clock Referance）と呼ばれる）が採用されている。なお、ＭＰＥＧ２システムでもＭＰＥＧ１システムにおいて使用されているＳＴＤと同様の概念が採用されている。

また、ＰＳは、ＭＰＥＧ１システムと類似した構造をもっていて、スタートコードの割り当てもＭＰＥＧ２における追加部分を除いて、同一である。ＰＳは、基本的にはエラーの無い環境で使用され、ＭＰＥＧ１と同様に共通の基準時間を有するプログラムのビデオ及びオーディオの多重化を行うことが可能である。

図１４は、従来の技術に係るＭＰＥＧ２のＰＳ、ＴＳ、ＰＥＳの関係を示す図である。パケットレイヤはＰＥＳと呼ばれ、この構造はＴＳと共用され、ＰＳ及びＴＳの相互互換性を可能とするために、ＭＰＥＧ１のパケットと比較してヘッダ部分が複雑になっている。なお、ＰＳの場合には、ストリームはＰＥＳパケット内のストリームＩＤ（stream_id）によってスイッチされる。

また、ＴＳもＰＳと同様に、共通の基準時間を有するプログラムのビデオ及びオーディオの多重化を行うことが可能であるが、ＴＳは、更に異なる基準時間を有する通信や放送などのマルチプログラムの多重化を可能としている。ＴＳは、ＡＴＭセル長や誤り訂正符号化を行う場合などを考慮し、１８８バイトの固定長パケットで構成されており、エラーが存在するシステムでも使用できるように考慮されている。ＴＳパケット自体の構造はそれほど複雑ではないが、マルチプログラムのストリームであるため、その運用は複雑である。また、ＰＳと比べた場合のＴＳの特徴は、ＴＳパケットが上位構造であるにもかかわらず、通常はＰＥＳパケットより短く、ＰＥＳパケットを分割して複数のＴＳパケットとして伝送する点にある。なお、ＴＳの場合には、ストリームはＴＳパケット内のＰＩＤ（パケットＩＤ）によってスイッチされる。

また、下記の特許文献１には、多重化されているデータを再生するにあたり、各要素データに対応するデコーダのいずれか１つに入力されるパケットに含まれるタイムスタンプを基準タイムスタンプとして、他のデコーダに入力されるパケットに含まれるタイムスタンプと上記の基準タイムスタンプとを比較し、この比較関係が所定の関係にある場合に、対応する他のデコーダのデコード処理の待ち状態及び実行状態を制御するようにして、特殊再生時において主映像とサブピクチャとの同期を安定させる技術が開示されている。

また、下記の特許文献２には、パケット化されたデータ列の多種多様な編集が行われても、その都度クロック情報の不連続性を管理できるようにするために、編集後のデータ列の接続点より前に位置する前データの最後のアクセスユニットに対応する時間基準情報と、上記の接続点より後に位置する後データの最初のアクセスユニットに対応する時間基準情報とを検出して、前データの最後のアクセスユニットに対応する時間基準情報と、後データの最初のアクセスユニットに対応する時間基準情報との差に関するクロックオフセット情報を計算し、このクロックオフセット情報を付加情報として記述する技術が開示されている。

上述のように、従来の技術によれば、オーディオ及びビデオを多重化するにあたって、その多重化単位でパケット化を行う場合に、同期を考慮してタイムスタンプが記述される。このとき、オーディオとビデオとはパケットの再生単位が違うために、その再生開始タイミングで、それぞれのパケットにタイムスタンプが記述される。また、多重化されたオーディオ及びビデオを再生するにあたり、多重化データの所定の位置から所定の異なる位置にシームレスにアクセスチェンジを行う場合には、タイムスタンプのオフセット値をあらかじめ計算して記述するなどの工夫が行われている。このとき、マルチチャンネルのデータを各要素データによって構成するとともに、再生する際に組み合わせるマルチチャンネル情報の記録再生システムでは、オーディオ及びビデオの各システムにおいて、タイムスタンプの記述が行われる。
特開平１１−１４９７１７号公報（図２、３、段落００２１、００２２） 特開２００３−１５８７１２号公報（図１、１３） ＩＳＯ/ＩＥＣ１３８１８−１（ＭＰＥＧ２多重化規格）

しかしながら、従来のＭＰＥＧ方式に基づくデータでは、再生器において再生されるストリームがマルチチャンネルの場合には、あるチャンネルから別のチャンネルに同一時刻でアクセスチェンジ（チャンネルチェンジ）を行う際に、シームレスなチャンネルの切り換えが行われず、再生表示や再生音声が一時的に途切れるなどの現象が発生してしまうという課題がある。

図１５は、従来の技術におけるＭＰＥＧのオーディオパケットとＳＣＲとの関係を模式的に示す図である。図１５には、３つのマルチチャンネル音響データ（オーディオＡ〜Ｃ）が多重化されたストリームが図示されている。なお、ここでは、説明を簡単にするため、オーディオのみに言及しているが、ビデオに関しても同様である。上述のように、各オーディオパケットのヘッダには、再生出力の時刻管理情報であるＰＴＳが設定される（なお、説明を簡単にするため、ＤＴＳに関しては省略する）。一方、多重化ストリームに対しては、再生器側で時刻基準として用いられるＳＣＲ（あるいはＰＣＲ）が付与される。

その結果、マルチチャンネル音響データのパケットのうち、同一時刻で再生されるパケットに対して、異なるＳＣＲとＰＴＳとの対応関係が設定されることになる（例えば、同一のＰＴＳを有するパケットに異なるＳＣＲが割り当てられることになる）。例えば、ＰＴＳ＝１を有するオーディオＡと、ＰＴＳ＝１を有するオーディオＢとに対して、それぞれ異なるＳＣＲの値が割り当てられている。図１５の例において、例えばオーディオＢからオーディオＡにアクセスチェンジが行われ、ＰＴＳ＝１のオーディオＢに続いてＰＴＳ＝３のオーディオＡの再生が行われるものとする。この場合、アクセスチェンジがなかった場合にＰＴＳ＝３のオーディオＢが読み取られる場合と比較すると、異なるＳＣＲの値のパケットの読み取りが行われることになる。すなわち、マルチチャンネル情報のアクセスチェンジが行われる場合には、例えばＳＣＲ及びＰＴＳの少なくとも一方の補正が行われる必要があり、この補正に係る処理時間や処理負荷の影響で、再生表示や再生音声が一時的に途切れる現象が発生してしまうことになる。

また、多重化ストリームにおけるビデオパケットやオーディオパケットの長さは可変長であり、例えば、マルチチャンネル情報のチャンネル切り換え時に、パケット読み出しのタイミング（パケットの先頭部分のタイミング）が合わず、最大１パケット分の待機時間が発生する可能性がある。

また、上述の特許文献１に開示されている技術では、基準タイムスタンプと他のタイムスタンプとのタイムスタンプ比較処理という特殊な処理が必要となり、また、上述の特許文献２に開示されている技術では、オフセット値を付加情報から読み取るという特殊な処理が必要となる。また、マルチチャンネル情報のアクセスチェンジを行った場合には、特殊な処理による遅延が生じて、マルチチャンネル情報のシームレスな切り換えが行われず、アクセスチェンジの際に再生表示や再生音声が一時的に途切れるなどの不具合が生じる可能性がある。このように従来の技術によれば、マルチチャンネル音響データなどを始めとするマルチチャンネル情報のシームレスな切り換えを行うことが困難であり、マルチチャンネル情報のシームレス再生を実現できないという課題が存在する。

上記課題を解決するため、本発明は、特殊な処理を必要とせずに、マルチチャンネル情報の各要素ストリームのチャンネルチェンジをシームレスに実現できるようにするマルチチャンネル情報処理装置、マルチチャンネル情報再生装置、マルチチャンネル情報処理方法並びにマルチチャンネル情報再生方法を提供することを目的とする。

上記目的を達成するため、本発明によれば、複数のデータを、同期再生を行うためのマルチチャンネル情報に加工するマルチチャンネル情報処理装置であって、
前記複数のデータを取得するデータ取得手段と、
前記データ取得手段で取得された前記複数のデータのそれぞれを同一の再生時間長のパケットに分割するとともに、前記複数のデータに共通する基準時刻に対して、前記複数のデータのそれぞれにおいて同一時刻に再生されるべき前記パケット内に、前記同一時刻のタイムスタンプ情報を記述して、各チャンネルに対応付けられた前記複数のデータのそれぞれが前記パケットにより構成された前記マルチチャンネル情報を生成するパケット化手段とを、
有するマルチチャンネル情報処理装置が提供される。

また、上記目的を達成するため、本発明によれば、同期再生を行うべき複数のデータを含むマルチチャンネル情報の再生を行うマルチチャンネル情報再生装置であって、
前記複数のデータのそれぞれが同一の再生時間長のパケットに分割されており、前記複数のデータに共通する基準時刻に対して、前記複数のデータのそれぞれにおいて同一時刻に再生されるべき前記パケット内に、前記同一時刻のタイムスタンプ情報が記述され、各チャンネルに対応付けられた前記複数のデータのそれぞれが前記パケットにより構成されたマルチチャンネル情報を取得するマルチチャンネル情報取得手段と、
ユーザからの前記チャンネルの切り換え指示によって、前記マルチチャンネル情報取得手段で取得された前記マルチチャンネル情報の各チャンネルの情報の出力切り換えを行うチャンネル選択手段と、
前記基準時刻に対する前記タイムスタンプ情報を参照して、前記チャンネル選択手段から出力された前記チャンネルの情報を再生する再生手段とを、
有するマルチチャンネル情報再生装置が提供される。

また、上記目的を達成するため、本発明によれば、複数のデータを、同期再生を行うためのマルチチャンネル情報に加工するマルチチャンネル情報処理方法であって、
前記複数のデータを取得するデータ取得ステップと、
前記データ取得ステップで取得された前記複数のデータのそれぞれを同一の再生時間長のパケットに分割するとともに、前記複数のデータに共通する基準時刻に対して、前記複数のデータのそれぞれにおいて同一時刻に再生されるべき前記パケット内に、前記同一時刻のタイムスタンプ情報を記述して、各チャンネルに対応付けられた前記複数のデータのそれぞれが前記パケットにより構成された前記マルチチャンネル情報を生成するパケット化ステップとを、
有するマルチチャンネル情報処理方法が提供される。

また、上記目的を達成するため、本発明によれば、同期再生を行うべき複数のデータを含むマルチチャンネル情報の再生を行うマルチチャンネル情報再生方法であって、
前記複数のデータのそれぞれが同一の再生時間長のパケットに分割されており、前記複数のデータに共通する基準時刻に対して、前記複数のデータのそれぞれにおいて同一時刻に再生されるべき前記パケット内に、前記同一時刻のタイムスタンプ情報が記述され、各チャンネルに対応付けられた前記複数のデータのそれぞれが前記パケットにより構成されたマルチチャンネル情報を取得するマルチチャンネル情報取得ステップと、
ユーザからの前記チャンネルの切り換え指示によって、前記マルチチャンネル情報取得ステップで取得された前記マルチチャンネル情報の各チャンネルの情報の出力切り換えを行うチャンネル選択ステップと、
前記基準時刻に対する前記タイムスタンプ情報を参照して、前記チャンネル選択ステップで出力された前記チャンネルの情報を再生する再生ステップとを、
有するマルチチャンネル情報再生方法が提供される。

本発明は、上記の構成を有しており、特殊な処理を必要とせずに、マルチチャンネル情報の各要素ストリームのチャンネルチェンジをシームレスに実現できるようにするという効果を有している。

以下、図面を参照しながら、本発明の第１〜第３の実施の形態について説明する。

＜第１の実施の形態＞
まず、本発明の第１の実施の形態について説明する。まず、本発明の第１の実施の形態におけるオーディオ及びビデオのデータ生成に係る構成及び動作について説明する。図１は、本発明の第１の実施の形態の符号化装置（マルチチャンネル情報処理装置）を示すブロック図である。図１には、ＭＰＥＧビデオ符号化器１０１、クロック発生器１０２、ビデオタイムスタンプ生成器１０３、ＭＰＥＧビデオパケット化器１０４、第１ＭＰＥＧオーディオ符号化器１０５、第２ＭＰＥＧオーディオ符号化器１０６、第３ＭＰＥＧオーディオ符号化器１０７、第４ＭＰＥＧオーディオ符号化器１０８、オーディオタイムスタンプ生成器１０９、第１ＭＰＥＧオーディオパケット化器１１０、第２ＭＰＥＧオーディオパケット化器１１１、第３ＭＰＥＧオーディオパケット化器１１２、第４ＭＰＥＧオーディオパケット化器１１３、基準クロック情報生成器１１４、多重化器１１５、記録媒体１１６が図示されている。

ＭＰＥＧビデオ符号化器１０１は、符号化装置に入力された画像データに関して、ＭＰＥＧビデオ符号化を行って、ＭＰＥＧビデオ符号化データを生成する機能を有している。ＭＰＥＧビデオ符号化器１０１によって生成されたＭＰＥＧビデオ符号化データは、ＭＰＥＧビデオパケット化器１０４に供給される。

また、クロック発生器１０２は、所定の周期を有するパルス信号（クロック信号）を発生する機能を有している。クロック発生器１０２で発生したクロック信号は、ビデオタイムスタンプ生成器１０３、オーディオタイムスタンプ生成器１０９、基準クロック情報生成器１１４に供給される。

また、ビデオタイムスタンプ生成器１０３は、クロック発生器１０２から供給されるクロック信号に基づいて、ビデオピクチャの時刻に対応するビデオタイムスタンプを生成する機能を有している。ビデオタイムスタンプ生成器１０３で生成されたビデオタイムスタンプは、ＭＰＥＧビデオパケット化器１０４に供給される。

また、ＭＰＥＧビデオパケット化器１０４は、ＭＰＥＧビデオ符号化器１０１から供給されるＭＰＥＧビデオ符号化データを、例えばＭＰＥＧ２のＰＥＳパケットなどにパケット化するとともに、ビデオタイムスタンプ生成器１０３から供給されるビデオタイムスタンプをパケットのヘッダに記述してビデオパケットを生成する機能を有している。ＭＰＥＧビデオパケット化器１０４で生成されたビデオパケットは、多重化器１１５に供給される。

また、第１〜第４ＭＰＥＧオーディオ符号化器１０５〜１０８は、符号化装置に入力されたマルチチャンネル音響データに関して、ＭＰＥＧオーディオ符号化を行う機能を有している。なお、以下の説明では、マルチチャンネル音響データのチャンネル数を４とし、４つの第１〜第４ＭＰＥＧオーディオ符号化器１０５〜１０８のそれぞれが、各チャンネル音響データに係るＭＰＥＧオーディオ符号化を行うものとする。なお、チャンネル数は任意の値が設定可能であり、このチャンネル数に等しい数のＭＰＥＧオーディオ符号化器が設置されることが望ましい。第１〜第４ＭＰＥＧオーディオ符号化器１０５〜１０８のそれぞれによって生成されたＭＰＥＧオーディオ符号化データは、それぞれ第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３に供給される。

また、オーディオタイムスタンプ生成器１０９は、クロック発生器１０２から供給されるクロック信号に基づいて、オーディオフレームデータの先頭の時刻に対応するオーディオタイムスタンプを生成する機能を有している。オーディオタイムスタンプ生成器１０９で生成されたオーディオタイムスタンプは、第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３のそれぞれに供給される。

また、第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３は、第１〜第４ＭＰＥＧオーディオ符号化器１０５〜１０８のそれぞれから供給されるＭＰＥＧオーディオ符号化データを、例えばＭＰＥＧ２のＰＥＳパケットなどにパケット化するとともに、オーディオタイムスタンプ生成器１０９から供給されるオーディオタイムスタンプをパケットのヘッダに記述してオーディオパケットを生成する機能を有している。なお、第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３で行われるパケット化では、ＭＰＥＧオーディオ符号化データは、すべて同一の固定長を有するパケットにパックされる。各第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３で生成された各オーディオパケット（第１〜第４オーディオパケット）は、多重化器１１５に供給される。

また、基準クロック情報生成器１１４は、データ復号時の時刻基準となる基準クロック情報（ＭＰＥＧ２／ＰＳのＰＣＲやＭＰＥＧ２／ＴＳのＳＣＲ）を生成する機能を有している。基準クロック情報生成器１１４で生成された基準クロック情報は、多重化器１１５に供給される。

また、多重化器１１５は、ＭＰＥＧビデオパケット化器１０４から供給されるビデオパケットと、第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３のそれぞれから供給される第１〜第４オーディオパケットと、基準クロック情報生成器１１４から供給される基準クロック情報とを多重化して、多重化データを生成する機能を有している。多重化器１１５で生成された多重化データは、記録媒体１１６に記録されたり、あるいは通信網に伝送されたりする。このとき、ビデオパケット及び第１〜第４オーディオパケットのそれぞれに独立して基準クロック情報が付与された後、多重化が行われる。

ここで、多重化器１１５において多重化される第１〜第４オーディオパケットと基準クロック情報との関係について、図１１を参照しながら説明する。図１１に図示されているように、本発明の第１の実施の形態では、第１〜第４オーディオパケットの要素ストリームのそれぞれに対して、クロック信号に基づく同一の基準クロック情報（図１１ではＳＣＲと記載）を時間軸として、タイムスタンプが独立して（すなわち並列的に）割り当てられる。この結果、マルチチャンネル情報のうち、同一時刻で再生されるパケットに対して同一の基準時刻及びタイムスタンプの値の対応関係が割り当てられることになる。また、シームレスにアクセスチェンジを行う各要素ストリームのパケット長はすべて同一の固定長に設定される。したがって、このマルチチャンネル情報の再生時にアクセスチェンジが行われる場合でも、基準クロック情報やタイムスタンプの補正を行う必要がなく、また、パケットの読み出しタイミングも同一周期で行われるため、パケット読み出しの待機時間などが発生せずに、シームレスな再生が実現される。なお、本発明の第１の実施の形態では、図１１に図示されている第１〜第４オーディオパケットの要素ストリームは、多重化器１１５で多重化されるが、各要素ストリームに基準クロック情報が独立して付与されている状態は保存され、したがって、再生器における多重化データの再生処理の際に、図１１に図示されているような各要素ストリームに基準クロック情報が独立して付与されている状態が得られる。

次に、本発明の第１の実施の形態の符号化装置の記録動作の一例について説明する。図２は、本発明の第１の実施の形態の符号化装置の記録伝送アルゴリズムを示すフローチャートである。なお、図２に示す動作に関して、図１に図示されている符号化装置の構成に基づいて説明を行うが、図１に図示されている構成によって限定されるものではない。

図２に示すフローチャートにおいて、まず、符号化装置では、同期が保たれた状態の映像（画像データ）及び音声（マルチチャンネル音響データ）の入力が開始される（ステップＳ２０１）。符号化装置では、これらの同期した画像データ及びマルチチャンネル音響データのそれぞれに関して、並行処理が行われる。以下では、画像データに関する処理をステップＳ２０２〜Ｓ２０６の処理として説明し、マルチチャンネル音響データに関する処理をステップＳ２０７〜Ｓ２１１の処理として説明する。

画像データは、まず、ＭＰＥＧビデオ符号化器１０１に入力される（ステップＳ２０２）。ＭＰＥＧビデオ符号化器１０１は、入力された画像データに対してＭＰＥＧビデオ符号化の処理を行い、ＭＰＥＧビデオ符号化データを生成して、ＭＰＥＧビデオパケット化器１０４に渡す（ステップＳ２０３）。一方、ビデオタイムスタンプ生成器１０３は、クロック発生器１０２から供給されるクロック信号に基づいてビデオタイムスタンプを生成し、このビデオタイムスタンプをＭＰＥＧビデオパケット化器１０４に渡す（ステップＳ２０４）。ＭＰＥＧビデオパケット化器１０４は、ＭＰＥＧビデオ符号化データのパケット化を行い（ステップＳ２０５）、さらに、ビデオパケットのヘッダにビデオタイムスタンプを記述する（ステップＳ２０６）。

また、マルチチャンネル音響データに関しては、まず、各チャンネルの音響データが、第１〜第４ＭＰＥＧオーディオ符号化器１０５〜１０８のそれぞれに入力される（ステップＳ２０７）。各第１〜第４ＭＰＥＧオーディオ符号化器１０５〜１０８は、入力された音響データに対してＭＰＥＧオーディオ符号化の処理を行い、ＭＰＥＧオーディオ符号化データを生成して、対応する第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３に渡す（ステップＳ２０８）。一方、オーディオタイムスタンプ生成器１０９は、クロック発生器１０２から供給されるクロック信号に基づいてオーディオタイムスタンプを生成し、このオーディオタイムスタンプを各第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３に渡す（ステップＳ２０９）。そして、各第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３は、ＭＰＥＧオーディオ符号化データのパケット化を行うが、このとき、全チャンネルのＭＰＥＧオーディオ符号化データは、同一の再生時間長でパケット化される（ステップＳ２１０）。さらに、各第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３は、オーディオパケットのヘッダにオーディオタイムスタンプを記述するが、このとき、同一時刻に再生されるべき全チャンネルのオーディオパケットのヘッダには、同一のタイムスタンプが記述される（ステップＳ２１１）。

また、基準クロック情報生成器１１４は、クロック信号に基づいて基準クロック情報を生成する（ステップＳ２１２）。そして、多重化器１１５は、ステップＳ２０２〜Ｓ２０６の処理によって生成されたビデオパケットと、ステップＳ２０７〜Ｓ２１１の処理によって生成されたオーディオパケットと、ステップＳ２１２の処理によって生成された基準クロック情報を多重化し（ステップＳ２１３）、ステップＳ２１３で生成された多重化データに係るストリームを記録媒体１１６に記録（あるいは、通信網に伝送）する（ステップＳ２１４）。

また、ステップＳ２１５において、画像データ及びマルチチャンネル音響データの入力がまだ行われている場合には、ステップＳ２０１に戻って、上述の処理を再び行い、画像データ及びマルチチャンネル音響データの入力が終了した場合には、動作を終了する。

次に、図１に図示されている符号化装置で生成されたデータの再生に係る構成及び動作について説明する。図３は、本発明の第１の実施の形態の再生装置（マルチチャンネル情報再生装置）を示すブロック図である。図３には、記録媒体３０１、分離化器３０２、基準クロック情報読み取り器３０３、基準クロック発生器３０４、ＭＰＥＧビデオパケット分離化器３０５、ＭＰＥＧビデオ復号器３０６、ビデオタイムスタンプ読み取り器３０７、第１ＭＰＥＧオーディオパケット分離化器３０８、第２ＭＰＥＧオーディオパケット分離化器３０９、第３ＭＰＥＧオーディオパケット分離化器３１０、第４ＭＰＥＧオーディオパケット分離化器３１１、チャンネル選択器３１２、ＭＰＥＧオーディオ復号器３１３、オーディオタイムスタンプ読み取り器３１４、同期再生制御器３１５、表示器／音声出力器３１６が図示されている。

記録媒体３０１は、図１に図示されている記録媒体１１６に対応しており、記録媒体３０１には、図１の符号化装置において最終的に生成された多重化データが記録されている。記録媒体３０１から読み取られた多重化データは、分離化器３０２に供給される。

また、分離化器３０２は、記録媒体３０１から供給される多重化データの分離化を行う機能を有している。この多重化データは、図１に図示されている多重化器１１５で生成されたデータであり、ビデオパケットと、第１〜第４オーディオパケットと、基準クロック情報とを含んでいる。分離化器３０２で抽出された基準クロック情報は基準クロック情報読み取り器３０３に供給され、分離化器３０２で抽出されたビデオパケットはＭＰＥＧビデオパケット分離化器３０５に供給され、分離化器３０２で抽出された第１〜第４オーディオパケットは、それぞれ第１〜第４ＭＰＥＧオーディオパケット分離化器３０８〜３１１に供給される。

また、基準クロック情報読み取り器３０３は、分離化器３０２で抽出される基準クロック情報の読み取りを行う機能を有しており、読み取られた基準クロック情報は、基準クロック発生器３０４に供給される。

また、基準クロック発生器３０４は、基準クロック情報読み取り器３０３から供給された基準クロック情報の値に基づいて、基準クロック信号を発生する機能を有している、基準クロック発生器３０４で発生した基準クロック信号は、同期再生制御器３１５に供給される。

また、ＭＰＥＧビデオパケット分離化器３０５は、分離化器３０２から供給されるビデオパケットの分離化を行うことによって、ＭＰＥＧビデオ符号化データを取得する機能を有している。ＭＰＥＧビデオパケット分離化器３０５で取得されたＭＰＥＧビデオ符号化データは、ＭＰＥＧビデオ復号器３０６及びビデオタイムスタンプ読み取り器３０７に供給される。

また、ＭＰＥＧビデオ復号器３０６は、ＭＰＥＧビデオパケット分離化器３０５によって取得されたＭＰＥＧビデオ符号化データに関して、ＭＰＥＧビデオ復号処理を行って、ビデオ復号データを取得する機能を有している。ＭＰＥＧビデオ復号器３０６によって取得されたビデオ復号データは、同期再生制御器３１５に供給される。

また、ビデオタイムスタンプ読み取り器３０７は、ＭＰＥＧビデオパケット分離化器３０５によって取得されたＭＰＥＧビデオ符号化データ（具体的には、ビデオパケットのヘッダ）から、ビデオタイムスタンプを読み取る機能を有している。ビデオスタンプ読み取り器３０７で読み取られたビデオタイムスタンプは、同期再生制御器３１５に供給される。

また、第１〜第４ＭＰＥＧオーディオパケット分離化器３０８〜３１１は、分離化器３０２から供給されるオーディオパケットの分離化を行うことによって、ＭＰＥＧオーディオ符号化データを取得する機能を有している。なお、ＭＰＥＧオーディオパケット分離化器は、オーディオのチャンネル数に合わせて設置されることが望ましい。第１〜第４ＭＰＥＧオーディオパケット分離化器３０８〜３１１のそれぞれで取得された各チャンネルのＭＰＥＧオーディオ符号化データ（第１〜第４ＭＰＥＧオーディオ符号化データ）は、チャンネル選択器３１２に供給される。

また、チャンネル選択器３１２は、ユーザインタフェース（不図示）からの選択指示信号に基づいて、４つのチャンネルの第１〜第４ＭＰＥＧオーディオ符号化データのうちのいずれか１つを選択して出力する機能（チャンネルチェンジ機能又はアクセスチェンジ機能）を有している。チャンネル選択器３１２で選択されたチャンネルのＭＰＥＧオーディオ符号化データは、ＭＰＥＧオーディオ復号器３１３及びオーディオタイムスタンプ読み取り器３１４に供給される。なお、ユーザによって選択されたチャンネルに係るＭＰＥＧオーディオ符号化データが、最終的に表示器／音声出力器３１６から出力されることになる。

また、ＭＰＥＧオーディオ復号器３１３は、チャンネル選択器３１２から選択的に出力されるＭＰＥＧオーディオ符号化データに関して、ＭＰＥＧオーディオ復号処理を行って、オーディオ復号データを取得する機能を有している。ＭＰＥＧオーディオ復号器３１３によって取得されたオーディオ復号データは、同期再生制御器３１５に供給される。

また、オーディオタイムスタンプ読み取り器３１４は、チャンネル選択器３１２から選択的に出力されるＭＰＥＧオーディオ符号化データ（具体的には、オーディオパケットのヘッダ）から、オーディオタイムスタンプを読み取る機能を有している。オーディオスタンプ読み取り器３１４で読み取られたオーディオタイムスタンプは、同期再生制御器３１５に供給される。

また、同期再生制御器３１５は、基準クロック発生器３０４から供給される基準クロック信号と、ビデオタイムスタンプ読み取り器３０７から供給されるビデオタイムスタンプと、オーディオタイムスタンプ読み取り器３１４から供給されるオーディオタイムスタンプとに基づいて、ＭＰＥＧビデオ復号器３０６から供給されるビデオ復号データと、ＭＰＥＧオーディオ復号器３１３から供給されるオーディオ復号データとを同期再生する機能を有している。なお、具体的には、同期再生制御器３１５は、基準クロック信号に基づく基準時刻を参照して、ビデオタイムスタンプに対応するビデオ復号データの再生、及びオーディオタイムスタンプに対応するオーディオ復号データの再生を行うことによってビデオ復号データ及びオーディオ復号データの同期再生制御を行う。ビデオ復号データ及びオーディオ復号データの同期再生の結果、同期再生制御器３１５から出力されるビデオ再生データ及びオーディオ再生データは、表示器／音声出力器３１６に供給される。

また、表示器／音声出力器３１６は、同期再生制御器３１５から出力されるビデオ再生データの画面表示や、同期再生制御器３１５から出力されるオーディオ再生データの音声出力を行う機能を有している。

次に、本発明の第１の実施の形態の再生装置の再生動作の一例について説明する。図４は、本発明の第１の実施の形態の再生装置の受信再生アルゴリズムを示すフローチャートである。なお、図４に示す動作に関して、図３に図示されている再生装置の構成に基づいて説明を行うが、図３に図示されている構成によって限定されるものではない。

図４に示すフローチャートにおいて、まず、再生装置では、記録媒体３０１からの多重化データの読み出し（あるいは、通信網からの多重化データの受信）が開始される（ステップＳ４０１）。分離化器３０２は、ステップＳ４０１で読み出された多重化データの分離化を行い、ビデオパケットと、第１〜第４オーディオパケットと、基準クロック情報とを抽出する（ステップＳ４０２）。

再生装置では、これらのビデオパケット、第１〜第４オーディオパケット、基準クロック情報に関して、並行処理が行われる。以下では、ビデオパケット及び基準クロック情報に関する処理をステップＳ４０３〜Ｓ４０６の処理として説明し、第１〜第４オーディオパケットに関する処理をステップＳ４０７〜Ｓ４１０の処理として説明する。

分離化器３０２で抽出されたビデオパケットは、ＭＰＥＧビデオパケット分離化器３０５に供給される。そして、ＭＰＥＧビデオパケット分離化器３０５がビデオパケットの分離化を行う（ステップＳ４０３）。また、ビデオタイムスタンプ読み取り器３０７が、ビデオパケットのヘッダに含まれているビデオタイムスタンプの読み取りを行う（ステップＳ４０４）。

また、ステップＳ４０３におけるビデオパケットの分離化によって取得されたＭＰＥＧビデオ符号化データは、ＭＰＥＧビデオ復号器３０６に供給される。ＭＰＥＧビデオ復号器３０６は、ＭＰＥＧビデオ符号化データに対してＭＰＥＧビデオ復号処理を行い、ビデオ復号データを生成する（ステップＳ４０５）。

また、基準クロック情報読み取り器３０３が、分離化器３０２で抽出された基準クロック情報を読み取り、さらに、基準クロック発生器２０４が、この基準クロック情報を基にして、基準クロック信号を発生する（ステップＳ４０６）。

一方、分離化器３０２で抽出されたオーディオパケットは、各チャンネルに対応する第１〜第４ＭＰＥＧオーディオパケット分離化器３０８〜３１１に供給される。そして、第１〜第４ＭＰＥＧオーディオパケット分離化器３０８〜３１１が、各チャンネルのオーディオパケットの分離化を行い（ステップＳ４０７）、各第１〜第４ＭＰＥＧオーディオパケット分離化器３０８〜３１１は、オーディオパケットの分離化によって取得されたＭＰＥＧオーディオ符号化データをチャンネル選択器３１２に出力する。

チャンネル選択器３１２には、ユーザの指示などによって選択すべきチャンネルが設定されており、チャンネル選択器３１２は、選択すべきチャンネルのＭＰＥＧオーディオ符号化データのみを選択して、ＭＰＥＧオーディオ復号器３１３及びオーディオタイムスタンプ読み取り器３１４に出力する（ステップＳ４０８）。なお、ユーザは、随時チャンネル選択を行うことが可能であり、本発明の第１の実施の形態では、上述のように、ユーザによるチャンネルの切り換えの際に、基準クロック情報やタイムスタンプなどの補正を行う必要がなく、その結果、シームレスなチャンネル切り換えが実現される。

オーディオタイムスタンプ読み取り器３１４は、オーディオパケットのヘッダに含まれているオーディオタイムスタンプの読み取りを行う（ステップＳ４０９）。また、ＭＰＥＧオーディオ復号器３１３は、ＭＰＥＧオーディオ符号化データに対してＭＰＥＧオーディオ復号処理を行い、オーディオ復号データを生成する（ステップＳ４１０）。

そして、同期再生制御器３１５は、ステップＳ４０４の処理によって取得されたビデオタイムスタンプと、ステップＳ４０６の処理によって発生した基準クロック信号と、ステップＳ４０９の処理によって取得されたオーディオタイムスタンプとに基づいて、ステップＳ４０５の処理によって生成されたビデオ復号データと、ステップＳ４１０の処理によって生成されたオーディオ復号データとを同期して再生を行う（ステップＳ４１１）。

また、ステップＳ４１２において、読み出すべき多重化データがまだ存在する場合には、ステップＳ４０１に戻って、上述の処理を再び行い、多重化データの読み出しが終了した場合には、動作を終了する。

以上、説明したように、本発明の第１の実施の形態によれば、マルチチャンネル情報を含むストリームを生成する際に、マルチチャンネル情報に係る複数の要素ストリームを構成するすべてのパケットを同一時間長（固定長）にするとともに、各要素ストリームに同一の基準時刻を割り当てて、各要素ストリームの同一時刻に再生されるデータに対して、それぞれ同一時刻を示すタイムスタンプ情報が記述されるので、特殊な処理を必要とせずに、マルチチャンネル情報の各要素ストリームのチャンネルチェンジをシームレスに実現することが可能となる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。図５は、本発明の第２の実施の形態の符号化装置を示すブロック図である。図５には、ＭＰＥＧビデオ符号化器５０１、クロック発生器５０２、ビデオタイムスタンプ生成器５０３、ＭＰＥＧビデオパケット化器５０４、第１ＭＰＥＧオーディオ符号化器５０５、第２ＭＰＥＧオーディオ符号化器５０６、第３ＭＰＥＧオーディオ符号化器５０７、第４ＭＰＥＧオーディオ符号化器５０８、オーディオタイムスタンプ生成器５０９、第１ＭＰＥＧオーディオパケット化器５１０、第２ＭＰＥＧオーディオパケット化器５１１、第３ＭＰＥＧオーディオパケット化器５１２、第４ＭＰＥＧオーディオパケット化器５１３、基準クロック情報生成器５１４、記録媒体５１６が図示されている。

図５に示すＭＰＥＧビデオ符号化器５０１、クロック発生器５０２、ビデオタイムスタンプ生成器５０３、第１ＭＰＥＧオーディオ符号化器５０５、第２ＭＰＥＧオーディオ符号化器５０６、第３ＭＰＥＧオーディオ符号化器５０７、第４ＭＰＥＧオーディオ符号化器５０８、オーディオタイムスタンプ生成器５０９、記録媒体５１６は、図１に示すＭＰＥＧビデオ符号化器１０１、クロック発生器１０２、ビデオタイムスタンプ生成器１０３、第１ＭＰＥＧオーディオ符号化器１０５、第２ＭＰＥＧオーディオ符号化器１０６、第３ＭＰＥＧオーディオ符号化器１０７、第４ＭＰＥＧオーディオ符号化器１０８、オーディオタイムスタンプ生成器１０９、記録媒体１１６と同一である。なお、図５に示す符号化装置には、図１に示す多重化器１１５は設けられていない。

図５に示すＭＰＥＧビデオパケット化器５０４は、ＭＰＥＧビデオ符号化器５０１から供給されるＭＰＥＧビデオ符号化データを、例えばＭＰＥＧ２のＰＥＳパケットなどにパケット化するとともに、ビデオタイムスタンプ生成器５０３から供給されるビデオタイムスタンプ、及び基準クロック情報生成器５１４から供給される基準クロック情報の両方をパケットのヘッダに記述してビデオパケットを生成する機能を有している。ＭＰＥＧビデオパケット化器５０４で生成されたビデオパケットは、記録媒体５１６に直接記録される。

また、第１〜第４ＭＰＥＧオーディオパケット化器５１０〜５１３は、図１に示す第１〜第４ＭＰＥＧオーディオパケット化器１１０〜１１３と同様に、第１〜第４ＭＰＥＧオーディオ符号化器５０５〜５０８のそれぞれから供給されるＭＰＥＧオーディオ符号化データを、例えばＭＰＥＧ２のＰＥＳパケットなどにパケット化するとともに、オーディオタイムスタンプ生成器５０９から供給されるオーディオタイムスタンプをパケットのヘッダに記述してオーディオパケットを生成する機能を有している。なお、第１〜第４ＭＰＥＧオーディオパケット化器５１０〜５１３で行われるパケット化では、ＭＰＥＧオーディオ符号化データは、すべて同一の固定長を有するパケットにパックされる。ただし、本発明の第２の実施の形態では、各第１〜第４ＭＰＥＧオーディオパケット化器５１０〜５１３において生成されたオーディオパケット（第１〜第４オーディオパケット）の供給先は記録媒体５１６であり、各オーディオパケットは記録媒体５１６に直接記録される。

また、図５に示す基準クロック情報生成器５１４は、図１に示す基準クロック情報生成器１１４と同様に、データ復号時の時刻基準となる基準クロック情報を生成する機能を有している。ただし、基準クロック情報生成器５１４で生成された基準クロック情報は、ＭＰＥＧビデオパケット化器５０４に供給される。

本発明の第２の実施の形態における符号化装置の構成（図５に示す構成）によれば、基準クロック情報はビデオパケットのヘッダに記述され、ビデオパケット及び各チャンネルのオーディオパケットは、多重化されずにそれぞれ独立したパケットのまま記録媒体５１６に記録される。

また、記録媒体５１６に直接記録されるビデオパケット及び第１〜第４オーディオパケットのそれぞれのストリームは、図１１に図示されているデータ構造と同一のデータ構造を有している。すなわち、本発明の第２の実施の形態においても、本発明の第１の実施の形態と同様に、マルチチャンネル情報のうち、同一時刻で再生されるパケットに対して同一の基準時刻及びタイムスタンプの値の対応関係が割り当てられることになるとともに、シームレスにアクセスチェンジを行う各要素ストリームのパケット長はすべて同一の固定長に設定されるので、マルチチャンネル情報の再生時にアクセスチェンジが行われる場合でも、基準クロック情報やタイムスタンプの補正を行う必要がなく、また、パケットの読み出しタイミングも同一周期で行われるため、パケット読み出しの待機時間などが発生せずに、シームレスな再生が実現される。

次に、本発明の第２の実施の形態における記録伝送の記録動作の一例について、図６を参照しながら説明する。図６は、本発明の第２の実施の形態の符号化装置の記録伝送アルゴリズムを示すフローチャートである。なお、図６に示す動作に関して、図５に図示されている符号化装置の構成に基づいて説明を行うが、図５に図示されている構成によって限定されるものではない。

図６に示すフローチャートにおいて、まず、符号化装置では、同期が保たれた状態の映像（画像データ）及び音声（マルチチャンネル音響データ）の入力が開始される（ステップＳ６０１）。そして、図２に示すフローチャートと同様に、符号化装置では、これらの同期した画像データ及びマルチチャンネル音響データビデオデータのそれぞれに関して、並行処理が行われる。以下では、画像データに関する処理をステップＳ６０２〜Ｓ６０８の処理として説明し、マルチチャンネル音響データに関する処理をステップＳ６０９〜Ｓ６１３の処理として説明する。

画像データに関しては、ステップＳ６０２〜Ｓ６０６において、図２に示すフローチャートのステップＳ２０２〜Ｓ２０６と同一の処理が行われる。さらに、基準クロック情報生成器５１４が、クロック信号に基づいて基準クロック情報を生成して、この基準クロック情報をＭＰＥＧビデオパケット化器５０４に渡し（ステップＳ６０７）、ＭＰＥＧビデオパケット化器５０４は、ステップＳ６０２〜Ｓ６０６の処理によって生成されたビデオタイムスタンプが記述されたヘッダを有するビデオパケットのヘッダ内に、基準クロック情報を記述する（ステップＳ６０８）。

一方、マルチチャンネル音響データに関しては、ステップＳ６０９〜Ｓ６１３において、図２に示すフローチャートのステップＳ２０７〜Ｓ２１１の処理と同一の処理が行われる。

そして、ＭＰＥＧビデオパケット化器５０４によって生成されたビデオパケットに係るストリーム、第１〜第４ＭＰＥＧオーディオパケット化器５１０〜５１３によって生成された４チャンネルのオーディオパケットのそれぞれに係るストリームは、独立して記録媒体５１６に記録（あるいは、通信網に伝送）される（ステップＳ６１４）。

また、ステップＳ６１５において、画像データ及びマルチチャンネル音響データの入力がまだ行われている場合には、ステップＳ６０１に戻って、上述の処理を再び行い、画像データ及びマルチチャンネル音響データの入力が終了した場合には、動作を終了する。

次に、図５に図示されている符号化装置で生成されたデータの再生に係る構成及び動作について説明する。図７は、本発明の第２の実施の形態の再生装置を示すブロック図である。図７には、記録媒体７０１、基準クロック情報読み取り器７０３、基準クロック発生器７０４、ＭＰＥＧビデオパケット分離化器７０５、ＭＰＥＧビデオ復号器７０６、ビデオタイムスタンプ読み取り器７０７、ＭＰＥＧオーディオパケット分離化器７０８、チャンネル選択器７１２、ＭＰＥＧオーディオ復号器７１３、オーディオタイムスタンプ読み取り器７１４、同期再生制御器７１５、表示器／音声出力器７１６が図示されている。

記録媒体７０１は、図５に図示されている記録媒体５１６に対応しており、記録媒体７０１には、図５の符号化装置において最終的に生成されたビデオパケット及び第１〜第４オーディオパケットが記録されている。記録媒体７０１から読み取られたビデオパケットは、ＭＰＥＧビデオパケット分離化器７０５に供給される。また、記録媒体７０１から読み取られた第１〜第４オーディオパケットは、チャンネル選択器７１２に供給される。

ＭＰＥＧビデオパケット分離化器７０５及びＭＰＥＧビデオ復号器７０６は、図３に示すＭＰＥＧビデオパケット分離化器３０５及びＭＰＥＧビデオ復号器３０６と同一であり、ＭＰＥＧビデオパケット分離化器７０５及びＭＰＥＧビデオ復号器７０６を経て生成されたビデオ復号データは、同期再生制御器７１５に供給される。

また、ビデオタイムスタンプ読み取り器７０７は、図３に示すビデオタイムスタンプ読み取り器３０７と同様に、ＭＰＥＧビデオ符号化データ（具体的には、ビデオパケットのヘッダ）に記述されているビデオタイムスタンプを読み取り、そのビデオタイムスタンプを同期再生制御器７１５に供給するとともに、さらに、ビデオパケットのヘッダを基準クロック情報読み取り器７０３に供給する。

また、基準クロック情報読み取り器７０３は、ビデオタイムスタンプ読み取り器７０７から供給されるＭＰＥＧビデオ符号化データ（具体的には、ビデオパケットのヘッダ）から基準クロック情報の読み取りを行う機能を有しており、読み取られた基準クロック情報は、基準クロック発生器７０４に供給される。

また、基準クロック発生器７０４は、図３に示す基準クロック発生器３０４と同様に、基準クロック情報読み取り器７０３から供給された基準クロック情報の値に基づいて、基準クロック信号を発生する機能を有している、基準クロック発生器７０４で発生した基準クロック信号は、同期再生制御器７１５に供給される。

また、チャンネル選択器７１２は、ユーザインタフェース（不図示）からの選択指示信号に基づいて、４つのチャンネルのオーディオパケットのうちのいずれか１つを選択して出力する機能（チャンネルチェンジ機能又はアクセスチェンジ機能）を有している。チャンネル選択器７１２で選択されたチャンネルのオーディオパケットは、ＭＰＥＧオーディオパケット分離化器７０８に供給される。なお、ユーザによって選択されたチャンネルに係るオーディオパケットが、最終的に表示器／音声出力器７１６から出力されることになる。

また、ＭＰＥＧオーディオパケット分離化器７０８は、チャンネル選択器７１２から選択的に出力されるオーディオパケットの分離化を行うことによって、ＭＰＥＧオーディオ符号化データを取得する機能を有している。ＭＰＥＧオーディオパケット分離化器７０８で取得されたＭＰＥＧオーディオ符号化データは、ＭＰＥＧオーディオ復号器７１３及びオーディオタイムスタンプ読み取り器７１４に供給される。

また、ＭＰＥＧオーディオ復号器７１３は、ＭＰＥＧオーディオパケット分離化器７０８から供給されるＭＰＥＧオーディオ符号化データに関して、ＭＰＥＧオーディオ復号処理を行って、オーディオ復号データを取得する機能を有している。ＭＰＥＧオーディオ復号器７１３によって取得されたオーディオ復号データは、同期再生制御器７１５に供給される。

また、オーディオタイムスタンプ読み取り器７１４は、ＭＰＥＧオーディオパケット分離化器７０８から供給されるＭＰＥＧオーディオ符号化データ（具体的には、オーディオパケットのヘッダ）から、オーディオタイムスタンプを読み取る機能を有している。オーディオスタンプ読み取り器７１４で読み取られたオーディオタイムスタンプは、同期再生制御器７１５に供給される。

また、同期再生制御器７１５及び表示器／音声出力器７１６は、図３に示す同期再生制御器３１５及び表示器／音声出力器３１６と同一であり、同期再生制御器７１５によって生成されたビデオ再生データやオーディオ再生データは、表示器／音声出力器７１６で外部に出力される。

次に、本発明の第２の実施の形態の再生装置の再生動作の一例について説明する。図８は、本発明の第２の実施の形態の再生装置の受信再生アルゴリズムを示すフローチャートである。なお、図８に示す動作に関して、図７に図示されている再生装置の構成に基づいて説明を行うが、図７に図示されている構成によって限定されるものではない。

図８に示すフローチャートにおいて、まず、再生装置では、記録媒体７０１に記録されているビデオパケット及び各チャンネルのオーディオパケット（第１〜第４オーディオパケット）のそれぞれのストリームの読み出し（あるいは、通信網からの各ストリームの受信）が開始される（ステップＳ８０１）。再生装置では、これらのビデオパケット及び第１〜第４オーディオパケットに関して、並行処理が行われる。以下では、ビデオパケットに関する処理をステップＳ８０２〜Ｓ８０５の処理として説明し、第１〜第４オーディオパケットに関する処理をステップＳ８０６〜Ｓ８０９の処理として説明する。

記録媒体７０１から読み出されたビデオパケットは、ＭＰＥＧビデオパケット分離化器７０５に供給される。そして、ＭＰＥＧビデオパケット分離化器７０５がビデオパケットの分離化を行う（ステップＳ８０２）。また、ビデオタイムスタンプ読み取り器７０７が、ビデオパケットのヘッダに含まれているビデオタイムスタンプの読み取りを行う（ステップＳ８０３）。

また、ステップＳ８０２におけるビデオパケットの分離化によって取得されたＭＰＥＧビデオ符号化データは、ＭＰＥＧビデオ復号器７０６に供給される。ＭＰＥＧビデオ復号器７０６は、ＭＰＥＧビデオ符号化データに対してＭＰＥＧビデオ復号処理を行い、ビデオ復号データを生成する（ステップＳ８０４）。

また、基準クロック情報読み取り器７０３が、ビデオパケットのヘッダに含まれている基準クロック情報を読み取り、さらに、基準クロック発生器７０４が、この基準クロック情報を基にして、基準クロック信号を発生する（ステップＳ８０５）。

一方、記録媒体７０１から読み出された各チャンネルのオーディオパケットは、チャンネル選択器７１２に供給される。チャンネル選択器７１２には、ユーザの指示などによって選択すべきチャンネルが設定されており、チャンネル選択器７１２は、選択すべきチャンネルのオーディオパケットのみを選択して、ＭＰＥＧオーディオパケット分離化器７０８に出力する（ステップＳ８０６）。なお、上述の本発明の第１の実施の形態と同様に、本発明の第２の実施の形態においても、ユーザによるチャンネルの切り換えの際に、基準クロック情報やタイムスタンプなどの補正を行う必要がなく、その結果、シームレスなチャンネル切り換えが実現される。

チャンネル選択器７１２から選択的に出力されたオーディオパケットは、ＭＰＥＧオーディオパケット分離化器７０８に供給される。そして、ＭＰＥＧオーディオパケット分離化器７０８は、選択されたチャンネルのオーディオパケットの分離化を行い（ステップＳ８０７）、この処理によって取得されたＭＰＥＧオーディオ符号化データをＭＰＥＧオーディオ復号器７１３及びオーディオタイムスタンプ読み取り器７１４に出力する。

オーディオタイムスタンプ読み取り器７１４は、オーディオパケットのヘッダに含まれているオーディオタイムスタンプの読み取りを行う（ステップＳ８０８）。また、ＭＰＥＧオーディオ復号器７１３は、ＭＰＥＧオーディオ符号化データに対してＭＰＥＧオーディオ復号処理を行い、オーディオ復号データを生成する（ステップＳ８０９）。

そして、同期再生制御器７１５は、ステップＳ８０３の処理によって取得されたビデオタイムスタンプと、ステップＳ８０５の処理によって発生した基準クロック信号と、ステップＳ８０８の処理によって取得されたオーディオタイムスタンプとに基づいて、ステップＳ８０４の処理によって生成されたビデオ復号データと、ステップＳ８０９の処理によって生成されたオーディオ復号データとを同期して再生を行う（ステップＳ８１０）。

また、ステップＳ８１１において、読み出すべきストリームがまだ存在する場合には、ステップＳ８０１に戻って、上述の処理を再び行い、ストリームの読み出しが終了した場合には、動作を終了する。

以上、説明したように、本発明の第２の実施の形態によれば、マルチチャンネル情報を含むストリームを生成する際に、マルチチャンネル情報に係る複数の要素ストリームを構成するすべてのパケットを同一時間長（固定長）にするとともに、各要素ストリームに同一の基準時刻を割り当てて、各要素ストリームの同一時刻に再生されるデータに対して、それぞれ同一時刻を示すタイムスタンプ情報が記述されるので、特殊な処理を必要とせずに、マルチチャンネル情報の各要素ストリームのチャンネルチェンジをシームレスに実現することが可能となる。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。図９は、本発明の第３の実施の形態の符号化装置を示すブロック図である。図９には、ＭＰＥＧビデオ符号化器９０１、クロック発生器９０２、ビデオタイムスタンプ生成器９０３、ＭＰＥＧビデオパケット化器９０４、第１ＭＰＥＧオーディオ符号化器９０５、第２ＭＰＥＧオーディオ符号化器９０６、第３ＭＰＥＧオーディオ符号化器９０７、第４ＭＰＥＧオーディオ符号化器９０８、オーディオタイムスタンプ生成器９０９、第１ＭＰＥＧオーディオパケット化器９１０、第２ＭＰＥＧオーディオパケット化器９１１、第３ＭＰＥＧオーディオパケット化器９１２、第４ＭＰＥＧオーディオパケット化器９１３、基準クロック情報生成器９１４、記録媒体９１６ａ〜９１６ｅが図示されている。

図９に示す符号化装置の基本的な構成は、図５に示す符号化装置と同一である。ただし、図５に示す符号化装置は、ビデオパケット及び４つのチャンネルのオーディオパケットに係るストリームが１つの記録媒体５１６に記録されるように構成されているが、図９に示す符号化装置は、ビデオパケット及び４つのチャンネルのオーディオパケットに係るストリームのそれぞれが、それぞれに対応する記録媒体９１６ａ〜９１６ｅに記録されるように構成されている。なお、例えば、各ストリームが、ネットワーク上に存在しているデータベースサイトに対して伝送され、そのデータベースサイトに記録されてもよい。

また、本発明の第３の実施の形態における記録伝送の記録動作は、記録媒体９１６ａ〜９１６ｅのそれぞれに各ストリームを分散して記録するという点を除いて、図６に示すフローチャートに係る記録動作と同一である。

次に、図９に図示されている符号化装置で生成されたデータの再生に係る構成及び動作について説明する。図１０は、本発明の第３の実施の形態の再生装置を示すブロック図である。図１０には、記録媒体１００１ａ〜１００１ｅ、基準クロック情報読み取り器１００３、基準クロック発生器１００４、ＭＰＥＧビデオパケット分離化器１００５、ＭＰＥＧビデオ復号器１００６、ビデオタイムスタンプ読み取り器１００７、ＭＰＥＧオーディオパケット分離化器１００８、チャンネル選択器１０１２、ＭＰＥＧオーディオ復号器１０１３、オーディオタイムスタンプ読み取り器１０１４、同期再生制御器１０１５、表示器／音声出力器１０１６が図示されている。なお、各記録媒体１００１ａ〜１００１ｅは、記録媒体９１６ａ〜９１６ｅに対応しているが、上述のように、ネットワーク上に存在しているデータベースサイトと読み換えることも可能である。

図１０に示す再生装置の基本的な構成は、図７に示す再生装置と同一である。ただし、図７に示す再生装置は、ビデオパケット及び４つのチャンネルのオーディオパケットに係るストリームを１つの記録媒体７０１から再生するように構成されているが、図１０に示す再生装置は、ビデオパケット及び４つのチャンネルのオーディオパケットに係るストリームのそれぞれを、それぞれが記録されている各記録媒体１００１ａ〜１００１ｅから再生するように構成されている。

また、本発明の第３の実施の形態における再生動作は、記録媒体１００１ａ〜１００１ｅのそれぞれに分散して記録されている各ストリームを再生するという点を除いて、図８に示すフローチャートに係る記録動作と同一である。

以上、説明したように、本発明の第３の実施の形態によれば、マルチチャンネル情報を含むストリームを生成する際に、マルチチャンネル情報に係る複数の要素ストリームを構成するすべてのパケットを同一時間長（固定長）にするとともに、各要素ストリームに同一の基準時刻を割り当てて、各要素ストリームの同一時刻に再生されるデータに対して、それぞれ同一時刻を示すタイムスタンプ情報が記述されるので、特殊な処理を必要とせずに、マルチチャンネル情報の各要素ストリームのチャンネルチェンジをシームレスに実現することが可能となる。

なお、上述の本発明の第１〜第３の実施の形態において、マルチチャンネル情報は、ＭＰＥＧシステムのように、各コンテンツが多重化されて１本のストリームになっていてもよく、また、コンテンツごとに分離されており複数本のストリームに対して同時にアクセスを行うようにしてもよい。また、上述の本発明の第１〜第３の実施の形態では、マルチチャンネル情報としてマルチチャンネル音響データを一例として用いたが、マルチチャンネルのビデオデータに対しても同様の動作及び効果が得られる。

本発明は、特殊な処理を必要とせずに、マルチチャンネル情報の各要素ストリームのチャンネルチェンジをシームレスに実現できるようにするという効果を有しており、マルチチャンネル情報に係る技術や、マルチチャンネル情報のチャンネルチェンジに係る技術に適用される。また、本発明は、特にマルチチャンネル音響データに係る技術に適用される。

本発明の第１の実施の形態の符号化装置を示すブロック図である。 本発明の第１の実施の形態の符号化装置の記録伝送アルゴリズムを示すフローチャートである。 本発明の第１の実施の形態の再生装置を示すブロック図である。 本発明の第１の実施の形態の再生装置の受信再生アルゴリズムを示すフローチャートである。 本発明の第２の実施の形態の符号化装置を示すブロック図である。 本発明の第２の実施の形態の符号化装置の記録伝送アルゴリズムを示すフローチャートである。 本発明の第２の実施の形態の再生装置を示すブロック図である。 本発明の第２の実施の形態の再生装置の受信再生アルゴリズムを示すフローチャートである。 本発明の第３の実施の形態の符号化装置を示すブロック図である。 本発明の第３の実施の形態の再生装置を示すブロック図である。 本発明の第１〜第３の実施の形態において、マルチチャンネル情報に割り当てられる基準クロック情報を模式的に示す図である。 従来の技術に係るＭＰＥＧ１システムのデータ構造を示す図である。 従来の技術に係るＭＰＥＧシステムの再生器の一構成例を示すブロック図である。 従来の技術に係るＭＰＥＧ２のＰＳ、ＴＳ、ＰＥＳの関係を示す図である。 従来の技術におけるＭＰＥＧのオーディオパケットとＳＣＲとの関係を模式的に示す図である。

符号の説明

１０１、５０１、９０１ ＭＰＥＧビデオ符号化器
１０２、５０２、９０２ クロック発生器
１０３、５０３、９０３ ビデオタイムスタンプ生成器
１０４、５０４、９０４ ＭＰＥＧビデオパケット化器
１０５、５０５、９０５ 第１ＭＰＥＧオーディオ符号化器
１０６、５０６、９０６ 第２ＭＰＥＧオーディオ符号化器
１０７、５０７、９０７ 第３ＭＰＥＧオーディオ符号化器
１０８、５０８、９０８ 第４ＭＰＥＧオーディオ符号化器
１０９、５０９、９０９ オーディオタイムスタンプ生成器
１１０、５１０、９１０ 第１ＭＰＥＧオーディオパケット化器
１１１、５１１、９１１ 第２ＭＰＥＧオーディオパケット化器
１１２、５１２、９１２ 第３ＭＰＥＧオーディオパケット化器
１１３、５１３、９１３ 第４ＭＰＥＧオーディオパケット化器
１１４、５１４、９１４ 基準クロック情報生成器
１１５ 多重化器
１１６、３０１、５１６、７０１、９１６ａ〜９１６ｅ、１００１ａ〜１００１ｅ 記録媒体
３０２ 分離化器
３０３、７０３、１００３ 基準クロック情報読み取り器
３０４、７０４、１００４ 基準クロック発生器
３０５、７０５、１００５ ＭＰＥＧビデオパケット分離化器
３０６、７０６、１００６ ＭＰＥＧビデオ復号器
３０７、７０７、１００７ ビデオタイムスタンプ読み取り器
３０８ 第１ＭＰＥＧオーディオパケット分離化器
３０９ 第２ＭＰＥＧオーディオパケット分離化器
３１０ 第３ＭＰＥＧオーディオパケット分離化器
３１１ 第４ＭＰＥＧオーディオパケット分離化器
３１２、７１２、１０１２ チャンネル選択器
３１３、７１３、１０１３ ＭＰＥＧオーディオ復号器
３１４、７１４、１０１４ オーディオタイムスタンプ読み取り器
３１５、７１５、１０１５ 同期再生制御器
３１６、７１６、１０１６ 表示器／音声出力器
７０８、１００８ ＭＰＥＧオーディオパケット分離化器
１３０１ システムデコーダ
１３０２ オーディオデコーダ
１３０３ ビデオデコーダ
１３０４ オーディオデータメモリ
１３０５ ビデオデータメモリ
１３０６ クロックコントロール部
１３０７ 比較部

Claims (4)

1. 複数のデータを、同期再生を行うためのマルチチャンネル情報に加工するマルチチャンネル情報処理装置であって、
   前記複数のデータを取得するデータ取得手段と、
   前記データ取得手段で取得された前記複数のデータのそれぞれを同一の再生時間長のパケットに分割するとともに、前記複数のデータに共通する基準時刻に対して、前記複数のデータのそれぞれにおいて同一時刻に再生されるべき前記パケット内に、前記同一時刻のタイムスタンプ情報を記述して、各チャンネルに対応付けられた前記複数のデータのそれぞれが前記パケットにより構成された前記マルチチャンネル情報を生成するパケット化手段とを、
   有するマルチチャンネル情報処理装置。
2. 同期再生を行うべき複数のデータを含むマルチチャンネル情報の再生を行うマルチチャンネル情報再生装置であって、
   前記複数のデータのそれぞれが同一の再生時間長のパケットに分割されており、前記複数のデータに共通する基準時刻に対して、前記複数のデータのそれぞれにおいて同一時刻に再生されるべき前記パケット内に、前記同一時刻のタイムスタンプ情報が記述され、各チャンネルに対応付けられた前記複数のデータのそれぞれが前記パケットにより構成されたマルチチャンネル情報を取得するマルチチャンネル情報取得手段と、
   ユーザからの前記チャンネルの切り換え指示によって、前記マルチチャンネル情報取得手段で取得された前記マルチチャンネル情報の各チャンネルの情報の出力切り換えを行うチャンネル選択手段と、
   前記基準時刻に対する前記タイムスタンプ情報を参照して、前記チャンネル選択手段から出力された前記チャンネルの情報を再生する再生手段とを、
   有するマルチチャンネル情報再生装置。
3. 複数のデータを、同期再生を行うためのマルチチャンネル情報に加工するマルチチャンネル情報処理方法であって、
   前記複数のデータを取得するデータ取得ステップと、
   前記データ取得ステップで取得された前記複数のデータのそれぞれを同一の再生時間長のパケットに分割するとともに、前記複数のデータに共通する基準時刻に対して、前記複数のデータのそれぞれにおいて同一時刻に再生されるべき前記パケット内に、前記同一時刻のタイムスタンプ情報を記述して、各チャンネルに対応付けられた前記複数のデータのそれぞれが前記パケットにより構成された前記マルチチャンネル情報を生成するパケット化ステップとを、
   有するマルチチャンネル情報処理方法。
4. 同期再生を行うべき複数のデータを含むマルチチャンネル情報の再生を行うマルチチャンネル情報再生方法であって、
   前記複数のデータのそれぞれが同一の再生時間長のパケットに分割されており、前記複数のデータに共通する基準時刻に対して、前記複数のデータのそれぞれにおいて同一時刻に再生されるべき前記パケット内に、前記同一時刻のタイムスタンプ情報が記述され、各チャンネルに対応付けられた前記複数のデータのそれぞれが前記パケットにより構成されたマルチチャンネル情報を取得するマルチチャンネル情報取得ステップと、
   ユーザからの前記チャンネルの切り換え指示によって、前記マルチチャンネル情報取得ステップで取得された前記マルチチャンネル情報の各チャンネルの情報の出力切り換えを行うチャンネル選択ステップと、
   前記基準時刻に対する前記タイムスタンプ情報を参照して、前記チャンネル選択ステップで出力された前記チャンネルの情報を再生する再生ステップとを、
   有するマルチチャンネル情報再生方法。
   

Images