JP2003333551A - メディア多重装置およびこれを用いる符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 符号化装置を並列構成で使用する場合におい
ても、外部装置を不要とし、内部に搭載されたメディア
多重機能を使用して、ストリームを統合し出力可能なメ
ディア多重装置およびこれを用いる符号化装置を提供す
ること。 【解決手段】 各種メディア情報が符号化された複数の
入力ストリームに対して、シンタックス処理によって当
該入力ストリームのパケット化および多重化を行い、出
力パケットストリームを生成するメディア多重装置であ
って、他のメディア多重装置から出力されたパケットス
トリームを受け取る転送パケット入力ならびに他のメデ
ィア多重装置と入出力制御信号を送受信する制御信号伝
達手段３３と、所定の手順に従って、前記転送パケット
入力手段で受け取ったパケットの出力と、自身のシンタ
ックス処理で生成したパケットの出力とを切り替える出
力選択手段３６とを備えることを特徴とするメディア多
重装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像や音声その
他のメディア情報が符号化された複数の入力ストリーム
（時系列なデータ）、および分割符号化されたメディア
情報の入力ストリームをシンタックス処理（データの組
立，分解，挿入，削除，加工，並び替えなどの処理）
し、パケット化および多重化して出力するメディア多重
装置において、複数の符号化装置でシンタックス処理を
並列に行い、結果を統合して出力するに好適なメディア
多重装置およびこれを用いる符号化装置に関する。特
に、ＭＰＥＧ‐２システムパートの規定に準拠したトラ
ンスポートストリーム出力を実現するに好適なメディア
多重装置およびこれを用いる符号化装置に関する。

【０００２】

【従来の技術】動画像や音声などのディジタル信号を圧
縮符号化する技術として、例えばＭＰＥＧ（Ｍoving Ｐ
icture Ｅxperts Ｇroup ）方式が知られている。こう
した圧縮符号化を処理する装置は、しばしば大規模集積
回路（ＬＳＩ）化され、符号化機能を必要とする機器
（テレビ会議装置，ディジタルビデオ録画装置，ＤＶＤ
編集装置，ディジタル放送装置など）に組み込まれて広
く普及している。

【０００３】上述のような符号化装置は、図１４に示す
ように、動画像符号化を行う機能のみならず、音声の符
号化機能や、メディア多重機能（動画像，音声およびそ
の他のデータを多重化して１本のストリームを構成する
機能）までを含めて集積されることが多い。すなわち、
１つの符号化装置によって、動画像，音声，付加データ
（字幕情報など）を含めた１チャネルの符号化およびメ
ディア多重化を全て処理できる。ここでチャネルとは、
テレビジョン番組のように、動画像や音声およびその他
のデータから構成される一組のメディア情報を表わす概
念である。

【０００４】メディア多重を行うためのストリームフォ
ーマットとしては、ＩＳＯ／ＩＥＣ13818−1に規定され
るＭＰＥＧ‐２トランスポートストリーム（ＴＳ）が知
られており、ディジタル衛星放送やディジタル地上波放
送などに広く採用されている。ＭＰＥＧ‐２ ＴＳは図
１５のように、１８８バイト固定長のトランスポートス
トリームパケット（ＴＳパケット）の連続によって構成
される。

【０００５】典型的なＴＳパケットは４バイトのヘッダ
と１８４バイトのペイロードからなり、動画像，音声，
付加データのストリームはそれぞれ１８４バイト以下に
分割されてペイロードに収容される。ペイロードの内容
は、ヘッダに存在する１３ビットのＰＩＤ番号によって
識別される（例：ＰＩＤ＝0x11は動画像、ＰＩＤ＝0x12
は音声、ＰＩＤ＝0x13は付加データ）。このＴＳパケッ
トを時系列に並べ、１本のトランスポートストリームと
して送出することにより、メディア多重が実現される。

【０００６】図１６は、トランスポートストリームを出
力するメディア多重装置の構成法の一例を示している
（特許第３１２８０５８号「プロトコル処理装置」公報
参照）。圧縮符号化された動画像や音声および付加デー
タのストリームは、書き込み制御部を経てメモリに格納
される。メディア多重処理を低遅延に行うため、ここで
のメモリは高速かつ小容量のものが選択され、通常、各
種別ごとにＴＳパケット１〜３個分の容量を持ってい
る。

【０００７】ＣＰＵは、事前にプログラムされた手順に
従って、メモリ内のストリームに対してヘッダなどを付
加し、ＴＳパケットを作成する。また、ＣＰＵは、基準
時刻情報を格納したＰＣＲパケット、番組構成の情報を
格納したＰＡＴパケットやＰＭＴパケット、情報を何も
持たないヌルパケットなど、ストリーム制御のために挿
入されるＴＳパケットもメモリ内に作成する。

【０００８】一般的にトランスポートストリームの出力
は一定のビットレートで行われる。ここでは、出力ビッ
トレートは外部から供給される読み出しクロックによっ
て決定される。１秒間にｎビット、すなわちｎ（bps）
の速度でトランスポートストリームを出力する場合に
は、１秒間にｎ／８（回）の読み出しクロックを外部か
ら与える。この読み出しクロックに同期して、１クロッ
クごとに１バイト（＝８ビット）のストリームが外部に
出力される。

【０００９】このとき、１８８バイトごとに、次に出力
するべきＴＳパケットの種別を決定しなければならな
い。出力選択器はこのタイミング（選択要求トリガ）に
従って、次に出力すべきＴＳパケットの種別を選択す
る。動画像や音声，付加データについては、ＴＳパケッ
トの作成が完了したものから順次出力される。出力候補
が複数ある場合には、ビットレートが低く、リアルタイ
ム条件の厳しいパケット種別が優先的に選択される
（例：音声パケット＞付加データパケット＞動画像パケ
ット）。

【００１０】ＰＣＲパケットやＰＡＴ，ＰＭＴパケット
は、一定時間ごとに出力対象とされる。ヌルパケット
は、他のどのＴＳパケットも出力対象とならない場合の
み選択される。このようにして、メディア多重されたト
ランスポートストリームが一定のビットレートで出力さ
れる。

【００１１】さて、複数チャネルの番組を多重化したス
トリームを生成するために、これまで述べてきたような
符号化装置を複数使用して、並列に符号化を行う場合が
ある。図１７に、複数チャネルを符号化する装置の構成
例を示す。この場合、各符号化装置から出力されるメデ
ィア多重ストリームを、１本の出力ストリームに再多重
する必要があるため、符号化装置の外部にメディア再多
重装置を設ける必要がある。

【００１２】ＭＰＥＧ‐２トランスポートストリームの
場合、メディア再多重装置は、各符号化装置から受け取
ったＴＳパケットからヌルパケットを削除し、混合して
時系列に再配置する。ＰＩＤ番号の重複があった場合は
当該ＰＩＤ番号を書き換える。そして、出力レートを一
定とするためにヌルパケットを挿入しながら、１本のト
ランスポートストリームとして出力する。

【００１３】このとき、番組の構成情報であるＰＡＴと
ＰＭＴは図１８に示すように、ＰＡＴが全チャネルのＰ
ＭＴのＰＩＤ番号を格納し、ＰＭＴが各チャネルを構成
する動画像や音声などのＴＳパケットのＰＩＤ番号を格
納することによって、複数チャネルのＰＩＤ番号が階層
的に示される。

【００１４】符号化装置を複数使用するもう一つの例と
して、高品位テレビ（ＨＤＴＶ）など、符号化する画面
サイズが大きく、１個の符号化装置では処理速度が不足
する場合が挙げられる。例えば、図１９のように、大き
な動画像を水平方向に分割して複数の符号化装置に入力
し、並列に符号化する。

【００１５】この場合、図２０の例のように、各符号化
装置から並列に出力される分割動画像ストリームを結合
し、時系列で連続した動画像ストリームに再構成する装
置を外部に設ける（特開２０００‐１０２００３号「動
画像符号化装置および動画像符号化方法」公報参照）。
具体的には、符号化した画像１枚ごとに、分割動画像ス
トリームを１〜ｎの順に繋ぎ合わせる。さらに、音声や
その他のメディア情報は、分割動画像ストリームの結合
後に多重化する必要があるため、メディア多重装置も外
部に新しく設置する。

【００１６】

【発明が解決しようとする課題】符号化装置は図１４の
ように、動画像符号化機能のみならず、付随する音声の
符号化機能、更にメディア多重機能も集積されているこ
とが多い。すなわち、１チャネルを構成する動画像，音
声，その他データの符号化およびメディア多重を１つの
符号化装置ですべて処理できる。しかしながら、図１７
に示すように、複数の符号化装置を用いて複数チャネル
を並列に符号化する場合は、メディア再多重装置を別途
外部に用意しなければならない。

【００１７】また、図２０に示すように、画面分割によ
る複数の符号化装置の並列処理構成をとった場合、並列
に生成された動画像ストリームを再構成するための装置
を外部に配置する必要がある。さらに、音声の符号化お
よびメディア多重は、たとえ符号化装置内部にその機能
があったとしてそれを使用できず、外部に同等の装置を
別途用意する必要がある。

【００１８】このように、符号化装置を並列構成で使用
する場合においては、たとえ内部に同等機能が存在して
いても、外部装置を別途用意せざるを得ないという問題
があった。また、符号化装置は、並列化によって高い出
力ビットレートが得られる反面、メディア多重およびメ
ディア再多重は単体の装置に処理が集中し、十分なスル
ープットが得られないという問題があった。

【００１９】本発明は以上のような状況に鑑みてなされ
たものであり、符号化装置を並列構成で使用する場合に
おいても、外部装置を不要とし、内部に搭載されたメデ
ィア多重機能を有効に使用して、ストリームを統合し出
力可能なメディア多重装置およびこれを用いる符号化装
置を提供することを目的とするものである。本発明の他
の目的は、メディア多重装置およびこれを用いる符号化
装置の並列処理を可能にすることで、出力ビットレート
の上限を引き上げようとするものである。

【００２０】より具体的には、本発明は、前述のよう
に、一般的な複数チャネルの並列符号化処理を行う場
合、もしくは、画面分割による複数の符号化装置を用い
ての並列符号化処理を行う場合に共通に用い得る、ＬＳ
Ｉ化し易いメディア多重装置およびこれを用いる符号化
装置を提供することを目的とするものである。なお、前
記メディア多重装置およびこれを用いる符号化装置にお
ける出力選択処理方法は、極めてユニークなものであ
り、この処理方法並びにこの方法をコンピュータに実行
させるためのプログラムを提供することも、本発明の目
的に含まれるものである。

【００２１】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係るメディア多重装置は、動画像，音声お
よびその他のメディア情報が符号化された複数の入力ス
トリームに対して、シンタックス処理によって当該入力
ストリームのパケット化および多重化を行い、出力パケ
ットストリームを生成するメディア多重装置であって、
他のメディア多重装置から出力されたパケットストリー
ムを受け取る転送パケット入力手段と、他のメディア多
重装置と入出力制御信号を送受信する制御信号伝達手段
と、所定の手順に従って、前記転送パケット入力手段で
受け取ったパケットの出力と、自身のシンタックス処理
で生成したパケットの出力とを切り替える出力選択手段
とを備えることを特徴とする。

【００２２】また、本発明に係るメディア多重装置は、
それぞれが、他のメディア多重装置へ中間出力を転送す
るモード（スレーブモード）、および最終的な出力スト
リームを生成するモード（マスターモード）の２つの動
作モードを持つことを特徴とする。さらに、本発明に係
るメディア多重装置は、前記スレーブモードのメディア
多重装置の前記出力選択手段は、前記転送パケット入力
手段から受け取ったパケットに、自身のシンタックス処
理によって生成したパケットを付加して随時出力するこ
とを特徴とする。

【００２３】一方、本発明に係る符号化装置は、前記メ
ディア多重装置を複数直列に接続して、これらの複数の
メディア多重装置でシンタックス処理を並列に実施し、
処理結果を出力ストリームに統合しながら出力すること
を特徴とする。ここで、前記複数のメディア多重装置の
１つが前記マスターモードで動作し、それ以外のメディ
ア多重装置が前記スレーブモードで動作し、このスレー
ブモードのメディア多重装置から出力されたパケット
は、他のスレーブモードのメディア多重装置を経由して
前記マスターモードのメディア多重装置へ順次転送され
ることを特徴とする。

【００２４】また、本発明に係る符号化装置は、前記ス
レーブモードのメディア多重装置の前記出力選択手段
は、前記転送パケット入力手段から受け取ったパケット
に、自身のシンタックス処理によって生成したパケット
を付加して随時出力することを特徴とする。

【００２５】さらに、本発明に係る符号化装置は、分割
符号化されたメディア情報の入力ストリームが複数のメ
ディア多重装置に入力され、並列にシンタックス処理を
行う場合において、スレーブモードのメディア多重装置
の前記出力選択手段は、通常は転送パケット入力手段で
受け取ったパケットを随時出力し、前記制御信号伝達手
段により、他のメディア多重装置から出力権委譲信号を
受信したら、自身のシンタックス処理で生成したパケッ
トの出力を開始し、並列符号化の分割点までパケット出
力を終了したら、前記制御信号伝達手段により、他のメ
ディア多重装置へ出力権委譲信号を送信し、通常の状態
へ戻ることを特徴とする。

【００２６】また、本発明に係る符号化装置において
は、前記マスターモードのメディア多重装置は、各メデ
ィア多重装置で並列に生成されたパケットのＩＤ番号ま
たはシーケンス番号（通し番号）を付け直して出力する
ことを特徴とする。またさらに、本発明に係る符号化装
置においては、前記各メディア多重装置は、シンタック
ス処理によってＭＰＥＧ‐２準拠のトランスポートスト
リームパケットを生成し、前記マスターモードのメディ
ア多重装置は、出力ストリームとしてトランスポートス
トリームを生成することを特徴とする。

【００２７】なお、前述のように、本発明に係るメディ
ア多重装置およびこれを用いる符号化装置における出力
選択処理方法は、極めてユニークなものであり、この処
理方法並びにこの方法をコンピュータに実行させるため
のプログラム、さらには、このプログラムを記録したコ
ンピュータにより読み取り可能な記録媒体も、本発明の
権利範囲に含まれるものである。

【００２８】本発明によれば、複数チャネルの符号化や
大画面の分割符号化など、符号化装置を並列構成で使用
する場合においても、外部装置を不要とし、内部に搭載
されたメディア多重機能を有効に使用してストリームを
統合し出力することができる。さらには、メディア多重
装置の並列処理を可能にすることで、出力ビットレート
の上限を引き上げることができる。

【００２９】

【発明の実施の形態】以下、本発明の実施の形態を、図
面に示す好適実施例に基づいて、詳細に説明する。

【００３０】〔実施例１〕図１は、本発明の一実施形態
に係るメディア多重装置を示すブロック図である。以
下、図１６に示した、従来のメディア多重装置と比較し
て、その差異の概要を説明する。まず、隣接装置からの
転送パケットを受信するために、転送制御３３と、隣接
装置との接続端子３３１〜３３３が設けられる。隣接装
置から受け取った転送パケット３３１は、転送パケット
バッファ３４１に蓄積される。転送パケットバッファ３
４１が満杯のときには、それ以上のパケット転送を抑制
するためにバッファフル信号３３３が出力される。な
お、出力権委譲信号３３２は本実施例では使用しない。

【００３１】書き込み制御３２に入力されるストリーム
は、図１４に示したものと同様、符号化装置に内蔵の符
号化回路から出力される動画像，音声ストリーム並びに
付加データストリームである。なお、１ピクチャ終了信
号３２３は本実施例で使用しない。出力選択器３６は、
選択要求トリガ３５４の入力に対応して、次に出力すべ
きパケットの種別を選択し、結果を選択信号３６９とし
て、読み出し制御３８に伝達する。この例では、選択要
求トリガ３５４は読み出しクロック３５２を分周器３５
３で分周して得ている。

【００３２】パケット長が１８８バイトであるＭＰＥＧ
‐２トランスポートストリームの場合、分周器３５３は
読み出しクロック３５２を１／１８８で分周することに
より、１８８バイト単位で出力パケット種別の選択を要
求できる。出力選択器３６には、従来からの作成完了信
号３１１に追加して、１ピクチャ終了信号３２３、隣接
装置からのバッファフル信号３５５，転送パケットバッ
ファ３４１にパケットが存在することを示す転送要求３
４２，自出力レート発生器３５から出力される自出力パ
ルス３５１などが入力される。

【００３３】自出力レート発生器３５は、従来のメディ
ア多重回路（図１６）における選択要求トリガに相当す
るものであり、自らがパケット化を担当する動画像，音
声ストリームならびに付加データストリームの出力レー
トを決定する。例えば、自らが担当するTSパケットの出
力レートを１５.０４Mbpsに設定する場合には、１秒間
に１５.０４×１０⁶／１８８／８＝１００００個のＴＳ
パケットを出力すればよいから、自出力パルス３５１は
１／１０００秒単位に設定される。なお、自出力パルス
３５１はメディア多重装置の外部から供給されてもよ
い。

【００３４】出力選択器３６はこれらの信号を基に、出
力すべきパケット種別を判定して選択信号３６９を出力
するが、その判定方法については後述する。出力権委譲
信号３６７は本実施例で使用しない。読み出し制御３８
は、選択信号３６９に従って、メモリ３４および転送パ
ケットバッファ３４１からパケットを読み出し、読み出
しクロック３５２に従ってパケット出力３７１する。通
番付替器３７は本実施例で使用しない。

【００３５】以下、複数チャネルの番組を多重化したス
トリームを生成する場合について、複数のメディア多重
装置が生成したパケットを統合しながら出力する手法に
ついて述べる。複数チャネルの番組を多重化したストリ
ームを生成する際、各チャネルのシンタックス処理を担
当するメディア多重装置は、図２に示すように接続され
る。すなわち、スレーブモードのメディア多重装置１１
〜１ｎ−１が直列に接続され、マスターモードのメディ
ア多重装置が最下部に配置される。

【００３６】スレーブモードのメディア多重装置１１〜
１ｎ−１は中間出力である転送パケットを、隣接する下
位のメディア多重装置へ伝達し、マスターモードのメデ
ィア多重装置２が最終的なメディア多重ストリームを出
力する。このとき、各メディア多重装置が出力するパケ
ットのＰＩＤ番号は、互いに重複しないよう事前に調整
される。ＭＰＥＧ‐２トランスポートストリームの場
合、番組構成の情報であるＰＡＴやＰＭＴは、マスター
モードのメディア多重装置２が一括して作成するか、Ｐ
ＭＴのみ各メディア多重装置が作成してもよい。また、
基準時刻情報であるＰＣＲを含むパケットは転送による
タイミングの狂いを避けるため、マスターモードのメデ
ィア多重装置2が生成するＰＣＲを全チャネル共通で使
用する。

【００３７】中間出力の転送パケットを統合しつつ、最
終的なメディア多重ストリームを生成する本発明の機能
は、主に出力選択器３６の動作による。出力選択器３６
の構成を図３に示す。出力選択器３６は、選択要求トリ
ガ３５４に応じて、次に出力すべきパケット種別を選択
信号３６９として出力するが、本実施例において選択の
ため使用される信号端出力パルス３５１，転送要求３４
２，作成完了信号３１１，バッファフル信号３５５の4
つである。

【００３８】自出力カウンタ３６１は、初期状態でゼロ
であり、自出力パルス３５１が入力されるごとに１づつ
カウントアップされる。転送要求３４２は、出力可能な
転送パケットが転送パケットバッファ３４１に存在する
か否かを示す。作成完了信号テーブル３６４は、作成完
了信号３１１に基づいて、各パケット種別ごとに出力可
能なパケットが存在するか否かを示す。

【００３９】出力選択３６２に含まれる次出力優先度選
択３６３は、図１６に示す従来のメディア多重装置の出
力選択器と同様、作成完了信号テーブル３６４を参照し
て、自らがパケット化を担当したパケットの出力優先度
順を判定するものである。出力選択３６２が出力パケッ
ト種別を判定する手順は、スレーブモードとマスターモ
ードによって異なる。以下に、それぞれの動作を詳述す
る。

【００４０】図４は、スレーブモードにおける出力選択
３２の動作をフローチャートで示したものである。前述
のように、選択要求トリガ３５４の入力に応じて出力選
択３６２は動作を開始する（Ｓ１）。まず、バッファフ
ル信号３５５がアクティブの場合は、転送咲きのメディ
ア多重装置の転送パケットバッファ３４１が満杯である
ことを意味するため、これが解消するまで待機する（Ｓ
２）。

【００４１】続いて、自出力カウンタ３６１が１以上の
値であり、かつ作成完了信号テーブル３６４に出力可能
なパケットが存在するか否かを判定する（Ｓ３）。真の
場合、自出力優先度選択３６３によって、自らがパケッ
ト化を担当したパケットの出力優先度順を判定し、判定
結果を選択信号３６９として出力する（Ｓ４）。そし
て、自出力カウンタを−1する（Ｓ５）。Ｓ３が偽の場
合には、転送パケットの出力処理に移行する。転送要求
３４２がアクティブの場合は（Ｓ６）、転送パケットの
出力を選択し、選択信号３６９として出力する（Ｓ
７）。偽の場合はＳ３の評価に戻る。

【００４２】以上の動作により、スレーブモードのメデ
ィア多重装置は受信した転送パケットを随時出力すると
ともに、自らがパケット化を担当したパケットを、自出
力レート発生器３５が発生する一定の出力レートで出力
することになる。選択要求トリガ３５４の入力に対し
て、送出するパケットがない場合には、送出するパケッ
トが準備されるまで待機することになり、ヌルパケット
は送出しない。

【００４３】図５は、マスターモードにおける出力選択
３２の動作をフローチャートで示したものである。マス
ターモードのメディア多重装置は、最終出力である一定
レートのメディア多重ストリームを生成するため、バッ
ファフル信号による待ち合わせ（図４のＳ２）は必要な
い。また、出力可能なパケットが何もない場合（Ｓ１５
が偽の場合）にはヌルパケットを送出し（Ｓ１７）、一
定レートのストリーム出力を行う。

【００４４】以上のように、本実施例によれば、各メデ
ィア多重装置によって生成されたパケットが、転送の過
程で順次混合され、最終的に一定レートのメディア多重
ストリームとして出力される。よって、図１８に示すよ
うなメディア再多重装置を外部に用意する必要なく、複
数チャネルの多重化出力が可能である。また、複数チャ
ネルに限定することなく、例えばステレオ画像の符号化
によって生成された２本の動画像ストリームを統合して
出力する場合などにおいても、同様の方法が適用できる
ことは容易に類推可能である。

【００４５】〔実施例２〕本実施例では、画面分割によ
って並列に符号化された動画像ストリームを統合して出
力する場合について、複数のメディア多重装置が生成し
たパケットを統合しながら出力する手法について述べ
る。メディア多重回路の構成は図１と同様であるが、本
実施例に特有の信号について説明する。

【００４６】画像分割によって、各メディア多重装置に
は、水平方向に分割された原画像が１ピクチャずつ符号
化された動画像ストリームが入力される。このとき、動
画像ストリームにおいて、各分割画像の終了点を示す１
ピクチャ終了信号３２３も併せて入力される。１ピクチ
ャ終了信号３２３は、図６に示すように、分割画像を符
号化する符号化装置から、動画像ストリームと対になっ
て供給されるものとする。

【００４７】この信号を利用して、パケット化された動
画像ストリームを順次つなぎ合わせるために、出力権委
譲信号３３２，３６７が隣接メディア多重装置で送受さ
れる。通番付替器３７はマスターモードのみ使用するた
め、後述する。

【００４８】メディア多重装置間の接続を、図７に示
す。実施例１と同様、メディア多重装置が直列に接続さ
れ、最終的なストリームを担当するマスターモードのメ
ディア多重装置が最下部に配置される。スレーブモード
のメディア多重装置は動画像ストリームのみをシンタッ
クス処理する。このとき、各メディア多重装置が出力す
る動画像パケットのＰＩＤ番号が一致するよう事前に調
整される。他の音声ストリームや付加データストリー
ム、およびＰＡＴやＰＭＴ，ＰＣＲなどはすべてマスタ
ーモードのメディア多重装置が担当する。

【００４９】本実施例における出力選択器３６の構成を
図８に示す。出力選択器３６は、選択要求トリガ３５４
に呼応して、次に出力すべきパケット種別を選択信号３
６９として出力するが、選択のために本実施例において
使用される信号は転送要求３４２，出力権委譲信号３３
２，１ピクチャ終了信号３２３，作成完了信号３１１，
バッファフル信号３５５の５つである。また、隣接する
メディア多重装置へ出力権委譲信号３６７を出力する。

【００５０】出力選択３６２が出力パケット種別を判定
する手順は、スレーブモードとマスターモードによって
異なる。以下に、それぞれの動作を詳述する。

【００５１】図９は、スレーブモードにおける出力選択
３２の動作をフローチャートで示したものである。初期
状態において出力選択３２は、受信した転送パケットを
随時出力するパケット転送状態Ｍ１にあり、出力権委譲
信号３３２を受信するまでこの状態に留まる。

【００５２】転送パケットバッファ３４１に転送パケッ
トが到着し、転送要求３４２がアクティブになると（Ｓ
２１）、選択要求トリガの入力に従い（Ｓ２２）、バッ
ファフル信号がアクティブでないことを確認して（Ｓ２
３）、転送パケットの出力を選択信号３６９として出力
する（Ｓ２４）。

【００５３】隣接するメディア多重装置から出力権委譲
信号３３２を受信すると（Ｓ２０）、自パケット転送状
態Ｍ２への移行を開始する。まず、転送パケットバッフ
ァ３４１に転送パケットが残っている間は（Ｓ２６）、
パケット転送状態Ｍ１に留まって同様の動作を続け（Ｓ
２７〜Ｓ２９）、転送パケットをすべて出力し終った
ら、自パケット転送状態Ｍ２へ移行する。次パケット出
力状態Ｍ２では、自ら生成する動画像パケットの出力
を、１ピクチャ終了信号３２３が入力されるまで継続す
る。パケット化処理を完了した動画像パケットが存在す
ることを確認し（Ｓ３１）、選択要求トリガの入力に従
い（Ｓ２２）、バッファフル信号がアクティブでないこ
とを確認して（Ｓ２３）、動画像パケットの出力を選択
信号３６９として出力する（Ｓ２４）。

【００５４】１枚の分割画像の終了点を示す１ピクチャ
終了信号３２３が入力されると（Ｓ３０）、パケット転
送状態Ｍ１への以降を開始する。まず、１ピクチャ終了
点までの動画像ストリームをすべてシンタックス処理し
て出力し終わるまで（Ｓ３６）、同様の動作を続ける
（Ｓ３７〜Ｓ３９）。そして、出力権委譲信号３６７を
隣接するメディア多重装置へ出力し（Ｓ４０）、パケッ
ト転送状態Ｍ１へ戻る。

【００５５】さて、マスターモードのメディア多重装置
は図７で説明したように、分割動画像ストリームだけで
はなく、音声や付加データストリーム、およびその他の
すべてのパケットの生成を担当し、優先度選択を行って
出力する。その際、動画像パケットについては、スレー
ブチップから転送されたパケットと自ら生成した動画像
パケットを切り替えつつ出力しなければならない。

【００５６】従って、マスターモードの出力選択器３６
は、パケット転送状態のとき、図１０に示すように、動
画像パケットの優先度選択を転送パケットに差し替える
機能を持つ。具体的には、自出力優先度選択３６３は、
転送要求３４２がアクティブであることを、作成完了テ
ーブル３６４において動画像パケットが作成完了してい
るものと解釈して、優先度選択を行う。その結果、動画
像パケットの出力が選択された場合には、動画像パケッ
トではなく転送パケットの出力を、選択信号３６９とし
て指示する。

【００５７】図１１は、マスターモードにおける出力選
択３２の動作をフローチャートで示したものである。パ
ケット転送状態Ｍ３においては、前述のように、動画像
パケットの優先度選択は転送パケットに差し替えられて
いる。選択要求トリガ３５４の入力に対して（Ｓ５
１）、作成が完了したパケットがあれば（Ｓ５２）、優
先度に基づいて出力パケット種別を選択し、選択信号３
６９として出力する（Ｓ５３）。

【００５８】作成の完了したパケットがない場合はヌル
パケットを選択する（Ｓ５４）。出力権委譲信号３３２
を受信すると（Ｓ５０）、転送パケットバッファ３４１
に残っている転送パケットをすべて出力し終わるまで同
様の動作を続け（Ｓ５６〜Ｓ５８）、その後、自パケッ
ト出力状態Ｍ４に移行する。このとき、出力権委譲信号
３６７を最上位のスレーブモードのメディア多重装置
（図７の１１）に向けて送信する（Ｓ５９）。

【００５９】自パケット出力状態M4では、動画像パケッ
トを含め、自ら生成したパケットの選択と出力を行う
（Ｓ６１〜Ｓ６４）。そして、1ピクチャ終了信号を受
け取ったら（Ｓ６０）、終了点までの動画像ストリーム
をシンタックス処理してすべて出力し終わるまで（Ｓ３
６）同様の動作を継続し、その後、パケット転送状態Ｍ
３に戻る。ここで、出力権委譲信号３６７の出力（Ｓ５
９）がスレーブモードの場合（図９のＳ４０）と比較し
て早いのは、最上位のスレーブモードのメディア多重装
置１１から動画像パケットが転送されてくるまでの遅延
を考慮しているためである。

【００６０】結果、マスターモードのメディア多重装置
２がまだ自パケット出力状態Ｍ４にある間に、最上位の
スレーブモードのメディア多重装置１１が自パケット出
力状態Ｍ２に移行して動画像パケットの出力を開始し、
順次転送されたパケットがマスターモードのメディア多
重装置２の転送パケットバッファ３４１に入ることにな
るが、バッファが一杯になればバッファフル信号３３３
が上位のメディア多重装置へ順次伝達され、最上位のス
レーブモードのメディア多重装置１１の動画像パケット
出力は停止させられる。

【００６１】その後、マスターモードのメディア多重装
置２がパケット転送状態Ｍ３に移行した際には、転送パ
ケットがすでに転送パケットバッファ３４１に入ってい
るため、遅滞なく転送パケットを優先度選択（Ｓ５３）
に加えることができ、結果として動画像パケットが途切
れることなく出力される。

【００６２】最後に、通番付替器３７は、各メディア多
重装置で並列に生成されたパケットに対して、時系列に
通し番号を付け直す。ＭＰＥＧ‐２トランスポートスト
リームの場合、ＴＳパケットには４ビットの連続性カウ
ンタフィールドがあり、各パケット種別ごとに遠し番号
を付与する規定になっている。しかし、本実施例の動画
像パケットのように複数のメディア多重装置で並列にパ
ケットを生成すると、この通し番号が連続しないため、
通番付替器３７が通し番号を付与する。

【００６３】通番付替器３７は、例えば図１２（ａ）の
ような構成をとる。出力されるすべてのパケットは一旦
バッファ３７２に格納される。ＰＩＤチェック３７３
は、図１２（ｂ）に示すように、ＴＳパケットのＰＩＤ
番号を照合し（Ｓ８０）、並列処理された動画像パケッ
トである場合には通し番号の付け直しを行う。

【００６４】ＭＰＥＧ‐２トランスポートストリームの
規定では、ペイロードの存在するＴＳパケットの場合の
み通し番号をカウントアップするので、ペイロードチェ
ック３７４によってペイロードの存在が確認されれば
（Ｓ８１）カウンタ３７５のカウントアップを行う（Ｓ
８２）。そして、カウンタ３７５の値を、ＴＳパケット
の連続性カウンタフィールドに書き入れる（Ｓ８３）。

【００６５】以上のように、本実施例によれば、画像分
割により並列に符号化された動画像ストリームを、並列
のままシンタックス処理して動画像パケットを生成し、
その後、出力権の委譲によって動画像パケットを順次結
合しながら出力していくことにより、最終的なメディア
多重ストリームを形成することができる。これにより、
図２０に示すような外部のストリーム再構成装置やメデ
ィア多重装置を必要とせず、各符号化装置に内蔵のメデ
ィア多重装置のみによって並列符号化出力が可能とな
る。

【００６６】さらに、図１のメモリ３４は前述のよう
に、数パケット分の容量しか持たないが、シンタックス
処理によって完成した動画像パケットを１ピクチャ分蓄
積するバッファメモリを別途設置することもできる。こ
の場合、図９および図１１のフローチャートにおけるパ
ケット転送状態Ｍ１，Ｍ３においても、ＣＰＵ３１は動
画像パケットの生成を継続し、バッファメモリに蓄積し
ておくことができる。これにより、個々のメディア多重
装置では対応できない高ビットレートの動画像ストリー
ムをシンタックス処理することが可能である。

【００６７】〔実施例３〕図１３は、本発明の第３の実
施例によるメディア多重回路３の一部を示した図であ
る。実施例１および２との差異は、転送パケットバッフ
ァ３４１が、メモリ３４内に設置されている点である。
これにより、ＣＰＵ３１は、転送パケット３３１に対し
てもシンタックス処理を行うことが可能となる。

【００６８】そして、これにより、ＣＰＵ３１は、例え
ば転送パケット３３１中のＰＭＴパケットを解釈し、も
し自身が生成するパケットと重複するＰＩＤ番号が存在
した場合には、転送パケットのＰＩＤを書き換えること
ができる。よって、実施例１においてパケットのＰＩＤ
番号が互いに重複しないよう事前に調整する必要がな
い。また、通し番号の付け替え処理をＣＰＵ３１で行う
ことで、実施例２において通番付替器３７を必要とせず
に同様の機能が実現できる。

【００６９】なお、転送パケット３３１のビットレート
が高く、ＣＰＵ３１単体では転送パケットのシンタック
ス処理に無理がある場合には、転送パケットバッファ３
４１をメモリ３４から分離し、転送パケットに専用のプ
ロトコル処理を実施する回路を設けることもできる。

【００７０】なお、上記各実施例はいずれも本発明の一
例を示すものであり、本発明はこれらに限定されるべき
ものではなく、本発明の要旨を逸脱しない範囲内で、適
宜の変更・改良を行ってもよいことはいうまでもない。

【００７１】また、前述のように、本発明に係るメディ
ア多重装置およびこれを用いる符号化装置における出力
選択処理方法は、極めてユニークなものであり、この処
理方法並びにこの方法をコンピュータに実行させるため
のプログラム、さらには、このプログラムを記録したコ
ンピュータにより読み取り可能な記録媒体も、本発明の
権利範囲に含まれるものである。

【００７２】

【発明の効果】以上、詳細に説明したように、本発明の
メディア多重装置によれば、複数チャネルの符号化や大
画面の分割符号化など、符号化装置を並列構成で使用す
る場合においても、外部装置を不要とし、内部に搭載さ
れたメディア多重機能を有効に使用してストリームを統
合し出力することが可能になる。さらには、メディア多
重装置の並列処理を可能にすることで、出力ビットレー
トの上限を引き上げることも可能になる。

【図面の簡単な説明】

【図１】本発明の実施形態によるメディア多重装置を示
す図である。

【図２】本発明の第１の実施形態によるメディア多重装
置の接続を示す図である。

【図３】本発明の第１の実施形態による出力選択器３６
の構成を示す図である。

【図４】本発明の第１の実施形態によるスレーブモード
のメディア多重装置における、出力選択３６２の動作を
示すフローチャートである。

【図５】本発明の第１の実施形態によるマスターモード
のメディア多重装置における、出力選択３６２の動作を
示すフローチャートである。

【図６】本発明の第２の実施形態において、１ピクチャ
終了信号３２３の概念を示す図である。

【図７】本発明の第2の実施形態によるメディア多重装
置の接続を示す図である。

【図８】本発明の第2の実施形態による出力選択器３６
の構成を示す図である。

【図９】本発明の第2の実施形態によるスレーブモード
のメディア多重装置における、出力選択３６２の動作を
示すフローチャートである。

【図１０】本発明の第2の実施形態による出力選択器３
６において、動画像パケットの優先度選択を転送パケッ
トに差し替えた状態を示す図である。

【図１１】本発明の第2の実施形態によるマスターモー
ドのメディア多重装置における、出力選択３６２の動作
を示すフローチャートである。

【図１２】（ａ）は本発明の第2の実施形態によるスレ
ーブモードのメディア多重装置における通番付替器３７
の構成を示す図、（ｂ）は同通番付替器３７の動作を示
すフローチャートである。

【図１３】本発明の第3の実施形態によるメディア多重
装置の一部を示す図である。

【図１４】従来の符号化装置において、各メディアの符
号化機能とメディア多重機能が集積された状態を示す図
である。

【図１５】ＭＰＥＧ‐２トランスポートストリームパケ
ットにおけるＰＩＤの配置を説明する図である。

【図１６】従来のメディア多重装置の構成例を示す図で
ある。

【図１７】従来の構成による、複数チャネルの並列符号
化を示す図である。

【図１８】従来の複数チャネルの並列符号化における、
ＰＩＤ情報の階層構成を示す図である。

【図１９】大画面の画像分割による並列符号化を説明す
る図である。

【図２０】従来の構成による大画面の並列符号化装置を
示す図である。

【符号の説明】

１１〜１ｎ−１ スレーブモード１〜スレーブモードｎ
−１（のメディア多重装置） ２ マスターモード（のメディア多重装置） ３ メディア多重装置 ３１ ＣＰＵ ３１１ 作成完了信号 ３２ 書き込み制御 ３２２ 動画像ストリーム ３２３ １ピクチャ終了信号 ３３ 転送制御 ３３１ 転送パケット ３３２ 出力権委譲信号 ３３３ バッファフル信号 ３４ メモリ ３４１ 転送パケットバッファ ３４２ 転送要求 ３５ 自出力レート発生器 ３５１ 自出力パルス ３５２ 読み出しクロック ３５３ 分周器 ３５４ 選択要求トリガ ３６ 出力選択器 ３６１ 自出力カウンタ ３６２ 出力選択 ３６３ 自出力優先度選択 ３６４ 作成完了信号テーブル ３６７ 出力権委譲信号 ３６９ 選択信号 ３７ 通番付替器 ３７１ パケット出力 ３７２ バッファ ３７３ ＰＩＤチェック ３７４ ペイロードチェック ３７５ カウンタ（4ビット） ３８ 読み出し制御

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK06 MA00 RB01 RB06 RB10 RB16 RC04 RC05 RC09 RC32 RC33 RC34 SS02 SS03 SS05 UA02 UA32 5C063 AB03 AB07 AC01 AC05 AC10 CA11 CA23

Claims (9)

【特許請求の範囲】
1. 【請求項１】 動画像，音声およびその他のメディア情
   報が符号化された複数の入力ストリームに対して、シン
   タックス処理によって当該入力ストリームのパケット化
   および多重化を行い、出力パケットストリームを生成す
   るメディア多重装置であって、 他のメディア多重装置から出力されたパケットストリー
   ムを受け取る転送パケット入力手段と、 他のメディア多重装置と入出力制御信号を送受信する制
   御信号伝達手段と、 所定の手順に従って、前記転送パケット入力手段で受け
   取ったパケットの出力と、自身のシンタックス処理で生
   成したパケットの出力とを切り替える出力選択手段とを
   備えることを特徴とするメディア多重装置。
2. 【請求項２】 前記メディア多重装置は、それぞれが他
   のメディア多重装置へ中間出力を転送するモード（スレ
   ーブモード）、および最終的な出力ストリームを生成す
   るモード（マスターモード）の２つの動作モードを持つ
   ことを特徴とする、請求項１に記載のメディア多重装
   置。
3. 【請求項３】 前記スレーブモードのメディア多重装置
   の前記出力選択手段は、前記転送パケット入力手段から
   受け取ったパケットに、自身のシンタックス処理によっ
   て生成したパケットを付加して随時出力することを特徴
   とする、請求項１または２に記載のメディア多重装置。
4. 【請求項４】 請求項１〜３のいずれか１項に記載のメ
   ディア多重装置を複数直列に接続して、これらの複数の
   メディア多重装置でシンタックス処理を並列に実施し、
   処理結果を出力ストリームに統合しながら出力すること
   を特徴とする符号化装置。
5. 【請求項５】 前記複数のメディア多重装置の１つが前
   記マスターモードで動作し、それ以外のメディア多重装
   置が前記スレーブモードで動作し、このスレーブモード
   のメディア多重装置から出力されたパケットは、他のス
   レーブモードのメディア多重装置を経由して前記マスタ
   ーモードのメディア多重装置へ順次転送されることを特
   徴とする、請求項４に記載の符号化装置。
6. 【請求項６】 前記スレーブモードのメディア多重装置
   の前記出力選択手段は、前記転送パケット入力手段から
   受け取ったパケットに、自身のシンタックス処理によっ
   て生成したパケットを付加して随時出力することを特徴
   とする、請求項４または５に記載の符号化装置。
7. 【請求項７】 分割符号化されたメディア情報の入力ス
   トリームが複数のメディア多重装置に入力され、並列に
   シンタックス処理を行う場合において、スレーブモード
   のメディア多重装置の前記出力選択手段は、 通常は転送パケット入力手段で受け取ったパケットを随
   時出力し、 前記制御信号伝達手段により、他のメディア多重装置か
   ら出力権委譲信号を受信したら、自身のシンタックス処
   理で生成したパケットの出力を開始し、 並列符号化の分割点までパケット出力を終了したら、前
   記制御信号伝達手段により、他のメディア多重装置へ出
   力権委譲信号を送信し、通常の状態へ戻ることを特徴と
   する、請求項４〜６のいずれか１項に記載の符号化装
   置。
8. 【請求項８】 前記マスターモードのメディア多重装置
   は、各メディア多重装置で並列に生成されたパケットの
   ＩＤ番号またはシーケンス番号（通し番号）を付け直し
   て出力することを特徴とする、請求項４〜７のいずれか
   １項に記載の符号化装置。
9. 【請求項９】 前記各メディア多重装置は、シンタック
   ス処理によってＭＰＥＧ‐２準拠のトランスポートスト
   リームパケットを生成し、前記マスターモードのメディ
   ア多重装置は、出力ストリームとしてトランスポートス
   トリームを生成することを特徴とする、請求項４〜８の
   いずれか１項に記載の符号化装置。