JP2000069081A

JP2000069081A - データ多重化方法および装置とその関連方法および装置

Info

Publication number: JP2000069081A
Application number: JP23335398A
Authority: JP
Inventors: Takashi Ito; 藤隆伊; Tsuyoshi Hagiwara; 原強萩
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-08-19
Filing date: 1998-08-19
Publication date: 2000-03-03

Abstract

(57)【要約】【課題】マルチメディア通信システム等における画像
データ、音データおよび付加データのデータ多重化を低
遅延で行う。【解決手段】ＣＰＵ１０７は、フレーム境界検出手段
１０４ａ、１０４ｂ、１０４ｃとパケット境界検出手段
１０５ａ、１０５ｂ、１０５ｃから通知を受けると、入
力されるデータのフレームおよびパケットの境界にヘッ
ダデータを挿入し、データのパケット化を行い、パケッ
ト化したデータをバッファメモリ１１０ａ、１１０ｂ、
１１０ｃへバッファリングする。データの入力時点で、
パケット化を行うため、データ多重化の処理開始までの
時間を低遅延化できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＭＰＥＧなどの方
式で情報量圧縮、符号化した映像データ、音データおよ
び字幕や制御信号等の付加データを多重化し、１本のビ
ットストリームであるトランスポートストリームを生成
するデータ多重化方法および装置ならびにその関連方法
および装置に関する。

【０００２】

【従来の技術】近年、衛星を利用したディジタルテレビ
ジョン放送が実用化され、一般家庭に普及してきてい
る。また、光ファイバなどの専用回線を用いて動画像デ
ータや音（ここでいう音とは音声、音響などを意味す
る）データを双方向にやりとりするマルチメディア通信
システムも登場してきた。これらのデータ通信では、高
品質のディジタル画像データ、音データを扱っており、
画像データや音データとともに字幕や静止画、相手側端
末の制御信号などの付加データを伝送している。ディジ
タル画像データ、音データを伝送するためには情報量圧
縮と符号化が必要である。また、画像データ、音データ
および付加データといった複数のデータを１本のビット
ストリームとして伝送するためにはデータの時分割多重
が必要となる。これら情報量圧縮、符号化とデータ多重
の方式には国際標準規格であるＭＰＥＧが用いられてい
る。

【０００３】図１３はストリームの構造および相互関係
を示している。具体的には、エレメンタリストリーム
（以下ＥＳ）、パケタイズドエレメンタリストリーム
（以下ＰＥＳ）、トランスポートストリーム（以下Ｔ
Ｓ）、ＴＳパケットの構造および相互の関係を示してい
る。ＥＳは画像情報、音情報および付加データをそれぞ
れ情報量圧縮、符号化したストリームで、符号化時のヘ
ッダ情報を含む複数のフレームによって構成されてい
る。画像データの場合は、フレームは画像１枚分の符号
化データである。ＰＥＳは通常、１フレーム分のＥＳに
ＰＥＳパケットヘッダを付加したＰＥＳパケットによっ
て構成さるストリームである。ＴＳはＰＥＳ１８４バイ
トに対して４バイトのＴＳパケットヘッダを付加した計
１８８バイト単位のＴＳパケットから構成されるストリ
ームである。ＴＳパケットはＴＳパケットヘッダとアダ
プテーションフィールド、ペイロードによって構成され
ている。ＰＥＳパケットの境界がＴＳパケットのペイロ
ードに存在することが禁止されているため、１８４バイ
トに満たないＰＥＳパケットに対してはアダプテーショ
ンフィールドを挿入し、その中のスタッフィングバイト
によって足りないバイト数を補う。

【０００４】情報量圧縮、符号化した映像データ、音デ
ータおよび付加データを多重化し、ＴＳを生成するデー
タ多重化装置としては、特開平9-312625号公報に記載さ
れたものがある。図１４に従来のデータ多重化装置のブ
ロック構成図を示し、動作の概略を説明する。ビデオエ
ンコーダ１１２０、オーディオエンコーダ１１２４、サ
ブタイトルエンコーダ１１２８は、それぞれ画像情報、
音情報、付加データの情報量圧縮、符号化を行う。ＦＩ
ＦＯメモリ１１３２ａ、１１３２ｂ、１１３２ｃは、情
報量圧縮、符号化された映像データ、音データおよび付
加データのＥＳをバッファリングする。付加データのＥ
Ｓについては、イーサネットインタフェース回路１１４
２０、シリアルインタフェース回路１１４２２を介して
入力される場合もあり、入力されたＥＳはＲＡＭ１１４
３０に格納される。データサイズＩＦ１１３０ａ、１１
３０ｂ、１１３０ｃは、各ＥＳのフレームごとのデータ
サイズを計数し、データサイズをＣＰＵバスを介してＣ
ＰＵ１１４２４に対して出力する。ＣＰＵ１１４２４
は、１フレーム分のデータサイズに基づいて、各ＥＳの
多重化の順番、多重化のタイミング調整およびスケジュ
ーリングなどの多重化方法の計画を行い、計画した多重
化方法に従ってスイッチ回路１１３４、１１３６の多重
化動作をＣＰＵバスを介して制御する。また、ＣＰＵ１
１４２４は、制御データ用ＲＡＭ１１４２８に記憶され
た制御データを用いたスケジューリングに従って、ヘッ
ダデータを処理用ＲＡＭ１１４２６上に作成する。スイ
ッチ回路１１３４は、ＣＰＵ１１４２４の制御に従っ
て、ＦＩＦＯメモリ１１３２ａ、１１３２ｂ、１１３２
ｃ、ＲＡＭ１１４３０から出力されるＥＳを多重化し、
スイッチ回路１１３６は、ＣＰＵ１１４２４の制御に従
って、パケット単位にヘッダデータを多重することで、
ＴＳを生成する。ＦＩＦＯメモリ１１３８は生成された
ＴＳをバッファリングし、通信回線などに対して出力す
る。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の多重化装置には２つの課題がある。まず、１つめの
課題について説明する。従来のデータ多重化装置は入力
される画像データ、音データおよび付加データのＥＳの
バイト数を１フレーム分計数し、ＣＰＵへ通知する。Ｃ
ＰＵは１フレーム分のバイト数からそのフレームから構
成可能なＴＳパケット数を計算し、多重化方法の計画を
たて、ＦＩＦＯメモリからＥＳの読み出し制御を行う。
ＦＩＦＯメモリからの読み出し制御において、ＣＰＵは
入力された１フレーム分のバイト数と読み出したデータ
のバイト数からフレームの境界を検知し、スタッフィン
グバイトの挿入、ＰＥＳヘッダの挿入を制御する。この
ように、従来のデータ多重化装置は、１フレーム分のＥ
Ｓのバイト数を計数してから多重化計画を開始するた
め、少なくとも１フレーム分のデータ容量をもつＦＩＦ
Ｏメモリが必要となる。画像データの場合、この容量は
１．８Ｍビットである。また、データ多重化を開始する
までに１フレーム分のＥＳがＦＩＦＯメモリに入力され
る時間の遅延が生じる。これは、マルチメディア通信シ
ステムにおいては符号化装置側の遅延となり、双方向通
信を行う場合に問題となる。従来のデータ多重化装置に
おいて、多重化処理開始までの遅延を短くするために、
入力されるＥＳのバイト数を１フレームより短い単位で
計数し、ＣＰＵに通知し、多重化処理を計画しようとす
ると、フレームの境界を検出する計算を何度も行わなけ
ればならず、ＣＰＵの負荷が重くなってしまう。このこ
とは、ＣＰＵをデータ多重化装置以外の制御、例えば、
ビデオエンコーダの制御などにも利用しようとしたとき
に問題となる。

【０００６】次に、２つめの課題について説明する。入
力されるＥＳからＰＥＳパケット、ＴＳパケットを生成
するためには、ＰＥＳパケットヘッダ、ＴＳパケットヘ
ッダの生成とＥＳへの多重化が必要である。従来のデー
タ多重化装置では、計画した多重化順に従ってＣＰＵが
各パケットごとにパケットヘッダを処理用ＲＡＭに作成
し、スイッチ回路を制御してＥＳへ多重化している。こ
のパケットヘッダの作成と多重化制御は、ＣＰＵの負荷
を重くするものであり、各ＥＳの符号化レートが高い場
合、パケットヘッダの生成、多重制御の処理回数が増大
し、データ多重化装置の符号出力レートを制限してしま
うという問題がある。

【０００７】本発明は、このような従来の課題を解決す
るものであり、画像データ、音データおよび付加データ
のＥＳをパケット化しＴＳを生成するデータ多重化装置
において、データ多重化処理を開始するまでデータをバ
ッファリングするためのＦＩＦＯメモリを削減し、多重
化処理開始までの遅延時間を低減することを目的とす
る。また、パケットヘッダの生成、多重化制御の回数を
削減しＣＰＵの負荷を低減することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明のデータ多重化方法および装置は、複数の入
力ラインを介して入力される映像データ、音データおよ
び付加データのそれぞれのフレームの境界とパケットの
境界を検出し、入力された映像データ、音データおよび
付加データをメモリに格納するとともに、検出したフレ
ームの境界とパケットの境界をＣＰＵバスを通じて受
け、メモリ内の映像データ、音データおよび付加データ
に対して、ＣＰＵバスを通じてフレームの境界とパケッ
トの境界にヘッダデータを書き込み、パケットデータを
生成する処理と、パケット化した映像データ、音データ
および付加データをバッファリングし、生成したパケッ
ト数により映像データパケット、音データパケットおよ
び付加データパケットの多重化処理を計画し、多重化処
理の計画に従って映像データパケット、音データパケッ
トおよび付加データパケットを多重化し、出力ラインを
介して外部へ出力する処理とを含むものである。

【０００９】本発明のデータ多重化方法および装置によ
ると、画像データ、音データおよび付加データのＥＳ入
力時にフレームの境界、ＴＳパケットの境界を検出し、
その都度、メモリ上でパケットヘッダの多重化を行い、
ＴＳパケットを生成するので、ＣＰＵによるフレームの
境界、ＴＳパケットの境界検出のための計算が不要とな
り、１フレーム分のＥＳのバイト数を計数する必要がな
い。従って、入力したＥＳを１フレーム分格納するＦＩ
ＦＯメモリを削減することができる。また、本発明のデ
ータ多重化方法および装置によると、入力時に生成した
ＴＳパケットは直ちにバッファリングされ多重化処理を
開始するので、ＥＳが入力されてからデータ多重化処理
開始までの遅延時間を低減することができる。

【００１０】また、本発明の別のデータ多重化方法およ
び装置は、複数の入力ラインを介して入力される映像デ
ータ、音データおよび付加データのそれぞれのフレーム
の境界を検出し、入力された映像データ、音データおよ
び付加データをメモリに格納するとともに、検出したフ
レームの境界をＣＰＵバスを通じて受け、メモリ内の映
像データ、音データおよび付加データに対してＣＰＵバ
スを通じてフレームの境界にヘッダデータを書き込むこ
とでパケットデータを生成する処理と、フレームの境界
以外のパケットのヘッダデータはパケット数のカウント
値のみを上書き多重し、更新する処理と、パケット化し
た映像データ、音データおよび付加データをバッファリ
ングし、ＣＰＵバスを通じてパケットカウント値を受
け、生成したパケット数により映像データパケット、音
データパケットおよび付加データパケットの多重化処理
を計画し、多重化処理の計画に従って映像データパケッ
ト、音データパケットおよび付加データパケットを多重
化し、出力ラインを介して外部へ出力する処理とを含む
ものである。

【００１１】本発明の別のデータ多重化方法および装置
によれば、フレームの境界、すなわちＰＥＳの最終バイ
トを含むＴＳパケットとＰＥＳの先頭バイトを含むＴＳ
パケットに対してのみ、ＣＰＵからメモリに対してスタ
ッフィングバイトの挿入、ＴＳパケットヘッダの多重
化、ＰＥＳパケットヘッダの多重化が行われ、フレーム
の境界以外のＴＳパケットヘッダについては、図１３に
示したＴＳパケットヘッダ内の巡回カウンタ値のみを更
新し、この巡回カウンタの更新はパケットカウンタ値多
重化手段により生成した映像データパケット数、音デー
タパケット数、付加データパケット数のカウント値を巡
回カウンタ値として上書き多重することで行うので、Ｃ
ＰＵによるパケットヘッダの生成、多重化制御は、フレ
ームの境界を検出した時のみ行われるため、ＣＰＵの負
荷を低減することができる。また、ＥＳの符号化レート
が上昇しても、フレーム数が変化しなければＣＰＵの負
荷が増大することがないので、高符号化レートのデータ
多重化処理が可能となる。

【００１２】

【発明の実施の形態】本発明の請求項１に記載の発明
は、複数の入力ラインを介して入力される映像データ、
音データおよび付加データのそれぞれのフレームの境界
とパケットの境界を検出し、入力された映像データ、音
データおよび付加データをメモリに格納するとともに、
検出したフレームの境界とパケットの境界をＣＰＵバス
を通じて受け、メモリ内の映像データ、音データおよび
付加データに対して、ＣＰＵバスを通じてフレームの境
界とパケットの境界にヘッダデータを書き込み、パケッ
トデータを生成する処理と、パケット化した映像デー
タ、音データおよび付加データをバッファリングし、生
成したパケット数により映像データパケット、音データ
パケットおよび付加データパケットの多重化処理を計画
し、多重化処理の計画に従って映像データパケット、音
データパケットおよび付加データパケットを多重化し、
出力ラインを介して外部へ出力する処理とを含むデータ
多重化方法であり、画像データ、音データおよび付加デ
ータの各ＥＳについて、１フレーム分のデータを格納す
るためのメモリを削減することができる。また、ＥＳが
入力されてから多重化処理開始までの遅延時間を短くで
きるという作用を有する。

【００１３】請求項２に記載の発明は、入力される映像
データ、音データおよび付加データのフレームの境界を
検出するフレーム境界検出手段と、映像データ、音デー
タおよび付加データのパケットの境界を検出するパケッ
ト境界検出手段と、映像データ、音データおよび付加デ
ータを格納するメモリと、フレームとパケットの境界を
通知し、映像データ、音データおよび付加データに対す
るヘッダデータを転送するためのＣＰＵバスと、パケッ
ト化した映像データ、音データおよび付加データをバッ
ファリングするバッファリング手段と、バッファリング
した映像データ、音データおよび付加データのパケット
数に基づいて多重化処理を計画する多重化処理計画手段
と、多重化処理計画手段の計画に従って、バッファリン
グした映像データ、音データおよび付加データを多重化
処理する多重化処理手段と、入力された映像データ、音
データおよび付加データそれぞれを前記メモリに供給す
る複数の入力ラインと、多重化したデータストリームを
外部に出力する出力ラインとを備えたデータ多重化装置
であり、画像データ、音データおよび付加データの各Ｅ
Ｓについて、１フレーム分のデータを格納するためのＦ
ＩＦＯメモリを削減することができる。また、ＥＳが入
力されてから多重化処理開始までの遅延時間を短くでき
るという作用を有する。

【００１４】請求項３に記載の発明は、複数の入力ライ
ンを介して入力される映像データ、音データおよび付加
データのそれぞれのフレームの境界を検出し、入力され
た映像データ、音データおよび付加データをメモリに格
納するとともに、検出したフレームの境界をＣＰＵバス
を通じて受け、メモリ内の映像データ、音データおよび
付加データに対してＣＰＵバスを通じてフレームの境界
にヘッダデータを書き込むことでパケットデータを生成
する処理と、フレームの境界以外のパケットのヘッダデ
ータはパケット数のカウント値のみを上書き多重し、更
新する処理と、パケット化した映像データ、音データお
よび付加データをバッファリングし、ＣＰＵバスを通じ
てパケットカウント値を受け、生成したパケット数によ
り映像データパケット、音データパケットおよび付加デ
ータパケットの多重化処理を計画し、多重化処理の計画
に従って映像データパケット、音データパケットおよび
付加データパケットを多重化し、出力ラインを介して外
部へ出力する処理とを含むデータ多重化方法であり、画
像データ、音データおよび付加データの各ＥＳについ
て、１フレーム分のデータを格納するためのメモリを削
減することができる。また、ＥＳが入力されてから多重
化処理開始までの遅延時間を短くすることができる。ま
た、ＣＰＵが行うパケットヘッダの生成、多重化制御の
処理数を削減し、符号化レートの高いデータ多重化処理
が可能になるという作用を有する。

【００１５】請求項４に記載の発明は、入力される映像
データ、音データおよび付加データのフレームの境界を
検出するフレーム境界検出手段と、映像データ、音デー
タおよび付加データを格納するメモリと、フレームの境
界を通知し、映像データ、音データおよび付加データに
対するヘッダデータ、生成した映像データパケット数、
音データパケット数、付加データパケット数を転送する
ためのＣＰＵバスと、生成した映像データパケット数、
音データパケット数、付加データパケット数のカウント
値をヘッダデータ中に多重化するパケットカウンタ値多
重化手段と、パケット化した映像データ、音データおよ
び付加データをバッファリングするバッファリング手段
と、バッファリングした映像データ、音データおよび付
加データのパケット数に基づいて多重化処理を計画する
多重化処理計画手段と、多重化処理計画手段の計画に従
って、バッファリングした映像データ、音データおよび
付加データを多重化処理する多重化処理手段と、入力さ
れた映像データ、音データおよび付加データそれぞれを
前記メモリに供給する複数の入力ラインと、多重化した
データストリームを外部に出力する出力ラインとを備え
たデータ多重化装置であり、画像データ、音データおよ
び付加データの各ＥＳについて、１フレーム分のデータ
を格納するためのＦＩＦＯメモリを削減することができ
る。また、ＥＳが入力されてから多重化処理開始までの
遅延時間を短くすることができる。また、ＣＰＵが行う
パケットヘッダの生成、多重化制御の処理数を削減し、
符号化レートの高いデータ多重化処理が可能になるとい
う作用を有する。

【００１６】請求項５に記載の発明は、入力される画像
情報の情報量を圧縮、符号化し、入力される音情報の情
報量を圧縮、符号化し、画像情報、音情報に付加するデ
ータを外部から受信するかまたは内部で生成し、符号化
した画像データ、音データおよび付加データを請求項１
記載の方法でデータ多重化し、符号を外部へ送出するデ
ータ符号化方法であり、画像データ、音データおよび付
加データのＥＳをパケット化し多重化する処理を低遅延
化し、符号化の処理時間を短くできるという作用を有す
る。

【００１７】請求項６に記載の発明は、入力される画像
情報を情報量圧縮、符号化する画像情報圧縮符号化手段
と、入力される音情報を情報量圧縮、符号化する音情報
圧縮符号化手段と、画像情報、音情報に付加するデータ
を受信、生成する付加データ生成手段と、請求項２記載
のデータ多重化装置とを備えたデータ符号化装置であ
り、画像データ、音データおよび付加データのＥＳをパ
ケット化し多重化する処理を低遅延化し、符号化の処理
時間を短くできるという作用を有する。

【００１８】請求項７に記載の発明は、入力される画像
情報の情報量を圧縮、符号化し、入力される音情報の情
報量を圧縮、符号化し、画像情報、音情報に付加するデ
ータを外部から受信するかまたは内部で生成し、符号化
した画像データ、音データおよび付加データを請求項３
記載の方法でデータ多重化し、符号を外部へ送出するデ
ータ符号化方法であり、画像データ、音データおよび付
加データのＥＳをパケット化し多重化する処理を低遅延
化し、符号化の処理時間を短くできる。また、データ多
重化におけるＣＰＵの負荷を低減し、符号化レートの高
いデータの送出が可能になるという作用を有する。

【００１９】請求項８に記載の発明は、入力される画像
情報を情報量圧縮、符号化する画像情報圧縮符号化手段
と、入力される音情報を情報量圧縮、符号化する音情報
圧縮符号化手段と、画像情報、音情報に付加するデータ
を受信、生成する付加データ生成手段と、請求項４記載
のデータ多重化装置を備えたデータ符号化装置であり
り、画像データ、音データおよび付加データのＥＳをパ
ケット化し多重化する処理を低遅延化し、符号化の処理
時間を短くできる。また、データ多重化におけるＣＰＵ
の負荷を低減し、符号化レートの高いデータの送出が可
能になるという作用を有する。

【００２０】請求項９に記載の発明は、画像データ、音
データおよび付加データが請求項１に記載の方法で多重
化されているデータストリームを受信し、受け取ったデ
ータストリームから画像データ、音データ、付加データ
を分離し、分離した画像データ、音データおよび付加デ
ータを復号し、再生するデータ復号化方法であり、請求
項１に記載の方法で多重化された画像データ、音データ
および付加データを分離し、それぞれを復号、再生する
という作用を有する。

【００２１】請求項１０に記載の発明は、請求項１に記
載の方法で多重化された画像データ、音データおよび付
加データを分離するデータ分離手段と、分離された画像
データを復号、再生する画像データ復号手段と、分離さ
れた音データを復号、再生する音データ復号手段と、分
離された付加データを復号、再生する付加データ復号手
段とを備えたデータ復号化装置であり、請求項１に記載
の方法で多重化された画像データ、音データおよび付加
データを分離し、それぞれを復号、再生するという作用
を有する。

【００２２】請求項１１に記載の発明は、画像データ、
音データおよび付加データが請求項３に記載の方法で多
重化されているデータストリームを受信し、受け取った
データストリームから画像データ、音データ、付加デー
タを分離し、分離した画像データ、音データおよび付加
データを復号し、再生するデータ復号化方法であり、請
求項３に記載の方法で多重化された画像データ、音デー
タおよび付加データを分離し、それぞれを復号、再生す
るという作用を有する。

【００２３】請求項１２に記載の発明は、請求項３に記
載の方法で多重化された画像データ、音データおよび付
加データを分離するデータ分離手段と、分離された画像
データを復号、再生する画像データ復号手段と、分離さ
れた音データを復号、再生する音データ復号手段と、分
離された付加データを復号、再生する付加データ復号手
段とを備えたデータ復号化装置であり、請求項３に記載
の方法で多重化された画像データ、音データおよび付加
データを分離し、それぞれを復号、再生するという作用
を有する。

【００２４】請求項１３に記載の発明は、送信側は入力
される画像情報、音情報および付加データをそれぞれ情
報量圧縮、符号化し、請求項１に記載の方法で多重化し
て送出し、受信側は請求項１に記載の方法で多重化され
た画像データ、音データおよび符号化データを分離し、
それぞれを復号、再生するデータ通信方法であり、デー
タ符号化の遅延を少なくして、リアルタイム性の高いの
データ通信を可能にするという作用を有する。

【００２５】請求項１４に記載の発明は、入力される画
像情報、音情報および付加データをそれぞれ情報量圧
縮、符号化し、請求項１に記載の方法で多重化するデー
タ符号化手段と、請求項１に記載の方法で多重化された
画像データ、音データおよび付加データをそれぞれ分離
し、分離した画像データ、音データおよび付加データを
復号、再生するデータ復号化手段とを備えたデータ通信
装置であり、データ符号化の遅延を少なくして、リアル
タイム性の高いのデータ通信を可能にするという作用を
有する。

【００２６】請求項１５に記載の発明は、送信側は入力
される画像情報、音情報および付加データをそれぞれ情
報量圧縮、符号化し、請求項３に記載の方法で多重化し
て送出し、受信側は請求項３に記載の方法で多重化され
た画像データ、音データおよび符号化データを分離し、
それぞれを復号、再生するデータ通信方法であり、デー
タ符号化の遅延を少なくして、リアルタイム性の高いの
データ通信を可能にする。また、高符号化レートのデー
タ通信を可能にするという作用を有する。

【００２７】請求項１６に記載の発明は、入力される画
像情報、音情報および付加データをそれぞれ情報量圧
縮、符号化し、請求項３に記載の方法で多重化するデー
タ符号化手段と、請求項３に記載の方法で多重化された
画像データ、音データおよび付加データをそれぞれ分離
し、分離した画像データ、音データおよび付加データを
復号、再生するデータ復号化手段を備えたデータ通信装
置であり、データ符号化の遅延を少なくして、リアルタ
イム性の高いのデータ通信を可能にする。また、高符号
化レートのデータ通信を可能にするという作用を有す
る。

【００２８】（実施の形態１）以下、本発明の実施の形
態を図面を参照して説明する。図１は、本発明の実施の
形態１におけるデータ多重化装置のブロック構成図であ
る。図１において、ビデオエンコーダ１０１は、ディジ
タル信号に変換された画像情報の情報量圧縮と符号化を
行い、ＥＳを出力する。オーディオエンコーダ１０２
は、ディジタル信号に変換された音情報の情報量圧縮と
符号化を行い、ＥＳを出力する。付加データ生成手段１
０３は、外部からシリアル通信などによって受け取った
付加データをバッファリングしてＥＳとして出力した
り、付加データ生成手段内部で映像情報、音情報に合わ
せたデータを生成し、ＥＳとして出力する。フレーム境
界検出手段１０４ａ、１０４ｂ、１０４ｃは、ＥＳの内
部に含まれるフレームの境界を表すヘッダデータを検出
することによってＣＰＵ１０７に対してフレームの境界
を検出したことをＣＰＵバスを介して通知する。また、
フレーム境界の検出は、予めフレーム境界検出手段１０
４ａ、１０４ｂ、１０４ｃにＣＰＵ１０７が設定してお
いたバイト数分のＥＳがメモリへ書き込みまれたことを
検出することでも行える。バケット検出手段１０５ａ、
１０５ｂ、１０５ｃは、ＴＳパケットのバイト数１８８
バイトからＴＳパケットヘッダのバイト数４バイトを引
いた１８４バイトのバイト数カウンタであり、１８４バ
イト分のＥＳがメモリに書き込まれたことをＣＰＵバス
を介してＣＰＵ１０７へ通知する。

【００２９】メモリ１０６ａ、１０６ｂ、１０６ｃは、
ビデオエンコーダ１０１、オーディオエンコーダ１０
２、付加データ生成手段１０３が出力するＥＳとＣＰＵ
１０７が生成し、ＣＰＵバスを介して書き込まれるＰＥ
Ｓパケットヘッダ、ＴＳパケットヘッダ、スタッフィン
グバイトを格納し、メモリ１０６ａ、１０６ｂ、１０６
ｃにＴＳパケットが生成される。ＣＰＵ１０７は、フレ
ームの境界検出時にスタッフィングバイトとＰＥＳパケ
ットヘッダを生成し、メモリに書き込み、また、パケッ
トの境界検出時にＴＳパケットヘッダを生成し、メモリ
に書き込む。さらに、生成したＴＳパケット数を管理
し、予め設定されるデータ送出レートに従って、多重化
を行うＴＳパケットの種類と順番を決定し、スイッチ回
路１１１を制御する。ＲＯＭ１０８は、ＣＰＵ１０７の
プログラムを格納する。ＲＡＭ１０９は、ＣＰＵ１０７
の処理にかかわる制御用データを格納する。バッファメ
モリ１１０ａ、１１０ｂ、１１０ｃは、生成したＴＳパ
ケットをバッファリングする。スイッチ回路１１１は、
ＣＰＵ１０７が計画した多重化計画に従って、バッファ
メモリ１１０ａ、１１０ｂ、１１０ｃから出力される画
像データ、音データおよび付加データの各ＴＳパケット
を選択し、ＦＩＦＯメモリ１１２に出力する。ＦＩＦＯ
メモリ１１２は通信回線などの外部からの要求に従って
ＴＳを出力する。

【００３０】次に、上記実施の形態１の動作について説
明する。ディジタル信号に変換された画像情報は、ビデ
オエンコーダ１０１で情報量圧縮、符号化が行われ、Ｅ
Ｓとして出力される。ディジタル信号に変換された音情
報は、オーディオエンコーダ１０２で情報量圧縮、符号
化が行われ、ＥＳとして出力される。字幕データや静止
画データ、通信システムなどに用いられる相手側端末の
制御データなどは、装置外部で生成されたものを付加デ
ータ生成手段１０３がシリアル通信などにより受信し、
ＥＳとして出力するか、付加データ生成手段１０３の内
部で生成し、ＥＳとして出力する。画像データ、音デー
タおよび付加データの各ＥＳは、メモリ１０６ａ、１０
６ｂ、１０６ｃへ書き込まれる。

【００３１】図１１に本発明の実施の形態１におけるメ
モリ内のデータ構成を示す。図１１（ａ）はＰＥＳの先
頭バイトを含むＴＳパケット、図１１（ｂ）はＰＥＳの
途中のバイトを含むＴＳパケット、図１１（ｃ）はＰＥ
Ｓの最終バイトを含むＴＳパケットのメモリ格納状態を
示している。まず、メモリ１０６ａ、１０６ｂ、１０６
ｃへ各ＥＳが書き込まれるとき、フレーム境界検出手段
１０４ａ、１０４ｂ、１０４ｃにおいてフレームの境界
を検出する。フレームの境界検出は、フレームヘッダの
検出により行い、ＣＰＵ１０７へ通知する。フレームの
検出は、ＣＰＵが予め設定したバイト数によっても行う
ことが可能であり、メモリ１０６ａ、１０６ｂ、１０６
ｃに対して、設定したバイト数のＥＳの書き込みがあっ
た時点で、境界検出をＣＰＵ１０７へ通知する。

【００３２】次に、ＣＰＵ１０７は、ＥＳの先頭の処理
においてはそれ以前に入力されたデータがないので、図
１１（ａ）に示すＴＳパケットを生成すべく、ＰＥＳパ
ケットヘッダ生成し、メモリへの書き込みを行う。ＥＳ
の先頭以外の処理においては、図１１（ｃ）に示すよう
にＰＥＳの最終バイトを含むＴＳパケットを生成する。
１８４バイトに足りない分のスタッフィングバイトとＴ
Ｓパケットヘッダを生成し、メモリへの書き込みを行
う。そして、図１１（ａ）に示すＰＥＳの先頭バイトを
含むＴＳパケットを生成するために、ＰＥＳパケットヘ
ッダの書き込みを行う。生成が完了したＰＥＳの最終バ
イトを含むＴＳパケットは、直ちにバッファメモリ１１
０ａ、１１０ｂ、１１０ｃへ転送される。

【００３３】次に、ＴＳパケットの境界検出手段１０５
ａ、１０５ｂ、１０５ｃによってＴＳパケットの境界検
出が行われる。ＴＳパケットの境界検出は、メモリに格
納されたバイト数がＰＥＳパケットヘッダとＥＳを合わ
せて１８４バイトになったことを検出することで行わ
れ、ＣＰＵ１０７によって、図１１ａのＴＳパケットを
生成すべく、ＴＳパケットヘッダ生成とメモリへの書き
込みが行われる。生成が完了したＰＥＳの先頭バイトを
含むＴＳパケットは、直ちにバッファメモリ１１０ａ、
１１０ｂ、１１０ｃへ転送される。

【００３４】次に、メモリへのＥＳの書き込みが１８４
バイトに達したことでＴＳパケットの境界検出を行う。
ＣＰＵ１０７は、図１３（ｂ）に示すＰＥＳパケットの
先頭および最終バイトを含まないＴＳパケットを生成す
べく、ＴＳパケットヘッダの生成、メモリへの書き込み
を行う。生成が完了したＴＳパケットは、直ちに１１０
ａ、１１０ｂ、１１０ｃへ転送される。

【００３５】メモリがシングルポートかつシングルバン
ク構成である場合は、ＣＰＵ１０７からメモリへの書き
込みが行われている間、ＥＳの書き込みを停止する。メ
モリがデュアルポートまたは、ダブルバンク構成である
場合はＥＳの書き込みは停止する必要はない。また、Ｔ
Ｓパケットのバッファメモリへの転送はＣＰＵ１０７の
制御により行い、生成したＴＳパケット数を管理する。

【００３６】ＣＰＵ１０７は、外部から設定され予めＲ
ＡＭ１０９へ取り込んであるＴＳ送出レートと、生成し
たＴＳパケット数により多重化するＴＳパケットの種類
と順番を計画する。ＣＰＵ１０７は、多重化処理の計画
に従って、スイッチ回路１１１を制御し、バッファメモ
リ１１０ａ、１１０ｂ、１１０ｃから出力されるＴＳパ
ケットの多重化を行い、ＦＩＦＯメモリ１１２へ出力す
る。ＦＩＦＯメモリ１１２は、通信回線などの外部から
の要求に従ってＴＳを出力する。

【００３７】以上のように、本発明の実施の形態１で
は、画像データ、音データおよび付加データの各ＥＳ
は、入力された時点でフレームの境界検出、ＴＳパケッ
トの境界検出が行われ、順次ＴＳパケット化されるた
め、各ＥＳを１フレーム分、格納するためのメモリ容量
を削減することができる。削減できる１フレーム分のメ
モリ容量は最も多いビデオのＥＳの場合で、約１．８Ｍ
ビットである。また、多重化処理を開始させるのに、Ｅ
Ｓが１フレーム分、入力されるのを待つ必要がなくなる
ため、ＥＳが入力されてから多重化処理開始までの遅延
時間を短くすることが可能となる。

【００３８】（実施の形態２）図２は、本発明の実施の
形態２のデータ多重化装置のブロック構成図である。図
２において、ＣＰＵ２０７は、フレームの境界検出時の
みスタッフィングバイトとＰＥＳパケットヘッダ、ＴＳ
パケットヘッダを生成し、メモリに書き込み、生成した
ＴＳパケット数を管理し、予め設定されるデータ送出レ
ートに従って、多重化を行うＴＳパケットの種類と順番
を決定し、スイッチ回路１１１を制御する。ＴＳパケッ
トカウンタ値多重化手段２０５ａ、２０５ｂ、２０５ｃ
は、メモリ２０６ａ、２０６ｂ、２０６ｃ内で生成され
たＴＳパケットをバッファメモリ２１０ａ、２１０ｂ、
２１０ｃへそれぞれ格納する際に、画像データ、音デー
タおよび付加データの各ＴＳパケット数をカウントし、
カウンタ値をＴＳパケットヘッダ内の巡回カウンタ値に
上書き多重する。その他の構成要素は、実施の形態１に
記載したとおりである。

【００３９】次に、上記実施の形態２の動作について説
明する。図１２に本実施の形態２におけるメモリ内のデ
ータ領域を示す。データ多重化処理を開始する前に、Ｃ
ＰＵ２０７は、メモリ内のＴＳパケットヘッダ初期化領
域にＰＥＳの途中のバイトを含むＴＳパケットのヘッダ
データを書き込む。実施の形態１と同様に、画像デー
タ、音データおよび付加データの各ＥＳは、メモリ２０
６ａ、２０６ｂ、２０６ｃへ書き込まれる。メモリ２０
６ａ、２０６ｂ、２０６ｃへ各ＥＳが書き込まれると
き、フレーム境界検出手段２０４ａ、２０４ｂ、２０４
ｃにおいてフレームの境界を検出し、ＣＰＵ２０７へ通
知する。

【００４０】ＣＰＵ２０７は、フレームの境界検出の通
知を受けると、ＥＳの先頭の処理においてはそれ以前に
入力されたデータがないので、図１１（ａ）に示すＴＳ
パケットを生成すべく、ＰＥＳパケットヘッダを生成
し、メモリへの書き込みを行う。ＥＳの先頭以外の処理
においては、図１１（ｃ）に示すように、１８４バイト
に足りない分のスタッフィングバイトとＴＳパケットヘ
ッダを生成し、メモリへの書き込みを行ってから、図１
１（ａ）に示すＰＥＳの先頭バイトを含むＴＳパケット
を生成するために、ＰＥＳパケットヘッダの生成とメモ
リへの書き込みを行う。ＰＥＳの最終バイトを含むＴＳ
パケットヘッダの書き込みは、図１２に示すＴＳパケッ
トヘッダ編集領域に対して行う。生成が完了したＰＥＳ
の最終バイトを含むＴＳパケットは、直ちにバッファメ
モリ２１０ａ、２１０ｂ、２１０ｃへ転送される。

【００４１】次に、フレーム境界検出手段２０４ａ、２
０４ｂ、２０４ｃは、メモリに格納されたバイト数がＰ
ＥＳパケットヘッダとＥＳを合わせて１８４バイトにな
ったことを検出し、ＣＰＵ２０７に通知する。ＣＰＵ２
０７は、ＰＥＳの先頭バイトを含むＴＳパケットを生成
すべく、ＴＳパケットヘッダの生成とメモリへの書き込
みを行う。ＰＥＳの先頭バイトを含むＴＳパケットヘッ
ダの書き込みは、図１２に示すＴＳパケットヘッダ編集
領域に行う。

【００４２】以降は、次のフレームの境界が検出される
まで、メモリへのＥＳの書き込みが１８４バイトに達し
た時点で図１１（ｂ）に示すＴＳパケットを自動的にバ
ッファメモリ２１０ａ、２１０ｂ、２１０ｃへ転送す
る。このとき転送されるＴＳパケットヘッダは予めＴＳ
パケットヘッダ初期化領域に設定されたデータである。
つまり、ＣＰＵ２０７は、ＰＥＳの先頭バイトおよび最
終バイトを含むＴＳパケットが発生するときのみ、スタ
ッフィングバイト、ＰＥＳパケットヘッダ、ＴＳパケッ
トヘッダを生成し、メモリへの書き込みを行う。ＰＥＳ
の途中のバイトを含むＴＳパケットの生成は、ＣＰＵ２
０７を介さず自動的に行われる。

【００４３】ＴＳパケットがバッファメモリに転送され
るとき、ＴＳパケットカウンタ値多重化手段２０５ａ、
２０５ｂ、２０５ｃは、転送される画像データ、音デー
タおよび付加データの各ＴＳパケット数をカウントし、
カウンタ値をＴＳパケットヘッダ内の巡回カウンタ値を
更新すべく上書き多重する。ＴＳパケットヘッダ内の巡
回カウンタ値の位置は図１３に示した通りである。この
値は同じ種類のデータパケットの連続性を示すものであ
り、パケットが発生するごと必ず更新されるべき値であ
る。

【００４４】ＣＰＵ２０７は、外部から設定され予めＲ
ＡＭ２０９へ取り込んであるＴＳ送出レートと生成した
ＴＳパケット数により多重化するＴＳパケットの種類と
順番を計画し、多重化処理の計画に従って、スイッチ回
路２１１を制御してＴＳパケットの多重化を行い、ＦＩ
ＦＯメモリ２１２へ出力する。ＦＩＦＯメモリ２１２は
通信回線などの外部からの要求に従ってＴＳを出力す
る。

【００４５】以上のように、本発明の実施の形態２で
は、画像データ、音データおよび付加データの各ＥＳを
１フレーム分、格納するためのメモリ容量を削減するこ
とができる。また、ＥＳが入力されてから多重化処理開
始までの遅延時間を短くすることが可能となる。さら
に、ＴＳパケット生成におけるＣＰＵの処理はフレーム
の境界検出時のみであり、フレームの境界以外の、ＰＥ
Ｓの途中のバイトを含むＴＳパケットの生成に対して
は、ヘッダの生成、多重化を行わない。このためＥＳの
符号化レートが高くなっても、ＰＥＳパケットの数が増
加しなければＣＰＵの負荷は増加しないので、高符号化
レートのデータ多重化処理が可能になる。

【００４６】（実施の形態３）図３は、本発明の実施の
形態３のデータ符号化装置のブロック構成図である。図
３において、画像信号入力部３０１は、例えばカメラな
どからの画像信号を入力する回路である。音信号入力部
３０２は、例えばマイクロホンなどからの音信号を入力
する回路である。シリアルインタフェース３０３は、例
えばＲＳ―２３２Ｃなどのシリアルデータを受信し、信
号レベルの変換などを行う。Ａ／Ｄ変換器３０４ａ、３
０４ｂは、アナログの画像信号、音信号をディジタルデ
ータに変換する。

【００４７】ビデオエンコーダ３０５は、図４に示すよ
うに、加算回路４０１、ＤＣＴ回路４０２、量子化回路
４０３、逆量子化回路４０４、逆ＤＣＴ回路４０５、加
算回路４０６、フレームメモリ回路４０７、可変長符号
化回路４０８、ビットレート制御回路４０９、可変長バ
ッファ４１０から構成され、入力される画像データをＭ
ＰＥＧ２方式により情報量圧縮、符号化し、ビデオＥＳ
を生成し、データ多重化部３０８へ出力する。

【００４８】オーディオエンコーダ３０６は、図５に示
すように、サブバンド分析フィルタバンク５０１、線形
量子化回路５０２、ビット圧縮回路５０３、ＦＦＴ（fa
st fourier trasfer）回路５０４、心理聴覚モデル５０
５、動的ビット割り当て回路５０６、スケールファクタ
選択情報記憶回路５０７、スケールファクタ抽出回路５
０８、サイド情報符号化回路５０９およびビットストリ
ーム生成回路５１０から構成され、入力される音データ
をＭＰＥＧ２方式により情報量圧縮、符号化し、オーデ
ィオＥＳを生成し、データ多重化部３０８へ出力する。

【００４９】付加データ生成部３０７は、外部で生成さ
れ、シリアルインタフェース３０３を介して受信した付
加データをバッファリングし、付加データＥＳとしてデ
ータ多重化部３０８へ出力する。また、付加データ生成
部３０７内部で生成したデータストリームを付加データ
ＥＳとして出力する場合もある。

【００５０】データ多重化部３０８は、実施の形態１ま
たは実施の形態２で示したように、画像データ、音デー
タおよび付加データの各ＥＳをＰＥＳパケット化、ＴＳ
パケット化し、予め設定される送出ビットレートに従っ
てＴＳパケットを多重化し、通信回線などからの要求に
従ってＴＳを外部へ出力する。

【００５１】本発明の実施の形態３では、データ多重化
部を実施の形態１に記載した構成とすることにより、画
像データ、音データおよび付加データのＥＳをパケット
化し多重化する処理を低遅延化し、符号化の処理時間の
短いデータ符号化装置を実現することができる。また、
データ多重化部を実施の形態２に記載した構成とするこ
とにより、符号化の処理時間が短く、かつ、符号化レー
トの高いデータの送出が可能なデータ符号化装置を実現
することができる。

【００５２】（実施の形態４）図６は、本発明の実施の
形態４のデータ復号化装置のブロック構成図である。図
６において、データ分離部６０１は、実施の形態１また
は実施の形態２に記載した方法で多重化されている画像
データ、音データおよび付加データを分離する。図７は
データ分離部６０１のブロック構成図を示す。ＰＩＤフ
ィルタ７０１は、ＴＳパケットヘッダ内のＰＩＤの値が
同じＴＳパケットを振り分けることにより、多重化され
ている画像データ、音データおよび付加データの各ＴＳ
パケットを分離する。データフォーマッタ７０２ａ、７
０２ｂ、７０２ｃは、分離されたＴＳパケットからＥＳ
を抽出する。ＥＳバッファ７０３ａ、７０３ｂ、７０３
ｃは、画像データ、音データおよび付加データのＥＳを
バッファリングし、後段の各デコーダへ出力する。

【００５３】ビデオデコーダ６０２は、図８に示すよう
に、可変長復号バッファ（ＶＬＤバッファ）８０１、可
変長復号回路（ＶＬＤ）８０２、逆量子化回路８０３、
逆ＤＣＴ回路８０４、加算回路８０５、動き補償回路８
０６、フレームメモリ８０７、フォーマット変換回路８
０８から構成され、入力される画像データのＥＳをＭＰ
ＥＧ２方式により復号化し、画像データをＤ／Ａ変換器
６０５ａへ出力する。

【００５４】オーディオデコーダ６０３は、図９に示す
ように、ビットストリーム分解誤り検出回路９０１、逆
量子化回路９０２、サブバンド合成フィルタバンク９０
３、サイド情報復号回路９０４から構成され、入力され
る音データのＥＳをＭＰＥＧ２方式により復号化し、音
データをＤ／Ａ変換器６０５ｂへ出力する。

【００５５】付加データデコーダ６０４は、入力される
付加データのＥＳを復号化し、復号した画像データに加
算、または復号化せずにシリアルインタフェース６０８
へ出力する。

【００５６】Ｄ／Ａ変換器６０５ａ、６０５ｂは、復号
化されたディジタルの画像データ、音データをアナログ
信号に変換する。画像出力部６０６は、例えばモニタな
どに対して画像信号を出力する。音信号出力部６０７
は、例えばスピーカなどに音信号を出力する。シリアル
インタフェース６０８は、送信データを例えばＲＳ−２
３２Ｃなどのシリアルデータに信号のレベル変換を行
い、送信する。

【００５７】本発明の実施の形態４では、実施の形態１
または実施の形態２に記載した方法でデータ多重化され
た画像データ、音データおよび付加データを分離するこ
とができるため、ＴＳを受けて、画像データ、音データ
および付加データをそれぞれ復号、再生することが可能
なデータ復号化装置を実現できる。

【００５８】（実施の形態５）図１０は、本発明の実施
の形態５のデータ通信装置のブロック構成図であり、実
施の形態３のデータ符号化装置と実施の形態４のデータ
復号化装置を応用したものである。図１０において、カ
メラ１００１は、画像信号を出力する。マイクロホン１
００２は、音信号を出力する。文字データ生成装置１０
０３は、画像や音声に合わせた文字データを生成し、出
力する。データ符号化部１００４は、実施の形態３に記
載したデータ符号化装置であり、入力される画像信号、
音信号、付加データとしての文字データを情報量圧縮、
符号化し、データ多重化を行い、ＴＳを出力する。誤り
訂正符号化部１００５は、伝送路上での誤りを受信側で
検出、訂正するための符号化回路である。伝送路符号化
部１００６は、伝送フレームを構成する回路である。デ
ータ伝送部１００７は、送信バッファなどで構成される
送信回路である。

【００５９】伝送路１００８は有線または無線の通信路
である。データ受信部１００９は、受信バッファなどで
構成される受信回路である。伝送路復号化部１０１０
は、フレーム同期、データ抽出などを行う回路である。
誤り訂正復号化部１０１１は、伝送路上での誤りを検
出、訂正する回路である。データ復号化部１０１２は、
実施の形態４に記載したデータ復号化装置であり、多重
化されている画像データ、音データ、付加データとして
の文字データを分離し、それぞれを復号、再生し、出力
する。モニタ１０１３は、再生された画像を表示する。
スピーカ１０１４は、再生された音を出力する。

【００６０】本発明の実施の形態５は、カメラやマイク
ロホン、データ生成装置などで生成する画像情報、音情
報および付加データを情報量圧縮、符号化し、実施の形
態１または、実施の形態２に記載した方法で多重化して
通信することにより、データ通信遅延が短く、かつ、高
符号化レートのデータ通信が可能となる。つまり、極め
てリアルタイム性の高い、高品質のマルチメディアデー
タ通信システムを実現できる。

【００６１】

【発明の効果】以上説明したように、本発明のデータ多
重化方法および装置によれば、入力される映像データ、
音データおよび付加データをメモリに格納するときに、
それぞれのフレームの境界とパケットの境界を検出し、
メモリ内のデータに対して、ＣＰＵバスを通じてフレー
ムの境界とパケットの境界にヘッダデータを書き込むこ
とでパケットデータを生成するとともに、パケット化し
た映像データ、音データおよび付加データをバッファリ
ングし、多重化処理の計画に従って映像データパケッ
ト、音データパケットおよび付加データパケットを多重
化して外部へ出力するので、１フレームに構成可能なパ
ケット数の計算とフレームの境界を検出するための計算
を行うための１フレーム分のＥＳのバイト数を計数する
必要がなくなり、１フレーム分のＥＳを格納するメモリ
を削減できる。また同時に、１フレーム分のデータ入力
を待たずにデータ多重化処理を開始でき、多重化処理開
始まで遅延時間を短くすることができるという効果が得
られる。

【００６２】また、本発明の別のデータ多重化方法およ
び装置によれば、入力される映像データ、音データおよ
び付加データをメモリに格納するときに、それぞれのフ
レームの境界を検出し、メモリ内の映像データ、音デー
タおよび付加データに対してＣＰＵバスを通じてフレー
ムの境界にヘッダデータを書き込むことでパケットデー
タを生成するとともに、フレームの境界以外のパケット
のヘッダデータは、パケット数のカウント値のみを更新
し、パケット化した映像データ、音データおよび付加デ
ータをバッファリングし、多重化処理の計画に従って映
像データパケット、音データパケットおよび付加データ
パケットを多重化して外部へ出力するので、ＣＰＵによ
るパケットヘッダの生成、パケットヘッダの多重化制御
がフレームの境界を検出したときのみ行われるため、Ｃ
ＰＵの負荷を低減でき、従って、この構成においては、
上記効果に加え、さらに高符号化レートのデータ多重化
処理を行うことができるという効果を有する。

【図面の簡単な説明】

【図１】本発明の実施の形態１のデータ多重化装置のブ
ロック構成図

【図２】本発明の実施の形態２のデータ多重化装置のブ
ロック構成図

【図３】本発明の実施の形態３のデータ符号化装置のブ
ロック構成図

【図４】図３に示したビデオエンコーダのブロック構成
図

【図５】図３に示したオーディオエンコーダのブロック
構成図

【図６】本発明の実施の形態４のデータ復号化装置のブ
ロック構成図

【図７】図６に示したデータ分離部のブロック構成図

【図８】図６に示したビデオデコーダのブロック構成図

【図９】図６に示したオーディオデコーダのブロック構
成図

【図１０】本発明の実施の形態５のデータ通信システム
のブロック構成図

【図１１】本発明の実施の形態１におけるメモリ内のデ
ータ構成図

【図１２】本発明の実施の形態２におけるメモリ内のデ
ータ領域図

【図１３】ストリームの構造および相互関係を示すデー
タ構成図

【図１４】従来のデータ多重化装置のブロック構成図

【符号の説明】

１０１ビデオエンコーダ１０２オーディオエンコーダ１０３付加データ生成手段１０４ａフレーム境界検出手段１０４ｂフレーム境界検出手段１０４ｃフレーム境界検出手段１０５ａパケット境界検出手段１０５ｂパケット境界検出手段１０５ｃパケット境界検出手段１０６ａメモリ１０６ｂメモリ１０６ｃメモリ１０７ＣＰＵ１０８ＲＯＭ１０９ＲＡＭ１１０ａバッファメモリ１１０ｂバッファメモリ１１０ｃバッファメモリ１１１スイッチ回路１１２ＦＩＦＯメモリ２０１ビデオエンコーダ２０２オーディオエンコーダ２０３付加データ生成手段２０４ａフレーム境界検出手段２０４ｂフレーム境界検出手段２０４ｃフレーム境界検出手段２０５ａＴＳパケットカウンタ値多重化手段２０５ｂＴＳパケットカウンタ値多重化手段２０５ｃＴＳパケットカウンタ値多重化手段２０６ａメモリ２０６ｂメモリ２０６ｃメモリ２０７ＣＰＵ２０８ＲＯＭ２０９ＲＡＭ２１０ａバッファメモリ２１０ｂバッファメモリ２１０ｃバッファメモリ２１１スイッチ回路２１２ＦＩＦＯメモリ３０１画像信号入力部３０２音信号入力部３０３シリアルインタフェース３０４ａＡ／Ｄ変換器３０４ｂＡ／Ｄ変換器３０５ビデオエンコーダ３０６オーディオエンコーダ３０７付加データ生成部３０８データ多重化部６０１データ分離部６０２ビデオデコーダ６０３オーディオデコーダ６０４付加データデコーダ６０５ａＤ／Ａ変換器６０５ｂＤ／Ａ変換器６０６画像信号出力部６０７音信号出力部６０８シリアルインタフェース１００１カメラ１００２マイクロホン１００３文字データ生成装置１００４データ符号化部１００５誤り訂正符号化部１００６伝送路符号化部１００７データ伝送部１００８伝送路１００９データ受信部１０１０伝送路復号化部１０１１誤り訂正復号化部１０１２データ復号化部１０１３モニタ１０１４スピーカ

Claims

【特許請求の範囲】

【請求項１】複数の入力ラインを介して入力される映
像データ、音データおよび付加データのそれぞれのフレ
ームの境界とパケットの境界を検出し、入力された映像
データ、音データおよび付加データをメモリに格納する
とともに、検出したフレームの境界とパケットの境界を
ＣＰＵバスを通じて受け、メモリ内の映像データ、音デ
ータおよび付加データに対して、ＣＰＵバスを通じてフ
レームの境界とパケットの境界にヘッダデータを書き込
み、パケットデータを生成する処理と、パケット化した
映像データ、音データおよび付加データをバッファリン
グし、生成したパケット数により映像データパケット、
音データパケットおよび付加データパケットの多重化処
理を計画し、多重化処理の計画に従って映像データパケ
ット、音データパケットおよび付加データパケットを多
重化し、出力ラインを介して外部へ出力する処理とを含
むデータ多重化方法。
【請求項２】入力される映像データ、音データおよび
付加データのフレームの境界を検出するフレーム境界検
出手段と、映像データ、音データおよび付加データのパ
ケットの境界を検出するパケット境界検出手段と、映像
データ、音データおよび付加データを格納するメモリ
と、フレームとパケットの境界を通知し、映像データ、
音データおよび付加データに対するヘッダデータを転送
するためのＣＰＵバスと、パケット化した映像データ、
音データおよび付加データをバッファリングするバッフ
ァリング手段と、バッファリングした映像データ、音デ
ータおよび付加データのパケット数に基づいて多重化処
理を計画する多重化処理計画手段と、多重化処理計画手
段の計画に従って、バッファリングした映像データ、音
データおよび付加データを多重化処理する多重化処理手
段と、入力された映像データ、音データおよび付加デー
タそれぞれを前記メモリに供給する複数の入力ライン
と、多重化したデータストリームを外部に出力する出力
ラインとを備えたデータ多重化装置。
【請求項３】複数の入力ラインを介して入力される映
像データ、音データおよび付加データのそれぞれのフレ
ームの境界を検出し、入力された映像データ、音データ
および付加データをメモリに格納するとともに、検出し
たフレームの境界をＣＰＵバスを通じて受け、メモリ内
の映像データ、音データおよび付加データに対してＣＰ
Ｕバスを通じてフレームの境界にヘッダデータを書き込
むことでパケットデータを生成する処理と、フレームの
境界以外のパケットのヘッダデータはパケット数のカウ
ント値のみを上書き多重し、更新する処理と、パケット
化した映像データ、音データおよび付加データをバッフ
ァリングし、ＣＰＵバスを通じてパケットカウント値を
受け、生成したパケット数により映像データパケット、
音データパケットおよび付加データパケットの多重化処
理を計画し、多重化処理の計画に従って映像データパケ
ット、音データパケットおよび付加データパケットを多
重化し、出力ラインを介して外部へ出力する処理とを含
むデータ多重化方法。
【請求項４】入力される映像データ、音データおよび
付加データのフレームの境界を検出するフレーム境界検
出手段と、映像データ、音データおよび付加データを格
納するメモリと、フレームの境界を通知し、映像デー
タ、音データおよび付加データに対するヘッダデータ、
生成した映像データパケット数、音データパケット数、
付加データパケット数を転送するためのＣＰＵバスと、
生成した映像データパケット数、音データパケット数、
付加データパケット数のカウント値をヘッダデータ中に
多重化するパケットカウンタ値多重化手段と、パケット
化した映像データ、音データおよび付加データをバッフ
ァリングするバッファリング手段と、バッファリングし
た映像データ、音データおよび付加データのパケット数
に基づいて多重化処理を計画する多重化処理計画手段
と、多重化処理計画手段の計画に従って、バッファリン
グした映像データ、音データおよび付加データを多重化
処理する多重化処理手段と、入力された映像データ、音
データおよび付加データそれぞれを前記メモリに供給す
る複数の入力ラインと、多重化したデータストリームを
外部に出力する出力ラインとを備えたデータ多重化装
置。
【請求項５】入力される画像情報の情報量を圧縮、符
号化し、入力される音情報の情報量を圧縮、符号化し、
画像情報、音情報に付加するデータを外部から受信する
かまたは内部で生成し、符号化した画像データ、音デー
タおよび付加データを請求項１記載の方法でデータ多重
化し、符号を外部へ送出するデータ符号化方法。
【請求項６】入力される画像情報を情報量圧縮、符号
化する画像情報圧縮符号化手段と、入力される音情報を
情報量圧縮、符号化する音情報圧縮符号化手段と、画像
情報、音情報に付加するデータを受信、生成する付加デ
ータ生成手段と、請求項２記載のデータ多重化装置とを
備えたデータ符号化装置。
【請求項７】入力される画像情報の情報量を圧縮、符
号化し、入力される音情報の情報量を圧縮、符号化し、
画像情報、音情報に付加するデータを外部から受信する
かまたは内部で生成し、符号化した画像データ、音デー
タおよび付加データを請求項３記載の方法でデータ多重
化し、符号を外部へ送出するデータ符号化方法。
【請求項８】入力される画像情報を情報量圧縮、符号
化する画像情報圧縮符号化手段と、入力される音情報を
情報量圧縮、符号化する音情報圧縮符号化手段と、画像
情報、音情報に付加するデータを受信、生成する付加デ
ータ生成手段と、請求項４記載のデータ多重化装置とを
備えたデータ符号化装置。
【請求項９】画像データ、音データおよび付加データ
が請求項１に記載の方法で多重化されているデータスト
リームを受信し、受け取ったデータストリームから画像
データ、音データ、付加データを分離し、分離した画像
データ、音データおよび付加データを復号し、再生する
データ復号化方法。
【請求項１０】請求項１に記載の方法で多重化された
画像データ、音データおよび付加データを分離するデー
タ分離手段と、分離された画像データを復号、再生する
画像データ復号手段と、分離された音データを復号、再
生する音データ復号手段と、分離された付加データを復
号、再生する付加データ復号手段とを備えたデータ復号
化装置。
【請求項１１】画像データ、音データおよび付加デー
タが請求項３に記載の方法で多重化されているデータス
トリームを受信し、受け取ったデータストリームから画
像データ、音データ、付加データを分離し、分離した画
像データ、音データおよび付加データを復号し、再生す
るデータ復号化方法。
【請求項１２】請求項３に記載の方法で多重化された
画像データ、音データおよび付加データを分離するデー
タ分離手段と、分離された画像データを復号、再生する
画像データ復号手段と、分離された音データを復号、再
生する音データ復号手段と、分離された付加データを復
号、再生する付加データ復号手段とを備えたデータ復号
化装置。
【請求項１３】送信側は入力される画像情報、音情報
および付加データをそれぞれ情報量圧縮、符号化し、請
求項１に記載の方法で多重化して送出し、受信側は請求
項１に記載の方法で多重化された画像データ、音データ
および符号化データを分離し、それぞれを復号、再生す
るデータ通信方法。
【請求項１４】入力される画像情報、音情報および付
加データをそれぞれ情報量圧縮、符号化し、請求項１に
記載の方法で多重化するデータ符号化手段と、請求項２
に記載の装置で多重化された画像データ、音データおよ
び付加データをそれぞれ分離し、分離した画像データ、
音データおよび付加データを復号、再生するデータ復号
化手段とを備えたデータ通信装置。
【請求項１５】送信側は入力される画像情報、音情報
および付加データをそれぞれ情報量圧縮、符号化し、請
求項３に記載の方法で多重化して送出し、受信側は請求
項３に記載の方法で多重化された画像データ、音データ
および符号化データを分離し、それぞれを復号、再生す
るデータ通信方法。
【請求項１６】入力される画像情報、音情報および付
加データをそれぞれ情報量圧縮、符号化し、請求項３に
記載の方法で多重化するデータ符号化手段と、請求項３
に記載の方法で多重化された画像データ、音データおよ
び付加データをそれぞれ分離し、分離した画像データ、
音データおよび付加データを復号、再生するデータ復号
化手段とを備えたデータ通信装置。