JP2000232427A - データ多重化装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 データ通信システム等における画像データ、
音響データおよび付加データのデータ多重化および伝送
路への送出をデータを途切れさせることなくかつ、高い
転送レートで行う。 【解決手段】 送信バッファ106からの１パケット分の
データ出力タイミングに同期して、ＣＰＵ部103による
出力パケットの決定、記憶手段104によるデータ選択部1
05の切り替えを行う。また、記憶手段104へは、あらか
じめ、次に多重化して出力するパケットの種類情報を格
納しておく。送信バッファから１パケット分のデータが
出力されたタイミングでデータ選択部のセレクタを切り
替え、受信バッファから１パケット分のデータを送信バ
ッファへ転送するため、送信バッファに対するパケット
データの転送と送信バッファからのパケットデータの出
力はパケットデータの単位で同期がとれている。こうす
ることで、送信バッファからのデータ出力を途切れさせ
ることなく、かつ高いレートでデータ通信を行うことが
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ多重化装置
及びその方法に関し、特に、ＭＰＥＧ方式などで圧縮符
号化した映像データと音響データおよび文字データや制
御データなどの付加データを多重化して１本のデータス
トリームを生成するデータ多重化装置及びその方法に関
する。

【０００２】

【従来の技術】近年、衛星を利用したディジタルテレビ
ジョン放送が実用化され、一般家庭に普及してきてい
る。また、光ファイバなどの専用回線を用いて動画像デ
ータや音響データを双方向に通信するマルチメディア通
信システムも登場してきた。これらのデータ通信では、
高品質のディジタル画像データや音響データを扱ってお
り、画像データや音響データとともに、文字データや相
手側端末の制御データなどの付加データを伝送してい
る。ディジタル画像データや音響データを伝送するため
には、情報量圧縮と符号化が必要である。また、画像デ
ータや音響データおよび付加データといった複数のデー
タを、１本のデータストリームとして伝送するために
は、複数のデータストリームの時分割多重が必要とな
る。これらの情報量圧縮と符号化とデータストリーム多
重化の方式には、国際標準規格であるＭＰＥＧが用いら
れている。従来の複数のデータストリームを多重化する
データ多重化装置の例としては、特開平8-274813号公報
に開示されているものなどが知られている。

【０００３】図１２に、従来のデータ多重化装置のブロ
ック図を示す。パケット処理部1201は、画像データや音
響データや付加データなどのデータストリームＤ１、Ｄ
２、ＤｎとスタッフィングデータＤstuffに対応して設
けられた、複数のパケット処理回路Ｐ１、Ｐ２、Ｐｎ、
Ｐｎ＋１で構成されている。受信バッファ1202は、パケ
ット処理回路Ｐ１、Ｐ２、Ｐｎで生成されたパケットデ
ータを、それぞれ格納する複数の受信バッファ回路Ｂ
１、Ｂ２、Ｂｎで構成されている。ＣＰＵ部1203は、受
信バッファ回路Ｂ１、Ｂ２、Ｂｎのデータ残量を検出
し、その結果に基づいて、多重化するパケットデータを
決定する。データ選択部1204は、ＣＰＵ部1203の決定に
従って、受信バッファ回路Ｂ１、Ｂ２、Ｂｎから出力さ
れるパケットデータを選択し、多重化して出力するセレ
クタである。

【０００４】図１２に示すように、従来のデータ多重化
装置は、入力される画像データや音響データや付加デー
タなどのデータストリームＤ１、Ｄ２、Ｄｎとスタッフ
ィングデータＤstuffを、それぞれに対応したパケット
処理回路Ｐ１、Ｐ２、Ｐｎ、Ｐｎ＋１において、決めら
れたデータ長ごとにパケット化する。パケット化された
パケットデータは、パケット処理回路Ｐ１、Ｐ２、Ｐｎ
それぞれに対応した受信バッファ回路Ｂ１、Ｂ２、Ｂｎ
にいったん格納される。ＣＰＵ部1203において、受信バ
ッファ回路Ｂ１、Ｂ２、Ｂｎのデータ残量を検出し、デ
ータ残量の多い受信バッファのパケットデータを選択す
るよう、データ選択部1204のセレクタを制御する。受信
バッファ回路Ｂ１、Ｂ２、Ｂｎとパケット処理回路Ｐｎ
＋１からのパケットデータは、ＣＰＵ部1203の制御に従
って、データ選択部1204で多重化されて出力される。選
択されたパケットデータの送出が終了すると、ＣＰＵ部
1203は、再び受信バッファのデータ残量を検出し、出力
するパケットデータを決定する。パケットデータの送出
要求があるにもかかわらず、全ての受信バッファが空で
あった場合は、ＣＰＵ部1203は、パケット処理回路Ｐｎ
＋１で生成したスタッフィングデータを選択する。

【０００５】従来のデータ多重化装置をデータ通信シス
テムに適用する場合、図１２におけるデータ選択部1204
の後段に送信バッファを設ける必要がある。データ転送
レートを、データ多重化装置とデータ通信システムにお
ける伝送路で等しくしていても、データ多重化装置がパ
ケットデータを出力するタイミングと伝送路がパケット
データを転送するタイミングは必ずしも一致しない。送
信バッファを設けて、データ多重化装置と伝送路の間の
転送タイミングの差を吸収する必要がある。

【０００６】

【発明が解決しようとする課題】しかし、従来のデータ
多重化装置に送信バッファを付加してデータ通信システ
ムに適用する場合、以下の問題が生じる。

【０００７】データ通信システムでは、伝送路の回線ク
ロックに同期して送信バッファからデータが出力され
る。一方、データ多重化装置から送信バッファへのデー
タ転送は、データ多重化装置内のクロックに同期してい
る。従来のデータ多重化装置を、クロックが同期してい
ないデータ通信システムに適用した場合、クロックの誤
差が蓄積して、徐々に送信バッファのデータが増加した
り、減少したりして、最終的には、送信バッファがオー
バーフローないしアンダーフローしてしまうという問題
がある。

【０００８】また、従来のデータ多重化装置は、受信バ
ッファから１つのパケットデータが転送されるごとに、
受信バッファのデータ残量のサンプリングと、次に多重
化するパケットデータの選択を行っているので、１つ前
のパケットデータの転送が終了してから、次に転送する
パケットデータが決定するまでの間、送信バッファへの
データ転送が停止している。このことにより、回線のデ
ータ転送レートが高くなった場合に、データ多重化装置
の送信バッファに対するデータ転送が間に合わなくなっ
てしまうという問題がある。

【０００９】また、従来のデータ多重化装置は、受信バ
ッファからの１パケット分のデータ転送が終了するたび
に、ＣＰＵ部は、受信バッファのデータ残量の検出と、
次に多重化するパケットデータの選択を行うための演算
などの割り込み処理を行わなければならない。このこと
により、回線のデータ転送レートが高くなった場合に、
ＣＰＵ部の割り込み処理の回数が増大し、送信バッファ
に対するデータ転送が間に合わなくなってしまうという
問題がある。

【００１０】本発明は、上記従来の問題を解決して、デ
ータ通信システムにおいて、回線クロックとデータ多重
化装置内のクロックが同期していない場合でも、送信バ
ッファのオーバーフローやアンダーフローを発生させる
ことなくデータ多重化を行うことができ、かつ、回線の
データ転送レートが高くなった場合でも、送信バッファ
へのデータ転送を途切れることなく行えるデータ多重化
装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明では、データ多重化装置を、複数種類のデ
ータストリームを種類ごとに格納する複数の受信バッフ
ァと、各受信バッファのデータ残量を検出して出力すべ
きデータストリームの種類を決定する演算部と、出力す
べきデータストリームの種類情報を保持する記憶手段
と、記憶手段から出力される種類情報に従って対応する
受信バッファを選択してデータストリームを多重化する
データ選択部と、多重化されたデータストリームを格納
して伝送路の要求に従って多重化されたデータストリー
ムを出力するとともに演算部と記憶手段にデータ出力の
タイミングを通知する送信バッファとを備えた構成とし
た。

【００１２】このように構成したことにより、送信バッ
ファからパケット出力のタイミングを通知してもらい、
送信バッファから回線へ１パケット分のデータが出力さ
れるごとに受信バッファから送信バッファへ１パケット
分のデータを転送して、送信バッファがオーバーフロー
したりアンダーフローしたりすることを防止できる。さ
らに、送信バッファへのデータ転送と同じ期間に、演算
部において次に送信バッファへ転送するデータストリー
ムを決定し、記憶手段にあらかじめ格納しておいて、回
線のデータ転送レートが高くなった場合でも送信バッフ
ァへのデータ出力を途切れることなく行うことができ
る。

【００１３】また、記憶手段は、出力すべきデータスト
リームの種類情報を出力順に複数記憶する手段を有し、
演算部は、出力すべきデータストリームの種類を複数１
度に決定する手段を有し、送信バッファは、複数パケッ
ト分のデータ出力があったことを演算部に通知する手段
を有する構成とした。

【００１４】このように構成したことにより、演算部で
のデータ残量の検出や、送信バッファへの転送データの
決定を行うための演算といった割り込み処理を、送信バ
ッファからの複数パケットの出力に１度行えばよくなる
ため、回線のデータ転送レートが高くなった場合でも演
算部の負荷を軽減することができ、送信バッファへのデ
ータ出力を途切れることなく行うことができる。

【００１５】

【発明の実施の形態】本発明の請求項１に記載の発明
は、複数種類のデータストリームを種類ごとに格納する
複数の受信バッファと、前記各受信バッファのデータ残
量を検出して出力すべきデータストリームの種類を決定
する演算部と、前記出力すべきデータストリームの種類
情報を保持する記憶手段と、前記記憶手段から出力され
る種類情報に従って対応する受信バッファを選択してデ
ータストリームを多重化するデータ選択部と、多重化さ
れたデータストリームを格納して伝送路の要求に従って
多重化されたデータストリームを出力するとともに前記
演算部と前記記憶手段にデータ出力のタイミングを通知
する送信バッファとを具備するデータ多重化装置であ
り、送信バッファから１パケット分のデータが出力され
たタイミングでデータ選択部のセレクタを切り替え、受
信バッファから１パケット分のデータを送信バッファへ
転送して、送信バッファに対するパケットデータの転送
と送信バッファからのパケットデータの出力をパケット
データの単位で同期させ、また、演算部は送信バッファ
が１パケット分のデータを出力している間に次に受信バ
ッファから送信バッファへ転送するパケットデータを決
定し、記憶手段にあらかじめ格納しておき、送信バッフ
ァをオーバーフローもアンダーフローもさせないで、デ
ータを途切れることなく出力して、回線のデータ転送レ
ートを高くするという作用を有する。

【００１６】本発明の請求項２に記載の発明は、請求項
１記載のデータ多重化装置において、前記記憶手段は、
出力すべきデータストリームの種類情報を出力順に複数
記憶する手段を有し、前記演算部は、出力すべきデータ
ストリームの種類を複数１度に決定する手段を有し、前
記送信バッファは、複数パケット分のデータ出力があっ
たことを前記演算部に通知する手段を有するものであ
り、記憶手段が複数回分の出力パケットの種類情報を保
持して、パケットデータの出力順にデータ選択部のセレ
クタを切り替え、演算部は送信バッファからの複数パケ
ット分のデータ出力タイミングで次に受信バッファから
送信バッファへ転送するパケットデータを複数パケット
分決定し、記憶手段に格納して、演算部における割り込
み処理の回数を少なくして処理負担を軽減し、データを
途切れることなく出力して、回線のデータ転送レートを
高くするという作用を有する。

【００１７】本発明の請求項３に記載の発明は、複数種
類のデータストリームを種類ごとに対応する受信バッフ
ァに格納し、演算部において前記各受信バッファのデー
タ残量を検出して出力すべきデータストリームの種類を
決定し、前記出力すべきデータストリームの種類情報を
記憶手段に保持し、データ選択部において受信バッファ
から送信バッファへ転送するデータストリームを前記種
類情報に従って選択してデータストリームを多重化し、
送信バッファは多重化したデータストリームを伝送路の
要求に従って送出するとともに、演算部が出力するデー
タストリームの種類を決定して記憶手段に格納するタイ
ミングと記憶手段がデータストリームの種類情報をデー
タ選択部へ出力するタイミングを通知するデータ多重化
方法であり、送信バッファをオーバーフローもアンダー
フローもさせず、データを途切れることなく出力して、
回線のデータ転送レートを高くするという作用を有す
る。

【００１８】本発明の請求項４に記載の発明は、請求項
３記載のデータ多重化方法において、前記記憶手段に、
出力すべきデータストリームの種類情報を順番に複数保
持し、前記送信バッファから複数回データ出力するごと
に１回前記演算部へタイミングを通知し、前記演算部
は、出力すべきデータストリームを１度に複数種類決定
して前記記憶手段に格納するものであり、演算部におけ
る割り込み処理の回数を少なくして処理負担を軽減し、
データを途切れることなく出力して、回線のデータ転送
レートを高くするという作用を有する。

【００１９】本発明の請求項５に記載の発明は、入力さ
れる画像情報を情報量圧縮して符号化する画像情報圧縮
符号化手段と、入力される音響情報を情報量圧縮して符
号化する音響情報圧縮符号化手段と、前記画像情報と前
記音響情報に付加するデータを受信または生成する付加
データ生成手段と、請求項１記載のデータ多重化装置と
を具備するデータ符号化装置であり、情報量圧縮符号化
した画像データと音響データと付加データを多重化した
データストリームを途切れることなく、かつ高レートで
回線へ送出するという作用を有する。

【００２０】本発明の請求項６に記載の発明は、入力さ
れる画像情報を情報量圧縮して符号化する画像情報圧縮
符号化手段と、入力される音響情報を情報量圧縮して符
号化する音響情報圧縮符号化手段と、前記画像情報と前
記音響情報に付加するデータを受信または生成する付加
データ生成手段と、請求項２記載のデータ多重化装置と
を具備するデータ符号化装置であり、情報量圧縮符号化
した画像データと音響データと付加データを多重化した
データストリームを高レートで回線へ送出するという作
用を有する。

【００２１】本発明の請求項７に記載の発明は、入力さ
れる画像情報の情報量を圧縮して符号化し、入力される
音響情報の情報量を圧縮して符号化し、前記画像情報と
前記音響情報に付加するデータを外部から受信するかま
たは内部で生成し、符号化した画像データと音響データ
および付加データを請求項３記載のデータ多重化方法で
多重化し、多重化したデータストリームを外部へ送出す
るデータ符号化方法であり、情報量圧縮符号化した画像
データと音響データと付加データを多重化したデータス
トリームを途切れることなく、かつ高レートで回線へ送
出するという作用を有する。

【００２２】本発明の請求項８に記載の発明は、入力さ
れる画像情報の情報量を圧縮して符号化し、入力される
音響情報の情報量を圧縮して符号化し、前記画像情報と
前記音響情報に付加するデータを外部から受信するかま
たは内部で生成し、符号化した画像データと音響データ
および付加データを請求項４記載のデータ多重化方法で
多重化し、多重化したデータストリームを外部へ送出す
るデータ符号化方法であり、情報量圧縮符号化した画像
データと音響データと付加データを多重化したデータス
トリームを高レートで回線へ送出するという作用を有す
る。

【００２３】本発明の請求項９に記載の発明は、入力さ
れる画像情報と音響情報および付加データをそれぞれ情
報量圧縮して符号化して多重化する請求項５記載のデー
タ符号化手段と、多重化された画像データと音響データ
および付加データをそれぞれ分離して復号再生するデー
タ復号化手段とを具備するデータ通信システムであり、
画像情報と音響情報および付加データを途切れることな
く、かつ高い転送レートで通信するという作用を有す
る。

【００２４】本発明の請求項１０に記載の発明は、入力
される画像情報と音響情報および付加データをそれぞれ
情報量圧縮して符号化して多重化する請求項６記載のデ
ータ符号化手段と、多重化された画像データと音響デー
タおよび付加データをそれぞれ分離して復号再生するデ
ータ復号化手段とを具備するデータ通信システムであ
り、画像情報と音響情報および付加データを高い転送レ
ートで通信するという作用を有する。

【００２５】本発明の請求項１１に記載の発明は、送信
側は、入力される画像情報と音響情報および付加データ
をそれぞれ情報量圧縮して符号化し、請求項３に記載の
方法で多重化して送出し、受信側は、多重化された画像
データと音響データおよび符号化データを分離して、そ
れぞれを復号再生するデータ通信方法であり、画像情報
と音響情報および付加データを途切れることなく、かつ
高い転送レートで通信するという作用を有する。

【００２６】本発明の請求項１２に記載の発明は、送信
側は、入力される画像情報と音響情報および付加データ
をそれぞれ情報量圧縮して符号化し、請求項４に記載の
方法で多重化して送出し、受信側は、多重化された画像
データと音響データおよび符号化データを分離して、そ
れぞれを復号再生するデータ通信方法であり、画像情報
と音響情報と付加データを高い転送レートで通信すると
いう作用を有する。

【００２７】以下、本発明の実施の形態について、図１
〜図１１を参照しながら詳細に説明する。

【００２８】（第１の実施の形態）本発明の第１の実施
の形態は、データストリームを種類ごとに受信バッファ
に格納し、各受信バッファのデータ残量を検出して出力
すべきデータストリームの種類を決定し、対応する受信
バッファを選択してデータストリームを多重化し、伝送
路の要求に従って送信バッファから１パケット分のデー
タを出力し、出力されたタイミングに同期して、受信バ
ッファから送信バッファへ１パケット分のデータ転送が
行われるデータ多重化装置である。

【００２９】図１は、本発明の第１の実施の形態のデー
タ多重化装置のブロック構成図である。図１において、
パケット処理部101は、複数のパケット処理回路Ｐ１、
Ｐ２、Ｐｎ、Ｐｎ＋１で構成されるパケット処理手段で
ある。受信バッファ102は、複数の受信バッファ回路Ｂ
１、Ｂ２、Ｂｎで構成されるバッファである。ＣＰＵ部
103は、出力するパケットを決定するための演算手段で
ある。記憶手段104は、出力するパケットの種類情報を
格納しておくための記憶装置である。データ選択部105
は、送信バッファへ転送するパケットデータを選択する
ためのセレクタで構成されるデータ選択手段である。送
信バッファ106は、多重化されたパケットデータを格納
し、回線へ送出するためのバッファである。

【００３０】上記のように構成された本発明の第１の実
施の形態のデータ多重化装置の動作について説明する。
ＭＰＥＧなどの方式で情報量圧縮されて符号化された画
像データや音響データや、文字データや制御データなど
の付加データが、データ多重化装置に入力される。ま
ず、画像データや音響データや付加データそれぞれに対
応したパケット処理回路Ｐ１、Ｐ２、Ｐｎにおいて、入
力データは規定されたパケット長ごとにパケット化され
る。

【００３１】図２に、ＭＰＥＧにおけるパケットデータ
の構成を示す。図２に示すように、ＭＰＥＧでは、情報
量圧縮符号化したデータストリーム184バイトに対し
て、４バイトのヘッダを付加し、188バイト単位のパケ
ットを生成する。パケット処理部101におけるパケット
処理回路Ｐｎ＋１は、スタッフィングデータのパケット
を生成する。パケット処理部101の出力である画像デー
タパケットや音響データパケットや付加データパケット
は、それぞれに対応した受信バッファ回路Ｂ１、Ｂ２、
Ｂｎに順次格納される。

【００３２】一方、送信バッファ106は、多重化された
パケットデータを格納していて、回線クロックに同期し
てパケットデータを外部へ出力する。このとき、１パケ
ット分のデータ出力があったことを、ＣＰＵ部103と記
憶手段104に通知する。ＣＰＵ部103は、送信バッファか
ら通知されたタイミングで、受信バッファ102のそれぞ
れのデータ残量を検出し、データ残量の最も多い受信バ
ッファのパケットデータを出力することを決定する。デ
ータの送出期間中に、全ての受信バッファが空になった
場合は、スタッフィングデータのパケットを出力するこ
とにする。決定した出力パケットの種類情報は、いった
ん記憶手段104に格納される。記憶手段104は、送信バッ
ファから通知されたタイミングで、格納していた出力パ
ケットの種類情報に従って、データ選択部105のセレク
タを切り替える。このとき、選択された受信バッファ10
3から、１パケット分のデータが、送信バッファ106へ転
送される。また、記憶手段104は、次に出力するパケッ
トの種類情報を新しく格納する。

【００３３】図３に、ＣＰＵ部103が決定し、記憶手段1
04で種類情報を記憶するパケットと、データ選択部105
が選択するパケットと、送信バッファ106が出力するパ
ケットの出力タイミングを示す。図３において、時間ｔ
は、送信バッファから１パケット分のデータが出力され
る時間に相当する。図３に示すように、送信バッファ10
6から１番目のパケットが出力されているとき、データ
選択部105では、２番目のパケットが選択され、送信バ
ッファ106に転送されている。また、このときＣＰＵ部1
03では、３番目の出力パケットの決定と、記憶手段104
への格納処理が行われる。送信バッファ106へのデータ
転送は、送信バッファ106からのデータ出力より高速に
行うことで、データ出力が途切れることはない。

【００３４】なお、以上の説明では、パケット処理部10
1を受信バッファ102の前段に配置した場合の構成につい
て説明したが、図４に示すように、パケット処理部101
を受信バッファ102の後段に配置しても上記と同様の効
果が得られる。更に、図５に示すように、パケット処理
部101をデータ選択部105の後段に配置しても上記と同様
の効果が得られる。

【００３５】上記のように、本発明の第１の実施の形態
では、データ多重化装置を、データストリームを種類ご
とに受信バッファに格納し、各受信バッファのデータ残
量を検出して出力すべきデータストリームの種類を決定
し、対応する受信バッファを選択してデータストリーム
を多重化し、伝送路の要求に従って送信バッファから１
パケット分のデータを出力し、出力されたタイミングに
同期して受信バッファから送信バッファへ１パケット分
のデータ転送が行われる構成としたので、データ多重化
装置内クロックと回線クロックが同期していなくても、
送信バッファがオーバーフローやアンダーフローを起こ
してデータが途切れることがない。

【００３６】また、出力パケットを決定し、出力パケッ
トの種類情報を記憶手段への格納する処理と、受信バッ
ファを選択してパケットデータを送信バッファへ転送す
る処理を異なる期間に行い、あらかじめ出力パケット情
報を決定しておくので、回線のデータ転送レートが高く
なり、送信バッファからのデータ出力周期が短くなって
も、データ出力が途切れることがない。

【００３７】（第２の実施の形態）本発明の第２の実施
の形態は、送信バッファから、複数パケット分のデータ
出力があったことをＣＰＵ部に通知し、ＣＰＵ部は、出
力すべきデータストリームの種類を複数１度に決定し、
出力すべきデータストリームの種類情報を出力順に複数
記憶するデータ多重化装置である。

【００３８】図６は、本発明の第２の実施の形態のデー
タ多重化装置のブロック構成図である。図６において、
パケット処理部101、受信バッファ102、データ選択部10
5については、第１の実施の形態と同一である。ＣＰＵ
部203は、出力するパケットを１度にＮ回分決定するた
めの演算処理部である。記憶手段204は、出力するパケ
ットの種類情報を出力順にＮ回分格納しておくための記
憶装置である。ＣＰＵ部が決定したＮ回分のパケット出
力情報を格納するＮ個のシフトレジスタＬ１、Ｌ２、Ｌ
３、Ｌｎと、データ選択部105をパケットの出力順に制
御するＮ個のシフトレジスタＳ１、Ｓ２、Ｓ３、Ｓｎか
ら構成されている。送信バッファ206は、Ｎパケット分
のデータ出力のタイミングをＣＰＵ部203と記憶手段204
へ通知するためのバッファである。

【００３９】上記のように構成された本発明の第２の実
施の形態のデータ多重化装置の動作について説明する。
第１の実施の形態と同様に、入力される画像データや音
響データや付加データは、パケット化され受信バッファ
に格納される。送信バッファ206は、パケットデータを
出力するとともに、１パケット分のデータ出力のタイミ
ングを記憶手段204へ通知し、Ｎパケット分のデータ出
力のタイミングをＣＰＵ部203と記憶手段204へ通知す
る。ＣＰＵ部203は、送信バッファ206から通知されるＮ
パケット分の出力タイミングで、受信バッファ102から
データ残量を１回サンプリングし、Ｎ回分の出力パケッ
トを、データ残量の多い順に決定する。決定した出力パ
ケットの種類情報は、出力する順番に記憶手段204のシ
フトレジスタＬ１、Ｌ２、Ｌ３、Ｌｎに格納する。この
とき、Ｌ１からＬｎの方向に出力の早い順番で格納す
る。記憶手段204では、送信バッファ206から通知される
Ｎパケット分の出力タイミングで、シフトレジスタＬ
１、Ｌ２、Ｌ３、Ｌｎの値を、それぞれに対応したシフ
トレジスタＳ１、Ｓ２、Ｓ３、Ｓｎに転送する。そし
て、Ｓ１に格納されている種類情報に従って、データ選
択部105を制御する。送信バッファ206から通知される１
パケット分のデータ出力のタイミングで、Ｓｎの情報を
Ｓ３に、Ｓ３の情報をＳ２に、Ｓ２の情報をＳ１にそれ
ぞれ同時にシフトする。こうして、送信バッファ206か
ら１パケット分のデータ出力があるごとに、データ出力
の種類情報をＳ１の方向にシフトさせる。図７に、ＣＰ
Ｕ部203が記憶手段204のシフトレジスタＬ１、Ｌ２、Ｌ
３、Ｌ４に格納するパケット、記憶手段204の各シフト
レジスタＳ１、Ｓ２，Ｓ３、Ｓ４が格納するパケット、
送信バッファ206が出力するパケットの出力タイミング
を示す。図７では、Ｎ＝４の場合を示している。図７に
示すように、ＣＰＵ部203が行う４回分の出力パケット
の決定とシフトレジスタへの格納は、４パケットの出力
に１回でよい。

【００４０】上記のように、本発明の第２の実施の形態
では、データ多重化装置を、送信バッファから、複数パ
ケット分のデータ出力があったことをＣＰＵ部に通知
し、ＣＰＵ部は、出力すべきデータストリームの種類を
複数１度に決定し、出力すべきデータストリームの種類
情報を出力順に複数記憶する構成としたので、ＣＰＵ部
は送信バッファからのＮパケット分の出力タイミング
で、データ残量の検出、出力パケットの決定を行うた
め、１パケットごとの処理に比べて、ＣＰＵ部の割り込
み処理の回数を削減でき、回線のデータ転送レートが高
くなった場合でもＣＰＵ部の負荷を軽減することがで
き、送信バッファへのデータ出力を途切れることなく行
うことができる。

【００４１】（第３の実施の形態）本発明の第３の実施
の形態は、入力される画像情報を情報量圧縮して符号化
するビデオエンコーダと、入力される音響情報を情報量
圧縮して符号化するオーディオエンコーダと、画像情報
と音響情報に付加するデータを受信または生成する付加
データ生成部と、データ多重化部とを備えたデータ符号
化装置である。

【００４２】図８は、本発明の第３の実施の形態のデー
タ符号化装置のブロック構成図である。図８において、
画像信号入力部501は、例えば、カメラなどからの画像
信号を入力する回路である。音信号入力部502は、例え
ば、マイクロホンなどからの音信号を入力する回路であ
る。シリアルインタフェース503は、例えば、ＲＳ―232
Ｃなどのシリアルデータを受信して信号レベルの変換な
どを行うインタフェースである。Ａ／Ｄ変換器504ａ、5
04ｂは、アナログの画像信号や音響信号をディジタルデ
ータに変換する回路である。ビデオエンコーダ505は、
図９に示すように、加算回路601、ＤＣＴ回路602、量子
化回路603、逆量子化回路604、逆ＤＣＴ回路605、加算
回路606、フレームメモリ回路607、可変長符号化回路60
8、ビットレート制御回路609、可変長バッファ610から
構成され、入力される画像データをＭＰＥＧ２方式によ
り情報量圧縮、符号化し、ビデオデータストリームを生
成し、図８のデータ多重化部508へ出力する装置であ
る。オーディオエンコーダ506は、図１０に示すよう
に、サブバンド分析フィルタバンク701、線形量子化回
路702、ビット圧縮回路703、ＦＦＴ（Fast Fourier Tra
nsform）回路704、心理聴覚モデル705、動的ビット割り
当て回路706、スケールファクタ選択情報記憶回路707、
スケールファクタ抽出回路708、サイド情報符号化回路7
09およびビットストリーム生成回路710から構成され、
入力される音データをＭＰＥＧ２方式により情報量圧
縮、符号化し、オーディオデータストリームを生成し、
図８のデータ多重化部508へ出力する装置である。付加
データ生成部507は、外部で生成され、シリアルインタ
フェース503を介して受信した付加データをバッファリ
ングし、付加データストリームとしてデータ多重化部50
8へ出力する回路である。また、付加データ生成部507内
部で生成したデータストリームを、付加データストリー
ムとして出力する場合もある。データ多重化部508は、
第１の実施の形態や第２の実施の形態で示したように、
画像データ、音データおよび付加データの各データスト
リームをパケット化し、各パケットを多重して通信回線
などへ出力する装置である。

【００４３】上記のように、本発明の第３の実施の形態
では、データ符号化装置を、入力される画像情報を情報
量圧縮して符号化するビデオエンコーだと、入力される
音響情報を情報量圧縮して符号化するオーディオエンコ
ーダと、画像情報と音響情報に付加するデータを受信ま
たは生成する付加データ生成部と、第１の実施の形態の
データ多重化部とを備えた構成としたので、情報量圧縮
符号化した画像データや音響データ、付加データを多重
化したデータストリームを途切れることなく、かつ高レ
ートで回線へ送出できる。また、データ多重化部を第２
の実施の形態に記載した構成とすることにより、第１の
実施の形態よりも更に高い転送レートで多重化データを
回線へ送出できる。

【００４４】（第４の実施の形態）本発明の第４の実施
の形態は、入力される画像情報と音響情報および付加デ
ータをそれぞれ情報量圧縮して符号化して多重化するデ
ータ符号化部と、多重化された画像データと音響データ
および付加データをそれぞれ分離して復号再生するデー
タ復号化部とを備えたデータ通信システムである。

【００４５】図１１は、本発明の第４の実施の形態のデ
ータ通信システムのブロック構成図であり、第３の実施
の形態のデータ符号化装置を応用したものである。図１
１において、カメラ801は、動画像信号を出力するビデ
オカメラである。マイクロホン802は、音信号を出力す
る手段である。文字データ生成装置803は、画像や音に
合わせた文字データを生成し、出力する装置である。デ
ータ符号化部804は、第３の実施の形態に記載したデー
タ符号化装置であり、入力される画像信号、音信号、付
加データとしての文字データを情報量圧縮、符号化し、
データ多重化を行い多重化データを出力する。誤り訂正
符号化部805は、伝送路上での誤りを受信側で検出、訂
正するための符号化回路である。伝送路符号化部806
は、伝送フレームを構成する回路である。データ伝送部
807は、送信バッファなどで構成される送信回路であ
る。伝送路808は、有線または無線の通信路である。デ
ータ受信部809は、受信バッファなどで構成される受信
回路である。伝送路復号化部810は、フレーム同期、デ
ータ抽出などを行う回路である。誤り訂正復号化部811
は、伝送路上での誤りを検出、訂正する回路である。デ
ータ復号化部812は、データ復号化装置であり、多重化
されている画像データ、音データ、付加データとしての
文字データを分離し、それぞれを復号、再生し、出力す
る。モニタ813は、再生された画像を表示する装置であ
る。スピーカ814は、再生された音を出力する装置であ
る。

【００４６】上記のように、本発明の第４の実施の形態
では、データ通信システムを、カメラやマイクロホンや
データ生成装置などで生成した画像情報と音響情報およ
び付加データをそれぞれ情報量圧縮して符号化して多重
化する第３の実施の形態のデータ符号化部と、多重化さ
れた画像データと音響データおよび付加データをそれぞ
れ分離して復号再生するデータ復号化部とを備えた構成
としたので、画像情報、音響情報および付加データを途
切れることなく、かつ高い転送レートでのデータ通信が
可能となる。

【００４７】

【発明の効果】以上の説明から明らかなように、本発明
では、データ多重化装置を、複数種類のデータストリー
ムを種類ごとに格納する複数の受信バッファと、各受信
バッファのデータ残量を検出して出力すべきデータスト
リームの種類を決定する演算部と、出力すべきデータス
トリームの種類情報を保持する記憶手段と、記憶手段か
ら出力される種類情報に従って対応する受信バッファを
選択してデータストリームを多重化するデータ選択部
と、多重化されたデータストリームを格納して伝送路の
要求に従って多重化されたデータストリームを出力する
とともに演算部と記憶手段にデータ出力のタイミングを
通知する送信バッファとを具備する構成としたので、送
信バッファにおいてオーバーフローやアンダーフローが
発生せず、データ通信を途切れることなく行うことがで
きるという効果が得られる。

【００４８】また、記憶手段は、出力すべきデータスト
リームの種類情報を出力順に複数記憶する手段を有し、
演算部は、出力すべきデータストリームの種類を複数１
度に決定する手段を有し、送信バッファは、複数パケッ
ト分のデータ出力があったことを演算部に通知する手段
を有する構成としたので、演算部の割り込み処理の回数
を削減して、回線側のデータ転送レートが高い場合で
も、送信バッファからのパケットデータの出力が途切れ
ることなくデータ通信を行うことができるという効果が
得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のデータ多重化装置
のブロック構成図、

【図２】ＭＰＥＧにおけるパケットデータの構成図、

【図３】本発明の第１の実施の形態におけるパケットデ
ータの出力タイミング、

【図４】本発明の第１の実施の形態のデータ多重化装置
の構成例１、

【図５】本発明の第１の実施の形態のデータ多重化装置
の構成例２、

【図６】本発明の第２の実施の形態のデータ多重化装置
のブロック構成図、

【図７】本発明の第２の実施の形態におけるパケットデ
ータの出力タイミング、

【図８】本発明の第３の実施の形態のデータ符号化装置
のブロック構成図、

【図９】本発明の第３の実施の形態のデータ符号化装置
に用いられるビデオエンコーダのブロック構成図、

【図１０】本発明の第３の実施の形態のデータ符号化装
置に用いられるオーディオエンコーダのブロック構成
図、

【図１１】本発明の第４の実施の形態のデータ通信シス
テムのブロック構成図、

【図１２】従来のデータ多重化装置のブロック構成図で
ある。

【符号の説明】

101 パケット処理部 102 受信バッファ 103 ＣＰＵ部 104 記憶手段 105 データ選択部 106 送信バッファ 203 ＣＰＵ部 204 記憶手段 206 送信バッファ 501 画像信号入力部 502 音信号入力部 503 シリアルインタフェース 504a Ａ／Ｄ変換器 504b Ａ／Ｄ変換器 505 ビデオエンコーダ 506 オーディオエンコーダ 507 付加データ生成部 508 データ多重化部 801 カメラ 802 マイクロホン 803 文字データ生成装置 804 データ符号化部 805 誤り訂正符号化部 806 伝送路符号化部 807 データ伝送部 808 伝送路 809 データ受信部 810 伝送路復号化部 811 誤り訂正復号化部 812 データ復号化部 813 モニタ 814 スピーカ 1201 パケット処理部 1202 受信バッファ 1203 ＣＰＵ部 1204 データ選択部

Claims (12)

【特許請求の範囲】
1. 【請求項１】 複数種類のデータストリームを種類ごと
   に格納する複数の受信バッファと、前記各受信バッファ
   のデータ残量を検出して出力すべきデータストリームの
   種類を決定する演算部と、前記出力すべきデータストリ
   ームの種類情報を保持する記憶手段と、前記記憶手段か
   ら出力される種類情報に従って対応する受信バッファを
   選択してデータストリームを多重化するデータ選択部
   と、多重化されたデータストリームを格納して伝送路の
   要求に従って多重化されたデータストリームを出力する
   とともに前記演算部と前記記憶手段にデータ出力のタイ
   ミングを通知する送信バッファとを具備することを特徴
   とするデータ多重化装置。
2. 【請求項２】 前記記憶手段は、出力すべきデータスト
   リームの種類情報を出力順に複数記憶する手段を有し、
   前記演算部は、出力すべきデータストリームの種類を複
   数１度に決定する手段を有し、前記送信バッファは、複
   数パケット分のデータ出力があったことを前記演算部に
   通知する手段を有することを特徴とする請求項１記載の
   データ多重化装置。
3. 【請求項３】 複数種類のデータストリームを種類ごと
   に対応する受信バッファに格納し、演算部において前記
   各受信バッファのデータ残量を検出して出力すべきデー
   タストリームの種類を決定し、前記出力すべきデータス
   トリームの種類情報を記憶手段に保持し、データ選択部
   において受信バッファから送信バッファへ転送するデー
   タストリームを前記種類情報に従って選択してデータス
   トリームを多重化し、送信バッファは多重化したデータ
   ストリームを伝送路の要求に従って送出するとともに、
   演算部が出力するデータストリームの種類を決定して記
   憶手段に格納するタイミングと記憶手段がデータストリ
   ームの種類情報をデータ選択部へ出力するタイミングを
   通知することを特徴とするデータ多重化方法。
4. 【請求項４】 前記記憶手段において、出力すべきデー
   タストリームの種類情報を順番に複数保持し、前記送信
   バッファから複数回データ出力するごとに１回前記演算
   部へタイミングを通知し、前記演算部は、出力すべきデ
   ータストリームを１度に複数種類決定して前記記憶手段
   に格納することを特徴とする請求項３記載のデータ多重
   化方法。
5. 【請求項５】 入力される画像情報を情報量圧縮して符
   号化する画像情報圧縮符号化手段と、入力される音響情
   報を情報量圧縮して符号化する音響情報圧縮符号化手段
   と、前記画像情報と前記音響情報に付加するデータを受
   信または生成する付加データ生成手段と、請求項１記載
   のデータ多重化装置とを具備することを特徴とするデー
   タ符号化装置。
6. 【請求項６】 入力される画像情報を情報量圧縮して符
   号化する画像情報圧縮符号化手段と、入力される音響情
   報を情報量圧縮して符号化する音響情報圧縮符号化手段
   と、前記画像情報と前記音響情報に付加するデータを受
   信または生成する付加データ生成手段と、請求項２記載
   のデータ多重化装置とを具備することを特徴とするデー
   タ符号化装置。
7. 【請求項７】 入力される画像情報の情報量を圧縮して
   符号化し、入力される音響情報の情報量を圧縮して符号
   化し、前記画像情報と前記音響情報に付加するデータを
   外部から受信するかまたは内部で生成し、符号化した画
   像データと音響データおよび付加データを請求項３記載
   のデータ多重化方法で多重化し、多重化したデータスト
   リームを外部へ送出することを特徴とするデータ符号化
   方法。
8. 【請求項８】 入力される画像情報の情報量を圧縮して
   符号化し、入力される音響情報の情報量を圧縮して符号
   化し、前記画像情報と前記音響情報に付加するデータを
   外部から受信するかまたは内部で生成し、符号化した画
   像データと音響データおよび付加データを請求項４記載
   のデータ多重化方法で多重化し、多重化したデータスト
   リームを外部へ送出することを特徴とするデータ符号化
   方法。
9. 【請求項９】 入力される画像情報と音響情報および付
   加データをそれぞれ情報量圧縮して符号化して多重化す
   る請求項５記載のデータ符号化手段と、多重化された画
   像データと音響データおよび付加データをそれぞれ分離
   して復号再生するデータ復号化手段とを具備することを
   特徴とするデータ通信システム。
10. 【請求項１０】 入力される画像情報と音響情報および
    付加データをそれぞれ情報量圧縮して符号化して多重化
    する請求項６記載のデータ符号化手段と、多重化された
    画像データと音響データおよび付加データをそれぞれ分
    離して復号再生するデータ復号化手段とを具備すること
    を特徴とするデータ通信システム。
11. 【請求項１１】 送信側は、入力される画像情報と音響
    情報および付加データをそれぞれ情報量圧縮して符号化
    し、請求項３に記載の方法で多重化して送出し、受信側
    は、多重化された画像データと音響データおよび符号化
    データを分離して、それぞれを復号再生することを特徴
    とするデータ通信方法。
12. 【請求項１２】 送信側は、入力される画像情報と音響
    情報および付加データをそれぞれ情報量圧縮して符号化
    し、請求項４に記載の方法で多重化して送出し、受信側
    は、多重化された画像データと音響データおよび符号化
    データを分離して、それぞれを復号再生することを特徴
    とするデータ通信方法。