JP2001189709A - マルチメディア情報装置およびその伝送方法 - Google Patents

Abstract

(57)【要約】 【課題】TV電話の映像、音声を含むパケットの多重化効
率を向上させる。 【解決手段】回線交換網に接続されるマルチメディア情
報装置であって所定容量単位で伝送する第１メディア情
報(AD)と、フレーム単位で多重化パケットを終結する必
要のある第２メディア情報(VD)を少なくとも伝送対象と
し多重化パターンを示す多重化コード情報を格納したヘ
ッダと、伝送対象メディア情報を多重化コード情報対応
の多重化パターンで多重化しペイロードに格納した形式
でパケット化し伝送する装置において、AD及びVDを保持
する一時保持手段(FIFO) 122,132と、FIFOに保持された
メディア情報を取出し多重化すると共にADがあるときは
所定容量から当該ADの伝送容量を差引いた伝送容量残存
量をVDを含む他情報の伝送に供してADと共に多重化しパ
ケット伝送に供し、伝送VDのフレームの残容量が伝送容
量残存量以上のときは伝送VDのフレームの残容量全てを
FIFOから取出し多重化し１パケットとして伝送に供すべ
く処理する多重化手段143を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、マルチメディア
情報を扱う端末において、マルチメディア情報を多重化
し伝送路を介して通信し、伝送路を介して受信した情報
をマルチメディア情報に分離し出力するマルチメディア
情報装置およびその伝送方法に関する。

【０００２】

【従来の技術】マルチメディア情報通信には、オーディ
オ情報（音声情報）、ビデオ情報（映像情報）などが含
まれるが、これらはリアルタイム性が重要となる。すな
わち、映像と音声が関連していて同期関係を維持する必
要がある場合、その同期が崩れると受信側では内容が掴
みにくくなるからである。

【０００３】従って、このようなことのないようにする
には、マルチメディア情報通信におけるオーディオ情報
（音声情報）、ビデオ情報（映像情報）のリアルタイム
伝送技術が必須である。

【０００４】これに対し、従来のデータ系の通信におけ
るプロトコルは、正しく情報を伝送することに力点を置
いていた。そのため、マルチメディア情報を扱うために
は、リアルタイム性を確保するために、規定時間内に情
報を伝送すると云う条件が加わる。

【０００５】マルチメディア情報としては、オーディオ
情報、ビデオ情報、データ情報、制御情報と云った各情
報が含まれて構成されており、これらと、さまざまな通
信インフラの組み合わせで、マルチメディア情報通信の
対象となるさまざまなプロトコルが存在する。

【０００６】ところで、マルチメディア情報通信の対象
となるプロトコルの１つとして、ＩＴＵ‐Ｔで標準化さ
れた“Ｈ．３２４”は、ＧＳＴＮ（一般交換電話網）に
おける低ビットレートマルチメディア電話端末を規定し
ている。すなわち、これはテレビ電話の規格であり、こ
の“Ｈ．３２４”を採用したシステムの要部機能構成図
を図８に、また、このシステムを用いたネットワーク構
成例を図７に示す。

【０００７】図７において、５９０はＧＳＴＮ（一般交
換電話網：公衆網）であり、５００はそれぞれマルチメ
ディア情報端末であって、ＧＳＴＮ ５９０を介して回
線接続され、通信可能となる。マルチメディア情報端末
５００は、ここでは例えばテレビ電話であり、話者を撮
像するカメラ５００ａ、画像を表示するモニタ５００
ｂ、音声を入力するためのマイクロフォン５００ｃ、音
声を出力するためのスピーカ５００ｄ、データを取り扱
うための機能要素であるデータアプリケーション５００
ｅ、マルチメディア情報端末５００の各構成要素の各種
制御を司るシステムコントロール部５００ｆ、電話網に
おける各種シグナル信号の受け渡して呼制御をするため
のプロトコルであるシグナリングプロトコル部５００
ｇ、電話網における制御信号の受け渡しのためのプロト
コルであるコントロールプロトコル部５４０、映像信号
を符号化し、また、符号化されている映像信号を復号化
してもとの映像信号に戻す映像コーデック部５１０、音
声信号を符号化し、また、符号化されている音声信号を
復号化してもとの音声信号に戻す音声コーデック部５２
０、データの受け渡しのためのプロトコルであるデータ
プロトコル部５３０、映像コーデック５１０や音声コー
デック５２０から与えられるそれぞれでの符号化された
データおよびシグナリングプロトコル部５００ｇやコン
トロールプロトコル部５４０やデータプロトコル部５３
０より与えられる各種の情報などを多重化して多重化信
号（ディジタル信号）としてモデムに出力し、モデムか
ら受けたディジタルの多重化信号を分離して映像、音
声、シグナル、制御信号、データに戻し、これらを映像
コーデック部５１０や音声コーデック部５２０およびシ
グナリングプロトコル部５００ｇやコントロールプロト
コル部５４０やデータプロトコル部５３０などのうちの
種別対応のものに振り分けて与える多重化部５８０、多
重化部５８０の出力（ディジタル信号）を電話網用のア
ナログ信号に変調してＧＳＴＮ ５９０に出力し、ＧＳ
ＴＮ ５９０から受け取ったアナログ信号をディジタル
信号に復調して多重化部５８０に与えるモデム５８０等
からなる。

【０００８】マルチメディア情報端末５００の要部をも
う少し詳しく説明する。マルチメディア情報端末５００
の要部構成は、図８の如きであって、映像コーデック部
５１０は、ビデオ情報（映像情報）を符号化／復号化す
る“Ｈ．２６３”あるいは“Ｈ．２６１”の規格に準拠
した映像コーデックであり、この映像コーデック部５１
０は、撮像装置としてのカメラ５００ａで撮像されて入
力された画像データ列であるビデオストリームを符号化
し、多重化部５７０に出力し、また、多重化部５７０よ
り入力される情報を復号化してビデオストリームを生成
し、モニタ（モニタディスプレイ）５００ｂに出力す
る。

【０００９】音声コーデック部５２０は“Ｇ．７２３”
の規格に準拠しており、音声を受けてこれを音声信号に
変換するマイクロフォン５００ｃから入力される音声情
報（音声信号）を符号化し、多重化部５７０に出力し、
また、多重化部５７０より入力される情報を復号化して
音声情報を生成し、スピーカ５００ｄに出力する。

【００１０】音声の入力経路には信号に遅延を与える遅
延回路５５０が設けてあり、この遅延回路５５０の遅延
時間を調整することにより、映像と音声の同期を保持す
ることができる。

【００１１】データプロトコル部５３０は、データアプ
リケーションをサポートする。

【００１２】制御プロトコル部（コントロールプロトコ
ル部）５４０は“Ｈ．２４５”の規格に準拠しており、
端末間の能力情報交換や、論理チャネルの開設などのコ
マンドや手順を規定している。制御プロトコル部５４０
と多重化部５７０の間には、ＳＲＰやＬＡＰＭなどのデ
ータプロトコル５６０が介在する。

【００１３】多重化部５７０は“Ｈ．２２３”の規格に
準拠しており、音声情報、映像情報、データ情報、制御
情報の各々の情報をシリアル信号へ多重化およびシリア
ル信号から各々の情報を分離を行なう。

【００１４】モデム５８０は、多重化部５７０から出力
されるデジタル信号をＧＳＴＮ５９０のアナログ信号へ
インタフェースする。

【００１５】多重化部５７０は多重化レイヤ部５７５と
アダプテーションレイヤ部５７１，５７２，５７３，５
７４で構成される。

【００１６】多重化部５７０における多重化レイヤ部５
７５でのパケットフォーマット６１０（ＭＵＸ‐ＰＤ
Ｕ）を図９に示す。多重化レイヤ部５７５でのパケット
フォーマットであるＭＵＸ‐ＰＤＵ ６１０は、１バイ
トのヘッダ６３０と、０バイト以上のペイロード６４０
とで構成される。そして、ＨＤＬＣフラグ６２０を使用
してパケットの区切りを示すようにしている。ＨＤＬＣ
フラグ６２０がＭＵＸ‐ＰＤＵ ６１０内で現れないこ
とを保証するために、送信側ではＭＵＸ‐ＰＤＵ６１０
内の５個連続して現れる“１”の後には“０”を挿入
し、受信側ではＭＵＸ‐ＰＤＵ ６１０内の５個連続し
て現れる“１”の後の“０”を削除する。

【００１７】ヘッダ６３０は、多重化コード領域６３
２、ヘッダ誤り制御領域６３１、パケットマーカ領域６
３３で構成される。多重化コード領域６３２は４ビット
構成であって、この多重化コード領域６３２は、４ビッ
トで表現可能な十進数“０”から“１５”までの１６種
あるうちの、どの多重化コードを適用するかを知らせる
ために、該当のものを埋め込んで送受するために用いる
領域で、ＭＵＸ‐ＰＤＵ６１０のペイロード６４０の各
バイトが属する論理チャネルの多重化パターンのエント
リを指定する。

【００１８】ヘッダ誤り制御領域６３１は３ビット構成
であって、このヘッダ誤り制御領域６３１は、３ビット
ＣＲＣによる多重化コード領域の誤り検出のために使用
する。

【００１９】ヘッダ誤り制御領域６３１は、多重化コー
ドの内容とｘ³ との積について生成多項式ｘ³ ＋ｘ＋１
で除算した剰余を含む。

【００２０】ヘッダ６３０のパケットマーカ領域６３３
は、ＭＵＸ‐ＰＤＵ ６１０の最終バイトが、ＡＬ‐Ｐ
ＤＵ ７１０または８１０の最終バイトである場合に
“１”を表示する領域である。０番目の多重化パターン
のエントリは、デフォルトで制御チャネルに割り当てら
れる。また、１番目から１５番目までの多重化パターン
のエントリは、制御プロトコル（“Ｈ．２４５”の規格
準拠）により、端末間で交換される。

【００２１】アダプテーションレイヤは第１のアダプテ
ーションレイヤ部であるＡＬ１ ５７３，５７４、第２
のアダプテーションレイヤ部であるＡＬ２ ５７２およ
び第３のアダプテーションレイヤ部であるＡＬ３ ５７
１までの計３つが規定されている。

【００２２】第１のアダプテーションレイヤ部であるＡ
Ｌ１ ５７３，５７４はデータプロトコルおよび制御情
報を転送するために使用する。また、第２のアダプテー
ションレイヤ部であるＡＬ２ ５７２はオーディオコー
デック部（音声コーデック部）５２０の情報を転送する
ために使用する。

【００２３】第２のアダプテーションレイヤ部であるＡ
Ｌ２ ５７２のパケット７１０（ＡＬ２‐ＰＤＬ）のフ
ォーマットを図１０に示す。図１０に示すように、ＡＬ
‐ＰＤＵ ７１０は１バイトのシーケンス番号領域７２
０、１バイト以上のペイロード７３０、１バイトのＣＲ
Ｃ領域７４０で構成される。

【００２４】これらのうち、シーケンス番号領域７２０
はオプションであって、当該オプションを使用する場合
はＡＬ２‐ＰＤＵ ７１０の欠落の検出などに使用され
る。

【００２５】ぺイロード７３０部分は情報の送受用領域
であり、当該ペイロード７３０を使用してオーディオコ
ーデック部（音声コーデック部）５２０の情報が送受さ
れる。ＣＲＣ領域７４０部分は、シーケンス番号領域７
２０（但し、使用される場合）とペイロード７３０の内
容とｘ⁸ との積を生成多項式 ｘ⁸ ＋ｘ² ＋ｘ＋１ で除算した剰余を含む。

【００２６】第３のアダプテーションレイヤ部であるＡ
Ｌ３ ５７１は映像コーデック部５１０の情報を転送す
るために使用する。第３のアダプテーションレイヤ部で
あるＡＬ３ ５７１のパケット８１０（ＡＬ３‐ＰＤ
Ｕ）のフォーマットを図１１に示す。

【００２７】第３のアダプテーションレイヤパケットで
あるＡＬ３‐ＰＤＵ ８１０は１５ビットのシーケンス
番号領域８２０と、１ビットのペイロードタイプ領域８
３０と、１バイト以上のペイロード８４０と、２バイト
のＣＲＣ領域８５０とで構成される。これらのうち、シ
ーケンス番号領域８２０はオプションであって、ここは
ＡＬ３‐ＰＤＵ ８１０の欠落の検出などに使用され
る。

【００２８】また、ペイロードタイプ領域８３０はＡＬ
３‐ＰＤＵ ８１０のペイロードタイプを示す情報領域
として使用される。そして、ペイロードタイプが“１”
の場合は、ぺイロード８４０にて映像コーデック４１０
の情報が送受されることを示し、また、ペイロードタイ
プが“０”の場合は、監視メッセージが送受されること
を示す。

【００２９】ＣＲＣ領域８５０は、シーケンス番号領域
８２０の内容（使用される場合）とペイロード８４０の
内容とｘ¹⁶との積を、生成多項式 ｘ¹⁶＋ｘ¹²＋ｘ⁵ ＋１ で除算した剰余を含む。

【００３０】多重化レイヤ部５７５でのパケットフォー
マットであるＭＵＸ‐ＰＤＵ ６１０のペイロード６４
０に各メディアのＡＬ‐ＰＤＵ ７１０または ８１０
が多重化されるパターンを図１２に示す。

【００３１】多重化パターンは多種あるので、いずれを
用いているかを知らせる必要があり、そのためのエント
リは、マルチプレックス・エントリ・ディスクリプタ(M
ultiplex Entry Descriptior)にて表現する。

【００３２】たとえば、Multiplex Entry Descriｐtio
ｎが“{LCN1，RC4}，{{LCN２，RC１},{LCN3,RC2},RC UC
F}”であるとする。“ＬＣＮｎ”はロジカルチャネルナ
ンバーであって、どのロジカルチャネルを使用するかを
定めており、ロジカルチャネルと情報の対応はユーザが
規定する。“ＲＣｎ”はリピートカウンタで、何バイト
のデータが続くかを示しており、“ＲＣ ＵＣＦ”はア
ンテイルクロージングフラグで、最後まで繰り返すこと
を示している。すなわち、“{LCN1，RC4}，{{LCN２，RC
１},{LCN3,RC2},RC UCF}”なる内容は、第１番目の項目
であるロジカルチャネルナンバー１番（ＬＣＮ１）は、
その中身は４バイト構成であり、ロジカルチャネルナン
バー２番（ＬＣＮ２）は、その中身は１バイト構成であ
り、ロジカルチャネルナンバー３番（ＬＣＮ３）は、そ
の中身は２バイト構成であり、このパターンを繰り返す
ことを示している。

【００３３】今、図１２の如きの多重化パケットが伝送
されたとする。

【００３４】ここでは多重化パケットのうち、最初の多
重化パケットであるＭＵＸ‐ＰＤＵ９６０はそのヘッダ
に“{LCN1，RC4}，{{LCN２，RC１},{LCN3,RC2},RC UC
F}”、そして、２番目のパケットであるＭＵＸ‐ＰＤＵ
９６１にはそのヘッダに“{LCN1，RC UCF}”なる内容
を示す多重化コード情報が記述されているが、ここで
は、ロジカルチャネルナンバー１番“ＬＣＮ１”が音
声、ロジカルチャネルナンバー２番“ＬＣＮ２”がデー
タ、ロジカルチャネルナンバー３番“ＬＣＮ３”が映像
にそれぞれ割り当てられているものとする。

【００３５】そして、今、音声のパケットであるＡＬ２
‐ＰＤＵ ９１０が４バイト分、データのパケットであ
るＡＬ１‐ＰＤＵ ９２０が３バイト分、映像のパケッ
トであるＡＬ３‐ＰＤＵ ９３０が３バイト分、発生し
たと仮定する。

【００３６】ＭＵＸ‐ＰＤＵ ９６０はそのヘッダ９５
０に“{LCN1，RC4}，{{LCN２，RC１},{LCN3,RC2},RC UC
F}”を示す多重化コード情報を記述して、まず、４バイ
トの容量のあるＬＣＮ１に、４バイト音声情報のパケッ
トＡＬ２‐ＰＤＵ ９１０を挿入し、そして、３バイト
分のデータ情報パケットＡＬ１‐ＰＤＵ ９２０のうち
の１バイト分を挿入し（図ではＬＣＮ２ ９２１がこれ
に対応する）、３バイト分の映像情報のパケットＡＬ３
‐ＰＤＵ ９３０のうちの２バイト分を挿入する（図で
はＬＣＮ３ ９３１がこれに対応する）。

【００３７】そして、さらに続けて、３バイト分のデー
タ情報パケットＡＬ１‐ＰＤＵ ９２０の残り２バイト
のうちの１バイト分を挿入し（図ではＬＣＮ２ ９２２
がこれに対応する）、３バイト分の映像情報のパケット
ＡＬ３‐ＰＤＵ ９３０の残り１バイト分を挿入（図で
はＬＣＮ３ ９３２がこれに対応する）するが、当該映
像情報のパケットＡＬ３‐ＰＤＵ ９３０の残り１バイ
ト分の挿入時点で、ＡＬ３‐ＰＤＵ ９３０が最終バイ
トに達するので、多重化パケットＭＵＸ‐ＰＤＵ ９６
０を閉じる。

【００３８】この時点で、音声と映像の伝送は終わって
いるが、データについては、発生した３バイト分のデー
タ情報パケットＡＬ１‐ＰＤＵ ９２０のうち残り１バ
イトがまだ伝送されていない。従って、これを送るべ
く、次の多重化パケットであるＭＵＸ‐ＰＤＵ ９６１
を用意する。そして、この多重化パケットＭＵＸ‐ＰＤ
Ｕ ９６１のヘッダ９５１のパケットマーカーを“１”
として、データ用のパケットＡＬ１‐ＰＤＵ ９２０の
最終バイト分の伝送であることを表示し、また、ＭＵＸ
‐ＰＤＵ ９６１のヘッダ９５１には“{LCN1，RC UC
F}”なる内容の多重化コード情報を記述し、最後の１バ
イト分を挿入（図ではＬＣＮ２ ９２３がこれに対応す
る）する。これでデータ用のパケットＡＬ１‐ＰＤＵ
９２０の最終バイト分の伝送も終了するので多重化パケ
ットＭＵＸ‐ＰＤＵ ９６１を終結し、そして、ＨＤＬ
Ｃフラグ９４３を最後に付加する。

【００３９】“Ｇ.７２３.１”規格による音声コーデッ
ク部５２０は３０[msec]のインターバルで周期的に２０
[byte]（５.３Ｋｂｐｓ）もしくは２４[byte]（６．3Ｋ
ｂｐｓ）のＡＬ‐ＳＤＵを生成する。モデム５８０によ
り提供される伝送路の速度を５６[Ｋbps]と考えた時
の、状況を図１３に示す。

【００４０】例えば、“Ｇ．７２３．１”規格による音
声コーデックにて５．３[Ｋbps]速度を選択した場合、
第２のアダプテーションレイヤ部であるＡＬ２ ５７２
でのパケットであるＡＬ２‐ＰＤＵ １０１０（シーケ
ンス番号のオプションを使用しない場合）は、３０[mse
c]の音声フレーム・インターバル毎に２１[byte]（音声
ストリーム＋ＣＲＣ）の音声フレームが発生する。

【００４１】従って、伝送速度を５６[kbps]と仮定した
場合、発生する音声フレーム間に約１８０[byte]分の他
のマルチメディア情報の送信に割り当て可能な期間が存
在する。

【００４２】従って、この期間に約１８０[byte]分の映
像ストリームの伝送が可能である。映像ストリームの多
重化を映像フレーム単位で終結させる場合、映像コーデ
ック部５１０の発生する可変長フレームが、３０[msec]
の音声フレーム・インターバル内で伝送可能な１８０[b
yte]分の整数倍ある場合には、映像フレーム終了ととも
に多重化パケットを終結させても、多重化パケットにお
けるオーバヘッドの増加、または、フラグ挿入による伝
送効率の低下を引き起こすことはないが、映像は画像内
容によってデータ量が大きく異なるので、映像フレーム
は任意長であり、従って、必ずしも上記の条件を満たせ
るとは限らない。

【００４３】例えば、表１に示すMultiple Ｅntry Desc
riptorを適用した場合、映像フレームが終了した場合、
一度多重化パケットを閉じ、新たな多重化パケットを形
成しなければならない。

【００４４】このように、音声と映像の情報の他にデー
タなどを多重化して伝送する場合に、それぞれを所定の
容量ずつ伝送することができるが、映像の１フレームの
最後で一旦多重化パケットを閉じる必要があり、そのた
めに、音声パケット発生毎に多重化を行なう方式の場
合、次の音声パケットが発生するまでの余裕期間を利用
して、データや新たな映像フレームの映像を伝送しよう
とすると、そのためには新たに多重化ヘッダを付加し、
映像情報やデータを多重化する必要がある。

【００４５】この音声の情報を含まない映像やデータの
多重化パケットを生成すると、音声を含んだ多重化パケ
ットを利用して多重化する場合にくらべ、多重化ヘッダ
が増加することになり、伝送効率が低下する。

【００４６】

【００４７】

【発明が解決しようとする課題】映像と音声の同期伝送
が要求されるテレビ電話では、映像や音声は例えば、
“Ｇ．７２３．１”規格による音声コーデックにて５．
３[kbps]速度を選択した場合、第２のアダプテーション
レイヤＡＬ２ ５７２のパケットであるＡＬ２‐ＰＤＵ
６０１０（シーケンス番号のオプションを使用しない
場合）は、３０[msec]の音声フレーム・インターバル毎
に２１[byte]（音声ストリーム＋ＣＲＣ）の音声フレー
ムが発生する。

【００４８】従って、伝送速度を５６[kbps]と仮定した
場合、発生する音声フレーム間に約１８０[byte]分の余
裕が存在することとなるので、この期間毎に約１８０[b
yte]分ずつ、映像ストリームを伝送することとすると、
映像ストリームの多重化を映像フレーム単位で終結させ
る場合、伝送効率の点で問題が生じる。

【００４９】すなわち、映像コーデック部５１０の発生
する可変長フレームが、１８０[byte]の整数倍である場
合には、丁度、きりが良いので、映像フレーム終了とと
もに多重化パケットを終結させても、多重化パケットに
おけるオーバヘッドの増加、または、フラグ挿入による
伝送効率の低下を引き起こすことはないが、映像は画像
内容によってデータ量が大きく異なるので、映像フレー
ムが１８０[byte]の整数倍で無い場合には、映像フレー
ムの最後の部分が１８０[byte]より少なくなり、結果と
して、そこにフラグ挿入が生じ、そして、更に次の多重
化パケットのヘッダなどが挿入され、と云う具合になる
ことが多いので、多重化パケットにおけるオーバヘッド
の増加、または、フラグ挿入による伝送効率の低下を引
き起こす原因となる。

【００５０】従って、テレビ電話の伝送方式のように、
映像フレームが終了した場合に、一旦、多重化パケット
を閉じ、新たな多重化パケットを形成しなければならな
い伝送方式の場合に、音声パケット発生毎に多重化を行
なうと、次の音声情報が発生するまで、新たに多重化ヘ
ッダを付加し映像情報を多重化しなければならず、この
映像のみの多重パケットを生成することになると、音声
・映像を含んだ多重パケットのみを利用して多重する場
合にくらべ、多重化ヘッダが増加することになって、伝
送効率が低下すると云う問題の改善技術の開発が嘱望さ
れる。

【００５１】そこで、この発明の目的とするところは、
音声データの発生毎に空き領域を利用して映像データを
フレーム単位で多重化してパケット伝送する場合におい
ても、多重化パケットにおけるオーバヘッドの増加、ま
たは、フラグ挿入による伝送効率の低下を引き起こすこ
となく効率的に映像データを伝送可能にしたマルチメデ
ィア情報端末装置およびマルチメディア情報伝送方法を
提供することにある。

【００５２】

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、所定容量
を所定周期単位で伝送する第１のメディア情報と、フレ
ーム単位で多重化パケットを終結する必要のある第２の
メディア情報を少なくとも伝送対象とし、多重化パター
ンを示す多重化コード情報を格納したヘッダと、伝送対
象のメディア情報を前記多重化コード情報対応の多重化
パターンに従い多重化してペイロードに格納した形式の
パケットとして伝送するマルチメディア情報装置におい
て、前記第１のメディア情報および第２のメディア情報
を一時保持する一時保持手段と、この一時保持手段より
保持された前記メディア情報を取り出し、多重化すると
共に、第１のメディア情報の所定周期に回線で伝送でき
る所定容量から当該第１のメディア情報の伝送容量を差
し引いた伝送容量残存量を第２のメディア情報を含む他
の情報の伝送に利用して第１のメディア情報とともに多
重化してパケット伝送に供し、伝送すべき第２のメディ
ア情報のフレームの残り容量が前記伝送容量残存量以下
のときは、伝送すべき第２のメディア情報のフレームの
残り容量全てを前記一時保持手段から取り出して多重化
し、多重化パケット終結させ、一時保持している第１の
メディア情報と第２のメディア情報との多重を開始する
多重化手段とを備えたことを特徴とする。

【００５３】このような構成においては、回線交換網に
対し、マルチメディア情報装置は、所定容量単位で伝送
する第１のメディア情報（例えば、音声情報）と、フレ
ーム単位で多重化パケットを終結する必要のある第２の
メディア情報（例えば、映像情報）を少なくとも伝送対
象とし、多重化パターンを示す多重化コード情報を格納
したヘッダと、伝送対象のメディア情報を前記多重化コ
ード情報対応の多重化パターンに従い多重化してペイロ
ードに格納した形式のパケットとして伝送するが、前記
第１のメディア情報および第２のメディア情報を一時保
持手段に一時保持させ、多重化手段では、この一時保持
手段に一時保持された前記メディア情報を取り出して多
重化すると共に、第１のメディア情報の所定周期に回線
で伝送できる所定容量から当該第１のメディア情報の伝
送容量を差し引いた伝送容量残存量を第２のメディア情
報を含む他の情報の伝送に利用して第１のメディア情報
とともに多重化してパケット伝送に供し、伝送すべき第
２のメディア情報のフレームの残り容量が前記伝送容量
残存量以下のときは、伝送すべき第２のメディア情報の
フレームの残り容量全てを前記一時保持手段から取り出
して多重化し、多重化パケットを終結させ、一時保持し
ている第１のメディア情報と第２のメディア情報との多
重を開始するように処理する。

【００５４】音声と映像の同期再生を必要とする通信の
場合、映像符号化・復号処理時間は音声符号化・復号処
理時間に比べ大きいため、多重化手段の送信側で音声情
報用に送信バッファを設けても支障は生じない。この音
声情報用の送信バッファを利用して多重化パケット長を
柔軟に変化させることで、映像フレームの終了において
も余分な映像情報のみの多重化パケットをつくることが
無いようにしたことで、多重化パケットのオーバヘッド
を削減できるようにし、以て、フラグやヘッダの出現を
従来より少なくして多重化効率の低下を防止する。

【００５５】

【発明の実施の形態】以下、この発明の実施の形態につ
いて添付図面を参照して詳細に説明する。

【００５６】ここでは、マルチメディア情報通信の対象
となるプロトコルの１つとして、ＩＴＵ‐Ｔで標準化さ
れた“Ｈ．３２４”を適用したマルチメディア電話端末
システムについて説明する。“Ｈ．３２４”は、ＧＳＴ
Ｎ（一般交換電話網）における低ビットレートマルチメ
ディア電話端末（テレビ電話）の規格であり、この
“Ｈ．３２４”を採用したシステムの要部機能構成図を
図２に、また、このシステムを用いたネットワーク構成
例を図１に示す。

【００５７】図１において、１５６はＧＳＴＮ（一般交
換電話網：公衆網）であり、１００はそれぞれ本発明の
マルチメディア情報端末であって、ＧＳＴＮ １５６を
介して回線接続され、通信可能となる。

【００５８】マルチメディア情報端末１００はここでは
例えば、テレビ電話であり、話者を撮像するカメラ１０
０ａ、画像を表示するモニタ１００ｂ、音声を入力する
ためのマイクロフォン１００ｃ、音声を出力するための
スピーカ１００ｄ、データを取り扱うための機能要素で
あるデータアプリケーション１００ｅ、マルチメディア
情報端末１００の各構成要素の各種制御を司るシステム
コントロール１００ｆ、電話網における各種シグナル信
号の受け渡しのためのプロトコルであって、電話網との
間での呼制御を司るシグナリングプロトコル部（呼制御
部）１５４、映像信号を符号化し、また、符号化されて
いる映像信号を復号化してもとの映像信号に戻す映像コ
ーデック部１５０、音声信号を符号化し、また、符号化
されている音声信号を復号化してもとの音声信号に戻す
音声コーデック部１５１、データの受け渡しのためのプ
ロトコルであるデータプロトコル部１５２、電話網にお
ける制御信号の受け渡しのためのプロトコルであるコン
トロールプロトコル部１５３などを有している。

【００５９】更にまた、マルチメディア情報端末１００
は、映像コーデック部１５０や音声コーデック部１５１
から与えられるそれぞれでの符号化されたデータおよび
シグナリングプロトコル部（呼制御部）１５４やコント
ロールプロトコル部（制御データプロトコル部）１５３
やデータプロトコル部１５２より与えられる各種の情報
などを多重化して多重化パケット（ディジタル信号）と
してモデムに出力し、モデムから受けたディジタルの多
重化パケットを分離して映像、音声、シグナル、制御信
号、データに戻し、これらを映像コーデック部１５０や
音声コーデック部１５１およびシグナリングプロトコル
部１５４やコントロールプロトコル部１５３やデータプ
ロトコル部１５２などのうちの種別対応のものに振り分
けて与える多重化部１４０や、この多重化部１４０の出
力（ディジタル信号）を電話網用のアナログ信号に変調
してＧＳＴＮ １５６に出力し、ＧＳＴＮ １５６から
受け取ったアナログ信号をディジタル信号に復調して多
重化部１４０に与えるモデム１５５等を有する。

【００６０】マルチメディア情報端末１００の要部をも
う少し詳しく説明する。ネットワークであるＧＳＴＮ
１５６を介して接続されるマルチメディア情報端末１０
０の要部構成は、図２の如きであって、映像コーデック
部１５０は、ビデオ情報（映像データ）を符号化／復号
化する“Ｈ．２６３”あるいは“Ｈ．２６１”の規格に
準拠した映像コーデックであり、この映像コーデック部
１５０は、映像Ｉ／Ｏ機器の一つである撮像装置として
のカメラ１００ａで撮像されて入力された画像データ列
であるビデオストリームを符号化し、多重化部１４０に
出力し、また、多重化部１４０より入力される情報を復
号化してビデオストリームを生成し、映像Ｉ／Ｏ機器の
一つであるモニタ（モニタディスプレイ）１００ｂに出
力する。

【００６１】音声コーデック部１５１は“Ｇ．７２３．
１”の規格に準拠しており、音声Ｉ／Ｏ機器の一つであ
る音声を受けてこれを音声信号に変換するマイクロフォ
ン１００ｃから入力される音声情報（音声信号）を符号
化し、多重化部１４０に出力し、また、多重化部１４０
より入力される音声情報を復号化して音声ストリームを
生成し、音声Ｉ／Ｏ機器の一つであるスピーカ１００ｄ
に出力する。

【００６２】データプロトコル部１５２は、データアプ
リケーションをサポートしており、データストリームを
データ送信バッファ１１２に出力し、また、データ受信
バッファ１１１より、情報を取り込み、上位プロトコル
へデータを受け渡すと云った機能を有する。

【００６３】コントロールプロトコル部１５３（制御プ
ロトコル部）１５３は“Ｈ．２４５”の規格に準拠して
おり、端末間の能力情報交換や、論理チャネルの開設な
どのコマンドや手順を規定している。このコントロール
プロトコル部１５３は制御データストリームを制御デー
タ送信バッファ１１５に出力する。またコントロールデ
ータプロトコル部１５３は、データ受信バッファ１１４
より、情報を取り込み、上位プロトコルへデータを受け
渡すと云った機能を有する。また、シグナリングプロト
コル部（呼制御部）１５４は、電話網との間での呼制御
を司る機能を有するもので、ネットワークのパス接続／
解放を制御するものである。

【００６４】多重化部１４０は“Ｈ．２２３”の規格に
準拠しており、音声情報、映像情報、データ情報、制御
情報の各々の情報をシリアル信号へ多重化およびシリア
ル信号から各々の情報を分離を行なう。

【００６５】モデム１５５は、多重化部１４０から出力
されるデジタル信号をＧＳＴＮ １５６のアナログ信号
へインタフェースする。

【００６６】多重化部１４０は多重化レイヤ１４３とア
ダプテーションレイヤ部１１０，１１３，１２０，１３
０と先入れ先出し方式の受信バッファ(ＦＩＦＯ)１１
１，１１４，１２１，１３１と、先入れ先出し方式の送
信バッファ(ＦＩＦＯ)１１２，１１５，１２２，１３２
および多重化テーブル１４１とで構成される。

【００６７】これらのうち、多重化部１４０における多
重化レイヤ部１４３とアダプテーションレイヤ部１１
０，１１３，１２０，１３０は、従来技術で詳細に説明
した多重化部５７０での多重化レイヤ部５７４とアダプ
テーションレイヤ部５７１，５７２，５７３，５７４に
相当する。

【００６８】従来技術における多重化レイヤ部５７５で
のパケットフォーマット６１０（ＭＵＸ‐ＰＤＵ）と同
様、多重化部１４０における多重化レイヤ部１４３での
パケットフォーマット（ＭＵＸ‐ＰＤＵ）も図９に示す
如く、１バイトのヘッダ６３０と、０バイト以上のペイ
ロード６４０とで構成される。そして、ＨＤＬＣフラグ
６２０を使用してパケットの区切りを示すようにしてい
る。ＨＤＬＣフラグ６２０がＭＵＸ‐ＰＤＵ ６１０内
で現れないことを保証するために、送信側ではＭＵＸ‐
ＰＤＵ ６１０内の５個連続して現れる“１”の後には
“０”を挿入し、受信側ではＭＵＸ‐ＰＤＵ ６１０内
の５個連続して現れる“１”の後の“０”を削除する。

【００６９】ヘッダ６３０は、多重化コード領域６３
１、ヘッダ誤り制御領域６３２、パケットマーカ領域６
３３で構成される。多重化コード領域６３２は４ビット
構成であって、この多重化コード領域６３２は、４ビッ
トで表現可能な十進数“０”から“１５”までの１６種
あるうちの、どの多重化コードを適用するかを知らせる
ために、該当のものを埋め込んで送受するために用いる
領域で、ＭＵＸ‐ＰＤＵ６１０のペイロード６４０の各
バイトが属する論理チャネルの多重化パターンのエント
リを指定する。

【００７０】ヘッダ誤り制御領域６３１は３ビット構成
であって、このヘッダ誤り制御領域６３１は、３ビット
ＣＲＣによる多重化コード領域の誤り検出のために使用
する。

【００７１】ヘッダ誤り制御領域６３１は、多重化コー
ドの内容とｘ³ との積について生成多項式 ｘ³ ＋ｘ＋１ で除算した剰余を含む。

【００７２】ヘッダ６３０のパケットマーカ領域６３３
は、ＭＵＸ‐ＰＤＵ ６１０の最終バイトが、ＡＬ‐Ｐ
ＤＵ ７１０または９１０の最終バイトである場合に
“１”を表示する領域である。０番目の多重化パターン
のエントリは、デフォルトで制御チャネルに割り当てら
れる。また、１番目から１５番目までの多重化パターン
のエントリは、制御プロトコル（“Ｈ．２４５”の規格
準拠）により、端末間で交換される。

【００７３】多重化部１４０のアダプテーションレイヤ
部１１０，１１３，１２０，１３０も、従来技術でのア
ダプテーションレイヤ部５７１，５７２，５７３，５７
４と同様であり、１１０，１１３が第１のアダプテーシ
ョンレイヤ部（ＡＬ１）であって、ＡＬ１ ５７３，７
５４に相当し、１２０が第２のアダプテーションレイヤ
部（ＡＬ２）であって、ＡＬ２ ５７２に相当し、１３
０が第３のアダプテーションレイヤ部（ＡＬ３）であっ
て、ＡＬ３ ５７１に相当する。

【００７４】第１のアダプテーションレイヤ部ＡＬ１
１１０，１１３はデータプロトコルおよび制御情報を転
送するために使用する。また、第２のアダプテーション
レイヤ部ＡＬ２ １２０はオーディオコーデック部（音
声コーデック部）１５１の情報を転送するために使用
し、第３のアダプテーションレイヤ部ＡＬ３ １３０は
映像コーデック部１５０の情報を転送するために使用す
る。

【００７５】第２のアダプテーションレイヤ部ＡＬ２
１２０のパケットＡＬ２‐ＰＤＬのフォーマットは従来
同様、図１０に示す如きである。すなわち、図１０に示
すように、ＡＬ‐ＰＤＵ ７１０は１バイトのシーケン
ス番号領域７２０、１バイト以上のペイロード７３０、
１バイトのＣＲＣ領域７４０で構成される。

【００７６】これらのうち、シーケンス番号領域７２０
はオプションであって、当該オプションを使用する場合
はＡＬ２‐ＰＤＵ ７１０の欠落の検出などに使用され
る。

【００７７】ぺイロード７３０部分は情報の送受用領域
であり、当該ペイロード７３０を使用してオーディオコ
ーデック部（音声コーデック部）１５１の情報が送受さ
れる。ＣＲＣ領域７４０部分は、シーケンス番号領域７
２０（但し、使用される場合）とペイロード７３０の内
容とｘ⁸ との積を生成多項式 ｘ⁸ ＋ｘ² ＋ｘ＋１ で除算した剰余を含む。

【００７８】映像コーデック部１５０の情報を転送する
ために使用する第３のアダプテーションレイヤ部ＡＬ３
１３０のパケットＡＬ３‐ＰＤＵのフォーマットも従
来同様であって図１１に示す如きである。

【００７９】すなわち、第３のアダプテーションレイヤ
パケットＡＬ３‐ＰＤＵ ８１０は１５ビットのシーケ
ンス番号領域８２０と、１ビットのペイロードタイプ領
域８３０と、１バイト以上のペイロード８４０と、２バ
イトのＣＲＣ領域８５０とで構成される。これらのう
ち、シーケンス番号領域８２０はオプションであって、
ここはＡＬ３‐ＰＤＵ ８１０の欠落の検出などに使用
される。

【００８０】また、ペイロードタイプ領域８３０はＡＬ
３‐ＰＤＵ ８１０のペイロードタイプを示す情報領域
として使用される。そして、ペイロードタイプが“１”
の場合は、ぺイロード８４０にて映像コーデック部１５
０の情報が送受されることを示し、また、ペイロードタ
イプが“０”の場合は、監視メッセージが送受されるこ
とを示す。

【００８１】ＣＲＣ領域８５０は、シーケンス番号領域
８２０（使用される場合は）とペイロード８４０の内容
とｘ¹⁶との積を、生成多項式 ｘ¹⁶＋ｘ¹²＋ｘ⁵ ＋１ で除算した剰余を含む。

【００８２】多重化部１４０の構成要素である先入れ先
出し方式の受信バッファ(ＦＩＦＯ)１１１は、多重化レ
イヤ部１４３で分離されて第１のアダプテーションレイ
ヤ部であるＡＬ１ １１０に与えられることにより、こ
のＡＬ１ １１０で処理された出力を一時保持するもの
であり、先入れ先出し方式の受信バッファ(ＦＩＦＯ)１
１４は、多重化レイヤ部１４３で分離されて第１のアダ
プテーションレイヤ部であるＡＬ１ １１０に与えらる
ことにより、このＡＬ１ １１０で処理された出力を一
時保持するものであり、先入れ先出し方式の受信バッフ
ァ(ＦＩＦＯ)１２１は、多重化レイヤ部１４３で分離さ
れ第２のアダプテーションレイヤ部であるＡＬ２ １２
０に与えられることにより、このＡＬ２ １２０で処理
された出力を一時保持するものであり、先入れ先出し方
式の受信バッファ(ＦＩＦＯ)１３１は多重化レイヤ部１
４３で分離され第３のアダプテーションレイヤ部である
ＡＬ３ １３０に与えられることにより、このＡＬ３
１３０で処理された出力を一時保持するものである。

【００８３】また、先入れ先出し方式の送信バッファ
(ＦＩＦＯ)１１２は、データプロトコル部１５２の出力
を一時保持するものであり、先入れ先出し方式の送信バ
ッファ(ＦＩＦＯ)１１５は、コントロールプロトコル１
５３部の出力を一時保持するものであり、先入れ先出し
方式の送信バッファ(ＦＩＦＯ)１２２は、音声コーデッ
ク部１５１の出力を一時保持するものであり、先入れ先
出し方式の送信バッファ(ＦＩＦＯ)１３２は映像コーデ
ック部１５０の出力を一時保持するものである。

【００８４】なお、上述した映像送信バッファ１３２お
よび受信バッファ１３１は、ＡＬ３‐ＳＤＵをパケット
単位で格納するＦＩＦＯであるが、パケットの区切りお
よび処理前の格納されているパケット数を保持する機能
を有する。また、音声送信バッファ１２２および受信バ
ッファ１２１は、ＡＬ２‐ＡＤＵをパケット単位で格納
するＦＩＦＯであるが、これもパケットの区切りおよび
処理前の格納されているパケット数を保持する機能を有
する。

【００８５】多重化部１４０の第１のアダプテーション
レイヤ部であるＡＬ１ １１０は、多重化レイヤ部１４
３の要求に従い、送信バッファ１１２および１１５に保
持されていたデータを読み出して多重化レイヤ１４３に
渡すことで、データプロトコルおよび制御情報の転送に
携わる。また、多重化部１４０の第２のアダプテーショ
ンレイヤであるＡＬ２ １２０は、多重化レイヤ部１４
３の要求に従い、送信バッファ１２２に保持されていた
音声情報を読み出して多重化レイヤ１４３に渡すこと
で、オーディオコーデック部（音声コーデック部）１５
１の情報転送に携わり、また、多重化部１４０の第３の
アダプテーションレイヤ部であるＡＬ３１３０は、多重
化レイヤ部１４３の要求に従い、送信バッファ１３２に
保持されていた映像情報を読み出して多重化レイヤ部１
４３に渡すことで、映像コーデック部１５０の情報転送
に携わる。

【００８６】多重化テーブル１４１は、１１２，１１
５，１２０，１３０のうち、いずれかの送信バッファに
データが存在する場合に、データの存在するメディアに
対応したロジカルチャネルを含む多重化パターンを与え
るための情報を保持させたテーブルであって、多重化レ
イヤ部１４３は送信バッファにデータが存在する場合
に、データの存在するメディアに対応したロジカルチャ
ネルを含む多重化パターンを当該多重化テーブル１４１
より得てその多重化パターンに従い、対応のアダプテー
ションレイヤ部にデータの読み出しの要求を行い、これ
によって、当該アダプテーションレイヤ部を介して対応
の送信バッファよりデータを受け取り、前記多重化パタ
ーンに従って多重化してパケットを形成し、これを多重
化パケットＭＵＸ‐ＰＤＵとして送信することができ
る。

【００８７】映像と音声を多重化して伝送する場合に、
従来のように、音声の遅延を許さない方式とした場合
は、所定周期Ｔ１，Ｔ２，Ｔ３，…毎に発生する音声
を、音声の発生の都度、新たな多重化パケットを用いて
送るようにし、その際に生じた余裕期間を利用して映像
を送るようにしていて、映像のフレームの終わり毎に多
重化パケットを一旦終結し、残りの余裕期間分はそれ利
用して再度、新たな多重化パケットを用い、映像の伝送
に供すると云った処理を実施していると（図５参照）、
多重化ヘッダが増加することになって、伝送効率の低下
を招く危険性があるが、この問題を解決するために、本
発明では、多重化部１４０内に送信バッファおよび受信
バッファを設けて、音声コーデック１５１や映像コーデ
ック１５０、そして、データプロトコル１５２やコント
ロールプロトコル１５３およびシグナリングプロトコル
（呼制御部）１５４との入出力をバッファリングして入
出力のタイミング調整ができるようにし、以て、図６に
示すように、映像フレームの終了時においても映像情報
のみの多重化パケットをつくることがないようにして、
多重化ヘッダの増加を抑制するようにする。

【００８８】音声と映像の同期再生を必要とする通信に
おいては、映像符号化・復号処理時間は音声符号化・復
号処理時間に比べ大きいため、多重化手段の送信側で音
声情報をバッファリングして遅れを容認させるようにし
ても支障は生じない。本発明はこのことを利用してお
り、この音声情報のバッファリングを利用して多重化パ
ケット長を柔軟に変化させることで、映像フレームの終
了においても余分な映像情報のみの多重化パケットをつ
くることが無いようにする。そして、これにより、多重
化パケットのオーバヘッドを削減できるようにし、フラ
グやヘッダの出現を従来より少なくできることで、多重
化効率の低下を防止できるようにしている。

【００８９】処理の詳細を説明する。ここでは、第１の
アダプテーションレイヤＡＬ１がデータ、第２のアダプ
テーションレイヤＡＬ２が音声、第３のアダプテーショ
ンレイヤＡＬ３が映像であり、また、ロジカルチャネル
ナンバー１番“ＬＣＮ１”が音声、ロジカルチャネルナ
ンバー２番“ＬＣＮ２”がデータ、ロジカルチャネルナ
ンバー３番“ＬＣＮ３”が映像にそれぞれ割り当てられ
ているものとして説明する。

【００９０】映像コーデック部１５０は、“Ｈ．２６
３”あるいは“Ｈ．２６１”の規格に準拠した映像コー
デックであり、この映像コーデック部１５０は、撮像装
置としてのカメラ１００ａで撮像されて入力された画像
データ列であるビデオストリームを符号化し、多重化部
１４０の送信バッファ１３２に出力し、また、多重化部
１４０の受信バッファ１３１より取り込んだ情報を復号
化してビデオストリームを生成し、モニタ（モニタディ
スプレイ）１００ｂに出力する。

【００９１】“Ｇ．７２３”の規格に準拠した音声コー
デック１５１からは、マイクロフォン１００ｃから入力
された話者の音声を符号化し、多重化部１４０の送信バ
ッファ１２２に出力し、また、多重化部１４０の受信バ
ッファ１２１から読み込んだ情報を復号化して音声情報
を生成し、スピーカ１００ｄに出力する。

【００９２】また、データプロトコル部１５２は、サポ
ートするデータアプリケーションと情報を授受するため
に送信バッファ１１２および受信バッファ１１１を利用
する。

【００９３】“Ｈ．２４５”の規格に準拠した制御プロ
トコル部１５３は送信バッファ１１５および受信バッフ
ァ１１４を介して、端末間の能力情報交換や、論理チャ
ネルの開設などのコマンドや手順を授受する。

【００９４】多重化部１４０は“Ｈ．２２３”の規格に
準拠しており、音声情報、映像情報、データ情報、制御
情報の各々の情報を対応それぞれの対応する送信バッフ
ァ１３２，１２２，１１２，１１５を介して取り込み、
シリアル信号へ多重化処理してモデム１５５に渡し、ま
た、モデム１５５を介してＧＳＴＮ １５６から受け取
ったシリアル信号から音声情報、映像情報、データ情
報、制御情報の各々の情報に分離し、対応する受信バッ
ファ１３１，１２１，１１１，１１４に一時蓄える。

【００９５】また、モデム１５５は、多重化部１４０か
ら出力されるデジタル信号をＧＳＴＮ １５６のアナロ
グ信号へインタフェースし、ＧＳＴＮ １５６から受信
したアナログ信号をディジタル信号化してシリアル信号
として多重化部１４０に引き渡す。

【００９６】ここで、本発明は、音声と映像の同期再生
を必要とする通信においては、映像の符号化・復号化処
理に要する時間は、音声の符号化・復号化処理に要する
時間に比べ大きいため、多重化部における送信系統側で
音声情報をバッファリングして遅れを容認させるように
しても支障は生じないと云う現実を利用しており、その
ために送信バッファと受信バッファを設けてこれらを旨
く利用し、音声コーデック部１５１や映像コーデック部
１５０、そして、データプロトコル部１５２やコントロ
ールプロトコル部１５３およびシグナリングプロトコル
部（呼制御部）１５４との入出力タイミングを調整しな
がら、図６に示すように、映像フレームの終了時におい
ても映像情報の多重化パケットをつくることがないよう
にし、音声に途切れが生じないようにして、多重化ヘッ
ダの増加を抑制するようにしている。この点を次に詳細
に説明する。

【００９７】図３は、多重化部１４０の動作を示すフロ
ーチャートである。多重化部１４０の多重化レイヤ部１
４３では、送信バッファ１３２，１２２，１１２，１１
５に送信データが格納されたかを監視している。そし
て、送信データが存在しない場合には、多重化レイヤ部
１４３はＨＤＬＣフラグの送出を繰り返す（ステップＳ
２１０，Ｓ２２０を繰り返す）。

【００９８】送信バッファにデータが存在すると、多重
化レイヤ部１４３はデータの存在するメディアに対応し
たロジカルチャネルを含む多重化パターンを多重化テー
ブル１４１よりロードし（ステップＳ２３０）、その多
重化パターンに従い、対応のアダプテーションレイヤ部
を介して対応の送信バッファよりデータを受け取り、多
重化処理して多重化パケットであるＭＵＸ‐ＰＤＵ ６
１０の送信を開始する。

【００９９】多重化テーブル１４１の内容として、例え
ば、表１に示す如きの多重化テーブルを使用する場合を
考える。

【０１００】映像情報および音声情報の同時通信を行な
う場合、送信開始直後、音声コーデック部１５１より２
１[byte]分の音声データが音声送信バッファ１２２に書
き込まれ、送信バッファ内に２１[byte]×Ｎ（Ｎは
“２”以上の整数）以上の情報が蓄積された状況に至っ
た際に、第２アダプテーションレイヤ部であるＡＬ２
１２０は、音声パケット送信準備完了を多重化レイヤ部
１４３に通知する。

【０１０１】多重化レイヤ部１４３は、第２アダプテー
ションレイヤ部であるＡＬ２ １２０の送信準備完了を
受け取り、送信データありと判断する（ステップＳ２２
０）。多重化レイヤ部１４３は、送信準備完了通知のメ
ディアの種別により、多重化テーブルのエントリを選択
してヘッダにロードする。

【０１０２】音声のみの送信準備完了である場合は、表
１の多重化エントリ値ＭＣ＝１で定まる多重化パターン
（Mu1tiplex Ｅntry Descripter）をロードする（ステ
ップＳ２３０）。これは“｛ＬＣＮ１，ＲＣ２１｝”な
るものであって、当該多重化パターンは音声情報を２１
[byte]分、送信すると云う記述であるので、多重化レイ
ヤ部１４３は音声情報に対応するロジカルチャネルを選
択し（ステップＳ２４０）、音声情報を２１[byte]分、
送信バッファ１２２から取り出すように第２アダプテー
ションレイヤ部であるＡＬ２ １２０に通知し、これに
従ってＡＬ２１２０は音声情報を２１[byte]分、送信バ
ッファ１２２から取り出し、多重化レイヤ部１４３に与
える。多重化レイヤ部１４３はこれを多重化処理し、多
重化パケットにして送信する（ステップＳ２７０，Ｓ２
７１，Ｓ２７２）。

【０１０３】パケットの送信が終了した時点で、伝送す
べき映像情報がない場合は、多重化レイヤ部１４３は伝
送レート×音声フレーム（多重化パケット長）分の容量
だけ、ＨＤＬＣフラグを送信する。

【０１０４】このフラグ送信終了後、音声送信用のバッ
ファ１３２の蓄積量を確認して（音声コーデック部１５
１より２１[byte]の音声データが音声フレーム単位で音
声送信バッファ１２２に書き込まれる）その結果、２１
[byte]以上情報が存在し、このとき、既に映像コーデッ
ク部１５０より映像データが映像送信用のバッファ１３
２に書き込まれ、第３アダプテーションレイヤ部である
ＡＬ３ １３０は、映像パケット送信送信準備完了を多
重化部１４０に通知している状態であったと仮定する。

【０１０５】この場合、多重化部１４０の多重化レイヤ
部１４３は、送信準備完了通知のメディアの種別によ
り、多重化テーブル１４１における対応の多重化テーブ
ルエントリを選択してロードする。現時点では、音声送
信および映像の送信準備完了であるので、表１の多重化
エントリ値ＭＣとしてＭＣ＝３なるエントリの多重化パ
ターン（Mu1tiple Ｅntry Descriptor）をロードする。

【０１０６】このＭＣ＝３なるエントリの多重化パター
ンにおける記述内容は“｛ＬＣＮ１，ＲＣ２１｝，｛Ｌ
ＣＮ３，ＲＣ ＵＣＦ｝”であるから、音声情報（ＬＣ
Ｎ１）を２１[Byte]送信し（ＲＣ２１）、映像情報（Ｌ
ＣＮ３）を次のヘッダまで送信する（ＲＣ ＵＣＦ）
（この場合、ＨＤＬＣフラグまで）と云うものであるの
で、多重化レイヤ部１４３は、はじめに、音声情報に対
応するロジカルチャネルを選択し（ステップＳ２４
０）、音声用送信バッファ１２２から音声情報を２１[b
yte]分、取り出して送信するように制御する（ステップ
Ｓ２７０，Ｓ２７１，Ｓ２７２）。

【０１０７】そして、音声情報を２１[byte]分、送信終
了すると、次に多重化レイヤ部１４３は、映像情報に対
応するロジカルチャネルを選択し、映像用の送信バッフ
ァ１３２から映像情報を１８０[byte]分取り出し、送信
するように制御する。映像フレーム情報が１８０[byte]
を超える場合は、ＨＬＤＣフラグを送信し（ステップＳ
２１０）、一旦、ＭＵＸ‐ＰＤＵを終了させてから、新
たに音声情報の送信を開始するように制御する（ステッ
プＳ２７０，Ｓ２７１，Ｓ２７２）。

【０１０８】これにより、音声情報の送信タイミングの
シフトを抑えるることができる。映像情報フレームが１
８０[byte]未満で終了した場合は、多重化レイヤ部１４
３はただちにＨＬＤＣフラグを送信するように制御し
（ステップＳ２１０）、一旦、ＭＵＸ‐ＰＤＵを終了さ
せる。

【０１０９】そして、音声用の送信バッファ１３２内の
蓄積量を判定し、２１[byte]分を取り出して送信すべく
制御し（ステップＳ２７０，Ｓ２７１，Ｓ２７２）、次
に、前多重化フレームでの映像多重領域１８０[byte]に
実際に多重化した映像情報の差分に更に１８０[byte]分
を加えたバイト数だけ映像情報を多重化するように制御
する。

【０１１０】この処理方法により、多重化されていない
映像フレームが１８０[byte]未満で終了して、新たに映
像だけの多重化パケットを形成することなく、多重化パ
ケット長を適応的に変えることができるようになり、こ
のことにより、多重化オーバヘッドの増加を防止するこ
とができるようになる。

【０１１１】本発明方式による多重化処理の効果を図４
に示す。

【０１１２】図４（ａ）に従来方式を、図４（ｂ）に本
発明方式を示す。従来方式の場合、多重化部には音声コ
ーデック部側との間での情報の授受に際してバッファリ
ングできるようにする仕組みをを持たない。従って、所
定の音声フレーム周期毎に、音声と映像を多重化して伝
送することになるが、映像は映像フレームの最後でパケ
ットを一旦終了しなければならないから、例えば、Ｔ１
の音声フレーム周期において、映像は映像フレームの最
後に達したとすれば、Ｔ１でのヘッダとＨＤＬＣフラグ
が入り、そして、Ｔ１での音声と、映像の最後の部分が
多重化され、そこで、一旦終結し（ｔ１）、再び、ヘッ
ダとＨＤＬＣフラグが入り、Ｔ１の残りの時間を利用し
て映像を送ることになる（ｔ２）。そして、次のＴ２の
音声フレーム周期において、ヘッダとＨＤＬＣフラグが
入り、音声と映像が多重化されて伝送に供される。すな
わち、Ｔ１では時刻ｔ１とｔ２の２回分、ヘッダとＨＤ
ＬＣフラグが入る。

【０１１３】一方、本発明の方式では、Ｔ１の音声フレ
ーム周期において、映像は映像フレームの最後に達した
としても、Ｔ１の音声フレーム周期において、Ｔ１での
ヘッダとＨＤＬＣフラグが入り、そして、Ｔ１での音声
と、映像の最後の部分が多重化され、そこで、一旦終結
し（ｔ２１）、再び、ヘッダとＨＤＬＣフラグが入り、
Ｔ１の残りの時間を利用して映像を送ることになるもの
の（ｔ２２）、音声はバッファリングされているため、
直ちに伝送態勢に入る必要がないから、次のＴ２の音声
フレーム周期は引き続いて映像のみの伝送に割り当て
る。つまり、ｔ２２はＴ１の音声フレーム周期の途中か
ら次のＴ２の音声フレーム周期に跨って伝送され続け、
ヘッダとＨＤＬＣフラグは入らない。このように、音声
フレーム周期の区切り毎に、必ず音声を伝送するといっ
た制限を開放して、音声を更に次の音声フレーム周期に
先延ばしするようにした結果、ヘッダとＨＤＬＣフラグ
の挿入される回数が従来に比べて少なくなり、伝送効率
が向上する。

【０１１４】一方、受信側では、例えば、音声と映像を
考えた場合、多重化部１４０の多重化レイヤ部１４３で
分離され、ＡＬ２を介して音声用の受信バッファ１２１
に与えられた音声情報はこの受信バッファ１２１に蓄え
られ、また、多重化部１４０の多重化レイヤ１４３で分
離され、ＡＬ３を介して映像用の受信バッファ１３１に
与えられた音声情報はこの受信バッファ１３１に蓄えら
れているので、音声コーデック部１５１や映像コーデッ
ク部１５０は対応の受信バッファ１２１，１３１から順
次情報を読み出して復号する。その復号のタイミングと
して１乃至数音声フレーム周期分の遅れを以て再生する
よう制御すれば、ある程度、受信バッファ１２１，１３
１の容量が確保されていることを条件に、再生開始の時
間遅れはあるものの、バッファリング効果によって、映
像もまた、音声も途切れなく再生可能になる。

【０１１５】具体的に本発明方式の適用効果を考察して
みる。

【０１１６】ビデオパケットの平均バイト数を２５６[b
yte]、音声符号化方式を“Ｇ．７２９”，１フレーム当
たり１０[byte]，フレーム間隔は１０[ms]、伝送レート
を６４[kbps]、と仮定した場合に、音声に遅延を許さな
いで１０[ms]単位での多重化を行うと、 ６４[kbps]×１０[ms]＝６４０[bit]＝８０[byte] であり、多重化方式として“Ｈ２２３”を想定すると、
ヘッダ＋フラグが２[byte]、音声が１０[byte]、残り６
８[byte]が映像となる。

【０１１７】こ組み合わせで多重化していくと、ビデオ
パケットの平均バイト数を２５６[byte]と考えた場合、 ２５６[byte]／６８[byte]＝３．７６… となり、多重パケット数４個に一度程度、ビデオパケッ
ト終了によるヘッダ＋フラグが２[byte]分、付加される
ことになる。

【０１１８】これに対し、本方式のように、音声に遅延
を許してビデオパケットの長さを可変長とすることで、
ビデオパケット終了による２[byte]分のヘッダ＋フラグ
挿入が発生しないので、伝送効率は２／（８０[byte]×
４）＝０．００６２５（約０．６[％]）改善される。

【０１１９】多重化方式として、“Ｈ２２３ Ａｎｎｅ
ｘ Ａ”を選択した場合にはヘッダ＋フラグは３[byte]
分に、そして、“Ｈ２２３ Ａｎｎｅｘ Ｂ，Ｃ，Ｄ”
を選択した場合にはヘッダ＋フラグは５[byte]分にもな
るので、それぞれの効率は、“Ｈ２２３ Ａｎｎｅｘ
Ａ”の場合で３／（８０[byte]×４）＝０．００９４５
（約０．９[％]）改善され、そして、“Ｈ２２３ Ａｎ
ｎｅｘ Ｂ，Ｃ，Ｄ”の場合で５／（８０[byte]×４）
＝０．０１５６（約１．６[％]）もの改善となる。

【０１２０】以上、本発明は、回線交換網に接続される
マルチメディア情報装置であって、所定容量を所定周期
単位で伝送する第１のメディア情報と、フレーム単位で
多重化パケットを終結する必要のある第２のメディア情
報を少なくとも伝送対象とし、多重化パターンを示す多
重化コード情報を格納したヘッダと、伝送対象のメディ
ア情報を前記多重化コード情報対応の多重化パターンに
従い多重化してペイロードに格納した形式のパケットと
して伝送するマルチメディア情報装置において、前記第
１のメディア情報および第２のメディア情報を一時保持
する一時保持手段と、この一時保持手段より保持された
前記メディア情報を取り出し、多重化すると共に、第１
のメディアの所定周期に、回線で伝送できるときは所定
容量から当該第１のメディア情報の伝送容量を差し引い
た伝送容量残存量を第２のメディア情報を含む他の情報
の伝送に利用して第１のメディア情報とともに多重化し
てパケット伝送に供し、伝送すべき第２のメディア情報
のフレームの残り容量が前記伝送容量残存量以下のとき
は、伝送すべき第２のメディア情報のフレームの残り容
量全てを前記一時保持手段から取り出して多重化し、多
重化パケットを終結させ、直ちに一時保持している第１
のメディア情報と第２のメディア情報との多重化を開始
する多重化手段とを備えた構成としたことを特徴とす
る。

【０１２１】そして、このような構成においては、回線
交換網に対し、マルチメディア情報装置は、所定容量単
位で伝送する第１のメディア情報（例えば、音声情報）
と、フレーム単位で多重化パケットを終結する必要のあ
る第２のメディア情報（例えば、映像情報）を少なくと
も伝送対象とし、多重化パターンを示す多重化コード情
報を格納したヘッダと、伝送対象のメディア情報を前記
多重化コード情報対応の多重化パターンに従い多重化し
てペイロードに格納した形式のパケットとして伝送する
が、前記第１のメディア情報および第２のメディア情報
を一時保持手段に一時保持させ、多重化手段では、この
一時保持手段に一時保持された前記メディア情報を取り
出して多重化すると共に、第１のメディア情報の所定周
期に回線で伝送でき、所定容量から当該第１のメディア
情報の伝送容量を差し引いた伝送容量残存量を第２のメ
ディア情報を含む他の情報の伝送に利用して第１のメデ
ィア情報とともに多重化してパケット伝送に供し、伝送
すべき第２のメディア情報のフレームの残り容量が前記
伝送容量残存量より少ないときは、伝送すべき第２のメ
ディア情報のフレームの残り容量全てを前記一時保持手
段から取り出して多重化し、多重化パケット終結させ、
直ちに一時保持している第１のメディア情報と第２のメ
ディア情報との多重を開始するするように処理する。

【０１２２】音声と映像の同期再生を必要とする通信の
場合、映像符号化・復号処理時間は音声符号化・復号処
理時間に比べ大きいため、多重化手段の送信側で音声情
報用に送信バッファを設けても支障は生じない。この音
声情報用の送信バッファを利用して多重化パケット長を
柔軟に変化させることで、映像フレームの終了において
も余分な映像情報のみの多重化パケットをつくることが
無いようにし、これにより、多重化パケットのオーバヘ
ッドを削減できるようにして、フラグやヘッダの出現を
従来より少なくできるようにしたことで多重化効率の低
下を防止できるになる。

【０１２３】なお、本発明は、上述した実施例に限定さ
れるものではなく、種々変形して実施可能であり、例え
ば、本発明の実施例ではＩＴＵ‐Ｔで標準化されたＨ．
３２４の規格準拠の端末に使用される多重化プロトコル
である“Ｈ．２２３”をもとに説明しているが、“Ｈ．
２２３”の規格におけるＡＮＮＥＸ Ａ／ＡＮＮＥＸＢ
／ＡＮＮＥＸ Ｃ／ＡＮＮＥＸ Ｄの多重方式を適用す
る場合においてもＨＤＬＣフラグ、送信データがない場
合のスタッフィング処理等が異なるだけで適用すること
ができる。

【０１２４】

【発明の効果】以上、詳述したように、本発明によれ
ば、音声と映像の同期再生を必要とする通信において
は、映像符号化・復号処理時間は音声符号化・復号処理
時間に比べ大きいため、多重化手段の送信側で音声情報
をバッファリングして遅れを容認させるようにしても支
障は生じないことを利用し、この音声情報のバッファリ
ングを利用して多重化パケット長を柔軟に変化させるこ
とで、映像フレームの終了においても余分な映像情報の
みの多重化パケットをつくることが無いようにしたの
で、これにより、多重化パケットのオーバヘッドを削減
できるようになり、フラグやヘッダの出現を従来より少
なくできることから多重化効率の低下を防止できる効果
を奏する。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
一具体例の全体構成を示す図である。

【図２】本発明を説明するための図であって、本発明に
よるマルチメディア情報端末の要部構成を示すブロック
図である。

【図３】本発明を説明するための図であって、本発明に
よるマルチメディア情報端末における多重化部の動作例
を説明するフローチャートである。

【図４】本発明を説明するための図であって、本発明方
式の作用を従来技術と対比して説明するための図であ
る。

【図５】本発明の効果を説明するために対比する従来技
術の説明図である。

【図６】本発明を説明するための図であって、本発明方
式の効果を説明するための図である。

【図７】従来技術を説明するための図である。

【図８】従来技術を説明するための図である。

【図９】ＭＵＸ‐ＰＤＵのフォーマットを説明するため
の図である。

【図１０】ＡＬ２‐ＰＤＵのフォーマットを説明するた
めの図である。

【図１１】ＡＬ３‐ＰＤＵのフォーマットを説明するた
めの図である。

【図１２】従来技術を説明するための図である。

【図１３】従来技術を説明するための図である。

【符号の説明】

１００…マルチメディア情報端末、１００ａ…カメラ、
１００ｂ…モニタ、１００ｃ…マイクロフォン、１００
ｄ…スピーカ、１１０，１１３，１２０，１３０…アダ
プテーションレイヤ部、１１１，１１４，１２１，１３
１…先入れ先出し方式の受信バッファ(ＦＩＦＯ)、１１
２，１１５，１２２，１３２…先入れ先出し方式の送信
バッファ(ＦＩＦＯ)、１４１…多重化テーブル、１５４
…シグナリングプロトコル部（呼制御部）、１５０…映
像コーデック部、１５１…音声コーデック部、デー１５
２…データプロトコル部、１５３…コントロールプロト
コル部（呼制御部）、１４０…多重化部、１４３…多重
化レイヤ部、１５５…ＧＳＴＮ（一般交換電話網：公衆
網）。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C063 AB07 AC01 AC05 AC10 CA11 CA23 CA38 5C064 AA01 AC06 AC12 AC16 AD02 AD08 AD14 5K028 AA11 EE03 EE07 KK01 LL11 MM05 SS26

Claims (4)

【特許請求の範囲】
1. 【請求項１】所定容量を所定周期単位で伝送する第１の
   メディア情報と、フレーム単位で多重化パケットを終結
   する必要のある第２のメディア情報を少なくとも伝送対
   象とし、多重化パターンを示す多重化コード情報を格納
   したヘッダと、伝送対象のメディア情報を前記多重化コ
   ード情報対応の多重化パターンに従い多重化してペイロ
   ードに格納した形式のパケットとして伝送するマルチメ
   ディア情報装置において、 前記第１のメディア情報および第２のメディア情報を一
   時保持する一時保持手段と、 この一時保持手段より保持された前記メディア情報を取
   り出し、多重化すると共に、第１のメディア情報の所定
   周期に回線で伝送できる所定容量から当該第１のメディ
   ア情報の伝送容量を差し引いた伝送容量残存量を第２の
   メディア情報を含む他の情報の伝送に利用して第１のメ
   ディア情報とともに多重化してパケット伝送に供し、伝
   送すべき第２のメディア情報のフレームの残り容量が前
   記伝送容量残存量以下のときは、伝送すべき第２のメデ
   ィア情報のフレームの残り容量全てを前記一時保持手段
   から取り出して多重化し、多重化パケットを終結させ、
   一時保持している第１のメディア情報と第２のメディア
   情報との多重を開始する多重化手段とを備えたことを特
   徴とするマルチメディア情報装置。
2. 【請求項２】前記第１のメディア情報は音声情報であ
   り、前記第２のメディア情報は映像情報であることを特
   徴とする請求項１記載のマルチメディア情報装置。
3. 【請求項３】所定容量を所定周期単位で伝送する第１の
   メディア情報と、フレーム単位で多重化パケットを終結
   する必要のある第２のメディア情報を少なくとも伝送対
   象とし、多重化パターンを示す多重化コード情報を格納
   したヘッダと、伝送対象のメディア情報を前記多重化コ
   ード情報対応の多重化パターンに従い多重化してペイロ
   ードに格納した形式のパケットとして伝送するマルチメ
   ディア情報伝送方法において、 前記第１のメディア情報および第２のメディア情報を一
   時保持手段に一時保持させ、この一時保持された前記メ
   ディア情報を取り出して多重化すると共に、第１のメデ
   ィア情報の所定周期に回線で伝送できる所定容量から当
   該第１のメディア情報の伝送容量を差し引いた伝送容量
   残存量を第２のメディア情報を含む他の情報の伝送に利
   用して第１のメディア情報とともに多重化してパケット
   伝送に供し、伝送すべき第２のメディア情報のフレーム
   の残り容量が前記伝送容量残存量以下のときは、伝送す
   べき第２のメディア情報のフレームの残り容量全てを前
   記一時保持手段から取り出して多重化し、多重化パケッ
   トを終結させ、一時保持している第１のメディア情報と
   第２のメディア情報との多重を開始するようにしたこと
   を特徴とするマルチメディア情報の伝送方法。
4. 【請求項４】前記第１のメディア情報は音声情報であ
   り、前記第２のメディア情報は映像情報であることを特
   徴とする請求項３記載のマルチメディア情報の伝送方
   法。