JP2003250133A - データ送信装置、データ送信方法およびマルチメディア多重伝送システム - Google Patents

Abstract

(57)【要約】 【課題】 各符号化フレームが適切な送信タイミングに
ならず、伝送遅延が発生してしまうという課題があっ
た。 【解決手段】 優先メディア情報Ｍａ，非優先メディア
情報Ｍｂの各符号化フレームＦａ，Ｆｂを多重化してメ
ディア多重化フレームＦｍｕｘを生成するメディア多重
部１３と、優先メディア情報Ｍａの符号化フレーム長Ｌ
ａ１と、メディア多重化フレームＦｍｕｘに送信設定済
みの非優先メディア情報Ｍｂの情報量Ｌｆ１と、メディ
ア多重化フレームＦｍｕｘのオーバヘッドＬｈ１とを優
先メディア情報Ｍａの伝送周期中に送信される全送信情
報量Ｌｔ１から減じて全送信可能情報量Ｌｍ１を算出す
るとともに、全送信可能情報量Ｌｍ１の範囲の非優先メ
ディア情報Ｍｂおよび優先メディア情報Ｍａの各符号化
フレームＦａ，Ｆｂを多重化したメディア多重化フレー
ムＦｍｕｘをメディア多重部１３に生成させる多重制御
部１５とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、映像、音声また
はデータなどのメディア情報を符号化した符号化メディ
アストリームをメディア多重化フレームにパケット多重
化してマルチメディア多重伝送するデータ送信装置、デ
ータ送信方法およびマルチメディア多重伝送システムに
関するものである。

【０００２】

【従来の技術】Ｗ−ＣＤＭＡ次世代携帯電話で提供され
るＴＶ電話のようなサービスを実現するマルチメディア
端末では、映像、音声またはデータなどのメディア情報
をマルチメディア多重伝送するための規格として国際勧
告ＩＴＵ−Ｔ Ｈ．３２４勧告が適用される。ＩＴＵ−
Ｔ Ｈ．３２４勧告に準拠したマルチメディア端末は図
１０に示すような構成で規定され、制御プロトコルとし
て国際勧告ＩＴＵ−ＴＨ．２４５勧告が、マルチメディ
ア多重方式として国際勧告ＩＴＵ−Ｔ Ｈ．２２３勧告
がそれぞれ適用される。

【０００３】このＩＴＵ−Ｔ Ｈ．２２３勧告に準拠し
た伝送フォーマットは例えば図１１のようになる。ＩＴ
Ｕ−Ｔ Ｈ．２４５勧告にもとづいた制御プロトコルに
よる手順で決定した伝送パラメータにしたがって、各メ
ディア情報を符号化した符号化メディアストリームは、
アダプテーションレイヤ（ＡＬレイヤ）および多重化レ
イヤ（ＭＵＸレイヤ）の２段階のレイヤによって多重化
される。

【０００４】そのメディア情報の特性に応じた単位で符
号化メディアストリームを各メディア情報毎にフレーム
化し、１または２種以上のメディアのフレームをメディ
ア多重化フレームに多重化してメディア多重伝送する。
特に映像メディアについては、映像フレームの終了毎に
新規のメディア多重化フレームを生成するようになって
いる。このように、映像、音声などの符号化メディアス
トリームをメディア多重化フレームに多重化する単位が
固定されない柔軟な多重を構成できる方式となってい
る。

【０００５】しかしながら、メディア多重化フレーム数
が増加すると、各メディア多重化フレームに含まれるヘ
ッダ情報などのオーバヘッド分だけ、実際の符号化メデ
ィアストリームを多重できる有効伝送帯域の容量が減少
することになる。一方で、ＩＴＵ−Ｔ Ｈ．３２４勧告
によれば、音声メディアはその符号化方式で規定される
間隔で定周期に伝送されなければならないため、メディ
ア多重化フレーム数が増加する原因になり、オーバヘッ
ド増加による多重化効率の低下が発生する。

【０００６】例えば図１２に示すように、期間Ｔ２にお
いて、映像フレームＶ１の多重終了により多重化パケッ
トが閉じられた後に、ヘッダ＋フラグ、映像フレームＶ
２が多重されるが、期間Ｔ３へ移ると、定周期の伝送を
要する音声メディアＡ３を送信するために映像メディア
Ｖ２の送信の中断が必要となり、メディア多重化フレー
ム数が増加し、オーバーヘッドの増加を招いてしまうこ
とになる。

【０００７】このような問題に対して、特開２００１−
１８９７０８公報および特開２００１−１８９７０９公
報では、音声符号化ストリームを送信バッファにバッフ
ァリングし、メディア符号化部から多重化部への入出力
タイミングを調整することによって、ヘッダ情報などに
よる多重化効率の低下を防止する解決策が開示されてい
る。

【０００８】＜特開２００１−１８９７０８公報＞この
従来のデータ送信装置にはタイマが設けられており、一
定周期での伝送が必要な音声フレームなどのメディア情
報の発生時に、その発生からの経過時間をタイマで計測
する。そして、予め設定した許容できる遅延時間を経過
時間が超えた場合に、伝送すべき周期が定まっていない
映像フレームなどのメディア情報の送信を保留して、音
声フレームを優先的に送信するようになっている。

【０００９】言い換えると、映像メディアの送信中に音
声フレームの送信タイミングとなっても、遅延時間とし
て許容できる経過時間の範囲であれば、映像メディアの
送信を継続するようにし、メディア多重化フレーム数の
増加、すなわちヘッダ情報などのオーバヘッド増加によ
る多重化効率の低下を抑制している。

【００１０】＜特開２００１−１８９７０９公報＞この
従来のデータ送信装置では、音声符号化ストリームをバ
ッファリングしておき、図１３に示すように、音声フレ
ームＡ１，Ａ２，Ａ３，Ａ４，…の送信タイミングを次
以降の音声フレームの送信タイミングへ先延ばしし、映
像フレームＶ１，Ｖ２，Ｖ３，…の終了に合わせて音声
フレームＡ１，Ａ２，…を送信するようにしている。

【００１１】つまり、映像フレームＶ１，Ｖ２，Ｖ３，
…の終了タイミング後、音声フレームＡ１，Ａ２，…を
直ちに多重するようにし、メディア多重化フレーム数の
増加、すなわちヘッダ情報などのオーバヘッド増加によ
る多重化効率の低下を抑制している。

【００１２】

【発明が解決しようとする課題】従来のデータ送信装置
は以上のように構成されているので、フレーム生成の完
了後にヘッダ情報が生成されるために、伝送遅延が発生
してしまうという課題があった。

【００１３】特開２００１−１８９７０８公報に開示さ
れた従来のデータ送信装置は、映像フレームの送信中に
音声フレームの送信タイミングとなっても、遅延時間と
して許容できる経過時間の範囲であれば、映像フレーム
の送信を継続することになるので、実際に送信されるメ
ディア多重化フレームのフレーム長は、フレーム生成が
最終的に完了するまで確定しないという問題がある。

【００１４】この一方で、ＩＴＵ−Ｔ Ｈ．２２３勧告
Ａｎｎｅｘ Ｂによれば、フレーム先頭に設定するヘ
ッダ情報にはフレーム長が含まれている。そのため、メ
ディア多重化フレームの生成に際しては、ペイロード部
に多重されるメディア情報のサイズを事前に確定してヘ
ッダ情報を生成し、そのサイズ分だけ逐次的にフレーム
生成してメディア多重化フレームを送信するか、あるい
はフレーム生成が最終的に完了した後にヘッダ情報を生
成してメディア多重化フレームを送信するか、いずれか
の手法が必要となる。

【００１５】したがって、特開２００１−１８９７０８
公報のタイマ計測による経過時間の判定では、前者のよ
うなフレーム長を事前に確定することは不可能であり、
後者のようなフレーム生成の完了を待つと伝送遅延が発
生してしまうことになる。

【００１６】従来のデータ送信装置は以上のように構成
されているので、次以降の音声フレームの送信タイミン
グへ先延ばしして音声フレームが送信されるため、音声
遅延が発生してしまうという課題があった。

【００１７】特開２００１−１８９７０９公報に開示さ
れた従来のデータ送信装置は、音声符号化ストリームを
バッファリングし、音声フレームの送信タイミングを次
以降の音声フレームの送信タイミングへ先延ばしして、
映像フレームの終了タイミングに合わせて音声フレーム
を多重するため、実際に送信される音声フレームを含む
メディア多重化フレームに対して、音声遅延が必ず発生
してしまう。

【００１８】また、音声フレームの送信タイミングは映
像フレームの完了タイミングに依存し、一定伝送周期で
の送信が必要な音声フレームに遅延時間として許容でき
ないジッタが発生してしまうという可能性もある。その
ため、特開２００１−１８９７０９公報においても、受
信側に受信バッファを設けて映像および音声を途切れな
く復号する手段が必要であることが指摘されている。

【００１９】この発明は上記のような課題を解決するた
めになされたもので、伝送遅延を抑制できるとともに、
各符号化フレームが適切な送信タイミングとなったメデ
ィア多重化フレームを生成することが可能なデータ送信
装置、データ送信方法およびマルチメディア多重伝送シ
ステムを構成することを目的とする。

【００２０】

【課題を解決するための手段】この発明に係るデータ送
信装置は、伝送周期中に送信可能なメディア多重化フレ
ームの全送信情報量と、伝送周期中に送信設定された優
先メディア情報の情報量との差分を全送信可能情報量と
して算出するとともに、優先メディア情報の符号化フレ
ームに対して、非優先メディア情報の符号化フレームを
全送信可能情報量以下の範囲で多重化してメディア多重
化フレームを生成するようにしたものである。

【００２１】この発明に係るデータ送信装置は、少なく
とも１以上の優先メディア情報を符号化およびフレーム
化して、伝送周期が規定された符号化フレームに生成す
る第１の符号化フレーム生成部と、少なくとも１以上の
非優先メディア情報を符号化およびフレーム化して、伝
送周期が規定されない符号化フレームに生成する第２の
符号化フレーム生成部と、優先メディア情報および非優
先メディア情報の各符号化フレームを多重化してメディ
ア多重化フレームを生成するメディア多重部と、メディ
ア多重化フレームを通信ネットワークへ送信する回線伝
送部と、優先メディア情報の符号化フレーム長と、メデ
ィア多重化フレームに送信設定済みの非優先メディア情
報の情報量と、メディア多重化フレームのオーバヘッド
とを優先メディア情報の伝送周期中に送信される全送信
情報量から減じて全送信可能情報量を算出するととも
に、全送信可能情報量の範囲の非優先メディア情報およ
び優先メディア情報の各符号化フレームを多重化したメ
ディア多重化フレームをメディア多重部に生成させる多
重制御部とを備えるようにしたものである。

【００２２】この発明に係るデータ送信装置は、非優先
メディア情報が最大送信可能情報量に不足する場合に
は、この不足分だけスタッフフレームを多重化したメデ
ィア多重化フレームを多重制御部がメディア多重部に生
成させるようにしたものである。

【００２３】この発明に係るデータ送信装置は、優先メ
ディア情報の伝送周期が一定の許容変動量を有する場合
には、優先メディア情報の符号化フレーム長と、メディ
ア多重化フレームに送信設定済みの非優先メディア情報
の情報量と、メディア多重化フレームの送信残量と、メ
ディア多重化フレームのオーバヘッドとを優先メディア
情報の伝送周期中に送信される全送信情報量から減じて
送信可能情報量を多重制御部が算出し、優先メディア情
報と非優先メディア情報との情報量の和が、許容変動量
の情報量分を加味して、送信可能情報量の範囲内に収ま
るように、非優先メディア情報の最大送信可能情報量を
多重制御部が算出するようにしたものである。

【００２４】この発明に係るデータ送信装置は、優先メ
ディア情報の伝送周期が正負の許容変動量を有する場合
には、優先メディア情報の符号化フレーム長と、メディ
ア多重化フレームに送信設定済みの非優先メディア情報
の情報量と、メディア多重化フレームの送信残量と、メ
ディア多重化フレームのオーバヘッドとを優先メディア
情報の伝送周期中に送信される全送信情報量から減じて
送信可能情報量を多重制御部が算出し、優先メディア情
報と非優先メディア情報との情報量の和が、負の許容変
動量の情報量分を加味した送信可能情報量から、正の許
容変動量の情報量分を加味した送信可能情報量までの範
囲内に収まるように、非優先メディア情報の最大送信可
能情報量を多重制御部が算出するようにしたものであ
る。

【００２５】この発明に係るデータ送信装置は、非優先
メディア情報の符号化フレームの区切れ目が許容変動量
の範囲内に存在する場合には、符号化フレームの区切れ
目に合わせてメディア多重化フレームを多重制御部がメ
ディア多重部に生成させるようにしたものである。

【００２６】この発明に係るデータ送信装置は、優先メ
ディア情報として音声メディアが入力されるとともに、
非優先メディア情報として映像メディアが入力されるよ
うにしたものである。

【００２７】この発明に係るデータ送信装置は、ＩＴＵ
−Ｔ Ｈ．２２３勧告に準拠した多重化方式によって、
メディア多重部がメディア多重化フレームを生成するよ
うにしたものである。

【００２８】この発明に係るデータ送信方法は、伝送周
期中に送信可能なメディア多重化フレームの全送信情報
量と、伝送周期中に送信設定された優先メディア情報の
情報量との差分を全送信可能情報量として算出するとと
もに、優先メディア情報の符号化フレームに対して、非
優先メディア情報の符号化フレームを全送信可能情報量
以下の範囲で多重化してメディア多重化フレームを生成
するようにしたものである。

【００２９】この発明に係るマルチメディア多重伝送シ
ステムは、伝送周期中に送信可能なメディア多重化フレ
ームの全送信情報量と、伝送周期中に送信設定された優
先メディア情報の情報量との差分として算出された全送
信可能情報量以下の範囲で、非優先メディア情報の符号
化フレームを優先メディア情報の符号化フレームに対し
て多重化してメディア多重化フレームが生成されるよう
にしたものである。

【００３０】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１によるデ
ータ送信装置の構成を示す図である。図１において、１
０はこの実施の形態１のデータ送信装置、Ｍａ，Ｍｂは
不図示の外部装置からデータ送信装置１０へそれぞれ入
力されるメディア情報である。Ｍａは優先多重の対象と
なる優先メディア情報を表しており、その符号化フレー
ムを一定の伝送周期で伝送する必要がある。一方、Ｍｂ
は非優先多重の対象となる非優先メディア情報であり、
符号化フレームの伝送周期は定められていない。なお、
以下の実施の形態１〜４では、優先メディア情報Ｍａが
１つ、非優先メディア情報Ｍｂが１つの場合を例として
説明していくが、優先メディア情報Ｍａ，非優先メディ
ア情報Ｍｂの数は特に限定されるものではない。

【００３１】また、図１において、１１ａ，１１ｂはそ
れぞれメディア符号化部（第１，第２の符号化フレーム
生成部）、１２ａ，１２ｂはそれぞれメディア符号化フ
レーム生成部（第１，第２の符号化フレーム生成部）で
ある。メディア符号化部１１ａは優先メディア情報Ｍａ
を所定の符号化方式で符号化して符号化メディアストリ
ームＳａを生成し、メディア符号化フレーム生成部１２
ａは符号化メディアストリームＳａをその特性に応じた
単位でフレーム化して符号化フレームＦａを生成する。
メディア符号化部１１ｂは非優先メディア情報Ｍｂを所
定の符号化方式で符号化して符号化メディアストリーム
Ｓｂを生成し、メディア符号化フレーム生成部１２ｂは
符号化メディアストリームＳｂをその特性に応じた単位
でフレーム化して符号化フレームＦｂを生成する。

【００３２】さらに、図１において、１３はメディア多
重部であり、１または２種以上のメディア情報を含んだ
メディア多重化フレームＦｍｕｘを所定の多重化方式で
生成する。ここでは、メディア多重部１３は、符号化フ
レームＦａ，Ｆｂからメディア多重化フレームＦｍｕｘ
を生成している。１４はメディア多重化フレームＦｍｕ
ｘを不図示の通信ネットワークへ送信する回線伝送部で
ある。

【００３３】さらに、図１において、１５は多重制御部
であり、符号化フレーム生成情報Ｉａ，Ｉｂに基づいて
多重制御情報Ｉｍｕｘを生成し、この多重制御情報Ｉｍ
ｕｘによってメディア多重部１３におけるメディア多重
化フレームＦｍｕｘの生成を制御する。符号化フレーム
生成情報Ｉａ，Ｉｂとは、符号化フレーム長、符号化フ
レーム数を含めて、メディア符号化フレーム生成部１２
ａ，１２ｂでの符号化フレーム生成状態を表している。

【００３４】次に動作について説明する。図１のデータ
送信装置１０において、優先メディア情報Ｍａは、メデ
ィア符号化部１１ａによって符号化メディアストリーム
Ｓａに符号化され、続いてメディア符号化フレーム生成
部１２ａによって符号化フレームＦａにフレーム化され
る。一方、非優先メディア情報Ｍｂは、メディア符号化
部１１ｂによって符号化メディアストリームＳｂに符号
化され、さらにメディア符号化フレーム生成部１２ｂに
よって符号化フレームＦｂにフレーム化される。

【００３５】同時に、メディア符号化フレーム生成部１
２ａ，１２ｂでは、符号化フレームＦａ，Ｆｂの生成の
際に、符号化フレーム生成情報Ｉａ，Ｉｂも生成され
る。これらの符号化フレーム生成情報Ｉａ，Ｉｂは、メ
ディア符号化フレーム生成部１２ａ，１２ｂから多重制
御部１５へ入力される。

【００３６】図２は多重制御部１５の動作を示すフロー
チャートである。また図３はメディア多重化フレームＦ
ｍｕｘにおける各符号化フレームＦａ，Ｆｂとデータ長
との関係を示す図である。

【００３７】まず始めに図２のステップＳＴ１１におい
て、多重制御部１５は、優先メディア情報Ｍａの伝送周
期中に送信される全送信情報量Ｌｔ１と、優先メディア
情報Ｍａの符号化フレーム長Ｌａ１と、メディア多重化
フレームＦｍｕｘに送信設定済みの非優先メディア情報
Ｍｂの情報量Ｌｆ１（初期値は０）とを符号化フレーム
生成情報Ｉａ，Ｉｂから取得し、続いてステップＳＴ１
２においてメディア多重化フレームＦｍｕｘの設定数に
応じたオーバヘッドＬｈ１を算出する（図３参照）。

【００３８】ステップＳＴ１２からステップＳＴ１３へ
移行すると、多重制御部１５は、一定の伝送周期におけ
る非優先メディア情報Ｍｂの最大送信可能情報量Ｌｍ１
を式（１）によって算出する。

【００３９】 Ｌｍ１＝Ｌｔ１−（Ｌａ１＋Ｌｈ１＋Ｌｆ１） （１）

【００４０】つまり多重制御部１５は、全送信情報量Ｌ
ｔ１に対して、その際に送信される優先メディア情報Ｍ
ａの符号化フレーム長Ｌａ１との差分からメディア多重
化フレームＦｍｕｘのオーバヘッドＬｈ１を考慮し、優
先メディア情報Ｍａの次回送信タイミングまでの期間中
に送信可能な非優先メディア情報Ｍｂの最大送信可能情
報量Ｌｍ１を算出する。この算出結果Ｌｍ１は、多重制
御部１５によって多重制御情報Ｉｍｕｘに含められる。

【００４１】次に、多重制御部１５は、送信待ち非優先
メディア情報Ｍｂの符号化フレームＦｂの情報量Ｌｖ１
をステップＳＴ１４で取得し、最大送信可能情報量Ｌｍ
１と情報量Ｌｖ１とを比較して、メディア多重化フレー
ムＦｍｕｘの送信設定可能な情報量に残量が有るかどう
かをステップＳＴ１５で判定する。送信設定可能な情報
量に残量がない場合には（ステップＳＴ１５でＮＯ）ス
テップＳＴ１６へ移行し、一方、送信設定可能な情報量
に残量がある場合には（ステップＳＴ１５でＹＥＳ）ス
テップＳＴ１７へと移行する。

【００４２】ステップＳＴ１５からステップＳＴ１７へ
移行した場合には、多重制御部１５は次の送信待ち非優
先メディア情報Ｍｂの符号化フレームＦｂが有るかどう
かを判定する。次の送信待ち非優先メディア情報Ｍｂの
符号化フレームＦｂがなければ（ステップＳＴ１７でＮ
Ｏ）ステップＳＴ１６へ移行する。次の送信待ち非優先
メディア情報Ｍｂの符号化フレームＦｂが有れば（ステ
ップＳＴ１７でＹＥＳ）ステップＳＴ１８へ移行し、送
信設定済みの非優先メディア情報Ｍｂの情報量Ｌｆ１を
更新するとともに、次の送信待ち非優先メディア情報Ｍ
ｂの符号化フレームＦｂを選択してステップＳＴ１２の
処理へ戻る。

【００４３】ステップＳＴ１６では、多重制御部１５
は、多重制御情報Ｉｍｕｘを生成してメディア多重部１
３へ出力し、メディア多重化フレームＦｍｕｘの生成を
メディア多重部１３に実施させる。メディア多重部１３
は、多重制御部１５からの多重制御情報Ｉｍｕｘに基づ
いて符号化フレームＦａ，Ｆｂを多重化し、メディア多
重化フレームＦｍｕｘを生成する。

【００４４】このように、多重制御情報Ｉｍｕｘにした
がって生成されたメディア多重化フレームＦｍｕｘにお
ける各符号化フレームＦａ，Ｆｂとデータ長との関係は
例えば図３のようになり、送信タイミングが一定周期化
された優先メディア情報Ｍａに対して、最大送信可能情
報量Ｌｍ１の範囲の非優先メディア情報Ｍｂが多重さ
れ、各符号化フレームＦａ，Ｆｂが適切な送信タイミン
グとなったメディア多重化フレームＦｍｕｘを生成でき
るようになる。

【００４５】加えて、メディア多重部１３において、次
の優先メディア情報Ｍａが発生するその直前の時点まで
のメディア多重化フレームＦｍｕｘを生成することがで
き、伝送遅延を抑制することができる。

【００４６】このメディア多重化フレームＦｍｕｘは、
専用線または回線交換方式による通信ネットワークに対
して回線伝送部１４から固定伝送レートで送信される。

【００４７】なお、メディア多重化フレームＦｍｕｘが
生成される際に優先メディア情報Ｍａが存在しない場合
は、優先メディア情報Ｍａの送信タイミングにおいてそ
の符号化フレーム長Ｌａ１＝０として扱っても良い。

【００４８】また、非優先メディア情報Ｍｂが存在しな
い場合や、非優先メディア情報Ｍｂが最大送信可能情報
量Ｌｍ１に不足する場合には、例えばスタッフフレーム
を代わりに多重化しても良く、最大送信可能情報量Ｌｍ
１を超えない範囲で新たな情報量の非優先メディア情報
Ｍｂが多重される。

【００４９】以上のように、この実施の形態１によれ
ば、優先メディア情報Ｍａを符号化およびフレーム化し
て、伝送周期が規定された符号化フレームＦａに生成す
るメディア符号化部１１ａおよびメディア符号化フレー
ム生成部１２ａと、非優先メディア情報Ｍｂを符号化お
よびフレーム化して、伝送周期が規定されない符号化フ
レームＦｂに生成するメディア符号化部１１ｂおよびメ
ディア符号化フレーム生成部１２ｂと、各符号化フレー
ムＦａ，Ｆｂを多重化してメディア多重化フレームＦｍ
ｕｘを生成するメディア多重部１３と、メディア多重化
フレームＦｍｕｘを通信ネットワークへ送信する回線伝
送部１４と、優先メディア情報Ｍａの符号化フレーム長
Ｌａ１と、メディア多重化フレームＦｍｕｘに送信設定
済みの非優先メディア情報Ｍｂの情報量Ｌｆ１と、メデ
ィア多重化フレームＦｍｕｘのオーバヘッドＬｈ１とを
優先メディア情報Ｍａの伝送周期中に送信される全送信
情報量Ｌｔ１から減じて全送信可能情報量Ｌｍ１を算出
するとともに、全送信可能情報量Ｌｍ１の範囲の非優先
メディア情報Ｍｂおよび優先メディア情報Ｍａの各符号
化フレームＦａ，Ｆｂを多重化したメディア多重化フレ
ームＦｍｕｘをメディア多重部１３に生成させる多重制
御部１５とを備えるようにしたので、優先メディア情報
Ｍａの送信タイミングが一定周期化され、各符号化フレ
ームＦａ，Ｆｂが適切な送信タイミングとなったメディ
ア多重化フレームＦｍｕｘを生成できるという効果が得
られ、次の優先メディア情報Ｍａが発生するその直前の
時点までのメディア多重化フレームＦｍｕｘを生成で
き、伝送遅延を抑制できるという効果が得られる。

【００５０】また、この実施の形態１によれば、非優先
メディア情報Ｍｂが最大送信可能情報量Ｌｍ１に不足す
る場合には、この不足分だけスタッフフレームを多重化
したメディア多重化フレームＦｍｕｘを多重制御部１５
がメディア多重部１３に生成させるようにしたので、非
優先メディア情報Ｍｂが最大送信可能情報量Ｌｍ１に不
足する場合であっても、優先メディア情報Ｍａの送信タ
イミングが一定周期化され、各符号化フレームＦａ，Ｆ
ｂが適切な送信タイミングとなったメディア多重化フレ
ームＦｍｕｘを生成できるという効果が得られ、次の優
先メディア情報Ｍａが発生するその直前の時点までのメ
ディア多重化フレームＦｍｕｘを生成でき、伝送遅延を
抑制できるという効果が得られる。

【００５１】実施の形態２．この実施の形態２と次の実
施の形態３では、優先メディア情報の伝送周期に一定範
囲の変動が許容される場合について説明する。

【００５２】図４はこの発明の実施の形態２によるデー
タ送信装置の構成を示す図である。図１と共通の符号は
同一または相当する構成を表している。図４において、
１６はメディア多重部１３から出力されたメディア多重
化フレームＦｍｕｘを一時保持する送信バッファ、Ｉｓ
は送信バッファ１６内での一時保持状態を表すメディア
多重化フレーム送信情報である。また、１５’は符号化
フレーム生成情報Ｉａ，Ｉｂおよびメディア多重化フレ
ーム送信情報Ｉｓに基づいてメディア多重部１３を制御
する多重制御部、Ｉｍｕｘ’は多重制御部１５’で生成
されたメディア多重部１３を制御する多重制御情報であ
る。

【００５３】次に動作について説明する。多重制御部１
５’からの多重制御情報Ｉｍｕｘ’に基づいて、メディ
ア多重部１３は、所定の多重化方式にしたがって符号化
フレームＦａ，Ｆｂを多重化し、優先メディア情報Ｍａ
と、最大送信可能情報量Ｌｍ２の範囲で非優先メディア
情報Ｍｂとを含んだメディア多重化フレームＦｍｕｘを
適応的に生成する。このメディア多重化フレームＦｍｕ
ｘは、専用線または回線交換方式による通信ネットワー
クに対して回線伝送部１４から固定伝送レートで送信さ
れる。

【００５４】この送信の際、送信バッファ１６は、メデ
ィア多重部１３からのメディア多重化フレームＦｍｕｘ
を一時保持して回線伝送部１４へ出力し、メディア多重
部１３におけるメディア多重化フレームＦｍｕｘの単位
時間あたりの生成量と、回線伝送部１４におけるメディ
ア多重化フレームＦｍｕｘの単位時間あたりの送信量と
の差を吸収するとともに、メディア多重化フレームＦｍ
ｕｘの送信残量を含んだメディア多重化フレーム送信情
報Ｉｓを生成して多重制御部１５’へ出力する。

【００５５】図５は多重制御部１５’の動作を示すフロ
ーチャートである。また図６はメディア多重化フレーム
Ｆｍｕｘにおける各符号化フレームとデータ長との関係
を示す図、さらに図７はメディア多重化フレームＦｍｕ
ｘにおける各符号化フレームの送信タイミングの一例を
示す図である。

【００５６】まず始めに図５のステップＳＴ２１におい
て、多重制御部１５’は、優先メディア情報Ｍａの伝送
周期中に送信される全送信情報量Ｌｔ２と、優先メディ
ア情報Ｍａの符号化フレーム長Ｌａ２と、メディア多重
化フレームＦｍｕｘに送信設定済みの非優先メディア情
報Ｍｂの情報量Ｌｆ２（初期値は０）と、メディア多重
化フレームＦｍｕｘの送信残量Ｌｒ２とを符号化フレー
ム生成情報Ｉａ，Ｉｂおよびメディア多重化フレーム送
信情報Ｉｓから取得し、続いてステップＳＴ２２におい
てメディア多重化フレームＦｍｕｘの設定数に応じたオ
ーバヘッドＬｈ２を算出する（図６参照）。

【００５７】ステップＳＴ２２からステップＳＴ２３へ
移行すると、多重制御部１５’は、一定の伝送周期（変
動が許容されない場合）における非優先メディア情報Ｍ
ｂの送信可能情報量Ｌｎ２を式（２）によって算出す
る。

【００５８】 Ｌｎ２＝Ｌｔ２−（Ｌａ２＋Ｌｈ２＋Ｌｆ２＋Ｌｒ２） （２）

【００５９】次に、多重制御部１５’は、送信待ち非優
先メディア情報Ｍｂの符号化フレームＦｂの情報量Ｌｖ
２をステップＳＴ２４で取得し、優先メディア情報Ｍａ
の伝送周期に対して許容される一定範囲の許容変動量を
Ｌｄ２として、Ｌｎ２＋Ｌｄ２≧Ｌｖ２かつＬｎ２≦Ｌ
ｖ２の関係を満たすかどうかをステップＳＴ２５で判定
する。

【００６０】Ｌｎ２＋Ｌｄ２≧Ｌｖ２かつＬｎ２≦Ｌｖ
２の関係を満たしていれば（ステップＳＴ２５でＹＥ
Ｓ）ステップＳＴ２６へ移行し、多重制御部１５’は、
非優先メディア情報Ｍｂの送信を優先して、非優先メデ
ィア情報Ｍｂの最大送信可能情報量Ｌｍ２をＬｖ２とし
て算出し（Ｌｍ２＝Ｌｖ２）、ステップＳＴ２７におい
て、最大送信可能情報量Ｌｍ２を含む多重制御情報Ｉｍ
ｕｘ’を生成し、メディア多重化フレームＦｍｕｘの生
成をメディア多重部１３に実施させる。

【００６１】一方、Ｌｎ２＋Ｌｄ２＜Ｌｖ２またはＬｎ
２＞Ｌｖ２の関係を満たしていれば（ステップＳＴ２５
でＮＯ）ステップＳＴ２８へ移行し、多重制御部１５’
は、優先メディア情報Ｍａの送信を優先して、非優先メ
ディア情報Ｍｂの最大送信可能情報量Ｌｍ２をＬｎ２と
して算出する（Ｌｍ２＝Ｌｎ２）。続いて、送信設定可
能な情報量に残量が有るかどうかをステップＳＴ２９で
判定し、次の送信待ち非優先メディア情報Ｍｂの符号化
フレームＦｂが有るかどうかをステップＳＴ３０で判定
する。

【００６２】ステップＳＴ２９またはステップＳＴ３０
のいずれかでＮＯの場合にはステップＳＴ２７へ移行
し、多重制御情報Ｉｍｕｘ’によるメディア多重化フレ
ームＦｍｕｘの生成を実施する。ステップＳＴ２９およ
びステップＳＴ３０でともにＹＥＳの場合には、ステッ
プＳＴ３１において、送信設定済みの非優先メディア情
報Ｍｂの情報量Ｌｆ２を更新するとともに、次の送信待
ち非優先メディア情報Ｍｂの符号化フレームＦｂを選択
して、ステップＳＴ２２の処理へ戻る。

【００６３】このように、多重制御部１５’は、全送信
情報量Ｌｔ２に対して、その際に送信される優先メディ
ア情報Ｍａの符号化フレーム長Ｌａ２とメディア多重化
フレームＦｍｕｘの送信残量Ｌｒ２との差分からメディ
ア多重化フレームＦｍｕｘのオーバヘッドＬｈ２および
送信待ち非優先メディア情報Ｍｂの符号化フレームＦｂ
の情報量Ｌｖ２を考慮し、優先メディア情報Ｍａの次回
送信タイミングまでの期間中に送信可能な非優先メディ
ア情報Ｍｂの最大送信可能情報量Ｌｍ２を算出してい
る。

【００６４】このように、多重制御情報Ｉｍｕｘ’にし
たがって生成されたメディア多重化フレームＦｍｕｘは
例えば図７のようになる。従来の図１２や図１３と比較
すると分かるように、優先メディア情報Ｍａの送信タイ
ミング（Ａ１，Ａ２，Ａ３，…）が一定周期化されると
ともに非優先メディア情報Ｍｂの多重（Ｖ１，Ｖ２，Ｖ
３，…）を継続して、各符号化フレームが適切な送信タ
イミングかつ多重化効率の低下を抑制したメディア多重
化フレームＦｍｕｘを生成できる。

【００６５】また、優先メディア情報Ｍａの次回送信タ
イミングまでの期間中に送信可能な非優先メディア情報
Ｍｂの最大送信可能情報量Ｌｍ２を算出するので、次の
優先メディア情報Ｍａが発生する前に、その直前の時点
までのメディア多重化フレームＦｍｕｘを生成でき、伝
送遅延を抑制できる。

【００６６】なお、非優先メディア情報Ｍｂの符号化フ
レームＦｂの区切れ目が許容変動量Ｌｄ２の範囲で存在
する場合には、その区切れ目に合わせてメディア多重化
フレームＦｍｕｘを生成しても良い。

【００６７】また、メディア多重化フレームＦｍｕｘを
生成する際に優先メディア情報Ｍａが存在しない場合
は、優先メディア情報Ｍａの送信タイミングにおいてそ
の符号化フレーム長Ｌａ２＝０として扱っても良い。

【００６８】さらに、非優先メディア情報Ｍｂが存在し
ない場合や、非優先メディア情報Ｍｂが最大送信可能情
報量Ｌｍ２に不足する場合には、例えばスタッフフレー
ムを代わりに多重化しても良く、最大送信可能情報量Ｌ
ｍ２を超えない範囲で新たな情報量の非優先メディア情
報Ｍｂが多重される。

【００６９】以上のように、この実施の形態２によれ
ば、優先メディア情報Ｍａの伝送周期が一定の許容変動
量を有する場合には、優先メディア情報Ｍａの符号化フ
レーム長Ｌａ２と、メディア多重化フレームＦｍｕｘに
送信設定済みの非優先メディア情報Ｍｂの情報量Ｌｆ２
と、メディア多重化フレームＦｍｕｘの送信残量Ｌｒ２
と、メディア多重化フレームＦｍｕｘのオーバヘッドＬ
ｈ２とを優先メディア情報Ｍａの伝送周期中に送信され
る全送信情報量Ｌｔ２から減じて送信可能情報量Ｌｎ２
を多重制御部１５’が算出し、優先メディア情報Ｍａと
非優先メディア情報Ｍｂとの情報量の和が、許容変動量
の情報量Ｌｄ２分を加味して、送信可能情報量Ｌｔ２の
範囲内に収まるように、非優先メディア情報Ｍｂの最大
送信可能情報量Ｌｍ２を多重制御部１５’が算出するよ
うにしたので、許容されるジッタの範囲で、優先メディ
ア情報Ｍａの送信タイミングが一定周期化されるととも
に非優先メディア情報Ｍｂの多重を継続して、各符号化
フレームＦａ，Ｆｂが適切な送信タイミングかつ多重化
効率の低下が抑制されたメディア多重化フレームＦｍｕ
ｘを生成できるという効果が得られ、優先メディア情報
Ｍａの次回送信タイミングまでの期間中に送信可能な非
優先メディア情報Ｍｂの最大送信可能情報量Ｌｍ２を算
出するため、次の優先メディア情報Ｍａが発生する前
に、その直前の時点までのメディア多重化フレームＦｍ
ｕｘを生成でき、伝送遅延を抑制できるという効果が得
られる。

【００７０】また、この実施の形態２によれば、非優先
メディア情報Ｍｂの符号化フレームＦｂの区切れ目が許
容変動量の範囲内に存在する場合には、符号化フレーム
Ｆｂの区切れ目に合わせてメディア多重化フレームＦｍ
ｕｘを多重制御部１５’がメディア多重部１３に生成さ
せるようにしたので、許容されるジッタの範囲として、
優先メディア情報Ｍａの送信タイミングが一定周期化さ
れるとともに、多重化制御の自由度が増して多重化効率
の向上を高めて、各符号化フレームＦａ，Ｆｂが適切な
送信タイミングかつ多重化効率の低下が抑制されたメデ
ィア多重化フレームＦｍｕｘを生成できるという効果が
得られ、優先メディア情報Ｍａの次回送信タイミングま
での期間中に送信可能な非優先メディア情報Ｍｂの最大
送信可能情報量Ｌｍ２を算出するため、次の優先メディ
ア情報Ｍａが発生する前に、その直前の時点までのメデ
ィア多重化フレームＦｍｕｘを生成でき、伝送遅延を抑
制できるという効果が得られる。

【００７１】実施の形態３．この実施の形態３の構成は
実施の形態２（図４）と同一であるため、構成図は省略
する。図８は多重制御部１５’の動作を示すフローチャ
ートであり、図９はメディア多重化フレームＦｍｕｘに
おける各符号化フレームとデータ長との関係を示す図で
ある。

【００７２】次に動作について説明する。まず始めに図
８のステップＳＴ４１において、多重制御部１５’は、
優先メディア情報Ｍａの伝送周期中に送信される全送信
情報量Ｌｔ３と、優先メディア情報Ｍａの符号化フレー
ム長Ｌａ３と、メディア多重化フレームＦｍｕｘに送信
設定済みの非優先メディア情報Ｍｂの情報量Ｌｆ３と、
メディア多重化フレームＦｍｕｘの送信残量Ｌｒ３とを
符号化フレーム生成情報Ｉａ，Ｉｂおよびメディア多重
化フレーム送信情報Ｉｓから取得し、続いてステップＳ
Ｔ４２においてメディア多重化フレームＦｍｕｘの設定
数に応じたオーバヘッドＬｈ３を算出する（図９参
照）。

【００７３】ステップＳＴ４２からステップＳＴ４３へ
移行すると、多重制御部１５’は、一定の伝送周期（変
動が許容されない場合）における非優先メディア情報Ｍ
ｂの送信可能情報量Ｌｎ３を式（３）によって算出す
る。

【００７４】 Ｌｎ３＝Ｌｔ３−（Ｌａ３＋Ｌｈ３＋Ｌｆ３＋Ｌｒ３） （３）

【００７５】次に、多重制御部１５’は、送信待ち非優
先メディア情報Ｍｂの符号化フレームＦｂの情報量Ｌｖ
３をステップＳＴ４４で取得し、優先メディア情報Ｍａ
の伝送周期に対して許容される一定範囲の許容変動量を
Ｌｄ３とし、この許容変動量Ｌｄ３の範囲を−Ｌｄａ３
から＋Ｌｄｂ３までとして、Ｌｎ３＋Ｌｄｂ３≧Ｌｖ３
かつＬｎ３−Ｌｄａ３≦Ｌｖ３の関係を満たすかどうか
をステップＳＴ４５で判定する。

【００７６】Ｌｎ３＋Ｌｄｂ３≧Ｌｖ３かつＬｎ３−Ｌ
ｄａ３≦Ｌｖ３の関係を満たしていれば（ステップＳＴ
４５でＹＥＳ）ステップＳＴ４６へ移行し、多重制御部
１５’は、非優先メディア情報Ｍｂの送信を優先して、
非優先メディア情報Ｍｂの最大送信可能情報量Ｌｍ３を
Ｌｖ３として算出し（Ｌｍ３＝Ｌｖ３）、ステップＳＴ
４７において、最大送信可能情報量Ｌｍ３を含む多重制
御情報Ｉｍｕｘ’を生成し、メディア多重化フレームＦ
ｍｕｘの生成をメディア多重部１３に実施させる。

【００７７】一方、Ｌｎ３＋Ｌｄｂ３＜Ｌｖ３またはＬ
ｎ３−Ｌｄａ３＞Ｌｖ３の関係を満たしていれば（ステ
ップＳＴ４５でＮＯ）ステップＳＴ４８へ移行し、多重
制御部１５’は、優先メディア情報Ｍａの送信を優先し
て、非優先メディア情報Ｍｂの最大送信可能情報量Ｌｍ
３をＬｎ３として算出する（Ｌｍ３＝Ｌｎ３）。続い
て、送信設定可能な情報量に残量が有るかどうかをステ
ップＳＴ４９で判定し、次の送信待ち非優先メディア情
報Ｍｂの符号化フレームＦｂが有るかどうかをステップ
ＳＴ５０で判定する。

【００７８】ステップＳＴ４９またはステップＳＴ５０
のいずれかでＮＯの場合にはステップＳＴ４７へ移行
し、多重制御情報Ｉｍｕｘ’によるメディア多重化フレ
ームＦｍｕｘの生成を実施する。ステップＳＴ４９およ
びステップＳＴ５０でともにＹＥＳの場合には、ステッ
プＳＴ５１において、送信設定済みの非優先メディア情
報Ｍｂの情報量Ｌｆ３を更新するとともに、次の送信待
ち非優先メディア情報Ｍｂの符号化フレームＦｂを選択
して、ステップＳＴ４２の処理へ戻る。

【００７９】このように、多重制御部１５’は、全送信
情報量Ｌｔ３に対して、その際に送信される優先メディ
ア情報Ｍａの符号化フレーム長Ｌａ３とメディア多重化
フレームＦｍｕｘの送信残量Ｌｒ３との差分からメディ
ア多重化フレームＦｍｕｘのオーバヘッドＬｈ３および
送信待ち非優先メディア情報Ｍｂの符号化フレームＦｂ
の情報量Ｌｖ３を考慮し、優先メディア情報Ｍａの次回
送信タイミングまでの期間中に送信可能な非優先メディ
ア情報Ｍｂの最大送信可能情報量Ｌｍ３を算出してい
る。

【００８０】なお、非優先メディア情報Ｍｂの符号化フ
レームＦｂの区切れ目が許容変動量Ｌｄ３の範囲で存在
する場合には、その区切れ目に合わせてメディア多重化
フレームＦｍｕｘを生成しても良い。

【００８１】また、メディア多重化フレームＦｍｕｘを
生成する際に優先メディア情報Ｍａが存在しない場合
は、優先メディア情報Ｍａの送信タイミングにおいてそ
の符号化フレーム長Ｌａ３＝０として扱っても良い。

【００８２】さらに、非優先メディア情報Ｍｂが存在し
ない場合や、非優先メディア情報Ｍｂが最大送信可能情
報量Ｌｍ３に不足する場合には、例えばスタッフフレー
ムを代わりに多重化しても良く、最大送信可能情報量Ｌ
ｍ３を超えない範囲で新たな情報量の非優先メディア情
報Ｍｂが多重される。

【００８３】さらに、優先メディア情報Ｍａに規定され
た一定の伝送周期に対して許容される一定範囲の許容変
動量Ｌｄ３は、Ｌｄａ３＝Ｌｄｂ３として許容変動範囲
の中心を基準に正負の許容変動量を等しくても良いし、
Ｌｄａ３≠Ｌｄｂ３として異なる比率であっても良い。

【００８４】以上のように、この実施の形態３によれ
ば、優先メディア情報Ｍａの伝送周期が正負の許容変動
量を有する場合には、優先メディア情報Ｍａの符号化フ
レーム長Ｌａ３と、メディア多重化フレームＦｍｕｘに
送信設定済みの非優先メディア情報Ｍｂの情報量Ｌｆ３
と、メディア多重化フレームＦｍｕｘの送信残量Ｌｒ３
と、メディア多重化フレームＦｍｕｘのオーバヘッドＬ
ｈ３とを優先メディア情報Ｍａの伝送周期中に送信され
る全送信情報量Ｌｔ３から減じて送信可能情報量Ｌｎ３
を多重制御部１５’が算出し、優先メディア情報Ｍａと
非優先メディア情報Ｍｂとの情報量の和が、負の許容変
動量の情報量Ｌｄｂ３分を加味した送信可能情報量Ｌｎ
３から、正の許容変動量の情報量分Ｌｄａ３を加味した
送信可能情報量Ｌｎ３までの範囲内に収まるように、非
優先メディア情報Ｍａの最大送信可能情報量Ｌｍ３を多
重制御部１５’が算出するようにしたので、許容される
ジッタの範囲として、優先メディア情報Ｍａの送信タイ
ミングに対して送信間隔が延長する方向での変動だけで
なく、短縮する方向での変動に対しても適用することが
可能となり、優先メディア情報Ｍａの送信タイミングが
一定周期化されるとともに、多重化制御の自由度が増し
て多重化効率の向上を高めて、各符号化フレームＦａ，
Ｆｂが適切な送信タイミングかつ多重化効率の低下が抑
制されたメディア多重化フレームＦｍｕｘを生成できる
という効果が得られ、優先メディア情報Ｍａの次回送信
タイミングまでの期間中に送信可能な非優先メディア情
報Ｍｂの最大送信可能情報量Ｌｍ３を算出するため、次
の優先メディア情報Ｍａが発生する前に、その直前の時
点までのメディア多重化フレームＦｍｕｘを生成でき、
伝送遅延を抑制できるという効果が得られる。

【００８５】実施の形態４．実施の形態１〜３では汎用
的な例を挙げて説明してきたが、優先メディア情報Ｍａ
として音声メディアを、非優先メディア情報Ｍｂとして
映像メディアを適用して実施の形態１〜３を実施しても
良く、各実施の形態と同様の効果が得られる。

【００８６】このとき、各メディアの符号化方式とし
て、音声メディアでは例えばＧＳＭ−ＡＭＲまたはＩＴ
Ｕ−Ｔ Ｇ．７２３．１勧告が適用され、映像メディア
では例えばＩＳＯ／ＩＥＣ １４４９６−２（ＭＰＥＧ
−４ Ｖｉｓｕａｌ）規格あるいはＩＴＵ−Ｔ Ｈ．２
６３勧告が適用される。

【００８７】また、実施の形態１〜３では汎用的な例を
挙げて説明してきたが、図１１で示されるＩＴＵ−Ｔ
Ｈ．２２３勧告（Ａｎｎｅｘ規定も含む）をメディア多
重化方式として適用して実施の形態１〜３を実施しても
良く、各実施の形態と同様の効果が得られる。

【００８８】以上のように、この実施の形態４によれ
ば、優先メディア情報Ｍａとして音声メディアが入力さ
れるとともに、非優先メディア情報Ｍｂとして映像メデ
ィアが入力されるようにしたので、実施の形態１〜３と
同様の効果が得られる。

【００８９】また、この実施の形態４によれば、ＩＴＵ
−Ｔ Ｈ．２２３勧告に準拠した多重化方式にしたがっ
て、メディア多重部がメディア多重化フレームを生成す
るようにしたので、実施の形態１〜３と同様の効果が得
られる。

【００９０】なお、実施の形態１〜４では、生成したメ
ディア多重化フレームＦｍｕｘを通信ネットワークへ送
信する場合について説明してきたが、同時に、上記のよ
うにして生成したメディア多重化フレームＦｍｕｘを通
信ネットワークから受信するデータ受信装置の場合に
も、実施の形態１〜４が適用可能であることは明らかで
ある。

【００９１】

【発明の効果】以上のように、この発明によれば、伝送
周期中に送信可能なメディア多重化フレームの全送信情
報量と、伝送周期中に送信設定された優先メディア情報
の情報量との差分を全送信可能情報量として算出すると
ともに、優先メディア情報の符号化フレームに対して、
非優先メディア情報の符号化フレームを全送信可能情報
量以下の範囲で多重化してメディア多重化フレームを生
成するようにしたので、優先メディア情報の送信タイミ
ングが一定周期化され、各符号化フレームが適切な送信
タイミングとなったメディア多重化フレームを生成でき
るという効果が得られ、次の優先メディア情報が発生す
るその直前の時点までのメディア多重化フレームを生成
でき、伝送遅延を抑制できるという効果が得られる。

【００９２】この発明によれば、少なくとも１以上の優
先メディア情報を符号化およびフレーム化して、伝送周
期が規定された符号化フレームに生成する第１の符号化
フレーム生成部と、少なくとも１以上の非優先メディア
情報を符号化およびフレーム化して、伝送周期が規定さ
れない符号化フレームに生成する第２の符号化フレーム
生成部と、優先メディア情報および非優先メディア情報
の各符号化フレームを多重化してメディア多重化フレー
ムを生成するメディア多重部と、メディア多重化フレー
ムを通信ネットワークへ送信する回線伝送部と、優先メ
ディア情報の符号化フレーム長と、メディア多重化フレ
ームに送信設定済みの非優先メディア情報の情報量と、
メディア多重化フレームのオーバヘッドとを優先メディ
ア情報の伝送周期中に送信される全送信情報量から減じ
て全送信可能情報量を算出するとともに、全送信可能情
報量の範囲の非優先メディア情報および優先メディア情
報の各符号化フレームを多重化したメディア多重化フレ
ームをメディア多重部に生成させる多重制御部とを備え
るようにしたので、優先メディア情報の送信タイミング
が一定周期化され、各符号化フレームが適切な送信タイ
ミングとなったメディア多重化フレームを生成できると
いう効果が得られ、次の優先メディア情報が発生するそ
の直前の時点までのメディア多重化フレームを生成で
き、伝送遅延を抑制できるという効果が得られる。

【００９３】この発明によれば、非優先メディア情報が
最大送信可能情報量に不足する場合には、この不足分だ
けスタッフフレームを多重化したメディア多重化フレー
ムを多重制御部がメディア多重部に生成させるようにし
たので、非優先メディア情報が最大送信可能情報量に不
足する場合であっても、優先メディア情報の送信タイミ
ングが一定周期化され、各符号化フレームが適切な送信
タイミングとなったメディア多重化フレームを生成でき
るという効果が得られ、次の優先メディア情報が発生す
るその直前の時点までのメディア多重化フレームを生成
でき、伝送遅延を抑制できるという効果が得られる。

【００９４】この発明によれば、優先メディア情報の伝
送周期が一定の許容変動量を有する場合には、優先メデ
ィア情報の符号化フレーム長と、メディア多重化フレー
ムに送信設定済みの非優先メディア情報の情報量と、メ
ディア多重化フレームの送信残量と、メディア多重化フ
レームのオーバヘッドとを優先メディア情報の伝送周期
中に送信される全送信情報量から減じて送信可能情報量
を多重制御部が算出し、優先メディア情報と非優先メデ
ィア情報との情報量の和が、許容変動量の情報量分を加
味して、送信可能情報量の範囲内に収まるように、非優
先メディア情報の最大送信可能情報量を多重制御部が算
出するようにしたので、許容されるジッタの範囲で、優
先メディア情報の送信タイミングが一定周期化されると
ともに非優先メディア情報の多重を継続して、各符号化
フレームが適切な送信タイミングかつ多重化効率の低下
が抑制されたメディア多重化フレームを生成できるとい
う効果が得られ、優先メディア情報の次回送信タイミン
グまでの期間中に送信可能な非優先メディア情報の最大
送信可能情報量を算出するため、次の優先メディア情報
が発生する前に、その直前の時点までのメディア多重化
フレームを生成でき、伝送遅延を抑制できるという効果
が得られる。

【００９５】この発明によれば、優先メディア情報の伝
送周期が正負の許容変動量を有する場合には、優先メデ
ィア情報の符号化フレーム長と、メディア多重化フレー
ムに送信設定済みの非優先メディア情報の情報量と、メ
ディア多重化フレームの送信残量と、メディア多重化フ
レームのオーバヘッドとを優先メディア情報の伝送周期
中に送信される全送信情報量から減じて送信可能情報量
を多重制御部が算出し、優先メディア情報と非優先メデ
ィア情報との情報量の和が、負の許容変動量の情報量分
を加味した送信可能情報量から、正の許容変動量の情報
量分を加味した送信可能情報量までの範囲内に収まるよ
うに、非優先メディア情報の最大送信可能情報量を多重
制御部が算出するようにしたので、許容されるジッタの
範囲として、優先メディア情報の送信タイミングに対し
て送信間隔が延長する方向での変動だけでなく、短縮す
る方向での変動に対しても適用することが可能となり、
優先メディア情報の送信タイミングが一定周期化される
とともに、多重化制御の自由度が増して多重化効率の向
上を高めて、各符号化フレームが適切な送信タイミング
かつ多重化効率の低下が抑制されたメディア多重化フレ
ームを生成できるという効果が得られ、優先メディア情
報の次回送信タイミングまでの期間中に送信可能な非優
先メディア情報の最大送信可能情報量を算出するため、
次の優先メディア情報が発生する前に、その直前の時点
までのメディア多重化フレームを生成でき、伝送遅延を
抑制できるという効果が得られる。

【００９６】この発明によれば、非優先メディア情報の
符号化フレームの区切れ目が許容変動量の範囲内に存在
する場合には、符号化フレームの区切れ目に合わせてメ
ディア多重化フレームを多重制御部がメディア多重部に
生成させるようにしたので、許容されるジッタの範囲と
して、優先メディア情報の送信タイミングが一定周期化
されるとともに、多重化制御の自由度が増して多重化効
率の向上を高めて、各符号化フレームが適切な送信タイ
ミングかつ多重化効率の低下が抑制されたメディア多重
化フレームを生成できるという効果が得られ、優先メデ
ィア情報の次回送信タイミングまでの期間中に送信可能
な非優先メディア情報の最大送信可能情報量を算出する
ため、次の優先メディア情報が発生する前に、その直前
の時点までのメディア多重化フレームを生成でき、伝送
遅延を抑制できるという効果が得られる。

【００９７】この発明によれば、優先メディア情報とし
て音声メディアが入力されるとともに、非優先メディア
情報として映像メディアが入力されるようにしたので、
優先メディア情報の送信タイミングが一定周期化され、
各符号化フレームが適切な送信タイミングとなったメデ
ィア多重化フレームを生成できるという効果が得られ、
次の優先メディア情報が発生するその直前の時点までの
メディア多重化フレームを生成でき、伝送遅延を抑制で
きるという効果が得られる。

【００９８】この発明によれば、ＩＴＵ−Ｔ Ｈ．２２
３勧告に準拠した多重化方式によって、メディア多重部
がメディア多重化フレームを生成するようにしたので、
優先メディア情報の送信タイミングが一定周期化され、
各符号化フレームが適切な送信タイミングとなったメデ
ィア多重化フレームを生成できるという効果が得られ、
次の優先メディア情報が発生するその直前の時点までの
メディア多重化フレームを生成でき、伝送遅延を抑制で
きるという効果が得られる。

【００９９】この発明によれば、伝送周期中に送信可能
なメディア多重化フレームの全送信情報量と、伝送周期
中に送信設定された優先メディア情報の情報量との差分
を全送信可能情報量として算出するとともに、優先メデ
ィア情報の符号化フレームに対して、非優先メディア情
報の符号化フレームを全送信可能情報量以下の範囲で多
重化してメディア多重化フレームを生成するようにした
ので、優先メディア情報の送信タイミングが一定周期化
され、各符号化フレームが適切な送信タイミングとなっ
たメディア多重化フレームを生成できるという効果が得
られ、次の優先メディア情報が発生するその直前の時点
までのメディア多重化フレームを生成でき、伝送遅延を
抑制できるという効果が得られる。

【０１００】この発明によれば、伝送周期中に送信可能
なメディア多重化フレームの全送信情報量と、伝送周期
中に送信設定された優先メディア情報の情報量との差分
として算出された全送信可能情報量以下の範囲で、非優
先メディア情報の符号化フレームを優先メディア情報の
符号化フレームに対して多重化してメディア多重化フレ
ームが生成されるようにしたので、優先メディア情報の
送信タイミングが一定周期化され、各符号化フレームが
適切な送信タイミングとなったメディア多重化フレーム
を生成できるという効果が得られ、次の優先メディア情
報が発生するその直前の時点までのメディア多重化フレ
ームを生成でき、伝送遅延を抑制できるという効果が得
られる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１によるデータ送信装
置の構成を示す図である。

【図２】 多重制御部の動作を示すフローチャートであ
る。

【図３】 メディア多重化フレームにおける各符号化フ
レームとデータ長との関係を示す図である。

【図４】 この発明の実施の形態２によるデータ送信装
置の構成を示す図である。

【図５】 多重制御部の動作を示すフローチャートであ
る。

【図６】 メディア多重化フレームにおける各符号化フ
レームとデータ長との関係を示す図である。

【図７】 メディア多重化フレームにおける各符号化フ
レームの送信タイミングの一例を示す図である。

【図８】 多重制御部の動作を示すフローチャートであ
る。

【図９】 メディア多重化フレームにおける各符号化フ
レームとデータ長との関係を示す図である。

【図１０】 ＩＴＵ−Ｔ Ｈ．３２４勧告に準拠したマ
ルチメディア端末の構成を示す図である。

【図１１】 ＩＴＵ−Ｔ Ｈ．２２３勧告に準拠した伝
送フォーマットを示す図である。

【図１２】 従来のデータ伝送装置において発生する多
重化効率の低下を説明するための図である。

【図１３】 特開２００１−１８９７０９号公報による
従来のデータ送信装置の動作を説明するための図であ
る。

【符号の説明】

１０ データ送信装置、１１ａ，１１ｂ メディア符号
化部（第１，第２の符号化フレーム生成部）、１２ａ，
１２ｂ メディア符号化フレーム生成部（第１，第２の
符号化フレーム生成部）、１３ メディア多重部、１４
回線伝送部、１５，１５’ 多重制御部、１６ 送信
バッファ、Ｆａ，Ｆｂ 符号化フレーム、Ｉａ，Ｉｂ
符号化フレーム生成情報、Ｉｓ メディア多重化フレー
ム送信情報、Ｍａ 優先メディア情報、Ｍｂ 非優先メ
ディア情報、Ｓａ，Ｓｂ 符号化メディアストリーム、
Ｆｍｕｘ メディア多重化フレーム、Ｉｍｕｘ，Ｉｍｕ
ｘ’ 多重制御情報。

フロントページの続き (72)発明者 三尾 武史 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 村山 修 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 吉本 守男 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5C063 AB03 AB07 AC01 AC05 CA11 CA23 5K028 AA01 EE03 EE08 KK01 KK32 LL02 LL11 MM05 5K030 GA02 HA08 HB21 JA01 JT01 JT04 JT10 KA19

Claims (10)

【特許請求の範囲】
1. 【請求項１】 伝送周期が規定された符号化フレームに
   生成される少なくとも１以上の優先メディア情報と、伝
   送周期が規定されない上記符号化フレームに生成される
   少なくとも１以上の非優先メディア情報とが入力され、
   上記優先メディア情報の符号化フレームおよび上記非優
   先メディア情報の符号化フレームを多重化してメディア
   多重化フレームを生成し連続伝送するデータ送信装置に
   おいて、 上記伝送周期中に送信可能な上記メディア多重化フレー
   ムの全送信情報量と、上記伝送周期中に送信設定された
   上記優先メディア情報の情報量との差分を全送信可能情
   報量として算出するとともに、上記優先メディア情報の
   符号化フレームに対して、上記非優先メディア情報の符
   号化フレームを上記全送信可能情報量以下の範囲で多重
   化して上記メディア多重化フレームを生成することを特
   徴とするデータ送信装置。
2. 【請求項２】 少なくとも１以上の優先メディア情報を
   符号化およびフレーム化して、伝送周期が規定された符
   号化フレームに生成する第１の符号化フレーム生成部
   と、 少なくとも１以上の非優先メディア情報を符号化および
   フレーム化して、伝送周期が規定されない符号化フレー
   ムに生成する第２の符号化フレーム生成部と、 上記優先メディア情報および上記非優先メディア情報の
   各上記符号化フレームを多重化してメディア多重化フレ
   ームを生成するメディア多重部と、 上記メディア多重化フレームを通信ネットワークへ送信
   する回線伝送部と、 上記優先メディア情報の符号化フレーム長と、上記メデ
   ィア多重化フレームに送信設定済みの上記非優先メディ
   ア情報の情報量と、上記メディア多重化フレームのオー
   バヘッドとを上記優先メディア情報の伝送周期中に送信
   される全送信情報量から減じて全送信可能情報量を算出
   するとともに、上記全送信可能情報量の範囲の上記非優
   先メディア情報および上記優先メディア情報の各上記符
   号化フレームを多重化した上記メディア多重化フレーム
   を上記メディア多重部に生成させる多重制御部とを備え
   ることを特徴とするデータ送信装置。
3. 【請求項３】 多重制御部は、非優先メディア情報が最
   大送信可能情報量に不足する場合には、この不足分だけ
   スタッフフレームを多重化したメディア多重化フレーム
   をメディア多重部に生成させることを特徴とする請求項
   ２記載のデータ送信装置。
4. 【請求項４】 多重制御部は、優先メディア情報の伝送
   周期が一定の許容変動量を有する場合には、上記優先メ
   ディア情報の符号化フレーム長と、メディア多重化フレ
   ームに送信設定済みの非優先メディア情報の情報量と、
   メディア多重化フレームの送信残量と、メディア多重化
   フレームのオーバヘッドとを上記優先メディア情報の伝
   送周期中に送信される全送信情報量から減じて送信可能
   情報量を算出し、上記優先メディア情報と上記非優先メ
   ディア情報との情報量の和が、上記許容変動量の情報量
   分を加味して、上記送信可能情報量の範囲内に収まるよ
   うに、上記非優先メディア情報の最大送信可能情報量を
   算出することを特徴とする請求項２記載のデータ送信装
   置。
5. 【請求項５】 多重制御部は、優先メディア情報の伝送
   周期が正負の許容変動量を有する場合には、上記優先メ
   ディア情報の符号化フレーム長と、メディア多重化フレ
   ームに送信設定済みの非優先メディア情報の情報量と、
   メディア多重化フレームの送信残量と、メディア多重化
   フレームのオーバヘッドとを上記優先メディア情報の伝
   送周期中に送信される全送信情報量から減じて送信可能
   情報量を算出し、上記優先メディア情報と上記非優先メ
   ディア情報との情報量の和が、上記負の許容変動量の情
   報量分を加味した上記送信可能情報量から、上記正の許
   容変動量の情報量分を加味した上記送信可能情報量まで
   の範囲内に収まるように、上記非優先メディア情報の最
   大送信可能情報量を算出することを特徴とする請求項２
   記載のデータ送信装置。
6. 【請求項６】 多重制御部は、非優先メディア情報の符
   号化フレームの区切れ目が許容変動量の範囲内に存在す
   る場合には、上記符号化フレームの区切れ目に合わせて
   メディア多重化フレームをメディア多重部に生成させる
   ことを特徴とする請求項４または請求項５記載のデータ
   送信装置。
7. 【請求項７】 優先メディア情報として音声メディアが
   入力されるとともに、非優先メディア情報として映像メ
   ディアが入力されることを特徴とする請求項２記載のデ
   ータ送信装置。
8. 【請求項８】 メディア多重部は、ＩＴＵ−Ｔ Ｈ．２
   ２３勧告に準拠した多重化方式によって、メディア多重
   化フレームを生成することを特徴とする請求項２，請求
   項４または請求項５のうちのいずれか１項記載のデータ
   送信装置。
9. 【請求項９】 伝送周期の規定された符号化フレームに
   生成される少なくとも１以上の優先メディア情報と、上
   記符号化フレームに生成される少なくとも１以上の非優
   先メディア情報とが入力され、上記優先メディア情報の
   符号化フレームおよび上記非優先メディア情報の符号化
   フレームを多重化してメディア多重化フレームを生成し
   連続伝送するデータ送信方法において、 上記伝送周期中に送信可能な上記メディア多重化フレー
   ムの全送信情報量と、上記伝送周期中に送信設定された
   上記優先メディア情報の情報量との差分を全送信可能情
   報量として算出するとともに、上記優先メディア情報の
   符号化フレームに対して、上記非優先メディア情報の符
   号化フレームを上記全送信可能情報量以下の範囲で多重
   化して上記メディア多重化フレームを生成することを特
   徴とするデータ送信方法。
10. 【請求項１０】 伝送周期の規定された符号化フレーム
    に生成される少なくとも１以上の優先メディア情報と、
    上記符号化フレームに生成される少なくとも１以上の非
    優先メディア情報とが入力され、上記優先メディア情報
    の符号化フレームおよび上記非優先メディア情報の符号
    化フレームを多重化して生成されたメディア多重化フレ
    ームが連続伝送されるマルチメディア多重伝送システム
    において、 上記メディア多重化フレームは、上記伝送周期中に送信
    可能な上記メディア多重化フレームの全送信情報量と、
    上記伝送周期中に送信設定された上記優先メディア情報
    の情報量との差分として算出された全送信可能情報量以
    下の範囲で、上記非優先メディア情報の符号化フレーム
    を上記優先メディア情報の符号化フレームに対して多重
    化して生成されることを特徴とするマルチメディア多重
    伝送システム。