JP2003249977A

JP2003249977A - データ送出装置、データ受信装置及びデータ伝送装置

Info

Publication number: JP2003249977A
Application number: JP2003088472A
Authority: JP
Inventors: Akino Inoue; あきの井上
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-03-27
Filing date: 2003-03-27
Publication date: 2003-09-05

Abstract

(57)【要約】【課題】伝送遅延のゆらぎが大きく、パケット損失が
避けられないパケット通信ネットワークにリアルタイム
連続ストリームを伝送するシステムにおいて、パケット
損失の再生機能への影響が抑制できる構成、また、最大
許容遅延時間を越えて到着したパケットの廃棄が連続し
て起こった時に対応できるバッファリング量制御が可能
な構成を提供することを目的とする。【解決手段】受信端末１０２内の通信状態モニタ部１
２３のモニタ情報からパケット損失率や伝送遅延ゆらぎ
などのインデクスを算出し、そのデータをデータサーバ
１０１内の送信制御部１１３で受け、通信状態インデク
スからから送信パラメタを決定することにより、ネット
ワークモニタ情報を受けて送信パラメタを動的に変化さ
せ、再生品質の劣化を低減できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はパケット通信ネット
ワークを利用したデータ送出・受信、特にリアルタイム
のデータ伝送に関するものである。

【０００２】

【従来の技術】従来、リアルタイムデータ伝送装置は図
に示すものが知られている。図１９に従来の音情報提供
装置の構成を示しており、オーディオサーバ１９０１、
受信端末１９０２はパケット通信ネットワーク１９０３
に接続されており、音情報を提供／受信する。

【０００３】オーディオサーバ１９０１はネットワーク
インタフェイス１９０４ａ、データ送信部１９０５ａ、
データ受信部１９０６ａ、パケット生成部１９０７など
の通常のデータ通信手段の他に、提供する音データを管
理する音情報管理部１９１０、音情報管理部から出力さ
れる音データを使用するパケット通信ネットワークに合
わせて符号化するマルチレートオーディオエンコーダ１
９１１、エンコーダからの出力結果を一時蓄積するバッ
ファ１９０８、受信端末から送られてくる通信状態モニ
タ情報を管理する通信状態モニタ情報管理部１９１２、
通信状態モニタ情報を受けて送信制御をおこなう送信制
御部１９１３、受信端末のユーザからの要求を受け付け
る端末要求受付部１９３１、受信端末ユーザへの送信内
容を管理する送信内容管理部１９３０を備える。送信制
御部１９１３は通信状態モニタ情報に含まれるスループ
ットのデータを受けて送信データレートを決定するデー
タレート決定部１９１３、ここで決定される送信パラメ
タをオーディオエンコーダ１９１１に通知する送信パラ
メタ通知部１９１６から構成される。

【０００４】また、受信端末１９０２はオーディオサー
バと同様な通常のデータ通信手段のほかに、データ受信
部１９０６ｂからの出力を一時蓄積する受信バッファ１
９０９、受信データから符号化データストリームを復元
するストリーム復元部１９２２、複数段階のレートの符
号化ストリームから音情報をデコードするマルチレート
オーディオデコーダ１９２１、デコードされた音データ
から音を出力するオーディオ出力部１９２０、受信デー
タのヘッダを解析して通信状態をモニタする通信状態モ
ニタ部１９２３、通信状態モニタデータから一定時間区
間のスループットを算出するスループット算出部１９２
４、受信内容設定部１９３２、端末要求生成部１９３３
を備える。

【０００５】以上のように構成された音情報提供装置に
ついて、以下パケット通信ネットワークのモニタ情報を
もとにして送信制御をおこなう動作を説明する。

【０００６】受信端末１９０２はパケット通信ネットワ
ーク１９０３に接続されたオーディオサーバ１９０１か
ら音情報を受信しようとする場合、受信内容設定部１９
３２で受信内容を選択し、端末要求生成部１９３３で所
定のフォーマットに合わせ、データ送信部１９０５ｂか
ら送信する。端末要求はネットワークインタフェイス１
９０４ａ、１９０４ｂを介してオーディオサーバ１９０
１のデータ受信部１９０６ａで受信され、端末要求受付
部１９３１で受け付けられ、送信内容管理部１９３０か
ら音情報管理部１９１０で管理するタイトルＩＤが指定
される。

【０００７】音情報管理部１９１０では指定されたタイ
トルのデータを一定速度でマルチレートオーディオエン
コーダ１９１１に入力し、マルチレートオーディオエン
コーダ１９１１では符号化レートの初期値でエンコード
をおこなう。その結果出力される符号化データは一時バ
ッファ１９０８に蓄積され、そこからパケット生成部１
９０７が読み出し、受信端末アドレス、送信時刻をあら
わすタイムスタンプ、ストリームのタイプなどの情報か
ら成るパケットヘッダを付加して、データ送信部１９０
５ａからネットワークインタフェイス部１９０４ａを介
してパケット通信ネットワーク１９０３に送出される。

【０００８】受信端末１９０２ではネットワークインタ
フェイス部１９０４ｂからデータ受信部１９０６ｂに読
み込み、そこでパケットヘッダを分離する。ペイロード
データは受信バッファ１９０９に一時蓄積され、ストリ
ーム復元部１９２２で元の符号化ストリームに復元さ
れ、マルチレートオーディオデコーダ１９２１でデコー
ドされ、オーディオ出力部１９２０に渡される。一方、
分離されたパケットヘッダの中からネットワーク状態に
関わる情報は通信状態モニタ部１９２３に出力される。
スループット算出部１９２４は通信状態モニタ１９２３
からスループット算出に必要なデータを取得し、ある時
間長のデータを蓄積してスループットを算出し、その結
果を他の通信モニタ情報とともに適当な間隔でオーディ
オサーバ１９０１の通信状態モニタ情報管理部１９１２
に通知する。

【０００９】オーディオサーバ１９０１の通信状態モニ
タ情報管理部１９１２ではスループット情報を送信制御
のためにデータレート決定部１９１４に渡し、データレ
ート決定部１９１４では、現在のデータレートを変更す
る必要性についてチェックする。現在の送信データレー
トに対してスループットが低いようであれば、送信デー
タレートを下げ、余裕があるようであれば、送信データ
レートを上げる。ここで決定されたデータレートは送信
パラメタとして送信パラメタ通知部１９１６からオーデ
ィオエンコーダ１９１１に通知される。

【００１０】これによって、パケット通信ネットワーク
のスループットに適応したデータレートを選択してメデ
ィアデータを送受信することができる。

【００１１】

【発明が解決しようとする課題】従来の音情報提供装置
においては、パケット通信ネットワークのスループット
に送信データレートを合わせるメカニズムを有してお
り、最適なスループットを自動的に選択することができ
る。

【００１２】しかし、パケット通信ネットワークではパ
ケットの損失が避け難く、スループットの低下と同様に
パケット損失も再生データの劣化の主要な原因であり、
音情報の場合は途切れたり、デコードを続けることが不
可能になったりという状態を招く。

【００１３】本発明は、この課題を解決し、パケット損
失が避けられないパケット通信ネットワークにおいて
も、パケット損失の再生機能への影響が抑制できる構成
を提供することを目的とする。また、最大許容遅延時間
を越えて到着したパケットの廃棄が連続しておこった時
に対応できるバッファリング量制御が可能な構成を提供
する。

【００１４】

【課題を解決するための手段】そこで、本発明はデータ
伝送（特に、リアルタイムでのデータの送出・受信）に
あたり、受信側では、受信データのパケット落ちや到着
遅延等の情報を監視し、その情報を送出側へ送り、送出
側では、その情報をもとに、様々な形態でデータを再送
するようにしたものである。これにより、リアルタイム
における受信側でのデータ再生の途切れを最小限に抑え
ることができる。

【００１５】

【発明の実施の形態】本発明において、第１の発明は、
受信側では、送出されるパケットの損失率を監視し、そ
の情報を送出側へ送り、送出側では、その情報からパケ
ット損失率が所定の閾値を超えた場合は、送信パケット
のサイズを小さくして再送するようにしたものである。
これにより、パケット損失時の再生への影響を小さくす
ることができる。

【００１６】第２の発明は、受信側では、送出されるパ
ケットの損失率を監視し、その情報を送出側へ送り、送
出側では、その情報からパケット損失率が所定の閾値を
超えた場合は、同一のパケットを多重送信するようにし
たものである。これにより、パケット損失時にある時間
区間のデータがすべて失われる確率を極めて小さく抑え
ることができる。また、請求項４に記載の発明のよう
に、多重送信されたパケットの内、重複するものは受信
側で削除するようにすれば、多重受信による受信側での
無駄な処理も容易に解消できる。

【００１７】第３の発明は、受信側では、送出されるパ
ケットの損失率を監視し、その情報を送出側へ送り、送
出側では、その情報からパケット損失率が所定の閾値を
超えた場合は、そのパケットを分割して再送するように
したものである。これにより受信側では、送出されるパ
ケットの損失率を監視し、その情報を送出側へ送り、送
出側では、その情報からパケット損失率が所定の閾値を
超えた場合は、そのパケットを分割して再送するように
したものである。これにより、該当する時間区間全体を
表す再生データをほぼ完璧に復元することが可能とな
る。

【００１８】第４の発明は、受信側では、ジッタと呼ば
れるデータ遅延・データ損失による揺らぎを監視し、そ
のジッタと受信データのバッファリング量とを制御し
て、再生データを再生するための調整を行うものであ
る。これにより、遅延量の時間的推移に対してバッファ
リング量を最適に設定することができるので、滑らかな
再生に加えネットワーク状態の変化に対してスムーズな
通信制御ができる。

【００１９】第５の発明は、前記第５の発明において特
に対象データが時間軸を有する音声や動画といった場
合、再生データを再生するための調整として、その時間
軸調整を行うものであり、同様の効果が得られる。

【００２０】第６の発明は、受信側では、到着遅延によ
るパケット廃棄、伝送中におけるパケット損失等の情報
を監視し、その情報を送出側へ送り、送出側では、その
情報から必要ならばクロスインタリーブを施した上で再
送し、受信側でデインタリーブを施しデータ再生するよ
うにしたものである。これにより、（パケット廃棄・損
失を抑制すると共に、）エラー訂正性能を向上させ、結
果連続パケット損失に対するデータリカバリ性能を向上
させることができる。

【００２１】第７の発明は、受信側では、受信したデー
タの再生の際にその再生品質に関する情報を監視し、そ
の情報を送出側へ送り、送出側では、その情報を蓄積・
テストすることにより、再生品質向上のための学習を行
い、その学習によって得られた情報に基づいてデータ伝
送制御を行うものである。これにより、最適な送信方法
を学習させていくことができる。第８の発明は、双方向
通信の機能を有する装置間で、それぞれの送信量・受信
量を監視し、それによってそれぞれのバッファリング量
を制御するものである。これにより、低遅延（高速双方
向通信）を要求しないユーザ端末には、バッファリング
量を大きくする（伝送遅延によるパッケト廃棄などを抑
制できる）ため、データ伝送品質を向上させることがで
きる。一方、低遅延（高速双方向通信）を要求するユー
ザ端末には、バッファリング量を小さくするため、デー
タ伝送遅延を低減させることができる。また、前記第８
の発明において特に対象データが時間軸を有する音声や
動画といった場合、再生データを再生するための調整と
して、その時間軸調整を行うものであり、同様の効果が
得られる。

【００２２】第９の発明は、前記第８の発明においてそ
のデータ伝送の際にインタリーブを施す（誤り訂正処理
を付加する）ことにより、データ受信品質を更に向上さ
せることができる。

【００２３】以下、本発明の実施の形態について、図１
から図１８を用いて説明する。なお、本発明はこれら実
施の形態に何等限定されるものではなく、その要旨を逸
脱しない範囲において、種々なる態様で実施し得る。

【００２４】（実施の形態１）図１は本発明の第１の実
施形態におけるシステム構成図を示し、図１においてオ
ーディオサーバ１０１、受信端末１０２はパケット通信
ネットワーク１０３に接続されており、それぞれ音情報
を提供し、受信する。

【００２５】オーディオサーバ１０１はネットワークイ
ンタフェイス１０４ａ、データ送信部１０５ａ、データ
受信部１０６ａ、パケット生成部１０７などの通常のデ
ータ通信手段の他に、提供する音データを管理する音情
報管理部１１０、そのデータを送信するネットワークに
合わせて符号化するマルチレートオーディオエンコーダ
１１１、エンコーダからの出力結果を一時蓄積するバッ
ファ１０８、受信端末１０２から送られてくる通信状態
モニタ情報を管理する通信状態モニタ情報管理部１１
２、通信状態モニタ情報から送信制御おこなう送信制御
部１１３、送信制御部１１３で設定されたパラメタを受
けてパケットサイズを設定するパケットサイズ設定部１
１７、受信端末１０２からの送信要求を受け付ける端末
要求受付部１３１、受信端末１０２への送信内容を管理
する送信内容管理部１３０を備える。

【００２６】送信制御部１１３は、通信状態モニタ情報
に含まれるスループットのデータを受けて送信データレ
ートを決定するデータレート決定部１１４、通信状態モ
ニタ情報に含まれるパケット損失率のデータを受けてパ
ケットサイズを決定するパケットサイズ決定部１１５、
送信制御部１１３での設定内容を実際の送信制御をおこ
なう部分に通知する送信パラメタ通知部１１６から成
る。

【００２７】また、受信端末１０２はオーディオサーバ
１０１と同様な通常のデータ通信手段のほかに、データ
受信部１０６ｂからの出力を一時蓄積する受信バッファ
１０９、受信データから符号化データストリームを復元
するストリーム復元部１２２、複数段階のレートの符号
化ストリームから音情報をデコードするマルチレートオ
ーディオデコーダ１２１、デコードされた音データから
音を出力するオーディオ出力部１２０、受信データのヘ
ッダを解析して通信状態をモニタする通信状態モニタ部
１２３、通信状態モニタ結果から一定時間区間のスルー
プットを算出するスループット算出部１２４、パケット
損失率算出部１２５、受信内容設定部１３２、端末要求
生成部１３３を備える。

【００２８】以上のように構成された音情報提供装置に
ついて、以下ネットワークのモニタ情報をもとにしてパ
ケットサイズ制御をおこなう動作を説明する。

【００２９】受信端末１０２はパケット通信ネットワー
ク１０３に接続されたオーディオサーバ１０１から音情
報を受信しようとする場合、受信内容設定部１３２で受
信内容を選択し、端末要求生成部１３３で所定のフォー
マットに合わせ、データ送信部１０５ｂから送信する。
端末要求はネットワークインタフェイス１０４ａ、１０
４ｂを介してオーディオサーバ１０１のデータ受信部１
０６ａで受信され、端末要求受付部１３１で受け付けら
れ、送信内容管理部１３０から音情報管理部１１０内の
タイトルＩＤが指定される。

【００３０】音情報管理部１１０では指定されたタイト
ルのデータを一定速度でマルチレートオーディオエンコ
ーダ１１１に入力し、マルチレートオーディオエンコー
ダ１１１では符号化レートの初期値でエンコードをおこ
なう。その結果出力される符号化データはバッファ１０
８に一時蓄積され、そこからパケット生成部１０７が読
み出し、受信端末アドレス、送信時刻をあらわすタイム
スタンプ、ストリームのタイプなどの情報から成るパケ
ットヘッダを付加して、データ送信部１０５ａからネッ
トワークインタフェイス部１０４ａを介してパケット通
信ネットワーク１０３に送出される。

【００３１】受信端末１０２ではネットワークインタフ
ェイス部１０４ｂからデータ受信部１０６ｂに読み込
み、そこでパケットヘッダを分離する。ペイロードデー
タは受信バッファ１０９に一時蓄積され、ストリーム復
元部１２２で元の符号化ストリームに復元され、マルチ
レートオーディオデコーダ１２１でデコードされ、オー
ディオ出力部１２０に渡される。一方、分離されたパケ
ットヘッダの中からネットワーク状態に関わる情報は通
信状態モニタ部１２３に出力される。スループット算出
部１２４は通信状態モニタ部１２３からスループット算
出に必要なデータを取得し、ある時間長のデータを蓄積
してスループットを算出する。パケット損失率算出部１
２５は通信状態モニタ部１２３からパケット損失率算出
に必要なデータを取得し、ある時間長のデータを蓄積し
てパケット損失率を算出する。これらの算出結果は他の
通信モニタ情報とともに適当な間隔でオーディオサーバ
１０１の通信状態モニタ情報管理部１１２に通知する。

【００３２】オーディオサーバ１０１の通信状態モニタ
情報管理部１１２では送信制御のためにスループット情
報をデータレート決定部１１４に渡し、データレート決
定部１１４では、現在のデータレートを変更する必要性
についてチェックする。現在の送信データレートに対し
てスループットが低いようであれば、送信データレート
を下げ、余裕があるようであれば、送信データレートを
上げる。同様に通信状態モニタ情報管理部１１２では送
信制御のためにパケット損失率情報をパケットサイズ決
定部１１５に渡し、パケットサイズ決定部１１５では、
現在のパケットサイズを変更する必要性についてチェッ
クし、現在のパケット損失率に対して適当なパケットサ
イズを決定する。データレート決定部１１４で決定され
たデータレートとパケットサイズ決定部１１５で決定さ
れたパケットサイズは送信パラメタ通知部１１６からそ
れぞれマルチレートオーディオエンコーダ１１１とパケ
ットサイズ設定部１１７に通知され、送信制御部１１３
で決定された送信方法での送信が実行される。

【００３３】図１０にパケット損失率に対して決定され
るパケットサイズの例を示す。パケット損失率が大きい
場合には、オーディオサーバ側の負荷が多少増加しても
パケット損失の影響を抑制するように、パケットを分割
して送信するようにし、パケット損失率が小さく、オー
ディオエンコーダ処理上のフレーム単位のパケットをそ
のまま送信しても再生品質への影響が小さい場合にはそ
のまま送信するようにする。

【００３４】これにより、パケットが損失した場合にも
再生側が影響を受けるデータの時間区間を小さくし、再
生品質が著しく劣化することを抑制することができる。

【００３５】以上のように、本実施の形態では、受信端
末でパケット損失率算出手段を備え、オーディオサーバ
では受信端末からパケット損失率データを受信し、この
値をもとに送信パケットサイズを設定し、そのサイズに
て再送することにより、パケットが損失した場合に再生
品質が劣化する時間区間を小さくすることができ、その
実用的効果は大きい。

【００３６】（実施の形態２）図２は本発明の第２の実
施形態におけるシステム構成図を示す。図２において１
０１〜１１４、１１６、１２０〜１３３は第１の実施形
態と同様の構成であり、それに加えてオーディオサーバ
１０１に送信多重回数決定部２０１、送信回数カウンタ
２０２、受信端末１０２内に重複パケット削除部２０３
を備える構成となっている。送信多重回数決定部２０１
は送信制御部１０３の内部に設けられている。

【００３７】以上のように構成された音情報提供装置に
ついて、以下ネットワークのモニタ情報をもとにして多
重送信回数制御をおこなう動作を説明する。

【００３８】受信端末１０２が音情報の送信要求をオー
ディオサーバ１０１に送信し、オーディオサーバ１０１
から該当するタイトルの音データがエンコードされて送
信され、受信端末１０２でペイロードデータがデコード
され、オーディオ出力部１２０から出力され、分離され
たパケットヘッダをモニタする中からスループットとパ
ケット損失率を算出し、オーディオサーバ１０１の通信
状態モニタ情報管理部１１２に通知する動作は第１の実
施形態と同様である。

【００３９】オーディオサーバ１０１のデータレート決
定部１１４では、現在のデータレートを変更する必要性
についてチェックし、同様に通信状態モニタ情報管理部
１１２ではパケット損失率情報を送信制御のためにパケ
ット多重送信決定部２０１に渡し、パケット多重送信決
定部２０１では、現在のパケット送信回数を変更する必
要性についてチェックし、現在のパケット損失率に対し
て適当なパケット送信回数を決定する。図１１にパケッ
ト損失率に対して決定される同一パケット送信回数の例
を示す。

【００４０】パケット損失率が大きい場合には、オーデ
ィオサーバ側の負荷が多少増加してもパケット損失の影
響を抑制するように、同一パケットを複数回数送信する
ようにし、パケット損失率が小さい場合には、同一パケ
ットを一回だけ送信するようにする。パケット多重送信
決定部２０１で決められた送信回数にしたがって、送信
回数カウンタ２０２は同一パケットをその回数だけ送信
するようにパケット送信回数を計数する。同一パケット
を重複して受信する受信端末側では重複パケット削除部
２０３において、ヘッダのパケットＩＤをチェックし、
重複データを削除する。これにより、パケットが損失し
た場合にも再生側が影響を受ける確率を小さくし、再生
品質が著しく劣化することを抑制することができる。

【００４１】このような処理により、通信のために必要
な帯域は送信回数倍だけ増加するが、それを回避する必
要がある場合には、データレート決定部１１４と連動す
ることにより、多重送信のデータレートを使用可能な通
信帯域内に抑えることが可能である。

【００４２】以上のように、本実施の形態では、受信端
末でパケット損失率算出手段を備え、オーディオサーバ
では受信端末からパケット損失率データを受信し、この
値をもとに同一パケット送信回数を設定することによ
り、パケットが損失した場合にも再生品質の劣化が発生
する確率をきわめて小さく抑えることができ、その実用
的効果は大きい。

【００４３】（実施の形態３）図３は本発明の第３の実
施形態におけるシステム構成図を示す。図３において１
０１〜１１４、１１６、１２０〜１３３は第１の実施形
態と同様の構成であり、それに加えてオーディオサーバ
１０１にフレーム分割決定部３０１を、またフレーム分
割処理部３０２、送信ストリーム管理部３０３、受信端
末１０２内にフレーム合成部３０４を備える構成となっ
ている。フレーム分割決定部３０１は送信制御部１１３
内に設けられている。

【００４４】以上のように構成された音情報提供装置に
ついて、以下パケット通信ネットワークのモニタ情報を
もとにしてフレーム分割制御をおこなう動作を説明す
る。

【００４５】受信端末１０２が音情報の送信要求をオー
ディオサーバ１０１に送信し、オーディオサーバ１０１
から該当するタイトルの音データがエンコードされて送
信され、受信端末１０２でペイロードデータがデコード
され、オーディオ出力部１２０から出力され、分離され
たパケットヘッダをモニタする中からスループットとパ
ケット損失率を算出し、オーディオサーバ１０１の通信
状態モニタ情報管理部１１２に通知する動作は第１の実
施形態と同様である。

【００４６】オーディオサーバ１０１の通信状態モニタ
情報管理部１１２ではスループット情報を送信制御のた
めにデータレート決定部１１４に渡し、データレート決
定部１１４では、現在のデータレートを変更する必要性
についてチェックし、同様に通信状態モニタ情報管理部
１１２ではパケット損失率情報を送信制御のためにフレ
ーム分割決定部３０１に渡し、フレーム分割決定部３０
１では、現在のフレーム処理方法を変更する必要性につ
いてチェックし、現在のパケット損失率に対して適当な
フレーム処理方法を決定する。図１２にパケット損失率
に対して決定されるフレーム分割方法の例を示す。

【００４７】パケット損失率が大きい場合には、オーデ
ィオサーバ側の負荷が多少増加してもパケット損失の影
響を抑制するように、ひとつの時間区間をそれぞれが時
間区間全体の解像度を下げたデータとなるように複数の
フレームに分割し、それぞれエンコードして、複数スト
リームとして送信するようにし、パケット損失率が小さ
い場合には、一つの時間区間を一フレームとして送信す
るようにする。フレーム分割決定部３０１で決められた
分割数にしたがって、フレーム分割処理部３０２はひと
つの元フレームを分割し、それぞれを別ストリームとし
てマルチレートオーディオエンコーダ１１１ａ、１１１
ｂでエンコードし、それぞれ別のバッファ１０８ａ、１
０８ｂに一時蓄積する。送信ストリーム管理部３０３で
はそれぞれのストリームを識別できるＩＤを含むパケッ
トヘッダをパケット生成部１０７に渡し、パケット生成
部１０７ではそれぞれのストリームごとにパケットヘッ
ダを付加し、データ送信部１０５ａから送信するように
する。

【００４８】受信端末１０２ではデータ受信部１０６ｂ
でパケットのヘッダをチェックし、ヘッダ内に示された
ストリームのＩＤごとに別の受信バッファ１０９ａ、１
０９ｂにふりわける。受信バッファ１０９ａ、１０９ｂ
に振り分けられたデータはストリーム復元部１２２ａ、
１２２ｂで符号化ストリームに復元され、それぞれマル
チレートオーディオデコーダ１２１ａ、１２１ｂに入力
する。マルチレートオーディオデコーダ１２１ａ、１２
１ｂからの出力をフレーム合成部３０４で合成し元のデ
ータを復元する。

【００４９】ここで、１フレームを分割して送信された
複数パケットのうちの１パケットが失われた場合には、
該当する時間区間はサンプリングレートが低いデータと
みなして再生される。この部分では音質的には他の時間
区間よりも劣化するが、データがぬける時間区間が発生
することはなく、情報量の欠落の度合が低減できる。

【００５０】これにより、１パケットが損失した場合に
も再生側は短い時間区間で多少音質を下げることにより
音を途切れずに再生することができ、再生品質が著しく
劣化することを抑制することができる。また、冗長度を
上げてパケット損失耐性を付加する方式に比べて、冗長
性はほとんどなく、帯域を有効に使用することができ
る。

【００５１】この実施形態において、オーディオデータ
を映像データとした場合にも同様な効果をもたらすこと
ができる。映像データ送信方式については、１つの時間
区間のデータを低解像度成分と高解像度成分とに分割
し、それぞれストリームとして送信する方法が知られて
いるが、パケット損失が発生する環境では低解像度成分
のデータが失われると高解像度成分のみ受信できても映
像を復元できない。本発明の方式に従えば、パケット損
失率がある閾値をこえた場合に、１つの時間区間のデー
タを同等の情報量を持つ２つのパケットに分割して送信
することにより、パケット損失によって再生系で影響を
受ける度合いを低減することができる。

【００５２】また、分割数であるが、その分割処理の手
間や受信後の合成処理、全体の効率等を考えると「２」
とするのが妥当であるとも思えるが、各種システムの態
様に応じて３、４、その他の分割数に設定しても、一向
に構わず、その場合でも、再生データの１００％近い復
元、再生途切れの抑制などといった本実施の形態特有の
効果に何ら影響を与えるものではない。

【００５３】以上のように、本実施の形態では、受信端
末でパケット損失率算出手段を備え、オーディオサーバ
では受信端末からパケット損失率データを受信し、この
値をもとに１フレームの分割数を設定することにより、
データの冗長性を持たせることなしにパケットが損失し
ても音の再生が途切れる確率を低減でき、再生品質の劣
化を抑制することができる。

【００５４】より具体的にいうならば、例えばＭＰＥＧ
の場合、特定のｉフレームが落ちると全てダメになって
しまうのに対して、本実施の形態のように、パケット損
失率が特定の閾値を超えたときにメディアデータのフレ
ームをそれぞれが解像度を下げるデータとなるように複
数に分割して、１フレームあたりのデータを複数パケッ
トで送信するように制御することができ、１パケット損
失時に他の１パケットで、例え解像度を低くしても該当
する時間区間全体を表す再生データを復元することがで
き、その実用的効果は大きい。

【００５５】（実施の形態４）図４は本発明の第４の実
施形態におけるシステム構成図を示す。図４において１
０１〜１１４、１１６、１２０〜１３３は第１の実施形
態と同様の構成であり、それに加えて受信端末１０２内
に廃棄パケットカウント部４０１、伝送ジッタモニタ部
４０２、受信バッファ制御部４０３、再生データ調整部
４０４を備える構成となっている。受信バッファ制御部
４０３内には受信バッファパラメタの現在値を一時保存
するバッファリング量記憶部４０５と最大許容遅延時間
記憶部４０６とを備えている。

【００５６】以上のように構成された音情報提供装置に
ついて、以下パケット通信ネットワークのモニタ情報を
もとにしてバッファリング制御をおこなう動作を説明す
る。

【００５７】受信端末１０２が音情報の送信要求をオー
ディオサーバ１０１に送信し、オーディオサーバ１０１
から該当するタイトルの音データがエンコードされて送
信され、受信端末１０２でペイロードデータがデコード
され、オーディオ出力部１２０から出力され、分離され
たパケットヘッダをモニタする中からスループットを算
出し、オーディオサーバ１０１の通信状態モニタ情報管
理部１１２に通知する動作は第１の実施形態と同様であ
る。

【００５８】受信端末１０２の廃棄パケットカウント部
４０１は通信状態モニタ部１２３から受信中に最大許容
遅延時間を越えて到着し、廃棄されたパケットの数を取
得して、パケット廃棄の発生状態を記憶する。伝送ジッ
タモニタ部４０２は通信状態モニタ部１２３から到着基
準時刻に対する実到着時刻のゆらぎのデータを取得し、
一定時間区間での統計量を算出し、その時間変化を監視
する。これらのモニタリング結果から、受信バッファ制
御部４０３は以下のようにバッファリング量の制御を行
なう。

【００５９】通常時は前記伝送ジッタモニタ部４０２か
ら出力される平均ジッタ値から受信バッファリング量を
定め、その分布にしたがっている場合の許容パケット損
失率から受信パケット到着の最大許容遅延時間を決定し
て、バッファリングを行なう。図１３に平均ジッタ値に
よるバッファリング量制御の例を示す。ここでは平均ジ
ッタ値に追従制御する場合にバッファリング量が振動を
起こさないように、制御量にヒステリシスを持たせてい
る。

【００６０】廃棄パケットカウント部４０１ではパケッ
ト廃棄状態が急に劣化した場合にアラームをあげ、バッ
ファリング量と最大許容遅延時間の現在値をそれぞれバ
ッファリング量記憶部４０５と最大許容遅延時間記憶部
４０６に記憶しておき、バッファリング量を増加させ、
最大許容遅延時間を緩和する。また、この短期的遅延劣
化状態が解消されたら、バッファリング量と最大許容遅
延時間を保存した値に戻す。バッファリング量を増大さ
せる場合には再生データの引き延ばしが、バッファリン
グ量を減少させる場合には再生データのフラッシュが必
要となる。このため再生データの時間軸調整をする再生
データ調整部４０４が無音区間でのデータ引き延ばし、
またはデータ削除を行ない、再生データの時間軸調整を
行なう。

【００６１】ここで、伝送遅延量が増加し、バッファに
おいてデータスターベーションを引き起こす兆候が現れ
れば、それを緩和するように、バッファリング量を増や
し再生データが途切れをおこさないように、無音区間を
検出して、そこで再生時間を調整する。また、遅延量が
減少してきて、バッファがオーバーフローする兆候が現
れれば、それを緩和するようにバッファリング量を減ら
し、それによって放出されるデータの時間軸調整をおこ
ない、無音区間を縮めて再生する。

【００６２】これにより、ネットワーク状態の長期的な
変化を示す伝送ジッタ算出部からの出力に対しては受信
側のバッファリング量をゆるやかに変化させ、短期的な
変化に対しては受信側のバッファリング量を急激に変化
させ、短期的な劣化状態が解消されたら前記伝送ジッタ
算出部からの出力値をもとに決定された元のバッファリ
ング量に戻し、遅延量の時間的推移に対してバッファリ
ング量を最適に設定するように制御することができ、ネ
ットワーク状態の変化に対してスムーズな通信制御がで
きる。

【００６３】以上のように、本実施の形態では、受信端
末で伝送ジッタモニタ部と短期的伝送劣化検出部とそれ
らからのモニタリング情報からバッファリング量を制御
するバッファ制御部と再生データの時間軸調整を行なう
処理部とを備えることにより、受信端末において伝送遅
延の劣化を検出したときに劣化のパタンの違いに対して
安定した受信制御を行なうことができ、音の再生が途切
れる確率を低減し、再生品質の劣化を抑制することがで
きる。

【００６４】より具体的にいうならば、送信パケットを
受信するためのバッファリング量をできる限り小さくし
て頭出しを早くすることと、再生の途切れをなくすため
にバッファリング量を増やすという、従来では相矛盾し
た両課題を解決すべく、会話における無音部分をカット
したり、捨てていいデータを捨てる等、ネットワーク状
態の長期的な変化を示す伝送ジッタ算出部からの出力に
対しては受信側のバッファリング量をゆるやかに変化さ
せ、短期的な変化に対しては受信側のバッファリング量
を急激に変化させ、短期的な劣化状態が解消されたら前
記伝送ジッタ算出部からの出力値をもとに決定された元
のバッファリング量に戻し、遅延量の時間的推移に対し
てバッファリング量を最適に設定するように制御するこ
とができ、ネットワーク状態の変化に対してスムーズな
通信制御ができ、その実用的効果は大きい。

【００６５】（実施の形態５）図５は本発明の第５の実
施形態におけるシステム構成図を示す。図５において１
０１〜１１４、１２０〜１３３、４０１、４０３、４０
５、４０６は第４の実施形態と同様の構成であるが、音
データは音声データとし、受信端末１０２内の再生デー
タ調整部４０４のかわりに話速変換部５０１を備える構
成となっている。

【００６６】以上のように構成された音情報提供装置に
ついて、以下パケット通信ネットワークのモニタ情報を
もとにしてバッファリング制御をおこなう動作を説明す
る。

【００６７】受信端末１０２が音情報の送信要求をオー
ディオサーバ１０１に送信し、オーディオサーバ１０１
から該当するタイトルの音データがエンコードされて送
信され、受信端末１０２でペイロードデータがデコード
され、オーディオ出力部１２０から出力され、分離され
たパケットヘッダをモニタする中からスループットをを
算出し、オーディオサーバ１０１の通信状態モニタ情報
管理部１１２に通知する動作、また受信端末１０２の廃
棄パケットカウント部４０１、伝送ジッタモニタ部４０
２が通信状態をモニタリングし、これらのモニタリング
結果から、受信バッファ制御部４０３がバッファリング
サイズを変化させる動作は第４の実施形態と同様であ
る。

【００６８】この構成において、バッファリング量を増
大させる場合には再生データの引き延ばしが、バッファ
リング量を減少させる場合には再生データのフラッシュ
が必要となる。このための再生データの時間軸調整を話
速変換部５０１により、データの再生時間を変化させる
ことにより行なう。この再生時間を制御する様子を図１
４に示す。

【００６９】ここで、伝送遅延量が増加し、バッファに
おいてデータスターベーションを引き起こす兆候が現れ
れば、それを緩和するように、バッファリング量を増や
し再生データが途切れをおこさないように、話速を下げ
て再生時間を調整する。また、遅延量が減少してきて、
バッファがオーバーフローする兆候が現れれば、それを
緩和するようにバッファリング量を減らし、それによっ
て放出されるデータの時間軸調整（主に再生時間の縮
小）をおこない、必要な時間区間だけ話速を上げて再生
する。

【００７０】これにより、無音区間が少ない再生データ
においても時間軸の調整箇所を任意にとれることになり
ネットワーク遅延の増減に関わらず、バッファオーバー
フローによるデータ廃棄またはバッファのデータスタベ
ーションを発生させることがなくなり、音声データの廃
棄／枯渇の発生を抑制することができる。

【００７１】以上のように、本実施の形態では、受信端
末で伝送ジッタモニタ部と短期的伝送劣化検出部とそれ
らからのモニタリング情報からバッファリング量を制御
するバッファ制御部と再生データの時間軸調整を行なう
話速変換処理部とを備え、受信端末において伝送遅延の
劣化を検出したときに劣化のパタンの違いに対して安定
した受信制御（滑らかな再生）を行なうことができる上
に、音声データ再生の信頼性を向上でき、その実用的効
果は大きい。

【００７２】（実施の形態６）図６は本発明の第６の実
施形態におけるシステム構成図を示す。図６において１
０１〜１１３、１２０〜１３３は第１の実施形態と同様
の構成であり、それに加えてオーディオサーバ１０１内
に送信モード決定部６０１、クロスインタリーブ部６０
３、ストリーム管理部６０５、受信端末１０２内にパケ
ット連続廃棄検出部６０２、デインタリーブ部６０４、
受信制御部６０６を備える構成となっている。送信モー
ド決定部６０１は送信制御部１１３内に設けられてい
る。

【００７３】以上のように構成された音情報提供装置に
ついて、以下パケット通信ネットワークのモニタ情報を
もとにして誤り訂正制御をおこなう動作を説明する。

【００７４】受信端末１０２が音情報の送信要求をオー
ディオサーバ１０１に送信し、オーディオサーバ１０１
から該当するタイトルの音データがエンコードされて送
信され、受信端末１０２でペイロードデータがデコード
され、オーディオ出力部１２０から出力される動作は第
１の実施形態と同様である。

【００７５】受信端末１０２のパケット連続廃棄検出部
６０２は通信状態モニタ部１２３から受信中に最大許容
遅延時間を越えて到着し廃棄されたパケットが連続して
発生したことを検出し、オーディオサーバ１０１の通信
状態モニタ情報管理部１１２に通知する。

【００７６】オーディオサーバ１０１の通信状態モニタ
情報管理部１１２ではパケット連続廃棄情報を送信制御
のために送信モード決定部６０１に渡し、送信モード決
定部６０１では、現在の送信モードを変更する必要性に
ついてチェックする。現在のパケット連続廃棄の発生頻
度が大きくなっており、誤り訂正の必要性が増大した場
合には送信データに対してクロスインタリーブ処理をお
こない、パケット連続廃棄の発生頻度が小さくなってき
た場合に誤り訂正をオンにした送信モードであればその
必要性がすくなってきたと見て、クロスインタリーブ処
理を中止する。図１５にクロスインタリーブ処理の例を
示す。ここでは６フレーム分をバッファリングし、８パ
ケットで送出する処理をおこなっている。送信ストリー
ム管理部６０５では送信モードを示すパケットヘッダを
パケット生成部１０７に渡し、パケット生成部１０７で
はデータストリームにパケットヘッダを付加し、データ
送信部１０５ａから送信するようにする。

【００７７】受信端末１０２ではデータ受信部１０６ｂ
でパケットのヘッダを切り離して受信制御部６０６に渡
し、受信制御部６０６はこのヘッダの内容をチェック
し、ヘッダ内に示された送信モードによってデインタリ
ーブ処理が必要かどうかを判断し、その判断にしたがっ
てデインタリーブ処理ＯＮ／ＯＦＦのスイッチを切替え
る。

【００７８】これにより、処理遅延は増大し、データサ
イズは増加するが、パケットが連続して廃棄または損失
した場合に、付加した冗長度に応じて再生側が失われた
データを回復することが可能となり、再生品質が劣化す
ることを抑制することができる。

【００７９】以上のように、本実施の形態では、受信端
末でパケット連続廃棄検出部を備え、そこからのアラー
ムによりオーディオサーバでクロスインタリーブ処理を
付加することにより、受信端末においてパケットが連続
損失または廃棄された場合にも失われたデータを回復す
ることができ、音の再生が途切れたり、再生品質が劣化
することを抑制することができる。

【００８０】より具体的にいうならば、パケットの連続
廃棄が発生していることが検出されたときは、送信デー
タに対してクロスインタリーブ処理を行ない、受信側で
デインタリーブ処理を行ない、伝送遅延によるパケット
廃棄を抑制するとともにエラー訂正性能を向上させ連続
パケット損失に対するデータリカバリ能力を向上させる
ことができ、その実用的効果は大きい。

【００８１】（実施の形態７）図７は本発明の第７の実
施形態におけるシステム構成図を示す。図７において１
０１〜１１３、１１６、１２０〜１３３は第１の実施形
態と同様の構成であり、それに加えてオーディオサーバ
１０１の送信制御部内に通信状態モニタ結果の複数イン
デクスを解析するインデクス解析部７０１、最適送信パ
ラメタを決定するためのテストを実施するテスト実行部
７０２、複数インデクスのベクトルパタンを検索するイ
ンデクス類似パタン検索部７０３、インデクスパタンお
よび最適送信パラメタ分布記憶部７０４、テスト実施フ
ラグ記憶部７０５、送信制御処理部７０６を備え、受信
端末１０２内に再生品質変化検出部７１０を備える構成
となっている。

【００８２】以上のように構成された音情報提供装置に
ついて、以下パケット通信ネットワークのモニタ情報が
複数インデクスから成る場合に最適な送信パラメタを得
るためにテストを実施してその結果から最適送信パラメ
タを決定する動作を説明する。

【００８３】受信端末１０２が音情報の送信要求をオー
ディオサーバ１０１に送信し、オーディオサーバ１０１
から該当するタイトルの音データがエンコードされて送
信され、受信端末１０２でペイロードデータがデコード
され、オーディオ出力部１２０から出力される動作は第
１の実施形態と同様である。

【００８４】受信端末１０２の通信状態モニタ部１２３
からはスループットやパケット損失率など通信状態をあ
らわす複数のインデクスが算出される。またマルチレー
トオーディオデコーダ１２１からは再生品質を示すデー
タが出力され、再生品質変化検出部７１０はこの再生品
質データの時間変化を算出する。これらの複数のインデ
クスを受信端末１０２がオーディオサーバ１０１の通信
状態モニタ情報管理部１１２に通知する。

【００８５】オーディオサーバ１０１の通信状態モニタ
情報管理部１１２では受信端末１０２から受けた複数の
通信状態モニタインデクスをインデクス解析部７０１に
て解析し、現在の送信方法を変更する必要性を判断す
る。現在の送信方法変更の必要ありと判断した場合に
は、最適な送信パラメタを決定するためにテストを実施
するテスト実行部７０２にそのインデクスセットを渡
し、テスト実施を指示する。

【００８６】このテスト実施の手順を図１６に示し、以
下、この図にしたがってテスト実施の手順を説明する。

【００８７】テスト実行部７０２では、インデクス類似
パタン検索部７０３に過去のインデクスパタンの中から
現在のインデクスセットにもっとも近いインデクスパタ
ンの検索を依頼する。インデクスパタンおよび最適送信
パラメタ分布記憶部７０４では過去のインデクスパタン
をベクトルとしてクラスタ化することにより、データを
分類して記憶しており、インデクス類似パタン検索部７
０３は現在のインデクスセットと代表ベクトル間の距離
を計算することにより、もっとも近いインデクスパタン
を高速に検索する。また、インデクス類似パタン検索部
７０３は該当するインデクスパタンにおいて過去にテス
トを実施して得られた最適送信パラメータの分布も同時
にデータとして出力する。

【００８８】テスト実行部７０２では最適送信パラメタ
の分布をもとにテストパラメタを複数セット生成し、順
次送信パラメタ通知部にテストパラメタを１セットずつ
渡し、テストを実施する。テスト開始時にテスト実施フ
ラグ記憶部７０５のデータをＯＮにセットする。

【００８９】受信端末１０２では通常時と同様に通信状
態モニタ結果として複数インデクスをデータサーバ１０
１に返し、データサーバ１０１のインデクス解析部７０
１ではテスト実施フラグ７０５がセットされている場合
は、無条件でテスト実行部７０２にインデクスデータを
渡す。テスト実行部７０２では受信端末１０２から返さ
れる再生品質を示すインデクスが収束するまで同一パラ
メタセットでのテストを続け、ひとつのパラメータセッ
トに対して代表インデクスセットが決定できたら、次の
パラメタセットでのテストを実施する。

【００９０】テスト実行部７０２では用意したひととお
りのテストを実施し、必要ならば再度パラメタセットを
用意してテストを繰り返し、再生品質を示すインデクス
を最大化するパラメータセットを求める。このパラメー
タセット最適化が収束したと判断したところで、その送
信パラメタを送信パラメータ通知部１１６に渡し、テス
ト実施フラグ記憶部７０５のデータをクリアする。ま
た、インデクスに対する最適送信パラメタのデータをも
って、インデクス類似パタン検索部７０３を介してイン
デクスパタンおよび最適送信パラメタ分布記憶部７０４
の最適送信パラメタ分布を更新する。

【００９１】これにより、再生品質が劣化したときに、
過去のテスト結果をもとにテスト用のパラメタセットを
作成し、そのテスト結果からあらたに最適な送信パラメ
タを決定して、前記送信制御処理部にそのパラメタを渡
してテストを実施し、新たなテスト結果はふたたびイン
デクスパタンおよび最適送信パラメタ分布に反映させて
いくことにより、特徴的な通信状態のインデクスパタン
に対する最適な送信方法を学習させることができる。

【００９２】以上のように、本実施の形態では、受信端
末からデータサーバに通知される再生品質インデクスと
複数の通信状態モニタインデクスのパタンに対して、送
信パラメータをある範囲でふってテストをおこない最適
な送信パラメタを決定することを繰り返すことにより、
環境に応じて最適な通信をおこなう通信メカニズムを提
供できるものであり、その実用的効果は大きい。

【００９３】（実施の形態８）図８は本発明の第８の実
施形態におけるシステム構成図を示す。図８において双
方向通信端末８０１はパケット通信ネットワーク１０３
に接続されており、同様の端末間で音声情報を送受信す
る。

【００９４】双方向通信端末８０１はネットワークイン
タフェイス１０４、データ送信部１０５、データ受信部
１０６、パケット生成部１０７などの通常のデータ通信
手段の他に、アプリケーション処理部８０２、ユーザデ
ータ送受信部８０３、音声を入力するマイクなどの音声
入力部８０４、音声入力部から入力された音声から有音
区間を検出する有音区間検出部８０５、有音区間の音デ
ータを送信するパケット通信ネットワークに合わせて符
号化／復号化する音声ＣＯＤＥＣ８０６、音声ＣＯＤＥ
Ｃからの符号化出力結果を一時蓄積するバッファ１０
８、データ受信部１０６からの出力を一時蓄積する受信
バッファ１０９、受信データから符号化データストリー
ムを復元するストリーム復元部１２２、ＣＯＤＥＣでデ
コードされた再生データの時間軸調整をおこない、無音
区間は快適雑音生成機能などによって、自然な再生音に
修正する再生データ調整部８０７、再生データ調整部８
０７で調整した結果のデータを出力するオーディオ出力
部１２０、パケット生成部１０７からデータ送信部１０
５への入力状態と、データ受信部１０６から受信バッフ
ァ１０９への入力状態をモニタして、複数端末間の音声
送信状況を把握するコミュニケーションパタン判定部８
０８、コミュニケーションパタン判定部８０８からの判
定結果を得て、受信バッファを制御する受信バッファ制
御部８０９を備える構成となっている。

【００９５】以上のように構成された双方向通信端末に
ついて、以下２端末間の送信状況をモニタして受信バッ
ファ制御をおこなう動作を説明する。

【００９６】双方向通信端末８０１はパケット通信ネッ
トワーク１０３に接続された他の同様な双方向端末と音
声通信しているときに、音声入力部８０４から音声を入
力し、有音区間検出部８０５で有音区間を検出し、検出
された有音区間の音データを音声ＣＯＤＥＣ８０６で圧
縮し、その結果出力される符号化データはバッファ１０
８に一時蓄積され、そこからパケット生成部１０７が読
み出し、受信端末アドレス、送信時刻をあらわすタイム
スタンプ、ストリームのタイプなどの情報から成るパケ
ットヘッダを付加して、データ送信部１０５からネット
ワークインタフェイス部１０４を介してパケット通信ネ
ットワーク１０３に送出される。有音区間が終了し、無
音区間にはいったことが検出された場合は、有音区間終
了の制御パケットを送出する。

【００９７】一方、受信データはネットワークインタフ
ェイス部１０４からデータ受信部１０６に読み込まれ、
そこでパケットヘッダを分離する。ペイロードデータは
受信バッファ１０９に一時蓄積され、ストリーム復元部
１２２で元の符号化ストリームに復元され、音声ＣＯＤ
ＥＣ８０６でデコードされ、再生データ調整部８０７に
渡される。再生データ調整部８０７では、音声ＣＯＤＥ
Ｃ８０６でデコードされた再生データの時間軸調整をお
こない、無音区間は快適雑音を生成してデータを付加す
るなどの処理によって、自然な再生音に修正する。再生
データ調整部８０７で調整した結果のデータはオーディ
オ出力部１２０から出力される。

【００９８】この動作の中でパケット生成部１０７から
データ送信部１０５への入力データサイズと、データ受
信部１０６から受信バッファ１０９への入力データサイ
ズをコミュニケーションパタン判定部８０８に入力し、
コミュニケーションパタン判定部８０８では双方が送信
するデータサイズのある時間区間での和の差分をとり、
その時間変化をモニタする。その様子を図１７に示す。
実際の判定は以下のようにしておこなう。各端末間の送
信データ量の差分をとり、その値の時間変化をモニタし
て、ゼロクロスの頻度をカウントする。図１７ａのよう
に、ゼロクロスの頻度が大きいときは端末ユーザ間で発
言者が頻繁に交代しているきっこう状態を示し、このよ
うな場面では円滑なコミュニケーション環境を提供する
ために低遅延が要求される。また、図１７ｂのように、
ゼロクロスの頻度が小さいときは１端末のユーザからの
一方的な発言パタンになっていることを示し、このよう
な場面ではそれほど低遅延は要求されない。このような
場合にはバッファリング量を増大させ、データ再生の品
質を向上させることが可能である。

【００９９】コミュニケーションパタン判定部８０８で
きっこう状態と判断された時は受信バッファ制御部８０
９で平均ジッタ値などから受信バッファリング量を定
め、その分布にしたがっている場合の許容パケット損失
率から受信パケット到着の最大許容遅延時間を決定し
て、バッファリングを行なう。また、コミュニケーショ
ンパタン判定部８０８で一方的発言状態と判断された時
は受信バッファ制御部８０９で通常の値よりもバッファ
リング量を増加させ、最大許容遅延時間を緩和する。

【０１００】コミュニケーションパタン判定部８０８で
パタンが変化したことを検出した場合には、受信バッフ
ァ制御部８０９でバッファリング量を変化させることに
なるが、有音区間だけのデータを送信しているので、再
生データの調整は無音区間長の増減により容易である。
それでもバッファのオーバーフロー、データスタベーシ
ョンが発生する場合は、再生データ調整部８０７が公知
の話速変換の技術などを用いて再生データの時間軸調整
をおこなう。また、無音区間では快適雑音を生成し、自
然な再生データを出力する。

【０１０１】これにより、同一のコミュニケーションに
関わる複数地点の中で、自端末からのデータ送信量に比
べて相手端末からのデータ送信量が一方的に大きいこと
が判定されたときは、自端末での受信最大許容遅延量を
大きくし、伝送遅延によるパケット廃棄を抑制するよう
に制御することができ、低遅延を要求しないユーザの端
末ではメディアデータ伝送の品質を向上させることがで
きる。

【０１０２】この実施形態において複数端末間でコミュ
ニケーションする場合にも適用することができる。コミ
ュニケーションパタン判定部８０８ではデータ受信部１
０６で受信するパケットの送信元アドレスから自端末以
外に何端末が現在のコミュニケーションに関与している
のか知ることができる。その自端末以外にパケットを送
出している端末数をＮとすると、パケット生成部１０７
からデータ送信部１０５への入力データサイズと、デー
タ受信部１０６から受信バッファ１０９への入力データ
サイズをコミュニケーションパタン判定部８０８に入力
し、コミュニケーションパタン判定部８０８では自端末
が送信するデータサイズのＮ倍と自端末以外が送信する
データサイズのある時間区間での和の差分をとり、その
時間変化をモニタする。２端末間の場合と同様にして、
この差分値の時間変化をモニタして、ゼロクロスの頻度
をカウントし、ゼロクロスの頻度が大きいときは自端末
ユーザを含む端末間で発言者が頻繁に交代しているきっ
こう状態を示し、このような場面では円滑なコミュニケ
ーション環境を提供するためにバッファリング量を小さ
くし、ゼロクロスの頻度が小さいときは、自端末ユーザ
がコミュニケーションにおいて聞く側に回っていること
を示し、このような場面ではバッファリング量を増大さ
せ、データ再生の品質を向上させることが可能である。

【０１０３】以上のように、本実施の形態では、各双方
向通信端末において各端末の送信状態をモニタすること
によってコミュニケーションパタンを判定し、遅延が発
生してもコミュニケーションを阻害しないと判断される
端末において、遅延条件を緩めてデータ受信の品質を向
上させることを可能にする構成を提供するものであり、
その実用的効果は大きい。

【０１０４】（実施の形態９）図９は本発明の第９の実
施形態におけるシステム構成図を示す。図９において双
方向通信端末８０１内部の１０４〜１０９、１２０、１
２２、８０２〜８０８は第８の実施形態と同様の構成で
あり、それに加えて、クロスインタリーブ部９０１とデ
インタリーブ部９０２とを備える構成となっている。

【０１０５】以上のように構成された双方向通信端末に
ついて、以下複数端末間の送信状況をモニタしてデータ
誤り制御をおこなう動作を説明する。

【０１０６】双方向通信端末８０１が他の同様な双方向
端末と音声通信する際のデータ処理の流れは第８の実施
形態と同様である。コミュニケーションパタン判定部８
０８では各端末が送信するデータサイズのある時間区間
での和をとり、その時間変化をモニタする。モニタデー
タの例を図１８に示す。ここで、図１８ａのように各端
末からの送信量が特定の端末に片よっていない場合は、
端末ユーザ間で発言者が頻繁に交代しているきっこう状
態を示し、このような場面では円滑なコミュニケーショ
ン環境を提供するために低遅延が要求される。

【０１０７】この場合は多少パケット損失が発生しても
できるだけ低遅延で送受信をおこなうことが重要である
ので、クロスインタリーブ処理はおこなわない。図１８
ｂのように特定の一端末からの送信量のみがある程度長
い時間区間に渡って突出して大きいことが検出された
ら、１端末のユーザからの一方的な発言パタンになって
いることを示し、このような場面ではそれほど低遅延は
要求されない。このような場合にはクロスインタリーブ
処理をおこなう。

【０１０８】コミュニケーションパタン判定部８０８で
パタンが変化したことを検出した場合には、クロスイン
タリーブ処理をｏｎ／ｏｆｆするので、結果的にバッフ
ァリング量を変化させることになるが、バッファリング
を増大させる場合には再生データの引き延ばしが、バッ
ファリング量を減少させる場合には再生データのフラッ
シュが必要となる。このため再生データの時間軸調整を
するには再生データ調整部８０７が無音区間でのデータ
引き延ばし、またはデータ削除を行ない、再生データの
時間軸調整を行なう。あるいは公知の話速変換の技術を
用いて再生データの時間軸調整を行なうことも可能であ
る。無音区間では快適雑音を生成し、人間の知覚にとっ
て自然な再生データを出力する。

【０１０９】これにより、同一のコミュニケーションに
関わる複数地点の中で、特定の１地点からのデータ送信
量が突出していることが判定されたときは、他地点での
受信最大許容遅延量を大きくし、また送信データに対し
てクロスインタリーブ処理を行ない、受信側でデインタ
リーブ処理を行ない、伝送遅延によるパケット廃棄を抑
制するとともにエラー訂正性能を向上させ連続パケット
損失に対するデータリカバリ能力を向上させることがで
き、低遅延が第一優先事項として要求されないようなコ
ミュニケーションパタンではメディアデータ伝送の品質
を向上させ、連続パケット廃棄や連続パケット損失が発
生しても付加した冗長度に応じた程度まで回復すること
ができる。

【０１１０】以上のように、本実施の形態では、各双方
向通信端末において複数端末間で音声コミュニケーショ
ンをとっているときに、各端末の送信状態をモニタする
ことによってコミュニケーションパタンを判定し、遅延
が発生してもコミュニケーションを阻害しないと判断さ
れる場合には、誤り訂正処理を付加し、データ受信の品
質を向上させることを可能にする構成を提供するもので
ある。

【０１１１】なお、以上の実施の形態１から９におい
て、メディアデータを音情報とした場合の実施の形態を
説明してきたが、映像情報など他のメディアについても
同様に適用できるものである。また、本発明において１
種類のメディアデータを送信した場合の実施の形態を説
明してきたが、複数メディアを同時に送信する場合につ
いても同様に適用できるものである。また第１から第７
の実施の形態については、オーディオサーバから受信端
末への１方向性のメディアデータ送信とした場合の実施
の形態を説明したが、双方向通信端末についても同様な
構成が適用できるものである。また、第１から第７の実
施の形態については、オーディオサーバにおいて端末か
ら要求があったときに圧縮符号化をおこなう構成につい
て説明したが、必要ならばスケーラブルな方式で前もっ
て圧縮符号化したデータを蓄積しておき、要求に応じて
所定のデータを取り出してパケット化して送出する構成
としても良い。

【０１１２】

【発明の効果】以上のように本発明によれば、第１に、
受信側では、送出されるパケットの損失率を監視し、そ
の情報を送出側へ送り、送出側では、その情報からパケ
ット損失率が所定の閾値を超えた場合は、送信パケット
のサイズを小さくして再送するようにしたものである。
これにより、パケット損失時の再生への影響を小さくす
ることができる。

【０１１３】第２に、受信側では、送出されるパケット
の損失率を監視し、その情報を送出側へ送り、送出側で
は、その情報からパケット損失率が所定の閾値を超えた
場合は、同一のパケットを多重送信するようにしたもの
である。これにより、パケット損失時にある時間区間の
データがすべて失われる確率を極めて小さく抑えること
ができる。また、多重送信されたパケットの内、重複す
るものは受信側で削除するようにすれば、多重受信によ
る受信側での無駄な処理も容易に解消できる。

【０１１４】第３に、受信側では、送出されるパケット
の損失率を監視し、その情報を送出側へ送り、送出側で
は、その情報からパケット損失率が所定の閾値を超えた
場合は、そのパケットを分割して再送するようにしたも
のである。これによ受信側では、送出されるパケットの
損失率を監視し、その情報を送出側へ送り、送出側で
は、その情報からパケット損失率が所定の閾値を超えた
場合は、そのパケットを分割して再送するようにしたも
のである。これにより、該当する時間区間全体を表す再
生データをほぼ完璧に復元することが可能となる。

【０１１５】第４に、受信側では、ジッタと呼ばれるデ
ータ遅延・データ損失による揺らぎを監視し、そのジッ
タと受信データのバッファリング量とを制御して、再生
データを再生するための調整を行うものである。これに
より、遅延量の時間駅推移に対してバッファリング量を
最適に設定することができるので、滑らかな再生に加え
ネットワーク状態の変化に対してスムーズな通信制御が
できる。

【０１１６】第５に、前記第５の発明において特に対象
データが時間軸を有する音声や動画といった場合、再生
データを再生するための調整として、その時間軸調整を
行うものであり、同様の効果が得られる。

【０１１７】第６に、受信側では、到着遅延によるパケ
ット廃棄、伝送中におけるパケット損失等の情報を監視
し、その情報を送出側へ送り、送出側では、その情報か
ら必要ならばクロスインタリーブを施した上で再送し、
受信側でデインタリーブを施しデータ再生するようにし
たものである。これにより、パケット廃棄・損失を抑制
すると共に、エラー訂正性能を向上させ、結果連続パケ
ット損失に対するデータリカバリ性能を向上させること
ができる。

【０１１８】第７に、受信側では、受信したデータの再
生の際にその再生品質に関する情報を監視し、その情報
を送出側へ送り、送出側では、その情報を蓄積・テスト
することにより、再生品質向上のための学習を行い、そ
の学習によって得られた情報に基づいてデータ伝送制御
を行うものである。これにより、最適な送信方法を学習
させていくことができる。

【０１１９】第８に、双方向通信の機能を有する装置間
で、それぞれの送信量・受信量を監視し、それによって
それぞれのバッファリング量を制御するものである。こ
れにより、低遅延（高速双方向通信）を要求しないユー
ザ端末には、バッファリング量を大きくする（伝送遅延
によるパッケト廃棄などを抑制できる）ため、データ伝
送品質を向上させることができる。一方、低遅延（高速
双方向通信）を要求するユーザ端末には、バッファリン
グ量を小さくするため、データ伝送速度を向上させるこ
とができる。また、前記第８の発明において特に対象デ
ータが時間軸を有する音声や動画といった場合、再生デ
ータを再生するための調整として、その時間軸調整を行
うものであり、同様の効果が得られる。

【０１２０】第９に、前記第８の発明においてそのデー
タ伝送の際にインタリーブを施す（誤り訂正処理を付加
する）ことにより、データ受信品質を更に向上させるこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における音情報提供装
置を示すシステム構成図

【図２】本発明の第２の実施形態における音情報提供装
置を示すシステム構成図

【図３】本発明の第３の実施形態における音情報提供装
置を示すシステム構成図

【図４】本発明の第４の実施形態における音情報提供装
置を示すシステム構成図

【図５】本発明の第５の実施形態における音情報提供装
置を示すシステム構成図

【図６】本発明の第６の実施形態における音情報提供装
置を示すシステム構成図

【図７】本発明の第７の実施形態における音情報提供装
置を示すシステム構成図

【図８】本発明の第８の実施形態における双方向通信端
末を示すシステム構成図

【図９】本発明の第９の実施形態における双方向通信端
末を示すシステム構成図

【図１０】本発明の第１の実施形態におけるパケットサ
イズ制御の例図

【図１１】本発明の第２の実施形態における同一パケッ
ト送信回数制御の例図

【図１２】本発明の第３の実施形態におけるフレーム分
割制御の例図

【図１３】本発明の第４の実施形態におけるバッファリ
ング量制御の図

【図１４】本発明の第５の実施形態における再生時間制
御の例図

【図１５】本発明の第６の実施形態におけるクロスイン
タリーブ処理の例図

【図１６】本発明の第７の実施形態におけるテスト実施
手順を示すフローチャート

【図１７】本発明の第８の実施形態におけるコミュニケ
ーションパタン判定の例図

【図１８】本発明の第９の実施形態におけるモニタデー
タの例図

【図１９】従来の音情報提供装置を示すシステム構成図

【符号の説明】

１０１オーディオサーバ１０２受信端末１０３パケット通信ネットワーク１０４、１０４ａ、１０４ｂネットワークインタフェ
イス部１０５、１０５ａ、１０５ｂデータ送信部１０６、１０６ａ、１０６ｂデータ受信部１０７パケット生成部１０８バッファ１０９受信バッファ１１０音情報管理部１１１、１１１ａ、１１１ｂマルチレートオーディオ
エンコーダ１１２通信状態モニタ情報管理部１１３送信制御部１１４データレート決定部１１５パケットサイズ決定部１１６送信パラメタ通知部１１７パケットサイズ設定部１２０オーディオ出力部１２１、１２１ａ、１２１ｂマルチレートオーディオ
デコーダ１２２ストリーム復元部１２３通信状態モニタ部１２４スループット算出部１２５パケット損失率算出部１３０送信内容管理部１３１端末要求受付部１３２受信内容設定部１３３端末要求生成部２０１送信多重回数決定部２０２送信回数カウンタ２０３重複パケット削除部３０１フレーム分割決定部３０２フレーム分割処理部３０３送信ストリーム管理部３０４フレーム合成部４０１廃棄パケットカウント部４０２伝送ジッタモニタ部４０３受信バッファ制御部４０４再生データ調整部４０５バッファリング量記憶部４０６最大許容遅延時間記憶部５０１話速変換部６０１送信モード決定部６０２パケット連続廃棄検出部６０３クロスインタリーブ部６０４デインタリーブ部６０５ストリーム管理部６０６受信制御部７０１インデクス解析部７０２テスト実行部７０３インデクス類似パタン検索部７０４インデクスパタンおよび最適送信パラメタ分布
記憶部７０５テスト実施フラグ記憶部７０６送信制御処理部７１０再生品質変化検出部８０１双方向通信端末８０２アプリケーション処理部８０３ユーザデータ送受信部８０４マイク８０５有音区間検出部８０６音声ＣＯＤＥＣ８０７再生データ調整部８０８コミュニケーションパタン判定部８０９受信バッファ制御部９０１クロスインタリーブ部９０２デインタリーブ部１９０１オーディオサーバ１９０２受信端末１９０３パケット通信ネットワーク１９０４ａ、１９０４ｂネットワークインタフェイス１９０５ａ、１９０５ｂデータ送信部１９０６ａ、１９０６ｂデータ受信部１９０７パケット生成部１９０８バッファ１９０９受信バッファ１９１０音情報管理部１９１１マルチレートオーディオエンコーダ１９１２通信状態モニタ情報管理部１９１３送信制御部１９１４データレート決定部１９１６送信パラメタ通知部１９２０オーディオ出力部１９２１マルチレートオーディオデコーダ１９２２ストリーム復元部１９２３通信状態モニタ部１９２４スループット算出部１９３０送信内容管理部１９３１端末要求受付部１９３２受信内容設定部１９３３端末要求生成部

Claims

【特許請求の範囲】

【請求項１】データを受信・再生する受信端末とネッ
トワーク等を介して通信可能であり、メディアデータを
入力・蓄積するメディア入力手段と、前記メディア入力
手段から入力・蓄積したデータを圧縮するメディアデー
タ圧縮手段と、前記メディアデータ圧縮手段で圧縮され
たメディアデータをパケットにして送出するパケット送
出手段と、再生品質情報を受信する受信手段と、再生品
質情報に基づいて送信方法を制御する送信方法制御手段
と、を備え、前記パケット送出手段から送出したパケットデータを、
前記受信端末側で再生する場合の再生品質に関する情報
である再生品質情報を受信端末から受けとり、その再生
品質情報に基づいて、送信パラメータを決定するための
テスト送信を実施し、その結果を蓄積・解析し、通信状
態に対する最適な送信方法を学習していくことを特徴と
するデータ送出装置。
【請求項２】データを送信するデータサーバとネット
ワーク等を介して通信可能であり、前記データサーバか
ら送られてくるデータパケットを受信するパケット受信
手段と、前記パケット受信手段で受信したパケットから
データを復元する復元手段と、前記復元手段から出力さ
れる圧縮データを受けとって伸長するメディアデータ伸
長手段と、前記メディアデータ伸長手段から出力される
再生データの品質に関する情報を受けて再生品質又は再
生品質の変化を示す再生品質情報を生成する再生品質情
報生成手段と、再生品質変化情報をデータサーバへ送信
する送信手段と、を備えたデータ受信装置。
【請求項３】パケット通信ネットワーク等を介して双
方向通信が可能であって、メディアデータを入力・蓄積
するメディア入力手段と、前記メディア入力手段から、
メディアの状態が変化していることを検出するメディア
状態変化検出手段と、前記メディアデータ状態変化検出
手段で変化が検出されたときのみメディア入力手段から
のデータを圧縮し、圧縮データを受けとって伸長するメ
ディアデータ圧縮／伸長手段と、前記メディアデータ圧
縮／伸長手段で圧縮されたメディアデータをパケットに
して送出するパケット送出手段と、任意のパケットを受
信するパケット受信手段と、前記パケット受信手段で受
信したパケットからデータを復元して前記メディアデー
タ圧縮／伸長手段に入力する復元手段と、前記パケット
送出手段から送信したパケットの送信状態と前記パケッ
ト受信手段で受信した他地点からのパケットの受信状態
をモニタし、コミュニケーションパタンを判定するコミ
ュニケーションパタン判定手段と、前記コミュニケーシ
ョンパタン判定手段での判定結果をもとに受信バッファ
リング量を制御する受信バッファ制御手段と、前記制御
されたバッファリング量に応じて、データを円滑に再生
する調整を行う再生データ調整手段とを備え、同一のコミュニケーションに関わる複数端末の中で、自
端末からのデータ送信量に比べて相手端末からのデータ
送信量が所定の基準より大きいと判定されたときは、自
端末での受信最大許容遅延量を大きくし、伝送遅延によ
る受信端末でのパケット廃棄を抑制するように制御する
ことを特徴とするデータ伝送装置。
【請求項４】対象データが音声又は動画である場合、
再生データ調整手段が、受信バッファ制御手段からの指
示によりバッファリング量を変更する際に再生データの
再生時間調整をすることを特徴とする請求項３に記載の
データ伝送装置。
【請求項５】送信データに対してクロスインタリーブ
処理を行なうクロスインタリーブ手段と、受信データに
対してデインタリーブ処理を行なうデインタリーブ手段
とを備え、同一のコミュニケーションに関わる複数地点の中で、特
定端末からのデータ送信量が突出していると判定された
ときは、すべての端末で受信最大許容遅延量を大きく
し、また送信データに対してクロスインタリーブ処理を
行ない、受信処理でデインタリーブ処理を行ない、遅延
を増大させることがコミュニケーションを阻害しないと
判断されたとき、伝送遅延によるパケット廃棄を抑制す
るとともにエラー訂正性能を向上させ連続パケット損失
に対するデータリカバリ能力を向上させることを特徴と
する請求項３に記載のデータ伝送装置。
【請求項６】パケット通信ネットワークに接続し、ネ
ットワークインタフェイスを備え、所定のアドレスに対
してリアルタイムデータを送信するデータサーバと、前
記パケット通信ネットワークに接続し、前記データサー
バからのデータを受信して即時に再生する受信端末とか
ら構成され、前記データサーバは、各メディアデータ供給手段と、前
記メディアデータ供給手段からのデータを圧縮するメデ
ィアデータ圧縮手段と、前記メディアデータ圧縮手段で
圧縮されたメディアデータをパケットにしてパケット通
信ネットワークに送出するパケット送出手段と、前記パ
ケット送出手段から送信したパケットの到着状態レポー
トデータを受信側から受けとり、通信状態モニタ情報を
管理する通信状態モニタ情報管理手段と、を備え、前記受信端末は、前記データサーバから送られてくるデ
ータパケットをパケット通信ネットワークから受信する
パケット受信手段と、前記パケット受信手段で受信した
パケットからデータストリームを復元するストリーム復
元部と、前記ストリーム復元部から出力される圧縮デー
タを受けとって伸長するメディアデータ伸長手段と、前
記パケット受信手段で受信したパケットのヘッダを解析
して通信状態をチェックする受信側通信状態モニタ手段
と、前記受信側通信状態モニタ手段でのモニタ結果をデ
ータサーバへ返すデータ送信手段と、前記受信端末の通
信状態モニタ手段が有する、到着基準時刻に対する実到
着時刻のジッタ量の一定時間区間での統計量を算出しそ
の時間変化を監視する伝送ジッタモニタ部と、最大許容
遅延時間を越えて到着し廃棄されたパケットを検出する
短期的伝送劣化検出部と、伝送ジッタモニタ部からジッ
タ量情報が出力されるタイミングで伝送ジッタ値からバ
ッファリング量と最大許容遅延時間を決定し、バッファ
リング量と最大許容遅延時間の現在値を保存する機能を
持つ受信バッファ制御手段と、前記受信バッファ制御手
段からの指示によりバッファリング量を変更する際に再
生データの時間軸調整をする再生データ調整手段と、を
備え、通常時は前記伝送ジッタモニタ部からの出力値によって
受信側のバッファリング量と受信パケット到着の最大許
容遅延時間を決定し、ネットワーク状態の長期的な変化
を示す伝送ジッタ算出部からの出力に対しては受信側の
バッファリング量をゆるやかに変化させ、短期的な変化
に対しては受信側のバッファリング量を急激に変化さ
せ、短期的な劣化状態が解消されたら前記伝送ジッタ算
出部からの出力値をもとに決定された元のバッファリン
グ量に戻し、遅延量の時間的推移に対してバッファリン
グ量を最適に設定するように制御することを特徴とする
リアルタイムデータ伝送装置。
【請求項７】音データは音声データであるとし、前記
受信バッファ制御手段からの指示によりバッファリング
量を変更する際に再生データの時間軸調整をする再生デ
ータ調整手段を話速変換処理部としたことを特徴とする
請求項６に記載のリアルタイムデータ伝送装置。
【請求項８】パケット通信ネットワークに接続し、ネ
ットワークインタフェイスを備え、所定のアドレスに対
してリアルタイムデータを送信するデータサーバと、前
記パケット通信ネットワークに接続し、前記データサー
バからのデータを受信して即時に再生する受信端末とか
ら構成され、前記データサーバは、各メディアデータ供給手段と、前
記メディアデータ供給手段からのデータを圧縮するメデ
ィアデータ圧縮手段と、前記メディアデータ圧縮手段で
圧縮されたメディアデータをパケットにしてパケット通
信ネットワークに送出するパケット送出手段と、前記パ
ケット送出手段から送信したパケットの到着状態レポー
トデータを受信側から受けとり、通信状態モニタ情報を
管理する通信状態モニタ情報管理手段と、送信方法を制
御する送信制御処理部と、を備え、前記受信端末は、前記データサーバから送られてくるデ
ータパケットをパケット通信ネットワークから受信する
パケット受信手段と、前記パケット受信手段で受信した
パケットからデータストリームを復元するストリーム復
元部と、前記ストリーム復元部から出力される圧縮デー
タを受けとって伸長するメディアデータ伸長手段と、前
記パケット受信手段で受信したパケットのヘッダを解析
して通信状態をチェックする受信側通信状態モニタ手段
と、前記通信状態モニタ手段でのモニタ結果から得られ
る複数のインデクスをデータサーバへ返すデータ送信手
段と、前記メディアデータ伸長手段から出力されるメデ
ィア再生データ品質情報を受けて再生品質変化を検出す
る再生品質変化検出手段と、を備え、再生品質変化情報
を前記複数のインデクスとともにデータサーバに返し、前記データサーバには、前記受信端末から受けとった通
信状態モニタ結果の複数のインデクスを解析し、現在の
送信パラメタを変更する必要性を判断するインデクス解
析部と、最適な送信パラメタを決定するためにテストを
実施するテスト実行部と、過去のテスト実施時に登録さ
れたインデクスパタンとそのときのテストの結果得られ
た最適パラメタの分布を記録するインデクスパタンおよ
び最適パラメタ分布記憶部と、現在テスト実施中である
かどうかを示すテスト実施フラグを記憶するテスト実施
フラグ記憶部と、を更に備え、再生品質が劣化したときに、過去のテスト結果をもとに
テスト用のパラメタセットを作成し、前記送信制御処理
部にそのパラメタを渡してテストを実施し、そのテスト
結果から最適な送信パラメタを決定して、新たなテスト
結果はふたたびインデクスパタンおよび最適パラメタ分
布記憶部に追加記録し、インデクスパタンおよび最適パ
ラメタ分布記憶部ではインデクスパタンをベクトルの距
離によりクラスタ分類し、特徴的な通信状態のインデク
スパタンごとに最適パラメタ分布を蓄積し、通信状態に
対する最適な送信方法を学習していくことを特徴とする
リアルタイムデータ伝送装置。
【請求項９】パケット通信ネットワークに接続し、ネ
ットワークインタフェイスを備え、パケット通信ネット
ワークを介して１地点以上の対地と互いにリアルタイム
データを送受信する双方向通信端末としての機能を有
し、各メディアデータ供給手段と、前記メディアデータ
供給手段からのデータから、メディアの状態が変化して
いることを検出するメディア状態変化検出手段と、前記
メディアデータ状態変化検出手段で変化が検出されたと
きのみメディアデータ供給手段からのデータを圧縮し、
圧縮データを受けとって伸長するメディアデータ圧縮／
伸長手段と、前記メディアデータ圧縮／伸長手段で圧縮
されたメディアデータをパケットにして前記パケット通
信ネットワークに送出するパケット送出手段と、パケッ
ト通信ネットワークからデータパケットを受信するパケ
ット受信手段と、前記パケット受信手段で受信したパケ
ットからデータストリームを復元して前記メディアデー
タ圧縮／伸長手段に入力するストリーム復元部とを備え
た双方向通信端末であって、前記パケット送出手段から送信したパケットの送信状態
と前記パケット受信手段で受信した他地点からのパケッ
トの受信状態をモニタし、コミュニケーションパタンを
判定するコミュニケーションパタン判定部と、前記コミ
ュニケーションパタン判定部での判定結果をもとに受信
バッファリング量を決定する受信バッファ制御手段と、
前記受信バッファ制御手段からの指示によりバッファリ
ング量を変更する際に再生データの時間軸調整をする再
生データ調整手段と、を備え、同一のコミュニケーションに関わる複数端末の中で、自
端末からのデータ送信量に比べて相手端末からのデータ
送信量が一方的に大きいことが判定されたときは、自端
末での受信最大許容遅延量を大きくし、伝送遅延による
受信端末でのパケット廃棄を抑制するように制御するこ
とを特徴とするリアルタイムデータ伝送装置。
【請求項１０】送信データに対してクロスインタリー
ブ処理を行なうクロスインタリーブ部と、インタリーブ
処理をおこなったデータであることを示すヘッダを付加
する送信ストリーム管理部と、受信データに対してデイ
ンタリーブ処理を行なうデインタリーブ部とを備え、同一のコミュニケーションに関わる複数地点の中で、特
定端末からのデータ送信量が突出していることが判定さ
れたときは、すべての端末で受信最大許容遅延量を大き
くし、また送信データに対してクロスインタリーブ処理
を行ない、受信処理でデインタリーブ処理を行ない、遅
延を増大させることがコミュニケーションを阻害しない
と判断されたときだけ、伝送遅延によるパケット廃棄を
抑制するとともにエラー訂正性能を向上させ連続パケッ
ト損失に対するデータリカバリ能力を向上させることを
特徴とする請求項９に記載のリアルタイムデータ伝送装
置。