JP2006140984A - 特定メディアデータの破棄を制御する送信装置及び送信プログラム - Google Patents
特定メディアデータの破棄を制御する送信装置及び送信プログラム Download PDFInfo
- Publication number
- JP2006140984A JP2006140984A JP2005165371A JP2005165371A JP2006140984A JP 2006140984 A JP2006140984 A JP 2006140984A JP 2005165371 A JP2005165371 A JP 2005165371A JP 2005165371 A JP2005165371 A JP 2005165371A JP 2006140984 A JP2006140984 A JP 2006140984A
- Authority
- JP
- Japan
- Prior art keywords
- buffer
- media data
- transmission
- data
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 189
- 239000000872 buffer Substances 0.000 claims abstract description 330
- 238000012544 monitoring process Methods 0.000 claims abstract description 54
- 238000009825 accumulation Methods 0.000 claims description 47
- 238000012546 transfer Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012464 large buffer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Abstract
【解決手段】 音声データを一時的に蓄積する第1のバッファと、映像データを一時的に蓄積する第2のバッファと、第1のバッファから出力された音声データと、第2のバッファから出力された映像データとを1系統の信号線に出力するための多重化手段と、第1のバッファの第1のバッファ蓄積量を監視し、該第1のバッファ蓄積量が第1の閾値を越えた際に、映像データを破棄するように第2のバッファへ指示する送信バッファ監視手段とを有する。
【選択図】 図3
Description
符号化し、所定サイズのフレームに構成し、そのフレームをネットワークへ送信する。一方、受信装置は、受信したフレーム単位で、異なるメディアデコーダを用いてメディアデータを復号する。メディアデータ毎に、所定サイズをどのように決定するかが、マルチメディアデータの多重化においては重要である。
映像の符号化ビットレート:32kbit/秒、フレームレート:10枚/秒
音声の符号化ビットレート:6800bit/秒、フレーム長:20m秒
RTPヘッダサイズ:12byte
UDPヘッダ:8byte
IPヘッダ:20byte
映像の符号化ビットレート:32kbit/秒÷8bit = 4kbyte/秒
秒当たりの伝送フレーム数:10フレーム/秒
映像データパケットの伝送間隔:1秒/10フレーム = 100m秒
フレームレート:4kbyte/秒÷10フレーム/秒 = 400byte/フレーム
映像の1パケット:400byte+12byte+8byte+20byte = 440byte
映像1パケットの伝送時間:440byte×8bit÷64kbit/秒 = 55m秒
音声の符号化ビットレート:6800bit/秒÷8bit = 850byte/秒
秒当たりの伝送フレーム数:50フレーム/秒
音声データパケットの伝送間隔:1秒/50フレーム = 20m秒
1フレーム当たりのバイト数:850byte/秒×20m秒 = 17byte/フレーム
音声の1パケット:17byte+12byte+8byte+20byte = 57byte
音声1パケットの伝送時間:57byte×8bit÷64kbit/秒 = 7.125m秒
(12byte+8byte+20byte)×8bit×(50音声フレーム+10映像フレーム)
= 19.2kbit/秒
ものヘッダによるオーバヘッドを要する。
(12byte+8byte+20byte)×8bit×(50音声フレーム+50映像フレーム)
= 32kbit/秒
送信すべき第1のメディアデータを一時的に蓄積する第1のバッファと、
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと、
第1のバッファから出力された第1のメディアデータと、第2のバッファから出力された第2のメディアデータとを1系統の信号線に出力するための多重化手段と、
第1のバッファの第1のバッファ蓄積量を監視し、該第1のバッファ蓄積量が第1の閾値を越えた際に、第2のメディアデータを破棄するように第2のバッファへ指示する送信バッファ監視手段と
を有することを特徴とする。
第1のバッファ蓄積量が第1の閾値を越えた後、第1のバッファ蓄積量が第2の閾値以下となる状態が所定時間TMだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段を更に有し、
送信バッファ監視手段は、伝送路レートが所定レート以上に回復したとき、第2のメディアデータの破棄を停止するように第2のバッファに指示することも好ましい。
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと
第1のメディアデータと、第2のバッファから出力された第2のメディアデータとを1系統の信号線に出力するための多重化手段と、
多重化手段から出力されたフレームを一時的に蓄積する第3のバッファと、
第3のバッファの第3のバッファ蓄積量を監視し、該第3のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第2のメディアデータが転送されるように第2のバッファを制御する多重化サイズ決定手段と
を有することを特徴とする。
第3のバッファから出力されるフレームをネットワークへ送信するネットワークインタフェース手段と、
ネットワークインタフェース手段から得られる伝送路状態パラメータに基づいて送信可能最大サイズを算出し、該送信可能最大サイズを多重化サイズ決定手段へ出力する伝送路レート推定手段と
を更に有することも好ましい。
第2のバッファの第2のバッファ蓄積量を監視し、該第2のバッファ蓄積量が第2の閾値を越えた場合、第2のメディアデータを破棄するように第2のバッファに指示する第2のバッファ監視手段を更に有することも好ましい。
第3のバッファの第3のバッファ蓄積量を監視し、該第3のバッファ蓄積量が第3の閾値以下となった場合、リセット信号を第2のバッファ監視手段へ出力する多重化バッファ監視手段を更に有し、
第2のバッファ監視手段は、リセット信号を入力した際に、第2のメディアデータの破棄を停止するように第2のバッファへ指示することも好ましい。
第2のバッファは、アクセスユニット単位で配列に構成されており、
第2のバッファは、第2のバッファ内のデータを破棄する際、最も古いアクセスユニット情報はバッファに残し、その後に続くアクセスユニットを破棄することも好ましい。
映像バッファ監視手段が第2のバッファに対して映像データの破棄を指示し、破棄の継続時間が所定閾値時間を越えた場合、その状態を外部に出力する経過時間判定手段を更に有することも好ましい。
送信すべき第1のメディアデータを一時的に蓄積する第1のバッファと、
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと
UDPヘッダに続いて、シリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータと、第2のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
多重化手段によって生成されたフレームを一時的に蓄積する第3のバッファと、
第3のバッファに蓄積されたフレームから、シリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータと、第2のメディアデータとに分離し、分離された第2のメディアデータを破棄するパケット分離手段と、
分離されたシリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを第3のバッファに入力する再多重化手段と、
第3のバッファとパケット分離手段との間に接続されたスイッチと、
第3のバッファに対する第1の閾値を蓄積し、第3のバッファに蓄積されたフレーム数を監視し、該フレーム数が第1の閾値を越えた際に、第2のメディアデータの転送を停止するべく第2のバッファへ指示し、スイッチをONにして第3のバッファに蓄積されたフレームをパケット分離手段へ入力するように制御する送信バッファ監視手段と
を有することを特徴とする。
第3のバッファに蓄積されたフレーム数が第1の閾値を越えた後、第3のバッファに蓄積されたフレーム数が第2の閾値以下となる状態が所定時間TMだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段と、
送信バッファ監視手段は、伝送路レートが所定レート以上に回復したとき、第3のバッファに蓄積されたフレームの破棄を停止するべく、第2のメディアデータの転送を再開するように第2のバッファへ指示し、スイッチをOFFにして第3のバッファに蓄積されたフレームを送信するように制御することも好ましい。
多重化手段は、
シリアル番号を送出する加算手段と、
第1のメディアデータを一時的に蓄積する第1のメモリと、
第2のメディアデータを一時的に蓄積する第2のメモリと、
加算手段から出力されたシリアル番号を、フレームのシリアル番号部に含め、次に、第1のメモリから出力された第1のメディアデータサイズを、フレームの第1のメディアデータサイズ部に含め、次に、第1のメモリから出力された、第1のメディアデータサイズ部に格納された長さの第1のメディアデータを含め、次に、第2のメモリから出力された第2のメディアデータを含めるようにした多重化パケットの生成を繰り返す多重パケット生成手段と
を有することも好ましい。
送信すべき第1のメディアデータを一時的に蓄積する第1のバッファと、
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと、
第1のバッファから出力された第1のメディアデータと、第2のバッファから出力された第2のメディアデータとを1系統の信号線に出力するための多重化手段と、
第1のバッファの第1のバッファ蓄積量を監視し、該第1のバッファ蓄積量が第1の閾値を越えた際に、第2のメディアデータを破棄するように第2のバッファへ指示する送信バッファ監視手段と
してコンピュータを機能させることを特徴とする。
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと
第1のメディアデータと、第2のバッファから出力された第2のメディアデータとを1系統の信号線に出力するための多重化手段と、
多重化手段から出力されたフレームを一時的に蓄積する第3のバッファと、
第3のバッファの第3のバッファ蓄積量を監視し、該第3のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第2のメディアデータが転送されるように第2のバッファを制御する多重化サイズ決定手段と
としてコンピュータを機能させることを特徴とする。
送信すべき第1のメディアデータを一時的に蓄積する第1のバッファと、
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと
UDPヘッダに続いて、シリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータと、第2のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
多重化手段によって生成されたフレームを一時的に蓄積する第3のバッファと、
第3のバッファに蓄積されたフレームから、シリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータと、第2のメディアデータとに分離し、分離された第2のメディアデータを破棄するパケット分離手段と、
分離されたシリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを第3のバッファに入力する再多重化手段と、
第3のバッファとパケット分離手段との間に接続されたスイッチと、
第3のバッファに対する第1の閾値を蓄積し、第3のバッファに蓄積されたフレーム数を監視し、該フレーム数が第1の閾値を越えた際に、第2のメディアデータの転送を停止するべく第2のバッファへ指示し、スイッチをONにして第3のバッファに蓄積されたフレームをパケット分離手段へ入力するように制御する送信バッファ監視手段と
としてコンピュータを機能させることを特徴とする。
(1)直前の送出サイズ
(2)輻輳状態フラグ
(3)最大サイズ制限値
(1)第1のサイズは、多重化バッファ130に蓄積されたフレームを送信するために十分な大きさのサイズとする。
(2)第2のサイズは、ネットワークインタフェース部131によって得られる輻輳状態フラグが非輻輳状態である場合、直前の送出サイズより1段階だけ大きいサイズとし、輻輳状態フラグが輻輳状態である場合、直前の送出サイズより1段階だけ小さいサイズとする。
(3)第3のサイズは、ネットワークインタフェース部131によって最大サイズの制限値が決定されている場合、その最大サイズ以下のサイズとする。
第1のサイズから第3のサイズのうち、最も小さいサイズを、次回送出サイズとして決定する。
直前の送出サイズ=1024bits
輻輳状態フラグ=なし
最大サイズ制限値=なし
の場合、次回送出可能最大サイズは、2048bitsとなる。
また、別の例として、
直前の送出サイズ=2048bits
輻輳状態フラグ=あり
最大サイズ制限値=なし
の場合、次回送出可能最大サイズは、1024bitsとなる。
Sf:伝送路レート推定部133によって推定された次回送信可能最大サイズ
Sm:多重化バッファ130のバッファ蓄積量
Sv:映像データ用バッファ103に蓄積された最も古い配列要素のデータサイズ
尚、以下のパラメータも規定する。
Sh:付加されるプロトコルヘッダのサイズ
Sx:映像データ用バッファ103へ指示する指定サイズ
(1)Sf−Sm<Shの場合、Sx=0とする。
多重化バッファ内に十分データがある場合、映像データ用バッファ103は映像データを転送しない。
映像データ用バッファ103は、以下で与えられるSxに基づいて映像データを転送する。
(2−1)(Sf−Sm−Sh)<Svの場合、Sx=Sf−Sm−Shとする。
映像データ用バッファ103に十分な量の映像データが蓄積されている。
(2−2)(Sf−Sm−Sh)≧Svのとき、Sx=Svとする。
映像データ用バッファ103に十分な量の映像データが無いため、全ての映像データを転送する。
(2byte+8byte+20byte)×8bit×50 = 12kbit/秒
4.75kbit/秒モード: 14byte
※6.70kbit/秒モード: 19byte
12.2kbit/秒モード: 33byte
32kbit/秒: 32kbit/8bit×20m秒 = 80byte
(S807)BAがTh1よりも大きいならば、映像データ用バッファ103からの転送を停止し、多重化部111への入力を止め、スイッチ120をONにしてバッファ121に蓄積されたフレームを多重分離部118へ入力するように制御する。
(S802)BAがTh1以下ならば、音声データ用バッファ107に蓄積されたバッファ蓄積量BAが、閾値Th2よりも小さいか否かを判定する。BAがTh2以下でないならば、時刻変数tに現在時刻nowを代入して(S809)、処理を終了する。
(S803)BAがTh2よりも小さいならば、現在時刻nowから過去時刻tを差し引いた時間間隔が、所定の時間間隔TMよりも長いか否かを判定する。TMよりも短かいならば、処理を終了する。時間間隔TMは、伝送路レートの回復判定時間である。例えば実際の伝送路レートが80kbps程度であれば、時間間隔TMはおよそ5秒程度に設定される。
(S804)所定の時間間隔TMよりも長いならば、安定状態にあると判断し、伝送路レート測定処理を行う。
(S805)伝送レート測定処理によって測定された伝送路レートTRは、伝送路が回復したとして判断できる一定レートよりも大きいか否か判定される。TRが一定レート以下であれば、処理を終了する。
(S806)伝送路レートTRが一定レートよりも大きいならば、映像データの転送の再開を映像データ用バッファ103へ指示する。これにより、多重化部111への入力を再開し、スイッチ120をOFFにしてバッファ121に蓄積されたフレームを送信するように制御する。
101 フォーマット変換部
102 映像エンコーダ部
103 映像データ用バッファ
104、106 RTPヘッダ付加部
105 UDP/IPプロトコルスタック部
107 音声データ用バッファ
108 音声エンコーダ部
109 A/D変換部
110 増幅器
111 多重化部
1111 多重パケット生成部
1112 映像データ用メモリ
1113 音声データ用メモリ
1114 加算器
1115 遅延回路
117 送信バッファ監視部
1171 コンパレータ
1172 閾値記憶部
1173 フリップフロップ
118 多重分離部
1181 メモリ
1182 パケット分離部
119 再多重化部
1191 メモリ
1192 パケット多重化部
120 スイッチ
121 多重化バッファ
126 伝送路レート測定部
130 多重化バッファ
131 ネットワークインタフェース部
132 映像多重化サイズ決定部
133 伝送路レート推定部
134 多重化バッファ監視部
135 映像バッファ監視部
136 経過時間判定部
2 受信装置
201 ディスプレイ制御部
202 映像データ用バッファ
203 映像デコーダ
204、206 RTPヘッダ除去部
205 UDP/IPプロトコルスタック部
207 音声デコーダ
208 音声データ用バッファ
209 D/A変換部
210 増幅器
3 IPネットワーク
4 カメラ
5 マイク
6 ディスプレイ
7 スピーカ
Claims (15)
- 送信すべき第1のメディアデータを一時的に蓄積する第1のバッファと、
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと、
前記第1のバッファから出力された前記第1のメディアデータと、前記第2のバッファから出力された前記第2のメディアデータとを1系統の信号線に出力するための多重化手段と、
前記第1のバッファの第1のバッファ蓄積量を監視し、該第1のバッファ蓄積量が第1の閾値を越えた際に、前記第2のメディアデータを破棄するように前記第2のバッファへ指示する送信バッファ監視手段と
を有することを特徴とする送信装置。 - 前記第1のバッファ蓄積量が前記第1の閾値を越えた後、前記第1のバッファ蓄積量が第2の閾値以下となる状態が所定時間TMだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段を更に有し、
前記送信バッファ監視手段は、前記伝送路レートが所定レート以上に回復したとき、前記第2のメディアデータの破棄を停止するように前記第2のバッファに指示することを特徴とする請求項1に記載の送信装置。 - 送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと
第1のメディアデータと、前記第2のバッファから出力された前記第2のメディアデータとを1系統の信号線に出力するための多重化手段と、
前記多重化手段から出力されたフレームを一時的に蓄積する第3のバッファと、
前記第3のバッファの第3のバッファ蓄積量を監視し、該第3のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第2のメディアデータが転送されるように前記第2のバッファを制御する多重化サイズ決定手段と
を有することを特徴とする送信装置。 - 前記第3のバッファから出力されるフレームをネットワークへ送信するネットワークインタフェース手段と、
前記ネットワークインタフェース手段から得られる伝送路状態パラメータに基づいて前記送信可能最大サイズを算出し、該送信可能最大サイズを前記多重化サイズ決定手段へ出力する伝送路レート推定手段と
を更に有することを特徴とする請求項3に記載の送信装置。 - 前記第2のバッファの第2のバッファ蓄積量を監視し、該第2のバッファ蓄積量が第2の閾値を越えた場合、前記第2のメディアデータを破棄するように前記第2のバッファに指示する第2のバッファ監視手段を更に有することを特徴とする請求項3又は4に記載の送信装置。
- 前記第3のバッファの第3のバッファ蓄積量を監視し、該第3のバッファ蓄積量が第3の閾値以下となった場合、リセット信号を前記第2のバッファ監視手段へ出力する多重化バッファ監視手段を更に有し、
前記第2のバッファ監視手段は、前記リセット信号を入力した際に、前記第2のメディアデータの破棄を停止するように前記第2のバッファへ指示することを特徴とする請求項5に記載の送信装置。 - 前記第2のバッファは、アクセスユニット単位で配列に構成されており、
前記第2のバッファは、前記第2のバッファ内のデータを破棄する際、最も古いアクセスユニット情報はバッファに残し、その後に続くアクセスユニットを破棄することを特徴とする請求項5又は6に記載の送信装置。 - 前記第2のバッファ監視手段が前記第2のバッファに対して映像データの破棄を指示し、破棄の継続時間が所定閾値時間を越えた場合、その状態を外部に出力する経過時間判定手段を更に有することを特徴とする請求項5から7のいずれか1項に記載の送信装置。
- 送信すべき第1のメディアデータを一時的に蓄積する第1のバッファと、
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと
UDPヘッダに続いて、シリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータと、第2のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記多重化手段によって生成された前記フレームを一時的に蓄積する第3のバッファと、
前記第3のバッファに蓄積された前記フレームから、シリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータと、第2のメディアデータとに分離し、分離された前記第2のメディアデータを破棄するパケット分離手段と、
分離された前記シリアル番号部と、前記第1のメディアデータサイズ部と、該サイズ部に格納された長さの前記第1のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを前記第3のバッファに入力する再多重化手段と、
前記第3のバッファと前記パケット分離手段との間に接続されたスイッチと、
前記第3のバッファに対する第1の閾値を蓄積し、前記第3のバッファに蓄積されたフレーム数を監視し、該フレーム数が前記第1の閾値を越えた際に、前記第2のメディアデータの転送を停止するべく前記第2のバッファへ指示し、前記スイッチをONにして前記第3のバッファに蓄積されたフレームを前記パケット分離手段へ入力するように制御する送信バッファ監視手段と
を有することを特徴とする送信装置。 - 前記第3のバッファに蓄積された前記フレーム数が前記第1の閾値を越えた後、前記第3のバッファに蓄積されたフレーム数が第2の閾値以下となる状態が所定時間TMだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段と、
前記送信バッファ監視手段は、前記伝送路レートが所定レート以上に回復したとき、前記第3のバッファに蓄積されたフレームの破棄を停止するべく、前記第2のメディアデータの転送を再開するように前記第2のバッファへ指示し、前記スイッチをOFFにして前記第3のバッファに蓄積されたフレームを送信するように制御することを特徴とする請求項9に記載の送信装置。 - 前記多重化手段は、
前記シリアル番号を送出する加算手段と、
前記第1のメディアデータを一時的に蓄積する第1のメモリと、
前記第2のメディアデータを一時的に蓄積する第2のメモリと、
前記加算手段から出力された前記シリアル番号を、前記フレームの前記シリアル番号部に含め、次に、前記第1のメモリから出力された第1のメディアデータサイズを、前記フレームの前記第1のメディアデータサイズ部に含め、次に、前記第1のメモリから出力された、前記第1のメディアデータサイズ部に格納された長さの前記第1のメディアデータを含め、次に、前記第2のメモリから出力された第2のメディアデータを含めるようにした多重化パケットの生成を繰り返す多重パケット生成手段と
を有することを特徴とする請求項9又は10のいずれか1項に記載の送信装置。 - 前記第1のメディアデータは音声データであって、前記第2のメディアデータは映像データであることを特徴とする請求項9から11のいずれか1項に記載の送信装置。
- 送信すべき第1のメディアデータを一時的に蓄積する第1のバッファと、
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと、
前記第1のバッファから出力された前記第1のメディアデータと、前記第2のバッファから出力された前記第2のメディアデータとを1系統の信号線に出力するための多重化手段と、
前記第1のバッファの第1のバッファ蓄積量を監視し、該第1のバッファ蓄積量が第1の閾値を越えた際に、前記第2のメディアデータを破棄するように前記第2のバッファへ指示する送信バッファ監視手段
としてコンピュータを機能させることを特徴とする送信プログラム。 - 送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと
第1のメディアデータと、前記第2のバッファから出力された前記第2のメディアデータとを1系統の信号線に出力するための多重化手段と、
前記多重化手段から出力されたフレームを一時的に蓄積する第3のバッファと、
前記第3のバッファの第3のバッファ蓄積量を監視し、該第3のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第2のメディアデータが転送されるように前記第2のバッファを制御する多重化サイズ決定手段
としてコンピュータを機能させることを特徴とする送信プログラム。 - 送信すべき第1のメディアデータを一時的に蓄積する第1のバッファと、
送信すべき第2のメディアデータを一時的に蓄積する第2のバッファと
UDPヘッダに続いて、シリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータと、第2のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記多重化手段によって生成された前記フレームを一時的に蓄積する第3のバッファと、
前記第3のバッファに蓄積された前記フレームから、シリアル番号部と、第1のメディアデータサイズ部と、該サイズ部に格納された長さの第1のメディアデータと、第2のメディアデータとに分離し、分離された前記第2のメディアデータを破棄するパケット分離手段と、
分離された前記シリアル番号部と、前記第1のメディアデータサイズ部と、該サイズ部に格納された長さの前記第1のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを前記第3のバッファに入力する再多重化手段と、
前記第3のバッファと前記パケット分離手段との間に接続されたスイッチと、
前記第3のバッファに対する第1の閾値を蓄積し、前記第3のバッファに蓄積されたフレーム数を監視し、該フレーム数が前記第1の閾値を越えた際に、前記第2のメディアデータの転送を停止するべく前記第2のバッファへ指示し、前記スイッチをONにして前記第3のバッファに蓄積されたフレームを前記パケット分離手段へ入力するように制御する送信バッファ監視手段
としてコンピュータを機能させることを特徴とする送信プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005165371A JP4661373B2 (ja) | 2004-10-15 | 2005-06-06 | 特定メディアデータの破棄を制御する送信装置及び送信プログラム |
US11/247,174 US7729391B2 (en) | 2004-10-15 | 2005-10-12 | Transmitting device with discard control of specific media data |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004301609 | 2004-10-15 | ||
JP2005165371A JP4661373B2 (ja) | 2004-10-15 | 2005-06-06 | 特定メディアデータの破棄を制御する送信装置及び送信プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006140984A true JP2006140984A (ja) | 2006-06-01 |
JP4661373B2 JP4661373B2 (ja) | 2011-03-30 |
Family
ID=36460880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005165371A Expired - Fee Related JP4661373B2 (ja) | 2004-10-15 | 2005-06-06 | 特定メディアデータの破棄を制御する送信装置及び送信プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7729391B2 (ja) |
JP (1) | JP4661373B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008142774A1 (ja) | 2007-05-21 | 2008-11-27 | Fujitsu Limited | 中継装置および出力制御方法 |
WO2010113387A1 (ja) * | 2009-03-31 | 2010-10-07 | パナソニック株式会社 | 変換機及び情報変換方法 |
US8472913B2 (en) | 2006-04-20 | 2013-06-25 | Lifescan Scotland Limited | Method for transmitting data in a blood glucose system and corresponding blood glucose system |
JP2018110387A (ja) * | 2016-12-28 | 2018-07-12 | ネイバー コーポレーションNAVER Corporation | リアルタイムライブ環境でのバッファに基づく帯域幅測定および適応的データ送信のための方法およびシステム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100724899B1 (ko) * | 2005-11-22 | 2007-06-04 | 삼성전자주식회사 | 호환성있는(compatible) 프로그레시브 다운로드방법 및 그 시스템 |
US7962182B2 (en) * | 2006-08-25 | 2011-06-14 | Qualcomm Incorporated | Method and apparatus for content delivery to devices |
US9386056B1 (en) * | 2006-11-14 | 2016-07-05 | Arris Enterprises, Inc. | System, method and computer readable medium for providing media stream fragments |
JP4894476B2 (ja) * | 2006-11-21 | 2012-03-14 | 富士通東芝モバイルコミュニケーションズ株式会社 | 音声送信装置および移動通信端末 |
US9426522B2 (en) * | 2007-07-10 | 2016-08-23 | Qualcomm Incorporated | Early rendering for fast channel switching |
US8386630B1 (en) * | 2007-09-09 | 2013-02-26 | Arris Solutions, Inc. | Video-aware P2P streaming and download with support for real-time content alteration |
JP5419124B2 (ja) * | 2008-04-24 | 2014-02-19 | 日本電気株式会社 | ゲートウェイ装置と通信方法とプログラム |
US8904431B2 (en) * | 2010-12-20 | 2014-12-02 | Microsoft Corporation | Current device location advertisement distribution |
US9276989B2 (en) | 2012-03-30 | 2016-03-01 | Adobe Systems Incorporated | Buffering in HTTP streaming client |
US10469633B2 (en) * | 2018-03-29 | 2019-11-05 | Marvell World Trade Ltd. | Low-latency pipeline for media-to-ethernet frame packaging |
CN108574870A (zh) * | 2018-04-13 | 2018-09-25 | 郑州云海信息技术有限公司 | 一种多通道信号源的显示方法、装置及设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02237251A (ja) * | 1989-03-10 | 1990-09-19 | Oki Electric Ind Co Ltd | パケット多重化方式 |
JPH07170291A (ja) * | 1993-12-15 | 1995-07-04 | Sony Corp | 送信装置 |
JPH1022960A (ja) * | 1996-07-04 | 1998-01-23 | Fujitsu Ltd | メディア符号化装置 |
JPH1175171A (ja) * | 1996-11-11 | 1999-03-16 | Matsushita Electric Ind Co Ltd | マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体 |
JP2002217989A (ja) * | 2001-01-15 | 2002-08-02 | Mitsubishi Electric Corp | 多地点通信サービスユニット |
JP2003018210A (ja) * | 2001-06-28 | 2003-01-17 | Mitsubishi Electric Corp | データ送信装置 |
JP2006523983A (ja) * | 2003-03-26 | 2006-10-19 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | ネットワーク上で送信すること |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0418396B1 (en) * | 1989-03-16 | 1998-06-03 | Fujitsu Limited | Video/audio multiplex transmission system |
JP3405034B2 (ja) * | 1995-12-27 | 2003-05-12 | ソニー株式会社 | ディジタル信号多重化方法及び装置、並びにディジタル信号記録媒体 |
CN1152569C (zh) * | 1996-07-04 | 2004-06-02 | 松下电器产业株式会社 | 产生多路数据、再生编码数据及时钟转换的装置和方法 |
US6212208B1 (en) * | 1996-11-11 | 2001-04-03 | Matsushita Electric Industrial Co., Ltd. | Method for coding and multiplexing multimedia data, apparatus for coding and multiplexing multimedia data, record media containing program for coding and multiplexing multimedia data |
US6785733B1 (en) * | 1997-09-05 | 2004-08-31 | Hitachi, Ltd. | Transport protocol conversion method and protocol conversion equipment |
US6081299A (en) * | 1998-02-20 | 2000-06-27 | International Business Machines Corporation | Methods and systems for encoding real time multimedia data |
JP2000287169A (ja) * | 1999-03-30 | 2000-10-13 | Pioneer Electronic Corp | 映像音声多重記録装置 |
US6608841B1 (en) * | 1999-12-30 | 2003-08-19 | Nokia Networks Oy | System and method for achieving robust IP/UDP/RTP header compression in the presence of unreliable networks |
GB9930788D0 (en) * | 1999-12-30 | 2000-02-16 | Koninkl Philips Electronics Nv | Method and apparatus for converting data streams |
JP3838511B2 (ja) | 2003-03-24 | 2006-10-25 | 株式会社Kddi研究所 | 動画像圧縮符号化送受信装置 |
JP4153817B2 (ja) * | 2003-03-28 | 2008-09-24 | 富士通株式会社 | データ符号化方法およびデータ符号化装置 |
-
2005
- 2005-06-06 JP JP2005165371A patent/JP4661373B2/ja not_active Expired - Fee Related
- 2005-10-12 US US11/247,174 patent/US7729391B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02237251A (ja) * | 1989-03-10 | 1990-09-19 | Oki Electric Ind Co Ltd | パケット多重化方式 |
JPH07170291A (ja) * | 1993-12-15 | 1995-07-04 | Sony Corp | 送信装置 |
JPH1022960A (ja) * | 1996-07-04 | 1998-01-23 | Fujitsu Ltd | メディア符号化装置 |
JPH1175171A (ja) * | 1996-11-11 | 1999-03-16 | Matsushita Electric Ind Co Ltd | マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体 |
JP2002217989A (ja) * | 2001-01-15 | 2002-08-02 | Mitsubishi Electric Corp | 多地点通信サービスユニット |
JP2003018210A (ja) * | 2001-06-28 | 2003-01-17 | Mitsubishi Electric Corp | データ送信装置 |
JP2006523983A (ja) * | 2003-03-26 | 2006-10-19 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | ネットワーク上で送信すること |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8472913B2 (en) | 2006-04-20 | 2013-06-25 | Lifescan Scotland Limited | Method for transmitting data in a blood glucose system and corresponding blood glucose system |
US8903350B2 (en) | 2006-04-20 | 2014-12-02 | Lifescan Scotland Limited | Method for transmitting data in a blood glucose system and corresponding blood glucose system |
WO2008142774A1 (ja) | 2007-05-21 | 2008-11-27 | Fujitsu Limited | 中継装置および出力制御方法 |
JPWO2008142774A1 (ja) * | 2007-05-21 | 2010-08-05 | 富士通株式会社 | 中継装置および出力制御方法 |
US8837504B2 (en) | 2007-05-21 | 2014-09-16 | Fujitsu Limited | Relay apparatus and output control method |
WO2010113387A1 (ja) * | 2009-03-31 | 2010-10-07 | パナソニック株式会社 | 変換機及び情報変換方法 |
JP2018110387A (ja) * | 2016-12-28 | 2018-07-12 | ネイバー コーポレーションNAVER Corporation | リアルタイムライブ環境でのバッファに基づく帯域幅測定および適応的データ送信のための方法およびシステム |
Also Published As
Publication number | Publication date |
---|---|
US7729391B2 (en) | 2010-06-01 |
JP4661373B2 (ja) | 2011-03-30 |
US20060109870A1 (en) | 2006-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4661373B2 (ja) | 特定メディアデータの破棄を制御する送信装置及び送信プログラム | |
US8239901B2 (en) | Buffer control method, relay apparatus, and communication system | |
KR101727450B1 (ko) | 화상 전화에서의 지연 감소 | |
JP4903435B2 (ja) | メディア信号の送信方法と受信方法ならびに送受信方法及び装置 | |
WO2006054442A1 (ja) | 送信装置、受信装置及び通信システム | |
KR20060111036A (ko) | 약전계 상황을 고려한 이동 통신 단말기에서의 화상 통화서비스 제공 방법 | |
WO2008047560A1 (fr) | Appareil de transmission vocale | |
JP3707369B2 (ja) | テレビ電話装置 | |
WO2007080788A1 (ja) | Tv会議制御装置およびtv会議制御方法 | |
CN109862400B (zh) | 一种流媒体传输方法、装置及其系统 | |
JP2008005392A (ja) | 通信端末装置およびバッファ制御方法 | |
JP2005322995A (ja) | リアルタイム映像転送におけるバッファ制御方法、送信端末、受信端末、映像配信システム、およびプログラム | |
JP2004289583A (ja) | 動画像圧縮符号化送受信装置 | |
KR20040101046A (ko) | 화상전송방법 및 화상전송장치 | |
JP2004214755A (ja) | 動的符号化レート変更方法及びその装置 | |
JP4400571B2 (ja) | 異種通信網間接続における符号化データの処理方法及びゲートウェイ装置 | |
EP2043372A1 (en) | Method for audio and video synchronization, receiving and transmitting device | |
JP4050961B2 (ja) | パケット型音声通信端末 | |
KR20060016809A (ko) | 미디어 신호의 수신장치, 송신장치 및 송수신 시스템 | |
JP2006115305A (ja) | 異なるメディアデータにおけるパケット多重化フレームの生成タイミングを制御する送信方法、送信プログラム及び送信装置 | |
JP2008278323A (ja) | ネットワークカメラ | |
CN108353035B (zh) | 用于多路复用数据的方法和设备 | |
JP4457841B2 (ja) | 符号化レートを制御する送信装置、送信プログラム及び送信方法 | |
JP2003116133A (ja) | 動画像圧縮符号化伝送品質制御方式および方法 | |
JP2012049913A (ja) | 通信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101220 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4661373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |