JP2002217990A - データ伝送システム、送信装置、受信装置及びバッファ制御方法 - Google Patents

データ伝送システム、送信装置、受信装置及びバッファ制御方法

Info

Publication number
JP2002217990A
JP2002217990A JP2001006856A JP2001006856A JP2002217990A JP 2002217990 A JP2002217990 A JP 2002217990A JP 2001006856 A JP2001006856 A JP 2001006856A JP 2001006856 A JP2001006856 A JP 2001006856A JP 2002217990 A JP2002217990 A JP 2002217990A
Authority
JP
Japan
Prior art keywords
data
amount
buffer
staying
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001006856A
Other languages
English (en)
Inventor
Ichiro Tomota
一郎 友田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2001006856A priority Critical patent/JP2002217990A/ja
Publication of JP2002217990A publication Critical patent/JP2002217990A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

(57)【要約】 【課題】 バッファ量を適切に制御することを可能と
し、システム全体のデータの再生を効率的に行うことを
可能とするデータ伝送システムを提供すること。 【解決手段】 ビデオ圧縮・送信装置31はキャプチャ
したイメージデータを圧縮符号化してネットワーク33
を介してビデオ受信・復号装置32へ送信する装置であ
り、ビデオ受信・復号装置32は受信した圧縮符号化さ
れたイメージデータを復号して表示する装置である。ビ
デオ圧縮・送信装置31及びビデオ受信・復号装置32
は、それぞれ、自装置内のバッファ2,4,7,9に滞
留するデータの量を示す滞留データ量を計測し、両装置
相互間で滞留データ量を交換し、両装置は、それぞれ、
両装置の滞留データ量に基づいて両装置についての全滞
留データ量を求め、該全滞留データ量に基づいて自装置
内のバッファ2,4,7,9に滞留するデータに対する
削除制御を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、MPEGなどの動
画像圧縮符号化方式が生成したデータなどを、インター
ネットなどのパケット交換型ネットワークを用いて、リ
アルタイムに伝送するデータ伝送システム、送信装置、
受信装置及びバッファ制御方法に関する。
【0002】
【従来の技術】最初に、従来のネットワークビデオ伝送
システムの構成例について説明する。
【0003】図7に、従来のネットワークビデオ伝送シ
ステムの構成を示す。
【0004】ビデオ圧縮・送信装置1001は、ビデオ
キャプチャ処理部101、イメージバッファ102、画
像圧縮符号エンコード処理部103、符号バッファ10
4、ネットワークプロトコル処理部105を備えてい
る。
【0005】ビデオキャプチャ処理部101は、例えば
カメラなどの入力デバイスからの画像信号をデジタル化
して(イメージデータとして)装置内に取り込むための
部分である。イメージバッファ102は、キャプチャし
たイメージデータを、ビデオキャプチャ処理部101と
画像圧縮符号エンコード処理部103との間で受け渡す
際に一時蓄えるためのバッファである。画像圧縮符号エ
ンコード処理部103は、例えばMPEGなどの所定の
画像圧縮符号方式規格に基づいて、イメージデータを圧
縮符号化するための部分である。符号バッファ104
は、圧縮符号化されたイメージデータ(以下、符号デー
タと呼ぶ)を、画像圧縮符号エンコード処理部103と
ネットワークプロトコル処理部105との間で受け渡す
際に一時蓄えるためのバッファである。ネットワークプ
ロトコル処理部105は、符号データを、一定の通信プ
ロトコル(例えば、RTP(リアルタイムトランスポー
トプロトコル))の規約に従ってパケット化し、ネット
ワーク1003へ送信するための処理を実行するための
部分である。
【0006】一方、ビデオ受信・復号装置1002は、
ネットワークプロトコル処理部106、符号バッファ1
07、画像圧縮符号デコード処理部108、イメージバ
ッファ109、表示処理部110を備えている。
【0007】ネットワークプロトコル処理部106は、
ビデオ圧縮・送信装置1001のネットワークプロトコ
ル処理部105と対をなす部分で、プロトコル処理を実
行してネットワーク1003からパケットを受信し、受
信パケットの中から符号データを取り出すための部分で
ある。符号バッファ107は、取り出された符号データ
を、ネットワークプロトコル処理部106と画像圧縮符
号デコード処理部108との間で受け渡す際に一時蓄え
るためのバッファである。画像圧縮符号デコード処理部
108は、ビデオ圧縮・送信装置1001の画像圧縮符
号エンコード処理部103と対をなす部分で、所定の画
像圧縮符号化方式規格に基づいて、符号データをもとの
イメージデータに復号するための部分である。イメージ
バッファ109は、復号されたイメージデータを、画像
圧縮符号デコード処理部108と表示処理部110との
間で受け渡す際に一時蓄えるためのバッファである。表
示処理部110は、イメージデータをディスプレイ画面
などに表示するための部分である。
【0008】次に、このような従来のネットワークビデ
オ伝送システムにおいてしばしば発生する問題点につい
て説明する。
【0009】一般にイメージデータのネットワーク伝送
は、各装置やCPUあるいはネットワークに大きな負荷
をかける処理であり、しばしば装置やネットワークの処
理能力をオーバーしてしまうことがある。そのためにシ
ステムの各部の動作を適切に制御する必要がある。
【0010】図7のシステム構成では、システムを流れ
るデータの量が各処理部の能力を超えると、その前段の
バッファに蓄積されるデータの量が増加する。
【0011】ビデオキャプチャ処理部101が出力する
イメージデータが、画像圧縮符号エンコード処理部10
3の処理能力を超えてしまうと、イメージバッファ10
2に滞留するデータが増加する。
【0012】画像圧縮符号エンコード処理部103が出
力する符号量が、ネットワーク1003の伝送能力を超
えてしまうと、符号バッファ104に滞留するデータが
増加する。
【0013】ネットワークから受信されるデータ量が、
画像圧縮符号デコード処理部108の能力を超えてしま
うと、符号バッファ107に滞留するデータが増加す
る。
【0014】画像圧縮符号デコード処理部108が出力
する符号量が、表示処理部110の能力を超えてしまう
と、イメージバッファ109に滞留するデータが増加す
る。
【0015】それぞれのバッファに滞留するデータが増
加すると、データがバッファに滞留している時間が長く
なり、キャプチャから表示までの遅延時間が長くなる。
遅延が長くなると、例えば、テレビ電話などのシステム
において、ユーザにとって、双方向の会話が難しくなる
という問題が起きる。
【0016】また、バッファ量には容量に限りがある場
合が一般的であり、バッファに溜まるデータ量がその容
量を超えてしまうと、溢れた分のデータが廃棄されてし
まうという不具合が発生する。
【0017】
【発明が解決しようとする課題】以上のように、従来の
ネットワークビデオ伝送システムにおいては、バッファ
に滞留するデータが増加することによって、データがバ
ッファに滞留している時間が長くなり、キャプチャから
表示までの遅延時間が長くなるという問題点や、データ
がその容量を超えた時点で溢れた分のデータが廃棄され
てしまうという問題点などがあった。この点は、音声デ
ータや音楽データなど、ビデオの他のストリーム・デー
タを扱うシステムについても同様である。
【0018】本発明は、上記事情を考慮してなされたも
ので、バッファ量を適切に制御することを可能とし、シ
ステム全体のストリーム・データの再生を効率的に行う
ことを可能とするデータ伝送システム、送信装置、受信
装置及びバッファ制御方法を提供することを目的とす
る。
【0019】
【課題を解決するための手段】本発明は、ストリーム・
データを圧縮符号化しパケットに載せてネットワークに
送信する送信装置と、該ネットワークから該パケットを
受信しその中から圧縮符号化されたストリーム・データ
を取り出し復号する受信装置とを含むデータ伝送システ
ムであって、前記送信装置内に存在する前記ストリーム
・データの処理に関係するバッファに滞留するデータの
量を示す滞留データ量を計測するための手段と、前記受
信装置内に存在する前記ストリーム・データの処理に関
係するバッファに滞留するデータの量を示す滞留データ
量を計測するための手段と、前記送信装置と前記受信装
置との間で相互に前記滞留データ量を交換するための手
段とを備え、前記送信装置及び前記受信装置は、それぞ
れ、前記送信装置の滞留データ量と前記受信装置の滞留
データ量とに基づいて、前記送信装置及び前記受信装置
についての全滞留データ量を求め、該全滞留データ量に
基づいて自装置内に存在する前記ストリーム・データの
処理に関係するバッファに滞留するデータに対する削除
制御を行うことを特徴とする。
【0020】また、本発明は、ストリーム・データを圧
縮符号化しパケットに載せてネットワークを介し受信装
置に送信する送信装置であって、自装置内に存在する前
記ストリーム・データの処理に関係するバッファに滞留
するデータの量を示す滞留データ量を計測するための手
段と、前記受信装置との間で、自装置の前記滞留データ
量と、該受信装置内に存在する前記ストリーム・データ
の処理に関係するバッファについての滞留データ量とを
相互交換するための手段と、自装置の前記滞留データ量
と前記受信装置の前記滞留データ量とに基づいて、自装
置び前記受信装置についての全滞留データ量を求める手
段と、求められた前記全滞留データ量に基づいて自装置
内に存在する前記ストリーム・データの処理に関係する
バッファに滞留するデータに対する削除制御を行う手段
とを備えたことを特徴とする。
【0021】また、本発明は、ネットワークを介して送
信装置からパケットを受信しその中から圧縮符号化され
たストリーム・データを取り出し復号する受信装置であ
って、自装置内に存在する前記ストリーム・データの処
理に関係するバッファに滞留するデータの量を示す滞留
データ量を計測するための手段と、前記送信装置との間
で、自装置の前記滞留データ量と、該送信装置内に存在
する前記ストリーム・データの処理に関係するバッファ
についての滞留データ量とを相互交換するための手段
と、自装置の前記滞留データ量と前記送信装置の前記滞
留データ量とに基づいて、自装置び前記送信装置につい
ての全滞留データ量を求める手段と、求められた前記全
滞留データ量に基づいて自装置内に存在する前記ストリ
ーム・データの処理に関係するバッファに滞留するデー
タに対する削除制御を行う手段とを備えたことを特徴と
する。
【0022】また、本発明は、ストリーム・データを圧
縮符号化しパケットに載せてネットワークに送信する送
信装置と、該ネットワークから該パケットを受信しその
中から圧縮符号化されたストリーム・データを取り出し
復号する受信装置とを含むデータ伝送システムにおける
バッファ制御方法であって、前記送信装置及び前記受信
装置は、それぞれ、自装置内に存在する前記ストリーム
・データの処理に関係するバッファに滞留するデータの
量を示す滞留データ量を計測し、前記送信装置と前記受
信装置との間で相互に前記滞留データ量を交換し、前記
送信装置及び前記受信装置は、それぞれ、前記送信装置
の滞留データ量と前記受信装置の滞留データ量とに基づ
いて、前記送信装置及び前記受信装置についての全滞留
データ量を求め、該全滞留データ量に基づいて自装置内
に存在する前記ストリーム・データの処理に関係するバ
ッファに滞留するデータに対する削除制御を行うことを
特徴とする。
【0023】なお、装置に係る本発明は方法に係る発明
としても成立し、方法に係る本発明は装置に係る発明と
しても成立する。また、装置または方法に係る本発明
は、コンピュータに当該発明に相当する手順を実行させ
るための(あるいはコンピュータを当該発明に相当する
手段として機能させるための、あるいはコンピュータに
当該発明に相当する機能を実現させるための)プログラ
ムとしても成立し、該プログラムを記録したコンピュー
タ読取り可能な記録媒体としても成立する。
【0024】本発明では、ストリーム・データを圧縮符
号化してネットワークを介して受信装置へ送信する送信
装置及び受信した圧縮符号化されたストリーム・データ
を復号する受信装置は、それぞれ、自装置内のストリー
ム・データの処理に関係するバッファに滞留するデータ
の量を示す滞留データ量を計測し、両装置相互間で滞留
データ量を交換し、両装置は、それぞれ、両装置の滞留
データ量に基づいて両装置についての全滞留データ量を
求め、該全滞留データ量に基づいて自装置内のストリー
ム・データの処理に関係するバッファに滞留するデータ
に対する削除制御を行う。
【0025】本発明によれば、バッファ量を適切に制御
することが可能となり、もって、システム全体のビデオ
などのストリーム・データの再生を効率的に行うことが
可能となる。
【0026】
【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。
【0027】図1に、本発明の一実施形態に係るネット
ワークビデオ伝送システムの構成例を示す。ビデオ圧縮
・送信装置31は、キャプチャしたイメージデータを圧
縮符号化してネットワーク33を介してビデオ受信・復
号装置32へ送信する装置であり、ビデオ受信・復号装
置32は、ネットワーク33を介してビデオ受信・復号
装置32から受信した圧縮符号化されたイメージデータ
を復号して表示する装置である。
【0028】図1に示されるように、本実施形態のビデ
オ圧縮・送信装置31は、ビデオキャプチャ処理部1、
イメージバッファ2、画像圧縮符号エンコード処理部
3、符号バッファ4、ネットワークプロトコル処理部
5、イメージバッファ制御部11、符号バッファ制御部
12、バッファ集計伝達部15を備えている。
【0029】ビデオキャプチャ処理部1、イメージバッ
ファ2、画像圧縮符号エンコード処理部3、符号バッフ
ァ4、ネットワークプロトコル処理部5は、図7のビデ
オキャプチャ処理部101、イメージバッファ102、
画像圧縮符号エンコード処理部103、符号バッファ1
04、ネットワークプロトコル処理部105とそれぞれ
同様の機能である。イメージバッファ制御部11、符号
バッファ制御部12、バッファ集計伝達部15について
は、後述する。
【0030】一方、図1に示されるように、本実施形態
のビデオ受信・復号装置32は、ネットワークプロトコ
ル処理部6、符号バッファ7、画像圧縮符号デコード処
理部8、イメージバッファ9、表示処理部10、符号バ
ッファ制御部13、イメージバッファ制御部14、バッ
ファ集計伝達部16を備えている。
【0031】ネットワークプロトコル処理部6、符号バ
ッファ7、画像圧縮符号デコード処理部8、イメージバ
ッファ9、表示処理部10は、図7のネットワークプロ
トコル処理部106、符号バッファ107、画像圧縮符
号デコード処理部108、イメージバッファ109、表
示処理部110とそれぞれ同様の機能である。符号バッ
ファ制御部13、イメージバッファ制御部14、バッフ
ァ集計伝達部16については後述する。
【0032】まず、本ネットワークビデオ伝送システム
の基本的な処理の流れについて説明する。
【0033】ビデオ圧縮・送信装置31では、ビデオキ
ャプチャ処理部101により画像信号をデジタル化して
装置内に取り込み、画像圧縮符号エンコード処理部10
3により該イメージデータを圧縮符号化し、ネットワー
クプロトコル処理部105により符号データをパケット
化してネットワーク1003へ送信する。
【0034】他方、ビデオ受信・復号装置1002で
は、ネットワークプロトコル処理部106によりネット
ワーク1003からのパケットを受信し、受信パケット
の中から符号データを取りし、画像圧縮符号デコード処
理部108により符号データをもとのイメージデータに
復号し、表示処理部110によりイメージデータの表示
を行う。
【0035】そして、各部間でデータが受け渡しされる
際に、イメージバッファ102、符号バッファ104、
符号バッファ107、イメージバッファ109でそれぞ
れキューイングが行われる。
【0036】続いて、本ネットワークビデオ伝送システ
ムにおけるバッファ制御について説明する。
【0037】ビデオ圧縮・送信装置31のイメージバッ
ファ制御部11および符号バッファ制御部12、ならび
にビデオ受信・復号装置1002の符号バッファ制御部
13およびイメージバッファ制御部14の各々は、それ
ぞれ、対象とするバッファ(すなわち、イメージバッフ
ァ2、符号バッファ4、符号バッファ7、イメージバッ
ファ9)に滞留しているデータの量を測定する機能を有
する。ここで、バッファに滞留している「データの量」
は、例えば、ビデオの1フレーム分を1として数えた整
数値である。
【0038】以下では、イメージバッファ2、符号バッ
ファ4、符号バッファ7、イメージバッファ9に溜まっ
ているデータの量をそれぞれN2,N4,N7,N9で
表し、いずれも当該バッファに滞留しているフレーム数
を示すものとして説明する。
【0039】バッファ制御部11は、ある一定の時間間
隔で、この滞留データ量N2を、対応するバッファ集計
伝達部15に通知する。バッファ制御部12も同様にあ
る一定の時間間隔でN4をバッファ集計伝達部15に通
知する。また、バッファ制御部13,14も同様にある
一定の時間間隔でそれぞれN7,N9を対応するバッフ
ァ集計伝達部16に通知する。
【0040】この結果、バッファ集計伝達部15には、
ある一定の時間間隔で、イメージバッファ制御部11お
よび符号バッファ制御部12からそれぞれN2,N4が
通知される。これを受けたバッファ集計伝達部15は、
N2,N4の値(またはN2,N4に所定の演算を施し
て得られた値;例えば、N2+N4の値)を、ある一定
の通信プロトコルに従って、バッファ集計伝達部16に
伝達する。
【0041】同様に、バッファ集計伝達部16には、あ
る一定の時間間隔で、符号バッファ制御部13およびイ
メージバッファ制御部14からそれぞれN7,N9が通
知される。これを受けたバッファ集計伝達部16は、N
7,N9の値(またはN7,N9に所定の演算を施して
得られた値;例えば、N7+N9の値)を、ある一定の
通信プロトコルに従って、バッファ集計伝達部15に伝
達する。
【0042】バッファ集計伝達部15は、N2の値、N
4の値、ならびにバッファ集計伝達部16から伝達され
たN7の値およびN9の値(または例えばN7+N9の
値等)をもとにして、全バッファ11〜14についての
全滞留データ量を求める。ここでは、全バッファ11〜
14の滞留データ量N2,N4,N7,N9を合計した
システムのトータルなバッファ長N(=N2+N4+N
7+N9)を求めるものとする。
【0043】同様に、バッファ集計伝達部15は、N7
の値、N9の値、ならびにバッファ集計伝達部15から
伝達されたN2の値およびN4の値(または例えばN2
+N4の値等)をもとにして、全バッファ11〜14に
ついての全滞留データ量を求める。ここでは、上記と同
様に、全バッファ11〜14の滞留データ量N2,N
4,N7,N9を合計したシステムのトータルなバッフ
ァ長N(=N2+N4+N7+N9)を求めるものとす
る。
【0044】次に、バッファ集計伝達部15は、イメー
ジバッファ制御部11および符号バッファ制御部12に
それぞれNの値を通知する。
【0045】同様に、バッファ集計伝達部16は、符号
バッファ制御部13およびイメージバッファ制御部14
にそれぞれNの値を通知する。
【0046】Nの値を受け取った各バッファ制御部11
〜14は、それぞれ、Nの値をもとに、自身が受け持っ
ているバッファの長さを制御する。この制御における基
本的なストラテジーは、Nの値が増加すると、バッファ
に溜まっているデータのいくつかを強制的に削除すると
いうものであり、また、Nの値が大きくなればなるほ
ど、削除するデータの量を多くするというものである。
【0047】例えば、各バッファ制御部11〜14は、
受け取ったNの値をもとに、所定の関数fを用いて、削
除確率p=f(N・t)を計算する(なお、tは削除シ
ュレッシュホルドなどのパラメータである)。そして、
各バッファ制御部11〜14は、ある一定の時間ごと
に、当該バッファの中を走査し、バッファに溜まってい
るデータを確率pによって削除する。
【0048】以下では、符号化方式としてMPEG4、
ネットワーク伝送プロトコルとしてRTP(RFC18
89)、ネットワークとしてインターネットを用いた場
合を例にとって説明する。
【0049】図2に、イメージバッファ2やイメージバ
ッファ9の構造の一例を示す(図2は、イメージバッフ
ァに3つのフレームが溜まっている場合を例示してい
る)。
【0050】図2に示したイメージバッファは、ビデオ
映像の各フレームを1つのエントリとする双方向リンク
ドリストの例である。MPEG4の入出力画像形式は、
YUV 4:2:0形式であり、各エントリの中にはビ
デオ映像の1フレームをYUV4:2:0形式で表現し
たものが記録されている。最初のエントリの前方ポイン
タおよび最後のエントリの後方ポインタには、NULL
ポインタが代入されている。
【0051】図3に、符号バッファ4や符号バッファ7
の構造の一例を示す(図3も図2と同様に3つのフレー
ムが符号バッファに溜まっている場合を例示してい
る)。
【0052】図3に示した符号バッファも図2に示した
イメージバッファと同様に双方向リンクドリストの例で
ある。ただし、この場合、データとしては、MPEG4
で符号化されたビットストリームが記録されている。
【0053】1つのエントリには、ビデオの1フレーム
分をMPEG4で圧縮したデータ(VOP:Video
Object Plane)が記録されている。MP
EG4は可変レート符号化であるため、各VOPのサイ
ズは一定ではない。この例は、MPEG4のSimpl
e Profile対応のもので、VOPとしては、I
−VOPとP−VOPの2種類が生成される。I−VO
Pは、イントラ符号化されたフレームで、それ自体だけ
で独自に復号可能、P−VOPは前のI−VOPから予
測符号化されたフレームで、I−VOPがなければ復号
できない。一般に、I−VOPはP−VOPに比較して
サイズが大きい。
【0054】図4に、各バッファ制御部11〜14にお
けるバッファ長の計測アルゴリズムの一例を示す(な
お、このアルゴリズムは、MPEG4、RTP、インタ
ーネット以外を用いた場合でも使用可能である)。
【0055】所定の開始タイミングにおいて、pに先頭
ポインタ(図2、図3参照)の内容を設定し、nに0を
設定する(ステップS1)。
【0056】pがNULLポインタでなければ(ステッ
プS2)、nを1加算し(ステップS3)、pの指すエ
ントリの後方ポインタの内容をpに設定する(ステップ
S4)。これを、pがNULLポインタである間、繰り
返し行う。
【0057】pがNULLポインタであれば(ステップ
S2)、終了し、このときのnが、バッファ長となる。
【0058】図5に、各バッファ制御部11〜14にお
けるパケット削除アルゴリズムの一例を示す(なお、こ
のアルゴリズムは、MPEG4、RTP、インターネッ
ト以外を用いた場合でも使用可能である)。
【0059】所定の開始タイミングにおいて、pに先頭
ポインタ(図2、図3参照)の内容を設定する(ステッ
プS11)。
【0060】また、バッファ集計伝達部15/16から
与えられたトータルのバッファ長Nをもとに、削除シュ
レッシュホルドt=min(1,N*c)を求める(ス
テップS12)。なお、cは定数で、例えば0.01などで
ある。また、min(a,b)は、aとbのうちの小さ
い方を返す関数である(これによって、tの値が1を超
えないようにしている)。
【0061】次に、各エントリに対して、削除判断処理
のループに入る。
【0062】pがNULLポインタでなければ(ステッ
プS13)、まず、乱数xを生成する(ステップS1
4)。生成される乱数は、0以上1未満の浮動小数点実
数とする。
【0063】次に、pの指すエントリの後方ポインタを
qに設定する(ステップS15)。
【0064】次に、生成した乱数xの値と、先に求めた
削除シュレッシュホルドtの値とを比較し、t>xなら
ば(ステップS16)、pの指すエントリをリンクから
外し削除する(ステップS17)。一方、t>xでなけ
れば(ステップS16)、pの指すエントリは削除しな
い(ステップS17をスキップする)。
【0065】次に、qの指すエントリをpに設定する
(ステップS18)。
【0066】以上の繰り返し処理を、ステップS13に
おいてpがNULLポインタでない間、繰り返し行う。
そして、ステップS13において、pがNULLポイン
タであれば、終了する。
【0067】このようにすることによって、バッファ内
の各エントリをN*0.01の確率でランダムに削除するこ
とになる。
【0068】なお、ステップS11とステップS12は
いずれを先に実行してもよいし、並列実行してもよい。
また、ステップS14とステップS15はいずれを先に
実行してもよいし、並列実行してもよい。
【0069】次に、バッファ集計伝達部15とバッファ
集計伝達部16との間でのデータ交換について説明す
る。
【0070】バッファ集計伝達部15,16相互におけ
るデータの交換は、RTCP(リアルタイムトランスポ
ート制御プロトコル)により行われる。本システムにお
けるMPEG4データのインターネット上での伝送プロ
トコルはRTPであり、RTCPはその付随プロトコル
で、通信の統計情報などを交換するためのプロトコルで
ある。RTCPには、アプリケーション特有の拡張を行
うために、APP(Application Spec
ific Packet)パケットと呼ばれるパケット
タイプが存在する。本システムでは、このAPPパケッ
トタイプのパケットに、バッファ長統計を載せてバッフ
ァ集計伝達部15,16の間で交換することができる。
【0071】図6に、この場合のパケットのフォーマッ
トを示す。
【0072】バッファ長合計のフィールドには、バッフ
ァ集計伝達部15からはN2+N4の値が載せられて、
またバッファ集計伝達部16からはN7+N9の値が載
せられて送信される。それ以外のフィールドは、RFC
1889の規定に従う。また、RTCPのパケットを送
信するタイミングは、RFC1889に規定されている
アルゴリズムに従う。
【0073】なお、以上では、ビデオデータを転送する
場合について説明したが、もちろん、本発明は、音声デ
ータ、音楽データなど、ビデオ以外のストリームデータ
あるいは連続データを圧縮して転送し、復号、再生する
システムにも適用可能である。
【0074】なお、以上の各機能は、ソフトウェアとし
て実現可能である。また、本実施形態は、コンピュータ
に所定の手段を実行させるための(あるいはコンピュー
タを所定の手段として機能させるための、あるいはコン
ピュータに所定の機能を実現させるための)プログラム
として実施することもでき、該プログラムを記録したコ
ンピュータ読取り可能な記録媒体として実施することも
できる。
【0075】なお、この発明の実施の形態で例示した構
成は一例であって、それ以外の構成を排除する趣旨のも
のではなく、例示した構成の一部を他のもので置き換え
たり、例示した構成の一部を省いたり、例示した構成に
別の機能あるいは要素を付加したり、それらを組み合わ
せたりすることなどによって得られる別の構成も可能で
ある。また、例示した構成と論理的に等価な別の構成、
例示した構成と論理的に等価な部分を含む別の構成、例
示した構成の要部と論理的に等価な別の構成なども可能
である。また、例示した構成と同一もしくは類似の目的
を達成する別の構成、例示した構成と同一もしくは類似
の効果を奏する別の構成なども可能である。また、この
発明の実施の形態で例示した各種構成部分についての各
種バリエーションは、適宜組み合わせて実施することが
可能である。また、この発明の実施の形態は、個別装置
としての発明、関連を持つ2以上の装置についての発
明、システム全体としての発明、個別装置内部の構成部
分についての発明、またはそれらに対応する方法の発明
等、種々の観点、段階、概念またはカテゴリに係る発明
を包含・内在するものである。従って、この発明の実施
の形態に開示した内容からは、例示した構成に限定され
ることなく発明を抽出することができるものである。
【0076】本発明は、上述した実施の形態に限定され
るものではなく、その技術的範囲において種々変形して
実施することができる。
【0077】
【発明の効果】本発明によれば、バッファ量を適切に制
御することが可能となり、もって、システム全体のビデ
オなどのストリーム・データの再生を効率的に行うこと
が可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係るネットワークビデオ
伝送システムの構成例を示す図
【図2】同実施形態に係るビデオ圧縮・送信装置および
ビデオ受信・復号装置のイメージバッファの構造の一例
を示す図
【図3】同実施形態に係るビデオ圧縮・送信装置および
ビデオ受信・復号装置の符号バッファの構造の一例を示
す図
【図4】同実施形態に係るビデオ圧縮・送信装置および
ビデオ受信・復号装置の各バッファ制御部におけるバッ
ファ長を計測する手順の一例を示すフローチャート
【図5】同実施形態に係るビデオ圧縮・送信装置および
ビデオ受信・復号装置の各バッファ制御部におけるパケ
ットの削除制御の手順の一例を示すフローチャート
【図6】同実施形態に係るビデオ圧縮・送信装置および
ビデオ受信・復号装置の各バッファ集計伝達部が情報を
交換する際のパケットのフォーマットの一例を示す図
【図7】従来のネットワークビデオ伝送システムの構成
例を示す図
【符号の説明】
31…ビデオ圧縮・送信装置 32…ビデオ受信・復号装置 33…ネットワーク 1…ビデオキャプチャ処理部 2,9…イメージバッファ 3…画像圧縮符号エンコード処理部 4,7…符号バッファ 5,6…ネットワークプロトコル処理部 11,14…イメージバッファ制御部 12,13…符号バッファ制御部 15,16…バッファ集計伝達部 8…画像圧縮符号デコード処理部 10…表示処理部
フロントページの続き Fターム(参考) 5C059 KK00 MA00 MA04 MA05 PP05 PP06 PP16 RB02 SS08 TA71 TB03 TC16 UA32 5K030 GA06 HA08 HB21 HC01 JA05 KA03 LA07 LB17 LC15 MA13 MB15 5K034 AA11 CC02 DD03 EE11 HH50 HH58 MM39

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】ストリーム・データを圧縮符号化しパケッ
    トに載せてネットワークに送信する送信装置と、該ネッ
    トワークから該パケットを受信しその中から圧縮符号化
    されたストリーム・データを取り出し復号する受信装置
    とを含むデータ伝送システムであって、 前記送信装置内に存在する前記ストリーム・データの処
    理に関係するバッファに滞留するデータの量を示す滞留
    データ量を計測するための手段と、 前記受信装置内に存在する前記ストリーム・データの処
    理に関係するバッファに滞留するデータの量を示す滞留
    データ量を計測するための手段と、 前記送信装置と前記受信装置との間で相互に前記滞留デ
    ータ量を交換するための手段とを備え、 前記送信装置及び前記受信装置は、それぞれ、前記送信
    装置の滞留データ量と前記受信装置の滞留データ量とに
    基づいて、前記送信装置及び前記受信装置についての全
    滞留データ量を求め、該全滞留データ量に基づいて自装
    置内に存在する前記ストリーム・データの処理に関係す
    るバッファに滞留するデータに対する削除制御を行うこ
    とを特徴とするデータ伝送システム。
  2. 【請求項2】前記送信装置及び前記受信装置は、それぞ
    れ、前記全滞留データ量に基づいて決定される削除確率
    に従って、該当する前記バッファ内のデータを削除して
    いくことを特徴とする請求項1に記載のデータ伝送シス
    テム。
  3. 【請求項3】前記全滞留データ量に所定の定数を乗じた
    値と1とのうちの小さい方の値を前記削除確率とするこ
    とを特徴とする請求項2に記載のデータ伝送システム。
  4. 【請求項4】前記パケットの伝送プロトコルは、RTP
    であり、 前記送信装置と前記受信装置との相互間での前記滞留デ
    ータ量の交換は、RTCPのAPPパケットに該滞留デ
    ータ量を搭載することによって行うことを特徴とする請
    求項1に記載のデータ伝送システム。
  5. 【請求項5】前記ストリーム・データは、ビデオデータ
    であり、 前記圧縮符号化及び復号の符号化方式は、MPEG4で
    あることを特徴とする請求項1に記載のデータ伝送シス
    テム。
  6. 【請求項6】ストリーム・データを圧縮符号化しパケッ
    トに載せてネットワークを介し受信装置に送信する送信
    装置であって、 自装置内に存在する前記ストリーム・データの処理に関
    係するバッファに滞留するデータの量を示す滞留データ
    量を計測するための手段と、 前記受信装置との間で、自装置の前記滞留データ量と、
    該受信装置内に存在する前記ストリーム・データの処理
    に関係するバッファについての滞留データ量とを相互交
    換するための手段と、 自装置の前記滞留データ量と前記受信装置の前記滞留デ
    ータ量とに基づいて、自装置び前記受信装置についての
    全滞留データ量を求める手段と、 求められた前記全滞留データ量に基づいて自装置内に存
    在する前記ストリーム・データの処理に関係するバッフ
    ァに滞留するデータに対する削除制御を行う手段とを備
    えたことを特徴とする送信装置。
  7. 【請求項7】ネットワークを介して送信装置からパケッ
    トを受信しその中から圧縮符号化されたストリーム・デ
    ータを取り出し復号する受信装置であって、 自装置内に存在する前記ストリーム・データの処理に関
    係するバッファに滞留するデータの量を示す滞留データ
    量を計測するための手段と、 前記送信装置との間で、自装置の前記滞留データ量と、
    該送信装置内に存在する前記ストリーム・データの処理
    に関係するバッファについての滞留データ量とを相互交
    換するための手段と、 自装置の前記滞留データ量と前記送信装置の前記滞留デ
    ータ量とに基づいて、自装置び前記送信装置についての
    全滞留データ量を求める手段と、 求められた前記全滞留データ量に基づいて自装置内に存
    在する前記ストリーム・データの処理に関係するバッフ
    ァに滞留するデータに対する削除制御を行う手段とを備
    えたことを特徴とする受信装置。
  8. 【請求項8】ストリーム・データを圧縮符号化しパケッ
    トに載せてネットワークに送信する送信装置と、該ネッ
    トワークから該パケットを受信しその中から圧縮符号化
    されたストリーム・データを取り出し復号する受信装置
    とを含むデータ伝送システムにおけるバッファ制御方法
    であって、 前記送信装置及び前記受信装置は、それぞれ、自装置内
    に存在する前記ストリーム・データの処理に関係するバ
    ッファに滞留するデータの量を示す滞留データ量を計測
    し、 前記送信装置と前記受信装置との間で相互に前記滞留デ
    ータ量を交換し、 前記送信装置及び前記受信装置は、それぞれ、前記送信
    装置の滞留データ量と前記受信装置の滞留データ量とに
    基づいて、前記送信装置及び前記受信装置についての全
    滞留データ量を求め、該全滞留データ量に基づいて自装
    置内に存在する前記ストリーム・データの処理に関係す
    るバッファに滞留するデータに対する削除制御を行うこ
    とを特徴とするバッファ制御方法。
JP2001006856A 2001-01-15 2001-01-15 データ伝送システム、送信装置、受信装置及びバッファ制御方法 Pending JP2002217990A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001006856A JP2002217990A (ja) 2001-01-15 2001-01-15 データ伝送システム、送信装置、受信装置及びバッファ制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001006856A JP2002217990A (ja) 2001-01-15 2001-01-15 データ伝送システム、送信装置、受信装置及びバッファ制御方法

Publications (1)

Publication Number Publication Date
JP2002217990A true JP2002217990A (ja) 2002-08-02

Family

ID=18874685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001006856A Pending JP2002217990A (ja) 2001-01-15 2001-01-15 データ伝送システム、送信装置、受信装置及びバッファ制御方法

Country Status (1)

Country Link
JP (1) JP2002217990A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7941235B2 (en) 2006-07-14 2011-05-10 Sony Corporation Playback apparatus, playback method, playback system and recording medium
US7966086B2 (en) 2006-07-14 2011-06-21 Sony Corporation Playback apparatus, playback method, and computer program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7941235B2 (en) 2006-07-14 2011-05-10 Sony Corporation Playback apparatus, playback method, playback system and recording medium
US7966086B2 (en) 2006-07-14 2011-06-21 Sony Corporation Playback apparatus, playback method, and computer program
KR101354270B1 (ko) * 2006-07-14 2014-01-22 소니 주식회사 재생 장치, 재생 방법, 및 기록 매체

Similar Documents

Publication Publication Date Title
CN106686438B (zh) 一种跨设备的音频图像同步播放的方法、装置及系统
JP3629025B2 (ja) 送受信方法およびその装置
JP3931595B2 (ja) データ修正装置及びデータ修正方法
US8576909B2 (en) System and method for monitoring video packets for quantifying video quality
CN106488265A (zh) 一种发送媒体流的方法和装置
CN113497792B (zh) 音视频通信方法、终端、服务器、计算机设备和存储介质
EP1439705A2 (en) Method and apparatus for processing, transmitting and receiving dynamic image data
JP4850932B2 (ja) 画像伝送装置
JP2002344880A (ja) コンテンツ配信システム
CA2742716C (en) Method and system for determining a quality value of a video stream
CN106998485B (zh) 视频直播方法及装置
US20090190652A1 (en) System and method for controlling transmission of moving image data over network
CN107566918A (zh) 一种视频分发场景下的低延时取流秒开方法
EP2086174A1 (en) A method and system of multimedia service performance monitoring
JP3668110B2 (ja) 画像伝送システムおよび画像伝送方法
CN107172376B (zh) 一种基于屏幕共享的视频编码方法和装置
CN112423140A (zh) 视频播放方法、装置、电子设备和存储介质
CN109862400B (zh) 一种流媒体传输方法、装置及其系统
US20030152080A1 (en) System and method for fault tolerant multimedia communication
US7827458B1 (en) Packet loss error recovery
JP2002217990A (ja) データ伝送システム、送信装置、受信装置及びバッファ制御方法
JP2009171294A (ja) 映像配信システム、映像中継装置、及び映像中継方法
JP2003298554A (ja) データ配信における受信データの品質評価方法および装置
JP2003309847A (ja) 画像伝送方法および画像伝送装置
CN110798700B (zh) 视频处理方法、视频处理装置、存储介质与电子设备