JP2004260668A

JP2004260668A - Moving image transmission system, moving image transmitter, moving image relay device, moving image receiver, program, and recording medium

Info

Publication number: JP2004260668A
Application number: JP2003050626A
Authority: JP
Inventors: Takahiro Yamaguchi; 高弘山口; Tatsuya Fujii; 竜也藤井; Daisuke Shirai; 大介白井; Tetsuo Fujii; 哲郎藤井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-02-27
Filing date: 2003-02-27
Publication date: 2004-09-16
Anticipated expiration: 2023-02-27
Also published as: JP3964806B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide moving image transmission technology for stably performing moving image reproduction in real time. <P>SOLUTION: This moving image transmission system comprises a transmitter which transmits moving image data in which the real time reproduction is requested by TCP/IP and a receiver which receives the data to be transmitted from the transmitter. The transmitter defines the moving image data by using one frame or a plurality of frames of image data as a unit and transmits divided image data by further dividing individual unit image data by a plurality of TCP connections, the receiver has a buffer part which performs processing for returning the divided image data received by the plurality of TCP connections to original unit image data and storage of the plurality of frames of the moving image data and determines the number of pieces of the divided unit image data and the number of TCP connections based on throughput per TCP connection and an average bit rate of the moving image data. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、実時間再生を要求される動画像データをＩＰネットワーク上をＴＣＰを用いて安定的に伝送するシステム、動画像送信装置、動画像中継装置、動画像受信装置、プログラム、および記録媒体に関するものである。
【０００２】
【従来の技術】
ＴＣＰ（ＴｒａｎｓｐｏｒｔＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）では、再送付き肯定確認応答プロトコルの改良版である可変ウィンドウサイズのスライディングウィンドウプロトコルを用いて信頼性のある効率的なデータ通信を実現している。
しかしながら、ＴＣＰによるデータ伝送では、ウィンドウサイズ分のデータを連続的に送信できるが、最初のパケットの確認応答が戻ってくるまでは、それ以上のデータを送信できない。
【０００３】
ＴＣＰコネクション一つあたりのスループットは、
【数１】
スループット（データ／秒）＝ウィンドウサイズ／往復遅延時間（式１）
となる。したがって、ネットワークの往復遅延時間ＲＴＴ（ＲｏｕｎｄＴｒｉｐＴｉｍｅ）が大きくなると、必然とスループットがあがらなくなる。いわゆるＬｏｎｇＦａｔＰｉｐｅの問題である。
【０００４】
そうした場合の解決方法として特許文献１のようにデータ（ファイル形式）を分割し、複数のＴＣＰコネクションをはることで、より効率的にデータファイルの伝送を行う方法が提案されている。その方法を用いた場合の流れを図６に示す。
【０００５】
また、特許文献２では、さらにデータ受信中の誤り発生に基づくデータブロックの再送回数を複数のコネクション毎にモニタリングし、一定時間内の再送回数の増減に応じて該当するコネクションのウィンドウサイズを変化させたり、コネクションの使用停止し別のコネクションで送信を再開したりすることで効率的にデータファイルの伝送を行う方法が提案されている。
【０００６】
例えば、ＪＰＮＩＣＩｎｔｅｒｎｅｔＷｅｅｋ９９チュートリアルレクチャーノート櫻井智明「ストリーミング技術」（非特許文献１）で述べられているように、動画像をＩＰネットワーク上で伝送し実時間再生しようとする場合、一般的には、ＴＣＰよりもＵＤＰが用いられる。ＵＤＰを用いた動画像の伝送では、受信データに誤りが発生した場合であっても、再送によって古い画像フレームを正しく送るよりも、新しい画面を送ることが優先される場合に用いられる。
なお、先行公知文献には、下記の公開特許公報および非特許文献がある。
【０００７】
【特許文献１】
特開平８−３０５６４３号公報（ファイル転送方式）
【特許文献２】
特開２０００−１５６７０６号公報（データ送受信方法並びにデータ送信プログラムを記憶した媒体及びデータ受信プログラムを記憶した媒体）
【特許文献３】
特開２００１−１９５３２６号公報（ファイル転送方式）
【非特許文献１】
ＪＰＮＩＣＩｎｔｅｒｎｅｔＷｅｅｋ９９チュートリアルレクチャーノート、櫻井智明、「ストリーミング技術」、［ｏｎｌｉｎｅ］、［平成１５年２月１７日検索］、インターネット＜ｈｔｔｐ：／／ｗｗｗ．ｎｉｃ．ａｄ．ｊｐ／ｊａ／ｍａｔｅｒｉａｌｓ／ｉｗ／１９９９／ｎｏｔｅｓ／Ｃ１５．ＰＤＦ＞
【０００８】
【発明が解決しようとする課題】
ＴＣＰがネットワークの状態に応じた輻輳制御を行うのに対して、ＵＤＰはそのような制御は行わない。そのためＴＣＰとＵＤＰが共存するＩＰネットワーク環境においてＵＤＰを用いて実時間動画像伝送を行うと、ＩＰネットワーク上で回線品質が低下するなどして輻輳が発生すると、ＵＤＰによるトラフィックが、他のＴＣＰコネクションの使用帯域を圧迫し、ネットワークの利用の公平性という観点からは好ましくない。
【０００９】
ＩＰネットワーク上をＴＣＰを用いて、ディジタルシネマのような大容量の動画像データを実時間で伝送し再生するような場合、途中で何度もデータの再送が生じると、１フレーム周期内に１フレーム分の画像データが受信装置側に到着しないというケースが考えられる。前記複数のＴＣＰコネクションによるデータ伝送方法を用いた場合であっても、コネクションの一部で回線品質が低下するなどして再送が何度も発生することは考えられる。特許文献１や特許文献２のようにＦＴＰ（ＦｉｌｅＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）によるファイル転送等、非実時間のデータ伝送にＴＣＰを用いる場合は問題ないが、実時間の映像情報伝送を考えると、“消失したデータの再送を要求する”といったＴＣＰの仕組みによる遅れが問題になってくる。
【００１０】
また、動画像データはＤＶＤＶｉｄｅｏのような蓄積メディア上では、ファイルの形式をとっている場合もあるが、ビデオカメラからのディジタル映像信号をファイルという形式を介さずに直接トランスポートストリームにのせて伝送するような場合も考えられる。そうした場合、特許文献１の図１の実施例（システム構成）にあるようなファイル分割・統合モジュールでのデータの分割はできない。
【００１１】
また、ＴＣＰコネクションの数が増えてくると、特許文献２のようにコネクション毎の再送回数のモニタリング自体による装置への負荷の増加が実時間での映像情報伝送の妨げとなることが考えられる。
【００１２】
また、単一または複数のＴＣＰコネクションにより１フレーム分の画像フレームデータを１フレーム周期内に伝送しようとする場合、フレーム周期の中の極一部を使ってバースト的にデータを伝送すると、ＩＰネットワーク上で瞬間的にデータレートが高くなり、ネットワーク上のスイッチ等でパケットロスが発生する確率が高くなる。したがって、ＴＣＰの仕組みに基づいてデータの再送が生じやすくなり、データの伝送効率が上がらなくなる。
【００１３】
本発明の目的は、通信経路の往復遅延時間（ＲＴＴ、ＲｏｕｎｄＴｒｉｐＴｉｍｅ）が大きい場合も、必要とされるスループットを確保し、効率よく安定的に動画像データを伝送し、かつ実時間での動画像再生を安定的に行うための動画像伝送システム、動画像送信装置、動画像中継装置、動画像受信装置、プログラム、および記録媒体を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するための一つ目の手段は、本発明の請求項１、２、３、４のように、手動または自動的に計測した送信装置・受信装置間等の１ＴＣＰコネクションあたりのスループット（実効速度）や伝送する動画像データの時間方向に平均をとったビットレートの値に応じた数（複数）のＴＣＰコネクションを送信装置・受信装置間または中継装置との間で張り、複数のＴＣＰコネクションを用いて画像フレームデータを分割して効率よく伝送し、さらにＴＣＰによる再送要求の発生による遅れで１フレーム周期間内に１フレーム分の画像データが到着しないといった事態に備え、あらかじめ受信装置側でｎ（複数）フレーム分の動画像データをバッファに蓄えてから、ｎフレーム期間遅らせて実時間での動画像再生開始することである。
【００１５】
二つ目の手段は、本発明の請求項５のように、分割フレームデータを複数のＴＣＰコネクションを使って伝送する場合に、複数のＴＣＰコネクション間のデータ送出タイミングをずらして、各ＴＣＰコネクション間のデータフローの重なりが少なくなるようにしたり、本発明の請求項６のように、伝送される動画像フレームデータ（１フレーム分）または分割フレームデータが１フレーム周期内で分散するようにシェーピングすることである。
【００１６】
三つ目の手段は、本発明の請求項７、８、９のように、受信装置のバッファ部の蓄積状況のみをモニタリングすることで蓄積画像フレーム数が減少したときのみ、全てのＴＣＰコネクションもしくは、伝送効率の下がったＴＣＰコネクションを自動的に特定して、その接続を切り、代わりの新たなＴＣＰコネクションを生成することである。
【００１７】
前述の一つ目の手段によれば、送信装置・受信装置間の１ＴＣＰコネクションあたりのスループット（実効速度）を伝送する動画像データの平均ビットレートの値に応じた数（複数）のＴＣＰコネクションをはることにより、ＬｏｎｇＦａｔＰｉｐｅの問題を解決し、動画像データの伝送に必要とされるスループットが確保できるようになる。また１フレーム周期間内に１フレーム分の画像データが到着しないといった事態が発生した場合は、バッファに蓄積された動画像データを用いることで、安定的に動画像の実時間再生を維持することができるようになる。
【００１８】
前述の二つ目の手段によれば、複数ＴＣＰコネクションのトータルのデータレートが時間方向に平均化され、通信系路上で瞬間的にデータレートが上がることがなくなり、パケットロスが生じにくくなり、より安定的に実時間再生を要求される動画像データの伝送が実現できるようになる。
【００１９】
前述の三つ目の手段によれば、受信装置のバッファ部の蓄積状況のみのモニタリングとすることでモニタリングに対する負荷を軽減し、より安定的に実時間再生を要求される動画像データの伝送が実現できる。
【００２０】
また、本発明の動画像送信装置は、実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置を含む動画像伝送システムにおける動画像送信装置であって、動画像データを画像データ１フレーム分または複数フレーム分を単位とする個々の単位画像データをさらに分割するための単位画像データの分割数、およびＴＣＰコネクションの数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定するパラメータ決定手段と、前記パラメータ決定手段により決定された分割数で前記個々の単位画像データを分割して分割画像データとする画像データ分割手段と、前記分割画像データを前記パラメータ決定手段により決定されたＴＣＰコネクションの数のＴＣＰコネクションにより送信する送信手段と、を有することを特徴とする。また、前記パラメータ決定手段は前記受信装置でバッファに蓄積するフレーム数を１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定することを特徴とする。
【００２１】
また、本発明の動画像中継装置は、実時間再生を要求される動画像データをＴＣＰ／ＩＰにより送信する送信装置と、前記送信装置から送信されるデータを受信する受信装置と、前記送信装置と前記受信装置の間にあって前記データを中継する中継装置を含む動画像伝送システムにおける動画像中継装置であって、動画像データを画像データ１フレーム分または複数フレーム分を単位として、個々の単位画像データを１つのＴＣＰコネクションにより送信する送信装置または前段の中継装置から１つのＴＣＰコネクションで個々の単位画像データを受信する手段と、前記個々の単位画像データをさらに分割するための単位画像データの分割数、およびＴＣＰコネクションの数を、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定するパラメータ決定手段と、前記パラメータ決定手段により決定された分割数で前記個々の単位画像データを分割して分割画像データとする画像データ分割手段と、前記分割画像データを前記パラメータ決定手段により決定されたＴＣＰコネクションの数のＴＣＰコネクションにより送信する送信手段と、を有することを特徴とする。また、前記パラメータ決定手段は前記受信装置でバッファに蓄積するフレーム数を１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定することを特徴とする。また、前記動画像送信装置または前記動画像中継装置からのデータを中継する動画像中継装置であって、複数のＴＣＰコネクションにより分割画像データを受信する受信手段と、受信した分割画像データから元の単位画像データに戻す分割画像データ統合手段と、前記単位画像データを１つのＴＣＰコネクションで受信装置または次の中継装置に向けて送信する送信手段と、を有することを特徴とする。
【００２２】
また、本発明の動画像受信装置は、前記動画像送信装置または前記動画像中継装置からデータを受信する動画像受信装置であって、複数のＴＣＰコネクションにより分割画像データを受信する受信手段と、前記分割画像データから元の単位画像データに戻す処理を行う分割画像データ統合手段と、動画像データ複数フレーム分の蓄積を行うバッファ手段と、を有することを特徴とする。また、前記バッファ手段で蓄積するフレーム数は、１ＴＣＰコネクションあたりのスループットおよび動画像データの平均ビットレートに基づいて決定されたフレーム数であることを特徴とする。
また、本発明のプログラムは、前記動画像送信装置、前記動画像中継装置、前記動画像受信装置のためのプログラム。
また、本発明の記録媒体は、前記プログラムを記録したコンピュータ読み取り可能な記憶媒体。
【００２３】
【発明の実施の形態】
［実施例１］
図１は請求項１の発明の実施例のシステムの構成を示している。図１において、動画像伝送システム１は送信装置２と受信装置３により構成される。送信装置２は、動画像データ入力ＩＦ（インタフェース）７、フレーム検出器８、画像データ分割処理部９、動画像データネットワーク出力ＩＦ１０、パラメータ収集部１１、パラメータ決定部１２、ＴＣＰコネクション数・ウィンドウサイズ制御部１３を備える。送信装置２の動画像データ入力ＩＦ７にはビデオカメラ４から直接またはエンコーダ５を経て非蓄積型動画像データが入力され、また蓄積メディア６から蓄積型動画像データが入力される。受信装置３は、動画像データネットワーク入力ＩＦ１６、分割画像データ統合処理部１７、画像データ蓄積部１８、動画像データ出力ＩＦ１９を備える。送信装置２と受信装置３はＩＰネットワーク１４で接続され、送信装置２の動画像データネットワーク出力ＩＦ１０と受信装置３の動画像データネットワーク入力ＩＦ１６間にはＴＣＰコネクション１５がはられる。受信装置３の動画像データ出力ＩＦ１９から出力された動画像データは、必要に応じてデコーダ２０によりデコードされ、プロジェクタ２１により上映される。
【００２４】
図２は、請求項１の発明の実施例の全体的な流れを示している。請求項１の発明の実施例について、図２の流れに沿って説明する。
第１の行程では、図１のパラメータ収集部１１で、通信経路の往復遅延時間や、送受信装置が接続されている間のスループット（実効的な回線速度）に関する情報、動画像データの平均ビットレートを自動的に収集する。パラメータ収集部１１での処理は、例えば自動的にｐｉｎｇコマンドを発し、そこから往復遅延時間を得たり、ｎｅｔｐｅｒｆなどのコマンドを使ってＴＣＰストリームを発生し、そこからＴＣＰストリームあたりのスループットを得たり、動画像データをいったんネットワーク上に一定時間流しｔｃｐｄｕｍｐ等でその間のパケット数をカウントすることにより動画像データの平均ビットレートを求めることができる。同パラメータは自動収集によらず、あらかじめ手動での実測等により得ておいてもよい。
【００２５】
第２の行程では、それら収集したパラメータを元に最適な画像データ分割数・ＴＣＰコネクション数・ウィンドウサイズ等のパラメータを図１のパラメータ決定部１２で決定する。パラメータ決定部１２では次のようにしてパラメータが決定される。
【００２６】
例えばＴＣＰ／ＩＰプロトコルの拡張となる６４［ｋＢ］以上のウィンドウサイズが扱える場合、ウィンドウサイズを６４［ｋＢ］から順次大きくしていき、その際のＴＣＰ１コネクションでのスループットＳ［Ｍｂｐｓ］をパラメータ収集部１１で計測（実測）し、その値が最大となるウィンドウサイズを最適ウィンドウサイズＷ［ｋＢ］として決定する。一方、拡張となる６４［ｋＢ］以上のウィンドウサイズが扱えない場合は、逆にウィンドウサイズを６４［ｋＢ］固定として、スループットＳをパラメータ収集部１１で計測する。なお、双方の場合においても、スループットＳの計測の代わりに、パラメータ収集部１１で計測された往復遅延時間を元に前記式１よりＴＣＰ１コネクションでのスループットＳ［Ｍｂｐｓ］を求めてもよいが、数式１で求められるスループットそのものを計測した方が実際に則しているという観点で望ましい。
【００２７】
そして、動画像データの平均ビットレートがＡ［Ｍｂｐｓ］であったとしたとき、
【数２】
Ｃ＝ＲＯＵＮＤＵＰ（Ａ／０．９Ｓ）（式２）
となる整数ＣをＴＣＰコネクション数とする（ＲＯＵＮＤＵＰ（Ａ／０．９Ｓ）はＡ／０．９Ｓを小数点以下切り上げた数、ＴＣＰストリームのオーバヘッドを１０％と仮定し実効的な回線速度は０．９Ｓであるとして計算）。画像分割数はＴＣＰコネクション数と等しくする。
【００２８】
また、受信装置３側の蓄積フレーム数ｎは、例えば、１秒間分のフレーム数ｆ（映画の場合２４フレーム分）と動画像データ平均ビットレートＡを実効的な回線速度０．９ＳとＴＣＰコネクション数Ｃの積で割った値より
【数３】
ｎ＝（１＋Ａ／０．９ＳＣ）ｆ（式３）
として決定し、受信装置３側に指示する。
以上は図２のうちの処理Ａにあたり、動画像データを実際に伝送する前の前処理となっている。
【００２９】
第３の行程で、パラメータ決定部１２で決定されたＣ本のＴＣＰコネクション１５を送信装置２側の動画像データネットワーク出力ＩＦ１０から受信装置３側の動画像データネットワーク入力ＩＦ１６に対してはる。
【００３０】
第４の行程では、送信装置２の動画像データ入力ＩＦ１６に、ビデオカメラ４等からのディジタル映像信号そのものや、エンコーダ５等を経て入ってくる非蓄積型動画像データ、またはハードディスクやＤＶＤ等の蓄積メディア６上の蓄積型動画像データを入力する。
【００３１】
そして、通常の映像信号／動画像データに含まれるフレーム毎の切れ目を示すデータをフレーム検出器８で検出し、第５の行程でフレーム毎に画像データ分割処理部９でＣ個に分割処理される。ＭＰＥＧのように複数のフレームがＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）のような別の単位で取り扱われる場合には、それを検出し、それを単位として分割処理してもよい。
【００３２】
第６の行程で、送信装置２の動画像データネットワーク出力ＩＦ１０よりＩＰネットワーク１４上へ分割画像データを送出する。以上の行程は主に送信装置２側の処理となるが、第８の行程からは主に受信装置３側の処理へと移る。第７の行程で、Ｃ本のＴＣＰコネクション１５によりＣ分割された分割画像データをそれぞれ伝送することになる。
【００３３】
第８の行程では、ＩＰネットワーク１４上から分割画像データを受信装置３の動画像データネットワーク入力ＩＦ１６で受け取り、第９の行程で、受信した分割画像データを分割画像データ統合処理部１７で元の１つのフレーム画像データ（単位画像データ）に統合し、第１０の行程で受信装置３側のデータ蓄積部１８にｎフレーム分蓄積され、ｎ＋１フレーム目のデータがデータ蓄積部１８に渡されるときに、第１１の行程に移り１フレーム目のデータが動画像データ出力から出力される。ここで入力した動画像データがオンラインまたはオフラインでエンコードされたものであれば、デコーダ２０により実時間でデコードしながら、プロジェクタ２１等により動画像データを実時間上映を実現する。
すべての動画像データの入力がなくなり、動画像データをすべて受信し終わったら、全てのＴＣＰコネクション１５を切断し終了となる。
【００３４】
［実施例２］
図３は、請求項１、２、３による発明の実施形態のバリエーションを示す図である。図３の形態１は、請求項１の発明の実施形態を示す例である。図は、送信装置側から４つのＴＣＰコネクションで受信装置側へ分割画像データを伝送し、プロジェクタで実時間上映するときの構成である。図３の形態２は、請求項２の発明の実施形態を示す例である。図は、送信装置側からの１つのＴＣＰコネクションで中継装置まで単位画像データを運び、中継装置と受信装置との間で４つのＴＣＰコネクションを使って分割画像データを伝送する。前述の送信装置側での行程（１）、（２）、（３）および（５）、（６）の処理を中継装置で行うようにするものである。図３の形態３は、請求項３の発明の実施形態を示す例である。送信装置側から４個のＴＣＰコネクションで分割画像データを中継装置まで運び、行程（８）、（９）の処理を中継装置で行い、別途１つのＴＣＰコネクションを中継装置と受信装置の間にはり、それで単位画像データを受信装置に伝送するようにしたものである。請求項２と請求項３の発明の実施形態の中継装置を組み合わせて、図３の形態４のように送信装置で単位画像データを送信するＴＣＰコネクションおよび受信装置で単位画像データを受信するＴＣＰコネクションはともに１つとし、中継装置間の４個のＴＣＰコネクションで分割画像データを伝送するようにしてもよい。ただし、１つのＴＣＰコネクションで単位画像データを運ぶ場合の送信装置・中継装置間および中継装置・受信装置間は、４個のＴＣＰコネクションで分割画像データを運ぶ間より十分遅延時間が短く、１つのＴＣＰコネクションで実時間動画再生に耐えられるだけの速さで単位画像データを運ぶことができる必要がある。
【００３５】
［実施例３］
図４は、請求項４、５の発明の実施例を説明する図である。図４（ａ）は１つのＴＣＰコネクションでフレーム画像データ（単位画像データ）を伝送する場合の送信装置・受信装置間のトラフィック量の時間方向の変動の概観を示した図である。１フレーム周期で、その周期の一部を使ってバースト的にフレーム画像データが伝送される。請求項１の発明の実施例の動画像伝送システムを用いて、単に４つのＴＣＰコネクションで分割画像データを伝送すると、図４（ｂ）のようなトラフィックとなる。各ＴＣＰコネクションのトラフィック量は小さくなるが、ネットワーク上を流れるトラフィックの総量を求めると、（ａ）と同じようになってしまう。
【００３６】
図４（ｃ）は、請求項４の発明の実施例のトラフィックの様子を示している。
請求項４の発明を実装し、４つのＴＣＰコネクションにおけるデータ送出のタイミングを上から準じ遅らせていくような形でずらしていくようにすることで、同じ１つのネットワーク上をこの４つのＴＣＰコネクションによるデータストリームが流れる場合、それぞれのコネクションによるデータの送出タイミングがずれていることによってネットワーク上の総トラフィック量の変動が時間的に平均化される。
【００３７】
図４（ｄ）は、請求項５の発明を実施例のトラフィックの様子を示している。
請求項５の発明を実装し、各コネクションに対して平滑化プロセスによりトラフィックにシェーピングを効かせることで、データの送出がさらに分散しネットワーク上の総トラフィック量の変動が時間的にさらに平均化される。
【００３８】
図４（ｃ）（ｄ）のようなデータストリームは、請求項４、５の発明を実装しない場合に比べて、総トラフィック量の時間的な変動が小さくなり、パケットロスとなる率が下がり、安定的な実時間動画像伝送が実現できる。
【００３９】
［実施例４］
図５は、請求項６の発明の画像データの蓄積状態の監視処理の実施例を説明する図である。
蓄積画像データのフレーム数は、回線品質の低下にともない減少する。図の例１では、蓄積画像データのフレーム数が規定枚数以下になった場合に、各ＴＣＰコネクションによる分割データ到着を確認する。前記規定枚数とは、以下のＴＣＰコネクションの張り替え処理の間に、動画像データが一時的に途絶えたとしても、実時間上映が維持できる時間分以上のフレーム数とする。各ＴＣＰコネクションによる分割データ到着確認の際、スループットの低下等により、あるＴＣＰコネクションで分割データの未着があった場合、そのコネクションを不良コネクションとして確定し、いったんその接続を切断し、あらたに代わりの新規ＴＣＰコネクションを確立する。そうすることで、ＴＣＰコネクション数を変化させずにスループットを回線品質が低下する前と同じような状態に戻すことができる。
【００４０】
ＴＣＰコネクション数に余裕があって、不良コネクションの切断後も十分なスループットが得られる場合は、新規ＴＣＰコネクションは確立せずに、必要があれば単位画像データの分割数を減らして、実時間上映を維持する。
【００４１】
図の例２では蓄積画像データのフレーム数が規定枚数以下となった場合に、各コネクションのＲＴＴをチェックしたり、各コネクションの再送回数をチェックして、それらが規定値以内かどうか判断し、規定値を超えたものを不良コネクションとして確定し、いったんその切断、必要があれば新規コネクションを確立したり、単位画像データの分割数の見直しを行う。
【００４２】
なお、前記各装置はコンピュータ上で動作するプログラムとして作成することができ、また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記録することができる。
【００４３】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００４４】
【発明の効果】
以上のように、本発明では、通信経路の往復遅延時間（ＲＴＴ、ＲｏｕｎｄＴｒｉｐＴｉｍｅ）が大きい場合も、必要とされるスループットを確保し効率よく安定的に動画像データを伝送し、かつ実時間での動画像再生を安定的に行うための伝送システムを提供できる。
【図面の簡単な説明】
【図１】本発明の実施例のシステム構成を示す図である。
【図２】本発明の実施例の全体的な処理の流れを示す図である。
【図３】本発明の実施例のシステム構成のバリエーションを示す図である。
【図４】本発明の実施例のデータフローの様子を示す図である。
【図５】本発明の実施例の画像データ蓄積状態監視処理の例を示す図である。
【図６】従来技術の画像ファイル伝送の流れを示す図である。
【符号の説明】
１…動画像伝送システム、２…送信装置、３…受信装置、４…ビデオカメラ、５…エンコーダ、６…蓄積メディア、７…動画像データ入力ＩＦ、８…フレーム検出器、９…画像データ分割処理部、１０…動画像データネットワーク出力ＩＦ、１１…パラメータ収集部、１２…パラメータ決定部、１３…ＴＣＰコネクション数・ウィンドウサイズ制御部、１４…ＩＰネットワーク、１５…ＴＣＰコネクション、１６…動画像データネットワーク入力ＩＦ、１７…分割画像データ統合処理部、１８…画像データ蓄積部、１９…動画像データ出力ＩＦ、２０…デコーダ、２１…プロジェクタ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a system, a moving image transmitting apparatus, a moving image relay apparatus, a moving image receiving apparatus, a program, and a recording medium for stably transmitting moving image data required to be reproduced in real time over an IP network using TCP. It is about.
[0002]
[Prior art]
In TCP (Transport Control Protocol), reliable and efficient data communication is realized by using a variable window size sliding window protocol which is an improved version of the acknowledgment protocol with retransmission.
However, in data transmission by TCP, although data of a window size can be transmitted continuously, no further data can be transmitted until an acknowledgment of the first packet is returned.
[0003]
The throughput per TCP connection is
(Equation 1)
Throughput (data / second) = window size / round trip delay time (Equation 1)
It becomes. Therefore, when the round trip time RTT (Round Trip Time) of the network increases, the throughput necessarily decreases. This is the so-called Long Fat Pipe problem.
[0004]
As a solution to such a case, a method of dividing a data (file format) and establishing a plurality of TCP connections to transmit a data file more efficiently has been proposed as in Patent Document 1. FIG. 6 shows a flow when the method is used.
[0005]
Further, in Patent Document 2, the number of retransmissions of a data block based on the occurrence of an error during data reception is monitored for each of a plurality of connections, and the window size of the corresponding connection is changed according to the increase or decrease in the number of retransmissions within a fixed time. In addition, there has been proposed a method of efficiently transmitting a data file by stopping the use of a connection and resuming transmission on another connection.
[0006]
For example, as described in JPNIC Internet Week 99 Tutorial Lecture Note by Tomoaki Sakurai “Streaming Technology” (Non-Patent Document 1), in general, when trying to transmit a moving image over an IP network and play it in real time, , TCP is used rather than TCP. Moving image transmission using UDP is used when transmission of a new screen is prioritized over retransmission of correctly transmitting old image frames, even if an error occurs in received data.
In addition, there are the following published patent publications and non-patent literatures in the prior known documents.
[0007]
[Patent Document 1]
JP-A-8-305643 (file transfer system)
[Patent Document 2]
JP 2000-156706 A (Data transmission / reception method, medium storing data transmission program and medium storing data reception program)
[Patent Document 3]
JP 2001-195326 A (file transfer method)
[Non-patent document 1]
JPNIC Internet Week 99 Tutorial Lecture Notes, Tomoaki Sakurai, "Streaming Technology", [online], [Searched on February 17, 2003], Internet <http: // www. nic. ad. jp / ja / materials / iw / 1999 / notes / C15. PDF>
[0008]
[Problems to be solved by the invention]
While TCP performs congestion control according to the state of the network, UDP does not perform such control. Therefore, when real-time video transmission is performed using UDP in an IP network environment in which TCP and UDP coexist, when congestion occurs due to a decrease in line quality on the IP network, etc., traffic due to UDP causes another TCP connection to fail. Is not desirable from the viewpoint of fairness of network use.
[0009]
In the case where large-capacity moving image data such as digital cinema is transmitted and reproduced in real time using TCP over an IP network, if data is retransmitted many times on the way, one frame period is required within one frame period. A case is considered in which image data for a frame does not arrive at the receiving device side. Even when the data transmission method using the plurality of TCP connections is used, it is conceivable that retransmission occurs many times due to a decrease in line quality in a part of the connections. There is no problem when TCP is used for non-real-time data transmission such as file transfer by FTP (File Transfer Protocol) as in Patent Literature 1 and Patent Literature 2, but in consideration of real-time video information transmission, “ The delay due to the TCP mechanism such as "requesting data retransmission" becomes a problem.
[0010]
In some cases, moving image data is in the form of a file on a storage medium such as a DVD Video. However, a digital video signal from a video camera is directly placed on a transport stream without passing through a file format. It is also conceivable to transmit. In such a case, data cannot be divided by the file division / integration module as in the embodiment (system configuration) of FIG.
[0011]
When the number of TCP connections increases, the increase in the load on the device due to the monitoring of the number of retransmissions per connection as in Patent Document 2 may hinder real-time video information transmission.
[0012]
Further, when transmitting one frame of image frame data within one frame period using one or a plurality of TCP connections, if data is transmitted in bursts using a very small part of the frame period, an IP network As a result, the data rate instantaneously increases, and the probability of packet loss occurring in a switch or the like on the network increases. Therefore, data retransmission is likely to occur based on the TCP mechanism, and data transmission efficiency will not be improved.
[0013]
It is an object of the present invention to secure a required throughput, efficiently and stably transmit moving image data even when a round trip time (RTT, Round Trip Time) of a communication path is large, It is an object of the present invention to provide a moving image transmission system, a moving image transmitting device, a moving image relay device, a moving image receiving device, a program, and a recording medium for stably reproducing moving images.
[0014]
[Means for Solving the Problems]
The first means for achieving the above object is that the throughput per TCP connection between the transmitting device and the receiving device measured manually or automatically as in claims 1, 2, 3, and 4 of the present invention. A number (plural) of TCP connections are established between the transmitting device and the receiving device or between the transmitting device and the relay device according to the (effective speed) and the bit rate value averaged in the time direction of the moving image data to be transmitted. In order to efficiently transmit divided image frame data by using a TCP connection and to prepare for a situation in which one frame of image data does not arrive within one frame period due to a delay caused by a retransmission request by TCP, After the moving image data for n (plural) frames is stored in the buffer on the side, the reproduction of the moving image in real time is started with a delay of n frame periods.
[0015]
The second means is that, when the divided frame data is transmitted using a plurality of TCP connections as in claim 5 of the present invention, the data transmission timing between the plurality of TCP connections is shifted, and In this case, the overlapping of the data flows is reduced or the moving image frame data (for one frame) or the divided frame data to be transmitted is shaped so as to be dispersed within one frame period. That is.
[0016]
The third means is to monitor only the accumulation status of the buffer unit of the receiving device and to execute all TCP connections or all TCP connections only when the number of accumulated image frames is reduced as in claims 7, 8, and 9 of the present invention. That is, a TCP connection with reduced transmission efficiency is automatically specified, the connection is cut off, and a new TCP connection is generated instead.
[0017]
According to the first means, the number (plurality) of TCP connections corresponding to the average bit rate of moving image data for transmitting the throughput (effective speed) per TCP connection between the transmitting device and the receiving device is determined. By doing so, the problem of Long Fat Pipe can be solved and the throughput required for moving image data transmission can be secured. When one frame of image data does not arrive within one frame period, stable real-time reproduction of the moving image is maintained by using the moving image data accumulated in the buffer. Will be able to
[0018]
According to the second means described above, the total data rate of the plurality of TCP connections is averaged in the time direction, the data rate does not increase instantaneously on the communication path, and the packet loss is less likely to occur. It is possible to stably transmit moving image data required to be reproduced in real time.
[0019]
According to the third means described above, the monitoring load is reduced by monitoring only the accumulation status of the buffer unit of the receiving device, and the transmission of moving image data that requires more stable real-time reproduction can be performed. realizable.
[0020]
Also, a moving image transmitting apparatus according to the present invention includes a transmitting apparatus for transmitting moving image data required to be reproduced in real time by TCP / IP, and a receiving apparatus for receiving data transmitted from the transmitting apparatus. A moving image transmitting apparatus in a system, the number of divisions of unit image data for further dividing individual unit image data in units of moving image data for one frame or a plurality of frames, and the number of TCP connections Parameter determining means for determining based on the throughput per TCP connection and the average bit rate of moving image data; and dividing the individual unit image data by the number of divisions determined by the parameter determining means to obtain divided image data. Image data dividing means, and the parameter determining means And having a transmission means for transmitting the number TCP connections of TCP connections that are. Further, the parameter determining means determines the number of frames stored in the buffer in the receiving device based on a throughput per TCP connection and an average bit rate of moving image data.
[0021]
Also, a moving image relay device of the present invention includes a transmitting device for transmitting moving image data required to be reproduced in real time by TCP / IP, a receiving device for receiving data transmitted from the transmitting device, and a transmitting device. A moving image relay device in a moving image transmission system including a relay device for relaying the data between the receiving device and the receiving device, wherein the moving image data is divided into one unit image image unit or a plurality of frame units. Means for receiving individual unit image data with a single TCP connection from a transmitting device that transmits data over one TCP connection or a preceding relay device, and division of unit image data for further dividing the individual unit image data The number of connections and the number of TCP connections. Parameter determining means for determining based on the average bit rate of the image data; image data dividing means for dividing the individual unit image data into divided image data by the number of divisions determined by the parameter determining means; And transmitting means for transmitting by the number of TCP connections determined by the parameter determining means. Further, the parameter determining means determines the number of frames stored in the buffer in the receiving device based on a throughput per TCP connection and an average bit rate of moving image data. A moving image relay device that relays data from the moving image transmitting device or the moving image relay device, a receiving unit that receives the divided image data through a plurality of TCP connections, It is characterized in that it has divided image data integrating means for returning to unit image data, and transmitting means for transmitting the unit image data to a receiving device or a next relay device via one TCP connection.
[0022]
Further, the moving image receiving apparatus of the present invention is a moving image receiving apparatus that receives data from the moving image transmitting apparatus or the moving image relay apparatus, and a receiving unit that receives divided image data through a plurality of TCP connections; The image processing apparatus further includes a divided image data integrating unit that performs a process of returning the divided image data to the original unit image data, and a buffer unit that accumulates a plurality of frames of moving image data. Further, the number of frames stored in the buffer means is a number of frames determined based on a throughput per TCP connection and an average bit rate of moving image data.
Further, the program of the present invention is a program for the moving image transmitting device, the moving image relay device, and the moving image receiving device.
Further, a recording medium of the present invention is a computer-readable storage medium recording the program.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
[Example 1]
FIG. 1 shows the configuration of a system according to an embodiment of the present invention. In FIG. 1, a moving image transmission system 1 includes a transmission device 2 and a reception device 3. The transmitting device 2 includes a moving image data input IF (interface) 7, a frame detector 8, an image data division processing unit 9, a moving image data network output IF 10, a parameter collection unit 11, a parameter determination unit 12, the number of TCP connections and a window size. The control unit 13 is provided. Non-storage type moving image data is input to the moving image data input IF 7 of the transmission device 2 directly from the video camera 4 or via the encoder 5, and storage type moving image data is input from the storage medium 6. The receiving device 3 includes a moving image data network input IF 16, a divided image data integration processing unit 17, an image data storage unit 18, and a moving image data output IF 19. The transmitting device 2 and the receiving device 3 are connected by an IP network 14, and a TCP connection 15 is established between the moving image data network output IF 10 of the transmitting device 2 and the moving image data network input IF 16 of the receiving device 3. The moving image data output from the moving image data output IF 19 of the receiving device 3 is decoded by the decoder 20 as necessary, and is displayed by the projector 21.
[0024]
FIG. 2 shows the overall flow of the embodiment of the first aspect of the present invention. An embodiment of the present invention will be described with reference to the flow chart of FIG.
In the first process, the parameter collection unit 11 shown in FIG. 1 uses the round trip delay time of the communication path, information on the throughput (effective line speed) while the transmission / reception device is connected, and the average bit rate of the moving image data. Collect automatically. The processing in the parameter collection unit 11 includes, for example, automatically issuing a ping command and obtaining a round-trip delay time therefrom, and generating a TCP stream using a command such as netperf and obtaining a throughput per TCP stream therefrom. The average bit rate of moving image data can be obtained by flowing moving image data once over a network for a certain period of time and counting the number of packets during tcpdump or the like. These parameters may be obtained in advance by manual measurement or the like instead of automatic collection.
[0025]
In the second step, parameters such as the optimal number of image data divisions, the number of TCP connections, and the window size are determined by the parameter determination unit 12 in FIG. 1 based on the collected parameters. The parameters are determined in the parameter determination section 12 as follows.
[0026]
For example, when a window size of 64 [kB] or more, which is an extension of the TCP / IP protocol, can be handled, the window size is sequentially increased from 64 [kB], and the throughput S [Mbps] in one TCP connection at that time is set as a parameter. The collection unit 11 measures (actually measures) and determines the window size having the maximum value as the optimum window size W [kB]. On the other hand, when a window size of 64 [kB] or more cannot be handled, the window size is fixed to 64 [kB], and the throughput S is measured by the parameter collection unit 11. In both cases, the throughput S [Mbps] in the TCP 1 connection may be obtained from the above equation 1 based on the round trip delay time measured by the parameter collection unit 11 instead of measuring the throughput S. It is desirable to measure the throughput itself obtained by Expression 1 from the viewpoint that the measurement is actually performed.
[0027]
Then, assuming that the average bit rate of the moving image data is A [Mbps],
(Equation 2)
C = ROUNDUP (A / 0.9S) (Equation 2)
(ROUNDUP (A / 0.9S) is the number obtained by rounding up A / 0.9S below the decimal point, and the overhead of the TCP stream is assumed to be 10%, and the effective line speed is 0. 9S). The number of image divisions is equal to the number of TCP connections.
[0028]
The number n of accumulated frames on the receiving device 3 side is, for example, the number of frames f for one second (24 frames in the case of a movie) and the average bit rate A of moving image data. From the value divided by the product of number C
[Equation 3]
n = (1 + A / 0.9SC) f (Equation 3)
And instructs the receiving device 3 side.
The above is the processing A in FIG. 2 and is the preprocessing before the moving image data is actually transmitted.
[0029]
In the third step, the C TCP connections 15 determined by the parameter determination unit 12 are connected from the moving image data network output IF 10 on the transmitting device 2 side to the moving image data network input IF 16 on the receiving device 3 side.
[0030]
In the fourth step, the digital video signal itself from the video camera 4 or the like, the non-storage type moving image data coming in through the encoder 5 or the like, or a hard disk or DVD The storage type moving image data on the storage medium 6 is input.
[0031]
Then, the frame detector 8 detects data indicating a break in each frame included in the normal video signal / moving image data, and the image data is divided into C pieces by the image data division processing unit 9 for each frame in a fifth step. You. When a plurality of frames are handled in another unit such as a GOP (Group of Pictures) as in the case of MPEG, the frame may be detected and division processing may be performed using the unit as a unit.
[0032]
In the sixth step, the divided image data is transmitted from the moving image data network output IF 10 of the transmission device 2 to the IP network 14. The above steps mainly involve processing on the transmitting device 2 side, but from the eighth step mainly shift to processing on the receiving device 3 side. In the seventh step, the divided image data divided into C by the C TCP connections 15 is transmitted.
[0033]
In the eighth step, the divided image data is received from the IP network 14 by the moving image data network input IF 16 of the receiving device 3, and in the ninth step, the received divided image data is converted into the original image by the divided image data integration processing unit 17. When the data is integrated into one frame image data (unit image data) and stored in the data storage unit 18 of the receiving device 3 for n frames in the tenth process, and the data of the (n + 1) th frame is passed to the data storage unit 18 Then, the process proceeds to the eleventh step, and the data of the first frame is output from the moving image data output. If the input moving image data is encoded online or offline, the moving image data is displayed in real time by the projector 21 or the like while the decoder 20 decodes the data in real time.
When all the moving image data has been input and all the moving image data has been received, all the TCP connections 15 are disconnected and the processing is terminated.
[0034]
[Example 2]
FIG. 3 is a diagram showing a variation of the embodiment of the invention according to claims 1, 2, and 3. Form 1 of FIG. 3 is an example showing an embodiment of the present invention. The figure shows a configuration in which divided image data is transmitted from a transmitting device to a receiving device through four TCP connections, and is projected in real time by a projector. Form 2 of FIG. 3 is an example showing an embodiment of the second aspect of the present invention. In the figure, the unit image data is carried to the relay device by one TCP connection from the transmission device side, and the divided image data is transmitted between the relay device and the reception device using four TCP connections. The processes (1), (2), (3) and (5), (6) on the transmitting device side are performed by the relay device. Embodiment 3 of FIG. 3 is an example showing an embodiment of the third aspect of the present invention. The divided image data is conveyed to the relay device by four TCP connections from the transmitting device side, and the processes of steps (8) and (9) are performed by the relay device, and another TCP connection is separately formed between the relay device and the receiving device. Thus, the unit image data is transmitted to the receiving device. A TCP connection for transmitting unit image data by a transmitting device and a TCP connection for receiving unit image data by a receiving device as in Embodiment 4 of FIG. 3 by combining the relay devices according to the second and third embodiments of the present invention. May be one, and the divided image data may be transmitted by four TCP connections between the relay devices. However, when the unit image data is carried by one TCP connection, the delay time between the transmitting device and the relay device and between the relay device and the receiving device is sufficiently shorter than that when the divided image data is carried by four TCP connections. It is necessary to be able to carry unit image data at a speed fast enough to withstand real-time video playback over a TCP connection.
[0035]
[Example 3]
FIG. 4 is a diagram for explaining an embodiment of the present invention. FIG. 4A is a diagram showing an overview of a time-direction variation of a traffic amount between a transmitting device and a receiving device when frame image data (unit image data) is transmitted through one TCP connection. In one frame period, frame image data is transmitted in bursts using a part of the period. When the divided image data is simply transmitted using four TCP connections using the moving image transmission system according to the embodiment of the present invention, the traffic becomes as shown in FIG. Although the traffic amount of each TCP connection is small, when the total amount of traffic flowing on the network is obtained, it becomes the same as that of (a).
[0036]
FIG. 4C shows a traffic situation according to the embodiment of the fourth aspect of the present invention.
The invention according to claim 4 is implemented, and the timing of data transmission in the four TCP connections is shifted in such a manner as to be delayed from the top, so that the same one network is connected by the four TCP connections. When a data stream flows, fluctuations in the total traffic volume on the network are averaged over time due to a shift in the data transmission timing by each connection.
[0037]
FIG. 4D shows a traffic situation according to the embodiment of the present invention.
By implementing the invention of claim 5 and applying traffic shaping to each connection by a smoothing process, data transmission is further dispersed, and fluctuations in the total traffic volume on the network are further averaged over time. You.
[0038]
In the data stream as shown in FIGS. 4C and 4D, the temporal fluctuation of the total traffic amount is smaller than that in the case where the inventions of claims 4 and 5 are not implemented, and the rate of packet loss is reduced. Stable real-time moving image transmission can be realized.
[0039]
[Example 4]
FIG. 5 is a view for explaining an embodiment of the monitoring processing of the accumulation state of image data according to the invention of claim 6.
The number of frames of the stored image data decreases as the line quality decreases. In the example 1 shown in the drawing, when the number of frames of the accumulated image data becomes equal to or less than the specified number, arrival of the divided data by each TCP connection is confirmed. The specified number of frames is a frame number that is equal to or longer than the time that can be displayed in real time even if moving image data is temporarily interrupted during the following TCP connection replacement process. When confirming the arrival of divided data by each TCP connection, if there is no arrival of divided data in a certain TCP connection due to a decrease in throughput or the like, the connection is determined as a bad connection, the connection is disconnected once, and a new connection is established. Establish a new TCP connection. By doing so, the throughput can be returned to the same state as before the line quality was reduced without changing the number of TCP connections.
[0040]
If there is room for the number of TCP connections and sufficient throughput can be obtained even after disconnection of a bad connection, a new TCP connection is not established. To maintain.
[0041]
In the example 2 shown in the drawing, when the number of frames of the stored image data becomes equal to or smaller than a specified number, the RTT of each connection is checked, the number of retransmissions of each connection is checked, and it is determined whether or not they are within a specified value. A connection exceeding the specified value is determined as a defective connection, and once disconnected, a new connection is established if necessary, or the number of divisions of the unit image data is reviewed.
[0042]
Each of the devices can be created as a program that runs on a computer, and the program can be recorded on a computer-readable storage medium.
[0043]
As described above, the invention made by the inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and can be variously modified without departing from the gist of the invention. Of course.
[0044]
【The invention's effect】
As described above, according to the present invention, even when the round trip delay time (RTT, Round Trip Time) of the communication path is large, the required throughput is ensured, the moving image data is transmitted stably efficiently, and the real time A transmission system for stably reproducing a moving image on a computer can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a system configuration according to an embodiment of the present invention.
FIG. 2 is a diagram showing an overall processing flow of an embodiment of the present invention.
FIG. 3 is a diagram showing a variation of the system configuration according to the embodiment of the present invention.
FIG. 4 is a diagram showing a data flow according to the embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of an image data accumulation state monitoring process according to the embodiment of the present invention.
FIG. 6 is a diagram showing a flow of image file transmission according to the related art.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Moving image transmission system, 2 ... Transmission device, 3 ... Receiving device, 4 ... Video camera, 5 ... Encoder, 6 ... Storage media, 7 ... Moving image data input IF, 8 ... Frame detector, 9 ... Image data division Processing unit, 10: Moving image data network output IF, 11: Parameter collecting unit, 12: Parameter determining unit, 13: Number of TCP connections / window size control unit, 14: IP network, 15: TCP connection, 16: Moving image data Network input IF, 17: Divided image data integration processing unit, 18: Image data storage unit, 19: Moving image data output IF, 20: Decoder, 21: Projector

Claims

A moving image transmission system including a transmitting device that transmits moving image data required to be reproduced in real time by TCP / IP, and a receiving device that receives data transmitted from the transmitting device,
The transmission device is a transmission device that transmits divided image data obtained by further dividing individual unit image data by a plurality of TCP connections, using moving image data as a unit of one frame of image data or a plurality of frames,
The receiving apparatus is a receiving apparatus including a process of returning divided image data received through a plurality of TCP connections to original unit image data and a buffer unit that accumulates a plurality of frames of the moving image data,
A moving image transmission system, wherein the number of divisions of the unit image data and the number of TCP connections are determined based on a throughput per TCP connection and an average bit rate of moving image data.

A transmitting apparatus for transmitting moving image data required for real-time reproduction by TCP / IP, a receiving apparatus for receiving data transmitted from the transmitting apparatus, and a relay between the transmitting apparatus and the receiving apparatus for relaying the data A video transmission system including a relay device that performs
The transmission device is a transmission device that transmits individual unit image data by one TCP connection in units of one frame or a plurality of frames of moving image data.
The first-stage relay device or one of the relay devices closer to the transmitting device receives individual unit image data from the transmitting device or the preceding relay device through one TCP connection, and divides the received individual unit image data to divide it. A relay device that transmits the image data through a plurality of TCP connections,
The receiving apparatus is a receiving apparatus having a buffer unit for performing processing for returning divided image data received through a plurality of TCP connections to original unit image data and accumulating a plurality of frames of the moving image data. Wherein the number of divisions and the number of TCP connections are determined based on the throughput per TCP connection and the average bit rate of moving image data.

A transmitting device that transmits a moving image required to be reproduced in real time by TCP / IP, a receiving device that receives data transmitted from the transmitting device, and a relay device that is provided between the transmitting device and the receiving device and relays the data. A moving image transmission system including a relay device,
The transmission device is a transmission device that transmits divided image data obtained by further dividing individual unit image data by a plurality of TCP connections, using moving image data as a unit of one frame of image data or a plurality of frames,
One of the last-stage relay device or one of the relay devices closer to the receiving device receives the divided image data from the transmitting device or the preceding relay device by a plurality of TCP connections, and returns the received divided image data to the original unit image data. A relay device for transmitting the unit image data to a receiving device or a next relay device through one TCP connection,
The receiving device is a receiving device having a buffer unit that accumulates a plurality of frames of the moving image data received by one TCP connection, wherein the number of divisions of the unit image data and the number of TCP connections are determined per TCP connection. A moving image transmission system, which is determined based on a throughput and an average bit rate of moving image data.

4. The moving image transmission system according to claim 1, wherein the number of frames stored in the receiving device is determined based on a throughput per TCP connection and an average bit rate of moving image data.

2. The data transmission timing of each TCP connection is shifted at the time of transmission of individual divided image data by the plurality of TCP connections, so that overlapping of data flows between the TCP connections is reduced. 5. The moving image transmission system according to 2, 3, or 4.

When transmitting the divided image data by the plurality of TCP connections, or when transmitting the unit image data by one TCP connection, the data flow is smoothed in the time axis direction for each TCP connection to remove the burst property. The moving image transmission system according to claim 1, 2, 3, 4, or 5, wherein

The accumulation status of the buffer unit of the receiving device is monitored, and when the number of frames of moving image data accumulated in the buffer decreases, all TCP connections or a defective TCP connection with reduced transmission efficiency are automatically specified. 7. The moving image transmission system according to claim 1, wherein the connection is disconnected.

8. The moving picture transmission system according to claim 7, wherein when a required throughput cannot be secured due to disconnection of the defective TCP connection, a new substitute TCP connection is generated.

9. The moving image transmission system according to claim 7, wherein the number of divisions of the unit image data is changed as the number of TCP connections is decreased or increased due to disconnection of a defective TCP connection or establishment of a new TCP connection.

A moving image transmitting apparatus in a moving image transmission system including a transmitting apparatus that transmits moving image data required to be reproduced in real time by TCP / IP, and a receiving apparatus that receives data transmitted from the transmitting apparatus,
The number of divisions of unit image data and the number of TCP connections for further dividing individual unit image data in units of one frame or a plurality of frames of moving image data as image data are defined as the throughput per one TCP connection and the moving image. Parameter determining means for determining based on the average bit rate of the data,
Image data dividing means for dividing the individual unit image data by the number of divisions determined by the parameter determining means to obtain divided image data,
A transmitting unit that transmits the divided image data by the number of TCP connections determined by the parameter determining unit.

11. The moving image transmitting apparatus according to claim 10, wherein the parameter determining unit determines the number of frames to be stored in the buffer in the receiving apparatus based on a throughput per TCP connection and an average bit rate of moving image data.

A transmitting apparatus for transmitting moving image data required for real-time reproduction by TCP / IP, a receiving apparatus for receiving data transmitted from the transmitting apparatus, and a relay between the transmitting apparatus and the receiving apparatus for relaying the data A moving image relay device in a moving image transmission system including a relay device,
Each unit image data is received by a single TCP connection from a transmitting device or a preceding relay device that transmits each unit image data by one TCP connection in units of one frame or a plurality of frames of moving image data. Means to
Parameter determining means for determining the number of divisions of unit image data for further dividing the individual unit image data and the number of TCP connections based on the throughput per TCP connection and the average bit rate of moving image data;
Image data dividing means for dividing the individual unit image data by the number of divisions determined by the parameter determining means to obtain divided image data,
Transmitting means for transmitting the divided image data by TCP connections of the number of TCP connections determined by the parameter determining means.

13. The moving image relay device according to claim 12, wherein the parameter determining unit determines the number of frames stored in the buffer in the receiving device based on a throughput per TCP connection and an average bit rate of moving image data.

A moving image relay device for relaying data from the moving image transmitting device according to claim 10 or claim 11 or a moving image relay device according to claim 12 or 13,
Receiving means for receiving the divided image data through a plurality of TCP connections;
A divided image data integrating means for returning the received divided image data to the original unit image data;
Transmitting means for transmitting the unit image data to a receiving device or a next relay device through one TCP connection.

A moving image receiving apparatus for receiving data from the moving image transmitting apparatus according to claim 10 or 11 or the moving image relay apparatus according to claim 12 or 13,
Receiving means for receiving the divided image data through a plurality of TCP connections;
A divided image data integrating means for performing a process of returning the divided image data to the original unit image data,
A moving image receiving apparatus comprising: buffer means for accumulating a plurality of frames of moving image data.

16. The moving image receiving apparatus according to claim 15, wherein the number of frames stored in the buffer means is a number of frames determined based on a throughput per TCP connection and an average bit rate of moving image data.

A program for a moving image transmitting apparatus in a moving image transmission system including a transmitting apparatus for transmitting moving image data required to be reproduced in real time by TCP / IP and a receiving apparatus for receiving data transmitted from the transmitting apparatus. A program for causing a computer to function as each means according to claim 10 or 11.

A transmitting apparatus for transmitting moving image data required for real-time reproduction by TCP / IP, a receiving apparatus for receiving data transmitted from the transmitting apparatus, and a relay between the transmitting apparatus and the receiving apparatus for relaying the data 15. A program for a moving image relay device in a moving image transmission system including a relay device that performs a function of causing a computer to function as each unit according to claim 12, 13, or 14.

A program for a moving image transmitting apparatus according to claim 10 or 11 or a moving image receiving apparatus for receiving data from the moving image relay apparatus according to claim 12 or 13, wherein the computer is a computer program according to claim 15 or 16. A program to function as a means.

A computer-readable storage medium storing the program according to claim 17.