JP2011066612A - ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム - Google Patents

Abstract

【課題】ネットワークにかかる負荷を低減し、低遅延でストリーミング配信を行う。
【解決手段】サーバ装置とクライアント装置がネットワークにより接続しているストリーミング配信システムにあって、サーバ装置は、撮像データを記憶する記憶手段と、撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、配信動画データをクライアント装置に送信する送信手段と、を有し、配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、送信手段は、生成されたフレーム間予測を用いず符号化されるフレームを、フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前方予測フレームが生成されるまでの時間をかけて、クライアント装置に送信する。
【選択図】図７

Description

本発明は、ストリーミング配信を行うストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラムに関する。

インターネットなどのネットワークを介して音声や動画を配信する際に、配信されたデータファイル全体をダウンロードしてから再生を行う方法だけではなく、配信されたデータをダウンロードしつつ、同時に再生を行う方法も用いられている。このように、配信されたデータをダウンロードしつつ、同時に再生を行う方法は、ストリーミングと呼ばれている。

このストリーミングを使用することにより、テレビ電話の映像や監視カメラの映像などを、ネットワークを介してリアルタイムに配信することが可能になる。しかし、ストリーミングによりデータを配信する際、配信データが配信先で再生されるまでに様々な原因により遅延が生じる。リアルタイムでの配信の際は、この遅延をなるべく小さくしたい。

リアルタイム配信の際に生じる遅延の原因としては、例えば、図１に示すようなものが考えられる。まず、配信側の装置において、カメラなどにより得られたデータは符号化され、配信動画データが生成される。そして、受信側の装置において、配信動画データを復号化し、ディスプレイなどで表示する。この符号化、復号化による遅延は符号化遅延と呼ばれる。この動画データの再生を途切れることなく行うためには、通常、まず、配信側の装置において、ある程度の動画データをバッファに蓄積してから送信を行う必要がある。また、同様に、受信側の装置においても、通常、ある程度の動画データがバッファに蓄積してから復号化が行われる。この配信側の装置、受信側の装置におけるバッファへの蓄積による遅延はバッファ遅延と呼ばれる。さらに、ネットワークの混雑等によるネットワークによる遅延もある。このネットワークによる遅延は、ネットワーク遅延と呼ばれる。

このネットワーク遅延を低減するために、特許文献１には、予め、目標の送信レートを設けておき、この目標の送信レートと実際の送信レートを比較の結果に基づき、送信レートを調整し、実際の送信レートを目標の送信レートに近づける方法が開示されている。

特開２００３−１６３９１６号公報

しかしながら、特許文献１に開示された方法では、配信データの構造が考慮されていない。

通常、動画データをストリーミングにより配信される際、ネットワークにかかる負荷を低減するために、高い圧縮効率が得られるフレーム間予測符号化方式と呼ばれる方法により符号化された動画データが配信されている。

動画データは、複数の静止画のフレームにより構成することができる。しかし、すべてのフレームを静止画により構成すると動画のデータサイズが大きくなってしまう。また、動画を構成するフレームにおいて、通常、連続するフレーム間では変化が少ない。

そこで、フレーム間予測符号化方式では、図２に示すように、異なる時刻の静止画のフレームに基づき、この静止画のフレーム間の予測画像を生成し、静止画のフレーム間のフレームについては、この予測画像と予測に用いた静止画との差分を用いる。そして、この静止画と差分データを圧縮符号化し、配信する動画データを生成する。

予測画像が生成されるフレームには２種類ある。時間的に前方のフレームだけに基づき予測画像が生成されるフレームは、前方予測フレーム、または、Ｐフレーム（Predicted Frame）と呼ばれる。時間的に前後のフレームに基づき予測画像が生成されるフレームは、前後方予測フレーム、または、Ｂフレーム（Bi-directional Predicted Frame）と呼ばれる。Ｂフレームは、時間的に前方のフレームだけに基づき予測画像を生成することも、時間的に後方のフレームだけに基づき予測画像を生成することも選択できる。このとき、静止画をそのまま使用するフレーム、つまり、フレーム間予測を用いず符号化されるフレームは、Ｉフレーム（Intra Frame）と呼ばれる。

例えば、ＭＰＥＧ（Moving Picture Expert Group）では、配信動画データがＧＯＰ（Group of Pictures）単位で編集されており、配信データを受信した装置では、このＧＯＰ単位で再生が行われる。この１ＧＯＰに含まれるフレームの数は、１〜１８フレームであるが、典型的には１５フレームである。１ＧＯＰは、例えば、図３に示すように、１個のＩフレーム（Ｉ１）、５個のＰフレーム（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５）、９個のＢフレーム（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８、Ｂ９）により構成される。この１５フレームにより0.5秒分の動画データが構成される。つまり、ＭＰＥＧでは、通常、（0.5／15）秒に１つのフレームが使われる。

このようにフレーム間予測を使用し、符号化された配信動画データでは、Ｂフレームのデータを復号化するためには、時間的に後方のフレームのデータも参照しなくてはならない。例えば、図３に示したＭＰＥＧの例では、Ｂ１フレームのデータを復号化するためには、Ｉ１フレームのデータとＰ１フレームのデータが必要である。ストリーミングによる配信においては、受信側の装置に、Ｐ１フレームのデータが到着してからでないと、Ｂ１フレームのデータを復号化することができない。このため、途切れることなく再生を行えるようにストリーミング配信を行うためには、配信動画データの構造を考慮した上で、送信レートを調整しなくてはならない。

また、時間的に後方のフレームのデータを参照しなくては復号化できないフレームが存在することは、各フレームが符号化され生成される時間と各フレームが復号化されて再生可能になる時間との間に必ず遅延を生じさせる。リアルタイムにストリーミング配信する際には、各フレームの生成時間と再生時間との間の遅延をなるべく小さくする必要があり、配信動画データの構造を考慮することがより重要になってくる。

そこで本発明は、上記問題点に鑑みてなされたもので、ネットワークにかかる負荷を低減し、低遅延でストリーミング配信を行うストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明におけるストリーミング配信システムは、サーバ装置とクライアント装置がネットワークにより接続しているストリーミング配信システムにあって、前記サーバ装置は、撮像データを記憶する第１の記憶手段と、前記第１の記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、前記符号化手段により生成された前記配信動画データを前記クライアント装置に送信する送信手段と、を有し、前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とする。

また、本発明におけるサーバ装置は、撮像データを記憶する記憶手段と、前記記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、前記符号化手段により生成された前記配信動画データを接続されたクライアント装置に送信する送信手段と、を有し、前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とする。

また、本発明におけるストリーミング配信方法は、撮像データを記憶する第１の記憶ステップと、前記第１の記憶ステップにより記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化ステップと、前記符号化ステップにより生成された前記配信動画データを前記クライアント装置に送信する送信ステップと、を有し、前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信ステップは、前記符号化ステップにより生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とする。

また、本発明におけるプログラムは、前記サーバ装置を、前記サーバ装置を、撮像データを記憶する第１の記憶手段と、前記第１の記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、前記符号化手段により生成された前記配信動画データを前記クライアント装置に送信する送信手段として機能させ、前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームは、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信されることを特徴とする。

本発明により、ネットワークにかかる負荷を低減し、低遅延でストリーミング配信を行うことができる。

ストリーミングによるリアルタイム配信における遅延を説明する図である。 フレーム間予測符号化方法を説明する図である。 ＧＯＰ構造を示す図である。 本発明の実施形態に係るストリーミング配信システムの構成の一例を示す図である。 本発明の実施形態に係るストリーミング配信システムにおける処理動作の一例を示す図である。 本発明の実施形態に係るストリーミング配信システムにおける処理動作の一例を示す図である。 本発明の実施形態に係るストリーミング配信システムにおける処理動作の一例を示す図である。

次に、本発明を実施するための形態について図面を参照して詳細に説明する。

図４は、本発明の実施形態に係るストリーム配信システムの構成の一例を示す図である。ネットワークにより接続されたサーバ装置１００とクライアント装置２００により構成される。

サーバ装置１００は、符号化手段１０１と、記憶手段１０２と、送信手段１０３とを備えている。サーバ装置１００には、撮像装置３００が接続されている。撮像装置３００により取得され、デジタル化された撮像データは記憶手段１０２に記憶される。符号化手段１０１は、この記憶手段１０２に記憶された撮像データを取り出し、符号化し、配信動画データを生成する。この配信動画データは、送信手段１０３により、ネットワークを介し、クライアント装置２００に送信される。

クライアント装置２００は、復号化手段２０１と、記憶手段２０２と、受信手段２０３とを備えている。クライアント装置２００には、表示装置４００が接続されている。サーバ装置１００からネットワークを介して送信されてきた配信動画データを受信手段２０３により受信し、記憶手段２０２により記憶する。復号化手段２０１は、記憶手段２０２により記憶された配信動画データを復号化し、再生動画データを生成する。この再生動画データは表示装置４００に出力される。表示装置４００は再生手段を備えており、このクライアント装置２００から出力された再生動画データを再生する。

サーバ装置１００において、生成された配信動画データを、送信手段１０３により送信する前に、記憶手段１０２により一時的に記憶するようにしても良い。このとき、生成された配信動画データを一時記憶する記憶手段は、撮像データを記憶する記憶手段１０２でも良いし、別の記憶手段を用意しても良い。また、クライアント装置２００において、再生動画データを、表示装置４００に出力する前に、記憶手段２０２により一時的に記憶するようにしても良い。このとき、再生動画データを一時記憶する記憶手段は、受信した配信動画データを記憶する記憶手段２０２でも良いし、別の記憶手段を用意しても良い。

符号化手段１０１による符号化は、いろいろと考えられる。ここでは、フレーム間予測符号化方法を使った符号化を考える。このとき、生成される配信動画データは、Ｉフレーム、Ｐフレーム、Ｂフレームにより構成される。Ｉフレーム、Ｐフレーム、Ｂフレームの並び順としては、いろいろなものが考えられる。本発明では、１ＧＯＰはＩフレームで始まり、Ｐフレームで終わるものを考える。このようなＧＯＰの構造は、closed ＧＯＰ構造と呼ばれる。例えば、図３に示すように、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＰの順で並んだＧＯＰを考えても良い。このような構造にしておくと、Ｂフレームは、前後のＧＯＰを参照せずに、所属しているＧＯＰのフレームだけを参照することにより符号化、復号化を行うことが可能になる。このため、生成された配信動画データはカットなどの編集をしても画質の劣化が起きない。

図５は、ストリーミングによりリアルタイム配信が行われる際に、本発明の実施形態に係るストリーミング配信システムにおいて行われる処理動作の一例を示す図である。まず、撮像装置４００により取得されたデータをデジタル化し撮像データを生成する（Ｓ１０１）。サーバ装置１００は、撮像データを記憶手段１０２により記憶し、この記憶手段１０２により記憶された撮像データを符号化手段１０１によりＧＯＰ単位で符号化し、配信動画データを生成する（Ｓ１０２）。サーバ装置１００は、この配信動画データを、送信手段１０３により、ネットワークを介し、クライアント装置２００に送信し（Ｓ１０３）、クライアント装置２００は、この配信動画データを受信手段２０３により受信する（Ｓ１０４）。クライアント装置２００は、この受信した配信動画データを記憶手段２０２により記憶し、この記憶手段２０２により記憶された配信動画データを復号化手段２０１により復号化し、再生動画データを生成する（Ｓ１０５）。クライアント装置２００は、この生成された再生動画データを表示装置４００に出力し、表示装置４００は、この再生動画データを再生する（Ｓ１０６）。

図５のステップＳ１０２において、撮像データはＧＯＰ単位で符号化される。図６は、撮像データが１ＧＯＰ分符号化される際に、本発明の実施形態に係るストリーミング配信システムの符号化手段により行われる処理動作の一例を示す図である。ここで、1ＧＯＰは、例えば、図３の示す構成であるとする。まず、Ｉ１フレームの符号化を行う（Ｓ２０１）。Ｉ１フレームはこのフレームに対応する撮像データをそのまま符号化するため、他のフレームの情報を必要としない。このため、撮像装置３００により撮像されたデータは撮像後すぐに符号化することが可能である。例えば、図７には、撮像データが符号化され、配信動画データが生成される様子を示している。図７では、Ｉフレームの符号化が、符号化する時間は考慮されていないが、実際は、符号化には時間がかかる。しかし、この符号化にかかる時間は、１フレーム分の時間の半分、つまり、0.5／30秒よりは短い。つまり、１フレーム分の時間で、２フレーム分の撮像データを符号化することが可能になる。図７では、簡単化のために、符号化にかかる時間、つまり、符号化遅延はゼロ秒であるとしている。

Ｂ１フレーム、Ｂ２フレームは、時間的に前方後方両方のフレームを参照し、予測を行った予測画像を使用し、符号化されるので、Ｐ１フレームの撮像が終わるまで符号することができない。一方、Ｐ１フレームは時間的に前方のフレームだけを参照し、予測画像を生成することができる。このため、Ｐ１フレームの撮像データが取得された後に、Ｂ１フレーム、Ｂ２フレーム、Ｐ１フレームが符号化される（Ｓ２０２）。Ｂ１フレーム、Ｂ２フレーム、Ｐ１フレームの符号化される順番は、どの順番でも良い。復号化する際も、同様に、Ｂ１フレームはＰ１フレームの情報が必要であるため、例えば、図７の示すように、Ｐ１フレームが符号化された後に、Ｂ１フレーム、Ｂ２フレームが符号化すると良い。

同様に、Ｂ３フレーム、Ｂ４フレームは、Ｐ２フレームが撮像されてからでないと符号化できないため、Ｐ２フレームの撮像データが取得された後に、Ｂ３フレーム、Ｂ４フレーム、Ｐ２フレームが符号化される（Ｓ２０３）。次に、同様に、Ｐ３フレームの撮像データが取得された後に、Ｂ５フレーム、Ｂ６フレーム、Ｐ３フレームが符号化される（Ｓ２０４）。そして、同様に、Ｐ４フレームの撮像データが取得された後に、Ｂ７フレーム、Ｂ８フレーム、Ｐ４フレームが符号化される（Ｓ２０５）。そして、最後に、Ｐ５フレームの撮像データが取得された後に、Ｂ９フレームとＰ５フレームが符号化されて（Ｓ２０６）、１ＧＯＰ分の符号化が終了する。各ＧＯＰにおいて、このような処理動作により、符号化が行われる。

次に、図５のステップＳ１０３の送信の際に、サーバ装置１００の送信手段１０３により行われている処理動作を、図７を参照しながら説明する。図７では、簡単のために、符号化遅延はゼロであるとしている。以下の議論の結果は、符号化遅延を考慮した際には、符号化遅延の時間分遅延する。

まず、Ｉ１フレームの撮像が終わり、Ｉフレームの撮像データが符号化され、Ｉ１フレームの配信動画データが生成された後、つまり、撮影開始から１フレーム後に、Ｉ１フレームの配信動画データは送信することが可能になる。このため、Ｉ１フレームの配信動画データの送信方法としてはいろいろと考えられるが、例えば、１フレーム分の時間に一定のレートでＩ１フレームを送信することも可能である。しかし、例えば、図７に示すように、Ｉ１フレームの配信動画データが生成された後、Ｐ１フレームの配信動画データが生成されるまでは、Ｉ１フレームのデータ以外に送信するデータがない。つまり、図７に示した例では、Ｉ１フレームのデータを１フレームで送信してしまうと、２フレーム分は送信するデータがないことになる。また、通常、撮像データをそのまま符合化しただけであるＩフレームのデータは、差分データを符号化したデータであるＰフレームのデータ、Ｂフレームのデータよりもサイズが大きい。図７では、例えば、Ｉフレーム、Ｐフレーム、Ｂフレームそれぞれの配信動画データのサイズが６：１：１であるとしてあり、矩形のサイズがそれぞれのフレームのデータのサイズに対応している。

そこで、本発明では、Ｉ１フレームのデータを、次のＰ１フレームのデータが送信できるまでの時間を使い、ゆっくりと送信することにする。例えば、図７では、Ｉ１フレームは３フレーム分の時間、0.1秒を使い、送信されている。

このようにすることにより、サイズの大きいＩ１フレームのデータを1フレーム分の時間で送信するよりも、単位時間あたりに送信するデータ量を小さくすることができ、ネットワークにかかる負荷を低減できることになる。

図７に示すように、３フレームを使い、送信されたＩ１フレームは、クライアント装置２００において、受信した後すぐに復号化を行うことができる。復号化も符号化同様に、実際は時間がかかるが、図７では、簡単化のため、復号化にかかる時間はゼロ秒であるとしてある。復号化にかかる時間をゼロ秒とすると、Ｉ１フレームは受信された後すぐに、再生することができる。つまり、簡単化のために、ネットワークの混雑等による遅延と、符号化、復号化による遅延をゼロ秒であるとしたときは、Ｉ１フレームは、撮像開始から４フレーム遅れて再生が行われることが可能であることがわかる。

配信動画データが、図３に示したようなＧＯＰ構成をしている際、クライアント装置２００は、Ｐ１フレームを受信しない限り、Ｂ１フレームを復号化できず、Ｂ１フレームを再生できない。Ｐ１フレーム、Ｂ１フレームの送受信がゼロ秒で行え、Ｐ１フレーム、Ｂ１フレームの符号化、復号化もゼロ秒で行えるとすると、Ｂ１フレームの再生は、Ｐ１フレームの撮像データが取得できた時間、つまり、Ｉ１フレームを撮像し始めから３フレーム後に再生できることになる。このように、送受信等の時間を考慮しなくても、図３に示したようなＧＯＰ構成をしている場合、撮像データの撮像開始時刻から再生を行うには、最低３フレームの時間は絶対に必要なことになる。

Ｉ１フレームを１フレーム以上の時間を使い送信するときは、撮像データの撮像開始時刻から再生を行うには、４フレーム以上の時間は絶対に必要なことになる。つまり、符号化、復号化にかかる時間をゼロ秒であるとすると、４フレーム後からの再生が最短である。よって、図７に示すように、Ｉ１フレームを送信するのに、１フレームをかけても、３フレームをかけても、ＧＯＰ構造による遅延とフレームに送受信による遅延とを合わせた遅延は、４フレームと変わらない。ここで、ＧＯＰ構造による遅延は、図１に示したバッファ遅延の一部であり、送受信による遅延はネットワーク遅延の一部である。

Ｉ１フレームを４フレーム遅れで再生し始めたとすると、Ｂ１フレームは５フレーム遅れで再生を開始できなくてはいけない。これを行うには、Ｐ１フレームとＢ１フレームの両方をＩ１フレームの再生時間以下で、つまり、1フレーム以下の時間で送信しなくてはならない。例えば、図７では、Ｐ１フレームとＢ１フレームをそれぞれ１／２フレームかけて送信している。このようにすることにより、Ｂ１フレームを５フレーム遅れで再生を行うことができるようになる。つまり、ストリーミングによるリアルタイム配信を４フレーム遅れ、つまり、2／15秒遅れで再生できるようになる。図７では、符号化、復号化による遅延時間や、ネットワークによる遅延時間、撮像データを生成することによる遅延時間などを考慮していないが、考慮したときは、これらにすべての遅延時間を2／15秒を足した時間だけ遅れて再生が可能になる。

同様に、２ＧＯＰ目の配信動画データにおいても、符号化時間を考慮しなければ、図７に示すように、Ｉ２フレームは、撮像が終了したらすぐに送信を開始し、Ｐ６フレームの撮像が終わるまでに送信を終えるようにすれば良い。図７に示すように、図３に示したＧＯＰ構造であれば、１ＧＯＰ目同様に、Ｉ２フレームは、３フレーム分の時間を使い送信を行っても、Ｉ２フレームの再生時間に間に合うように送信が行える。

よって、上述したように、Ｉ１フレームを送信し、Ｐ１フレーム、Ｂ１フレームを送信するようにすることにより、ネットワークにかかる負荷を低減しつつ、低遅延でのストリーミング配信を行うことが可能になる。

図７に示した例では、Ｉ１フレームとＰ１フレームの間にＢフレームは２個であるが、いくつであっても良い。Ｉ１フレームとＰ１フレームの間にＮ個のＢフレームがあるときは、Ｉ１フレームは、（Ｎ＋２）フレーム分の時間を使い送信すれば良い。このようにすることにより、ＧＯＰ構造による遅延と送受信による遅延を最小にしつつ、ネットワークにかかる負荷を低減でき、結果として、ネットワークによる遅延を低減することが可能になる。

また、図７に示すように、Ｉフレーム、Ｐフレーム、Ｂフレームそれぞれの配信動画データのサイズが６：１：１であれば、送信レートは平滑化される。この平滑化もネットワークにかかる負荷を低減する効果があり、結果として、ネットワークによる遅延を低減することになる。

例えば、上述した実施形態における処理動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。

なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムが格納されているＲＯＭ（Read Only Memory）から、専用のハードウェアに組み込まれているコンピュータ内のメモリ（ＲＡＭ）にプログラムを読み込んで実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。

また、本発明におけるストリーミング配信システムは、表示装置も接続されており、前記クライアント装置は、前記送信手段により送信された前記配信動画データを受信する受信手段と、前記受信手段により受信された前記配信動画データを記憶する第２の記憶手段と、前記第２の記憶手段により記憶された前記配信動画データを復号化する復号化手段と、を有し、前記復号化手段により復号化された前記配信動画データを前記表示装置に出力し、前記表示装置は、前記クライアント装置により出力された前記配信動画データを再生する再生手段を有し、前記送信手段は、前記フレーム間予測を用いず符号化されるフレームが前記復号化手段により復号化されて前記再生手段による再生が行われたときに、当該フレーム間予測を用いず符号化されるフレームの前記再生手段による再生が終わるまでに、当該フレーム間予測を用いず符号化されるフレームの次のフレームである前記前後方予測フレームと、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームを前記復号化手段により復号化することができるように、当該前後方予測フレームと当該前方予測フレームを送信するようにしても良い。

また、本発明におけるストリーミング配信システムは、前記復号化手段は、前記受信手段により前記フレーム間予測を用いず符号化されるフレームが受信されたらすぐに当該フレーム間予測を用いず符号化されるフレームを復号化し、前記クライアント装置は、前記復号化手段により前記フレーム間予測を用いず符号化されるフレームが復号化されたらすぐに当該フレーム間予測を用いず符号化されるフレームを前記表示装置に出力し、前記表示装置は、前記クライアント装置から出力された前記フレーム間予測を用いず符号化されるフレームを受け取ったらすぐに当該フレーム間予測を用いず符号化されるフレームを再生するようにしても良い。

また、本発明におけるストリーミング配信システムは、前記配信動画データは、ＧＯＰ単位で生成されており、１ＧＯＰはフレーム間予測を用いず符号化されるフレームで始まり、前方予測フレームで終わるようにしても良い。

１００ サーバ装置
１０１ 符号化手段
１０２ 記憶手段
１０３ 送信手段
２００ クライアント装置
２０１ 復号化手段
２０２ 記憶手段
２０３ 受信手段
３００ 撮像装置
４００ 表示装置

Claims (7)

1. サーバ装置とクライアント装置がネットワークにより接続しているストリーミング配信システムにあって、
   前記サーバ装置は、撮像データを記憶する第１の記憶手段と、
   前記第１の記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、
   前記符号化手段により生成された前記配信動画データを前記クライアント装置に送信する送信手段と、を有し、
   前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
   前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とするストリーミング配信システム。
2. 表示装置も接続されており、
   前記クライアント装置は、前記送信手段により送信された前記配信動画データを受信する受信手段と、
   前記受信手段により受信された前記配信動画データを記憶する第２の記憶手段と、
   前記第２の記憶手段により記憶された前記配信動画データを復号化する復号化手段と、を有し、
   前記復号化手段により復号化された前記配信動画データを前記表示装置に出力し、
   前記表示装置は、前記クライアント装置により出力された前記配信動画データを再生する再生手段を有し、
   前記送信手段は、前記フレーム間予測を用いず符号化されるフレームが前記復号化手段により復号化されて前記再生手段による再生が行われたときに、当該フレーム間予測を用いず符号化されるフレームの前記再生手段による再生が終わるまでに、当該フレーム間予測を用いず符号化されるフレームの次のフレームである前記前後方予測フレームと、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームを前記復号化手段により復号化することができるように、当該前後方予測フレームと当該前方予測フレームを送信することを特徴とする請求項１に記載のストリーミング配信システム。
3. 前記復号化手段は、前記受信手段により前記フレーム間予測を用いず符号化されるフレームが受信されたらすぐに当該フレーム間予測を用いず符号化されるフレームを復号化し、
   前記クライアント装置は、前記復号化手段により前記フレーム間予測を用いず符号化されるフレームが復号化されたらすぐに当該フレーム間予測を用いず符号化されるフレームを前記表示装置に出力し、
   前記表示装置は、前記クライアント装置から出力された前記フレーム間予測を用いず符号化されるフレームを受け取ったらすぐに当該フレーム間予測を用いず符号化されるフレームを再生することを特徴とする請求項１または２に記載のストリーミング配信システム。
4. 前記配信動画データは、ＧＯＰ単位で生成されており、１ＧＯＰはフレーム間予測を用いず符号化されるフレームで始まり、前方予測フレームで終わることを特徴とする請求項１から３のいずれか１項に記載のストリーミング配信システム。
5. 撮像データを記憶する記憶手段と、
   前記記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、
   前記符号化手段により生成された前記配信動画データを接続されたクライアント装置に送信する送信手段と、を有し、
   前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
   前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とするサーバ装置。
6. 撮像データを記憶する第１の記憶ステップと、
   前記第１の記憶ステップにより記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化ステップと、
   前記符号化ステップにより生成された前記配信動画データを前記クライアント装置に送信する送信ステップと、を有し、
   前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
   前記送信ステップは、前記符号化ステップにより生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とするストリーミング配信方法。
7. 前記サーバ装置を、
   撮像データを記憶する第１の記憶手段と、
   前記第１の記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、
   前記符号化手段により生成された前記配信動画データを前記クライアント装置に送信する送信手段として機能させ、
   前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
   前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームは、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信されることを特徴とするプログラム。

Images