JP2011066612A - ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム - Google Patents

ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム Download PDF

Info

Publication number
JP2011066612A
JP2011066612A JP2009214541A JP2009214541A JP2011066612A JP 2011066612 A JP2011066612 A JP 2011066612A JP 2009214541 A JP2009214541 A JP 2009214541A JP 2009214541 A JP2009214541 A JP 2009214541A JP 2011066612 A JP2011066612 A JP 2011066612A
Authority
JP
Japan
Prior art keywords
frame
prediction
inter
encoded
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009214541A
Other languages
English (en)
Other versions
JP5359724B2 (ja
Inventor
Masao Shimada
昌生 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Embedded Products Ltd
Original Assignee
NEC Embedded Products Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Embedded Products Ltd filed Critical NEC Embedded Products Ltd
Priority to JP2009214541A priority Critical patent/JP5359724B2/ja
Publication of JP2011066612A publication Critical patent/JP2011066612A/ja
Application granted granted Critical
Publication of JP5359724B2 publication Critical patent/JP5359724B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ネットワークにかかる負荷を低減し、低遅延でストリーミング配信を行う。
【解決手段】サーバ装置とクライアント装置がネットワークにより接続しているストリーミング配信システムにあって、サーバ装置は、撮像データを記憶する記憶手段と、撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、配信動画データをクライアント装置に送信する送信手段と、を有し、配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの3種類のフレームにより構成されており、送信手段は、生成されたフレーム間予測を用いず符号化されるフレームを、フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前方予測フレームが生成されるまでの時間をかけて、クライアント装置に送信する。
【選択図】図7

Description

本発明は、ストリーミング配信を行うストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラムに関する。
インターネットなどのネットワークを介して音声や動画を配信する際に、配信されたデータファイル全体をダウンロードしてから再生を行う方法だけではなく、配信されたデータをダウンロードしつつ、同時に再生を行う方法も用いられている。このように、配信されたデータをダウンロードしつつ、同時に再生を行う方法は、ストリーミングと呼ばれている。
このストリーミングを使用することにより、テレビ電話の映像や監視カメラの映像などを、ネットワークを介してリアルタイムに配信することが可能になる。しかし、ストリーミングによりデータを配信する際、配信データが配信先で再生されるまでに様々な原因により遅延が生じる。リアルタイムでの配信の際は、この遅延をなるべく小さくしたい。
リアルタイム配信の際に生じる遅延の原因としては、例えば、図1に示すようなものが考えられる。まず、配信側の装置において、カメラなどにより得られたデータは符号化され、配信動画データが生成される。そして、受信側の装置において、配信動画データを復号化し、ディスプレイなどで表示する。この符号化、復号化による遅延は符号化遅延と呼ばれる。この動画データの再生を途切れることなく行うためには、通常、まず、配信側の装置において、ある程度の動画データをバッファに蓄積してから送信を行う必要がある。また、同様に、受信側の装置においても、通常、ある程度の動画データがバッファに蓄積してから復号化が行われる。この配信側の装置、受信側の装置におけるバッファへの蓄積による遅延はバッファ遅延と呼ばれる。さらに、ネットワークの混雑等によるネットワークによる遅延もある。このネットワークによる遅延は、ネットワーク遅延と呼ばれる。
このネットワーク遅延を低減するために、特許文献1には、予め、目標の送信レートを設けておき、この目標の送信レートと実際の送信レートを比較の結果に基づき、送信レートを調整し、実際の送信レートを目標の送信レートに近づける方法が開示されている。
特開2003−163916号公報
しかしながら、特許文献1に開示された方法では、配信データの構造が考慮されていない。
通常、動画データをストリーミングにより配信される際、ネットワークにかかる負荷を低減するために、高い圧縮効率が得られるフレーム間予測符号化方式と呼ばれる方法により符号化された動画データが配信されている。
動画データは、複数の静止画のフレームにより構成することができる。しかし、すべてのフレームを静止画により構成すると動画のデータサイズが大きくなってしまう。また、動画を構成するフレームにおいて、通常、連続するフレーム間では変化が少ない。
そこで、フレーム間予測符号化方式では、図2に示すように、異なる時刻の静止画のフレームに基づき、この静止画のフレーム間の予測画像を生成し、静止画のフレーム間のフレームについては、この予測画像と予測に用いた静止画との差分を用いる。そして、この静止画と差分データを圧縮符号化し、配信する動画データを生成する。
予測画像が生成されるフレームには2種類ある。時間的に前方のフレームだけに基づき予測画像が生成されるフレームは、前方予測フレーム、または、Pフレーム(Predicted Frame)と呼ばれる。時間的に前後のフレームに基づき予測画像が生成されるフレームは、前後方予測フレーム、または、Bフレーム(Bi-directional Predicted Frame)と呼ばれる。Bフレームは、時間的に前方のフレームだけに基づき予測画像を生成することも、時間的に後方のフレームだけに基づき予測画像を生成することも選択できる。このとき、静止画をそのまま使用するフレーム、つまり、フレーム間予測を用いず符号化されるフレームは、Iフレーム(Intra Frame)と呼ばれる。
例えば、MPEG(Moving Picture Expert Group)では、配信動画データがGOP(Group of Pictures)単位で編集されており、配信データを受信した装置では、このGOP単位で再生が行われる。この1GOPに含まれるフレームの数は、1〜18フレームであるが、典型的には15フレームである。1GOPは、例えば、図3に示すように、1個のIフレーム(I1)、5個のPフレーム(P1、P2、P3、P4、P5)、9個のBフレーム(B1、B2、B3、B4、B5、B6、B7、B8、B9)により構成される。この15フレームにより0.5秒分の動画データが構成される。つまり、MPEGでは、通常、(0.5/15)秒に1つのフレームが使われる。
このようにフレーム間予測を使用し、符号化された配信動画データでは、Bフレームのデータを復号化するためには、時間的に後方のフレームのデータも参照しなくてはならない。例えば、図3に示したMPEGの例では、B1フレームのデータを復号化するためには、I1フレームのデータとP1フレームのデータが必要である。ストリーミングによる配信においては、受信側の装置に、P1フレームのデータが到着してからでないと、B1フレームのデータを復号化することができない。このため、途切れることなく再生を行えるようにストリーミング配信を行うためには、配信動画データの構造を考慮した上で、送信レートを調整しなくてはならない。
また、時間的に後方のフレームのデータを参照しなくては復号化できないフレームが存在することは、各フレームが符号化され生成される時間と各フレームが復号化されて再生可能になる時間との間に必ず遅延を生じさせる。リアルタイムにストリーミング配信する際には、各フレームの生成時間と再生時間との間の遅延をなるべく小さくする必要があり、配信動画データの構造を考慮することがより重要になってくる。
そこで本発明は、上記問題点に鑑みてなされたもので、ネットワークにかかる負荷を低減し、低遅延でストリーミング配信を行うストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラムを提供することを目的とする。
上記課題を解決するため、本発明におけるストリーミング配信システムは、サーバ装置とクライアント装置がネットワークにより接続しているストリーミング配信システムにあって、前記サーバ装置は、撮像データを記憶する第1の記憶手段と、前記第1の記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、前記符号化手段により生成された前記配信動画データを前記クライアント装置に送信する送信手段と、を有し、前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの3種類のフレームにより構成されており、前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とする。
また、本発明におけるサーバ装置は、撮像データを記憶する記憶手段と、前記記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、前記符号化手段により生成された前記配信動画データを接続されたクライアント装置に送信する送信手段と、を有し、前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの3種類のフレームにより構成されており、前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とする。
また、本発明におけるストリーミング配信方法は、撮像データを記憶する第1の記憶ステップと、前記第1の記憶ステップにより記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化ステップと、前記符号化ステップにより生成された前記配信動画データを前記クライアント装置に送信する送信ステップと、を有し、前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの3種類のフレームにより構成されており、前記送信ステップは、前記符号化ステップにより生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とする。
また、本発明におけるプログラムは、前記サーバ装置を、前記サーバ装置を、撮像データを記憶する第1の記憶手段と、前記第1の記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、前記符号化手段により生成された前記配信動画データを前記クライアント装置に送信する送信手段として機能させ、前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの3種類のフレームにより構成されており、前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームは、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信されることを特徴とする。
本発明により、ネットワークにかかる負荷を低減し、低遅延でストリーミング配信を行うことができる。
ストリーミングによるリアルタイム配信における遅延を説明する図である。 フレーム間予測符号化方法を説明する図である。 GOP構造を示す図である。 本発明の実施形態に係るストリーミング配信システムの構成の一例を示す図である。 本発明の実施形態に係るストリーミング配信システムにおける処理動作の一例を示す図である。 本発明の実施形態に係るストリーミング配信システムにおける処理動作の一例を示す図である。 本発明の実施形態に係るストリーミング配信システムにおける処理動作の一例を示す図である。
次に、本発明を実施するための形態について図面を参照して詳細に説明する。
図4は、本発明の実施形態に係るストリーム配信システムの構成の一例を示す図である。ネットワークにより接続されたサーバ装置100とクライアント装置200により構成される。
サーバ装置100は、符号化手段101と、記憶手段102と、送信手段103とを備えている。サーバ装置100には、撮像装置300が接続されている。撮像装置300により取得され、デジタル化された撮像データは記憶手段102に記憶される。符号化手段101は、この記憶手段102に記憶された撮像データを取り出し、符号化し、配信動画データを生成する。この配信動画データは、送信手段103により、ネットワークを介し、クライアント装置200に送信される。
クライアント装置200は、復号化手段201と、記憶手段202と、受信手段203とを備えている。クライアント装置200には、表示装置400が接続されている。サーバ装置100からネットワークを介して送信されてきた配信動画データを受信手段203により受信し、記憶手段202により記憶する。復号化手段201は、記憶手段202により記憶された配信動画データを復号化し、再生動画データを生成する。この再生動画データは表示装置400に出力される。表示装置400は再生手段を備えており、このクライアント装置200から出力された再生動画データを再生する。
サーバ装置100において、生成された配信動画データを、送信手段103により送信する前に、記憶手段102により一時的に記憶するようにしても良い。このとき、生成された配信動画データを一時記憶する記憶手段は、撮像データを記憶する記憶手段102でも良いし、別の記憶手段を用意しても良い。また、クライアント装置200において、再生動画データを、表示装置400に出力する前に、記憶手段202により一時的に記憶するようにしても良い。このとき、再生動画データを一時記憶する記憶手段は、受信した配信動画データを記憶する記憶手段202でも良いし、別の記憶手段を用意しても良い。
符号化手段101による符号化は、いろいろと考えられる。ここでは、フレーム間予測符号化方法を使った符号化を考える。このとき、生成される配信動画データは、Iフレーム、Pフレーム、Bフレームにより構成される。Iフレーム、Pフレーム、Bフレームの並び順としては、いろいろなものが考えられる。本発明では、1GOPはIフレームで始まり、Pフレームで終わるものを考える。このようなGOPの構造は、closed GOP構造と呼ばれる。例えば、図3に示すように、IBBPBBPBBPBBPBPの順で並んだGOPを考えても良い。このような構造にしておくと、Bフレームは、前後のGOPを参照せずに、所属しているGOPのフレームだけを参照することにより符号化、復号化を行うことが可能になる。このため、生成された配信動画データはカットなどの編集をしても画質の劣化が起きない。
図5は、ストリーミングによりリアルタイム配信が行われる際に、本発明の実施形態に係るストリーミング配信システムにおいて行われる処理動作の一例を示す図である。まず、撮像装置400により取得されたデータをデジタル化し撮像データを生成する(S101)。サーバ装置100は、撮像データを記憶手段102により記憶し、この記憶手段102により記憶された撮像データを符号化手段101によりGOP単位で符号化し、配信動画データを生成する(S102)。サーバ装置100は、この配信動画データを、送信手段103により、ネットワークを介し、クライアント装置200に送信し(S103)、クライアント装置200は、この配信動画データを受信手段203により受信する(S104)。クライアント装置200は、この受信した配信動画データを記憶手段202により記憶し、この記憶手段202により記憶された配信動画データを復号化手段201により復号化し、再生動画データを生成する(S105)。クライアント装置200は、この生成された再生動画データを表示装置400に出力し、表示装置400は、この再生動画データを再生する(S106)。
図5のステップS102において、撮像データはGOP単位で符号化される。図6は、撮像データが1GOP分符号化される際に、本発明の実施形態に係るストリーミング配信システムの符号化手段により行われる処理動作の一例を示す図である。ここで、1GOPは、例えば、図3の示す構成であるとする。まず、I1フレームの符号化を行う(S201)。I1フレームはこのフレームに対応する撮像データをそのまま符号化するため、他のフレームの情報を必要としない。このため、撮像装置300により撮像されたデータは撮像後すぐに符号化することが可能である。例えば、図7には、撮像データが符号化され、配信動画データが生成される様子を示している。図7では、Iフレームの符号化が、符号化する時間は考慮されていないが、実際は、符号化には時間がかかる。しかし、この符号化にかかる時間は、1フレーム分の時間の半分、つまり、0.5/30秒よりは短い。つまり、1フレーム分の時間で、2フレーム分の撮像データを符号化することが可能になる。図7では、簡単化のために、符号化にかかる時間、つまり、符号化遅延はゼロ秒であるとしている。
B1フレーム、B2フレームは、時間的に前方後方両方のフレームを参照し、予測を行った予測画像を使用し、符号化されるので、P1フレームの撮像が終わるまで符号することができない。一方、P1フレームは時間的に前方のフレームだけを参照し、予測画像を生成することができる。このため、P1フレームの撮像データが取得された後に、B1フレーム、B2フレーム、P1フレームが符号化される(S202)。B1フレーム、B2フレーム、P1フレームの符号化される順番は、どの順番でも良い。復号化する際も、同様に、B1フレームはP1フレームの情報が必要であるため、例えば、図7の示すように、P1フレームが符号化された後に、B1フレーム、B2フレームが符号化すると良い。
同様に、B3フレーム、B4フレームは、P2フレームが撮像されてからでないと符号化できないため、P2フレームの撮像データが取得された後に、B3フレーム、B4フレーム、P2フレームが符号化される(S203)。次に、同様に、P3フレームの撮像データが取得された後に、B5フレーム、B6フレーム、P3フレームが符号化される(S204)。そして、同様に、P4フレームの撮像データが取得された後に、B7フレーム、B8フレーム、P4フレームが符号化される(S205)。そして、最後に、P5フレームの撮像データが取得された後に、B9フレームとP5フレームが符号化されて(S206)、1GOP分の符号化が終了する。各GOPにおいて、このような処理動作により、符号化が行われる。
次に、図5のステップS103の送信の際に、サーバ装置100の送信手段103により行われている処理動作を、図7を参照しながら説明する。図7では、簡単のために、符号化遅延はゼロであるとしている。以下の議論の結果は、符号化遅延を考慮した際には、符号化遅延の時間分遅延する。
まず、I1フレームの撮像が終わり、Iフレームの撮像データが符号化され、I1フレームの配信動画データが生成された後、つまり、撮影開始から1フレーム後に、I1フレームの配信動画データは送信することが可能になる。このため、I1フレームの配信動画データの送信方法としてはいろいろと考えられるが、例えば、1フレーム分の時間に一定のレートでI1フレームを送信することも可能である。しかし、例えば、図7に示すように、I1フレームの配信動画データが生成された後、P1フレームの配信動画データが生成されるまでは、I1フレームのデータ以外に送信するデータがない。つまり、図7に示した例では、I1フレームのデータを1フレームで送信してしまうと、2フレーム分は送信するデータがないことになる。また、通常、撮像データをそのまま符合化しただけであるIフレームのデータは、差分データを符号化したデータであるPフレームのデータ、Bフレームのデータよりもサイズが大きい。図7では、例えば、Iフレーム、Pフレーム、Bフレームそれぞれの配信動画データのサイズが6:1:1であるとしてあり、矩形のサイズがそれぞれのフレームのデータのサイズに対応している。
そこで、本発明では、I1フレームのデータを、次のP1フレームのデータが送信できるまでの時間を使い、ゆっくりと送信することにする。例えば、図7では、I1フレームは3フレーム分の時間、0.1秒を使い、送信されている。
このようにすることにより、サイズの大きいI1フレームのデータを1フレーム分の時間で送信するよりも、単位時間あたりに送信するデータ量を小さくすることができ、ネットワークにかかる負荷を低減できることになる。
図7に示すように、3フレームを使い、送信されたI1フレームは、クライアント装置200において、受信した後すぐに復号化を行うことができる。復号化も符号化同様に、実際は時間がかかるが、図7では、簡単化のため、復号化にかかる時間はゼロ秒であるとしてある。復号化にかかる時間をゼロ秒とすると、I1フレームは受信された後すぐに、再生することができる。つまり、簡単化のために、ネットワークの混雑等による遅延と、符号化、復号化による遅延をゼロ秒であるとしたときは、I1フレームは、撮像開始から4フレーム遅れて再生が行われることが可能であることがわかる。
配信動画データが、図3に示したようなGOP構成をしている際、クライアント装置200は、P1フレームを受信しない限り、B1フレームを復号化できず、B1フレームを再生できない。P1フレーム、B1フレームの送受信がゼロ秒で行え、P1フレーム、B1フレームの符号化、復号化もゼロ秒で行えるとすると、B1フレームの再生は、P1フレームの撮像データが取得できた時間、つまり、I1フレームを撮像し始めから3フレーム後に再生できることになる。このように、送受信等の時間を考慮しなくても、図3に示したようなGOP構成をしている場合、撮像データの撮像開始時刻から再生を行うには、最低3フレームの時間は絶対に必要なことになる。
I1フレームを1フレーム以上の時間を使い送信するときは、撮像データの撮像開始時刻から再生を行うには、4フレーム以上の時間は絶対に必要なことになる。つまり、符号化、復号化にかかる時間をゼロ秒であるとすると、4フレーム後からの再生が最短である。よって、図7に示すように、I1フレームを送信するのに、1フレームをかけても、3フレームをかけても、GOP構造による遅延とフレームに送受信による遅延とを合わせた遅延は、4フレームと変わらない。ここで、GOP構造による遅延は、図1に示したバッファ遅延の一部であり、送受信による遅延はネットワーク遅延の一部である。
I1フレームを4フレーム遅れで再生し始めたとすると、B1フレームは5フレーム遅れで再生を開始できなくてはいけない。これを行うには、P1フレームとB1フレームの両方をI1フレームの再生時間以下で、つまり、1フレーム以下の時間で送信しなくてはならない。例えば、図7では、P1フレームとB1フレームをそれぞれ1/2フレームかけて送信している。このようにすることにより、B1フレームを5フレーム遅れで再生を行うことができるようになる。つまり、ストリーミングによるリアルタイム配信を4フレーム遅れ、つまり、2/15秒遅れで再生できるようになる。図7では、符号化、復号化による遅延時間や、ネットワークによる遅延時間、撮像データを生成することによる遅延時間などを考慮していないが、考慮したときは、これらにすべての遅延時間を2/15秒を足した時間だけ遅れて再生が可能になる。
同様に、2GOP目の配信動画データにおいても、符号化時間を考慮しなければ、図7に示すように、I2フレームは、撮像が終了したらすぐに送信を開始し、P6フレームの撮像が終わるまでに送信を終えるようにすれば良い。図7に示すように、図3に示したGOP構造であれば、1GOP目同様に、I2フレームは、3フレーム分の時間を使い送信を行っても、I2フレームの再生時間に間に合うように送信が行える。
よって、上述したように、I1フレームを送信し、P1フレーム、B1フレームを送信するようにすることにより、ネットワークにかかる負荷を低減しつつ、低遅延でのストリーミング配信を行うことが可能になる。
図7に示した例では、I1フレームとP1フレームの間にBフレームは2個であるが、いくつであっても良い。I1フレームとP1フレームの間にN個のBフレームがあるときは、I1フレームは、(N+2)フレーム分の時間を使い送信すれば良い。このようにすることにより、GOP構造による遅延と送受信による遅延を最小にしつつ、ネットワークにかかる負荷を低減でき、結果として、ネットワークによる遅延を低減することが可能になる。
また、図7に示すように、Iフレーム、Pフレーム、Bフレームそれぞれの配信動画データのサイズが6:1:1であれば、送信レートは平滑化される。この平滑化もネットワークにかかる負荷を低減する効果があり、結果として、ネットワークによる遅延を低減することになる。
例えば、上述した実施形態における処理動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムが格納されているROM(Read Only Memory)から、専用のハードウェアに組み込まれているコンピュータ内のメモリ(RAM)にプログラムを読み込んで実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。
また、本発明におけるストリーミング配信システムは、表示装置も接続されており、前記クライアント装置は、前記送信手段により送信された前記配信動画データを受信する受信手段と、前記受信手段により受信された前記配信動画データを記憶する第2の記憶手段と、前記第2の記憶手段により記憶された前記配信動画データを復号化する復号化手段と、を有し、前記復号化手段により復号化された前記配信動画データを前記表示装置に出力し、前記表示装置は、前記クライアント装置により出力された前記配信動画データを再生する再生手段を有し、前記送信手段は、前記フレーム間予測を用いず符号化されるフレームが前記復号化手段により復号化されて前記再生手段による再生が行われたときに、当該フレーム間予測を用いず符号化されるフレームの前記再生手段による再生が終わるまでに、当該フレーム間予測を用いず符号化されるフレームの次のフレームである前記前後方予測フレームと、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームを前記復号化手段により復号化することができるように、当該前後方予測フレームと当該前方予測フレームを送信するようにしても良い。
また、本発明におけるストリーミング配信システムは、前記復号化手段は、前記受信手段により前記フレーム間予測を用いず符号化されるフレームが受信されたらすぐに当該フレーム間予測を用いず符号化されるフレームを復号化し、前記クライアント装置は、前記復号化手段により前記フレーム間予測を用いず符号化されるフレームが復号化されたらすぐに当該フレーム間予測を用いず符号化されるフレームを前記表示装置に出力し、前記表示装置は、前記クライアント装置から出力された前記フレーム間予測を用いず符号化されるフレームを受け取ったらすぐに当該フレーム間予測を用いず符号化されるフレームを再生するようにしても良い。
また、本発明におけるストリーミング配信システムは、前記配信動画データは、GOP単位で生成されており、1GOPはフレーム間予測を用いず符号化されるフレームで始まり、前方予測フレームで終わるようにしても良い。
100 サーバ装置
101 符号化手段
102 記憶手段
103 送信手段
200 クライアント装置
201 復号化手段
202 記憶手段
203 受信手段
300 撮像装置
400 表示装置

Claims (7)

  1. サーバ装置とクライアント装置がネットワークにより接続しているストリーミング配信システムにあって、
    前記サーバ装置は、撮像データを記憶する第1の記憶手段と、
    前記第1の記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、
    前記符号化手段により生成された前記配信動画データを前記クライアント装置に送信する送信手段と、を有し、
    前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの3種類のフレームにより構成されており、
    前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とするストリーミング配信システム。
  2. 表示装置も接続されており、
    前記クライアント装置は、前記送信手段により送信された前記配信動画データを受信する受信手段と、
    前記受信手段により受信された前記配信動画データを記憶する第2の記憶手段と、
    前記第2の記憶手段により記憶された前記配信動画データを復号化する復号化手段と、を有し、
    前記復号化手段により復号化された前記配信動画データを前記表示装置に出力し、
    前記表示装置は、前記クライアント装置により出力された前記配信動画データを再生する再生手段を有し、
    前記送信手段は、前記フレーム間予測を用いず符号化されるフレームが前記復号化手段により復号化されて前記再生手段による再生が行われたときに、当該フレーム間予測を用いず符号化されるフレームの前記再生手段による再生が終わるまでに、当該フレーム間予測を用いず符号化されるフレームの次のフレームである前記前後方予測フレームと、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームを前記復号化手段により復号化することができるように、当該前後方予測フレームと当該前方予測フレームを送信することを特徴とする請求項1に記載のストリーミング配信システム。
  3. 前記復号化手段は、前記受信手段により前記フレーム間予測を用いず符号化されるフレームが受信されたらすぐに当該フレーム間予測を用いず符号化されるフレームを復号化し、
    前記クライアント装置は、前記復号化手段により前記フレーム間予測を用いず符号化されるフレームが復号化されたらすぐに当該フレーム間予測を用いず符号化されるフレームを前記表示装置に出力し、
    前記表示装置は、前記クライアント装置から出力された前記フレーム間予測を用いず符号化されるフレームを受け取ったらすぐに当該フレーム間予測を用いず符号化されるフレームを再生することを特徴とする請求項1または2に記載のストリーミング配信システム。
  4. 前記配信動画データは、GOP単位で生成されており、1GOPはフレーム間予測を用いず符号化されるフレームで始まり、前方予測フレームで終わることを特徴とする請求項1から3のいずれか1項に記載のストリーミング配信システム。
  5. 撮像データを記憶する記憶手段と、
    前記記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、
    前記符号化手段により生成された前記配信動画データを接続されたクライアント装置に送信する送信手段と、を有し、
    前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの3種類のフレームにより構成されており、
    前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とするサーバ装置。
  6. 撮像データを記憶する第1の記憶ステップと、
    前記第1の記憶ステップにより記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化ステップと、
    前記符号化ステップにより生成された前記配信動画データを前記クライアント装置に送信する送信ステップと、を有し、
    前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの3種類のフレームにより構成されており、
    前記送信ステップは、前記符号化ステップにより生成された前記フレーム間予測を用いず符号化されるフレームを、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信することを特徴とするストリーミング配信方法。
  7. 前記サーバ装置を、
    撮像データを記憶する第1の記憶手段と、
    前記第1の記憶手段により記憶された前記撮像データをフレーム間予測符号化方法により符号化し、配信動画データを生成する符号化手段と、
    前記符号化手段により生成された前記配信動画データを前記クライアント装置に送信する送信手段として機能させ、
    前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの3種類のフレームにより構成されており、
    前記送信手段は、前記符号化手段により生成された前記フレーム間予測を用いず符号化されるフレームは、当該フレーム間予測を用いず符号化されるフレームの時間的に後方のフレームのうちの最初の前記前方予測フレームが生成されるまでの時間をかけて、前記クライアント装置に送信されることを特徴とするプログラム。
JP2009214541A 2009-09-16 2009-09-16 ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム Expired - Fee Related JP5359724B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009214541A JP5359724B2 (ja) 2009-09-16 2009-09-16 ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009214541A JP5359724B2 (ja) 2009-09-16 2009-09-16 ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011066612A true JP2011066612A (ja) 2011-03-31
JP5359724B2 JP5359724B2 (ja) 2013-12-04

Family

ID=43952391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009214541A Expired - Fee Related JP5359724B2 (ja) 2009-09-16 2009-09-16 ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5359724B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143608A (ja) * 2001-10-31 2003-05-16 Victor Co Of Japan Ltd 動画像符号化装置、動画像符号化方法及び符号列伝送方法
JP2003163916A (ja) * 2001-11-27 2003-06-06 Nec Corp ストリーム配信システム、ストリーム送信装置、及び、中継装置
JP2004140651A (ja) * 2002-10-18 2004-05-13 Fujitsu Ltd データ送信装置およびデータ送信方法
JP2005006339A (ja) * 2003-06-13 2005-01-06 Microsoft Corp デジタル・ビデオストリームの高速起動
JP2006041819A (ja) * 2004-07-26 2006-02-09 Hitachi Ltd ストリーム配信サーバ、移動端末、ストリーム配信システム、およびストリーム配信方法
JP2007053504A (ja) * 2005-08-16 2007-03-01 Ntt Communications Kk 映像通信装置、映像通信方法、及びプログラム
WO2007149695A2 (en) * 2006-06-22 2007-12-27 Sony Computer Entertainment Inc. Predictive frame dropping to enhance quality of service in streaming data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143608A (ja) * 2001-10-31 2003-05-16 Victor Co Of Japan Ltd 動画像符号化装置、動画像符号化方法及び符号列伝送方法
JP2003163916A (ja) * 2001-11-27 2003-06-06 Nec Corp ストリーム配信システム、ストリーム送信装置、及び、中継装置
JP2004140651A (ja) * 2002-10-18 2004-05-13 Fujitsu Ltd データ送信装置およびデータ送信方法
JP2005006339A (ja) * 2003-06-13 2005-01-06 Microsoft Corp デジタル・ビデオストリームの高速起動
JP2006041819A (ja) * 2004-07-26 2006-02-09 Hitachi Ltd ストリーム配信サーバ、移動端末、ストリーム配信システム、およびストリーム配信方法
JP2007053504A (ja) * 2005-08-16 2007-03-01 Ntt Communications Kk 映像通信装置、映像通信方法、及びプログラム
WO2007149695A2 (en) * 2006-06-22 2007-12-27 Sony Computer Entertainment Inc. Predictive frame dropping to enhance quality of service in streaming data
JP2009542111A (ja) * 2006-06-22 2009-11-26 株式会社ソニー・コンピュータエンタテインメント ストリーミングデータのサービス品質を強化するための予測的フレームドロッピング

Also Published As

Publication number Publication date
JP5359724B2 (ja) 2013-12-04

Similar Documents

Publication Publication Date Title
US10230958B2 (en) Audio splitting with codec-enforced frame sizes
US20070103558A1 (en) Multi-view video delivery
JP4769717B2 (ja) 画像復号化方法
US8914835B2 (en) Streaming encoded video data
US8055974B2 (en) Content distribution method, encoding method, reception/reproduction method and apparatus, and program
CN112073737B (zh) 在直播视频流应用中重新编码预测的图像帧
JP6239472B2 (ja) エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法
JP2010041354A (ja) 動画像符号化方法、符号化装置及び符号化プログラム
JP2012109720A (ja) 画像変換装置、画像再生装置及び画像変換方法
JP2009033640A (ja) 画像復号化装置
JP2001326940A (ja) 符号化動画像ビットストリーム処理方法、及び装置、並びに符号化動画像ビットストリーム処理プログラムを格納した記録媒体
CA2716084C (en) Apparatus for and a method of providing content data
JP2005303925A (ja) ストリームデータ送信装置、ストリームデータ受信装置およびそれらの処理をコンピュータに実行させるための処理プログラムを記録した記録媒体
JP4638874B2 (ja) 符号化ストリーム記録媒体、及び画像符号化装置
JP2010154006A (ja) プログレッシブダウンロード再生用プログラム
JP2002199392A (ja) 映像符号化方法および装置
JP5359724B2 (ja) ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム
JP2006295601A (ja) 通信システム、送信装置および方法、受信装置および方法、並びにプログラム
JP5367687B2 (ja) データ配信システム、データ配信装置、及びデータ配信方法
JP2011176442A (ja) ストリーミング配信装置、中継装置、ストリーミング配信方法、中継方法及びプログラム
JP6753097B2 (ja) 符号化システム、符号化装置、再生装置及び符号化方法
JP2005176068A (ja) 動画像配信システム及びその方法
CN117061813A (zh) 媒体回放方法与相关媒体回放装置
JP2005136893A (ja) 復号化処理プログラムおよび復号化処理装置
JP2011066611A (ja) ストリーミングシステム、サーバ、それらの方法及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110513

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130819

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees