JP2004153610A - 動画像配信方法、無線端末、動画像配信制御装置、及び動画像配信システム - Google Patents
動画像配信方法、無線端末、動画像配信制御装置、及び動画像配信システム Download PDFInfo
- Publication number
- JP2004153610A JP2004153610A JP2002317266A JP2002317266A JP2004153610A JP 2004153610 A JP2004153610 A JP 2004153610A JP 2002317266 A JP2002317266 A JP 2002317266A JP 2002317266 A JP2002317266 A JP 2002317266A JP 2004153610 A JP2004153610 A JP 2004153610A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- control device
- image distribution
- unit
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】帯域幅変動が大きな無線ネットワークを使用する動画像配信においても良好な画質を確保する動画像配信方法、無線端末、動画像配信制御装置、及び動画像配信システムを提供する。
【解決手段】動画像配信制御装置(配信サーバ)600側から無線端末(動画像再生装置)へ動画像データを配信する方法であって、無線端末側で、無線信号の受信レベルによって伝送レートの要求値を算出し、動画像配信制御装置へ通知する過程と、動画像配信制御装置側で、要求値に応じたコンテンツレートを決定し、該コンテンツレートで動画像データを配信する過程とを有する。
【選択図】 図7
【解決手段】動画像配信制御装置(配信サーバ)600側から無線端末(動画像再生装置)へ動画像データを配信する方法であって、無線端末側で、無線信号の受信レベルによって伝送レートの要求値を算出し、動画像配信制御装置へ通知する過程と、動画像配信制御装置側で、要求値に応じたコンテンツレートを決定し、該コンテンツレートで動画像データを配信する過程とを有する。
【選択図】 図7
Description
【0001】
【発明の属する技術分野】
本発明は、無線パケットネットワークを介して、動画像データを配信する動画像配信方法、無線端末、及び動画像配信システムに関する。特に、適応変調方式を使用したベストエフォート型等のデータ伝送帯域幅が急激に変動するシステムに有用である。
【0002】
【従来の技術】
近年、無線端末の1つである携帯電話機等の移動体端末装置には、データ及び画像の送受を行えるものがあり、さらには、移動体端末装置には、動画像データを受信して動画像として表示できるものもある。また、無線通信回線も、このような動画像データを取り扱えるだけの高符号化ビットレート化が進んでおり、その一つとしてベストエフォート型の無線パケットネットワークがある。
【0003】
しかしながら、前記ベストエフォート型の無線パケットネットワークでは、無線通信の特性上、ビットエラー率やパケットロス率、パケット遅延時間などが有線ネットワークのそれと比較して多く、また、適応変調方式を使用した無線パケットネットワークにおいては、そのデータ伝送帯域幅も急激に変動するという動画像ストリーミング配信に関する問題を持っている。
【0004】
従来における、動画像配信システムにおける配信方法は、UDPを用いた配信が主流であり、ネットワークの帯域幅変動に対しては、動画像データを送信レートの低いものから高いものまで、いくつかの送信パターンを用意し、配信開始時には、最も低いレートのものから配信を開始する方法や、配信を開始する前に、いくつかのIPパケットをサーバー−クライアント間で送受することにより、配信可能な符号化ビットレートを測定して開始時の配信レートを決定する方法がある。
【0005】
また、配信中の符号化ビットレート制御としては、受信側で輻輳を検出しなければ、現状よりも高いレートのものに変更し、輻輳を検出すれば、現状よりも低いレートのものへ変更する。
【0006】
輻輳の検出は、受信側のパケットロスで行い、パケットロスの検出条件としては、シーケンス番号の抜けを検出した場合や、一定時間を経過しても次のシーケンス番号のデータが到達しない場合、シーケンス番号の抜けを検出後、サーバーに対して再送を要求したが一定時間内に対応するシーケンス番号のデータが到着しない場合などで検出する。
【0007】
例えば、フレームに優先度を付け、それによってデータの再送や廃棄を決定する技術(例えば、特許文献1、2参照)や、送信バッファから送信する画像データの符号化ビットレートに応じて画像データを符号化する技術(例えば、特許文献3参照)がある。
【0008】
【特許文献1】
特開2001−274861号公報
【特許文献2】
特開2001−119437号公報
【特許文献3】
特開平11−205787号公報
【0009】
【発明が解決しようとする課題】
しかしながら、上記した各技術における動画像配信方式では、配信開始時の送信レートを決定する際に、受信レベルが良好な場合、すなわち、ネットワークの帯域幅が高い場合にも、最も低いレートから開始しなければならないという欠点や、配信開始前に符号化ビットレートを測定する場合には、余分なパケットの送受が必要であったり、実際の有効データ送出までに時間がかかるという欠点があった。
【0010】
つまり、従来技術では、動画像のストリーミングを開始する際に、移動機側が良好な受信にもよらず、品質の悪い画像からしか見ることができなかったり、配信開始前に符号化ビットレートの測定を行う場合には、余分なパケットの送受信がおこなわれ実データの配信開始までに時間がかかるという問題点がある。
【0011】
また、配信中においては、実際に受信したパケットからシーケンス番号の抜けを検出し符号化ビットレートを測定するために、受信レベルが悪い場所から良好な場所へ移動した場合には、輻輳がなくなるために実際に配信されている符号化ビットレート以上の帯域幅であるところまでしか検出できないため、現状よりも一段、高いレートに切り替えた後、輻輳の状態を検出し、輻輳がなければ、もう一段高いレートという具合に、階段的に配信レートをあげる方法となり、急激に帯域幅が大きくなった場合には、本来、配信できる最適なレートに到達するまでに時間がかかるという欠点があった。
【0012】
つまり、本来ユーザーが得られうる良好な画質の動画像をみるまでに時間がかかり、ともすれば、最適なレートに到達する前に受信レベルが悪くなり、結果として、良好な画質が得られない場合もあるという問題点がある。
【0013】
また、適応変調方式を使用した無線パケットネットワークにおいては、受信レベルが良好な場所から悪いところへ移動した場合には、無線通信の変調方式が変わるために、無線区間の帯域幅が低くなり、パケットの到着時間が遅くなるため、パケットロスなどの検出までに時間がかかるという欠点があり、このため、高いレートの配信データがネットワーク上や無線基地局のキューに溜まってしまうために、切り替えたレートのデータが到達するまでが遅くなったり、クライアント側では、ネットワークの帯域幅が低くなっているにもかかわらず、パケットが到達しないのでサーバーへ現状の高いレートのパケットを再送要求してしまうことにより、不要なデータが多くなり、結果的に実帯域幅よりもかなり低いレートしか有効なデータが通らなくなるという欠点があり、大きなコマ落ちや画像の停止といった画質劣化が生じるという問題点があった。
【0014】
本発明の目的は、動画像ストリーミングの配信開始時にも移動機の受信レベルに適した符号化ビットレートの動画像配信を行うことのできる動画像配信方法、動画像再生装置、及び動画像配信システムを提供することにある。
さらに、本発明の他の目的は、適応変調方式を使用したベストエフォート型の無線パケットネットワークのような帯域幅変動が大きなネットワークを使用する動画像配信においても良好な画質を確保する動画像配信方法、無線端末、及び動画像配信システムを提供することにある。
【0015】
【課題を解決するための手段】
上記した目的を達成するために、請求項1記載の動画像配信方法は、動画像配信制御装置側から無線端末へ動画像データを配信する方法であって、前記無線端末側で、無線信号の受信レベルによって伝送レートの要求値を算出し、前記動画像配信制御装置へ通知する過程と、前記動画像配信制御装置側で、前記要求値に応じたコンテンツレートを決定し、該コンテンツレートで動画像データを配信する過程とを有することを特徴とする。
【0016】
又、請求項2記載の動画像配信方法は、動画像配信制御装置側から無線端末へ動画像データを配信する方法であって、前記無線端末側で、無線信号の受信レベルによって伝送レートの要求値を算出し、該要求値からコンテンツレートを予測し、該予測コンテンツレートを前記動画像配信制御装置へ通知する過程と、前記動画像配信制御装置側で、前記予測コンテンツレートを受信し、該予測コンテンツレートに応じたコンテンツを配信する過程とを有することを特徴とする。
これによれば、動画像ストリーミングの配信開始時にも移動機の受信レベルに適した符号化ビットレートの動画像配信を行うことが可能となる。さらに、帯域幅変動が大きなネットワークを使用する動画像配信においても良好な画質を確保することが可能となる。
【0017】
請求項3記載の動画像配信方法は、受信したパケットがエラー、又はパケットロスが発生した場合にパケットの再送要求をする過程と、前記動画像データを受信中に自端末の受信レベルが急激に低下する方向へ推移したときに受信したパケットがエラー、又はパケットロスが発生した場合、パケットの再送要求を抑止する過程を有することを特徴とする。
【0018】
請求項4記載の動画像配信方法は、前記予測コンテンツレートは所定の間隔で、又は前記動画像配信制御装置からの要求に基づいて該動画像配信制御装置へ通知することを特徴とする。
【0019】
請求項5記載の動画像配信方法は、前記予測コンテンツレートの値が過去の値より所定の閾値を超えて変動した場合のみ、該予測コンテンツレートを該動画像配信制御装置へ通知することを特徴とする。
【0020】
請求項6記載の動画像配信方法は、受信したパケットがエラー、又はパケットロスが発生した場合に前記動画像配信制御装置へ送信する再送要求パケットに前記予測コンテンツレートを含めることを特徴とする。
【0021】
請求項7記載の無線端末は、無線回線を介して動画像配信制御装置側から動画像データを受信し、無線信号の受信レベルによって伝送レートの要求値を算出する算出部と、該要求値を前記動画像配信制御装置へ通知する通知部と、前記動画像配信制御装置側で前記要求値に応じて決定されたコンテンツレートで、動画像データを受信する受信部とを有することを特徴とする。
【0022】
請求項8記載の無線端末は、無線回線を介して動画像配信制御装置から動画像データを受信して再生し、受信した動画像データを再生する動画像データ再生部と、無線信号の受信レベルを監視する受信レベル品質監視部と、前記受信レベルに応じた伝送レートを算出する伝送レート要求演算部と、前記伝送レートに基づき、前記受信レベルに適したコンテンツのコンテンツレートを予測するレート予測部と、前記レート予測部で予測したコンテンツレートを前記動画像配信制御装置へ通知する通知部とを有することを特徴とする。
【0023】
請求項9記載の動画像配信制御装置は、無線端末へ動画像データを配信する動画像配信制御装置であって、前記無線端末側で無線信号の受信レベルによって算出された伝送レートの要求値を受信する受信部と、前記要求値に応じたコンテンツレートを決定する決定部と、該コンテンツレートで動画像データを配信する配信部とを有することを特徴とする。
【0024】
請求項10記載の動画像配信制御装置は、無線端末へ動画像データを配信する動画像配信制御装置であって、前記無線端末側で無線信号の受信レベルによって伝送レートの要求値が算出され、該要求値から予測された予測コンテンツレートを受信する受信部と、前記予測コンテンツレートに応じたコンテンツを配信する配信部とを有することを特徴とする。
【0025】
請求項11記載の動画像配信システムは、動画像配信制御装置と無線端末を備え、前記無線端末は、無線信号の受信レベルによって伝送レートの要求値を算出する算出部と、該要求値からコンテンツレートを予測するレート予測部と、該予測コンテンツレートを前記動画像配信制御装置へ通知する通知部とを有し、前記動画像配信制御装置は、前記予測コンテンツレートを受信する受信部と、該予測コンテンツレートに応じたコンテンツを配信する配信部とを有することを特徴とする。
【0026】
請求項12記載の動画像配信システムは、動画像配信制御装置と無線端末を備えた動画像配信システムであって、前記無線端末は、無線信号の受信レベルによって伝送レートの要求値を算出する算出部と、該要求値を前記動画像配信制御装置へ通知する通知部とを有し、前記動画像配信制御装置は、前記要求値を受信する受信部と、該要求値からコンテンツレートを予測するレート予測部と、該予測コンテンツレートに応じたコンテンツを配信する配信部とを有することを特徴とする。
【0027】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、以下の実施形態で「データ転送レート(伝送レート)」という場合、無線端末と基地局との間の伝送レートを意味する。又、本発明で「コンテンツレート」という場合、映像や音声のデータを配信するときは符号化ビットレートを意味し、それ以外のデータ(テキストデータ)を配信するときはビットレートを意味するものとする。
【0028】
図1、2は、本発明の動画像配信システムの一実施例における無線端末(動画像再生装置)での符号化ビットレート通知の方法のフローチャートである。まず、S100において、無線信号の受信レベルの測定を行う。S101では、受信レベルよりデータ転送要求レート値の算出を行う。S100及びS101は受信の各スロット毎に行われるものとする。次にS102では、n(nは1以上の整数)サンプル分のデータ転送要求レート値を得られたかどうかの判定を行う。
【0029】
符号化ビットレートの予測方法としては、サンプル数n分のデータ転送レート要求値を取得すると、S103により、単位時間当たりのデータ転送レート要求値の平均値を求める。ここでいう単位時間とは、上述のnサンプルを取得する時間である。求められた平均値は、S104でメモリ上に時系列的に退避される。S105では、前回に求めた単位時間あたりの平均値と比較し、閾値内にある場合には、S108で現在の符号化ビットレートで対応できるかどうかの判定を行う。
【0030】
例えば、16スロット毎に符号化ビットレートの演算を行う場合には、nは16となる。ここで、nを小さくとればネットワークの帯域幅変動に対して瞬時に対応できることが可能となる変わりに得られる画像の品質が著しく変動する結果となる。nの値が大きくなるとネットワークの帯域幅変動に対して瞬時に対応をとれなくなるが、得られる画像の品質の変動は少なくなる。MPEG−4などで圧縮された動画像データをやり取りする場合、その符号化ビットレートの切り替えタイミングは、GOP(Group Of Picture)単位であったり、VOP(Video Object Plane)単位であったりする。この場合、nの値はGOPやVOPなどの間隔の1/4から1/5程度の時間になるようにすることにより、帯域幅変動の推移を計測し、符号化ビットレートを制御することが望ましい。
【0031】
ここで使用する閾値は、表1の様に変調方式と帯域幅が変動するネットワークにおいて、表2の様に、帯域幅毎に使用される閾値を設定される。
【表1】
【表2】
【0032】
これを用いて、前回の値に対して、今回の値が対象となる閾値の範囲内にあるかどうかを判定する。また、閾値は帯域幅が下がる方向と上がる方向でヒステリシスを用いた形で設定を行うことが望ましい。尚、表1及び表2の値や項目数については、この限りではなく、使用するネットワークの特性や動画像符号化方式等により変わるものであるので表1及び表2の値は、本説明に用いる一実施例である。
【0033】
S105で閾値の範囲内でないという判定の場合には、S106で前々回の値と比較する。
【0034】
S103で求められた平均値が前々回の値の閾値内にある場合には、S108で現在の符号化を行う符号化ビットレートで対応できるかどうかの判定を行う。
【0035】
ここで,S105で閾値範囲外であったにもかかわらず,S106で閾値範囲内の場合に新しい符号化ビットレートを求めない理由としては、動画像の符号化ビットレートを求める場合は、前述のGOPやVOPの単位で符号化ビットレートを変動させるために、その単位時間当たりの平均符号化ビットレートを求めればよいからである。そのため、少なくとも3点以上で計測することが必要となる。
【0036】
S106で閾値範囲外であった場合には、新たな符号化ビットレートを予測する必要がでてくる。
【0037】
S107では、現在の平均データ転送レート要求値と過去のそれより、新しい符号化ビットレートを予測する。
【0038】
S108では、S107で求めた、新しい符号化ビットレートが現在受信している符号化ビットレートで適合可能かを判定し、適合可能である場合には、符号化ビットレートを変更する必要が生じないため、S100の受信レベルの測定に戻る。現在受信している符号化ビットレートで適合不可の場合には、S107で求めた新しい符号化ビットレートをS109にてサーバーへ通知する。S110では、新しい符号化ビットレートを基に、それに対応する閾値を新たに設定する。
【0039】
上述の方法により、無線信号の受信レベルから符号化ビットレートの予測を行うために、従来のように実際のデータパケットをやり取りする必要がなく、データ受信開始前にも同様の手法で符号化ビットレートの予測を行うことが可能となる。
【0040】
次に、図1のS107にて行われる符号化ビットレートの予測の手法について図3を用いて説明を行う。ここでは、図1、2で示された本発明の一実施例での予測方法を説明するだけであって、限定するものではない。
【0041】
図3は、ネットワークにおける符号化ビットレート変動の一例である。各計測点で測定・算出された単位時間当たりの平均データ転送レート要求値を時間の古い順にa,b,cとし、新たに求めるデータ転送レート要求予測値をdとする。
【0042】
図3(a)の様に、a<b<cの場合、cがネットワークの帯域幅の上限値でない限り、dはc<dであることが予想される。予測される符号化ビットレートは、b−c間での推移を基に予測を行う。単位時間tは同一間隔でサンプリングを行うと同じなので、単位時間当たりで予測される次のデータ転送レートは、d=c+(c−b)と仮定することでよい。a−b間の推移とb−c間の推移の2つを用いて予測を行う場合には、
d=c + ((c−b)/(b−a) * (c―b))
と予測すればよい。
【0043】
図3(b)の様に、a>b>cの場合には、cがネットワークの下限値でない場合には、c>dであることが予想される。a−b間の推移とb−c間の推移の2つを用いて予測を行う場合には、
d=c − ((b−c)/(a−b) * (b−c))
と予測すればよい。
【0044】
図3(c)の様に、a<b>cの場合では、cがネットワークの下限値でない場合には、c>dであることが予想される。この場合、a−b間の推移は、予測の対象にはならず、b−c間の推移を用いて予測を行い、
d=c − (b−c)
と予測すればよい。
【0045】
図3(d)の様に、a>b<cの場合では、cがネットワークの上限値でない場合には、c<dであることが予想される。この場合、a−b間の推移は、予測の対象にはならず、b−c間の推移を用いて予測を行い、
d=c+(c−b)
と予測すればよい。
【0046】
ここで、求められた予測値dは、物理レイヤーの予測スループットであるため、実際に転送される際のIPヘッダー等を差し引いたものが予測値となる、また、無線ネットワークにおいては、エラー発生率が多く、ここで、エラー発生率を1%と仮定すると1%のエラーによって数パケットが紛失し再送を行うことを考慮することが望ましい。
【0047】
それらを差し引いたものを求めた結果eとした場合、eが閾値内に含まれる符号化ビットレートを表2をテーブル化したものより算出し、新たな符号化ビットレートとすることにより予測することが可能となる。
【0048】
図2のS109における新しい符号化ビットレートのサーバーへの通知に関しては、RTPを使用するようなプロトコルの場合には、RTCPパケットに含めることで通知パケットの効率を図ることができる。また、符号化ビットレートに変動があった場合のみ通知することも可能である。
【0049】
また、一般に動画像をストリーミング配信するシステムにおいて、ネットワーク上でパケットを紛失した場合には、動画像再生装置側で紛失を検出し、紛失したパケットのシーケンス番号をサーバーへ通知することによりパケットの再送を行う。動画像再生装置は、再送パケットの到着が実再生時間内に間に合う場合には再生し、実再生時間に間に合わない場合には廃棄する。また、動画像の符号化ビットレートが高い場合には、パケット長を長くし、低い場合には、パケット長を短くするなどネットワークの帯域幅によって送出するパケットサイズを変更することが一般的に知られている。この様なシステムを無線パケットネットワークへ適用した場合には、図4で示される通り、ネットワークの帯域幅が急激に低下した場合などにおいては、再送を要求したパケットに含まれる符号化ビットレートが、実際にパケットの再送を行う場合のネットワークの帯域幅よりも高い場合が発生する。この様なことになると、実ネットワークの帯域幅よりも高い符号化ビットレートの動画像を再送することになり、ネットワーク上で輻輳等が発生しやすい状況となり、画像の途切れなどが発生しやすくなる。この場合においても、前述の符号化ビットレートを予測することにより、ネットワークの帯域幅が下がる方向にあることを予測可能なために、再送要求を抑止することが可能となる。これにより上述の問題を回避することが可能である。
【0050】
また、エラーパケットの再送を要求する場合には、再送要求を行う通知パケット内に符号化ビットレートの予測結果を含めることにより、配信サーバー側で再送を行うか否かを判定することも可能となる。また、配信サーバー側では、予測値に基づいた新たな符号化ビットレートで構成された、エラーパケットを含むVOPまたは、GOPなどに基づいて再送することも可能となる。
【0051】
図5、6は、前記予測部分を動画像配信制御装置に持たせた場合のフローチャートである。図5のS200〜S204は無線端末の処理を、図6のS300〜S307は動画像配信制御装置の処理を示す。
【0052】
S200において、受信レベルの測定を行う。S201では、受信レベルよりデータ転送要求レート値の算出を行う。S200及びS201は受信の各スロット毎に行われるものとする。次にS202では、n(nは1以上の整数)サンプル分のデータ転送レート要求値を得られたかどうかの判定を行う。サンプル数n分のデータ転送レート要求値を取得すると、S203により、単位時間当りのデータ転送レート要求値の平均値を求める。ここでいう単位時間とは、上述のnサンプルを取得する時間である。S203で単位時間当りのデータ転送レート要求値の平均値が求まるとS204で、動画像配信制御装置へ無線網を介して通知を行う。無線端末側では、上述の動作を繰り返すことにより、一定時間毎にデータ転送レート要求値の平均値を動画像配信制御装置へ通知することが可能である。
【0053】
動画像配信制御装置側では、S300で上記平均値の受信待ちの状態で始まる。S300で上記平均値を無線端末から受信するとS301で受信した算出値を時系列的にメモリ上に退避する。S302では、前回に求めた単位時間当りの平均値と比較し、閾値内にある場合には、S305で現在の符号化を行うビットレートで対応できるかどうかの判定を行う。
【0054】
ここで使用する閾値は、前述と同様に表2のように、帯域幅毎に使用される閾値が設定される。これを用いて、前回の値に対して、今回の値が対象となる閾値の範囲内にあるかどうかを判定する。また、閾値は帯域幅が下がる方向と上がる方向とでビステリシスを用いた形で設定を行うことが望ましい。
【0055】
S302で閾値の範囲内でないという判定の場合には、S303で前々回の値と比較する。
S300で受信した平均値が前々回の値の閾値内にある場合には、S305で現在の符号化を行うビットレートで対応できるかどうかの判定を行う。
ここで、S302で閾値範囲外であったにもかかわらず、S303で閾値範囲内の場合に、新しいビットレートを求めないのは、動画像の符号化ビットレートを求める場合には、前述のGOPやVOPの単位でのビットレートを変動させるために、その単位時間当りの平均ビットレートを求めればよいからである。そのため、少なくとも3点以上で計測することが必要となる。
【0056】
S303で閾値範囲外であった場合には、新たなビットレートを予測する必要が生じる。S304では、現在の平均データ転送レート要求値と過去のそれより、新しい符号化ビットレートを求める。S305では、S304で求めた、新しい符号化ビットレートが現在受信している符号化ビットレートで適合可能かを判定し、適合可能である場合には、符号化ビットレートを変更する必要が生じないため、S300の平均値の受信待ち状態に戻る。
【0057】
現在受信している符号化ビットレートで適合不可能な場合には、S306においてS304で求めた新しい符号化ビットレートに対応したビットレートのコンテンツ配信を行う。S307で、新しい符号化ビットレートを基に、それに対応する閾値を新たに設定し、S300の平均値受信待ちの状態に戻る。
【0058】
次に、図面を用いて本発明の動画像配信システム及び無線端末(動画像再生装置)について説明する。図7,8は本発明の動画像配信システム及び動画像再生装置の一実施例における構成図である。
【0059】
配信サーバー600内には、あらかじめ、低レートから高レートまでのいくつかの動画像符号化ビットレートで符号化された同一内容のコンテンツデータ603a〜603nを用意し、最も低レートのコンテンツデータを603aとする。
【0060】
動画像再生装置700は、常に受信レベル品質監視部701を使用して無線信号の受信レベルの測定を行っている。受信レベル品質監視部701で測定された受信レベルは、データ転送レート要求演算部702を使用して、その受信レベルに対応するデータ転送レート要求値を決定する。決定されたデータ転送レート要求値より(符号化)ビットレート予測部703を使用して受信レベルに対応する(符号化)ビットレートの予測を行っている。
【0061】
ユーザーの所望するコンテンツを再生しようと動画像再生装置700を操作すると、コンテンツ再生の要求とともに、その時の(符号化)ビットレート予測部703で予測された符号化ビットレートが(符号化)ビットレート予測値通知部704を介し、回線インターフェイス部705を使用して配信サーバー600へ通知される。
【0062】
コンテンツの再生の要求と予測された符号化ビットレートを回線インターフェイス部601にて受信した配信サーバー600は、受信パケット解読部602を使用して受信したパケットが、コンテンツ再生要求と予測符号化ビットレート値であることを解析し、コンテンツ再生要求に対応したコンテンツデータ603の中より(符号化)ビットレート選択部604を使用して、予測符号化ビットレート値に対応したコンテンツデータを選択する。例えば、予測符号化ビットレートが一番低いレートの場合には、コンテンツデータ603aを選択する。
【0063】
(符号化)ビットレート選択部604で選択されたコンテンツデータは、回線インターフェイス部601を介して、動画像再生装置700へ配信される。動画像再生装置700では、回線インターフェイス部705を介して受信したコンテンツデータをパケットロス検出部706を使用して受信したパケットより、パケットロスの検出を行い、パケットロスがない場合には、動画像データ再生部707を使用して動画像データの復号化を行い、表示部708へ表示する。パケットロス検出部706でパケットロスを検出した場合には、再送要求部709を使用して再送要求パケットを構築する。再送要求部709で作成された再送要求パケットは、(符号化)ビットレート予測値通知部704で現在の符号化ビットレート予測値を挿入され、回線インターフェイス部705によって配信サーバー600へ通知される。
【0064】
配信サーバー600は、回線インターフェイス部601を介して、上記パケットを受信すると、受信パケット解読部602において、再送要求と解読され、再送制御部605へ通知する。再送制御部605は、再送要求パケットに含まれる符号化ビットレート予測値が再送パケットに含まれる動画像データの符号化ビットレートで対応可能な場合には、再送信バッファ606よりエラーパケットの再送を回線インターフェイス部601を介して送信する。前記符号化ビットレート予測値が動画像データの符号化ビットレートで対応不可能な場合には、再送制御部605は、新たにコンテンツデータ603の中より前記符号化ビットレート予測値に対応したコンテンツデータのパケットを送信する。ここで、符号化ビットレート予測値に対して、動画像データの符号化ビットレートが対応可能かどうかは、符号化ビットレート予測値に対して常に最適なものを選択してもよいし、符号化ビットレート予測値が動画像の符号化ビットレート値よりも大きい場合には、ネットワークの帯域幅に余裕があるため、対応可能と判定してもよい。
【0065】
また、符号化ビットレート予測値に対して、再送を行う動画像データの符号化ビットレートが対応不可能な場合には、符号化ビットレート予測値に適した符号化ビットレートで符号化された動画像データをコンテンツデータ600から新たに再送してもよいし、再送を行わないことによってネットワークの輻輳を抑止することも可能である。
【0066】
動画像再生装置700は、動画像再生中においては、パケットロス検出部706でパケットロスを検出していない状況でも(符号化)ビットレート予測部703で予測された符号化ビットレートが変化した時点で、(符号化)ビットレート予測値通知部704及び回線インターフェイス部705を使用して、配信サーバー600へ符号化ビットレートが変動することを通知することが可能である。
【0067】
また、配信サーバー600から符号化ビットレート予測値の要求があった場合や、一定時間毎に、符号化ビットレート予測部703で算出された情報を符号化ビットレート予測値通知部704及び回線インターフェイス部705を介して配信サーバー600へ通知することも可能である。
【0068】
配信サーバー600は、上述の様に、動画像再生装置700より通知された符号化ビットレート予測値を回線インターフェイス部601を介して受信し、受信パケット解読部602で解読した結果、受信した符号化ビットレート予測値が、現在送信している動画像データの符号化ビットレートと異なる場合には、符号化ビットレート選択部604を使用して、送信するコンテンツデータ603の符号化ビットレートを予測された符号化ビットレートに最適なものに変更することが可能となる。
【0069】
上述の様にして、動画像ストリーミングの配信開始時にも移動機の受信レベルに適した符号化ビットレートの動画像配信を行うことが可能となる。さらに、帯域幅変動が大きなネットワークを使用する動画像配信においても、良好な画質を確保することが可能となる。
【0070】
なお、上記した例では動画像配信サーバーが可変符号化ビットレート制御を行ったが、サーバー−クライアント(無線端末)間に位置する装置(ゲートウェイなど)が可変符号化ビットレート制御を行ってもよい。又、無線端末が通知する伝送レート(データ転送レート)としては、例えば1xEV−DOと称される通信システムにおけるDRCが挙げられる。
【0071】
【発明の効果】
以上説明したように、本発明の動画像配信方法、無線端末、及び動画像配信システムによれば、無線パケットネットワークにおいて、動画像ストリーミングの配信開始時にも無線端末(移動機)の受信レベルに適した符号化ビットレートの動画像配信を行うことが可能である。
さらに、適応変調方式を使用したベストエフォート型の無線パケットネットワークのような帯域幅変動が大きなネットワークを使用する動画像配信においても、本発明のように前方予測でリアルタイムにビットレートを対応させるので、良好な画質を確保する動画像配信を行うことが可能である。
【図面の簡単な説明】
【図1】本発明の一実施例における符号化ビットレート通知の方法を示すフロー図。
【図2】図1に続く図。
【図3】ネットワークにおける符号化ビットレート変動の状態の一例を示す図。
【図4】ネットワークの帯域幅が急激に低下した場合のエラー検出と再送のタイミング例を示す図。
【図5】本発明の別の実施例における符号化ビットレート通知の方法を示すフロー図。
【図6】図5に続く図。
【図7】本発明の動画像配信システム及び無線端末の一実施形態における構成を示す図。
【図8】図7に続く図。
【符号の説明】
600・・・配信サーバー(動画像配信制御装置)
601・・・回線インターフェイス部(受信部、配信部)
602・・・受信パケット解読部
603・・・コンテンツデータ
604・・・(符号化)ビットレート選択部(決定部)
605・・・再送制御部
606・・・再送信バッファ
700・・・動画像再生装置(無線端末)
701・・・受信レベル品質監視部
702・・・データ転送レート要求演算部(算出部)
703・・・(符号化)ビットレート予測部(レート予測部)
704・・・(符号化)ビットレート予測通知部(通知部)
705・・・回線インターフェイス部(通知部、受信部)
706・・・パケットロス検出部
707・・・動画像データ再生部
708・・・表示部
709・・・再送要求部
【発明の属する技術分野】
本発明は、無線パケットネットワークを介して、動画像データを配信する動画像配信方法、無線端末、及び動画像配信システムに関する。特に、適応変調方式を使用したベストエフォート型等のデータ伝送帯域幅が急激に変動するシステムに有用である。
【0002】
【従来の技術】
近年、無線端末の1つである携帯電話機等の移動体端末装置には、データ及び画像の送受を行えるものがあり、さらには、移動体端末装置には、動画像データを受信して動画像として表示できるものもある。また、無線通信回線も、このような動画像データを取り扱えるだけの高符号化ビットレート化が進んでおり、その一つとしてベストエフォート型の無線パケットネットワークがある。
【0003】
しかしながら、前記ベストエフォート型の無線パケットネットワークでは、無線通信の特性上、ビットエラー率やパケットロス率、パケット遅延時間などが有線ネットワークのそれと比較して多く、また、適応変調方式を使用した無線パケットネットワークにおいては、そのデータ伝送帯域幅も急激に変動するという動画像ストリーミング配信に関する問題を持っている。
【0004】
従来における、動画像配信システムにおける配信方法は、UDPを用いた配信が主流であり、ネットワークの帯域幅変動に対しては、動画像データを送信レートの低いものから高いものまで、いくつかの送信パターンを用意し、配信開始時には、最も低いレートのものから配信を開始する方法や、配信を開始する前に、いくつかのIPパケットをサーバー−クライアント間で送受することにより、配信可能な符号化ビットレートを測定して開始時の配信レートを決定する方法がある。
【0005】
また、配信中の符号化ビットレート制御としては、受信側で輻輳を検出しなければ、現状よりも高いレートのものに変更し、輻輳を検出すれば、現状よりも低いレートのものへ変更する。
【0006】
輻輳の検出は、受信側のパケットロスで行い、パケットロスの検出条件としては、シーケンス番号の抜けを検出した場合や、一定時間を経過しても次のシーケンス番号のデータが到達しない場合、シーケンス番号の抜けを検出後、サーバーに対して再送を要求したが一定時間内に対応するシーケンス番号のデータが到着しない場合などで検出する。
【0007】
例えば、フレームに優先度を付け、それによってデータの再送や廃棄を決定する技術(例えば、特許文献1、2参照)や、送信バッファから送信する画像データの符号化ビットレートに応じて画像データを符号化する技術(例えば、特許文献3参照)がある。
【0008】
【特許文献1】
特開2001−274861号公報
【特許文献2】
特開2001−119437号公報
【特許文献3】
特開平11−205787号公報
【0009】
【発明が解決しようとする課題】
しかしながら、上記した各技術における動画像配信方式では、配信開始時の送信レートを決定する際に、受信レベルが良好な場合、すなわち、ネットワークの帯域幅が高い場合にも、最も低いレートから開始しなければならないという欠点や、配信開始前に符号化ビットレートを測定する場合には、余分なパケットの送受が必要であったり、実際の有効データ送出までに時間がかかるという欠点があった。
【0010】
つまり、従来技術では、動画像のストリーミングを開始する際に、移動機側が良好な受信にもよらず、品質の悪い画像からしか見ることができなかったり、配信開始前に符号化ビットレートの測定を行う場合には、余分なパケットの送受信がおこなわれ実データの配信開始までに時間がかかるという問題点がある。
【0011】
また、配信中においては、実際に受信したパケットからシーケンス番号の抜けを検出し符号化ビットレートを測定するために、受信レベルが悪い場所から良好な場所へ移動した場合には、輻輳がなくなるために実際に配信されている符号化ビットレート以上の帯域幅であるところまでしか検出できないため、現状よりも一段、高いレートに切り替えた後、輻輳の状態を検出し、輻輳がなければ、もう一段高いレートという具合に、階段的に配信レートをあげる方法となり、急激に帯域幅が大きくなった場合には、本来、配信できる最適なレートに到達するまでに時間がかかるという欠点があった。
【0012】
つまり、本来ユーザーが得られうる良好な画質の動画像をみるまでに時間がかかり、ともすれば、最適なレートに到達する前に受信レベルが悪くなり、結果として、良好な画質が得られない場合もあるという問題点がある。
【0013】
また、適応変調方式を使用した無線パケットネットワークにおいては、受信レベルが良好な場所から悪いところへ移動した場合には、無線通信の変調方式が変わるために、無線区間の帯域幅が低くなり、パケットの到着時間が遅くなるため、パケットロスなどの検出までに時間がかかるという欠点があり、このため、高いレートの配信データがネットワーク上や無線基地局のキューに溜まってしまうために、切り替えたレートのデータが到達するまでが遅くなったり、クライアント側では、ネットワークの帯域幅が低くなっているにもかかわらず、パケットが到達しないのでサーバーへ現状の高いレートのパケットを再送要求してしまうことにより、不要なデータが多くなり、結果的に実帯域幅よりもかなり低いレートしか有効なデータが通らなくなるという欠点があり、大きなコマ落ちや画像の停止といった画質劣化が生じるという問題点があった。
【0014】
本発明の目的は、動画像ストリーミングの配信開始時にも移動機の受信レベルに適した符号化ビットレートの動画像配信を行うことのできる動画像配信方法、動画像再生装置、及び動画像配信システムを提供することにある。
さらに、本発明の他の目的は、適応変調方式を使用したベストエフォート型の無線パケットネットワークのような帯域幅変動が大きなネットワークを使用する動画像配信においても良好な画質を確保する動画像配信方法、無線端末、及び動画像配信システムを提供することにある。
【0015】
【課題を解決するための手段】
上記した目的を達成するために、請求項1記載の動画像配信方法は、動画像配信制御装置側から無線端末へ動画像データを配信する方法であって、前記無線端末側で、無線信号の受信レベルによって伝送レートの要求値を算出し、前記動画像配信制御装置へ通知する過程と、前記動画像配信制御装置側で、前記要求値に応じたコンテンツレートを決定し、該コンテンツレートで動画像データを配信する過程とを有することを特徴とする。
【0016】
又、請求項2記載の動画像配信方法は、動画像配信制御装置側から無線端末へ動画像データを配信する方法であって、前記無線端末側で、無線信号の受信レベルによって伝送レートの要求値を算出し、該要求値からコンテンツレートを予測し、該予測コンテンツレートを前記動画像配信制御装置へ通知する過程と、前記動画像配信制御装置側で、前記予測コンテンツレートを受信し、該予測コンテンツレートに応じたコンテンツを配信する過程とを有することを特徴とする。
これによれば、動画像ストリーミングの配信開始時にも移動機の受信レベルに適した符号化ビットレートの動画像配信を行うことが可能となる。さらに、帯域幅変動が大きなネットワークを使用する動画像配信においても良好な画質を確保することが可能となる。
【0017】
請求項3記載の動画像配信方法は、受信したパケットがエラー、又はパケットロスが発生した場合にパケットの再送要求をする過程と、前記動画像データを受信中に自端末の受信レベルが急激に低下する方向へ推移したときに受信したパケットがエラー、又はパケットロスが発生した場合、パケットの再送要求を抑止する過程を有することを特徴とする。
【0018】
請求項4記載の動画像配信方法は、前記予測コンテンツレートは所定の間隔で、又は前記動画像配信制御装置からの要求に基づいて該動画像配信制御装置へ通知することを特徴とする。
【0019】
請求項5記載の動画像配信方法は、前記予測コンテンツレートの値が過去の値より所定の閾値を超えて変動した場合のみ、該予測コンテンツレートを該動画像配信制御装置へ通知することを特徴とする。
【0020】
請求項6記載の動画像配信方法は、受信したパケットがエラー、又はパケットロスが発生した場合に前記動画像配信制御装置へ送信する再送要求パケットに前記予測コンテンツレートを含めることを特徴とする。
【0021】
請求項7記載の無線端末は、無線回線を介して動画像配信制御装置側から動画像データを受信し、無線信号の受信レベルによって伝送レートの要求値を算出する算出部と、該要求値を前記動画像配信制御装置へ通知する通知部と、前記動画像配信制御装置側で前記要求値に応じて決定されたコンテンツレートで、動画像データを受信する受信部とを有することを特徴とする。
【0022】
請求項8記載の無線端末は、無線回線を介して動画像配信制御装置から動画像データを受信して再生し、受信した動画像データを再生する動画像データ再生部と、無線信号の受信レベルを監視する受信レベル品質監視部と、前記受信レベルに応じた伝送レートを算出する伝送レート要求演算部と、前記伝送レートに基づき、前記受信レベルに適したコンテンツのコンテンツレートを予測するレート予測部と、前記レート予測部で予測したコンテンツレートを前記動画像配信制御装置へ通知する通知部とを有することを特徴とする。
【0023】
請求項9記載の動画像配信制御装置は、無線端末へ動画像データを配信する動画像配信制御装置であって、前記無線端末側で無線信号の受信レベルによって算出された伝送レートの要求値を受信する受信部と、前記要求値に応じたコンテンツレートを決定する決定部と、該コンテンツレートで動画像データを配信する配信部とを有することを特徴とする。
【0024】
請求項10記載の動画像配信制御装置は、無線端末へ動画像データを配信する動画像配信制御装置であって、前記無線端末側で無線信号の受信レベルによって伝送レートの要求値が算出され、該要求値から予測された予測コンテンツレートを受信する受信部と、前記予測コンテンツレートに応じたコンテンツを配信する配信部とを有することを特徴とする。
【0025】
請求項11記載の動画像配信システムは、動画像配信制御装置と無線端末を備え、前記無線端末は、無線信号の受信レベルによって伝送レートの要求値を算出する算出部と、該要求値からコンテンツレートを予測するレート予測部と、該予測コンテンツレートを前記動画像配信制御装置へ通知する通知部とを有し、前記動画像配信制御装置は、前記予測コンテンツレートを受信する受信部と、該予測コンテンツレートに応じたコンテンツを配信する配信部とを有することを特徴とする。
【0026】
請求項12記載の動画像配信システムは、動画像配信制御装置と無線端末を備えた動画像配信システムであって、前記無線端末は、無線信号の受信レベルによって伝送レートの要求値を算出する算出部と、該要求値を前記動画像配信制御装置へ通知する通知部とを有し、前記動画像配信制御装置は、前記要求値を受信する受信部と、該要求値からコンテンツレートを予測するレート予測部と、該予測コンテンツレートに応じたコンテンツを配信する配信部とを有することを特徴とする。
【0027】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、以下の実施形態で「データ転送レート(伝送レート)」という場合、無線端末と基地局との間の伝送レートを意味する。又、本発明で「コンテンツレート」という場合、映像や音声のデータを配信するときは符号化ビットレートを意味し、それ以外のデータ(テキストデータ)を配信するときはビットレートを意味するものとする。
【0028】
図1、2は、本発明の動画像配信システムの一実施例における無線端末(動画像再生装置)での符号化ビットレート通知の方法のフローチャートである。まず、S100において、無線信号の受信レベルの測定を行う。S101では、受信レベルよりデータ転送要求レート値の算出を行う。S100及びS101は受信の各スロット毎に行われるものとする。次にS102では、n(nは1以上の整数)サンプル分のデータ転送要求レート値を得られたかどうかの判定を行う。
【0029】
符号化ビットレートの予測方法としては、サンプル数n分のデータ転送レート要求値を取得すると、S103により、単位時間当たりのデータ転送レート要求値の平均値を求める。ここでいう単位時間とは、上述のnサンプルを取得する時間である。求められた平均値は、S104でメモリ上に時系列的に退避される。S105では、前回に求めた単位時間あたりの平均値と比較し、閾値内にある場合には、S108で現在の符号化ビットレートで対応できるかどうかの判定を行う。
【0030】
例えば、16スロット毎に符号化ビットレートの演算を行う場合には、nは16となる。ここで、nを小さくとればネットワークの帯域幅変動に対して瞬時に対応できることが可能となる変わりに得られる画像の品質が著しく変動する結果となる。nの値が大きくなるとネットワークの帯域幅変動に対して瞬時に対応をとれなくなるが、得られる画像の品質の変動は少なくなる。MPEG−4などで圧縮された動画像データをやり取りする場合、その符号化ビットレートの切り替えタイミングは、GOP(Group Of Picture)単位であったり、VOP(Video Object Plane)単位であったりする。この場合、nの値はGOPやVOPなどの間隔の1/4から1/5程度の時間になるようにすることにより、帯域幅変動の推移を計測し、符号化ビットレートを制御することが望ましい。
【0031】
ここで使用する閾値は、表1の様に変調方式と帯域幅が変動するネットワークにおいて、表2の様に、帯域幅毎に使用される閾値を設定される。
【表1】
【表2】
【0032】
これを用いて、前回の値に対して、今回の値が対象となる閾値の範囲内にあるかどうかを判定する。また、閾値は帯域幅が下がる方向と上がる方向でヒステリシスを用いた形で設定を行うことが望ましい。尚、表1及び表2の値や項目数については、この限りではなく、使用するネットワークの特性や動画像符号化方式等により変わるものであるので表1及び表2の値は、本説明に用いる一実施例である。
【0033】
S105で閾値の範囲内でないという判定の場合には、S106で前々回の値と比較する。
【0034】
S103で求められた平均値が前々回の値の閾値内にある場合には、S108で現在の符号化を行う符号化ビットレートで対応できるかどうかの判定を行う。
【0035】
ここで,S105で閾値範囲外であったにもかかわらず,S106で閾値範囲内の場合に新しい符号化ビットレートを求めない理由としては、動画像の符号化ビットレートを求める場合は、前述のGOPやVOPの単位で符号化ビットレートを変動させるために、その単位時間当たりの平均符号化ビットレートを求めればよいからである。そのため、少なくとも3点以上で計測することが必要となる。
【0036】
S106で閾値範囲外であった場合には、新たな符号化ビットレートを予測する必要がでてくる。
【0037】
S107では、現在の平均データ転送レート要求値と過去のそれより、新しい符号化ビットレートを予測する。
【0038】
S108では、S107で求めた、新しい符号化ビットレートが現在受信している符号化ビットレートで適合可能かを判定し、適合可能である場合には、符号化ビットレートを変更する必要が生じないため、S100の受信レベルの測定に戻る。現在受信している符号化ビットレートで適合不可の場合には、S107で求めた新しい符号化ビットレートをS109にてサーバーへ通知する。S110では、新しい符号化ビットレートを基に、それに対応する閾値を新たに設定する。
【0039】
上述の方法により、無線信号の受信レベルから符号化ビットレートの予測を行うために、従来のように実際のデータパケットをやり取りする必要がなく、データ受信開始前にも同様の手法で符号化ビットレートの予測を行うことが可能となる。
【0040】
次に、図1のS107にて行われる符号化ビットレートの予測の手法について図3を用いて説明を行う。ここでは、図1、2で示された本発明の一実施例での予測方法を説明するだけであって、限定するものではない。
【0041】
図3は、ネットワークにおける符号化ビットレート変動の一例である。各計測点で測定・算出された単位時間当たりの平均データ転送レート要求値を時間の古い順にa,b,cとし、新たに求めるデータ転送レート要求予測値をdとする。
【0042】
図3(a)の様に、a<b<cの場合、cがネットワークの帯域幅の上限値でない限り、dはc<dであることが予想される。予測される符号化ビットレートは、b−c間での推移を基に予測を行う。単位時間tは同一間隔でサンプリングを行うと同じなので、単位時間当たりで予測される次のデータ転送レートは、d=c+(c−b)と仮定することでよい。a−b間の推移とb−c間の推移の2つを用いて予測を行う場合には、
d=c + ((c−b)/(b−a) * (c―b))
と予測すればよい。
【0043】
図3(b)の様に、a>b>cの場合には、cがネットワークの下限値でない場合には、c>dであることが予想される。a−b間の推移とb−c間の推移の2つを用いて予測を行う場合には、
d=c − ((b−c)/(a−b) * (b−c))
と予測すればよい。
【0044】
図3(c)の様に、a<b>cの場合では、cがネットワークの下限値でない場合には、c>dであることが予想される。この場合、a−b間の推移は、予測の対象にはならず、b−c間の推移を用いて予測を行い、
d=c − (b−c)
と予測すればよい。
【0045】
図3(d)の様に、a>b<cの場合では、cがネットワークの上限値でない場合には、c<dであることが予想される。この場合、a−b間の推移は、予測の対象にはならず、b−c間の推移を用いて予測を行い、
d=c+(c−b)
と予測すればよい。
【0046】
ここで、求められた予測値dは、物理レイヤーの予測スループットであるため、実際に転送される際のIPヘッダー等を差し引いたものが予測値となる、また、無線ネットワークにおいては、エラー発生率が多く、ここで、エラー発生率を1%と仮定すると1%のエラーによって数パケットが紛失し再送を行うことを考慮することが望ましい。
【0047】
それらを差し引いたものを求めた結果eとした場合、eが閾値内に含まれる符号化ビットレートを表2をテーブル化したものより算出し、新たな符号化ビットレートとすることにより予測することが可能となる。
【0048】
図2のS109における新しい符号化ビットレートのサーバーへの通知に関しては、RTPを使用するようなプロトコルの場合には、RTCPパケットに含めることで通知パケットの効率を図ることができる。また、符号化ビットレートに変動があった場合のみ通知することも可能である。
【0049】
また、一般に動画像をストリーミング配信するシステムにおいて、ネットワーク上でパケットを紛失した場合には、動画像再生装置側で紛失を検出し、紛失したパケットのシーケンス番号をサーバーへ通知することによりパケットの再送を行う。動画像再生装置は、再送パケットの到着が実再生時間内に間に合う場合には再生し、実再生時間に間に合わない場合には廃棄する。また、動画像の符号化ビットレートが高い場合には、パケット長を長くし、低い場合には、パケット長を短くするなどネットワークの帯域幅によって送出するパケットサイズを変更することが一般的に知られている。この様なシステムを無線パケットネットワークへ適用した場合には、図4で示される通り、ネットワークの帯域幅が急激に低下した場合などにおいては、再送を要求したパケットに含まれる符号化ビットレートが、実際にパケットの再送を行う場合のネットワークの帯域幅よりも高い場合が発生する。この様なことになると、実ネットワークの帯域幅よりも高い符号化ビットレートの動画像を再送することになり、ネットワーク上で輻輳等が発生しやすい状況となり、画像の途切れなどが発生しやすくなる。この場合においても、前述の符号化ビットレートを予測することにより、ネットワークの帯域幅が下がる方向にあることを予測可能なために、再送要求を抑止することが可能となる。これにより上述の問題を回避することが可能である。
【0050】
また、エラーパケットの再送を要求する場合には、再送要求を行う通知パケット内に符号化ビットレートの予測結果を含めることにより、配信サーバー側で再送を行うか否かを判定することも可能となる。また、配信サーバー側では、予測値に基づいた新たな符号化ビットレートで構成された、エラーパケットを含むVOPまたは、GOPなどに基づいて再送することも可能となる。
【0051】
図5、6は、前記予測部分を動画像配信制御装置に持たせた場合のフローチャートである。図5のS200〜S204は無線端末の処理を、図6のS300〜S307は動画像配信制御装置の処理を示す。
【0052】
S200において、受信レベルの測定を行う。S201では、受信レベルよりデータ転送要求レート値の算出を行う。S200及びS201は受信の各スロット毎に行われるものとする。次にS202では、n(nは1以上の整数)サンプル分のデータ転送レート要求値を得られたかどうかの判定を行う。サンプル数n分のデータ転送レート要求値を取得すると、S203により、単位時間当りのデータ転送レート要求値の平均値を求める。ここでいう単位時間とは、上述のnサンプルを取得する時間である。S203で単位時間当りのデータ転送レート要求値の平均値が求まるとS204で、動画像配信制御装置へ無線網を介して通知を行う。無線端末側では、上述の動作を繰り返すことにより、一定時間毎にデータ転送レート要求値の平均値を動画像配信制御装置へ通知することが可能である。
【0053】
動画像配信制御装置側では、S300で上記平均値の受信待ちの状態で始まる。S300で上記平均値を無線端末から受信するとS301で受信した算出値を時系列的にメモリ上に退避する。S302では、前回に求めた単位時間当りの平均値と比較し、閾値内にある場合には、S305で現在の符号化を行うビットレートで対応できるかどうかの判定を行う。
【0054】
ここで使用する閾値は、前述と同様に表2のように、帯域幅毎に使用される閾値が設定される。これを用いて、前回の値に対して、今回の値が対象となる閾値の範囲内にあるかどうかを判定する。また、閾値は帯域幅が下がる方向と上がる方向とでビステリシスを用いた形で設定を行うことが望ましい。
【0055】
S302で閾値の範囲内でないという判定の場合には、S303で前々回の値と比較する。
S300で受信した平均値が前々回の値の閾値内にある場合には、S305で現在の符号化を行うビットレートで対応できるかどうかの判定を行う。
ここで、S302で閾値範囲外であったにもかかわらず、S303で閾値範囲内の場合に、新しいビットレートを求めないのは、動画像の符号化ビットレートを求める場合には、前述のGOPやVOPの単位でのビットレートを変動させるために、その単位時間当りの平均ビットレートを求めればよいからである。そのため、少なくとも3点以上で計測することが必要となる。
【0056】
S303で閾値範囲外であった場合には、新たなビットレートを予測する必要が生じる。S304では、現在の平均データ転送レート要求値と過去のそれより、新しい符号化ビットレートを求める。S305では、S304で求めた、新しい符号化ビットレートが現在受信している符号化ビットレートで適合可能かを判定し、適合可能である場合には、符号化ビットレートを変更する必要が生じないため、S300の平均値の受信待ち状態に戻る。
【0057】
現在受信している符号化ビットレートで適合不可能な場合には、S306においてS304で求めた新しい符号化ビットレートに対応したビットレートのコンテンツ配信を行う。S307で、新しい符号化ビットレートを基に、それに対応する閾値を新たに設定し、S300の平均値受信待ちの状態に戻る。
【0058】
次に、図面を用いて本発明の動画像配信システム及び無線端末(動画像再生装置)について説明する。図7,8は本発明の動画像配信システム及び動画像再生装置の一実施例における構成図である。
【0059】
配信サーバー600内には、あらかじめ、低レートから高レートまでのいくつかの動画像符号化ビットレートで符号化された同一内容のコンテンツデータ603a〜603nを用意し、最も低レートのコンテンツデータを603aとする。
【0060】
動画像再生装置700は、常に受信レベル品質監視部701を使用して無線信号の受信レベルの測定を行っている。受信レベル品質監視部701で測定された受信レベルは、データ転送レート要求演算部702を使用して、その受信レベルに対応するデータ転送レート要求値を決定する。決定されたデータ転送レート要求値より(符号化)ビットレート予測部703を使用して受信レベルに対応する(符号化)ビットレートの予測を行っている。
【0061】
ユーザーの所望するコンテンツを再生しようと動画像再生装置700を操作すると、コンテンツ再生の要求とともに、その時の(符号化)ビットレート予測部703で予測された符号化ビットレートが(符号化)ビットレート予測値通知部704を介し、回線インターフェイス部705を使用して配信サーバー600へ通知される。
【0062】
コンテンツの再生の要求と予測された符号化ビットレートを回線インターフェイス部601にて受信した配信サーバー600は、受信パケット解読部602を使用して受信したパケットが、コンテンツ再生要求と予測符号化ビットレート値であることを解析し、コンテンツ再生要求に対応したコンテンツデータ603の中より(符号化)ビットレート選択部604を使用して、予測符号化ビットレート値に対応したコンテンツデータを選択する。例えば、予測符号化ビットレートが一番低いレートの場合には、コンテンツデータ603aを選択する。
【0063】
(符号化)ビットレート選択部604で選択されたコンテンツデータは、回線インターフェイス部601を介して、動画像再生装置700へ配信される。動画像再生装置700では、回線インターフェイス部705を介して受信したコンテンツデータをパケットロス検出部706を使用して受信したパケットより、パケットロスの検出を行い、パケットロスがない場合には、動画像データ再生部707を使用して動画像データの復号化を行い、表示部708へ表示する。パケットロス検出部706でパケットロスを検出した場合には、再送要求部709を使用して再送要求パケットを構築する。再送要求部709で作成された再送要求パケットは、(符号化)ビットレート予測値通知部704で現在の符号化ビットレート予測値を挿入され、回線インターフェイス部705によって配信サーバー600へ通知される。
【0064】
配信サーバー600は、回線インターフェイス部601を介して、上記パケットを受信すると、受信パケット解読部602において、再送要求と解読され、再送制御部605へ通知する。再送制御部605は、再送要求パケットに含まれる符号化ビットレート予測値が再送パケットに含まれる動画像データの符号化ビットレートで対応可能な場合には、再送信バッファ606よりエラーパケットの再送を回線インターフェイス部601を介して送信する。前記符号化ビットレート予測値が動画像データの符号化ビットレートで対応不可能な場合には、再送制御部605は、新たにコンテンツデータ603の中より前記符号化ビットレート予測値に対応したコンテンツデータのパケットを送信する。ここで、符号化ビットレート予測値に対して、動画像データの符号化ビットレートが対応可能かどうかは、符号化ビットレート予測値に対して常に最適なものを選択してもよいし、符号化ビットレート予測値が動画像の符号化ビットレート値よりも大きい場合には、ネットワークの帯域幅に余裕があるため、対応可能と判定してもよい。
【0065】
また、符号化ビットレート予測値に対して、再送を行う動画像データの符号化ビットレートが対応不可能な場合には、符号化ビットレート予測値に適した符号化ビットレートで符号化された動画像データをコンテンツデータ600から新たに再送してもよいし、再送を行わないことによってネットワークの輻輳を抑止することも可能である。
【0066】
動画像再生装置700は、動画像再生中においては、パケットロス検出部706でパケットロスを検出していない状況でも(符号化)ビットレート予測部703で予測された符号化ビットレートが変化した時点で、(符号化)ビットレート予測値通知部704及び回線インターフェイス部705を使用して、配信サーバー600へ符号化ビットレートが変動することを通知することが可能である。
【0067】
また、配信サーバー600から符号化ビットレート予測値の要求があった場合や、一定時間毎に、符号化ビットレート予測部703で算出された情報を符号化ビットレート予測値通知部704及び回線インターフェイス部705を介して配信サーバー600へ通知することも可能である。
【0068】
配信サーバー600は、上述の様に、動画像再生装置700より通知された符号化ビットレート予測値を回線インターフェイス部601を介して受信し、受信パケット解読部602で解読した結果、受信した符号化ビットレート予測値が、現在送信している動画像データの符号化ビットレートと異なる場合には、符号化ビットレート選択部604を使用して、送信するコンテンツデータ603の符号化ビットレートを予測された符号化ビットレートに最適なものに変更することが可能となる。
【0069】
上述の様にして、動画像ストリーミングの配信開始時にも移動機の受信レベルに適した符号化ビットレートの動画像配信を行うことが可能となる。さらに、帯域幅変動が大きなネットワークを使用する動画像配信においても、良好な画質を確保することが可能となる。
【0070】
なお、上記した例では動画像配信サーバーが可変符号化ビットレート制御を行ったが、サーバー−クライアント(無線端末)間に位置する装置(ゲートウェイなど)が可変符号化ビットレート制御を行ってもよい。又、無線端末が通知する伝送レート(データ転送レート)としては、例えば1xEV−DOと称される通信システムにおけるDRCが挙げられる。
【0071】
【発明の効果】
以上説明したように、本発明の動画像配信方法、無線端末、及び動画像配信システムによれば、無線パケットネットワークにおいて、動画像ストリーミングの配信開始時にも無線端末(移動機)の受信レベルに適した符号化ビットレートの動画像配信を行うことが可能である。
さらに、適応変調方式を使用したベストエフォート型の無線パケットネットワークのような帯域幅変動が大きなネットワークを使用する動画像配信においても、本発明のように前方予測でリアルタイムにビットレートを対応させるので、良好な画質を確保する動画像配信を行うことが可能である。
【図面の簡単な説明】
【図1】本発明の一実施例における符号化ビットレート通知の方法を示すフロー図。
【図2】図1に続く図。
【図3】ネットワークにおける符号化ビットレート変動の状態の一例を示す図。
【図4】ネットワークの帯域幅が急激に低下した場合のエラー検出と再送のタイミング例を示す図。
【図5】本発明の別の実施例における符号化ビットレート通知の方法を示すフロー図。
【図6】図5に続く図。
【図7】本発明の動画像配信システム及び無線端末の一実施形態における構成を示す図。
【図8】図7に続く図。
【符号の説明】
600・・・配信サーバー(動画像配信制御装置)
601・・・回線インターフェイス部(受信部、配信部)
602・・・受信パケット解読部
603・・・コンテンツデータ
604・・・(符号化)ビットレート選択部(決定部)
605・・・再送制御部
606・・・再送信バッファ
700・・・動画像再生装置(無線端末)
701・・・受信レベル品質監視部
702・・・データ転送レート要求演算部(算出部)
703・・・(符号化)ビットレート予測部(レート予測部)
704・・・(符号化)ビットレート予測通知部(通知部)
705・・・回線インターフェイス部(通知部、受信部)
706・・・パケットロス検出部
707・・・動画像データ再生部
708・・・表示部
709・・・再送要求部
Claims (12)
- 動画像配信制御装置側から無線端末へ動画像データを配信する方法であって、
前記無線端末側で、無線信号の受信レベルによって伝送レートの要求値を算出し、前記動画像配信制御装置へ通知する過程と、
前記動画像配信制御装置側で、前記要求値に応じたコンテンツレートを決定し、該コンテンツレートで動画像データを配信する過程と
を有することを特徴とする動画像配信方法。 - 動画像配信制御装置側から無線端末へ動画像データを配信する方法であって、
前記無線端末側で、無線信号の受信レベルによって伝送レートの要求値を算出し、該要求値からコンテンツレートを予測し、該予測コンテンツレートを前記動画像配信制御装置へ通知する過程と、
前記動画像配信制御装置側で、前記予測コンテンツレートを受信し、該予測コンテンツレートに応じたコンテンツを配信する過程と
を有することを特徴とする動画像配信方法。 - 受信したパケットがエラー、又はパケットロスが発生した場合にパケットの再送要求をする過程と、
前記動画像データを受信中に自端末の受信レベルが急激に低下する方向へ推移したときに受信したパケットがエラー、又はパケットロスが発生した場合、パケットの再送要求を抑止する過程と
を有することを特徴とする請求項1又は2に記載の動画像配信方法。 - 前記予測コンテンツレートは所定の間隔で、又は前記動画像配信制御装置からの要求に基づいて該動画像配信制御装置へ通知することを特徴とする請求項2又は3に記載の動画像配信方法。
- 前記予測コンテンツレートの値が過去の値より所定の閾値を超えて変動した場合のみ、該予測コンテンツレートを該動画像配信制御装置へ通知することを特徴とする請求項2及至4のいずれかに記載の動画像配信方法。
- 受信したパケットがエラー、又はパケットロスが発生した場合に前記動画像配信制御装置へ送信する再送要求パケットに前記予測コンテンツレートを含めることを特徴とする請求項2及至5のいずれかに記載の動画像配信方法。
- 無線回線を介して動画像配信制御装置側から動画像データを受信し、
無線信号の受信レベルによって伝送レートの要求値を算出する算出部と、
該要求値を前記動画像配信制御装置へ通知する通知部と、
前記動画像配信制御装置側で前記要求値に応じて決定されたコンテンツレートで、動画像データを受信する受信部と
を有することを特徴とする無線端末。 - 無線回線を介して動画像配信制御装置から動画像データを受信して再生し、
受信した動画像データを再生する動画像データ再生部と、
無線信号の受信レベルを監視する受信レベル品質監視部と、
前記受信レベルに応じた伝送レートを算出する伝送レート要求演算部と、
前記伝送レートに基づき、前記受信レベルに適したコンテンツのコンテンツレートを予測するレート予測部と、
前記レート予測部で予測したコンテンツレートを前記動画像配信制御装置へ通知する通知部と
を有することを特徴とした無線端末。 - 無線端末へ動画像データを配信する動画像配信制御装置であって、
前記無線端末側で無線信号の受信レベルによって算出された伝送レートの要求値を受信する受信部と、
前記要求値に応じたコンテンツレートを決定する決定部と、
該コンテンツレートで動画像データを配信する配信部と
を有することを特徴とする動画像配信制御装置。 - 無線端末へ動画像データを配信する動画像配信制御装置であって、
前記無線端末側で無線信号の受信レベルによって伝送レートの要求値が算出され、該要求値から予測された予測コンテンツレートを受信する受信部と、
前記予測コンテンツレートに応じたコンテンツを配信する配信部と
を有することを特徴とする動画像配信制御装置。 - 動画像配信制御装置と無線端末を備えた動画像配信システムであって、
前記無線端末は、
無線信号の受信レベルによって伝送レートの要求値を算出する算出部と、
該要求値からコンテンツレートを予測するレート予測部と、
該予測コンテンツレートを前記動画像配信制御装置へ通知する通知部とを有し、
前記動画像配信制御装置は、前記予測コンテンツレートを受信する受信部と、
該予測コンテンツレートに応じたコンテンツを配信する配信部とを有することを特徴とする動画像配信システム。 - 動画像配信制御装置と無線端末を備えた動画像配信システムであって、
前記無線端末は、
無線信号の受信レベルによって伝送レートの要求値を算出する算出部と、
該要求値を前記動画像配信制御装置へ通知する通知部とを有し、
前記動画像配信制御装置は、前記要求値を受信する受信部と、
該要求値からコンテンツレートを予測するレート予測部と、
該予測コンテンツレートに応じたコンテンツを配信する配信部とを有することを特徴とする動画像配信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002317266A JP2004153610A (ja) | 2002-10-31 | 2002-10-31 | 動画像配信方法、無線端末、動画像配信制御装置、及び動画像配信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002317266A JP2004153610A (ja) | 2002-10-31 | 2002-10-31 | 動画像配信方法、無線端末、動画像配信制御装置、及び動画像配信システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004153610A true JP2004153610A (ja) | 2004-05-27 |
Family
ID=32460705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002317266A Pending JP2004153610A (ja) | 2002-10-31 | 2002-10-31 | 動画像配信方法、無線端末、動画像配信制御装置、及び動画像配信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004153610A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009044651A (ja) * | 2007-08-10 | 2009-02-26 | Mitsubishi Electric Corp | コンテンツ配信方法、コンテンツ配信システム、無線端末及びコンテンツ配信サーバ |
US7768934B2 (en) | 2004-10-29 | 2010-08-03 | Sharp Kabushiki Kaisha | Communications device, communications method, communications program, storage medium storing the communications program, and communications system |
WO2011136337A1 (ja) * | 2010-04-30 | 2011-11-03 | ブラザー工業株式会社 | 通信装置、通信方法、通信プログラム |
JP2013214799A (ja) * | 2012-03-30 | 2013-10-17 | Ntt Communications Kk | ストリーミングメディア再生装置、メディアビットレート変更判定方法、及びプログラム |
JP2014506748A (ja) * | 2011-01-21 | 2014-03-17 | ネットフリックス・インコーポレイテッド | 適応ストリーミングのための様々なビットのビデオストリーム |
JP2014147092A (ja) * | 2009-10-16 | 2014-08-14 | Qualcomm Incorporated | マルチメディアを適応的にストリーミングすること |
-
2002
- 2002-10-31 JP JP2002317266A patent/JP2004153610A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7768934B2 (en) | 2004-10-29 | 2010-08-03 | Sharp Kabushiki Kaisha | Communications device, communications method, communications program, storage medium storing the communications program, and communications system |
JP2009044651A (ja) * | 2007-08-10 | 2009-02-26 | Mitsubishi Electric Corp | コンテンツ配信方法、コンテンツ配信システム、無線端末及びコンテンツ配信サーバ |
JP2014147092A (ja) * | 2009-10-16 | 2014-08-14 | Qualcomm Incorporated | マルチメディアを適応的にストリーミングすること |
US9124642B2 (en) | 2009-10-16 | 2015-09-01 | Qualcomm Incorporated | Adaptively streaming multimedia |
WO2011136337A1 (ja) * | 2010-04-30 | 2011-11-03 | ブラザー工業株式会社 | 通信装置、通信方法、通信プログラム |
JP2011234297A (ja) * | 2010-04-30 | 2011-11-17 | Brother Ind Ltd | 通信装置、通信方法、通信プログラム |
JP2014506748A (ja) * | 2011-01-21 | 2014-03-17 | ネットフリックス・インコーポレイテッド | 適応ストリーミングのための様々なビットのビデオストリーム |
JP2013214799A (ja) * | 2012-03-30 | 2013-10-17 | Ntt Communications Kk | ストリーミングメディア再生装置、メディアビットレート変更判定方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11563788B2 (en) | Multipath data streaming over multiple networks | |
US11503307B2 (en) | System and method for automatic encoder adjustment based on transport data | |
JP3757857B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
US7987284B2 (en) | Communication processing apparatus, data communication system, and communication processing method | |
US8516346B2 (en) | Packet transmission apparatus, communication system and program | |
US7784076B2 (en) | Sender-side bandwidth estimation for video transmission with receiver packet buffer | |
EP2174438B1 (en) | Video streaming over multiple interfaces | |
EP2129126A1 (en) | Transmission apparatus, transmission method, and reception apparatus | |
JP2006303925A (ja) | 送受信システム、送信装置および送信方法、受信装置および受信方法、並びにプログラム | |
US8811180B2 (en) | Communication apparatus and communication method | |
KR100851918B1 (ko) | 네트워크 적응형 데이터 전송 방법, 이를 위한 데이터 전송시스템, 데이터 송신 장치, 및 데이터 수신 장치 | |
JP2004153610A (ja) | 動画像配信方法、無線端末、動画像配信制御装置、及び動画像配信システム | |
JP2002325095A (ja) | データ通信システム、データ送信装置及びデータ通信方法 | |
JP2005184662A (ja) | データ伝送装置、データ受信装置、および通信システム | |
WO2016015133A1 (en) | System and method for automatic encoder adjustment based on transport data | |
JP2009044651A (ja) | コンテンツ配信方法、コンテンツ配信システム、無線端末及びコンテンツ配信サーバ | |
KR20060016809A (ko) | 미디어 신호의 수신장치, 송신장치 및 송수신 시스템 | |
JP2004186793A (ja) | ストリーミング配信装置、ストリーミング端末装置、ストリーミング配信システム、及びストリーミング配信方法 | |
KR100880568B1 (ko) | 모바일 아이피티브이 환경에서 신호세기에 따른 컨텐츠데이터 전송 방법 | |
JP2004153617A (ja) | 通信システム、無線通信端末、データ配信装置及び通信方法 | |
KR102491033B1 (ko) | 왕복 시간 추정 | |
JP2006067410A (ja) | 送信装置および方法、プログラム、並びに送受信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071025 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071116 |