JP2004312560A - Streaming receiving terminal, and streaming distribution apparatus - Google Patents

Streaming receiving terminal, and streaming distribution apparatus Download PDF

Info

Publication number
JP2004312560A
JP2004312560A JP2003105760A JP2003105760A JP2004312560A JP 2004312560 A JP2004312560 A JP 2004312560A JP 2003105760 A JP2003105760 A JP 2003105760A JP 2003105760 A JP2003105760 A JP 2003105760A JP 2004312560 A JP2004312560 A JP 2004312560A
Authority
JP
Japan
Prior art keywords
distribution
streaming
video data
video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003105760A
Other languages
Japanese (ja)
Inventor
Kenichi Marumo
憲一 丸茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2003105760A priority Critical patent/JP2004312560A/en
Publication of JP2004312560A publication Critical patent/JP2004312560A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a streaming receiving terminal capable of realizing stable data communications even when moving between the networks of different line bands. <P>SOLUTION: The streaming receiving terminal 10 is provided with a receiving module 13 for receiving the video data and audio data transmitted from a streaming distribution apparatus 30, a frame check module 15 for counting the number of the dropped frames in the video data received by the receiving module 13, a video distribution stop judging module 16 for judging whether or not the distribution of the video data is to be stopped on the basis of the quality evaluated by the frame check module 15, and a distribution request transmitting module 12 for transmitting a distribution stop request for the video data to the streaming distribution apparatus when the video distribution stop judging module 16 judges that the distribution of the video data is to be stopped. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
映像データ及び音声データのマルチメディアデータをストリーミング受信するストリーミング受信端末、及びマルチメディアデータをストリーミング配信するストリーミング配信装置に関する。
【0002】
【従来の技術】
従来から、インターネットなどのネットワークを通じて映像や音声などのマルチメディアデータを視聴する際に、データを受信しながら同時に再生を行なうストリーミング配信が知られている。また、近年のインターネットの急速な普及により、ユーザが様々なネットワーク環境に移動しても、そのインターネットセッションを途切れることなく接続維持することができる新しい技術、「MobileIP」が注目されている。
【0003】
【特許文献1】
特開平11−275145号公報
【0004】
【特許文献2】
特開2002−94603号公報
【0005】
【発明が解決しようとする課題】
しかしながら、ストリーミング配信を上記したMobileIPに適用すると、次のような問題点が生じることがあった。すなわち、マルチメディアデータの配信中にデータを受信する受信端末が異なる回線帯域のネットワーク間を移動した際に、ネットワーク切り替え時のQoS制御がスムーズに行なわれず、映像や音声の一時的な停止や乱れが生じることがあった。
【0006】
本発明は、上記課題を解決し、回線帯域が異なるネットワーク間を移動した場合でも、安定したデータ通信を実現できるストリーミング受信端末、及びストリーミング配信装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明に係るストリーミング受信端末は、ストリーミング配信装置から送信される映像データ及び音声データを受信する受信手段と、受信手段によって受信した映像データの品質を評価する映像品質評価手段と、映像品質評価手段によって評価された品質に基づいて、映像データの配信を停止させるか否か判定する映像配信停止判定手段と、映像配信停止判定手段によって映像データの配信を停止させると判定された場合に、映像データの配信停止要求をストリーミング配信装置に送信する送信手段と、を備えることを特徴とする。
【0008】
一般にマルチメディアのストリーミング配信において映像データと音声データとを比較した場合、映像データ配信に要する伝送帯域の方がはるかに広い。そのため、テレビなどの映像付きのマルチメディアデータの配信中に、ストリーミング受信端末とストリーミング配信装置との間で帯域変動が発生した場合、ストリーミング受信端末では映像・音声共に不安定な受信状態となる。その一方で、現実のユーザのニーズを考えると、ネットワークが切り替わるという事象が発生するのはユーザが移動しているということが一つの前提であり、車や電車などの例を考えるまでもなく移動中において映像を見たいというニーズは少ない。しかし、移動中においても、ヘッドホンステレオのように音楽等を聞きたいというニーズは確実に存在している。この点に着目し、ネットワークが切り替わった際にも安定してデータを受信できるストリーミング受信端末を発明した。本発明に係るストリーミング受信端末によれば、映像品質評価手段によって受信した映像データの品質を評価し、映像配信停止判定手段が映像データの品質に基づいて映像データの配信を停止させるか否か判定する。そして、映像データの配信を停止させる場合には、その要求を送信手段によってストリーミング配信装置に送信することにより、映像データの配信を停止させ、音声データのみ受信できる。このような構成を有するストリーミング受信端末によれば、回線帯域幅の狭いネットワークに移動した際には、速やかに映像データの配信を停止することにより、ネットワークが切り替わる際のQoS制御に要する時間を短縮することができる。また、ネットワークが切り替わった後においては、安定した音声データのストリーミング配信を実現できる。
【0009】
上記ストリーミング受信端末において映像品質評価手段は、所定時間内におけるコマ落ち数をカウントし、映像配信停止判定手段は、映像品質評価手段によってカウントされたコマ落ち数が所定の閾値以上となった場合に、映像データの配信を停止させると判定することをさらなる特徴とする。
【0010】
このように所定時間内におけるコマ落ち数に基づいて映像品質を判定することが簡易でかつ確実な方法である。
【0011】
上記ストリーミング受信端末は、映像配信停止判定手段によって映像配信を停止させると判定された場合には、映像データを再生処理するための画像処理回路及び表示デバイスへの電源供給を停止させることをさらなる特徴とする。
【0012】
このように映像配信を停止させる場合に映像データ再生用の画像処理回路及び表示デバイスへの電源供給を停止させることにより、ストリーミング受信端末の電池寿命を延長させることができる。
【0013】
上記ストリーミング受信端末は、接続中のネットワークの回線帯域幅を判定する回線帯域幅判定手段と、映像データの配信停止後において、受信手段によって受信する音声データの転送量が回線帯域幅判定手段によって判定された回線帯域幅より大きい場合に、ストリーミング配信装置と協働して音声データのストリーミング配信のQoS制御を行うQoS制御手段と、をさらに備えることを特徴とする。
【0014】
ネットワークの回線帯域幅が音声データ転送量より小さい場合には、映像データの配信を停止してもデータ受信が不安定になるので、回線帯域幅判定手段によって接続中の回線帯域幅を判定し、音声データ転送量がそれより大きい場合には音声データの配信をQoS制御することが好ましい。
【0015】
上記ストリーミング受信端末は、回線帯域幅判定手段によって判定された回線帯域幅が、映像データ及び音声データの転送量より大きい場合に、映像データの配信を開始させると判定する映像配信開始判定手段をさらに備え、送信手段は、映像配信開始判定手段によって映像データの配信を開始させると判定された場合に、映像データの配信開始要求をストリーミング配信装置に送信することをさらなる特徴とする。
【0016】
映像データ及び音声データを合わせたデータ転送量より回線帯域幅が大きいネットワークにおいては、ストリーミング配信装置によって映像データ及び音声データの両方を配信することができるので、配信開始要求をストリーミング配信装置に送信することが好ましい。
【0017】
本発明に係るストリーミング配信装置は、映像データ及び音声データをストリーミング配信する装置であって、上記ストリーミング受信端末から映像データの配信停止要求が送信された際にそのストリーミング受信端末に対する映像データの配信を停止して音声データのみ配信することを特徴とする。
【0018】
上記したストリーミング受信端末から送信される映像データの配信停止要求に基づいて映像データの配信を停止して音声データのみ配信することにより、帯域の狭いネットワークに切り替わる際のQoS制御時間を短縮すると共に、安定した音声データのストリーミング配信を実現できる。
【0019】
また、本発明に係るストリーミング配信装置は、映像データ及び音声データをストリーミング配信する装置であって、上記ストリーミング受信端末から映像データの配信開始要求が送信された際にそのストリーミング受信端末に対する映像データの配信を開始することを特徴とする。
【0020】
上記したストリーミング受信端末から送信される映像データの配信開始要求に基づいて映像データの配信を開始することにより、回線帯域幅の大きいネットワークではストリーミング受信端末に対し映像データ及び音声データを安定して配信することができる。
【0021】
本発明に係るストリーミング配信システムは、上記ストリーミング受信端末と、そのストリーミング受信端末に映像データ及び音声データを配信すると共にストリーミング受信端末から映像データの配信停止要求が送信された際に映像データの配信を停止して音声データのみ配信するストリーミング配信装置と、を備えることを特徴とする。
【0022】
上記したストリーミング受信端末から送信される映像データの配信停止要求に基づいて映像データの配信を停止して音声データのみ配信することにより、帯域の狭いネットワークに切り替わる際のQoS制御時間を短縮すると共に、安定した音声データのストリーミング配信を実現できる。
【0023】
本発明に係るストリーミング配信システムは、上記ストリーミング受信端末と、そのストリーミング受信端末に映像データ及び音声データを配信すると共にストリーミング受信端末から映像データの配信開始要求が送信された際に映像データの配信を開始するストリーミング配信装置と、を備えることを特徴とする。
【0024】
上記したストリーミング受信端末から送信される映像データの配信開始要求に基づいて映像データの配信を開始することにより、回線帯域幅の大きいネットワークではストリーミング受信端末に対し映像データ及び音声データを安定して配信することができる。
【0025】
本発明に係るストリーミング配信方法は、ストリーミング配信装置からストリーミング受信端末に映像データ及び音声データをストリーミング配信するストリーミング配信方法であって、ストリーミング配信装置からストリーミング受信端末に映像データ及び音声データを送信する第1の送信ステップと、送信ステップにおいて送信された映像データの品質をストリーミング受信端末が評価する映像品質評価ステップと、映像品質評価ステップにおいて評価された品質に基づいて、映像データの配信を停止させるか否かストリーミング受信端末が判定する映像配信停止判定ステップと、映像配信停止判定ステップにおいて映像データの配信を停止させると判定された場合に、ストリーミング受信端末がストリーミング配信装置に映像データの配信停止要求を送信する配信停止要求送信ステップと、配信停止要求送信ステップにおいて配信停止要求が送信されたときに、ストリーミング配信装置が映像データの配信を停止して音声データのみ配信する第2の送信ステップと、を備えることを特徴とする。
【0026】
本発明に係るストリーミング配信方法によれば、受信した映像データの品質を映像品質評価ステップにおいて評価し、映像データの品質に基づいて映像配信停止判定ステップにおいて映像データの配信を停止させるか否か判定する。そして、映像データの配信を停止させる場合には、その要求を配信停止要求送信ステップにおいてストリーミング配信装置に送信することにより、映像データの配信を停止させ、音声データのみ受信できる。このようなストリーミング配信方法によれば、回線帯域幅の狭いネットワークに移動した際には、速やかに映像データの配信を停止することにより、ネットワークが切り替わる際のQoS制御に要する時間を短縮することができる。また、ネットワークが切り替わった後においては、安定した音声データのストリーミング配信を実現できる。
【0027】
上記ストリーミング配信方法において、映像品質評価ステップでは、所定時間内におけるコマ落ち数をカウントし、映像配信停止判定ステップでは、映像品質評価ステップにおいてカウントされたコマ落ち数が所定の閾値以上となった場合に、ストリーミング受信端末が映像データの配信を停止させると判定することをさらなる特徴とする。
【0028】
このように所定時間内におけるコマ落ち数に基づいて映像品質を判定することが簡易でかつ確実な方法である。
【0029】
上記ストリーミング配信方法は、映像データの配信停止後において、接続中のネットワークの回線帯域幅をストリーミング受信端末が判定する回線帯域幅判定ステップと、第2の送信ステップにおいて送信される音声データの転送量が回線帯域幅判定ステップにおいて判定された回線帯域幅より大きい場合に、ストリーミング受信端末が音声データのストリーミング配信のQoS制御を行うQoS制御ステップと、をさらに備えることを特徴とする。
【0030】
ネットワークの回線帯域幅が音声データ転送量より小さい場合には、映像データの配信を停止してもデータ受信が不安定になるので、接続中の回線帯域幅を回線帯域幅判定ステップにおいて判定し、音声データ転送量がそれより大きい場合には音声データの配信をQoS制御することが好ましい。
【0031】
上記ストリーミング配信方法は、回線帯域幅判定ステップにおいて判定された回線帯域幅が、映像データ及び音声データの転送量より大きい場合に、映像データの配信を開始させると判定する映像配信開始判定ステップと、映像配信開始判定ステップにおいて映像データの配信を開始させると判定された場合に、ストリーミング受信端末がストリーミング配信装置に映像データの配信開始要求を送信する映像配信開始要求送信ステップと、をさらに備え、映像配信開始要求送信ステップにおいて映像データの配信開始要求を受信したときに、第1の送信ステップに移行してストリーミング配信装置はストリーミング受信端末に映像データ及び音声データを送信することをさらなる特徴とする。
【0032】
映像データ及び音声データを合わせたデータ転送量より回線帯域幅が大きいネットワークにおいては、ストリーミング配信装置によって映像データ及び音声データの両方を配信することができるので、配信開始要求をストリーミング配信装置に送信することが好ましい。
【0033】
【発明の実施の形態】
以下、図面と共に本発明に係るストリーミング配信装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0034】
図1は、実施形態に係るストリーミング配信システム1の構成を示すブロック図である。ストリーミング配信システム(以下、「配信システム」という)1は、ストリーミング配信装置(以下、「配信装置」という)30と、ストリーミング受信端末10(以下、「受信端末」という)10と、が接続されて構成されている。受信端末10は、移動しても配信装置30とのセッションを維持することができるモバイルIPネットワークによって接続されている。これを実現するため、配信装置30と受信端末10との間には、ホームエージェント(HA)40が介在されている。HA40は、配信装置30から送信されたパケットを移動後の受信端末10に転送する機能を有する。
【0035】
次に、受信端末10の構成について説明する。受信端末10は、マルチメディアデータの配信要求を入力させる要求モジュール11と、要求モジュール11等からの要求に応じて配信要求を配信装置30に送信する配信要求送信モジュール12と、配信装置30から送信されたデータを受信する受信モジュール13と、受信したデータを再生する再生モジュール14と、を備えている。ここで、要求モジュール11には、例えば、これを押下することで配信を要求する受信端末10のボタンが含まれる。また、受信端末10は、受信モジュール13によって受信した映像データのコマ落ちを検出する機能を有するフレームチェックモジュール15と、フレームチェックモジュール15によって検出されたコマ落ちの頻度に基づいて映像配信を停止させるか否かを判定する映像配信停止判定モジュール16と、を備える。映像配信停止判定モジュール16による判定結果は配信要求送信モジュール12に入力され、映像配信停止という判定結果が入力された場合には、配信要求送信モジュール12によって映像データを停止して音声データのみを要求する配信要求が送信される。また、受信端末10は、現在接続中のネットワークの回線帯域を判定する帯域チェックモジュール17と、帯域チェックモジュール17によって判定された回線帯域に基づいて、映像データの配信を再開するか否か判定する映像配信開始判定モジュール18と、を備え、映像配信開始判定モジュール18による判定結果は配信要求送信モジュール12に入力される。さらに、帯域チェックモジュール17による回線帯域の判定結果に基づいてストリーミング配信のQoS制御を行うQoS制御モジュール19を備えている。また、受信端末10は、画像処理を行う画像処理モジュール21と、画像を表示する表示モジュール22と、表示デバイスのバックライトを点灯させるバックライトモジュール23と、これらの各モジュールを制御する画像処理/表示デバイス制御モジュール20と、を備えている。以上に説明した受信端末10は、通信機能を有する携帯電話などによって実現され、上記したそれぞれのモジュールは携帯電話が有するCPUによって実行されることにより上記各機能を果たす。
【0036】
次に、配信装置30の構成について説明する。配信装置30は、受信端末10からの配信要求を受信する配信要求受信モジュール31と、配信要求に基づいて品質を決定する品質決定モジュール32と、配信するコンテンツを格納したコンテンツデータベース(「コンテンツDB」という)37と、コンテンツDB37からコンテンツを読み取るコンテンツ読取モジュール33と、読み取ったコンテンツを配信用のデータに加工する映像フレームモジュール34と、QoSを調整するQoS微調整モジュール35と、コンテンツデータを配信する配信モジュール36と、を備えている。以上に説明した配信装置30は、通信機能を有するコンピュータによって実現され、上記したそれぞれのモジュールはコンピュータによって実行されることにより上記各機能を果たす。
【0037】
次に、本実施形態に係る配信システム1の動作について図2を参照しながら説明する。図2は、配信システム1の動作を示すフローチャートである。
【0038】
まず、受信端末10は、コンテンツ取得要求を配信装置30に対して送信する(S10)。例えば、受信端末10において、ユーザが配信要求用のボタンを押下することにより要求モジュール11が作動し、配信要求送信モジュール12によって配信要求が送信される。ここでは、受信端末10は回線帯域が300kbpsのネットワークに接続されているものとする。HA40がそのコンテンツ取得要求を配信装置30に転送し(S12)、配信装置30は受信端末10から送信されたコンテンツ取得要求を受信する(S14)。配信装置30は、受信端末10からコンテンツ取得要求を受信する(S14)と、受信端末10にストリーミングデータを配信する(S16)。ここで配信されるデータは、映像データが240kbps、音声データが60kbpsで計300kbpsのマルチメディアデータであるとする。HA40は配信装置30から送信されたデータを受信端末10に転送し(S18)、受信端末10は配信装置30から送信されたデータを受信する(S20)。ここまでの流れは通常のストリーミング配信の動作であり、受信端末10が移動しない場合にはこの動作によってストリーミング配信は完結する。また、これまでの段階では、配信される300kbpsのデータはこのネットワークの回線帯域幅(300kbps)で送信可能なデータ量であるので、何らかの原因によって通信環境が悪化しなければ、配信品質の低下は起こらない。
【0039】
次に、受信端末10が移動して回線帯域が64kbpsのネットワークに移動したとする。受信端末10がネットワークを移動すると、受信端末10とHA40との間でセッションハンドオーバが行われる(S22)。具体的には、受信端末10からHA40に対してバインディングアップデートを送信し、HA40は受信したバインディングアップデートに基づいて、ホームアドレスと移動後のアドレスの対であるバインディングキャッシュを更新する。このように受信端末10がネットワーク間を移動した後もセッションが維持され、配信装置30から受信端末10にストリーミングデータ配信がなされる(S24、S26、S28)。このとき、ネットワークの回線帯域は64kbpsであるので300kbpsのデータを配信しようとすると、配信品質が低下してコマ落ちなどが生じる。受信端末10は、所定時間内におけるコマ落ち数を検出し(S30)、そのコマ落ち数に基づいて映像データの配信を停止させるか否か判定する(S32)。ここでは、1秒間に3コマ以上の欠落が発生し、その状態が3秒以上続いた場合に、映像データの配信を停止させると判定する。
【0040】
映像データの配信を停止させると判定された場合には、受信端末10は映像データ停止要求を送信する(S34)。HA40が映像データ停止要求を配信装置30に転送し(S36)、配信装置30は受信端末10から送信された映像データ停止要求を受信する(S38)。配信装置30は映像データ停止要求を受信する(S38)と、その受信端末10への映像データの配信を停止し、音声データのみの配信を行う(S40)。HA40が音声データを受信端末10に転送し(S42)、受信端末10が音声データを受信する(S44)。
【0041】
次に、上記したフローを実現する受信端末10の動作について、図3を参照しながら説明する。図3は、受信端末10の動作を示すフローチャートである。
【0042】
受信端末10は、ストリーミングデータを受信している際に(S60)、回線帯域幅が減少したか否か判定する(S62)。回線帯域が減少した場合には、受信端末10は、所定時間内における映像データのコマ落ち数をカウントし(S64)、そのコマ落ち数が所定の閾値以上であるか否か判定する(S66)。本実施形態では所定の閾値は1秒間に3コマであり、1秒間に3コマ以上コマ落ちが発生する状態が3秒間継続したか否か判定する。3秒間継続して閾値以上のコマ落ちが発生したことを条件としているのは、輻輳などにより一時的に映像にコマ落ちが発生した場合と回線帯域の変動によるコマ落ちとを区別するためである。コマ落ち数が閾値以上となった場合には、受信端末10は映像配信停止要求を配信装置30に対して送信し(S68)、その要求に応じて送信される音声データのみ受信する(S70)。次に、受信端末10は、音声データのデータ転送速度と回線速度とを比較する(S71)。音声データのデータ転送速度が回線速度より大きいと判定された場合には、受信端末10は配信装置30に対し、音声データ転送速度の低下要求を通知し(S72)、これに基づいて、受信端末10と配信装置30とはQoS制御を行う(S74)。ステップS66でコマ落ち数が閾値より少ないと判定された場合、又はステップS71で音声データ転送速度が回線速度以下であると判定された場合には、通信が安定しているか否か判定するステップS76に移行する。
【0043】
続いて、受信端末10は、映像データを受信できる程度に通信が安定してか否か判定する(S76)。上記の例では、60kbpsの音声データに加えて240kbpsの映像データを受信できる程度に通信が安定したと判定された場合には、受信端末10は映像配信開始要求を配信装置30に対して送信し(S78)、その後、上記のフローを繰り返す。通信が安定していないと判定された場合には、映像配信開始要求を送信しないで、上記のフローを繰り返す。
【0044】
次に、本実施形態に係る配信装置30の効果について説明する。本実施形態に係る配信装置30によれば、回線帯域幅の異なるネットワークに移動してその帯域幅が狭くなることによって映像データのコマ落ちが検出された場合には、受信端末10は映像配信停止要求を配信装置30に送信し、これを受信した配信装置30ではその受信端末10に対して映像データの配信を停止して音声データのみの配信を行う。この制御による効果について図4及び図5を用いて従来の制御を比較して説明する。図4は本実施形態の配信システム1の制御を従来例と比較する図、図5は上記で説明した具体例を用いて比較した図である。図4(a)に示されるように、従来は、広帯域のネットワークから狭帯域のネットワークに切り替わると、QoS制御を行って、映像データ及び音声データの比率を維持して狭い回線帯域に対応していた。具体的には、図5(a)に示されるように240kbpsの映像データと60kbpsの音声データを300kbpsのネットワークで配信していたときに、64kbpsのネットワークに切り替わると240:60の比率をほぼ維持し、64kbpsの回線帯域を映像データ52kbps、音声データ12kbpsで配信する。本実施形態に係る配信装置30においては、図4(b)に示されるように広帯域のネットワークから狭帯域のネットワークに切り替わると、配信制御を行って、映像データの配信を停止して音声データのみ配信する。図5(b)に示されるように、64kbpsの回線帯域を用いて60kbpsの音声データを配信する。これにより、狭帯域のネットワークに切り替わった後でも音声データをネットワーク切り替え前と同じ品質に保つことができる。ネットワークの切り替えが生じる場合、すなわちユーザが移動しているときには、音声データのみ配信すれば十分な場合が多いので、高音質の音声データを優先して配信することが好ましい。
【0045】
また、図4(a)と図4(b)を比較すれば分かるように、本実施形態における配信装置30では、ネットワーク切り替え時のQoS制御時間を短縮することができ、これにより切り替え時の配信停止時間を短縮できるという効果がある。この点について図6及び図7を用いて説明する。図6は、回線帯域が10Mbpsのネットワークから100kbpsのネットワークに切り替わるときの帯域制御について説明する図である。図6において実線で示されているように、実際の通信回線速度は急峻に低下する。一方、QoS制御では、回線速度を所定値だけ低下させて通信を試行してその通信品質を検出し、通信品質が良くなればQoS制御を完了し、通信品質が良くなければさらに所定値低下させて試行する、というステップダウン型の制御が行われる。従って、図7に示されるように、切り替え前後のネットワークの帯域ギャップに比例したQoS制御時間を要し、この間はストリーミング配信が停止してしまう。これに対し、本実施形態に係る配信装置30によれば、映像データのコマ落ちが所定の閾値以上発生した場合には、受信端末10から映像配信停止要求が送信され、配信装置30から映像配信が停止されるという簡便なシーケンス(図2参照)で処理をすることができ、切り替え時の配信停止時間を大幅に短縮できる。
【0046】
また、本実施形態に係る受信端末10は、それぞれの受信端末10において映像の品質を評価して、その結果に基づく映像配信停止の判定を各受信端末10によって行う構成を採用しているので、それぞれの受信端末10ごとに映像停止の判定基準を自由に設定することができる。また、このように判定基準を受信端末10側に持たせることにより、受信端末10自身が判定を行うことができ、受信端末10の自立的な応用機能にリンケージすることができる。例えば、画像処理回路チップ群(LSI)や表示デバイス(液晶ディスプレイ、バックライト系)は、音声回路や音声処理群に比べて比較的消費電力が大きいため、映像データの配信を停止させると判定した際には配信装置30から送られてくる画像データのデコード及び表示処理を受信端末自身が中止し、音声処理群に特化させることで、電池寿命(起動時間)の延長を実現できる。本実施形態に係る受信端末10の例では、映像配信停止判定モジュール16及び映像配信開始判定モジュール18によって映像データの配信を開始又は停止させる際に、その情報を画像処理/表示デバイス制御モジュール20に通知し、これにより画像処理/表示デバイス制御モジュール20は、画像処理モジュール21、表示モジュール22、バックライトモジュール23を制御することができる。このようなコマ落ち検出による一部の処理チップ群を停止させる機能は、双方向通信に限らず、将来の地上波デジタル放送に対応する携帯TV、対応携帯電話に上記技術を適用して音声のみのニーズに応えると共に、電池寿命の延長について有効な効果が得られる。
【0047】
次に、本実施形態の配信システム1において、音声データの転送速度より小さい回線速度のネットワークに切り替わった場合の処理について図8を参照しながら説明する。図8は、配信システム1の動作を示すフローチャートである。
【0048】
受信端末10から配信装置30に映像配信停止要求を送信し、配信装置30が映像データ配信を停止して音声データのみを配信する(S44)までの動作は、図2で説明したフローと同じである。ただし、図8で説明するフローでは、配信装置30は、映像データ304kbps、音声データ80kbpsの計384kbpsのデータを受信端末10に対してストリーミング配信しているものとする。
【0049】
映像データ配信を停止して音声データのみの配信が開始された後、受信端末10は回線帯域幅を判定する(S46)。回線帯域幅は、データを受信している受信端末10のデバイス情報を用いて回線帯域幅を判定することができる。例えば、使用デバイスによってFOMA(登録商標)によって接続しているかPHSによって接続しているかなどを判定でき、これに基づいて回線帯域幅を判定できる。ここでは、切り替え後のネットワークの回線帯域幅は64kbps(例えばPHS)である。次に、受信端末10は、回線帯域幅と音声データの転送速度とを比較する(S48)。ここでは、音声データの転送速度の方が大きいので、音声データ配信についてQoS制御を行う(S50)。これにより、音声データの転送速度が回線帯域幅より大きい場合であっても、映像データと音声データの両方を送出する一般的なストリーミング配信手段と比べて、音声データの品質劣化を防止することができる。なお、回線帯域幅を判定する方法は、デバイス情報を用いる上記した方法とは異なる方法を採用してもよい。例えば、データサイズが既知の所定ファイルを配信装置30から受信端末10にダウンロードし、ダウンロードに要した時間に基づいて回線帯域幅を算出する方法を採用することができる。
【0050】
【発明の効果】
本発明に係るストリーミング受信端末によれば、通信速度の小さいネットワークに移動した際には、速やかに映像データの配信を停止することにより、ネットワークが切り替わる際のQoS制御に要する時間を短縮することができる。また、ネットワークが切り替わった後においては、安定した音声データのストリーミング配信を実現できる。
【図面の簡単な説明】
【図1】実施形態に係る配信システムの構成を示す図である。
【図2】実施形態に係る配信システムの動作を示すフローチャートである。
【図3】実施形態に係る受信端末の動作を示すフローチャートである。
【図4】実施形態に係る配信システムの制御を従来例と比較する図である。
【図5】具体例を用いて、実施形態に係る配信システムの制御を従来例と比較した図である。
【図6】広帯域のネットワークから狭帯域のネットワークに切り替わるときの制御について説明する図である。
【図7】ネットワーク切り替え時の従来のQoS制御について説明する図である。
【図8】実施形態に係る配信システムの動作を示すフローチャートである。
【符号の説明】
1・・・ストリーミング配信システム、10・・・ストリーミング受信装置、30・・・ストリーミング配信装置、40・・・HA。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a streaming receiving terminal that receives multimedia data of video data and audio data in a streaming manner, and a streaming delivery device that delivers multimedia data in a streaming manner.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, when viewing multimedia data such as video and audio through a network such as the Internet, streaming distribution that simultaneously plays back data while receiving the data has been known. Also, with the rapid spread of the Internet in recent years, even if a user moves to various network environments, "MobileIP", a new technology capable of maintaining the connection of the Internet session without interruption, has attracted attention.
[0003]
[Patent Document 1]
JP-A-11-275145
[0004]
[Patent Document 2]
JP-A-2002-94603
[0005]
[Problems to be solved by the invention]
However, when the streaming distribution is applied to the above-described MobileIP, the following problems may occur. That is, when a receiving terminal receiving data moves between networks of different line bands during distribution of multimedia data, QoS control at the time of network switching is not performed smoothly, and temporary stop or disturbance of video and audio is caused. May occur.
[0006]
An object of the present invention is to solve the above problems and to provide a streaming receiving terminal and a streaming distribution device that can realize stable data communication even when moving between networks having different line bands.
[0007]
[Means for Solving the Problems]
A streaming receiving terminal according to the present invention includes a receiving unit that receives video data and audio data transmitted from a streaming distribution device, a video quality evaluating unit that evaluates the quality of video data received by the receiving unit, and a video quality evaluating unit. Video distribution stop determining means for determining whether or not to stop the distribution of video data based on the quality evaluated by the video data; and determining that the video data distribution is to be stopped by the video distribution stop determining means. Transmitting means for transmitting the distribution stop request to the streaming distribution device.
[0008]
Generally, when comparing video data and audio data in multimedia streaming distribution, the transmission band required for video data distribution is much wider. For this reason, if a band fluctuation occurs between the streaming receiving terminal and the streaming distribution device during distribution of multimedia data with video such as a television, the streaming receiving terminal enters an unstable reception state for both video and audio. On the other hand, considering the needs of real users, one reason for the occurrence of a network switching event is that the user is moving. There is little need to watch video inside. However, there is certainly a need to listen to music and the like as in a headphone stereo even while moving. Focusing on this point, the inventors have invented a streaming receiving terminal capable of receiving data stably even when the network is switched. According to the streaming receiving terminal according to the present invention, the quality of the received video data is evaluated by the video quality evaluation means, and the video distribution stop determination means determines whether to stop the distribution of the video data based on the quality of the video data. I do. Then, when the distribution of the video data is to be stopped, the request is transmitted to the streaming distribution device by the transmission means, whereby the distribution of the video data is stopped and only the audio data can be received. According to the streaming receiving terminal having such a configuration, when moving to a network with a narrow line bandwidth, the distribution of video data is immediately stopped to shorten the time required for QoS control when the network is switched. can do. Further, after the network is switched, stable streaming distribution of audio data can be realized.
[0009]
In the streaming receiving terminal, the video quality evaluation unit counts the number of dropped frames within a predetermined time, and the video distribution stop determination unit determines whether the number of dropped frames counted by the video quality evaluation unit is equal to or greater than a predetermined threshold. It is further characterized in that it is determined to stop the distribution of the video data.
[0010]
As described above, it is a simple and reliable method to determine the video quality based on the number of dropped frames within a predetermined time.
[0011]
The streaming receiving terminal further stops power supply to an image processing circuit and a display device for playing back video data when the video distribution stop determination unit determines to stop video distribution. And
[0012]
By stopping the power supply to the image processing circuit for reproducing the video data and the display device when the video distribution is stopped, the battery life of the streaming receiving terminal can be extended.
[0013]
The streaming receiving terminal includes: a line bandwidth determining unit that determines a line bandwidth of a connected network; and a transfer amount of audio data received by the receiving unit after the distribution of the video data is stopped. And a QoS control unit for performing a QoS control of the streaming distribution of the audio data in cooperation with the streaming distribution device when the bandwidth is larger than the determined line bandwidth.
[0014]
If the line bandwidth of the network is smaller than the audio data transfer amount, the data reception becomes unstable even if the distribution of the video data is stopped, so the line bandwidth determination unit determines the connected line bandwidth, When the audio data transfer amount is larger than that, it is preferable to perform QoS control on the distribution of the audio data.
[0015]
The streaming receiving terminal further includes a video distribution start determination unit that determines to start distribution of the video data when the line bandwidth determined by the line bandwidth determination unit is larger than a transfer amount of the video data and the audio data. The transmission means further comprises transmitting a video data distribution start request to the streaming distribution device when the video distribution start determination means determines to start distribution of the video data.
[0016]
In a network in which the line bandwidth is larger than the combined data transfer amount of the video data and the audio data, both the video data and the audio data can be distributed by the streaming distribution device. Therefore, a distribution start request is transmitted to the streaming distribution device. Is preferred.
[0017]
A streaming distribution device according to the present invention is a device that distributes video data and audio data by streaming, and when the streaming reception terminal transmits a video data distribution stop request, distributes the video data to the streaming reception terminal. It is characterized by stopping and delivering only audio data.
[0018]
By stopping the distribution of the video data based on the request to stop the distribution of the video data transmitted from the streaming receiving terminal and distributing only the audio data, the QoS control time when switching to a network with a narrow band is reduced, It is possible to realize stable streaming distribution of audio data.
[0019]
Further, the streaming distribution device according to the present invention is a device for streaming distribution of video data and audio data, and when a streaming start request of the video data is transmitted from the streaming receiving terminal, the streaming data of the video data to the streaming receiving terminal is transmitted. It is characterized by starting distribution.
[0020]
By starting video data distribution based on the video data distribution start request transmitted from the streaming receiving terminal described above, video data and audio data can be stably distributed to the streaming receiving terminal in a network with a large line bandwidth. can do.
[0021]
The streaming distribution system according to the present invention distributes the video data and audio data to the streaming receiving terminal, and distributes the video data when a streaming data distribution stop request is transmitted from the streaming receiving terminal. And a streaming distribution device that stops and distributes only audio data.
[0022]
By stopping the distribution of the video data based on the request to stop the distribution of the video data transmitted from the streaming receiving terminal and distributing only the audio data, the QoS control time when switching to a network with a narrow band is reduced, It is possible to realize stable streaming distribution of audio data.
[0023]
The streaming distribution system according to the present invention distributes video data and audio data to the streaming receiving terminal and the video data distribution when a streaming data distribution start request is transmitted from the streaming receiving terminal. And a streaming distribution device to be started.
[0024]
By starting video data distribution based on the video data distribution start request transmitted from the streaming receiving terminal described above, video data and audio data can be stably distributed to the streaming receiving terminal in a network with a large line bandwidth. can do.
[0025]
A streaming distribution method according to the present invention is a streaming distribution method for streaming distribution of video data and audio data from a streaming distribution device to a streaming reception terminal, and further includes a video distribution method for transmitting video data and audio data from the streaming distribution device to the streaming reception terminal. 1, a video quality evaluation step in which the streaming reception terminal evaluates the quality of the video data transmitted in the transmission step, and whether to stop the distribution of the video data based on the quality evaluated in the video quality evaluation step. The streaming receiving terminal determines whether or not to stop the video data distribution in the video distribution stop determining step. A transmission stop request transmitting step of transmitting a communication stop request, and a second transmission of stopping the distribution of the video data and distributing only the audio data when the distribution stop request is transmitted in the distribution stop request transmitting step. And step.
[0026]
According to the streaming distribution method of the present invention, the quality of the received video data is evaluated in the video quality evaluation step, and it is determined whether or not to stop the distribution of the video data in the video distribution stop determination step based on the quality of the video data. I do. When the distribution of the video data is stopped, the request is transmitted to the streaming distribution device in the distribution stop request transmitting step, so that the distribution of the video data is stopped and only the audio data can be received. According to such a streaming distribution method, when moving to a network with a narrow line bandwidth, the distribution of video data is immediately stopped to shorten the time required for QoS control when the network is switched. it can. Further, after the network is switched, stable streaming distribution of audio data can be realized.
[0027]
In the streaming distribution method, in the video quality evaluation step, the number of dropped frames within a predetermined time is counted, and in the video distribution stop determination step, the number of dropped frames counted in the video quality evaluation step is equal to or more than a predetermined threshold. A further feature is that the streaming receiving terminal determines to stop the distribution of the video data.
[0028]
As described above, it is a simple and reliable method to determine the video quality based on the number of dropped frames within a predetermined time.
[0029]
In the streaming distribution method, after the distribution of the video data is stopped, the streaming reception terminal determines the line bandwidth of the connected network by the streaming reception terminal, and the transfer amount of the audio data transmitted in the second transmission step The streaming receiving terminal performs QoS control for streaming distribution of the audio data when is larger than the line bandwidth determined in the line bandwidth determining step.
[0030]
If the line bandwidth of the network is smaller than the amount of audio data transfer, data reception becomes unstable even if video data distribution is stopped, so the line bandwidth during connection is determined in the line bandwidth determination step, When the audio data transfer amount is larger than that, it is preferable to perform QoS control on the distribution of the audio data.
[0031]
In the streaming distribution method, the line bandwidth determined in the line bandwidth determination step is larger than the transfer amount of the video data and the audio data, a video distribution start determination step of determining to start the distribution of the video data, A video distribution start request transmitting step in which the streaming receiving terminal transmits a video data distribution start request to the streaming distribution device when it is determined in the video distribution start determination step that distribution of the video data is to be started, When receiving the video data distribution start request in the distribution start request transmitting step, the streaming distribution apparatus shifts to the first transmitting step and transmits the video data and the audio data to the streaming receiving terminal.
[0032]
In a network in which the line bandwidth is larger than the combined data transfer amount of the video data and the audio data, both the video data and the audio data can be distributed by the streaming distribution device. Therefore, a distribution start request is transmitted to the streaming distribution device. Is preferred.
[0033]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of a streaming distribution device according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same elements will be denoted by the same reference symbols, without redundant description.
[0034]
FIG. 1 is a block diagram illustrating a configuration of a streaming distribution system 1 according to the embodiment. A streaming distribution system (hereinafter, referred to as a “distribution system”) 1 includes a streaming distribution device (hereinafter, referred to as a “distribution device”) 30 and a streaming receiving terminal 10 (hereinafter, referred to as a “receiving terminal”) 10 connected to each other. It is configured. The receiving terminal 10 is connected by a mobile IP network that can maintain a session with the distribution device 30 even if it moves. To realize this, a home agent (HA) 40 is interposed between the distribution device 30 and the receiving terminal 10. The HA 40 has a function of transferring the packet transmitted from the distribution device 30 to the moved receiving terminal 10.
[0035]
Next, the configuration of the receiving terminal 10 will be described. The receiving terminal 10 includes a request module 11 for inputting a distribution request for multimedia data, a distribution request transmission module 12 for transmitting a distribution request to the distribution device 30 in response to a request from the request module 11 or the like, and a transmission from the distribution device 30. A receiving module 13 for receiving the received data and a reproducing module 14 for reproducing the received data are provided. Here, the request module 11 includes, for example, a button of the receiving terminal 10 that requests distribution by pressing the button. In addition, the receiving terminal 10 has a frame check module 15 having a function of detecting dropped frames of video data received by the receiving module 13, and stops video distribution based on the frequency of dropped frames detected by the frame check module 15. And a video distribution stop determination module 16 for determining whether or not this is the case. The determination result by the video distribution stop determination module 16 is input to the distribution request transmission module 12, and when the determination result of video distribution stop is input, the video data is stopped by the distribution request transmission module 12 to request only audio data. Is transmitted. In addition, the receiving terminal 10 determines whether or not to restart the distribution of the video data based on the bandwidth check module 17 that determines the bandwidth of the currently connected network and the bandwidth determined by the bandwidth check module 17. A video distribution start determination module 18 is provided, and the determination result by the video distribution start determination module 18 is input to the distribution request transmission module 12. Furthermore, a QoS control module 19 that performs QoS control of streaming distribution based on the result of the determination of the line bandwidth by the bandwidth check module 17 is provided. The receiving terminal 10 includes an image processing module 21 that performs image processing, a display module 22 that displays an image, a backlight module 23 that turns on a backlight of a display device, and an image processing / controller that controls these modules. And a display device control module 20. The receiving terminal 10 described above is realized by a mobile phone or the like having a communication function, and the above-described modules perform the above-described functions by being executed by a CPU of the mobile phone.
[0036]
Next, the configuration of the distribution device 30 will be described. The distribution device 30 includes a distribution request receiving module 31 that receives a distribution request from the receiving terminal 10, a quality determination module 32 that determines quality based on the distribution request, and a content database (“content DB”) storing the content to be distributed. 37), a content reading module 33 that reads the content from the content DB 37, a video frame module 34 that processes the read content into data for distribution, a QoS fine adjustment module 35 that adjusts the QoS, and distributes the content data. And a distribution module 36. The distribution device 30 described above is realized by a computer having a communication function, and the above-described modules perform the above-described functions by being executed by the computer.
[0037]
Next, the operation of the distribution system 1 according to the present embodiment will be described with reference to FIG. FIG. 2 is a flowchart showing the operation of the distribution system 1.
[0038]
First, the receiving terminal 10 transmits a content acquisition request to the distribution device 30 (S10). For example, in the receiving terminal 10, when the user presses a button for a distribution request, the request module 11 is activated, and the distribution request transmission module 12 transmits the distribution request. Here, it is assumed that the receiving terminal 10 is connected to a network having a line bandwidth of 300 kbps. The HA 40 transfers the content acquisition request to the distribution device 30 (S12), and the distribution device 30 receives the content acquisition request transmitted from the receiving terminal 10 (S14). When receiving the content acquisition request from the receiving terminal 10 (S14), the distribution device 30 distributes the streaming data to the receiving terminal 10 (S16). The data distributed here is assumed to be multimedia data of 240 kbps for video data and 60 kbps for audio data, totaling 300 kbps. The HA 40 transfers the data transmitted from the distribution device 30 to the receiving terminal 10 (S18), and the receiving terminal 10 receives the data transmitted from the distribution device 30 (S20). The flow up to this point is a normal streaming distribution operation. When the receiving terminal 10 does not move, the streaming distribution is completed by this operation. At the stage up to now, the distributed data of 300 kbps is the amount of data that can be transmitted with the network bandwidth (300 kbps), so if the communication environment does not deteriorate for some reason, the distribution quality will not decrease. Does not happen.
[0039]
Next, it is assumed that the receiving terminal 10 moves and moves to a network having a line bandwidth of 64 kbps. When the receiving terminal 10 moves on the network, a session handover is performed between the receiving terminal 10 and the HA 40 (S22). Specifically, the binding update is transmitted from the receiving terminal 10 to the HA 40, and the HA 40 updates the binding cache, which is a pair of the home address and the moved address, based on the received binding update. As described above, the session is maintained even after the receiving terminal 10 moves between networks, and streaming data is distributed from the distribution device 30 to the receiving terminal 10 (S24, S26, S28). At this time, since the line bandwidth of the network is 64 kbps, if the data of 300 kbps is to be distributed, the distribution quality is reduced and the drop of frames occurs. The receiving terminal 10 detects the number of dropped frames within a predetermined time (S30), and determines whether to stop the distribution of the video data based on the number of dropped frames (S32). Here, when three or more frames are lost in one second and the state continues for three seconds or more, it is determined that the distribution of the video data is stopped.
[0040]
When it is determined that the distribution of the video data is to be stopped, the receiving terminal 10 transmits a video data stop request (S34). The HA 40 transfers the video data stop request to the distribution device 30 (S36), and the distribution device 30 receives the video data stop request transmitted from the receiving terminal 10 (S38). Upon receiving the video data stop request (S38), the distribution device 30 stops the distribution of the video data to the receiving terminal 10, and distributes only the audio data (S40). The HA 40 transfers the audio data to the receiving terminal 10 (S42), and the receiving terminal 10 receives the audio data (S44).
[0041]
Next, an operation of the receiving terminal 10 for realizing the above-described flow will be described with reference to FIG. FIG. 3 is a flowchart showing the operation of the receiving terminal 10.
[0042]
When receiving the streaming data (S60), the receiving terminal 10 determines whether or not the line bandwidth has decreased (S62). When the line bandwidth is reduced, the receiving terminal 10 counts the number of dropped frames of video data within a predetermined time (S64), and determines whether the number of dropped frames is equal to or greater than a predetermined threshold (S66). . In the present embodiment, the predetermined threshold is three frames per second, and it is determined whether or not a state in which three or more frames are dropped per second has continued for three seconds. The reason for the condition that dropped frames equal to or larger than the threshold value have occurred continuously for 3 seconds is to distinguish between dropped frames caused temporarily by video due to congestion and the like and dropped frames due to fluctuations in the line bandwidth. . When the number of dropped frames is equal to or greater than the threshold, the receiving terminal 10 transmits a video distribution stop request to the distribution device 30 (S68), and receives only audio data transmitted in response to the request (S70). . Next, the receiving terminal 10 compares the data transfer speed of the audio data with the line speed (S71). When it is determined that the data transfer speed of the voice data is higher than the line speed, the receiving terminal 10 notifies the distribution device 30 of a request for lowering the voice data transfer speed (S72). 10 and the distribution device 30 perform QoS control (S74). If it is determined in step S66 that the number of dropped frames is smaller than the threshold value, or if it is determined in step S71 that the voice data transfer speed is equal to or lower than the line speed, it is determined whether communication is stable in step S76. Move to
[0043]
Subsequently, the receiving terminal 10 determines whether the communication is stable enough to receive the video data (S76). In the above example, when it is determined that the communication is stable enough to receive the video data of 240 kbps in addition to the audio data of 60 kbps, the receiving terminal 10 transmits a video distribution start request to the distribution device 30. (S78) Then, the above flow is repeated. When it is determined that the communication is not stable, the above flow is repeated without transmitting the video distribution start request.
[0044]
Next, effects of the distribution device 30 according to the present embodiment will be described. According to the distribution device 30 according to the present embodiment, when the mobile terminal moves to a network with a different line bandwidth and detects a drop in frames of video data due to a decrease in the bandwidth, the receiving terminal 10 stops the video distribution. The request is transmitted to the distribution device 30, and upon receiving the request, the distribution device 30 stops the distribution of the video data to the receiving terminal 10 and distributes only the audio data. The effect of this control will be described in comparison with conventional control with reference to FIGS. FIG. 4 is a diagram comparing the control of the distribution system 1 of the present embodiment with a conventional example, and FIG. 5 is a diagram comparing using the specific example described above. As shown in FIG. 4 (a), conventionally, when switching from a wideband network to a narrowband network, QoS control is performed to maintain a ratio of video data and audio data to support a narrow line band. Was. Specifically, as shown in FIG. 5A, when 240 kbps video data and 60 kbps audio data are distributed on a 300 kbps network, the ratio of 240: 60 is almost maintained when switching to a 64 kbps network. Then, a 64 kbps line band is distributed with video data of 52 kbps and audio data of 12 kbps. In the distribution device 30 according to the present embodiment, when switching from the wideband network to the narrowband network as shown in FIG. 4B, the distribution device 30 controls the distribution, stops the distribution of the video data, and outputs only the audio data. To deliver. As shown in FIG. 5B, audio data of 60 kbps is distributed using a line bandwidth of 64 kbps. As a result, even after switching to a narrowband network, audio data can be maintained at the same quality as before the network switching. When network switching occurs, that is, when the user is moving, it is often sufficient to deliver only audio data, so it is preferable to deliver high-quality audio data with priority.
[0045]
Also, as can be seen by comparing FIG. 4A and FIG. 4B, the distribution device 30 according to the present embodiment can shorten the QoS control time at the time of network switching, thereby distributing at the time of switching. There is an effect that the stop time can be reduced. This will be described with reference to FIGS. FIG. 6 is a diagram illustrating bandwidth control when switching from a network having a line bandwidth of 10 Mbps to a network having a bandwidth of 100 kbps. As shown by the solid line in FIG. 6, the actual communication line speed drops sharply. On the other hand, in the QoS control, the line speed is reduced by a predetermined value, communication is attempted, the communication quality is detected, the QoS control is completed if the communication quality is improved, and the predetermined value is further reduced if the communication quality is not good. Step-down control is performed. Therefore, as shown in FIG. 7, a QoS control time proportional to the band gap of the network before and after the switching is required, during which the streaming distribution is stopped. On the other hand, according to the distribution device 30 according to the present embodiment, when the drop of frames of the video data occurs equal to or more than the predetermined threshold, the reception terminal 10 transmits the video distribution stop request, and the distribution device 30 transmits the video distribution stop request. Can be stopped in a simple sequence (see FIG. 2), and the distribution stop time at the time of switching can be significantly reduced.
[0046]
Further, the receiving terminal 10 according to the present embodiment adopts a configuration in which each receiving terminal 10 evaluates the quality of the video, and the receiving terminal 10 determines whether to stop the video distribution based on the result. The criterion for stopping the video can be freely set for each receiving terminal 10. Further, by providing the receiving terminal 10 with the determination criterion as described above, the receiving terminal 10 itself can make the determination, and can link to the independent application function of the receiving terminal 10. For example, since the image processing circuit chip group (LSI) and the display device (liquid crystal display, backlight system) consume relatively more power than the audio circuit and the audio processing group, it is determined that the distribution of the video data is stopped. In this case, the decoding and display processing of the image data sent from the distribution device 30 is stopped by the receiving terminal itself, and the processing is specialized to the audio processing group, so that the battery life (startup time) can be extended. In the example of the receiving terminal 10 according to the present embodiment, when the distribution of the video data is started or stopped by the video distribution stop determination module 16 and the video distribution start determination module 18, the information is transmitted to the image processing / display device control module 20. In response, the image processing / display device control module 20 can control the image processing module 21, the display module 22, and the backlight module 23. The function of stopping a part of the processing chip group by detecting the dropped frame is not limited to the two-way communication, and the above technology is applied to a portable TV and a portable telephone compatible with future terrestrial digital broadcasting, and only the sound is applied. And an effective effect of extending the battery life can be obtained.
[0047]
Next, a description will be given, with reference to FIG. 8, of processing in the case where the network is switched to a network with a line speed lower than the transfer speed of audio data in the distribution system 1 of the present embodiment. FIG. 8 is a flowchart showing the operation of the distribution system 1.
[0048]
The operation from the reception terminal 10 transmitting the video distribution stop request to the distribution device 30 until the distribution device 30 stops the video data distribution and distributes only the audio data (S44) is the same as the flow described in FIG. is there. However, in the flow described with reference to FIG. 8, it is assumed that the distribution device 30 performs streaming distribution of a total of 384 kbps of video data 304 kbps and audio data 80 kbps to the receiving terminal 10.
[0049]
After the distribution of the video data is stopped and the distribution of only the audio data is started, the receiving terminal 10 determines the line bandwidth (S46). The line bandwidth can be determined by using device information of the receiving terminal 10 that is receiving data. For example, it is possible to determine whether the connection is made by FOMA (registered trademark) or PHS depending on the device used, and the line bandwidth can be determined based on this. Here, the line bandwidth of the switched network is 64 kbps (for example, PHS). Next, the receiving terminal 10 compares the line bandwidth with the transfer speed of the audio data (S48). Here, since the transfer speed of the audio data is higher, QoS control is performed for the audio data distribution (S50). As a result, even when the transfer speed of the audio data is higher than the line bandwidth, the quality of the audio data can be prevented from deteriorating as compared with a general streaming distribution unit that transmits both the video data and the audio data. it can. Note that a method different from the above-described method using the device information may be adopted as a method of determining the line bandwidth. For example, a method of downloading a predetermined file having a known data size from the distribution device 30 to the receiving terminal 10 and calculating the line bandwidth based on the time required for the download can be adopted.
[0050]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to the streaming receiving terminal which concerns on this invention, when it moves to the network with a low communication speed, it stops distribution of image data immediately, and can shorten the time required for QoS control at the time of a network switch. it can. Further, after the network is switched, stable streaming distribution of audio data can be realized.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a distribution system according to an embodiment.
FIG. 2 is a flowchart illustrating an operation of the distribution system according to the embodiment.
FIG. 3 is a flowchart illustrating an operation of the receiving terminal according to the embodiment.
FIG. 4 is a diagram comparing control of the distribution system according to the embodiment with a conventional example.
FIG. 5 is a diagram comparing the control of the distribution system according to the embodiment with a conventional example using a specific example.
FIG. 6 is a diagram illustrating control when switching from a broadband network to a narrowband network.
FIG. 7 is a diagram illustrating conventional QoS control at the time of network switching.
FIG. 8 is a flowchart illustrating an operation of the distribution system according to the embodiment.
[Explanation of symbols]
1 ... Streaming distribution system, 10 ... Streaming receiving device, 30 ... Streaming distribution device, 40 ... HA.

Claims (7)

ストリーミング配信装置から送信される映像データ及び音声データを受信する受信手段と、
前記受信手段によって受信した映像データの品質を評価する映像品質評価手段と、
前記映像品質評価手段によって評価された品質に基づいて、映像データの配信を停止させるか否か判定する映像配信停止判定手段と、
前記映像配信停止判定手段によって映像データの配信を停止させると判定された場合に、映像データの配信停止要求を前記ストリーミング配信装置に送信する送信手段と、
を備えることを特徴とするストリーミング受信端末。
Receiving means for receiving video data and audio data transmitted from the streaming distribution device,
Video quality evaluation means for evaluating the quality of the video data received by the receiving means,
Based on the quality evaluated by the video quality evaluation means, video distribution stop determination means to determine whether to stop the distribution of video data,
Transmission means for transmitting a video data distribution stop request to the streaming distribution device, when it is determined to stop the distribution of video data by the video distribution stop determination means,
A streaming receiving terminal comprising:
前記映像品質評価手段は、所定時間内におけるコマ落ち数をカウントし、
前記映像配信停止判定手段は、前記映像品質評価手段によってカウントされた前記コマ落ち数が所定の閾値以上となった場合に、映像データの配信を停止させると判定する、
ことを特徴とする請求項1に記載のストリーミング受信端末。
The image quality evaluation means counts the number of dropped frames within a predetermined time,
The video distribution stop determination unit, when the number of dropped frames counted by the video quality evaluation unit is equal to or more than a predetermined threshold, determines to stop the distribution of video data,
The streaming receiving terminal according to claim 1, wherein:
前記映像配信停止判定手段によって映像配信を停止させると判定された場合には、前記映像データを再生処理するための画像処理回路及び表示デバイスへの電源供給を停止させる、ことを特徴とする請求項1又は2に記載のストリーミング受信端末。The power supply to an image processing circuit and a display device for playing back the video data is stopped when the video distribution stop determination unit determines to stop the video distribution. 3. The streaming receiving terminal according to 1 or 2. 接続中のネットワークの回線帯域幅を判定する回線帯域幅判定手段と、
映像データの配信停止後において、前記受信手段によって受信する音声データの転送量が前記回線帯域幅判定手段によって判定された回線帯域幅より大きい場合に、前記ストリーミング配信装置と協働して前記音声データのストリーミング配信のQoS制御を行うQoS制御手段と、
をさらに備えることを特徴とする請求項1〜3のいずれか1項に記載のストリーミング受信端末。
A line bandwidth determining unit for determining a line bandwidth of a connected network;
After the distribution of the video data is stopped, if the transfer amount of the audio data received by the receiving unit is larger than the line bandwidth determined by the line bandwidth determining unit, the audio data is transmitted in cooperation with the streaming distribution device. QoS control means for performing QoS control of streaming distribution of
The streaming receiving terminal according to any one of claims 1 to 3, further comprising:
前記回線帯域幅判定手段によって判定された回線帯域幅が、前記映像データ及び音声データの転送量より大きい場合に、映像データの配信を開始させると判定する映像配信開始判定手段をさらに備え、
前記送信手段は、前記映像配信開始判定手段によって映像データの配信を開始させると判定された場合に、映像データの配信開始要求を前記ストリーミング配信装置に送信する、
ことを特徴とする請求項4に記載のストリーミング受信端末。
If the line bandwidth determined by the line bandwidth determination unit is larger than the transfer amount of the video data and audio data, further includes a video distribution start determination unit that determines to start distribution of video data,
The transmitting unit transmits a video data distribution start request to the streaming distribution device when the video distribution start determination unit determines to start distribution of the video data;
The streaming receiving terminal according to claim 4, wherein:
映像データ及び音声データをストリーミング配信する装置であって、請求項1〜5のいずれか1項に記載のストリーミング受信端末から映像データの配信停止要求が送信された際にそのストリーミング受信端末に対する映像データの配信を停止して音声データのみ配信する、ことを特徴とするストリーミング配信装置。An apparatus for streaming distribution of video data and audio data, wherein when a request to stop distribution of video data is transmitted from the streaming reception terminal according to any one of claims 1 to 5, video data to the streaming reception terminal. Streaming distribution apparatus, wherein distribution of the audio data is stopped and only audio data is distributed. 映像データ及び音声データをストリーミング配信する装置であって、請求項5に記載のストリーミング受信端末から映像データの配信開始要求が送信された際にそのストリーミング受信端末に対する映像データの配信を開始する、ことを特徴とするストリーミング配信装置。An apparatus for streaming distribution of video data and audio data, wherein when a request to start distribution of video data is transmitted from the streaming reception terminal according to claim 5, distribution of the video data to the streaming reception terminal is started. A streaming distribution device characterized by the above-mentioned.
JP2003105760A 2003-04-09 2003-04-09 Streaming receiving terminal, and streaming distribution apparatus Pending JP2004312560A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003105760A JP2004312560A (en) 2003-04-09 2003-04-09 Streaming receiving terminal, and streaming distribution apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003105760A JP2004312560A (en) 2003-04-09 2003-04-09 Streaming receiving terminal, and streaming distribution apparatus

Publications (1)

Publication Number Publication Date
JP2004312560A true JP2004312560A (en) 2004-11-04

Family

ID=33468176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003105760A Pending JP2004312560A (en) 2003-04-09 2003-04-09 Streaming receiving terminal, and streaming distribution apparatus

Country Status (1)

Country Link
JP (1) JP2004312560A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295587A (en) * 2005-04-12 2006-10-26 Hitachi Ltd Display device, network conference system, method for convening network conference, and computer software
JP2007104454A (en) * 2005-10-06 2007-04-19 Nid:Kk Streaming image reproduction quality evaluation system
JP2007193564A (en) * 2006-01-19 2007-08-02 Nec Corp Content acquisition system, server, and content acquiring method using them
JP2007267080A (en) * 2006-03-29 2007-10-11 Kddi Corp Image receiving set
US9722808B2 (en) 2014-01-22 2017-08-01 Ricoh Company, Limited Data transmission system, a terminal device, and a recording medium
JP2022516893A (en) * 2018-12-28 2022-03-03 ツイッター インコーポレイテッド Audio-only content

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295587A (en) * 2005-04-12 2006-10-26 Hitachi Ltd Display device, network conference system, method for convening network conference, and computer software
JP2007104454A (en) * 2005-10-06 2007-04-19 Nid:Kk Streaming image reproduction quality evaluation system
JP4673178B2 (en) * 2005-10-06 2011-04-20 株式会社エヌアイデイ Streaming image playback quality evaluation system
JP2007193564A (en) * 2006-01-19 2007-08-02 Nec Corp Content acquisition system, server, and content acquiring method using them
JP2007267080A (en) * 2006-03-29 2007-10-11 Kddi Corp Image receiving set
US9722808B2 (en) 2014-01-22 2017-08-01 Ricoh Company, Limited Data transmission system, a terminal device, and a recording medium
JP2022516893A (en) * 2018-12-28 2022-03-03 ツイッター インコーポレイテッド Audio-only content
CN114731449A (en) * 2018-12-28 2022-07-08 推特公司 Audio-only content

Similar Documents

Publication Publication Date Title
US9338744B2 (en) Server initiated power mode switching in portable communication devices
US7764965B2 (en) Dynamically changing service characteristics based on device and network connectivity attributes
KR20100068386A (en) Access network handover for a mobile television system
WO2010035652A1 (en) Data receiving terminal, data distribution server, data distribution system, and data distribution method
KR20100056504A (en) Access network handover for a mobile television system
CN111836059B (en) Media stream sending method, device and equipment
JP5140952B2 (en) Content distribution system, content distribution server, content reproduction terminal, program, and content distribution method
US20060156347A1 (en) Ever-increasing quality for stored video streaming in a mobile wireless interworking environment
JP2006352663A (en) Mobile terminal unit, content distribution unit, content distribution system, and communication program
JP2004312560A (en) Streaming receiving terminal, and streaming distribution apparatus
KR20090059263A (en) Service supporting method and system of distribution streaming of portable device
KR20110101519A (en) Apparatus and method for receiving the streaming data in portable terminal
JP4090378B2 (en) Stream control method and terminal using the same
JP2002215516A (en) Information terminal, downloading control method, and computer program
KR101548501B1 (en) Chunk based seamless stream transmitting and receiving apparatus and the method thereof
JP2003030085A (en) Content distribution system, content distribution controller, content distribution method and mobile terminal device
JP4166592B2 (en) Transmission band adjustment method, base station and radio communication terminal in radio communication system
US8432853B2 (en) Method, apparatus, and computer program product for system selection during service acquisition
JP5458518B2 (en) Information processing device
JP4884922B2 (en) Communication apparatus and communication method
JP3898985B2 (en) Streaming delivery apparatus and streaming delivery method
JP2007243569A (en) Contents processing apparatus and interruption control program
KR101428980B1 (en) Method and server for providing contents
JP2008113225A (en) Communication apparatus and communication method
KR20130050815A (en) Server and method for providing contents

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091020