JP2007523540A - 体験の品質のメトリクスのタイミング - Google Patents
体験の品質のメトリクスのタイミング Download PDFInfo
- Publication number
- JP2007523540A JP2007523540A JP2006552703A JP2006552703A JP2007523540A JP 2007523540 A JP2007523540 A JP 2007523540A JP 2006552703 A JP2006552703 A JP 2006552703A JP 2006552703 A JP2006552703 A JP 2006552703A JP 2007523540 A JP2007523540 A JP 2007523540A
- Authority
- JP
- Japan
- Prior art keywords
- quality
- metric
- timestamp
- streaming
- protocol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013442 quality metrics Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000977 initiatory effect Effects 0.000 claims description 5
- 238000010295 mobile communication Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 description 13
- 230000003139 buffering effect Effects 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000000737 periodic effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2416—Real-time traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/28—Flow control; Congestion control in relation to timing considerations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Computer And Data Communications (AREA)
Abstract
本発明は、特に、ストリーミングサービスにおける品質フィードバックの方法であって、少なくとも1つのメディアストリーム(101)がクライアント(601)へストリーミングされ、前記方法が、少なくとも1つの品質メトリクスに従って品質フィードバック値を判定するステップ(304)と、前記品質フィードバック値に関連するタイムスタンプを少なくとも1つのタイムスタンプメトリクスに従って判定するステップ(305)であって、前記少なくとも1つの品質メトリクスの各々に対して、対応するタイムスタンプメトリクスが規定され、前記少なくとも1つのタイムスタンプメトリクスの各々が、前記少なくとも1つのメディアストリーム(101)の相対的なメディア再生時間に基づく前記の判定するステップ(305)と、前記品質フィードバック値、及び、前記関連するタイムスタンプをサーバ(600)に報告するステップ(306)とを有する方法に関する。好ましくは、前記相対的なメディア再生時間を、リアルタイム転送プロトコル(102)タイムスタンプから、または、リアルタイムストリーミングプロトコル(109)により与えられた正規再生時間から、または、リアルタイムトランスポート制御プロトコルのタイムスタンプから、または、セッション開始プロトコルのタイムスタンプから得られる。
Description
本発明は、少なくとも1つのメディアストリームがクライアントへストリーミングされるストリーミングサービスにおける品質フィードバックの方法、コンピュータプログラム、コンピュータプログラム製品、システム、クライアント、サーバ及びプロトコルに関する。
一方において、ストリーミングは、音声、オーディオ及び映像ストリームのような同期化されたメディアストリームがデータネットワーク上のクライアントに送信されている間、このようなストリームを連続的に再生するためにクライアントに配置されたアプリケーションの能力を意味する。他方では、ストリーミングは、対話型アプリケーションのようなリアルタイム低遅延アプリケーションをも意味する。
ストリーミングサービスの最上位に構築できるアプリケーションを、オンデマンドとライブの情報配信アプリケーションに分類することができる。第1カテゴリの例として、音楽及びニュースオンデマンドアプリケーションが挙げられる。第2カテゴリの例として、ラジオ及びテレビ番組のライブ配信が挙げられる。リアルタイム低遅延アプリケーションの例として、マルチメディア(映像)電話またはIPによる音声、及び、あらゆる種類の対話型マルチメディアアプリケーションが挙げられる。
固定インターネットプロトコル(IP)ネットワーク上のストリーミングは、今日、既に主要なアプリケーションである。インターネットエンジニアリングタスクフォース(IETF)及びワールドワイドウェブコンソーシアム(W3C)は、固定IPストリーミングサービスに用いられる一連のプロトコルを開発したが、完全に標準化されたストリーミングフレームワークはまだ規定されていない。第3世代パートナーシッププロジェクト(3GPP)により開発された標準規格に従う第3世代(3G)移動通信システムに対して、3Gパケット交換ストリーミングサービス(PSS,3GPP‐TS26.233,TS26.234)は、3Gマルチメディアメッセージングサービス(MMS)例えばアプリケーション及びマルチメディアコンテンツのダウンロードと、対話型及びストリーミングサービスとの間のギャップを埋める。
PSSは、いかなるメディア入力装置及び符号器も必要とされず、且つ、より単純なプロトコルを用いることができるため、端末の複雑性が、対話サービスに必要とされる複雑性よりも少ないモバイルストリーミングアプリケーションを可能にする。PSSは、ストリーミング制御プロトコル、トランスポートプロトコル、メディアコーデック及びシーン記述プロトコルの基本セットを含む。
図1には、コンテンツまたはメディアサーバとクライアントとの間のストリーミング可能なコンテンツとストリーミング可能でないコンテンツの双方の転送を制御するPSSプロトコルスタック1を概略的に示す。
映像、オーディオ及び音声のようなストリーミング可能なコンテンツ101は、まず、アダプテーション層103内のリアルタイムトランスポートプロトコル(RTP)102のペイロードフォーマットに変換される。IETFにより規定されているような前記RTPは、その下にあるユーザデータグラムプロトコル(UDP)104のサービスを用いることによりリアルタイムまたはストリーミングデータを送信する手段を備える。ユーザデータグラムプロトコル(UDP)104は、その下にあるIPプロトコル105のサービスを用いる。
例えば、ストリーミング目的に生成されていないマルチメディアコンテンツ(例えば、端末装置に記録されているMMSクリップ)、静止画像、ビットマップ及びベクトルグラフィックス、テキスト、タイムドテキスト(timed text)、並びに、合成オーディオのようなストリーミング可能でないコンテンツ106は、ハイパーテキスト転送プロトコル(HTTP)107により転送される。ハイパーテキスト転送プロトコル(HTTP)107は、その下にあるトランスポート制御プロトコル(TCP)108と、更にその下にあるIP105とのサービスを用いる。
ストリーミング可能でないコンテンツ106に対して、HTTP107の組み込まれたセッション設定及び制御能力がコンテンツを転送するのに充分であるのに対して、ストリーミング可能なコンテンツ101の場合では、コンテンツサーバからクライアントへRTP/UDP/IPを介して転送されるストリーミング映像を、例えば、開始、停止及び一時停止するため、高度なセッション設定及び制御プロトコルを呼び出さなくてはならない。このタスクはリアルタイムストリーミングプロトコル(RTSP)109により実行され、リアルタイムストリーミングプロトコル(RTSP)109は、その下にあるTCP108またはUDP104を用いることができる。RTSPは、少なくともストリーミングセッションを設定するのにプレゼンテーション記述110を必要とする。このようなプレゼンテーション記述110を、例えばセッション記述プロトコル(SDP)ファイルの形態で利用することができる。前記SDPファイルは、セッションの記述例えばセッション名及びオーサー(author)と、与えられるメディアの種類と、インスタンスアドレス、ポート、フォーマットなどに関する前記メディアを受信するための情報と、メディアのビットレートとを含む。
クライアント側例えば移動端末でストリーミングコンテンツが見られる場合、まず、ユーザの端末に適する特定コンテンツに対するユニバーサルリソース識別子(URI)を前記端末のユーザに供給する。このURIをWWWサーバや無線アプリケーションプロトコル(WAP)サーバによりもたらすことができ、または、端末のキーボードを介して手動で入力することができる。このURIは、ストリーミングまたはRTSPサーバと、このコンテンツサーバまたは他のコンテンツサーバ上のコンテンツのアドレスとを特定する。対応するSDPファイルを多くの方法で取得することができる。例えば埋め込みタグにより、ユーザがダウンロードするHTMLページの内部のリンクで、対応のSDPファイルを供給することができ、または、対応のSDPファイルをURIとして打ち込むことにより直接に得られることもできる。次に、図1のプロトコルスタックの中央の列に示されるようなHTTP107を介してSDPファイルすなわちプレゼンテーション記述110を転送する。あるいはまた、SDPファイルを、例えば、図1のプロトコルスタックの右側の列に示されるようなRTSP109の記述方法を用いることによりRTSP109のシグナリングを介しても得られることができる。留意すべきは、RTP102によっても同様に良好にプレゼンテーション記述を送信できるということである。しかし、プレゼンテーションの簡単化のため、この実現性は図1に含まれていない。
その後のセッション確立は、ブラウザまたは移動端末のユーザがストリーミングクライアントを呼び出して、コンテンツサーバに対してセッションを設定することにより処理される。端末は、IPに基づくパケット伝送をセッション確立シグナリングの開始時に可能にするアクティブ無線ベアラを有することを期待されている。
ストリーミングサービスの次の設定は、クライアントにより選択された各メディアストリームに対してRTSP設定メッセージを送信することにより行われる。クライアントは、それぞれのメディアストリームに用いるため、UDP104及び/またはTCP108ポートを戻す。クライアントはRTSP再生メッセージをコンテンツサーバに送信し、コンテンツサーバは、1つ以上のストリームをIPネットワーク上に送信し始める。
PSSシステムにおいてサービスプロバイダにエンドユーザストリーミング体験を評価する手段を与えるため、「Draft Rel-6 PSS Quality Metrics Permanent Document v.0.10」と題された3GPP技術文書(Tdoc)S4‐030860に提示されているようなストリーミングサービス品質メトリクスがPSSシステムに導入されている。この3GPP技術文書は、2003年11月24日〜28日、フィンランドのタンペレで行われた第29回3GPP‐TSG‐SA4会議を参考にする。ストリーミングクライアントは、実際のストリーミングアプリケーションの品質に関する情報を測定し、ストリーミングサーバにフィードバックする。前記品質は、前記品質メトリクスという形で規定されている。前記ストリーミングサーバを、例えばRTSPサーバとすることができ、例えば、前記RTSP及びSDPを用いることにより前記品質メトリクスを転送することができる。
サービスがRAN及びCNの種類に対してトランスペアレントであるので、ストリーミングクライアント及びストリーミングサーバのみが、PSS品質メトリクスにより影響を与えられる。この結果の1つとして、測定値は、RTP層から下にあるプロトコル層(例えば、UDP、IP、PDCP、SNDCP、LLC、RLC、MAC、物理層)からの情報に依存しないおそれがある。
品質フィードバックを用いるPSSシステム内の端末は、測定規定に従って品質測定を実行し、それら品質測定値をストリーミングクライアント品質メトリクスに集め、メトリクスをストリーミングサーバに報告する責任がある。その必要条件は、ストリーミングクライアントが、ストリーミングサーバにより品質メトリクスへ処理される生の品質測定値を報告する可能性を防げない。
ストリーミングサーバは、ストリーミングクライアントの品質メトリクス報告の起動をシグナリングし、ストリーミングクライアント品質メトリクスを集める責任がある。ストリーミングサーバは、受信したストリーミングクライアント品質メトリクスを処理して、集めた品質メトリクスを構築することができる。例えば、ストリーミングサーバは、生の損失したパケット報告を受信し、特定のストリーミングクライアントについて最小、最大、平均及び標準パケット損失率を構築することができる。
下記の7つの品質メトリクスは、Tdoc S4‐030860により規定されている。
破損期間
破損期間は、最初の破損したフレームから、その後の最初の良好なフレームまたは報告期間の終わり(どちらか早いほう)までの期間である。このメトリクスの単位は秒で表され、これを小数値とすることができる。
破損期間は、最初の破損したフレームから、その後の最初の良好なフレームまたは報告期間の終わり(どちらか早いほう)までの期間である。このメトリクスの単位は秒で表され、これを小数値とすることができる。
リバッファリング期間
このメトリクスは、オーディオ、映像及び音声のみに適用することができ、他のメディアタイプには適用することができない。このメトリクスの単位は秒で表され、これを小数値とすることができる。リバッファリングは、クライアント側における何らかの不本意な事象による再生時間中の任意の区間として規定されている。
このメトリクスは、オーディオ、映像及び音声のみに適用することができ、他のメディアタイプには適用することができない。このメトリクスの単位は秒で表され、これを小数値とすることができる。リバッファリングは、クライアント側における何らかの不本意な事象による再生時間中の任意の区間として規定されている。
初期バッファリング時間
初期バッファリングは、最初のRTPパケットを受信してから、再生が始まるまでの時間である。このメトリクスの単位は秒で表され、これを小数値とすることができる。
初期バッファリングは、最初のRTPパケットを受信してから、再生が始まるまでの時間である。このメトリクスの単位は秒で表され、これを小数値とすることができる。
連続して損失したコンテンツパケットの数
メディアチャネル当りの連続して損失したコンテンツパケットの数
メディアチャネル当りの連続して損失したコンテンツパケットの数
メディア復号器へ与えられたバイトの数
このパラメータは、メディア復号器へ与えられたバイトの累積数である。
このパラメータは、メディア復号器へ与えられたバイトの累積数である。
検出されたビットエラーの数
これは、アプリケーションレベルで検出されたビットエラーの数である。下位レベルのエラーはリンク層により処理される(減らされるかアプリケーション層へ伝達される)。
これは、アプリケーションレベルで検出されたビットエラーの数である。下位レベルのエラーはリンク層により処理される(減らされるかアプリケーション層へ伝達される)。
訂正されたビットエラーの数
これは、アプリケーションレベルで訂正されたビットエラーの数である。下位レベルのエラーはリンク層により処理される(減らされるかアプリケーション層へ伝達される)。
これは、アプリケーションレベルで訂正されたビットエラーの数である。下位レベルのエラーはリンク層により処理される(減らされるかアプリケーション層へ伝達される)。
上記の品質メトリクス規定の目的は、コンテンツの種類、端末及び無線アクセスネットワーク(RAN)の種類すべてにわたって一貫性のある測定値を得るためである。
その制約は、ストリーミングサーバへ送信される品質メトリクス報告のサイズと、端末の複雑性とを最小限に抑えることである。
RTSPのSET_PARAMETER方法を図2に示すようなフィードバックヘッダ2と共に用いることにより実際の品質メトリクスフィードバックをPSSサーバへ伝達することができる。しかし、特定の場合では、例えば、分解(TEARDOWN)メッセージまたは一時停止メッセージのような情報を伝送する他の方法を用いるのが効率的である。
図2のフィードバックヘッダ2では、Stream‐urlは、フィードバックパラメータに対するRTSPセッションまたはメディア制御URL識別子である。Parameters規定内のMetricsフィールドは、メトリクス/測定の名前(例えば、破損期間など)を含む。Valueフィールドは結果を示す。監視期間中、同じ事象が2回以上生じる可能性がある。この場合、メトリクス値は2回以上生じてもよいので、サーバへ事象の数を知らせる。オプションのRangeフィールドは報告期間を示す。
図2のフィードバックヘッダ2におけるオプションのTimestampフィールドは、事象(または測定)が生じた時点、または、セッションの開始以降にメトリクスが計算された時点を示す。
Tdoc S4‐030860では、前記Timestampフィールドによれば、用いられる時間基準のいかなる規定も存在せず、「セッションの開始」について何の規定もない。
従って、タイムスタンプの決定に用いられる時間基準が何であるか不明確である。異なる可能性があるかもしれず、例えば、セッションの開始を用いることができるので絶対セッション時間であるかもしれない。絶対セッション時間は、セッションが発生した時間、例えば、2004年の5月10日の12時20分22秒から13時20分22秒である。しかし、例えば、破損の報告に対してタイムスタンプとして絶対セッション時間が用いられると、このタイムスタンプが、報告される事象にのみに関連するのではなく、前記セッション中、前に生じたすべての事象に関連するということが容易に分かる。例えば、かなりの初期バッファリング時間に直面し、次に、幾つかのリバッファリングがセッション中に生じた場合、前記初期バッファリング及び前記リバッファリングにより遅延されたタイムスタンプが、破損期間に関するその後の報告に割り当てられ、従って、その後の報告は簡潔性を失う。同じことが、ストリーミングをクライアントにより一時停止し、その後、再開する場合にも当てはまる。この破損の再構築または分析を品質報告及び関連のタイムスタンプに基づいてストリーミングサーバで実行する必要があれば、現在のタイムスタンプを分析する時に、初期バッファリング、リバッファリング、休止などのような先行する事象と関連するすべてのタイムスタンプを考慮しなければならない。
先行する事象のタイムスタンプのすべてを前記ストリーミングサーバで利用できる時でさえ、セッションの始まりが明確に規定されていない場合、このような再構築または分析を可能とすることが全くできない。セッションの始まりを、例えば、最初のRTPパケットがストリーミングクライアントにより受信された時点、または、最初のメディアフレームが再生された時点、またはその他の時点と解釈する可能性がある。
時間基準及びセッションの開始時間が明確に規定されている場合でさえ、規定されたメトリクスの一部のタイムスタンプ値は、異なるクライアント、または、同一クライアントの異なるセッションの間で依然として変化するおそれがある。このことは、特に、クライアントサイトで測定できる品質メトリクスが、ストリーミングクライアントを設定する端末の処理電力及びタスクの負荷に依存するという事実による。例えば、4番目のメトリクス、すなわち、連続して損失したRTPパケットの数のタイムスタンプが、復号化の開始前に、正確な時間であるように規定されている場合でさえ、前記指標に到達するのに端末により必要とされる時間は、前記処理電力及び前記タスクの負荷に依存する。
その結果として、ストリーミングサーバ及びストリーミングクライアントは、報告された品質メトリクスについて異なる解釈を有するおそれがあり、クライアントは、同一のストリーミング品質について異なる品質メトリクスを報告するおそれがある。従って、報告されたタイムスタンプの不明確さのため、ストリーミングサーバはストリーミング品質を正確に分析することができない。
上述の問題を考慮して、本発明の目的は、特に、ストリーミングサービスにおいて品質フィードバック値のタイミングを正確かつ明白に報告できるようにする方法、コンピュータプログラム、コンピュータプログラム製品、システム、クライアント、サーバ及びプロトコルを提案することにある。
本発明は、ストリーミングサービスにおける品質フィードバックの方法であって、少なくとも1つのメディアストリームがクライアントへストリーミングされ、前記方法が、少なくとも1つの品質メトリクスに従って品質フィードバック値を判定するステップと、前記品質フィードバック値に関連するタイムスタンプを少なくとも1つのタイムスタンプメトリクスに従って判定するステップにおいて、前記少なくとも1つの品質メトリクスの各々に対して、対応するタイムスタンプメトリクスが規定され、前記少なくとも1つのタイムスタンプメトリクスの各々が、前記少なくとも1つのメディアストリームの相対的なメディア再生時間に基づくステップと、前記品質フィードバック値、及び、前記関連するタイムスタンプをサーバに報告するステップとを有する方法を提案する。
前記少なくとも1つのメディアストリームを、例えば連続的なメディアストリームとすることができ、この連続的なメディアストリームは、サーバ例えばコンテンツサーバから前記クライアントに連続して伝送され、前記クライアントが同期して設定されている端末上でレンダリングされる映像、オーディオまたは音声情報を含むことができる。あるいはまた、前記少なくとも1つのメディアストリームを、例えば、マルチメディア(映像)電話ストリームまたはIPによる音声メディアストリームまたは対話型マルチメディアアプリケーションのあらゆる種類のメディアストリームのようなリアルタイム低遅延アプリケーションのメディアストリームとすることができる。このストリーミングをストリーミングセッションで生じることができ、幾つかのメディアストリームを前記クライアントへ同時にストリーミングすることができる。前記ストリーミングは、プロトコル例えばリアルタイムトランスポートプロトコルRTPに基づくことができ、これを更なるプロトコル例えば、リアルタイムストリーミングプロトコルRTSPまたはセッション開始プロトコルSIPのようなストリーミングプロトコルにより制御することができ、これにより、例えば、ストリーミングを開始、停止及び/または一時停止することができる。前記クライアント及び前記サーバのプロトコルエンティティにより前記RTSPまたはSIPを動作させることができ、前記RTSPまたはSIPはセッション記述プロトコルSDPに基づくことができる。前記サーバを、前記メディアが実際に生じるコンテンツサーバと同じ場所に配置することができ、または、このコンテンツサーバと同一にすることができ、または、異なる場合にすることができる。前記ストリーミングの品質は、例えば破損期間またはリバッファリング事象のような前記少なくとも1つの品質メトリクスに従ってクライアントサイトで判定され、例えば、ストリーミングが基づく前記プロトコル、または、ストリーミングを制御する前記プロトコルを介して品質フィードバック値として報告される。前記品質メトリクスは、前記品質フィードバック値をどのように計算するかを基本的に規定する。ストリーミングを制御する前記プロトコルにより前記少なくとも1つの品質メトリクスを規定することができ、例えば、前記プロトコルにより規定された一連の幾つかの品質メトリクスから生じた前記少なくとも1つの品質メトリクスを、セッションの設定中、またはその後、前記クライアントと前記サーバとの間で取り決めることができる。前記少なくとも1つの品質メトリクスの各々に対して、それぞれのタイムスタンプメトリクスが、例えば、前記ストリーミングを制御する前記プロトコルにより規定されている。前記タイムスタンプメトリクスは、品質メトリクスにより規定されている品質メトリクス値と関連するタイムスタンプをどのように判定するかを基本的に規定する。前記少なくとも1つのタイムスタンプメトリクスは、前記少なくとも1つのメディアストリームの相対的なメディア再生時間に基づく。前記相対的なメディア再生時間は、いかなる絶対時間基準からも切り離された、すなわち、ストリーミング中に生じるようなまとまった中断間隔または再生の遅延間隔を持たない前記少なくとも1つのメディアストリームの再生の時間進行を表す。従って、相対的なメディア再生時間を、デジタルフォーマットに記録する間、連続的なメディアのサンプリング時間に関連付けることができる。例えば、RTPにより表わされたRTPタイムスタンプにより、または、RTSPにより与えられた正規再生時間(NPT)により、または、SIPあるいはRTCPにより与えられたタイムスタンプあるいはタイミング情報により前記相対的なメディア再生時間を表すことができる。前記品質フィードバック値と、関連するタイムスタンプとを、次に、例えば、ストリーミングが基づく前記プロトコルを介して、または、ストリーミングを制御する前記プロトコルを介して前記サーバに報告する。前記ストリーミングを制御する前記プロトコルがRTCPまたはSIPであれば、品質測定を行うため、前記報告した品質フィードバック値と、関連するタイムスタンプとを、エンティティ例えば、呼状態制御機能(CSCF)のようなネットワークエンティティにより捕捉するかまたは傍受するのが好ましいであろう。前記タイムスタンプを、例えば、RTP/RTSP/RTCP/SIPヘッダにおける強制的な、または選択的なパラメータとすることができる。
本発明の第1の態様によれば、各品質フィードバック値にタイムスタンプを割り当てることができ、前記タイムスタンプのタイムスタンプメトリクスは、前記品質フィードバック値の品質メトリクスに対して明確に規定される。従って、異なる品質メトリクスの一分類に一般的なタイムスタンプメトリクスを用いることから生じる曖昧さが取り除かれる。
更に、本発明の第2の態様によれば、タイムスタンプメトリクスは時間基準として相対的なメディア再生時間に基づき、従って、絶対セッション時間と、報告される実際の事象より前に発生した事象により生じた遅延と、クライアントが設定されている端末の処理電力及びタスクの負荷とは無関係となる。相対的なメディア再生時間の使用により、セッションの始まりを規定する必要性を無くすこともできる。
本発明の方法によれば、前記少なくとも1つのメディアストリームの前記ストリーミングがリアルタイムトランスポートプロトコルRTPに基づくのが好ましいであろう。前記RTPを前記クライアントとコンテンツサーバとの間で動作させることができ、前記RTPはユーザデータグラムプロトコルUDPのサービスを用いることができ、ユーザデータグラムプロトコルUDPはインターネットプロトコルIPのサービスを用いることができる。
本発明の方法によれば、前記相対的なメディア再生時間を、前記RTPの少なくとも1つのプロトコルデータ単位のヘッダに形成されているRTPタイムスタンプから生じさせるのが好ましいであろう。前記RTPタイムスタンプはRTPプロトコルデータ単位(またはパケット)の最初のオクテットのサンプリング時を反映することができる。または、リアルタイムでサンプリングされているデータというよりはむしろ、記憶されたデータが前記少なくとも1つのメディアストリームで送信される場合、次のフレームまたは他の単位を与えるべき時刻を判定するため、前記RTPタイムスタンプを、掛け時計時間から生じる仮想プレゼンテーションスケジュールから生じさせることができる。
本発明の方法によれば、前記ストリーミングをリアルタイムストリーミングプロトコルRTSPにより少なくとも部分的に制御するのが好ましいであろう。前記RTSPは、セッション記述プロトコルSDPにより与えられたプレゼンテーション記述に基づくことができる。前記クライアントと前記サーバとにより前記RTSPを動作させることができ、前記RTSPにより、例えば、ストリーミングを開始、一時停止及び停止することができる。
本発明の方法によれば、前記相対的なメディア再生時間を、前記RTSPにより与えられた通常の再生時間NPTから生じさせるのが好ましいであろう。前記NPTは、プレゼンテーションの開始に対するストリーム絶対位置を示すことができる。前記NPTをRTPタイムスタンプから生じさせることができる。
本発明の方法によれば、前記少なくとも1つの品質メトリクスが、事象の継続期間であるように前記品質メトリクス値を規定し、前記対応のタイムスタンプメトリクスは、前記事象が生じる前の、前記少なくとも1つのメディアストリームの特定フレームの相対的なメディア再生時間であるように前記タイムスタンプを規定するのが好ましいであろう。
本発明の方法によれば、前記事象が破損期間であり、前記特定フレームが、再生順で、前記破損の発生前にある最後の良好なフレームであるのが好ましいであろう。
本発明の方法によれば、前記事象がリバッファリング期間であり、前記特定フレームが、前記リバッファリングの発生前、最後に再生されたフレームであるのが好ましいであろう。
本発明の方法によれば、前記事象が、連続して損失したコンテンツパケットの数であり、前記特定のフレームが、再生順で、前記連続して損失したパケットの発生前に、最後に受信したフレームであるのが好ましいであろう。
本発明の方法によれば、前記少なくとも1つの品質メトリクスが、事象の数であるように前記品質メトリクス値を規定し、前記対応のタイムスタンプメトリクスは、前記事象の数が測定される前の、前記少なくとも1つのメディアストリームの特定フレームの相対的なメディア再生時間であるように前記タイムスタンプを規定するのが好ましいであろう。
本発明の方法によれば、前記事象の数が、メディア復号器へ与えられたバイトの数、または、検出されたビットエラーの数、または、訂正されたビットエラーの数であり、前記特定フレームが、前記事象の数が測定される前、最後に復号化されたフレームであるのが好ましいであろう。
本発明の方法によれば、前記RTSPを介して、前記品質フィードバック値、及び、前記関連するタイムスタンプを前記サーバに報告するのが好ましいであろう。前記品質フィードバック値及び前記タイムスタンプを、例えばRTSPプロトコルデータユニットのヘッダに含めることができる。
本発明の方法によれば、前記ストリーミングをセッション開始プロトコルSIPにより少なくとも部分的に制御するのが好ましいであろう。この場合、品質測定を行うため、前記SIPを介して報告された前記品質フィードバック値と、関連するタイムスタンプとを、エンティティ例えば、呼状態制御機能(CSCF)のようなネットワークエンティティにより捕捉するかまたは傍受するのが好ましいであろう。
本発明の方法によれば、前記相対的なメディア再生時間を、前記SIPにより与えられた時間基準から生じさせ、特に、前記SIPの少なくとも1つのプロトコルデータユニットのヘッダに形成されているSIPタイムスタンプから生じさせるのが好ましいであろう。
本発明の方法によれば、前記ストリーミングをリアルタイムトランスポート制御プロトコル(RTCP)により少なくとも部分的に制御するのが好ましいであろう。この場合、品質測定を行うため、前記RTCPを介して報告された前記品質フィードバック値と、関連するタイムスタンプとを、エンティティ例えば、呼状態制御機能(CSCF)のようなネットワークエンティティにより捕捉するかまたは傍受するのが好ましいであろう。
本発明の方法によれば、前記相対的なメディア再生時間を、前記RTCPにより与えられた時間基準から得て、特に、前記RTCPの少なくとも1つのプロトコルデータ単位のヘッダに形成されているRTCPタイムスタンプから得るのが好ましいであろう。
本発明の方法によれば、前記報告された品質フィードバック値、及び、前記関連するタイムスタンプをインスタンスにより捕捉し、前記ストリーミングの品質を分析するのに用いるのが好ましいであろう。
本発明の方法によれば、前記ストリーミングサービスが3G移動通信システムのパケット交換ストリーミングサービスPSSであるのが好ましいであろう。
本発明は、上述した方法のステップをプロセッサに実行させるように動作可能な命令を有するコンピュータプログラムを更に提案する。
本発明は、上述した方法のステップをプロセッサに実行させるように動作可能な命令を有するコンピュータプログラムを含むコンピュータプログラム製品を更に提案する。
本発明は、ストリーミングサービスにおける品質フィードバックのシステムであって、前記システムが、少なくとも1つのサーバと、少なくとも1つのクライアントとを備え、少なくとも1つのメディアストリームが前記少なくとも1つのクライアントへストリーミングされ、品質フィードバック値が少なくとも1つの品質メトリクスに従って判定され、前記品質フィードバック値に関連するタイムスタンプが、前記少なくとも1つの品質メトリクスの各々に対して対応するように規定されると共に前記少なくとも1つのメディアストリームの相対的なメディア再生時間に基づく少なくとも1つのタイムスタンプメトリクスに従って判定され、前記品質フィードバック値、及び、前記関連するタイムスタンプが前記少なくとも1つのサーバに報告されるシステムを更に提案する。
本発明は、ストリーミングサービスにおけるクライアントであって、前記クライアントへストリーミングされる少なくとも1つのメディアストリームを受信する手段と、品質フィードバック値を少なくとも1つの品質メトリクスに従って判定する手段と、前記品質フィードバック値に関連するタイムスタンプを少なくとも1つのタイムスタンプメトリクスに従って判定する手段において、前記少なくとも1つの品質メトリクスの各々に対して、対応のタイムスタンプメトリクスが規定され、前記少なくとも1つのタイムスタンプメトリクスの各々が、前記少なくとも1つのメディアストリームの相対的なメディア再生時間に基づく手段と、前記品質フィードバック値、及び、前記関連するタイムスタンプをサーバに報告する手段とを備えるクライアントを更に提案する。前記クライアントを、例えばSIPにより制御できる例えばマルチメディア(映像)電話またはIPによる電話のようなリアルタイム低遅延アプリケーションセッションにかかわっている少なくとも二人の当事者の一方として理解することもできる。
本発明は、ストリーミングサービスにおけるサーバにおいて、少なくとも1つのメディアストリームがクライアントへストリーミングされ、品質フィードバック値が少なくとも1つの品質メトリクスに従って判定され、前記品質フィードバック値に関連するタイムスタンプが、前記少なくとも1つの品質メトリクスの各々に対して対応するように規定されると共に前記少なくとも1つのメディアストリームの相対的なメディア再生時間に基づく少なくとも1つのタイムスタンプメトリクスに従って判定されるサーバであって、前記サーバが、前記クライアントにより前記サーバに報告された前記品質フィードバック値、及び、前記関連するタイムスタンプを受信する手段を備えるサーバを更に提案する。前記サーバを、例えばSIPにより制御できる例えばマルチメディア(映像)電話またはIPによる電話のようなリアルタイム低遅延アプリケーションセッションにかかわっている少なくとも二人の当事者の一方として理解することもできる。
本発明は、ストリーミングサービスに用いられるプロトコルにおいて、少なくとも1つのメディアストリームがクライアントへストリーミングされ、前記プロトコルが、少なくとも1つの品質メトリクスと、前記少なくとも1つの品質メトリクスの各々に対する少なくとも1つのタイムスタンプメトリクスとを規定し、前記少なくとも1つのタイムスタンプメトリクスの各々が前記少なくとも1つのメディアストリームの相対的なメディア再生時間に基づくプロトコルを更に提案する。
本発明のプロトコルによれば、前記プロトコルが、セッション記述プロトコルSDPと組み合わされたRTSPであるのが好ましいであろう。
本発明のプロトコルによれば、前記プロトコルが、セッション記述プロトコルSDPと組み合わされたSIPであるのが好ましいであろう。
本発明のプロトコルによれば、前記プロトコルがRTCPであるのが好ましいであろう。
本発明の上述した態様及びその他の態様は、以下に説明する実施形態を参照することにより明らかになるであろう。
本発明は、各々規定された品質メトリクスに対して明確に且つ均一に指定されたタイムスタンプメトリクス(タイムスタンプセマンティクス)を提案することにより、同期化された映像及びオーディオの転送及びレンダリングのような連続的なマルチメディアアプリケーションと対話型アプリケーションのようなリアルタイム低遅延アプリケーションとの双方に対するストリーミングサービスにおいて品質フィードバック値のタイミングを報告する際の不明確さを取り除く。タイムスタンプメトリクスは、例えば、リアルタイムストリーミングプロトコル(RTSP)が用いられる場合に利用できる正規再生時間(normal playing time(NPT))とすることができ、または、RTPにより供給され各RTPヘッダに含まれるリアルタイムトランスポートプロトコル(RTP)タイムスタンプから得ることができ、または、リアルタイムトランスポート制御プロトコルRTCPあるいはセッション開始プロトコルSIPの時間基準あるいはタイムスタンプから得ることができる相対的なメディア再生時間に基づく。
RTCPは、データパケットと同じ配信機構を用いるセッション中のすべての当事者への制御パケットの周期的な伝送に基づく。下層のプロトコルは、例えば、UDPで別々のポート番号を用いてデータの多重化及びパケットの制御を行わなければならない。RTCPは、特に、データ配信の品質に関するフィードバックを行うことができる。このことは、転送プロトコルとしてのRTPの役割の不可欠な部分であり、他の転送プロトコルのフロー及び輻輳制御機能に関連する。適応符号化の制御にフィードバックを直接に役立てることができる。しかし、IPマルチキャスティングに関する実験は、配信中の障害を診断するため、受信機からフィードバックを得ることも重要であることを示している。受信フィードバック報告をすべての当事者へ送信することにより、問題を観察する人は、これら問題が局所的であるか大域的であるかを評価することができる。IPマルチキャストのような配信機構の場合、他の点ではセッションに関与しないネットワークサービスプロバイダのようなエンティティがフィードバック情報を受信し、ネットワーク問題を診断するための第3者モニタとしての役割を果すことも可能である。このフィードバック機能は、RTCP発信者及び受信者の報告により実行される。特に、RTCPは、タイムスタンプを支援するか供給することができる。
SIPは、インターネット電話呼のようなマルチメディアセッション(会議)を確立し、変更し、終了することができるアプリケーション層制御プロトコルである。SIPは、マルチキャスト会議のような既存のセッションへ当事者を勧誘することもできる。既存のセッションにメディアを加える(また、既存のセッションから取り除く)ことができる。SIPは、ユーザのネットワーク位置にかかわらず外部から見える単一識別子をユーザが維持できる個人の移動性を支援するネームマッピング及びリダイレクションサービスをトランスペアレントに支援する。
SIPは、縦に統合された通信システムではない。むしろ、SIPは、完全なマルチメディアアーキテクチャを構築するのに他のIETFプロトコルと用いることができるコンポーネントである。典型的には、これらアーキテクチャは、リアルタイムデータを転送しQoSフィードバックを行うRTPや、ストリーミングメディアの配信を制御するリアルタイムストリーミングプロトコルRTSPや、公衆交換電話網(PSTN)に対するゲートウェイを制御するメディアゲートウェイ制御プロトコルMEGACOや、マルチメディアセッションを記述するセッション記述プロトコルSDPのようなプロトコルを含む。従って、完全なサービスをユーザに提供するため、他のプロトコルと併せてSIPを用いる必要がある。しかし、SIPの基本機能及び動作は、これらプロトコルのいずれにも依存しない。
SIPは、特に、ヘッダにタイムスタンプフィールドを備える。タイムスタンプヘッダフィールドは、例えば、ある当事者がリクエストを他の当事者に送信した時点を記述することができる。
SIPまたはRTCPが用いられる場合、ストリーミングはセッションの(例えば、2つの端末に設定された)二人の当事者の間で生じ、ある当事者が品質フィードバック値及び関連のタイムスタンプを他の当事者に報告することが役立たない場合がある。従って、SIPまたはRTCPは、例えば呼状態制御機能CSCFとしてネットワークエンティティを構成して、これら報告された品質フィードバック値及び関連のタイムスタンプを傍受するのに有利であり、これらを用いて、二人の当事者間のストリーミングの品質を分析する。
提案するタイムスタンプメトリクスを用いれば、異なるストリーミングサーバ及びストリーミングクライアントは、報告された品質メトリクス例えば、3G移動通信システムのパケット交換ストリーミングサービス(PSS)でのような体験の品質QoEメトリクスについて、または対話型アプリケーションの品質フィードバックについて同一の解釈を有し、ストリーミング品質体験の正確な分析を可能にする。ストリーミングサーバまたはQoEメトリクス分析器が、NPTを実時間にマッピングする方法を用いれば、セッション品質について時間に関する分析を行うことができる。
3GPP技術文書S4‐030860に規定された品質メトリクスの各々に対して本発明で規定されるようなタイムスタンプメトリクスを後に提示するであろう。表記NPT/RTPのタイムスタンプは、NRTが利用できればNPTが相対的なメディア再生時間として用いられ、RTPタイムスタンプのみが利用できればこれらは相対的なメディア再生時間として用いられるものと理解されるべきである。
破損期間
タイムスタンプは、破損が生じた時点を示す。タイムスタンプの値は、再生順で、破損発生の前にある最後の良好なフレームのNPT/RTPタイムスタンプに等しい。破損前に良好なフレームがなければ、タイムスタンプは0に設定される。
タイムスタンプは、破損が生じた時点を示す。タイムスタンプの値は、再生順で、破損発生の前にある最後の良好なフレームのNPT/RTPタイムスタンプに等しい。破損前に良好なフレームがなければ、タイムスタンプは0に設定される。
メトリクス破損期間は、オーディオ、映像または音声メディアに適用できるだけでなく、メディアとしてタイムドテキストストリームに適用することもできる。
リバッファリング期間
タイムスタンプは、リバッファリングが生じた時点を示す。タイムスタンプの値は、リバッファリングの発生前、最後に再生されたフレームのNPT/RTPタイムスタンプに等しい。
タイムスタンプは、リバッファリングが生じた時点を示す。タイムスタンプの値は、リバッファリングの発生前、最後に再生されたフレームのNPT/RTPタイムスタンプに等しい。
初期バッファリング時間
タイムスタンプセマンティクスは指定されておらず、タイムスタンプの値は規定されていない。
タイムスタンプセマンティクスは指定されておらず、タイムスタンプの値は規定されていない。
連続して損失したコンテンツパケットの数
タイムスタンプは、一連の損失したパケットが生じた時点を示す。タイムスタンプの値は、再生順で、一連の損失したパケットの発生前、最後に受信したRTPのNPT/RTPタイムスタンプに等しい。一連の損失したパケット前に、受信したRTPパケットがなければ、タイムスタンプは0に設定される。
タイムスタンプは、一連の損失したパケットが生じた時点を示す。タイムスタンプの値は、再生順で、一連の損失したパケットの発生前、最後に受信したRTPのNPT/RTPタイムスタンプに等しい。一連の損失したパケット前に、受信したRTPパケットがなければ、タイムスタンプは0に設定される。
メディア復号器へ与えられたバイトの数
タイムスタンプは、メディア復号器へ与えられたバイトの数が測定された時点を示す。タイムスタンプの値は、メディア復号器へ与えられたバイトの数が測定される前、最後に復号化されたフレームのNPT/RTPタイムスタンプに等しい。測定前に、復号化されたフレームがなければ、タイムスタンプは0に設定される。
タイムスタンプは、メディア復号器へ与えられたバイトの数が測定された時点を示す。タイムスタンプの値は、メディア復号器へ与えられたバイトの数が測定される前、最後に復号化されたフレームのNPT/RTPタイムスタンプに等しい。測定前に、復号化されたフレームがなければ、タイムスタンプは0に設定される。
検出されたビットエラーの数
タイムスタンプは、検出されたビットエラーの数が測定された時点を示す。タイムスタンプの値は、検出されたビットエラーの数が測定される前、最後に復号化されたフレームのNPT/RTPタイムスタンプに等しい。測定前に、復号化されたフレームがなければ、タイムスタンプは0に設定される。
タイムスタンプは、検出されたビットエラーの数が測定された時点を示す。タイムスタンプの値は、検出されたビットエラーの数が測定される前、最後に復号化されたフレームのNPT/RTPタイムスタンプに等しい。測定前に、復号化されたフレームがなければ、タイムスタンプは0に設定される。
訂正されたビットエラーの数
タイムスタンプは、訂正されたビットエラーの数が測定された時点を示す。タイムスタンプの値は、訂正されたビットエラーの数が測定される前、最後に復号化されたフレームのNPT/RTPタイムスタンプに等しい。測定前に、復号化されたフレームがなければ、タイムスタンプは0に設定される。
タイムスタンプは、訂正されたビットエラーの数が測定された時点を示す。タイムスタンプの値は、訂正されたビットエラーの数が測定される前、最後に復号化されたフレームのNPT/RTPタイムスタンプに等しい。測定前に、復号化されたフレームがなければ、タイムスタンプは0に設定される。
上記のタイムスタンプメトリクスから分かるように、事象発生(破損、リバッファリング、初期バッファリング、または、一連のRTPパケットの損失)の時刻、または、統計値(メディア復号器へ与えられたバイトの数、検出されたビットエラーの数、及び、訂正されたビットエラーの数)が測定された時刻は、実際には、相対的なメディア再生時間(NPT/RTPタイムスタンプ)において測定されたメディアストリームの位置である。
初期バッファリングが、再生の始まる前、セッションの始めにのみ生じるので、初期バッファリング時間のタイムスタンプは指定されない。
提案されたタイムスタンプ情報を有する報告された品質メトリクスに従って、ストリーミングサーバは、クライアントにおいて生じたストリーミング再生またはレンダリングを再現する(mimic)ことができる。従って、ストリーミング品質を完全に分析することができる。
図3には、本発明による方法のフローチャートを示す。最初のステップ300では、ストリーミングセッションをストリーミングクライアントとストリーミングサーバとの間に設定する。ステップ301では、ストリーミングクライアントにより実行される品質フィードバック手順に用いるため、1つ以上の品質メトリクスをストリーミングクライアントとストリーミングサーバとの間で取り決める。前記セッションの設定及び取り決めの双方は、SDPと組み合わされたRTSP、または、RTCPあるいはSIPに基づくことができる。ステップ301をステップ300と一緒に実行することもできる。対応のタイムスタンプメトリクスを、ストリーミングセッショに対して取り決めた品質メトリクスの各々と関連付けることができる。ステップ302では、例えば、メディアストリームをストリーミングクライアントに送信し、前記ストリーミングクライアントが設定されている端末でメディアストリームをレンダリングする時、実際のストリーミングを開始する。前記ストリーミングの期間に、ステップ303では、品質フィードバックが必要とされるかどうかを監視する。この監視を、例えば、取り決めた品質メトリクスに従ってストリーミングサーバに報告しなければならない事象が生じたかどうかを連続して確認することにより達成することができる。この事象を、例えば、リバッファリング事象とすることができる。あるいはまた、周期的な品質報告を、例えば、ある時間間隔で、メディア復号器へ与えられたバイトの数の周期的なフィードバックについて取り決めることができる。前記ステップ303では、事象駆動の品質フィードバック及び周期的な品質フィードバックの双方が起動される。品質フィードバックが必要とされると決定すれば、ステップ304において、取り決めた品質メトリクスの各々に従って品質フィードバック値を判定する。次に、ステップ305では、取り決めた品質メトリクスの各々に対応するタイムスタンプメトリクスに従って、対応のタイムスタンプを判定する。前記ステップ305をステップ304の前でも同様に良好に実行することができる。いずれの場合でも、ステップ306において、例えばRTSP、RTCPまたはSIPを介して、品質フィードバック値及び対応のタイムスタンプをストリーミングサーバに報告する。品質フィードバックの後、または、いかなる品質フィードバックも必要とされないと判定された場合、ステップ307では、ストリーミングを停止すべきかを確認する。停止すべきでない場合、ステップ303において、新たな品質フィードバックが必要とされるかどうかを再び確認する。
図4には、本発明によるシステムの機能コンポーネントを概略的に示す。この実施例は、ストリーミングを制御するのにRTSPを用いるPSSシステムについて典型的に言及する。当然のことながら、本明細書では、わずかに修正された下側のプロトコルスタックと、クライアント601(第1の当事者)からサーバ600(第2の当事者)へ送信された品質フィードバック及びタイムスタンプを傍受または捕捉する追加のネットワークインスタンスと一緒にSIPも同様に良く用いることができる。図4のPSSシステムはストリーミングクライアント601及びストリーミングサーバ600を含み、クライアント601及びサーバ600の双方は、RTSPを動作することができる少なくとも1つのRTSPエンティティ401,400を有する。RTSPエンティティ401,400は、その下側にあるプロトコル層のサービスを用いる。下側にあるプロトコル層は、更なるプロトコルエンティティにより動作させられ、下側にあるプロトコル層のうち、TCP/UDPエンティティ402,403及びIPエンティティ404,405のみが示されている。ストリーミングクライアント601は、取り決めた品質メトリクス及び対応のタイムスタンプメトリクスに関して実際のストリーミングアプリケーションの品質を監視し、監視した品質フィードバック値を前記RTSPエンティティ401へ入力するストリーミング品質モニタインスタンス407と更に接続されている。前記ストリーミング品質モニタを、例えば、前記ストリーミングクライアントが設定されている端末により与えることができる。ストリーミング品質モニタ407は、次に、用いられている品質メトリクスに対応するタイムスタンプメトリクスに従ってタイムスタンプを判定し、クライアントRTSP401を介して、前記監視された品質フィードバック値及び前記対応するタイムスタンプをストリーミングサーバ600のRTSPピアエンティティへ転送する。RTSPピアエンティティでは、例えば、リバッファリング事象が度々起こり過ぎると検出された場合にストリーミングアプリケーションのデータレートを増大することによりストリーミングアプリケーションの品質を改善することを目的とするか、または、統計に基づく品質データの収集あるいは課金だけを目的とするか、または、その他の目的とすることができる評価及び分析のため、これら品質フィードバック値及び対応のタイムスタンプを品質データ処理インスタンス406に入力する。
好適な実施例を用いて上記に本発明を説明した。当業者に明らかであって、請求項の範囲及び精神を逸脱することなく、実施することができる代わりの方法及び変形形態があることに留意すべきである。特に、本発明は、3G無線通信システムの分野だけに制限されるものではない。パラメータフィードバックを用いるあらゆる種類の有線及び無線データ伝送システムにも同様に良好に利用することができる。
Claims (27)
- ストリーミングサービスにおける品質フィードバックの方法であって、少なくとも1つのメディアストリーム(101)がクライアント(601)へストリーミングされる前記の方法が、
少なくとも1つの品質メトリクスに従って品質フィードバック値を判定するステップ(304)と、
前記品質フィードバック値に関連するタイムスタンプを少なくとも1つのタイムスタンプメトリクスに従って判定するステップ(305)であって、前記少なくとも1つの品質メトリクスの各々に対して、対応するタイムスタンプメトリクスが規定され、前記少なくとも1つのタイムスタンプメトリクスの各々が、前記少なくとも1つのメディアストリーム(101)の相対的なメディア再生時間に基づく、前記の判定するステップ(305)と、
前記品質フィードバック値、及び、前記関連するタイムスタンプをサーバ(600)に報告するステップ(306)と
を有する方法。 - 前記少なくとも1つのメディアストリーム(101)の前記ストリーミングがリアルタイムトランスポートプロトコルRTP(102)に基づく、請求項1に記載の方法。
- 前記相対的なメディア再生時間が、前記RTP(102)の少なくとも1つのプロトコルデータユニットのヘッダに与えられているRTPタイムスタンプから得られる、請求項2に記載の方法。
- 前記ストリーミングがリアルタイムストリーミングプロトコルRTSP(109)により少なくとも部分的に制御される、請求項1〜3のいずれか一項に記載の方法。
- 前記相対的なメディア再生時間が、前記RTSP(109)により与えられた正規再生時間NPTから得られる、請求項4に記載の方法。
- 前記少なくとも1つの品質メトリクスが、事象の継続期間であるように前記品質メトリクス値を規定し、前記対応するタイムスタンプメトリクスは、前記事象が生じる前の、前記少なくとも1つのメディアストリーム(101)の特定のフレームの相対的なメディア再生時間であるように前記タイムスタンプを規定する、請求項1〜5のいずれか一項に記載の方法。
- 前記事象が破損期間であり、前記特定のフレームが、再生順で、前記破損の発生前の最後の良好なフレームである、請求項6に記載の方法。
- 前記事象がリバッファリング期間であり、前記特定のフレームが、前記リバッファリングの発生前の最後に再生されたフレームである、請求項6に記載の方法。
- 前記事象が、連続して損失したコンテンツパケットの数であり、前記特定のフレームが、再生順で、前記連続して損失したパケットの発生前の最後に受信したフレームである、請求項6に記載の方法。
- 前記少なくとも1つの品質メトリクスが、事象の数であるように前記品質メトリクス値を規定し、前記対応するタイムスタンプメトリクスは、前記事象の数が測定される前の、前記少なくとも1つのメディアストリーム(101)の特定のフレームの相対的なメディア再生時間であるように前記タイムスタンプを規定する、請求項1〜5のいずれか一項に記載の方法。
- 前記事象の数が、メディア復号器へ与えられたバイトの数、または、検出されたビットエラーの数、または、訂正されたビットエラーの数であり、前記特定のフレームが、前記事象の数が測定される前の最後に復号化されたフレームである、請求項10に記載の方法。
- 前記品質フィードバック値、及び、前記関連するタイムスタンプが前記RTSP(109)を介して前記サーバ(600)に報告される、請求項4〜11のいずれか一項に記載の方法。
- 前記ストリーミングがセッション開始プロトコルSIPにより少なくとも部分的に制御される、請求項1に記載の方法。
- 前記相対的なメディア再生時間が、前記SIPにより与えられた時間基準から得られ、特に、前記SIPの少なくとも1つのプロトコルデータユニットのヘッダに与えられているSIPタイムスタンプから得られる、請求項13に記載の方法。
- 前記ストリーミングがリアルタイムトランスポート制御プロトコル(RTCP)により少なくとも部分的に制御される、請求項1に記載の方法。
- 前記相対的なメディア再生時間が、前記RTCPにより与えられた時間基準から得られ、特に、前記RTCPの少なくとも1つのプロトコルデータユニットのヘッダに与えられているRTCPタイムスタンプから得られる、請求項15に記載の方法。
- 前記報告された品質フィードバック値、及び、前記関連するタイムスタンプがインスタンスにより捕捉され、前記ストリーミングの品質を分析するのに用いられる、請求項13〜16のいずれか一項に記載の方法。
- 前記ストリーミングサービスが3G移動通信システムのパケット交換ストリーミングサービスPSSである、請求項1〜17のいずれか一項に記載の方法。
- 請求項1〜18のいずれか一項に記載の方法のステップをプロセッサに実行させるように動作可能な命令を有するコンピュータプログラム。
- 請求項1〜18のいずれか一項に記載の方法のステップをプロセッサに実行させるように動作可能な命令を有するコンピュータプログラムを備えるコンピュータプログラム製品。
- ストリーミングサービスにおける品質フィードバックのシステムであって、
少なくとも1つのサーバ(600)と、
少なくとも1つのクライアント(601)とを備え、
少なくとも1つのメディアストリーム(101)が前記少なくとも1つのクライアント(601)へストリーミングされ、品質フィードバック値が少なくとも1つの品質メトリクスに従って判定され、前記品質フィードバック値に関連するタイムスタンプが、前記少なくとも1つの品質メトリクスの各々に対して対応するように規定されると共に前記少なくとも1つのメディアストリーム(101)の相対的なメディア再生時間に基づく少なくとも1つのタイムスタンプメトリクスに従って判定され、前記品質フィードバック値、及び、前記関連するタイムスタンプが前記少なくとも1つのサーバ(600)に報告されるシステム。 - ストリーミングサービスにおけるクライアント(601)であって、
前記クライアント(601)へストリーミングされる少なくとも1つのメディアストリーム(101)を受信する手段(401,403,405)と、
品質フィードバック値を少なくとも1つの品質メトリクスに従って判定する手段(401,407)と、
前記品質フィードバック値に関連するタイムスタンプを少なくとも1つのタイムスタンプメトリクスに従って判定する手段(401)であって、前記少なくとも1つの品質メトリクスの各々に対して、対応するタイムスタンプメトリクスが規定され、前記少なくとも1つのタイムスタンプメトリクスの各々が、前記少なくとも1つのメディアストリーム(101)の相対的なメディア再生時間に基づく、前記の判定する手段(401)と、
前記品質フィードバック値、及び、前記関連するタイムスタンプをサーバ(600)に報告する手段(401)と
を備えるクライアント。 - ストリーミングサービスにおけるサーバ(600)であって、少なくとも1つのメディアストリーム(101)がクライアント(601)へストリーミングされ、品質フィードバック値が少なくとも1つの品質メトリクスに従って判定され、前記品質フィードバック値に関連するタイムスタンプが、前記少なくとも1つの品質メトリクスの各々に対して対応するように規定されると共に前記少なくとも1つのメディアストリーム(101)の相対的なメディア再生時間に基づく少なくとも1つのタイムスタンプメトリクスに従って判定される、前記のサーバ(600)が、
前記クライアント(601)により前記サーバ(600)に報告された前記品質フィードバック値、及び、前記関連するタイムスタンプを受信する手段(400)を備えるサーバ。 - ストリーミングサービスに用いられるプロトコルであって、少なくとも1つのメディアストリーム(101)がクライアント(601)へストリーミングされ、
少なくとも1つの品質メトリクスと、
前記少なくとも1つの品質メトリクスの各々に対する少なくとも1つのタイムスタンプメトリクスとを規定し、
前記少なくとも1つのタイムスタンプメトリクスの各々が前記少なくとも1つのメディアストリーム(101)の相対的なメディア再生時間に基づくプロトコル。 - 前記プロトコルが、セッション記述プロトコルSDP(110)と組み合わされたRTSP(109)である、請求項24に記載のプロトコル。
- 前記プロトコルがSIPである、請求項24に記載のプロトコル。
- 前記プロトコルがRTCPである、請求項24に記載のプロトコル。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2004/000371 WO2005088931A1 (en) | 2004-02-13 | 2004-02-13 | Timing of quality of experience metrics |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007523540A true JP2007523540A (ja) | 2007-08-16 |
Family
ID=34957045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006552703A Pending JP2007523540A (ja) | 2004-02-13 | 2004-02-13 | 体験の品質のメトリクスのタイミング |
Country Status (9)
Country | Link |
---|---|
US (1) | US20050204052A1 (ja) |
EP (1) | EP1723762A1 (ja) |
JP (1) | JP2007523540A (ja) |
CN (1) | CN1914876B (ja) |
AU (1) | AU2004317111B2 (ja) |
BR (1) | BRPI0418522A (ja) |
PE (1) | PE20060032A1 (ja) |
TW (1) | TW200531472A (ja) |
WO (1) | WO2005088931A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007324783A (ja) * | 2006-05-31 | 2007-12-13 | Nec Corp | 品質計測システム、通信装置、通信端末及びそれらに用いるストリーミング配信品質計測方法 |
US8542723B2 (en) | 2009-11-25 | 2013-09-24 | Fujitsu Limited | Information processing apparatus and information generation method |
JP2015501579A (ja) * | 2011-10-14 | 2015-01-15 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ワイヤレスディスプレイデバイスのためのフィードバックチャネル |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070239820A1 (en) * | 2005-11-23 | 2007-10-11 | Nokia Corporation | System and method for providing quality feedback metrics for data transmission in rich media services |
JP2008048182A (ja) * | 2006-08-17 | 2008-02-28 | Sony Corp | 通信処理装置、および通信制御方法、並びにコンピュータ・プログラム |
EP1890408A3 (en) * | 2006-08-18 | 2011-10-12 | Samsung Electronics Co., Ltd. | Method and apparatus for reporting reception ratio of streaming service by terminal in a mobile broadcasting system, and system thereof |
CN1960485B (zh) * | 2006-08-29 | 2011-12-07 | 中兴通讯股份有限公司 | 一种移动多媒体广播视音频同步播放的方法 |
US8929360B2 (en) * | 2006-12-07 | 2015-01-06 | Cisco Technology, Inc. | Systems, methods, media, and means for hiding network topology |
US8959239B2 (en) * | 2006-12-29 | 2015-02-17 | Telefonaktiebolaget L M Ericsson (Publ) | Method and apparatus for reporting streaming media quality |
US20080228912A1 (en) * | 2007-03-16 | 2008-09-18 | Ramakrishna Vedantham | Enhanced Quality Reporting for Transmission Sessions |
US8620878B2 (en) * | 2007-07-19 | 2013-12-31 | Ustream, Inc. | System and method of distributing multimedia content |
US20090125636A1 (en) * | 2007-11-13 | 2009-05-14 | Qiong Li | Payload allocation methods for scalable multimedia servers |
CN101489122B (zh) * | 2008-01-15 | 2011-04-13 | 华为技术有限公司 | 实现传输流时间映射的方法、装置及系统 |
US8174988B1 (en) * | 2008-02-19 | 2012-05-08 | Sprint Communications Company L.P. | Quality-of-service control on a wireless communication device that controls the communication paths used by a communication network |
US8612572B2 (en) * | 2008-05-30 | 2013-12-17 | Microsoft Corporation | Rule-based system for client-side quality-of-service tracking and reporting |
CN101695171B (zh) * | 2009-10-16 | 2013-02-27 | 中兴通讯股份有限公司 | 通过流控制传输协议测量网络传输质量的方法和装置 |
US9071669B2 (en) | 2010-02-05 | 2015-06-30 | Telefonaktiebolaget L M Ericsson (Publ) | Method and network node for monitoring a quality of media transfer in a session initiation protocol based voice over internet protocol communications network |
WO2011157295A1 (en) * | 2010-06-17 | 2011-12-22 | Nokia Siemens Networks Oy | Improved peer-to-peer system |
WO2011158221A2 (en) * | 2010-06-18 | 2011-12-22 | Nokia Corporation | Method and apparatus for generating and handling streaming media quality-of-experience metrics |
CN101909060B (zh) * | 2010-08-05 | 2012-11-21 | 浙江工业大学 | 一种适用于移动视频实时流媒体传输的Qos控制方法 |
US9191284B2 (en) * | 2010-10-28 | 2015-11-17 | Avvasi Inc. | Methods and apparatus for providing a media stream quality signal |
US9037743B2 (en) | 2010-10-28 | 2015-05-19 | Avvasi Inc. | Methods and apparatus for providing a presentation quality signal |
EP2673935B1 (en) * | 2011-02-11 | 2019-04-24 | InterDigital Patent Holdings, Inc. | Method and apparatus for distribution and reception of content |
CN103621145B (zh) | 2011-04-20 | 2017-03-29 | 英派尔科技开发有限公司 | 移动内容体验质量的实时全参考计算方法、装置 |
US20140181266A1 (en) * | 2011-09-29 | 2014-06-26 | Avvasi Inc. | System, streaming media optimizer and methods for use therewith |
CN103107958B (zh) * | 2011-11-11 | 2016-09-07 | 中兴通讯股份有限公司 | 一种获取用户感知的方法及系统 |
CN104067667A (zh) * | 2012-01-23 | 2014-09-24 | 英特尔公司 | 用于集成的多rat异类网络的网络辅助的用户关联和卸载技术 |
US20130262692A1 (en) * | 2012-03-28 | 2013-10-03 | Rovi Corp | System and Methods of Media Streaming from a Media Server using RTSP with Reduced Delays |
US20130262691A1 (en) * | 2012-03-28 | 2013-10-03 | Rovi Corp | System and Methods of Media Streaming using RTSP with Reduced Delays |
US8935581B2 (en) * | 2012-04-19 | 2015-01-13 | Netflix, Inc. | Upstream fault detection |
US20130326551A1 (en) * | 2012-05-30 | 2013-12-05 | Debdeep CHATTERJEE | Wireless multimedia quality of experience reporting |
US10075520B2 (en) * | 2012-07-27 | 2018-09-11 | Microsoft Technology Licensing, Llc | Distributed aggregation of real-time metrics for large scale distributed systems |
CN103594103B (zh) * | 2013-11-15 | 2017-04-05 | 腾讯科技(成都)有限公司 | 音频处理方法及相关装置 |
US20170353747A1 (en) * | 2014-12-22 | 2017-12-07 | Koninklijke Kpn N.V. | Quality of Media Synchronization |
US10979480B2 (en) | 2016-10-14 | 2021-04-13 | 8X8, Inc. | Methods and systems for communicating information concerning streaming media sessions |
US10333996B2 (en) * | 2016-10-14 | 2019-06-25 | CALLSTATS I/O Oy | Methods and systems for analyzing streaming media sessions |
US11582278B2 (en) * | 2019-08-09 | 2023-02-14 | DAZN Limited | Content player performance detection |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001177573A (ja) * | 1999-12-20 | 2001-06-29 | Fujitsu Ltd | データ通信システム並びにデータ受信端末及びデータ送信端末 |
JP2002209234A (ja) * | 2001-01-11 | 2002-07-26 | Fujitsu Ltd | 通信システム |
JP2003050761A (ja) * | 2001-08-07 | 2003-02-21 | Sony Corp | クライアント端末及びクライアント側情報処理方法、プログラム格納媒体、プログラム、並びに情報提供システム、 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2823038B1 (fr) * | 2001-03-29 | 2003-07-04 | Eads Defence & Security Ntwk | Procede de gestion de l'alternat pour une communication en mode semi-duplex a travers un reseau de transport a commutation de paquets |
US6996624B1 (en) * | 2001-09-27 | 2006-02-07 | Apple Computer, Inc. | Reliable real-time transport protocol |
US6910078B1 (en) * | 2001-11-15 | 2005-06-21 | Cisco Technology, Inc. | Methods and apparatus for controlling the transmission of stream data |
US7010598B2 (en) * | 2002-02-11 | 2006-03-07 | Akamai Technologies, Inc. | Method and apparatus for measuring stream availability, quality and performance |
US7327708B2 (en) * | 2002-04-25 | 2008-02-05 | Inet Technologies, Inc. | Multimedia traffic optimization |
CN1379568A (zh) * | 2002-04-26 | 2002-11-13 | 顾士平 | 具有QoS功能的交换式路由器实现方法 |
DE602004025490D1 (de) * | 2003-08-21 | 2010-03-25 | Vidiator Entpr Inc | Metriken für die qualität der erfahrung (qoe) für drahtlose kommunikationsnetze |
US8220020B2 (en) * | 2003-09-30 | 2012-07-10 | Sharp Laboratories Of America, Inc. | Systems and methods for enhanced display and navigation of streaming video |
-
2004
- 2004-02-13 AU AU2004317111A patent/AU2004317111B2/en not_active Ceased
- 2004-02-13 EP EP04710938A patent/EP1723762A1/en not_active Withdrawn
- 2004-02-13 WO PCT/IB2004/000371 patent/WO2005088931A1/en not_active Application Discontinuation
- 2004-02-13 BR BRPI0418522-6A patent/BRPI0418522A/pt not_active IP Right Cessation
- 2004-02-13 JP JP2006552703A patent/JP2007523540A/ja active Pending
- 2004-02-13 CN CN2004800415343A patent/CN1914876B/zh not_active Expired - Fee Related
-
2005
- 2005-02-02 TW TW094103137A patent/TW200531472A/zh unknown
- 2005-02-10 PE PE2005000158A patent/PE20060032A1/es not_active Application Discontinuation
- 2005-02-11 US US11/057,118 patent/US20050204052A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001177573A (ja) * | 1999-12-20 | 2001-06-29 | Fujitsu Ltd | データ通信システム並びにデータ受信端末及びデータ送信端末 |
JP2002209234A (ja) * | 2001-01-11 | 2002-07-26 | Fujitsu Ltd | 通信システム |
JP2003050761A (ja) * | 2001-08-07 | 2003-02-21 | Sony Corp | クライアント端末及びクライアント側情報処理方法、プログラム格納媒体、プログラム、並びに情報提供システム、 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007324783A (ja) * | 2006-05-31 | 2007-12-13 | Nec Corp | 品質計測システム、通信装置、通信端末及びそれらに用いるストリーミング配信品質計測方法 |
US8542723B2 (en) | 2009-11-25 | 2013-09-24 | Fujitsu Limited | Information processing apparatus and information generation method |
JP2015501579A (ja) * | 2011-10-14 | 2015-01-15 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ワイヤレスディスプレイデバイスのためのフィードバックチャネル |
JP2016021763A (ja) * | 2011-10-14 | 2016-02-04 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ワイヤレスディスプレイデバイスのためのフィードバックチャネル |
Also Published As
Publication number | Publication date |
---|---|
WO2005088931A1 (en) | 2005-09-22 |
AU2004317111B2 (en) | 2009-01-08 |
US20050204052A1 (en) | 2005-09-15 |
TW200531472A (en) | 2005-09-16 |
EP1723762A1 (en) | 2006-11-22 |
CN1914876B (zh) | 2011-07-20 |
AU2004317111A1 (en) | 2005-09-22 |
PE20060032A1 (es) | 2006-02-02 |
BRPI0418522A (pt) | 2007-05-15 |
CN1914876A (zh) | 2007-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007523540A (ja) | 体験の品質のメトリクスのタイミング | |
CN1951083B (zh) | 流传输服务中的改进的质量反馈 | |
US20170339208A1 (en) | Classified media quality of experience | |
US20080151885A1 (en) | On-Demand Multi-Channel Streaming Session Over Packet-Switched Networks | |
EP2604012B1 (en) | A method in a media client, a media client, a control entity and a method in a control entity | |
EP2364017B1 (en) | Method, system and user device for obtaining key frame in streaming media service | |
KR20050106592A (ko) | 멀티미디어 스트리밍에서 클라이언트 레이트 능력을시그널링하는 방법 | |
KR20090097204A (ko) | 스트리밍 미디어 품질 상호 참조를 관련 애플리케이션에 보고하는 방법 및 장치 | |
WO2013064115A1 (zh) | 流媒体传输质量评估和信息获取方法及相关设备和系统 | |
KR100808981B1 (ko) | 사용자 경험 품질 메트릭스의 타이밍 | |
CN102209078B (zh) | 定时体验质量的度量 | |
Assem | Assessing and improving the VVoIP call quality | |
Mohamed | Assessment and Improvement of the Quality of Voice-over-IP Communications | |
KR20070021098A (ko) | 사용자 체감 품질(qoe) 방법 및 무선통신 네트워크용 장치 | |
Radhamani et al. | 20 An Efficient WAP-Enabled Transaction Processing Model for Mobile Database Systems | |
Kim | Smart SoftPhone Device for Networked Audio-Visual QoS/QoE Discovery & Measurement | |
JP2012147504A (ja) | 分類されたメディア経験の質 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091111 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101012 |