JP2014510438A - マルチメディアストリーミング向けのビデオパケットスケジューリング方法 - Google Patents

Abstract

アクセスポイント１１およびプロキシ３を含む伝送連鎖を介した、ビデオデコーダ７２を備えた受信機７に向けてのマルチメディアストリーミング用のビデオパケットスケジューリング方法であって、前記プロキシ３はポストエンコーダバッファ３１および制御装置３２を備え、前記アクセスポイント１１は下位層のバッファ４を備えており、前記方法が、アクセスポイント１１におけるバッファ４の状態、およびプロキシ３におけるポストエンコーダバッファ３１の状態を制御する最適化問題を解決するステップを含む、方法。

Description

本発明は一般に、有線ネットワークおよび無線ネットワークを介したマルチメディアストリーミングの技術分野に関する。

マルチメディアアプリケーション（移動テレビ、ビデオオンデマンド、ＩＰＴＶ、ビデオ会議、デジタルビデオ放送（ＤＶＢ）、オーディオ／ビデオストリーミング、双方向ビデオ電話、リアルタイムゲームなど）は、特に携帯電話利用者の間では相変わらず人気を得て受け入れられている。このように発展してきたのは、無線ネットワークのおかげであり、これら無線ネットワークは、既存の有線インフラストラクチャにまで拡張され、機動性と携帯性を兼ね備えた利便性をエンドユーザに提供する。したがって、マルチメディアアプリケーションを無条件で受け入れるために、サービス品質（ＱｏＳ）の要件を満たすことに大きな注意が払われている。

それにもかかわらず、マルチメディアデータ伝送は、特に、エンドユーザに提供されるはずのＱｏＳを厳しく制限する複数の制約を受ける。これらの制約は、−他の種類のアプリケーションと比較して−信頼性の高い効率的な伝送を実現するために満たす必要のある、マルチメディアアプリケーションの特定の性質に関するいくつかの重要な要件を主に処理しなければならない：
− 高データ伝送速度（帯域幅を消費するアプリケーション）の要求に関して、帯域幅の変動に容易に適応可能であること。
− マルチメディアアプリケーションがパケット遅延に影響を受けやすいこと（待ち時間およびジッタ）ならびに／またはパケット損失に対する耐性（パケット損失に耐性のあるアプリケーション）に関して、データ損失に対する頑強性。

さらに、ユーザの数が増大することによる帯域幅の不足は別にして、無線受信機へのマルチメディアの送達は、以下に対して特に困難である。
− 時間とともに変化する無線チャネルの特性（誤り率や帯域幅など）、および
− 何らかのマルチメディアアプリケーション、特に、ビデオ会議、双方向ビデオ電話、または移動テレビなどリアルタイムのアプリケーションの送達遅延の制約。

これらの問題に対処するために、フィードバックメカニズム、すなわち受信機から送信源へのフィードバックメカニズムを利用することに基づく様々な誤り制御の方策が提案されてきた。このフィードバックメカニズムには、経路特性および（受信機において推定される）受信機の挙動に関する情報を送信機（すなわち送信源）に運ぶ役目がある。そうするために、受信機は、チャネル品質測定値（たとえば、利用可能な帯域幅、ストリーム経路の状況、損失率）を送信源に向けて送信する。この機能を実装する共通の技法は、たとえば以下を使用することである。
− ＲＴＣＰメッセージのような適用可能なフィードバック（すなわち、アプリケーション層から生じるフィードバック）、または
− 媒体アクセス（ＭＡＣ）層の前方誤り訂正。

次いで、レポートされたネットワーク情報が送信源によって利用されて、アプリケーション層でのＲＴＣＰベースのトラフィック符号化調整など、マルチメディアストリームの輸送を最適化する（スケーラブルストリームの場合の速度適応、コード変換、パケットドロップ、フレームドロップ、または層ドロップ）。

最近の参考文献一覧では、これらのフィードバックを利用する、層をまたいだ手法の様々な提案を目にすることができる。これらの手法は、絶えず変化する、レポートされるフィードバックに各層の挙動を適応させることにより、共同でまたは個別に、各層の性能を調整および最適化することを目的とする。

しかし、一方では以下のようにも言える。
− ＲＦＣにおいて規定されるように、適用可能なフィードバックは、最初にマルチメディアコンテンツの伝送に割り当てるように意図された帯域幅の無視できない部分（５％）を占める。したがって、フィードバックメッセージが、既に乏しい帯域幅をマルチメディアストリームと共用するために競合する。
− これらのフィードバックは、ストリーム経路の状況ついて直接得た情報を提供することはなく、通常は様々に遅延して得られる。たとえば、ユニキャストのアプリケーションを考えると、たとえば、ＲＴＣＰフィードバックを介したアプリケーション層において、受信機からの様々なタイプのフィードバックを得て、ＨＡＲＱ ＡＣＫ／ＮＡＣＫを介してアプリケーション層またはＭＡＣ層におけるバッファのレベルについての情報を得て（Ｓ．Ｓｅｓｉａ、Ｉ．Ｔｏｕｆｉｋ、およびＭ．Ｂａｋｅｒによる「ＬＴＥ、Ｔｈｅ ＵＭＴＳ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、Ｆｒｏｍ Ｔｈｅｏｒｙ ｔｏ Ｐｒａｃｔｉｃｅ」）第１７章、２００９年２月）、チャネル状態についての情報を得ることができる。ここで、主要な問題は、このような制御スキームを用いるとフィードバックが遅延して到達することである。この遅延は、ＨＡＲＱ ＡＣＫ／ＮＡＣＫメッセージでは数十ミリ秒から数百ミリ秒程度になり、ＲＴＣＰパケットでは１秒または数秒になる可能性があり、これにより安定性の問題が生じることがある。明らかに、この遅延の存在は、ＲＴＣＰモード（たとえば、即時（ｉｍｍｅｄｉａｔｅ）フィードバックモード、初期（ｅａｒｌｙ）ＲＴＣＰモード、または通常（ｒｅｇｕｌａｒ）ＲＴＣＰモード）から独立している。

さらなる問題は、移動受信機とマルチメディアアプリケーションの送信源との間のフィードバック管理の複雑さについてである。

Ｓ．Ｓｅｓｉａ、Ｉ．Ｔｏｕｆｉｋ、およびＭ．Ｂａｋｅｒによる「ＬＴＥ、Ｔｈｅ ＵＭＴＳ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、Ｆｒｏｍ Ｔｈｅｏｒｙ ｔｏ Ｐｒａｃｔｉｃｅ」）第１７章、２００９年２月）

本発明の１つの目的は、受信機からのフィードバックメッセージを使用することなく、マルチメディアアプリケーションにおけるエンドユーザのＱｏＳを改善することである。

本発明の他の目的は、ＭＡＣ層からのフィードバックを使用して、マルチメディアストリームの信頼性の高い輸送を確実にすることである。

本発明の他の目的は、適用可能なフィードバック（たとえば、ＲＴＣＰ）を排除することである。

本発明の他の目的は、適用可能なフィードバックなしで、時間とともに変化するチャネルにおけるチャネル状態を推定することである。

本発明の他の目的は、有線および無線のネットワークを介したリアルタイムのマルチメディアアプリケーションの伝送用に割り当てられた帯域幅を、効果的に使用することである。

本発明の他の目的は、適用可能なフィードバックを使用することなく、所望のＱｏＳメトリクスの導出を可能にすることである。

本発明の他の目的は、適用可能なフィードバックを使用することなく、チャネル適応型の送信源符号化および誤り制御スキームを提供することである。

本発明の他の目的は、帯域幅の変動およびデータ損失に対処する、チャネル適応型の送信源符号化および誤り制御スキームを提供することである。

本発明の他の目的は、様々なチャネル条件にわたって、マルチメディアアプリケーション向けに改善されたＱｏＳを提供することである。

本発明の他の目的は、適用可能なフィードバックを使用することなく、データ符号化速度を制御することである。

本発明の他の目的は、無線ネットワーク上でのリアルタイムマルチメディアアプリケーションのＱｏＳを改善することができるメカニズムを提供することである。

本発明の他の目的は、有線ネットワークおよび／または無線ネットワーク上でマルチメディアデータを伝送している間の、遅延およびパケット損失率を軽減することを対象とする方法を提供することである。

本発明の目的、利点、および他の特徴は、以下の開示および特許請求の範囲から、より明らかになろう。添付図面を参照して、例示することのみを目的に、好ましい実施形態の以下の非制限的な説明をおこなう。

本発明は、前述の問題のうち１つまたは複数の問題の影響に対処することを対象とする。以下の説明では、本発明の簡略化された概要を提示して、本発明のいくつかの態様の基本的な理解をもたらす。この概要は、本発明の概略を網羅したものではない。この概要は、本発明の重要な要素の鍵を識別し、または本発明の範囲を正確に概説するものではない。その唯一の目的は、後に議論されるより詳細な説明への導入部として、簡略化された形で、いくつかの概念を提示することである。

本発明は、アクセスポイントおよびプロキシを含む伝送連鎖を介した、ビデオデコーダを備えた受信機に向けてのマルチメディアストリーミング用のビデオパケットスケジューリング方法であって、前記プロキシはポストエンコーダバッファおよび制御装置を備え、前記アクセスポイントは下位層のバッファを備えており、前記方法が、アクセスポイントにおけるバッファの状態、およびプロキシにおけるポストエンコーダバッファの状態を制御する最適化問題を解決するステップを含む、方法に関する。

広義の態様によれば、受信機から送出されたフィードバックメッセージは、ビデオパケットスケジューリング用の制御装置にはないと考えられる。

別の広義の態様によれば、最適化問題は、離散時間型のマルコフ決定過程の枠組みにおいて定式化される。

本発明はさらに、ポストエンコーダバッファからアクセスポイント内の下位層のバッファへのビデオパケットスケジューリング用の制御装置であって、前記ビデオパケットが、ビデオデコーダを備える受信機にストリーミングされ、最適化問題を解決するためにプログラムされた前記制御装置が、アクセスポイントにおけるバッファの状態、およびプロキシにおけるポストエンコーダバッファ（３１）の状態を制御する、制御装置に関する。

本発明はさらに、上記の方法を実行するように構成されたコンピュータプログラム製品に関する。

本発明には、様々な修正形態および代替形態の余地があるが、その具体的な実施形態を、一例として各図面に示した。しかし、具体的な実施形態の本明細書での説明は、開示された特定の形態に本発明を限定するものではないことを理解されたい。

もちろん、任意のこのような実際の実施形態の開発においては、システムおよびビジネスに関連する制約の順守など、開発者特有の目標を達成するために、実装に特有の決定をおこなわなければならないことを理解してもよい。このような開発努力は時間がかかることもあるが、それにもかかわらず、本開示の利益を享受する当業者にとっては日常的に理解できるものであることが理解されよう。

機能上の実施形態を示すブロック図である。 例示的なシミュレーション結果を示す図である。

図１には、無線ネットワーク１２に接続された移動局（または無線局）７への、動画シーケンス１のストリーミングが示してある。

動画シーケンス１は、記憶装置、（たとえば、データベース、マルチメディアサーバ、ビデオサーバ）、またはライブカメラフィードなど、様々な送信源からきてもよい。

移動局７は、マルチメディアストリームを受信し、再生することができる任意のユーザ機器である。スマートフォン、タブレット、コンピュータ、携帯型情報端末（ＰＤＡ）、ラップトップが、このような移動局７の非限定的な例である。

無線ネットワーク１２は、無線ＩＰネットワーク、無線パーソナルエリアネットワーク、無線ローカルエリアネットワーク、無線メトロポリタンエリアネットワーク、無線ワイドエリアネットワーク、またはより一般には、２つ以上の無線ネットワークの組合せから得られる任意の移動デバイスネットワークでもよい。

より一般には、動画シーケンス１は、以下のものを備える有線ネットワーク１０を介して、移動局７に転送される。
− スケーラブルなビデオエンコーダ２１（たとえば、精細粒度スケーラビリティ（ＦＳＧ）符号化、またはアドバンストビデオコーディングＡＶＣ）が設けられたストリーミングサーバ２。
− 一般に有線ネットワーク１０の縁部に配置されるプロキシ３。
− 一般にプロキシ３と同一の場所に配置される、アクセスポイント１１（すなわち、３ＧのＮｏｄｅ Ｂ、またはＬＴＥのｅＮｏｄｅ Ｂなど、採用された通信技術に応じて様々に指定してもよい基地局）。

ストリーミングサーバ２内で、動画シーケンス１が、以下のものに符号化されたフレームにセグメント化される。
− Ｈ２６４ ＳＶＣの場合は、ベース層および一セットのＬ−１個の強化層。
− Ｈ２６４ ＡＶＣの場合は、イントラフレームおよびインターフレーム。

２種類のインターフレーム（普通はＰと表す予測フレーム、および普通はＢと表すＢｉ予測フレーム）が存在するＨ２６４ ＡＶＣの場合には、Ｌの数が２に等しいことが当業者には容易に理解されよう。さらに、Ｈ２６４ ＡＶＣは、使用されるスケーラビリティが一時的なスケーラビリティである、Ｈ２６４ ＳＶＣの特定の場合と考えることができる。したがって、以下において一般化するために、Ｌの表記およびＨ２６４ ＳＶＣの用語を使用する。

Ｈ２６４ ＳＶＣスケーラビリティスキームの場合、アクセスユニット（ＡＵ）は、基本的な処理ユニット、（１つもしくは複数の）マクロブロック、スライス、または（１つもしくは複数の）フレームであり、ベース層およびその対応する強化層から構成される。

伝送連鎖の残りの部分から独立して、ストリーミングサーバ２によって、符号化パラメータ（量子化ステップ、フレーム速度など）が制御される。符号化された各フレームの各スケーラブル層がパケット化されて（たとえば、ＲＴＰ、ＵＤＰ、またはＩＰパケットになり）、次いで、これらが、十分な容量をもつ基幹ネットワーク１０を介して、プロキシ３に配置されたＬ個のポストエンコーダバッファ３１（層毎に１つ）に送達される。制御装置３２は、プロキシ３内で層フィルタリングを実行し、各層において、パケットを送信、保留、または破棄してもよい。

送信パケットは、パケットデータユニット（ＰＤＵ）にセグメント化された後、アクセスポイント１１内のＭＡＣバッファ４（または、より一般には下位層のバッファ４）に供給される。次いで、ＰＤＵは移動局７に伝送され、この移動局は、正しく受信されたＰＤＵをそれ自体のＭＡＣバッファ７１に格納する。対応する全てのＰＤＵが受信されるとすぐに、移動局７のアプリケーション層でのＬ個のバッファ７１のうち１つのバッファでのパケットの非カプセル化およびバッファリングが実行される。次いで、完全または不完全なＡＵが、移動局７のビデオデコーダ７２によって処理される。期限を過ぎたパケットは、復号化されることなく破棄される。

アクセスポイント１１の構成部品の中で、ＭＡＣ（または下位層）バッファ４に特段の注意が払われる。次いで、明確にするために、このアクセスポイント１１の残りの構成部品（たとえば、ＭＡＣスケジューラ５、物理層、無線フロントエンド）は、チャネル１３に属していると仮定される。このチャネル１３はさらに、無線チャネル６、移動局７の物理層、および移動局７のＭＡＣバッファ７１（すなわち、ＡＣＫ／ＮＡＣＫ手順を管理するＭＡＣ層）を含む。

アクセスポイント１１のＭＡＣバッファ４は、そのバッファ状態のフィードバック（図１のリンク３４）を、プロキシ３の制御装置３２に送信する。

アクセスポイント１１のＭＡＣバッファ４からレポートされるフィードバックのみに基づいて、プロキシ３の制御装置３２によって動作するスケーラブルな層フィルタリングプロセスが、以下のように設計される。
− ＰＤＵが破棄されるのを防止するために、ＭＡＣバッファ４のオーバフローが回避される。
− 最適で効率的な方式でチャネルを使用するように、ＭＡＣバッファ４のアンダフローも回避される。
− システムによってもたらされる遅延を制限するために、ポストエンコーダバッファ３１のオーバフローが回避される。
− 特にベース層においてポストエンコーダバッファ３１のアンダフローも回避されるが、それというのも、その他の層と比較してベース層に対する重要性が著しく高いことをこのことが示しているからである。

したがって、チャネル１３の状態をさらに観察することなく、制御装置３２は、ＭＡＣバッファ４に対して実行される観察のみを使用して、スケーラブルな層フィルタリング（何らかのスケーラビリティ層が破棄され得ることに留意）を実行しなければならない。代わりに、または組み合わせて、ＭＡＣバッファ４の代わりに、ＲＬＣバッファまたはＰＤＰＣバッファなど他の観察ポイントを採用してもよい。

すなわち、無線チャネル１２の前の経路中での最後のバッファ、すなわちＭＡＣバッファ４の充足率の変化のみを観察することにより、プロキシ３の制御装置３２が、いずれのパケット／層を伝送すべきかを決定することが可能になる。すなわち、制御装置３は、無線局７からプロキシ３へのＲＴＣＰフィードバックメッセージなしに、ビデオパケットスケジューリングアルゴリズムを実行する。ＡＣＫ／ＮＡＣＫによって提供されたフィードバックのみを活用して、チャネル（図１のリンク５７）の状態を得てもよい。

これらの上記事項は、離散時間型のマルコフ決定過程（ＭＤＰ）の枠組みにおいて定式化される最適化問題の解決を通して実現される。

したがって、効率的な層フィルタリングプロセスの設計は、離散時間型ＭＤＰ（Ｒ．Ｓ ＳｕｔｔｏｎおよびＡ．Ｇ Ｂａｒｔｏ、Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ、Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ、ＭＩＴ Ｐｒｅｓｓ、１９９８年）の枠組みにおいて説明されている。実際、４組

のＭＤＰが、以下の通り定義される。
−

はシステムの状態のセットである。
−

はアクションのセットである。
−

は、アクション

がシステムに加えられるときの、時刻ｔでの

から時刻ｔ＋１での

までの遷移確率である。
−

は、アクションａを使用することによって得られるｓからｓ’までの遷移の後に受信される、即座の報酬（または、予想される即座の報酬）を示す。

次いで、即座の報酬を最大化する何らかのポリシー

（近視眼的なポリシー）、または合計が割り引かれた将来の報酬（先を見通したポリシー）を見つけなければならない。

制御されるシステムの状態は、以下のものを集めることからなる。
− ポストエンコーダバッファ３１のレベル

。
− 基地局１１におけるＭＡＣバッファ４のレベルに対応する

。
− チャネル状態を表す

。

したがって、システムの状態は

である。

チャネルは、ｎ個の状態、知られている遷移確率

、および静止確率

を有する１次Ｍａｒｋｏｖプロセスによってモデル化される。

は、たとえば、考慮されたタイムスロットにおいて利用可能な速度を表す。チャネルの状態の知識に関する２つの仮定を考慮する。
− 仮定１。瞬時のチャネル状態であり、ここで、時刻ｔからｔ＋１までの間にアクションを適用するよう選択するとき

が利用可能になると仮定され、非常に短い遅延でのフィードバックが可能であるときにのみ現実的である。
− 仮定２。チャネル状態のフィードバックを考慮しない状況である未知のチャネル状態。

アクションａに関しては、プロキシ３は、時刻ｔにおいて、各層ｌにおいてパケットを送信し、保持し、破棄する。時刻ｔからｔ＋１の間でｌ番目にとられるアクション

は、ポストエンコーダバッファ３１からＭＡＣバッファ４に伝送されたパケットの数（ａ_ｌ，ｔ＞０のとき）、または破棄されたパケットの数（ａ_ｌ，ｔ＜０のとき）を表す。ａ_ｌ，ｔ＝０の場合、パケットは、ポストエンコーダバッファ３１内に保持される。全てのアクションを集めたベクトルは、

である。

全ての状態

およびアクション

が識別されると、遷移確立行列

を決定しなければならない。そのため
に、以下のように２つの場合が区別される。
− 場合１（仮定１）。時刻ｔにおいて状態ｓでアクションａを適用するとき、チャネル状態

が制御装置３２に利用可能である。次いで、状態遷移行列は以下の通りである。

これは、

が知られているという事実を使用して、容易に評価することができる。

は、全てのポストエンコーダバッファ３１の状態のベクトルであり、

は、全てのアクションのベクトルである。
− 場合２（仮定１）。制御装置３２に利用可能なチャネル状態

がない。次いで、状態遷移行列は、以下のように記述することができる。

それというのも、

（全てのポストエンコーダバッファ３１のベクトル）、

、または

（全てのアクションのベクトル）は、

についての追加情報を提供しないからである。

これらの遷移行列

のサイズを制限するために、状態Ｓがとり得る値を幾分粗いやり方で量子化して、複雑さと記述の正確さの間で妥協点を得ることができる。

時刻ｔにおける報酬関数

に関しては、制御装置３１が実行する層フィルタリングプロセス（すなわち、スケジューリングアルゴリズム）が、受信機側（すなわち、移動局７）におけるＱｏＳ（特に、ビデオ品質）を最大化するアクションを選択する。そのために、復号化されたフレームの平均ピーク信号対雑音比（ＰＳＮＲ）が最大化される。

ＡＵがフィルタリングされる時刻とＡＵが表示される時刻との間の遅延がばらつくのを回避するため、破棄されたパケット、ならびにシステムの制約によるバッファのオーバフローおよびアンダフローにペナルティを課す、代替の報酬関数

が構築される。この報酬関数は、以下のように表される。

ここで、Ｅ［．］は予想関数を表す。

ｌ＝１．．．Ｌである正のパラメータγ_ｌ、α_ｌ、およびβ_ｌは、様々な制約の重要性とトレードオフの関係である。報酬関数（３）は、いくつかの部分、すなわち、伝送されたＳＮＲ層の数にリンクした第１の部分と、ポストエンコーダバッファ３１およびＭＡＣバッファ４の制約にリンクしたその他の部分とを含む。報酬関数（３）は、ポストエンコーダバッファ３１の状態、およびＭＡＣバッファ４の状態の関数である。

伝送されたパケットの量が増大すると受信品質も改善すると仮定すれば、伝送報酬は、伝送されたパケットの量を最大化する助けにならなければならない。

パラメータγ_ｌにより、強化層のパケットと比較して、ベース層に属するパケットに高い優先権を与えることが可能になる。ポストエンコーダバッファ３１およびＭＡＣバッファ４の制約において、ρ１（．）およびρ２（．）は、バッファ状態を満足させることに正の報酬を与え、回避すべき状態には負の報酬を与える。

考慮されるシステムにおける合同状態から合同アクションへのマッピングとしてのポリシーπは、伝送すべきスケーラブルな層の数を示し、ポストエンコーダバッファ３１およびＭＡＣバッファ４の状態を知っている。

最適な先を見通したポリシーは、以下に定義する最適な状態値関数に対応する、最適な静止マルコフポリシーπ^＊にある。

ここで、０＜α＜１は割引き係数であり、現在および将来の報酬の相対的な重要性を定義する。最適な先を見通したポリシーは、値およびポリシーの繰返し処理アルゴリズム（Ｒ．Ｓ．ＳｕｔｔｏｎおよびＡ．Ｇ．Ｂａｒｔｏ、Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ、Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ、ＭＩＴ Ｐｒｅｓｓ、１９９８年）によって得ることができる。（４）での値は、左辺が右辺（この問題についてのベルマン方程式である）と等しくなるよう収束するまで、全ての状態Ｓにおいて更新され繰り返される。α＝０のとき、近視眼的なポリシーを手に入れ、即座の報酬のみが最大化する。

したがって、提案されているアルゴリズムは、通信連鎖の送信機側のみで、ＭＡＣ（図１のリンク３４）、およびアプリケーション層（図１のリンク５７）においてバッファ４のレベルを制御する。ＭＡＣ層でのフィードバックが暗黙の内に使用されるが、移動ユーザからの適用可能なフィードバック（すなわち、アプリケーション層において）は考慮されず、遅延した測定値の使用を回避する。

提案されているアルゴリズムは、層をまたいだ制御メカニズムにより、送信機側においてパケットスケジューリングを実行し、アプリケーション層とＭＡＣ層の両方において合同でバッファ管理を実行する。

制御装置３２は、ＭＡＣバッファ４に関する情報を取得し、上記ＭＤＰ最適化問題を解決し、次いで、物理層およびアプリケーション層用の更新された動作パラメータを得る。

最適化されたパラメータを使用することで、以下のことが可能になる。
− ビデオコンテンツ１の伝送された層の数を最大化すること。
− ＭＡＣバッファ４におけるアンダフローおよびオーバフローの状態を回避すること。
− ポストエンコーダバッファ７１におけるアンダフローおよびオーバフローの状態を回避すること。
− フレームパケットレベルでのバッファの充足率を考慮すること。したがって、
− 信頼性の高い通信を実現し、移動局７側でのＱｏＳを最大化すること。

したがって、提案されている方法は、以下のことを可能にする。
− 無線ネットワークにおけるアップリンクチャネルのスペクトル効率を増大させること（適用可能なフィードバックなし）。
− 手当たり次第にパケットをフィルタリングし、適用可能なフィードバックを必要としないこと。
− エンドユーザのサービス品質を改善すること。
− ベース層／パケットを優先順位付けすることにより、エンドユーザに対してある程度の再生マージンを維持すること。

提案されている方法は、品質を意識した適応型および選択型のフレーム／パケット伝送を実行するための、ＡＶＣまたはＳＶＣビデオストリーミング用のスケジューリングアルゴリズムである。

提案されている層フィルタリング処理の性能が、いくつかの動画シーケンス上で評価されてきた。

図２には、制御装置３２による適応がある場合とない場合でのシミュレーションについて、ピーク信号対雑音比（ＰＳＮＲ）の挙動と時間の関係が示してある。次いで、ＰＳＮＲについてビデオ品質が測定されて、適応利得についてストリーミング性能を評価する。

開示された方法で実現可能な利得の例として、図２には、３０ｆｐｓでの動画シーケンス「Ｆｏｒｅｍａｎ．Ｑｃｉｆ」について得られた結果が報告されている。Ｈ．２６４ ＳＶＣエンコーダは、フレーム毎にＬ＝３のＳＮＲスケーラビリティ層を使用している。

図２には、５つの曲線がプロットしてある。これらの曲線は、図２の最下部から最上部までそれぞれ、チャネル状態なしでの（近視眼的な制御）ＰＳＮＲ、チャネル状態なしでの（先を見通した制御）ＰＳＮＲ、チャネル状態ありでの（近視眼的な制御）ＰＳＮＲ、チャネル状態ありでの（先を見通した制御）ＰＳＮＲ、および帯域幅が無限のＰＳＮＲの時間経過（フレームインデックス）についての変化（ｄＢでの）を表している。

この説明に役立つ実例で使用される設定は、以下の通りである。
− 累積された平均速度（および、輝度におけるＰＳＮＲ）は以下の通りである。
層１においては、

層１および層２においては、

全ての層において、

− 無縁チャネルは、２状態のマルコフモデル（ｎ＝２）としてモデリングされ、よい状態ｈ_ｔ＝１と悪い状態ｈ_ｔ＝０がある。チャネル速度は

である。チャネル状態の遷移確率はｐ１１＝０．９およびｐ００＝０．８であり、結果として平均チャネル速度は

になる。層毎の４つの実現可能なアクションは、各時刻においてＡ＝｛−１，０，１，２｝と考えられる。
− 複雑さを最小限に抑えるために、全てのバッファのレベルが量子化されて、３つの実現可能な値になる。すなわち、１がアンダフローを表し、２が満足できるレベルを表し、３がオーバフローを表す。
− ポストエンコーダバッファ３１は、最大サイズ（パケットの数に関して）Ｓｅ＝５５を有するものと仮定され、オーバフローおよびアンダフローのレベルは、Ｓｅ_ｍａｘ＝５０およびＳｅ_ｍｉｎ＝１０である。ＭＡＣバッファ４においては、最大サイズのＳｍ＝２２０がＰＤＵサイズの２００ビットに等しく、それぞれが最大サイズの４４ｋビットに対応し、アンダフローおよびオーバフローにおいて考慮されるレベルは、Ｓｍ_ｍｉｎ＝１０ｋビットおよびＳｍ_ｍａｘ＝２５ｋビットである。
− 報酬関数（式３）での各パラメータの値は、様々な制約の重要性を反映するように設定されてきた。すなわち、

であり、

であり、β＝３００である。

知られている平均的な送信源およびエンコーダの特性が考慮されてきて、各層において知られている平均パケット長が導き出されている。

考慮してきた上記２つの場合には、近視眼的なポリシー（α＝０）および先を見通したポリシー（α＝０．９）で得られる、復号化されたシーケンスのＰＳＮＲの変化が、図２に表してある。

適用可能なフィードバックが使用されるとき、近視眼的なポリシーと比較して、先を見通したポリシーでは約１．５ｄＢの平均利得が得られる。この利得は主に、第１の強化層のより多くのパケットが受信機に到達することに起因している。

近視眼的なポリシーで約４６％の時間、適用可能なフィードバックを使用しない場合では（この実施形態の目標）、ＭＡＣバッファ４はオーバフロー状態にあり、ある一定時間、最大バッファサイズを超過する。この状況の結果としてＰＤＵがいくらか損失し、これにより、受信したビデオの品質が著しく低下することになる。先を見通したポリシーを用いる場合、ＭＡＣバッファは、約２５％の時間においてオーバフロー状態にあるが、決してＰＤＵパケットを失わない。

適用可能なフィードバックおよび先を見通したポリシーを用いない場合、結果として、適用可能なフィードバックの方策を採用する場合と比較して、ＰＳＮＲにおいて０．５ｄＢの損失が生じる。したがって、ＭＡＣバッファ４の状態の利用可能性により、チャネルの状態の合理的な推定が実現し、受信したビデオの品質の満足いく調整が可能になる。

したがって、特にこの例では５０番目以降のフレームにおいて、開示した方法を取り入れると、最大ＰＳＮＲが得られる。

前述の方法が、Ｈ２６４ ＡＶＣ、Ｈ２６４／ＳＶＣ、これらの任意の別のバージョン、または任意の同等なコーデックなど、従来のコーデックに対処することに言及することは注目に値する。

特に混雑したトラフィック状態の下でパケット損失率が著しく低下することにつながる周波数チャネルの変化により、前述の方法は、無線ネットワークを介したマルチメディアストリームに良好に適合する。

特に、有線ネットワークでのマルチメディアデータ伝送向けに設計された、他のＱｏＳ機能（たとえば、ＩｎｔＳｅｒｖ／ＤｉｆｆＳｅｒｖ）および輻輳制御メカニズムを、本発明において説明した方法と組み合わせてもよい。

Claims (9)

1. アクセスポイント（１１）およびプロキシ（３）を含む伝送連鎖を介した、ビデオデコーダ（７２）を備えた受信機（７）に向けてのマルチメディアストリーミング用のビデオパケットスケジューリング方法であって、前記プロキシ（３）はポストエンコーダバッファ（３１）および制御装置（３２）を備え、前記アクセスポイント（１１）は下位層のバッファ（４）を備えており、アクセスポイント（１１）におけるバッファ（４）の状態、およびプロキシ（３）におけるポストエンコーダバッファ（３１）の状態を制御する最適化問題を解決するステップを含む、方法。
2. 受信機（７）のビデオデコーダ（７２）から制御装置（３２）にフィードバックメッセージが伝送されない、請求項１に記載の方法。
3. 最適化問題が、離散時間型のマルコフ決定過程の枠組みにおいて定式化される、請求項１または請求項２に記載の方法。
4. マルコフ決定過程のシステムの報酬関数が次式で示され、
   

   

   Ｅ［．］が予想関数を表し、ｌ＝１．．．Ｌである正のパラメータγ_ｌ、α_ｌ、およびβ_ｌが、アクセスポイント（１１）内のバッファ（４）、およびプロキシ（３）内のポストエンコーダバッファ（３１）に対して様々な制約の重要性とトレードオフの関係である、請求項３に記載の方法。
5. ポストエンコーダバッファ（３１）からアクセスポイント（１１）内の下位層のバッファ（４）へのビデオパケットスケジューリング用の制御装置（３２）であって、前記ビデオパケットが、ビデオデコーダ（７２）を備える受信機（７）にストリーミングされ、最適化問題を解決するためにプログラムされた前記制御装置が、アクセスポイント（１１）におけるバッファ（４）の状態、およびプロキシ（３）におけるポストエンコーダバッファ（３１）の状態を制御する、制御装置。
6. 受信機（７）のビデオデコーダ（７２）から制御装置（３２）にフィードバックメッセージが伝送されない、請求項５に記載の制御装置。
7. 最適化問題が、離散時間型のマルコフ決定過程の枠組みにおいて定式化される、請求項５または請求項６に記載の制御装置。
8. マルコフ決定過程のシステムの報酬関数が次式で示され、
   

   

   Ｅ［．］が予想関数を表し、ｌ＝１．．．Ｌである正のパラメータγ_ｌ、α_ｌ、およびβ_ｌが、アクセスポイント（１１）内のバッファ（４）、およびプロキシ（３）内のポストエンコーダバッファ（３１）に対して様々な制約の重要性とトレードオフの関係である、請求項７に記載の制御装置。
9. コンピュータおよび／または専用システムのメモリ上に記憶された命令を含むコンピュータプログラムであって、前記請求項１から４のいずれか一項に記載の方法を実行するように構成された、コンピュータプログラム。

Images