例示的実施形態の詳細な説明が様々な図を参照して述べられる。この説明は、可能な実装形態の詳細な例を示すが、詳細は例示的なものであり、本出願の範囲を限定するものでは全くないことが留意されるべきである。
図1の例によって示されるように、インフラストラクチャベーシックサービスセット(IBSS)モードでのWLANは、ベーシックサービスセット(BSS)のためのアクセスポイント(AP)170、およびAPに関連する1または複数のステーション(STA)190を有することができる。AP170は、トラフィックをBSSの内および外に運ぶことができる分配システム(DS)または他のタイプの有線/無線ネットワークへの、アクセスまたはインターフェースを有することができる。STA190へのトラフィックは、BSSの外部から生じることができ、AP170を通して到着することができ、STA190に配信され得る。STA190から生じた、BSSの外部の宛先へのトラフィックは、それぞれの宛先に配信されるようにAP170に送られ得る。BSS内のSTA190の間のトラフィックはAP170を通して配信されることができ、送信元STAはトラフィックをAP170に送ることができ、AP170はトラフィックを宛先STAに配信することができる。BSS内のSTA190の間のトラフィックはピアツーピアトラフィックを含むことができる。このようなピアツーピアトラフィックは、例えばIEEE802.11e DLSまたはIEEE802.11zトンネルDLS(TDLS)を用いたダイレクトリンクセットアップ(DLS)によって、送信元および宛先STAの間で直接送られ得る。独立BSS(IBSS)モードを用いたWLANはAPを持たない場合があり、STA190は互いに直接通信することができる。この通信のモードはアドホックモードとすることができる。
IEEE802.11インフラストラクチャ動作モードを用いて、AP170は、固定のチャネル、通常はプライマリチャネル上でビーコンを送信することができる。このチャネルは、20MHz幅とすることができ、BSSの動作チャネルとすることができる。このチャネルはまた、AP170との接続を確立するためにSTA190によって用いられ得る。IEEE802.11システムでのチャネルアクセスは、衝突回避機能付きキャリア感知多重アクセス(CSMA/CA)を含むことができる。この動作モードではSTA190は、AP170を含み、プライマリチャネルを感知することができる。チャネルがビジーであることが検出された場合、STAは送信待機することができる。1つのSTAは、所与のBSSにおいて任意の所与の時点で送信することができる。
IEEE802.11acでは超高スループット(VHT)STAは、例えば20MHz、40MHz、80MHzおよび/または160MHz幅のチャネルをサポートすることができる。40MHzおよび80MHzチャネルは、例えば隣接する20MHzチャネルを組み合わせることによって形成され得る。160MHzチャネルは、例えば8個の隣接する20MHzチャネルを組み合わせることによって、または2つの隣接しない80MHzチャネルを組み合わせることによって(例えば80+80構成と呼ばれる)、形成され得る。80+80構成に対しては、データは、チャネル符号化の後に、それを2つのストリームに分割しうるセグメントパーサを通して渡され得る。逆高速フーリエ変換(IFFT)および時間領域処理は、各ストリームに別々に行われ得る。ストリームは2つのチャネルにマッピングされることができ、データが送信され得る。受信側ではこの機構は逆になり、組み合わされたデータはMACに送られ得る。IEEE802.11acは5GHz ISM帯域上で動作することができる。
IEEE802.11afおよびIEEE802.11ahは、サブ1GHz動作モードをサポートすることができる。これらの仕様に対して、チャネル動作帯域幅は、IEEE802.11nおよびIEEE802.11acで用いられるものに比べて低減され得る。IEEE802.11afは、テレビホワイトスペース(TVWS)スペクトルにおける5MHz、10MHzおよび/または20MHz帯域幅をサポートすることができ、IEEE802.11ahは、例えば、非TVWSスペクトルを用いて1MHz、2MHz、4MHz、8MHzおよび/または16MHz帯域幅をサポートすることができる。IEEE802.11ahは、マクロカバレッジ領域におけるメータタイプ制御(MTC)デバイスをサポートすることができる。MTCデバイスは、例えば、限られた帯域幅および非常に長い電池寿命を求める要件に対するサポートを含む能力を有し得る。
複数のチャネルおよびチャネル幅をサポートし得るWLANシステムでは、例えばIEEE802.11n、IEEE802.11ac、IEEE802.11af、および/またはIEEE802.11ahは、プライマリチャネルとして指定され得るチャネルを含むことができる。プライマリチャネルは、BSSにおいてSTA190によってサポートされる最も大きな共通動作帯域幅に等しくなり得る帯域幅を有することができる。プライマリチャネルの帯域幅は、最も小さな帯域幅動作モードをサポートし得る、BSSにおいて動作するSTA190A、190Bおよび/または190CなどのSTAのうちのSTA190によって制限され得る。例えば、IEEE802.11ahに対しては、たとえAP170およびBSSにおける他のSTA190が2MHz、4MHz、8MHz、16MHzまたは他のチャネル帯域幅動作モードをサポートすることができたとしても、1MHzモードをサポートし得るSTA190(例えば、MTCタイプデバイス)が存在し得る場合は、プライマリチャネルは1MHz幅となり得る。
キャリア感知およびNAV設定は、プライマリチャネルの状態に依存し得る。例えばAP170に送信する1MHz動作モードをサポートするSTA190により、プライマリチャネルがビジーである場合は、その大部分はアイドルのままで利用可能となり得るが、利用可能な周波数帯域が考慮され得る。
例えば米国では、IEEE802.11ahによって用いられ得る利用可能な周波数帯域は、902MHzから928MHzまでとなり得る。例えば韓国では、これは917.5MHzから923.5MHzまでとなり得る。例えば日本では、これは916.5MHzから927.5MHzまでとなり得る。IEEE802.11のために利用可能な総帯域幅は6MHzから26MHzとすることができ、国コードに依存し得る。
図2は、無線ローカルエリアネットワーク(WLAN)リンクを通して動作する例示のモバイルビデオ電話、およびそこでの遅延を示す。様々なMAC層およびクロスレイヤ手法、例えば中継、レート制御、選択的再送信、スマートパケットドロップ、1つのストリーム内のパケットのより精細な優先度付けおよびコンテンツ特有の方法が開示され得る。これらはWLANネットワークを通したビデオの配信を改善することができる。IEEE802.11およびWi−Fiアライアンスは、拡張分散チャネルアクセス(EDCA)およびハイブリッド調整機能(HCF)制御チャネルアクセス(HCCA)によって異なるアクセス優先度をもたらすように、サービス品質(QoS)規定を定義している。
送信エラーは時々起こり得る。送信時にパケットが失われたときはビデオ品質が低下する可能性がある。ビデオデコーダはエラー隠蔽を行うことができ、ビデオエンコーダは、エンコーダが損失パケットの知識を有する場合はエラー伝搬を制限することができる。例えば、肯定応答(ACK)および/または否定応答(NACK)が受信側において収集され、レポートとして送信側に送信され得る。レポートは例えばIETF RFC4585、ITU−T H.271などに従ってカプセル化されることができ、RTP制御プロトコル(RTCP)レポートにおいて運ばれ得る。図2に示されるように、フィードバックレポートの送信において遅延が存在し得る。RTCPレポートのための収集期間は、例えばRFC4585において指定されるようにタイミング規則によって規制され得る。
図2に示されるように、RTPトランスポートプロトコルおよびRTCPタイプフィードバックによって動作するモバイルビデオ電話においては、例えばアリス210からボブ240に、いくつかの通信リンク(例えばアリス210から、AP220Aに、インターネット230に、AP220Bに、ボブ240に)が関係し得る。第1またはローカルの無線リンクは送信側に最も近く、最も短い遅延を有し得る。パケットが失われたときは、それはボブ240(例えばボブのビデオ電話アプリケーション)によって注目されることができ、レシーバー送信フィードバックメッセージによりアリス210に通信され得る。レシーバー送信フィードバックメッセージは、レシーバーレポート、レシーバーからの否定応答メッセージ、レシーバーからの肯定応答メッセージ、RTCPレシーバーレポート(RR)、拡張レポート(XR)などを含むことができる。レシーバー送信フィードバックメッセージは定期的に(例えば1秒ごとに)送られ得る。レシーバー送信フィードバックメッセージはまれに送られ得る。エラー通知250がアリス210(例えばアリスのアプリケーション)に到達したときは、それは内部(またはIDR)フレームを挿入するように、またはデコーダにおけるエラー伝搬を停止させるために他のコーデックレベルの実装を用いるようにビデオエンコーダに指示するために用いられ得る。パケット損失とレシーバー送信フィードバックメッセージとの間の遅延が長くなるほど、エラーによって影響され得るビデオシーケンスの部分が長くなる。パケット損失とレシーバー送信フィードバックメッセージとの間の遅延は、少なくとも1つの往復時間(RTT)とすることができる。RTTは50ミリ秒から1秒の範囲とすることができる。デコーダにおいてエラー隠蔽(EC)技法が使用された状態では、リフレッシュ前の1秒の遅延は、かなりのおよび目に見えるアーチファクト(例えば「ゴースト」)を引き起こし得る。
802.11送信におけるパケット損失は、エラー伝搬が軽減または低減され得るように、ビデオエンコーダに適時にフィードバックされ得る。フィードバックがエンコーダによって早く受信されるほど、ビデオエンコーダは早くエラー伝搬を防止することができ、復号されたビデオにおいてより良好な品質が経験され得る。本明細書では、ローカルリンクでの早期パケット損失検出および通知をシグナリングする方法、システム、および手段が提供され、アプリケーション層でのフィードバックベースのビデオコーディング方法の使用が提供される。ビデオエンコーダおよび802.11送信機は、図13Bに示されるようにWTRU102(例えばスマートフォンハンドセットまたはタブレットコンピュータなど)でのように、同じ物理デバイス内に存在することができる。図1に示されるようにWTRU102は、AP170と通信するSTA190を含むことができる。早期パケット損失通知は、送信においてパケットが失われたとの判定がなされた後(例えば直後)に行われ得る。早期パケット損失通知は、送信に関連するレシーバー送信フィードバックメッセージを受信する前に行われ得る。
IEEE802.11リンクは送信エラーの影響を受け得る。送信エラーは、例えば常に変化する無線チャネル状態、衝突などからの、干渉およびフェージングによって引き起こされ得る。チャネル/ネットワーク状態における変化に対応するために、レートアダプテーションアルゴリズムが用いられ得る。送信エラーは、速度対エラーのトレードオフの一部として不可避となり得る。802.11ネットワークは、複数のステーションが、中央の調整なしに同じ無線媒体を共有することを可能にするために、衝突回避機能付きキャリア感知多重アクセス(CSMA/CA)を用いることができる。2つ以上の802.11ステーションは同じタイムスロット内で送信を開始することができるので、衝突が起こり得、これは送信エラーを引き起こし得る。衝突の確率は、ステーションの数が多いときは顕著または高くなり得る。
802.11標準は、媒体アクセス制御(MAC)サブレイヤ内の、それ自体の肯定応答(ACK)フレームを定義する。受信ステーションはACK制御フレームを(例えば、フレームを成功裏に受信した後に)送ることができる。受信ステーションはフレームを正しく受信できなかった場合は、どのステーションまたは複数のステーションがそれを送ったかを知り得ないので、802.11受信ステーションはNACKフレームを送れない場合がある。送信ステーション側において、例えば送信エラーまたは衝突によって、送信されたデータフレームに対してACKが受信されなかった場合は、802.11MACはデータフレームを再送信することができる(例えばACKが受信されるまで、所定の期間が終了するまで、または送信の試みの最大数に達し得るまで)。MAC層はMACパケットの送信が失敗したことを判定することができる。MAC層は、ACKメッセージが受信されていないことを判定することによって、MACパケットの送信が失敗したことを判定することができる。MACパケットの送信は、所定の期間内にACKメッセージが受信されなかったときに、失敗したと判定され得る。MACパケットの送信は、所定の数の再送信の試みの後にACKメッセージが受信されなかったときに、失敗したと判定され得る。所定数の送信の試みは802.11MACにおいて構成可能とすることができ、例えば非HCF(Hybrid Control Function)の場合は7に、またはHCFの場合は4に設定され得る。再送信は、各送信の試みにおける送信エラーに対処するために802.11によって使用され得る。繰り返される送信エラーは潜在的にパケットの損失に繋がり得る。802.11では、802.11MACサブレイヤから上位サブレイヤ、例えば論理リンク制御(LLC)に、送信失敗の表示がない場合がある。フレームが、失敗した送信を有すると判定されたときは、802.11MACサブレイヤはフレームをドロップし、試みることをやめることができる。
早期パケット損失検出は、ビデオ符号化デバイスによって判定され得る。ビデオ符号化デバイスは、MAC層において早期パケット損失を判定することができる。早期パケット損失判定は、受信側送信フィードバックメッセージを受信する前に行われ得る。
標準ベースの通信システムは、プロトコル層のスタックを含むことができる。例えば、インターネットプロトコル群(またはTCP/IP)は、アプリケーション層310、トランスポート層320、ネットワーク層330、MAC層340および/または物理層350を含み得る。802.11は、物理350および/またはMAC340サブレイヤに適合することができ、図3の例に示されるようにパケット損失フィードバック360は、802.11MAC層340からアプリケーション層310にトラバースされうる。
アプリケーション層プロトコルの例は以下の1または複数を含むことができる:ビデオエンコーダはリアルタイムトランスポートプロトコル(RTP)パケットを生成することができ、セキュアリアルタイムトランスポートプロトコル(SRTP)はRTP配信のために用いられることができ、またはビデオエンコーダはネットワーク抽象層(NAL)パケットを生成することができ、トランスポート層セキュリティ(TLS)はセキュリティのためにアプリケーション層において用いられ得る。
RTPシーケンス番号は暗号化されなくてもよい(例えばRTPパケットは、SRTPプロトコルを用いてトランスポートされている)。RTPシーケンス番号は例えば、ビデオパケットを識別するためにディープパケットインスペクションによって802.11MACサブレイヤに利用可能となり得る。シーケンス番号はペイロードによって暗号化され得る(例えばネットワーク抽象層(NAL)パケットは、トランスポート層セキュリティ(TLS)プロトコルを用いることによってトランスポートされ得る)。シーケンス番号は、ビデオパケットの識別のために802.11MACに利用可能でない場合がある。パケット損失検出は802.11MAC内で行われ得る(例えばパケットが受信側への失敗した送信を有するかどうかを判定するために)。例えばビデオデータに対しては、送信失敗は、MACプロトコルデータユニット(MPDU)が失敗した送信を有するときとして(例えば所定の持続時間の後に)定義され得る。所定の持続時間は、例えばアプリケーションのタイプ(例えばビデオ会議、ビデオ電話など)に基づいて設定され得る。ビデオストリームからの、送信が失敗したパケットは(例えばパケット損失を検出するとすぐに)識別され得る。ビデオパケットはシーケンス番号によって識別され得る。シーケンス番号は、RTPシーケンス番号、NALシーケンス番号、またはビデオパケットを一意に識別する番号を含むことができる。
802.11を用いた複数のアプリケーションまたは複数のビデオストリームが同時に存在する場合は、ストリーム(例えば複数のビデオストリームのうちのストリーム)のためのビデオパケットが識別され得る。ビデオストリームは、送信元および宛先IPアドレス、送信元および宛先ポート番号、および/またはプロトコルタイプを含むIP5タプルによって識別され得る。ビデオパケットはそのRTPシーケンス番号SNRTPによって識別される(例えば一意に識別される)ことができ、これはディープパケットインスペクションによって802.11MACにより判定され得る。
TLSは802.11ペイロードを暗号化することができる。TLSは、TLSプロトコルを用いてパケットがトランスポートされるときに、802.11ペイロードを暗号化することができる。MACサブレイヤは、ビデオパケット内のシーケンス番号またはタイムスタンプを識別できない(例えば直接に)場合がある。例えば802.11MACは、暗号化されたデータを見ることに限定され得る。TLSプロトコルは暗号化を行うことができ、ビデオパケット内のNALシーケンス番号SNNALと、暗号化されたデータとの間のマッピングを確立することができる。例えばIDTLSとして示される暗号化されたデータの一部は「シグニチャ」として用いられることができ、テーブルルックアップが行われ得る。TLS層は、TLS暗号化データIDTLSから、対応するシーケンス番号SNNALを見出すことができる。
暗号化されたデータはランダムであるように見え得る。例えば、所与の数のビデオパケットに対してシグニチャが一意となる確率を増すように、より長いパターン(例えば暗号化パターン)が選ばれ得る。それぞれNビットを含むM個のランダムパターンを考えると、それらが一意となるように2N個の可能なパターンからM個のパターンが選択され得る、2N!/(2N−M)!通りの方法があり得る。M個のパターンの選択の総数は2NMとなり得る。M個のパターンが一意となる確率は、2N!/(2NM(2N−M)!)となり得る。例えばビデオエンコーダが1秒当たり30パケットを生成する場合は、各ビデオパケットが一意に識別され得るように、3秒間にわたるM=90個の連続したパケットの中で、シグニチャパターンIDTLSは一意とすることができる。90個からの任意の2つのパターンが一致する確率は百万分の1未満(9.32×10-7)とすることができる(例えばシグニチャ長さN=32ビット(4バイト)が選ばれた場合)。
802.11MACにおいてデータは、MACサービスデータユニット(MSDU)としてLLCサブレイヤから到着し得る。送信失敗はMAC/PHY層において起こり得る。送信失敗は、損失MACパケット(例えばMPDU)としてMACによって識別され得る。MSDUとMPDUとの間のマッピングは1対1でない場合がある(例えば、802.11によって許容されるアグリゲーションおよびフラグメンテーションにより)。MACパケットが送信に失敗したときは、2つ以上のMSDUまたはIPパケットが影響され得る。MPDUは、そのシーケンス制御(SC)SCMPDUによって識別され得る。MSDUはそのシーケンス番号SNMSDUによって識別され得る。ビデオパケットを識別するために、失敗したMPDUのSCMPDUはSNRTPにマップされ得る(例えば、RTPパケットをトランスポートするためにSRTPが用いられ得るシナリオで)。失敗したMPDUのSCMPDUはSNNALにマップされ得る(例えば、NALパケットをトランスポートするためにTLSが用いられ得るシナリオで)。マッピングSCMPDU→SNMSDUは、802.11MACにおけるアグリゲーションおよびフラグメンテーションプロセス時に確立されたテーブルをルックアップすることによって確立され得る(例えば送信失敗が起きたときに)。テーブル内のエントリは、MSDUが集約および/または細分化されたときに追加され得る。テーブル内のエントリは、成功裏に送信されたときまたは失われたと見なされた後に削除され得る。マッピングSNMSDU→SNRTP(例えば、RTPパケットをトランスポートするためにSRTPが用いられ得るシナリオで)、またはマッピングSNMSDU→IDTLS(例えば、NALパケットをトランスポートするためにTLSが用いられ得るシナリオで)が確立され得る。
SCMPDU→SNMSDU→SNRTPのマッピングは、(例えばRTPパケットをトランスポートするためにSRTPが用いられるとき)ビデオエンコーダにパケット損失を通知するための情報をもたらすことができる。MAC層は他のデータストリームをフィルタで除去することができる。MAC層はパケット損失を検出することができる。MAC層はSCMPDUを通じてパケット損失を検出することができる。MAC層はSCMPDUをSNMSDUにマップすることができる。MAC層はSNMSDUをSNRTPにマップすることができる。ビデオエンコーダはビデオをパケットに符号化することができる。符号化されたビデオパケットはRTPパケットを含むことができる。ビデオエンコーダは、SNRTPをビデオストリームの一部分にマップすることができる。ビデオエンコーダは、SNRTPを少なくとも1つのビデオフレームまたはビデオスライスにマップすることができる。ビデオエンコーダは、パケット損失フィードバックに基づいて予測再設定を行うことができる。
SCMPDU→SNMSDU→IDTLS→SNNALマッピングを達成するために、TLS層においてマッピングIDTLS→SNNALが行われ得る(例えば、NALパケットをトランスポートするためにTLSが用いられ得る場合)。MAC層は他のデータストリームをフィルタで除去することができる。MAC層はパケット損失を検出することができる。MAC層はSCMPDUを通じてパケット損失を検出することができる。MAC層はSCMPDUをSNMSDUにマップすることができる。MAC層はSNMSDUをIDTLSにマップすることができる。TLS層はIDTLSをSNNALにマップすることができる。ビデオエンコーダはビデオをパケットに符号化することができる。符号化されたビデオパケットはNALパケットを含むことができる。ビデオエンコーダは、SNNALをビデオストリームの一部分にマップすることができる。ビデオエンコーダは、SNNALを少なくとも1つのビデオフレームまたはビデオスライスにマップすることができる。ビデオエンコーダはパケット損失フィードバックに基づいて予測再設定を行うことができる。マッピングは、1対多数を含み得る。本明細書で述べられるシステム、方法、および手段は、SRTPまたはTLS以外のプロトコルに応用され得る。
パケット損失はメッセージ(例えばフィードバックメッセージ)によって通知され得る。メッセージはいくつかのプロトコル層をトラバースすることができる。パケット損失は以下の1または複数を用いて通知され得る(例えばプロトコル層が同じ物理デバイス内に実装されたとき):アプリケーションプログラミングインターフェース(API)、ソフトウェアメールボックス、ソケット、共有メモリまたはオペレーティングシステムレベル信号などの他の形のプロセス間通信など。メッセージはIPなどの標準プロトコルインターフェースを通過することができる(例えばビデオエンコーダおよび802.11MACが同じ物理デバイス内にない、または異なるベンダによってもたらされたときに)。パケット損失の通知のために、さらなる標準または独自開発プロトコルが用いられ得る(例えば、通知が受信側によって理解され得るように)。メッセージは標準パケットとしてフォーマットされ得る。メッセージはレシーバー送信フィードバックメッセージとしてフォーマットされ得る。メッセージは標準パケットを偽装することができる。
MAC層(例えば802.11MAC層)は、標準パケットを偽装することができる。偽装パケットは、図2のボブ240によって示されるような受信側から生じたように見え得る。偽装パケットは、偽装NACKパケット、偽装ACKパケット、偽装拡張レポート(XR)パケットまたはレシーバー送信フィードバックメッセージとしてフォーマットされ得る。レシーバー送信フィードバックメッセージは、受信側からのNACKメッセージ、受信側からのACKメッセージ、RTCPレシーバーレポート(RR)、拡張レポート(XR)などとすることができる。偽装パケット(例えば偽装NACKパケット、偽装ACKパケット、または偽装XRパケット)は、例えば模倣されたパケット、模造されたパケット、標準において指定された時間またはエンティティ以外の時間においてまたはエンティティによって生成された、標準パケットおよび/または同様なものを含むことができる。偽装パケットはビデオ符号化デバイス、またはネットワーク内のルータから生じることができる。偽装パケットはビデオ符号化デバイスのMAC層から生じることができる。偽装パケットは、RTCPレシーバーレポートまたはRTCP NACKパケットのフォーマットにおけるものとすることができる。
図7は、否定応答(NACK)偽装を用いた早期パケット損失検出の例を示す。送信元無線ホップであるアリス730は、AP740を通じて受信側であるボブ750に送信を送ることができる。送信はパケット(例えばMACプロトコルデータユニット(MPDU))を含むことができる。パケットは、アリス730とAP740との間で失われる場合がある。受信側であるボブ750は、パケットの送信が失敗したことを示すNACKメッセージを送信元無線ホップであるアリス730に送ることができる。NACKメッセージは遅延され得る。送信元無線ホップであるアリス730のMAC層720は、MPDUが失われたことを検出することができる(例えば、送信されたMPDUに対して、ACKの(例えばAP740または受信側750から)受信がない所定の回数の再送信の試みの後に)。MAC層720はどのRTPパケットが失われたかを判定することができる(例えばディープパケットインスペクションを行うことによって)。パケット損失はNACK偽装710によって通知され得る。MAC層720は、NACKパケット(例えば、偽装NACKパケット)によってパケット損失をシグナルする(例えばそれをビデオ送信側730に知らせる)ことができる。MAC層720は偽装NACKパケットを生成することができる。MAC層720は、偽装NACKパケットをRTP層760(例えばアプリケーション層)に送る(例えば直接または間接に送る)ことができる。RTP層760は、損失RTPパケットを再送信することができる(例えば、偽装NACKパケットが受信されたときに)。
MAC層720は、失われた(例えばMPDUの送信が成功しなかった)MPDUのペイロードを検索することができる。複数のMPDUが、MACサービスデータユニット(MSDU)としてリアセンブルされ得る(例えばMAC層セグメント化が適用されたときに)。
MAC層720(例えばMACエンティティ)は、パケットヘッダのプロトコルフィールドに注目することができる(例えばペイロードがIPパケットである場合)。プロトコルフィールドはUDPを示すことができる。送信元IPアドレスのレコードは、保持され得る(例えばプロトコルフィールドがUDPを示す場合)。宛先IPアドレスのレコードは保持され得る。UDPパケットヘッダ内の送信元ポート番号および/または宛先ポート番号フィールドは、ペイロードがRTPパケットであるかどうかを判定するために調べられ得る(例えば場合によっては、SIP/SDPメッセージにおいて運ばれるものなどの他の情報と一緒に)。MAC層720はペイロードタイプ(PT)フィールドを検索し、パケットがビデオパケットであるかどうかをチェックすることができる。RTPパケットヘッダ内の貢献(contributing)ソース(CSRC)識別子フィールドおよびシーケンス番号フィールドが、検出され得る(例えばパケットがビデオパケットである場合)。
MAC層720は、RTCPパケットを生成することによってNACKパケット(例えば偽装NACKパケット)を組み立てることができる。NACKパケットはRTCPパケットを含むことができる。RTCPパケットはトランスポート層フィードバックメッセージを含むことができる(例えばIETF RFC4585によりPT=RTPFB)。RTCPパケットは汎用NACKパケットを含むことができる(例えばIETF RFC4585によりFMT=1)。同期ソース識別子(SSRC)フィールドはCSRCとして設定されることができ、これはRTPパケットヘッダにおいて検出され得る。シーケンス番号フィールドは、RTPパケットヘッダ内で検出され得るシーケンス番号として設定され得る。NACKパケットは、複数の損失パケットの開始パケットID、およびそれに続く損失パケットのビットマスク(BLP)を含むことができる。NACKパケットは各損失パケットに対して生成され得る(例えばBLPを0として)。
MAC層720は、NACKパケットをRTP層760に(例えば直接または間接に)送ることができる。MAC層720は、ユーザデータグラムプロトコル(UDP)ヘッダおよび/またはインターネットプロトコル(IP)ヘッダを追加することができ、結果としてのIPパケットをIP層770に送ることができる。受信側から送信側に行くUDPパケットに用いられるポート番号(例えば、送信元ポート番号または宛先ポート番号)は例えば、セッションセットアップの始めに交換されるSIP/SDPメッセージを調べることによって、ビデオ送信側に行く途中に受信されたMPDUを調べることによって、または同様にして取得され得る。送信元ポート番号はUDPパケットヘッダ内の宛先ポート番号を含むことができ、宛先ポート番号はUDPパケットヘッダ内の送信元ポート番号を含むことができる(例えば、UDP送信ポートと受信ポートが同じである場合)。IPパケットの送信元IPアドレスは、IPパケットヘッダのプロトコルフィールドから取得され得る宛先IPアドレスを含むことができる。宛先IPアドレスは、IPパケットヘッダのプロトコルフィールドから取得され得る送信元IPアドレスを含むことができる。
RTP層760(例えば送信側におけるRTP層)は、NACKパケット(例えば偽装NACKパケット)において失われたものとして示される損失RTPパケットを、再送信することができる。RTP層760は受信側からのNACKパケット(例えば通常のNACKパケット)を無視することができる。送信側730は、NACKパケット内のインジケータに基づいて、受信側750からのNACKパケット(例えば通常のNACKパケット)を、MAC層720からのNACKパケット(例えば偽装NACKパケット)と区別することができる。例えば送信側は、NACKパケット(例えば偽装NACKパケット)がMAC層720において組み立てられたかどうかに基づいて、フィードバックメッセージ(FMT)ビットに対する値(例えば未割り当て値)を判定することができる。
パケット損失は拡張レポート(XR)偽装によって通知され得る。MAC層720(例えばMACエンティティ)は、XRパケット(例えば偽装XRパケット)を生成することができる。MAC層720は、失われた(例えばMPDUの送信が成功しなかった)MPDUのペイロードを検索することができる。複数のMPDUが、MACサービスデータユニット(MSDU)としてリアセンブルされ得る(例えばMAC層セグメント化が適用されたときに)。
MAC層720は、パケットヘッダのプロトコルフィールドに注目することができる(例えばペイロードがIPパケットである場合)。プロトコルフィールドはUDPを示すことができる。送信元IPアドレスのレコードが保持され得る(例えばプロトコルフィールドがUDPを示す場合)。宛先IPアドレスのレコードが保持され得る。UDPパケットヘッダ内の送信元ポート番号および/または宛先ポート番号フィールドは、ペイロードがRTPパケットであるかどうかを判定するために調べられ得る(例えば場合によっては、SIP/SDPメッセージにおいて運ばれるものなどの他の情報と一緒に)。MAC層720はペイロードタイプ(PT)フィールドを検索し、パケットがビデオパケットであるかどうかをチェックすることができる。RTPパケットヘッダ内の貢献ソース(CSRC)識別子フィールドおよびシーケンス番号フィールドが検出され得る(例えばパケットがビデオパケットである場合)。
MAC層720は、XRパケット(例えば偽装XRパケット)を組み立てることができる。偽装XRパケットは、IETF RFC3611に従ってフォーマットされ得る。MAC層720は、XRパケット(例えば偽装XRパケット)をRTP層760に送る(例えば直接送る)ことができる。MAC層720は、ユーザデータグラムプロトコル(UDP)ヘッダおよび/またはインターネットプロトコル(IP)ヘッダを追加することができ、結果としてのIPパケットをIP層770に送ることができる。受信側750から送信側730に行くUDPパケットに用いられるポート番号(例えば送信元ポート番号または宛先ポート番号)は、例えばセッションセットアップの始めに交換されたSIP/SDPメッセージを調べることによって、ビデオ送信側730に行く途中に受信されたMPDUを調べることによって、または同様にして取得され得る。送信元ポート番号はUDPパケットヘッダ内の宛先ポート番号を含むことができ、宛先ポート番号はUDPパケットヘッダ内の送信元ポート番号を含むことができる(例えば、UDP送信ポートと受信ポートが同じである場合)。IPパケットの送信元IPアドレスは、IPパケットヘッダのプロトコルフィールドから取得され得る宛先IPアドレスを含むことができる。宛先IPアドレスは、IPパケットヘッダのプロトコルフィールドから取得され得る送信元IPアドレスを含むことができる。
RTP層760(例えば送信側におけるRTP層)は、XRパケット(例えば偽装XRパケット)において失われたものとして示される損失RTPパケットを、再送信することができる。RTP層760は受信側750からのNACKパケット(例えば通常のNACKパケット)を無視することができる。例えばRTP層760は、通常のNACKパケット内に示されたRTPパケットを再送信しなくてもよい。送信側730は受信側750からのNACKパケット(例えば通常のNACKパケット)を、MAC層720からのXRパケット(例えば偽装XRパケット)と区別することができる。
パケット損失はACK偽装によって通知され得る。デバイス(例えばWTRUまたはAP)は、ACKパケットを偽装することができる。ACK(例えば偽装ACKパケット)は、RTPパケットに属するMPDU(例えばMPDUの全て)がうまく送られた(例えば無線チャネルにわたって送られた)ときに生成され得る。送信側730は、偽装ACKがそれらに対して受信されたパケットの、シーケンス番号内のギャップを検出することによってパケットの損失を推測することができる。送信側730は損失パケットを再送信することができる。通常のACK(例えば受信側750から送られたACK)は、送信側730によって無視され得る。
MAC層はUDP、RTPおよび/またはSRTPパケット損失を取り扱うことができる。暗号化が用いられ得る。MAC層によって生成されるNACKパケット(例えば偽装NACKパケット)のペイロードは、送信側によって暗号化され得る。MAC層は、偽装NACKパケットを暗号化するために用いられた暗号化キーを知らなくてもよい。パケット損失はMAC層において取り扱われ得る。例えばMAC層はパケット損失を検出することができる。損失パケットはMPDUを含むことができる。MAC層は、所定の期間、またはMPDUに対する所定回数の送信の試みの後に、ACKが受信されなかったことを観測することができる。MAC層は損失MPDUを再送信することができる。再送信MPDUは直ちに、または遅延して送信され得る。MAC層は、パケット損失の原因に基づいて再送信時間を判定することができる。MPDUは輻輳により失われ得る。MPDUはチャネルエラー(例えば、強度のフェージング、干渉など)により失われ得る。再送信MPDUは、チャネルエラーがパケット損失を引き起こしたときは、直ちに(できるだけ早く、実質的に遅延なしに、最小限の遅延で)送信され得る。パケット損失が輻輳によるときの再送信時間は、パケット損失がチャネルエラーによるときの再送信時間と比べて実質的に遅延される。MAC層は、輻輳によって引き起こされたパケット損失を、チャネルエラーによって引き起こされたパケット損失と区別することができる。例えばMAC層は、(例えばIEEE802.11での)チャネルアクセスにおける遅延時間(例えば延期時間)を測定することができる。受信側は、例えばチャネルアクセスにおける遅延時間が予め定められた閾値を超えた場合は、無線リンクが輻輳していると推測することができる。
パケット損失は、輻輳制御のための(例えばWebRTCなどのビデオ電話アプリケーションでの)信号として用いられ得る。損失パケット(例えば、輻輳により引き起こされた損失パケット)の再送信は遅延され得る。損失パケット(例えばRTPパケット)に対する遅延限界より大きいが、往復時間(RTT)より小さい時間において再送信が生じ得るように、損失パケットの再送信は遅延され得る。受信側は、混雑が存在しており、ビデオ復号プロセスに与える影響が軽減され得るように損失パケットが配信され得ると、推測することができる。
MAC層は、偽装NACKパケットを送るかどうかを判定するためにRTPパケットジッタ限界を用いることができる。RTPパケットジッタ限界は、RTP遅延ジッタ限界を含むことができる。RTPパケットジッタ限界は、一方向のエンドツーエンド遅延に加えることのRTPパケットジッタ限界で受信されたRTPパケットは、失われたと見なされ得るように定義され得る。1つのRTTは、NACKがビデオ受信側によって送信される(例えば通常のNACK)場合の、エラー伝搬またはビデオフリーズの最小持続時間として定義され得る。結果としてのエラー伝搬またはビデオフリーズが1つのRTT未満であるとき、NACK偽装が用いられ得る。再送信遅延時間は、RTPパケットジッタ限界より大きくなり、失敗した送信の原因が輻輳を含むときは1つのRTT未満となり得る。MAC層は再送信遅延時間の後に損失パケットを再送信することができる。ジッタ限界が1つのRTT未満であるときは、受信側は、送信側のRTP層からRTPパケットの適時な再送信を得るように、NACK(例えば通常のNACK)を送信側に送ることができる。
再送信遅延時間dは、d=α×(RTPパケットジッタ限界)(例えばα>1である場合、およびα×(RTPパケットジッタ限界)<RTTである場合)となるように選択され得る。MAC層はdの後に損失パケットを再送信することができる。RTTは、RTP層によって測定され得る(例えばハンドシェークが生じるセッションセットアップフェーズの間に)。RTTはMAC層に渡され得る。RTTはディープパケットインスペクションによりMAC層によって測定され得る(例えばコールセットアップ時のSIP/SDPメッセージなどの制御シグナリングに対して)。
RTPパケットジッタ限界は、RTP層において受信側から送信側に送られ得る。RTPパケットジッタ限界はMAC層に渡され得る(例えば、クロスレイヤシグナリングによって)。平均RTPパケットジッタ限界は、RTP層において受信側から送信側に送られ得る。平均RTPパケットジッタ限界はMAC層に渡され得る(例えばクロスレイヤシグナリングによって)。RTPパケットジッタ限界は、送信側のRTP層において推定され得る。RTPパケットジッタ限界は、送信側のMAC層において推定され得る。送信側またはMACは、1または複数のRTPパケット遅延統計を収集することができる。送信側またはMACは、1または複数のRTPパケット遅延統計に基づいて、RTPパケットジッタ限界を計算することができる。RTPパケットジッタ限界はRTTに関連し得る。例えばビデオアプリケーションは、RTPパケットジッタ限界を、β×RTTとして設定することができる。βは定数とすることができる。RTPパケットジッタ限界は、利用可能なRTT推定に基づいて計算され得る。
MAC層はTCPパケットのパケット損失を取り扱うことができる。TCP層は輻輳制御を行うことができる。TCP層はパケット損失に対して、それが輻輳によって引き起こされたかのように反応することができる。MAC層は、IP/TCPペイロードを運ぶMPDUを識別することができる(例えばディープパケットインスペクションによって)。MAC層はパケット損失の原因を判定することができる。MAC層は、パケット損失が輻輳によって引き起こされたという条件で、MPDUの再送信を遅延させることができる。TCP受信側は、順序がバラバラのTCPパケットシーケンスを観察することができる。順序がバラバラのTCPパケットシーケンスは、複製ACKの送信をトリガすることができる。TCP送信側は、その送信レートを低減することができる(例えば3つ以上の複製ACKを受信するとすぐに)。MAC層は、複製ACKの発生を最小にするようにできるだけ早くMPDUを再送信することができる(例えばチャネルエラーがパケット損失を引き起こした場合)。
MAC層はビデオ層パケット損失を取り扱うことができる。ビデオ層パケット損失を取り扱うMAC層は、ビデオ送信側に存在することができる。XR RTCPパケットは、ビデオ送信側でのMAC層において偽装され得る。ビデオコーディング層(例えばビデオ電話アプリケーション)は、早期に検出されたパケット損失に反応することができる。XRパケット(例えば偽装XRパケット)は、IETF RFC3611に基づいて生成され解釈され得る。XRパケットは、1または複数の同期ソース識別子(SSRC)を含むことができる。XRパケットに対するペイロードタイプは207を含むことができる。XRパケットは、FMT値ビットを含んでも含まなくてもよい。
XRパケット(例えば偽装XRパケット)は、損失MAC層パケットに対応するRTPシーケンス番号を含み得る。MAC層はMPDUペイロードをチェックすることができる(例えば調べられるパケットが、実際にIP/UDP/RTP/ビデオパケットであることを確認するために)。ディープパケットインスペクションを行う前に、複数のMPDUが単一のMSDUとしてリアセンブルされ得る(例えばMAC層セグメント化が前に適用される場合)。XRパケットは、MPDUが失われたと判定されるとすぐに生成され得る(例えば適時なシグナリングに対して)。RTPシーケンス番号の報告のbegin_seqおよびend_seqは同じ値とすることができる。ビットベクトルチャンクフィールドは、最初のビットが1であることを除いて全て0に設定され得る。チャンクタイプは、ビットベクトルチャンクフィールドの最初のビットが1に設定されることを必要とし得る。ビデオエンコーダは内部モード(IDR)における次のビデオフレームを符号化する、リファレンス画像選択をトリガする、または画像選択のリファレンスセットをトリガすることができる(例えばビデオエンコーダがXRパケットを受信したとき)。
ビデオ送信側は、1または複数の受信されたXRパケットの検査に基づいてフレームを符号化することができる。ビデオ送信側は、第1のXRパケットを受信した後の後続のXRパケットを無視することができる。複数のXRパケットは、フレーム番号を運ぶことができる(例えば異なる損失フレームのフレーム番号)。ビデオ送信側が、フレームn1の損失示す第1のXRパケットを受信したときは、ビデオ送信側はフレーム(例えばLを負でない整数として、将来のフレームn1+L)を、IDRフレームとして符号化することができる。ビデオ送信側が、フレームn2の損失を示す第2のXRパケットを受信したときは、ビデオ送信側はn2≧n1+Lであるかどうかをチェックすることができる。n2≧n1+Lである場合は、ビデオ送信側はフレーム(例えばフレームn2の後のフレーム)を、IDRフレームとして符号化することができる。n2<n1+Lである場合は、ビデオ送信側は第2のXRパケットを無視する(例えば安全に無視する)ことができる。
図8に示されるようにデバイス810は、ダウンリンク動作において早期パケット損失を検出することができる。ボブ820などの送信側は、インターネット840および無線リンク上のデバイス810(例えばAPまたはeNodeB)を通じて、アリス830などの受信側に送信を送ることができる。パケットは送信において失われる場合がある。パケットは、デバイス810とアリス830との間の無線リンク上で失われ得る。無線リンク上のデバイス810は、NACKパケット(例えば偽装NACKパケット)を送ることができる。
図9に示されるように、デバイス910は損失パケットを再送信することができる。ボブ920などの送信側は、インターネット930および無線リンク上のデバイス910を通じて、アリス940などの受信側に送信を送ることができる。無線リンク上のデバイス910は、AP、eNodeBなどとすることができる。パケットは送信において失われる場合がある。パケットは、デバイス910とアリス940との間の無線リンク上で失われ得る。無線リンク上のデバイス910(例えばAPまたはeNodeB)は、MAC層960において損失パケットを再送信することができる。デバイス910は、リトライ限界(例えばIEEE802.11では7個のリトライ)に到達した後に、損失パケットを再送信することができる。デバイス910は、損失パケットを遅延を伴ってまたは伴わずに再送信することができる。デバイス910は、パケット損失の原因に基づいて、損失パケットを遅延を伴ってまたは伴わずに再送信するかを判定することができる。パケット損失の原因は、輻輳、不十分なチャネル品質などを含み得る。無線リンク上のデバイス910は、XRパケット(例えば偽装XRパケット)を送ることができる。本明細書で述べられるように、デバイス910はダウンリンク送信機を含むことができる。デバイス910はパケット統計を収集することができる(例えばRTCPパケットが暗号化されていない場合)。パケット統計は、RTT統計、RTPパケットジッタ限界などを含むことができる。デバイス910は、アリス940などの受信側からパケット統計を受信することができる。パケットが暗号化されている場合は、デバイス910はパケット統計を推測することができる。例えばデバイス910は、ボブ920などの送信元とアリス940などの受信側との間の、TCP接続の3方向ハンドシェークメッセージ交換に基づいてRTTを判定することができる。テキストメッセージングおよびファイル転送をサポートするアプリケーションは、TCP接続をサポートすることができる。デバイス910は、アプリケーション(例えばSkype(登録商標)、Facetime(登録商標)、Google(登録商標) Hangout(登録商標)など)のデータベースを維持することができる。データベースは、アプリケーションのメッセージ交換における一定のパターンに基づいて、RTTを判定する手順を識別することができる。手順は、RTTとの関係に基づいてRTPパケットジッタ限界を判定することができる。デバイス910は、アプリケーションを判定し、対応する手順を適用してRTTおよびRTPパケットジッタ限界を判定することができる。
図10に示されるようにデバイス1010は、ネットワーク動作における早期パケット損失を検出することができる。送信側はメッシュネットワーク1020を通してインターネット1050にアクセスすることができる。メッシュネットワークは複数のデバイス1010、1070、1080を含むことができる。送信側1030は、メッシュネットワーク1020、インターネット1050およびアクセスポイント1060を通じて、受信側1040に送信を送ることができる。送信は、無線メッシュネットワーク1020内の1または複数のデバイス1010、1070、1080を通じて送られ得る。メッシュネットワーク内のデバイス1010は、本明細書で述べられるように偽装NACKパケットを送る、偽装XRパケットを送る、または偽装ACKパケットを送ることによって、早期パケット損失検出を行うことができる。無線メッシュネットワーク1020内のデバイス1010は、MAC層再送信を行うことができる。デバイス1010は、偽装パケット(例えば偽装NACKパケット、偽装XRパケットまたは偽装ACKパケット)を送信側1030に返すことができる。デバイス1010は本明細書で述べられるように、ローカルに最大再送信限界に達した後に、MAC層再送信を行うことができる(例えば早期パケット損失検出を行うことができるデバイス1010において)。デバイス1010のMAC層は、本明細書で述べられるようにTCPパケット損失を取り扱うことができる。
図11に示されるように、早期パケット損失はクラウドビデオゲームアプリケーションにおいて検出され得る。ビデオはサーバ1110(例えばクラウドゲームサーバ)においてレンダリングされることができ、AP1140を通じてモバイルコンソール1120に送られ得る。モバイルコンソールは、物理層1150、MAC層1160、ネットワーク層1170、トランスポート層1180およびアプリケーション層1190を含む、プロトコルスタックを実装することができる。モバイルコンソール1120はスマートフォン上のソフトウェアアプリケーションを含むことができる。レンダリングされたビデオは、モバイルコンソール1120上に表示され得る(例えば示される)。ユーザアクション(例えばジャンプ、射撃)はクラウドゲームサーバ1110に伝達され得る(例えばコマンドの形で)。ビデオレンダリングはモバイルコンソール1120において行われ得る。
コンソール1130(例えば固定コンソール)は、モバイルコンソール1120とクラウドゲームサーバ1110との間に存在することができる。コンソールは、物理層1155、MAC層1165、ネットワーク層1175、トランスポート層1185およびアプリケーション層1195を含む、プロトコルスタックを実装することができる。クラウドゲームサーバ1110は、モバイルコンソール1120上に表示されるべきビデオの全てまたは一部をレンダリングすることができるコンソール1130に、命令を送ることができる。レンダリングされたビデオ(例えば完全にまたは部分的にレンダリングされたビデオ)は、ビデオレンダリングのための命令と一緒に(例えば部分的レンダリングの場合に)、モバイルコンソール1120に送られ得る。ユーザアクションは、固定コンソール1130またはクラウドゲームサーバ1110に伝達され得る。早期パケット損失検出は、様々な無線送信(例えばモバイルコンソール1120におけるコマンドの送信、AP1140におけるコマンドの転送、固定コンソール1130におけるビデオの送信、またはAP1140におけるビデオの転送)に適用され得る。
パケットリトライ限界はビデオゲームトラフィック差別化に基づいて判定され得る。ビデオゲームトラフィックは、様々なトラフィックデータに割り当てられた優先度に基づいて差別化され得る。ビデオゲームトラフィックは、以下のビデオ、オーディオ、命令またはコマンドの1または複数を含むことができる。ビデオゲームにおいて2つの重要な性能メトリックがあり得る(例えば、対話待ち時間、ビデオ品質)。対話待ち時間は、ユーザがアクションを選択するためにコンソール上のコントロールを起動した後の、ゲームシーンの応答の速さとして定義され得る。ビデオ品質は、フレームレート、解像度などによって特性化され得る。ビデオゲームトラフィックは、チャネルのアクセスにおける割り当てられた優先度に基づいて優先順位付けされ得る。例えば命令およびコマンドは、オーディオおよびビデオより優先され得る(例えば802.11において)。高優先度トラフィッククラスは、より大きな所定の(例えば最大の)リトライ限界を用いることができる。高優先度トラフィッククラスは、より短いフレーム送信間隔(AIFS:arbitration inter-frame spacing)(例えばチャネルにアクセスする前の遅延時間)を用いることができる。より大きな所定のリトライ限界およびより短いAIFSは、結果として低減された対話待ち時間および改善されたゲームプレイをもたらすことができる。
ローカル802.11WLANリンクからの早期パケット損失フィードバックおよび関連するビデオ符号化技法の組み合わせは、送信時のパケット損失の場合に長引くエラー伝搬を防止することができる。早期パケット損失検出は、現在のインターネットプロトコルに基づくことができ、パケットアグリゲーション、フラグメンテーションおよび暗号化によって課される課題を克服することができる。パケット損失検出は結果として、ビデオ品質において従来型のRTCP往復フィードバックよりも顕著な改善をもたらす。
ビデオエンコーダは、パケット損失通知を受信するとすぐに、そのコーディング構造を適応させることができる(例えばエラー伝搬を効果的に停止させるように)。ビデオエンコーダは損失ビデオパケットの識別に基づいてビデオストリームを符号化することができる。フィードバックベースのビデオコーディング技法(例えばH.264エンコーダに基づく)が用いられ得る。
図4(a)は、イントラリフレッシュ(IR)フィードバックベースのビデオコーディングの例を示す。このエンコーダは、フレーム410(例えば次のフレーム)を、イントラまたは瞬時デコーダリフレッシュ(IDR)フレームとして符号化することができる(例えば、パケット損失通知を受信するとすぐに)。イントラまたはIDRフレームは、以前のフレーム420A〜Eから予測を中断することができる。
図4(b)は、リファレンス画像選択(RPS)ベースの、フィードバックベースのビデオコーディングの例を示す。RPSビデオコーディングでは、エンコーダはフレーム430(例えば次のフレーム)を予測することができる。予測フレームは、前に送信されたおよび/または破損していない基準フレーム440に基づくことができる(例えばパケット損失通知を受信するとすぐに)。RPSビデオコーディングは、IRコーディングより少ないビットを用いることができる。
ビデオエンコーダは、レート歪み最適化されたリファレンス画像選択(RDO−RPS)フィードバックベースのビデオコーディングを用いることができる。ビデオエンコーダは、フレームをIDRフレームとしてまたは予測フレームとして符号化するかを判定することができる。ビデオエンコーダはレート歪み最適化を用いることができる(例えば次のフレームをイントラ/IDRフレームとして、または予測(P)フレームとして符号化するかを判定するために)。ビデオエンコーダは、判定に基づいてフレームを符号化することができる。
図4(c)は画像選択のリファレンスセット(RSPS)フィードバックベースのビデオコーディングの例を示す。RSPSはRDO−RPSフィードバックベースのビデオコーディングの一般化となり得る。RSPSビデオコーディングでは、ビデオエンコーダは、複数の前に送信されたおよび/または破損していない基準フレーム460に基づいて、次のフレーム450を符号化することができる。RSPSビデオコーディングは、符号化に必要なビットを低減することができる。
H.264エンコーダはRDO−RPSを行うことができる(例えば、行うように変更される)。IPPPコーディング構造が用いられ得る(例えば、符号化時に)。IPPPコーディング構造では、最初のビデオフレームはイントラコード化フレームとして符号化され、後続のフレームは予測フレームとして符号化され得る。予測フレームは基準フレームとしてイントラコード化フレームを用いることができる。予測フレームは基準フレームとしてイントラコード化フレームおよび予測フレームを用いることができる。JMビデオデコーダはフレームコピーエラー隠蔽を用いることができる。例えば量子化パラメータ(QP)={26,28,30,32,34}に対するテストは、テストシーケンス「News」(352×288、15fps)および「BQMall」(832×480、30fps、300フレーム)を用いることができる。Newsビデオは、例えば2236フレームを生成するようにループバックされ得る(例えば繰り返しループバックされる)。
パケットエラーレート(PER)=0.1%、0.7%および1.4%、並びに60msおよび120msの早期通知遅延に対するテストがそれぞれ行われ得る。パケットエラーパターンが取得され得る(例えば、所与のタイムアウト限界に対して目標PERを達成するように、APにアタッチされたステーションの数を調整することによって)。早期パケット損失検出と、1秒のフィードバック遅延を有するRTCPフィードバックへの報告が比較され得る。例えばBQMallビデオでは、フレームは8個のスライス(またはパケット)として符号化され、120msの早期通知遅延を用いることができる。別の例としてNewsビデオでは、フレームは60msの早期通知遅延を用い得るパケットを含むことができる。
図5は、異なるPERでの2つのシーケンスに対する例示のレート歪み(RD)プロットを示す。例えば非常に低いPER(例えばPER=0.1%)でのNewsビデオでは、両方の方式のRD性能は同様となり得る(例えば、ビデオが比較的低い動きを有するので)。高いエラーレートでは早期パケット損失検出は、PSNRにおいて0.5〜1dBまでの改善を生じ得る。例えば、BQMallビデオは比較的高度の動きのシーケンス含む場合があり、カメラパンおよび動く人々を含み得る。BQMallビデオの場合、早期パケット損失検出は、例示のPER値に対して、RTCPフィードバックよりも高いRD性能を生じることができ、0.5〜6dBの最大PSNRゲインを生じ得る。このビデオは、フィードバック遅延時に、より高い伝搬エラーを結果として生じ得る大きな動きをビデオが有するので、RTCPフィードバックに対してより低い性能を生じ得る。図6は、QP=26およびPER=1.4%でのBQMallビデオシーケンスに対する、フレーム当たりのPSNRの一例を示す。
パケット損失(例えば早期パケット損失)は、MPEGメディアトランスポート(MMT)を用いてシグナリングされ得る。MMTを用いた早期パケット損失シグナリングは、利用される送信層プロトコルには不可知とすることができる。例えばMMTを用いた早期パケット損失シグナリングは、送信層プロトコルがIEEE802.11WiFi、IEEE802.16WiMAX、3G、4G LTEなどである場合に利用され得る。MMTを用いた早期パケット損失シグナリングは、利用されるビデオコーデックには不可知とすることができる。例えばMMTを用いた早期パケット損失シグナリングは、ビデオコーデックがH.264、HEVCなどである場合に利用され得る。MMTを用いた早期パケット損失シグナリングは、受信されたフィードバックには不可知とすることができる。
通信システムは、MMTプロトコルスタックを実装することができる。MMTプロトコルスタックは、少なくとも2つの層を含み得る(例えばカプセル化層、およびMMTプロトコル(MMTP)層)。カプセル化層はオーディオ、ビデオ、および/または他のデータトラックの混合をもたらすことができる。MMTP層は、RTP層とRTCP層の組み合わせと同様に機能することができる。
図12A〜Dは、WiFiおよびLTEスタックに関連して、MMTを用いた早期パケット損失シグナリングの例示の応用例を示す。WiFiおよびLTEに関連して述べられるが、MMTを用いた早期パケット損失シグナリングは利用される送信層プロトコルに不可知とすることができる。
図12Aは、WiFiプロトコルスタック内の例示のMMT通信システムの図を示す。例えば通信システムのプロトコルスタックは、WiFi物理層1210、リンク層1220、IPネットワーク層1230、UDPおよびMMTPトランスポート層1240、および/またはアプリケーション層1250を含むことができる。アプリケーション層1250は、MMTクロスレイヤインターフェース(CLI)1270をサポートすることができるビデオエンコーダ1260を含むことができる。パケット送信失敗(例えば早期パケット送信失敗)は、例えばMAC層(例えば802.11MAC層)において判定されることができ、図12Aに示されるように例えばMMT CLI1270を通してメッセージを通じてアプリケーション1250および/またはコーデック層まで通信され得る。
図12Cは、WiFiプロトコルスタック内の例示のMMT通信システムの図を示す。例えば通信システムのプロトコルスタックは、WiFi物理層1210、リンク層1220、IPネットワーク層1230、UDPおよびMMTPトランスポート層1240、および/またはアプリケーション層1250を含むことができる。アプリケーション層1250は、ビデオエンコーダ1260を含むことができる。パケット送信失敗(例えば早期パケット送信失敗)は例えばMAC層(例えば802.11MAC層)において判定され得る。パケット送信失敗は、メッセージを通じてMMTP1240および/またはより高い層まで通信され得る。メッセージは、図12Cに示されるように例えばMMTP制御メッセージ1280(例えばカスタムMMTP制御メッセージ)を含むことができる。
図12Bは、4G/LTEプロトコルスタック内の例示のMMT通信システムの図を示す。例えば通信システムのプロトコルスタックは、LTE物理層1310、データリンク層1320、IPネットワーク層1330、UDPおよびMMTPトランスポート層1340、およびアプリケーション層1350を含むことができる。アプリケーション層1350は、MMT CLI1370をサポートしうるビデオエンコーダ1360を含むことができる。パケット送信失敗(例えば早期パケット送信失敗)は、データリンク層、例えばRLC層(例えばLTE RLC層)において判定され得る。パケット送信失敗は、図12Bに示されるように例えばMMT CLI1370を通してメッセージを通じてアプリケーション層1350および/またはコーデック層まで通信され得る。
図12Dは、4G/LTEプロトコルスタック内の例示のMMT通信システムの図を示す。例えば通信システムのプロトコルスタックは、LTE物理層1310、データリンク層1320、IPネットワーク層1330、UDPおよびMMTPトランスポート層1340、およびアプリケーション層1350を含むことができる。アプリケーション層1350はビデオエンコーダ1360を含むことができる。パケット送信失敗(例えば早期パケット送信失敗)は、データリンク層、例えばRLC層(例えばLTE RLC層)において判定され得る。パケット送信失敗は、メッセージを通じてMMTPトランスポート層1340および/またはより高い層まで通信され得る。メッセージは、図12Dに示されるように例えばMMTP制御メッセージ1380(例えばカスタムMMTP制御メッセージ)を含むことができる。
ローカルリンク層からの個々のパケット損失に対するシグナリングを含むMMT CLIの例が示され得る。CLIは、サービス品質(QoS)および/またはエラー制御をサポートするために、MMT(例えば単一MMT)エンティティ内に、手段をもたらすことができる。例えばQoS関連情報は、アプリケーション層と、1または複数の下位層(例えばMAC/PHY層)との間で交換され得る。アプリケーション層は、情報(例えばメディア特性に関する情報)を、下向きQoS情報としてもたらすことができる。1または複数の下位層は、ネットワークチャネル状態、および/またはパケットレベルフィードバック(例えば個々のメディア細分化ユニット(MFU)のACK/NACK)などの、上向きQoS情報をもたらすことができる。
CLIは、アプリケーション層と、1または複数のネットワーク層(例えばIEEE802.11WiFi、IEEE802.16WiMAX、3G、4G LTE)との間にインターフェース(例えば統一インターフェース)をもたらすことができる。ネットワーク標準のネットワークパラメータ(例えば共通ネットワークパラメータ)は、任意のネットワークを通したリアルタイムメディアアプリケーションの、静的および動的QoS制御並びにフィードバックのためのNAMパラメータとして、抽象化され得る。
MMTは、アプリケーション層と1または複数の下にあるネットワーク層との間でクロスレイヤ情報を交換するためのインターフェースを定義することができる。インターフェースは、クロスレイヤ情報の下向きおよび/または上向きフローを可能にすることができる。クロスレイヤ情報はQoS、パケットレベル情報、または(例えばメディアデータの全体的な配信を最適化する)関係する機能によって用いられ得る同様なものを含むことができる。MMTエンティティはクロスレイヤ情報のためのインターフェースをサポートすることができる。
アプリケーション層は、1または複数の下位層に下向きQoS情報をもたらすことができる。下向きQoS情報は例えばメディア特性を含むことができる。下向き情報は、例えば資産レベル情報および/またはパケットレベル情報を含むことができる。資産情報は、1または複数の下位層における能力交換および/またはリソースの(再)アロケーションのために用いられ得る。下向き情報(例えばパケットレベルの下向き情報)は、1または複数の下位層のためのパケット(例えばあらゆるパケット)の適切なフィールドに書き込まれ得る(例えばサポートするQoSレベルを識別するために)。
1または複数の下位層は、アプリケーション層に上向きQoSおよび/またはパケットレベル情報をもたらすことができる。上向きQoS情報は、時間的に変化するネットワーク状態についてのものとすることができる。上向きQoS情報は、アプリケーション層における、より高速および/またはより正確なQoSおよび/またはエラー制御を可能にしうる。上向き情報は抽象化されたやり方で表され得る(例えばヘテロジニアスネットワーク環境をサポートするために)。上向きQoS情報は、下位層において測定されることができ、1または複数の下位にある配信層により、MMTアプリケーションの要求に応じてアプリケーション層によって読み出され得る(例えば定期的にまたは自発的に)。
メディア用ネットワーク抽象(NAM)パラメータは、アプリケーション層と、1または複数の下位層との間のインターフェースのために用いられ得る。NAMはネットワークQoSパラメータの表示(例えば統一された表示)をもたらすことができる。NAMは、1または複数の下位層のレガシーおよび/または将来の標準と通信することができる。
絶対NAM情報はQoS値(例えば生のQoS値)を含むことができる。絶対NAM情報は適切な単位で測定され得る。例えばビットレートは秒当たりのビットの単位で表されることができ、ジッタは秒の単位で表され得る。
相対NAM情報は、予想されるNAM値と現在のNAM値の比を表すことができる。相対NAM情報は無単位とすることができる。相対NAM情報は変化の傾向を知らせることができる。
パケットレベルフィードバックNAMは、下位層の1または複数が、MFU(例えば個々のMFU)の配信について報告する機構をもたらすことができる。ACKは、MFUが次のホップに成功裏に配信されたことを示すことができる。NACKは、MFUが次のホップに到着できなかったことを示すことができる。
タイムスタンプベースのパケットレベルフィードバックNAMをシグナリングすることができる。例えばシーケンス番号および/またはタイムスタンプは、パケットおよび/またはMFUを識別することができる。シーケンス番号および/またはタイムスタンプは、MMTPパケットヘッダに含まれ得る。
パケットレベル配信フィードバック要求NAMは、アプリケーション層が、1または複数のMFU(例えば個々のMFU)の配信に関して下位層の1または複数に問い合わせる(例えば能動的に問い合わせる)ための機構をもたらすことができる。下位層の1または複数は、1または複数のMFUフィードバックNAMによって返答することができる。
符号化されたフレームは、符号化されたユニット/パケット(例えばいくつかの符号化されたユニット/パケット)として送信され得る。符号化されたフレームは、単一のユニット/パケットとして送信されなくてもよい。フィードバックはパケットごとをベースとしてトリガされ得る。
NAMパラメータの構文は、NAM情報をMFUフィードバックNAM情報に関係付けることができる。CLI情報は、NAMパラメータおよび/または相対NAMパラメータを用いて交換され得る。NAMに対する絶対パラメータの構文の例は表3に示される。
NAMに対する相対パラメータの構文の例は、表4に示される。
パケットレベルフィードバックNAMの例示の構文(例えばMFUフィードバックNAMパラメータ)は、表5に示される。
単一MFUフィードバックNAMの例示の構文は、表6に示される。例えば単一パケットフィードバックNAMは、単一のMFUの状態を報告することができる。
単一MFUに暗示されたフィードバックNAMの例示の構文は、表7に示される。例えば暗示されたdelivery_feedbackはNACKを含むことができる。
タイムスタンプベースのパケットレベルフィードバックNAMの例示の構文は、表8に示される。
タイムスタンプベースの単一MFUフィードバックNAMの例示の構文は、表9に示される。
タイムスタンプベースの単一MFUに暗示されたフィードバックNAMの例示の構文は、表10に示される。例えば暗示されたdelivery_feedbackはNACKを含むことができる。
配信フィードバック要求NAMの例示の構文は、表11に示される。
タイムスタンプベースの配信フィードバック要求NAMの例示の構文は、表12に示される。
CLI_idパラメータは任意の整数を含むことができる。CLI_idパラメータは、下にある(underlying)ネットワークの中でのNAMを識別することができる。
available_bitrateパラメータは、下にあるネットワークのスケジューラがMMTストリームのために利用可能であると予想する、瞬時ビットレートを含むことができる。available_bitrateは1秒当たりキロビットで表現され得る。下にあるネットワークのプロトコルのためのオーバヘッドは、available_bitrateパラメータに含まれなくてもよい。
buffer_fullnessパラメータは、生成機能のバッファレベルをシグナリングするために利用され得る。バッファは超過データを吸収するために用いられ得る。超過データは、available_bitrateを超えるデータレートによって引き起こされ得る。buffer_fullnessパラメータはバイトで表現され得る。
peak_bitrateパラメータは、MMTストリームへの入力として、下にあるネットワークが一時的に取り扱うことができるビットレート(例えば最大許容ビットレート)を含むことができる。peak_bitrateは1秒当たりキロビットで表現され得る。下にあるネットワークのプロトコルのためのオーバヘッドは、peak_bitrateパラメータに含まれなくてもよい。例えばMMT入力ストリームビットレートは、average_bitrate_periodのいずれの期間にわたっても、available_bitrateを超えることはできない。
average_bitrate_periodパラメータは、入力ストリームの平均ビットレートがそれにわたって計算され得る、期間をもたらすことができる。average_bitrate_periodパラメータはミリ秒の単位でもたらされ得る。例えばpeak_bitrate_flagが「1」に設定された場合は、average_bitrate_periodフィールドは適切に設定され得る。
current_delayパラメータは、最後のホップトランスポート遅延の、最後に測定された値を示すことができる。current_delayパラメータはミリ秒で表現され得る。
サービスデータユニット(SDU)は、下にあるネットワークがMMTデータをそれで配信する、データユニットを含むことができる。SDU_sizeパラメータはSDUの長さを指定することができる。SDU_sizeパラメータはビットで表現され得る。下にあるネットワークのプロトコルのためのオーバヘッドは、SDU_sizeパラメータに含まれなくてもよい。
SDU_loss_ratioパラメータは、失われたおよび/またはエラーを含むとして検出された、SDUの一部分を含むことができる。MMTパケットの損失率は、SDU_loss_ratioおよびSDU_sizeの関数として計算され得る。SDU_loss_ratioパラメータは百分率で表現され得る。
generation_timeパラメータは、現在のNAMの発生のタイムスタンプをもたらすことができる。generation_timeパラメータはミリ秒で表現され得る。generation_timeは任意の値から開始することができる。
relative_bitrateパラメータは、available_bitrate変化率(例えば%)を含むことができる。relative_bitrateパラメータは、現在のNAMおよび前のNAMパラメータの間とすることができる。
relative_buffer_fullnessパラメータは残りの、現在のNAMおよび前のNAMパラメータの間のbuffer_fullness変化率(例えば百分率)を含むことができる。
relative_peak_bitrateパラメータは、現在のNAMおよび前のNAMパラメータの間のpeak_bitrate変化率(例えば百分率)を含むことができる。
パケットエラーレート(PER)パラメータは、PHYおよび/またはMAC層において最後に測定されたPERを含むことができる。PHY層からのPERに対しては、PERパラメータは正の値として表され得る。MAC層からのPERに対しては、PERパラメータは負の値として表されることができ、絶対値が用いられ得る。
sequence_numberパラメータは、MFUを識別するシーケンス番号を含むことができる。sequence_numberパラメータは、ひと続きのMFUを識別することができる開始シーケンス番号を含むことができる。
sequence_number_run_lengthパラメータは、フィードバックをそれに適用するMFUの数を含むことができる。例えばsequence_number_run_lengthパラメータが1である場合は、フィードバックは1つ(例えばただ1つ)のパケットに適用し得る。
delivery_feedbackパラメータは、MFUおよび/または複数のMFUについての2進フィードバック情報を含むことができる。例えばdelivery_feedbackパラメータが0(例えば全て0)を含む場合は、フィードバックはNACKを含むことができる。delivery_feedbackパラメータが1(例えば全て1)を含む場合は、フィードバックはACKを含むことができる。
タイムスタンプパラメータは32ビットとすることができる。タイムスタンプパラメータは、フィードバックが生成されるとき、時間インスタンスを指定することができる。タイムスタンプでは、例えばIETF RFC5905、NTP4版の条項6において「ショートフォーマット」として指定されているNTP時間が用いられ得る。
mfu_timestampパラメータは、MFUを識別するタイムスタンプを含むことができる。mfu_timestampパラメータは、ひと続きのMFUを識別する開始時間を含むことができる。
mfu_timestamp_durationパラメータは、フィードバックをそれに適用するMFUの時間スパンを含むことができる。例えばmfu_timestamp_durationパラメータがゼロである場合は、フィードバックは1つ(例えばただ1つ)のMFUに適用し得る。
フィードバックCLIは、下位の層の1または複数によって生成され得る(例えば自発的に)。上位の層は、特定のパケットおよび/または特定のパケットのセットの送信状態について問い合わせることができる。状態応答は、「待ち行列中」、「進行中」、「成功」、および/または「失敗」とすることができる。この問い合わせプロセスは、追加のCLI定義を利用することができる。
図13Aは、1または複数の開示される実施形態が実施されうる例示的な通信システム100の図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する多元接続システムを含むことができる。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にする。例えば、通信システム100は、CDMA、TDMA、FDMA、直交FDMA(OFDMA)およびシングルキャリアFDMA(SC−FDMA)など、1または複数のチャネルアクセス方法を利用することができる。
図13Aに示されるように、通信システム100は、(汎用的にまたは一括してWTRU102と呼ばれる)無線送受信ユニット(WTRU)102a、102b、102cおよび/または102d、無線アクセスネットワーク(RAN)103/104/105、コアネットワーク106/107/109、公衆交換電話網(PSTN)108、インターネット110および他のネットワーク112を含むことができるが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成された任意のタイプのデバイスとすることができる。例えば、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成されることができ、ユーザ機器(UE)、移動局、固定若しくは移動加入者ユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサおよび家電製品などを含むことができる。
通信システム100は、基地局114aおよび基地局114bも含むことができる。基地局114a、114bの各々は、コアネットワーク106/107/109、インターネット110および/またはネットワーク112などの1または複数の通信ネットワークへのアクセスを円滑化するために、WTRU102a、102b、102c、102dの少なくとも1つとワイヤレスでインターフェースを取るように構成された、任意のタイプのデバイスとすることができる。例えば、基地局114a、114bは、基地トランシーバ局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、サイトコントローラ、アクセスポイント(AP)および無線ルータなどとすることができる。基地局114a、114bは各々、単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含むことができることが理解されよう。
基地局114aは、RAN103/104/105の部分とすることができ、RAN103/104/105は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含むことができる。基地局114aおよび/または基地局114bは、セル(図示されず)と呼ばれうる特定の地理的領域内で、無線信号を送信および/または受信するように構成されうる。セルは、さらにセルセクタに分割することができる。例えば、基地局114aに関連付けられたセルは、3つのセクタに分割することができる。従って、一実施形態では、基地局114aは、送受信機を3つ、すなわち、セルのセクタ毎に1つずつ含むことができる。別の実施形態では、基地局114aは、MIMO技術を利用することができ、従って、セルのセクタ毎に複数の送受信機を利用することができる。
基地局114a、114bは、エアインターフェース115/116/117を介して、WTRU102a、102b、102c、102dの1または複数と通信することができ、エアインターフェース115/116/117は、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光など)とすることができる。エアインターフェース115/116/117は、任意の適切な無線アクセス技術(RAT)を使用して確立することができる。
より具体的には、上述したように、通信システム100は、多元接続システムとすることができ、CDMA、TDMA、FDMA、OFDMAおよびSC−FDMAなどの、1または複数のチャネルアクセス方式を利用できる。例えば、RAN103/104/105内の基地局114a並びにWTRU102a、102b、102cは、広帯域CDMA(WCDMA(登録商標))を使用してエアインターフェース115/116/117を確立しうるユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実施することができる。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含むことができる。
別の実施形態では、基地局114a、並びにWTRU102a、102b、102cは、LTE(Long Term Evolution)および/またはLTEアドバンスト(LTE−A)を使用してエアインターフェース115/116/117を確立しうる進化型UMTS地上無線アクセス(E−UTRA)などの無線技術を実施することができる。
他の実施形態では、基地局114a、並びにWTRU102a、102b、102cは、IEEE802.16(すなわち、WiMAX)、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、移動体通信用グローバルシステム(GSM(登録商標))、GSM進化型高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実施することができる。
図13Aの基地局114bは、例えば、無線ルータ、ホームノードB、ホームeノードBまたはアクセスポイントとすることができ、職場、家庭、乗物およびキャンパスなどの局所的エリアにおける無線接続性を円滑化するために、任意の適切なRATを利用することができる。一実施形態では、基地局114bおよびWTRU102c、102dは、IEEE802.11などの無線技術を実施して、無線ローカルエリアネットワーク(WLAN)を確立することができる。別の実施形態では、基地局114bおよびWTRU102c、102dは、IEEE802.15などの無線技術を実施して、無線パーソナルエリアネットワーク(WPAN)を確立することができる。また別の実施形態では、基地局114bおよびWTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を利用して、ピコセルまたはフェムトセルを確立することができる。図13Aに示されるように、基地局114bは、インターネット110への直接的な接続を有することができる。従って、基地局114bは、コアネットワーク106/107/109を介して、インターネット110にアクセスする必要がないことがある。
RAN103/104/105は、コアネットワーク106/107/109と通信することができ、コアネットワーク106/107/109は、音声、データ、アプリケーションおよび/またはVoIP(Voice over IP)サービスをWTRU102a、102b、102c、102dの1または複数に提供するように構成された、任意のタイプのネットワークとすることができる。例えば、コアネットワーク106/107/109は、呼制御、請求サービス、モバイル位置情報サービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供することができ、および/またはユーザ認証など、高レベルのセキュリティ機能を実行することができる。図13Aには示されていないが、RAN103/104/105および/またはコアネットワーク106/107/109は、RAN103/104/105と同じRATまたは異なるRATを利用する他のRANと直接的または間接的に通信できることが理解されよう。例えば、E−UTRA無線技術を利用することができるRAN103/104/105に接続されるのに加えて、コアネットワーク106/107/109は、GSM無線技術を利用する別のRAN(図示されず)とも通信することができる。
コアネットワーク106/107/109は、PSTN108、インターネット110および/または他のネットワーク112にアクセスするための、WTRU102a、102b、102c、102dのためのゲートウェイとしてもサービスすることができる。PSTN108は、POTS(plain old telephone service)を提供する回線交換電話網を含むことができる。インターネット110は、TCP/IPインターネットプロトコルスイート内のTCP、UDPおよびIPなど、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークとデバイスとからなるグローバルシステムを含みうる。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク112は、RAN103/104/105と同じRATまたは異なるRATを利用することができる1または複数のRANに接続された、別のコアネットワークを含むことができる。
通信システム100内のWTRU102a、102b、102c、102dのいくつかまたは全ては、マルチモード機能を含むことができ、すなわち、WTRU102a、102b、102c、102dは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数の送受信機を含むことができる。例えば、図13Aに示されたWTRU102cは、セルラベースの無線技術を利用可能な基地局114aと通信するように、またIEEE802無線技術を利用可能な基地局114bと通信するように構成されうる。
図13Bは、例示的なWTRU102のシステム図である。図13Bに示されるように、WTRU102は、プロセッサ118、送受信機120、送受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、GPSチップセット136および他の周辺機器138を含むことができる。WTRU102は、一実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。また、実施形態は、基地局114a、114b並びに/または限定はしないが、とりわけ、トランシーバ局(BTS)、ノードB、サイトコントローラ、アクセスポイント(AP)、ホームノードB、進化型ノードB(eノードB)、ホーム進化型ノードB(HeNB)、ホーム進化型ノードBゲートウェイおよびプロキシノードなど、基地局114a、114bが代表することができるノードが、図13Bに示され、本明細書で説明される要素のいくつかまたは全てを含むことができることを企図する。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、ASIC、FPGA回路、他の任意のタイプの集積回路(IC)および状態機械などとすることができる。プロセッサ118は、信号符号化、データ処理、電力制御、入力/出力処理、および/またはWTRU102が無線環境で動作することを可能にする他の任意の機能を実行することができる。プロセッサ118は、送受信機120に結合することができ、送受信機120は、送受信要素122に結合することができる。図13Bは、プロセッサ118と送受信機120を別々のコンポーネントとして示しているが、プロセッサ118と送受信機120は、電子パッケージまたはチップ内に一緒に統合できることが理解できよう。
送受信要素122は、エアインターフェース115/116/117を介して、基地局(例えば基地局114a)に信号を送信し、または基地局から信号を受信するように構成されることができる。例えば、一実施形態では、送受信要素122は、RF信号を送信および/または受信するように構成されたアンテナとすることができる。別の実施形態では、送受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器とすることができる。また別の実施形態では、送受信要素122は、RF信号と光信号の両方を送信および受信するように構成されることができる。送受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成されうることが理解されよう。
また、図13Bでは送受信要素122が単一の要素として示されているが、WTRU102は、任意の数の送受信要素122を含むことができる。より具体的には、WTRU102は、MIMO技術を利用することができる。従って、一実施形態では、WTRU102は、エアインターフェース115/116/117を介して無線信号を送信および受信するための2つ以上の送受信要素122(例えば複数のアンテナ)を含むことができる。
送受信機120は、送受信要素122によって送信される信号を変調し、送受信要素122によって受信された信号を復調するように構成されうる。上述したように、WTRU102はマルチモード機能を有することができる。従って、送受信機120は、WTRU102が、例えばUTRAおよびIEEE802.11などの複数のRATを介して通信することを可能にするための、複数の送受信機を含むことができる。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126および/またはディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニット若しくは有機発光ダイオード(OLED)ディスプレイユニット)に結合され、それらからユーザ入力データを受け取ることができる。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126および/またはディスプレイ/タッチパッド128にユーザデータを出力することもできる。また、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。非リムーバブルメモリ130は、RAM、ROM、ハードディスクまたは他の任意のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティックおよびセキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態では、プロセッサ118は、WTRU102上に物理的に配置されていない、サーバまたはホームコンピュータ(図示されず)上などのメモリから情報を入手ことができ、それらにデータを記憶することができる。
プロセッサ118は、電源134から電力を受け取ることができ、WTRU102内の他のコンポーネントへの電力の分配および/または制御を行うように構成されうる。電源134は、WTRU102に給電するための任意の適切なデバイスとすることができる。例えば、電源134は、1または複数の乾電池(例えば、ニッケル−カドミウム(NiCd)、ニッケル−亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、および燃料電池などを含むことができる。
プロセッサ118は、GPSチップセット136にも結合することができ、GPSチップセット136は、WTRU102の現在位置に関する位置情報(例えば経度および緯度)を提供するように構成されうる。GPSチップセット136からの情報に加えて、またはその代わりに、WTRU102は、基地局(例えば基地局114a、114b)からエアインターフェース115/116/117を介して位置情報を受け取ることができ、および/または2つ以上の近くの基地局から受信した信号のタイミングに基づいて自らの位置を判定することができる。WTRU102は、一実施形態との整合性を保ちながら任意の適切な位置判定方法を用いて、位置情報を獲得できることが理解されよう。
プロセッサ118は、他の周辺機器138にさらに結合することができ、他の周辺機器138は、追加的な特徴、機能、および/または有線若しくは無線接続性を提供する、1または複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、およびインターネットブラウザなどを含むことができる。
図13Cは、一実施形態による、RAN103およびコアネットワーク106のシステム図である。上述したように、RAN103は、UTRA無線技術を利用して、エアインターフェース115を介してWTRU102a、102b、102cと通信することができる。RAN103は、コアネットワーク106とも通信することができる。図13Cに示されるように、RAN103は、ノードB140a、140b、140cを含むことができ、ノードB140a、140b、140cは各々、エアインターフェース115を介してWTRU102a、102b、102cと通信するための1または複数の送受信機を含むことができる。ノードB140a、140b、140cは各々、RAN103内の特定のセル(図示されず)に関連付けることができる。RAN103は、RNC142aおよび/または142bも含むことができる。RAN103は、一実施形態との整合性を保ちながら、任意の数のノードBおよびRNCを含むことができることが理解されよう。
図13Cに示されるように、ノードB140a、140bは、RNC142aと通信することができる。また、ノードB140cは、RNC142bと通信することができる。ノードB140a、140b、140cは、Iubインターフェースを介して、それぞれのRNC142a、142bと通信することができる。RNC142a、142bは、Iurインターフェースを介して、互いに通信することができる。RNC142a、142bの各々は、それが接続されたそれぞれのノードB140a、140b、140cを制御するように構成されることができる。また、RNC142a、142bの各々は、アウターループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能およびデータ暗号化など、他の機能を実施またはサポートするように構成可能である。
図13Cに示されるコアネットワーク106は、メディアゲートウェイ(MGW)144、モバイル交換センタ(MSC)146、サービングGPRSサポートノード(SGSN)148および/またはゲートウェイGPRSサポートノード(GGSN)150を含むことができる。上記の要素の各々は、コアネットワーク106の部分として示されているが、これらの要素の任意の要素は、コアネットワーク運営体とは異なる主体によって所有および/または運営できることが理解されよう。
RAN103内のRNC142aは、IuCSインターフェースを介して、コアネットワーク106内のMSC146に接続されうる。MSC146はMGW144に接続されうる。MSC146とMGW144は、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスの間の通信を円滑化することができる。
RAN103内のRNC142aは、IuPSインターフェースを介して、コアネットワーク106内のSGSN148にも接続されうる。SGSN148はGGSN150に接続されうる。SGSN148とGGSN150は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスの間の通信を円滑化することができる。
上述したように、コアネットワーク106は、ネットワーク112にも接続されることができ、ネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含むことができる。
図13Dは、一実施形態によるRAN104およびコアネットワーク107のシステム図である。上述したように、RAN104は、エアインターフェース116を介してWTRU102a、102b、102cと通信するためにE−UTRA無線技術を利用することができる。RAN104は、コアネットワーク107とも通信可能である。
RAN104は、eノードB160a、160b、160cを含むことができるが、RAN104は、一実施形態との整合性を保ちながら、任意の数のeノードBを含むことができることが理解されよう。eノードB160a、160b、160cは各々、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1または複数の送受信機を含むことができる。一実施形態では、eノードB160a、160b、160cは、MIMO技術を実施可能である。従って、eノードB160aは、例えば、複数のアンテナを使用して、WTRU102aとの間で無線信号を送受信することができる。
eノードB160a、160b、160cの各々は、特定のセル(図示されず)に関連付けられ、無線リソース管理判定、ハンドオーバ判定、並びにアップリンクおよび/またはダウンリンクにおけるユーザのスケジューリング等を処理するように構成されることができる。図13Dに示されるように、eノードB160a、160b、160cは、X2インターフェースを介して互いに通信することができる。
図13Dに示されるコアネットワーク(CN)107は、モビリティ管理ゲートウェイ(MME)162、サービングゲートウェイ164およびパケットデータネットワーク(PDN)ゲートウェイ166を含むことができる。上記要素の各々は、コアネットワーク107の部分として示されているが、これらの要素の任意の要素は、コアネットワーク運営体とは異なる主体によって所有および/または運営されうることが理解されよう。
MME162は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続されることができ、制御ノードとしてサービスすることができる。例えば、MME162は、WTRU102a、102b、102cのユーザの認証、ベアラ活動化/非活動化、WTRU102a、102b、102cの初期接続中における特定のサービングゲートウェイの選択などを担うことができる。MME162は、RAN104とGSMまたはWCDMAなどの他の無線技術を利用する他のRAN(図示されず)との間の交換のための制御プレーン機能も提供することができる。
サービングゲートウェイ164は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続されうる。サービングゲートウェイ164は、一般に、ユーザデータパケットをWTRU102a、102b、102cに/からルーティングおよび転送することができる。サービングゲートウェイ164は、eノードB間ハンドオーバ中におけるユーザプレーンのアンカリング(anchoring)、ダウンリンクデータがWTRU102a、102b、102cに利用可能な場合に行うページングのトリガ、並びにWTRU102a、102b、102cのコンテキストの管理および記憶など、他の機能も実行することができる。
サービングゲートウェイ164は、PDNゲートウェイ166にも接続されることができ、PDNゲートウェイ166は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスの間の通信を円滑化することができる。
コアネットワーク107は、他のネットワークとの通信を円滑化することができる。例えば、コアネットワーク107は、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスの間の通信を円滑化することができる。例えば、コアネットワーク107は、コアネットワーク107とPSTN108の間のインターフェースとしてサービスするIPゲートウェイ(例えばIPマルチメディアサブシステム(IMS)サーバ)を含むことができ、またはIPゲートウェイと通信することができる。また、コアネットワーク107は、ネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、ネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含むことができる。
図13Eは、一実施形態による、RAN105およびコアネットワーク109のシステム図である。RAN105は、IEEE802.16無線技術を利用して、エアインターフェース117を介してWTRU102a、102b、102cと通信する、アクセスサービスネットワーク(ASN)とすることができる。以下でさらに説明されるように、WTRU102a、102b、102cの異なる機能エンティティと、RAN105と、コアネットワーク109との間の通信リンクは、参照点として定義されることができる。
図13Eに示されるように、RAN105は、基地局180a、180b、180cと、ASNゲートウェイ182とを含むことができるが、RAN105は、一実施形態との整合性を保ちながら、任意の数の基地局とASNゲートウェイとを含むことができることが理解されよう。基地局180a、180b、180cは各々が、RAN105内の特定のセル(図示されず)に関連付けられ、各々が、エアインターフェース117を介してWTRU102a、102b、102cと通信するための1または複数の送受信機を含むことができる。一実施形態では、基地局180a、180b、180cは、MIMO技術を実施することができる。従って、基地局180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、WTRU102aから無線信号を受信することができる。基地局180a、180b、180cは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類およびサービス品質(QoS)ポリシ実施などの、モビリティ管理機能も提供することができる。ASNゲートウェイ182は、トラフィック集約ポイントとしてサービスすることができ、ページング、加入者プロファイルのキャッシング、コアネットワーク109へのルーティングなどを担うことができる。
WTRU102a、102b、102cとRAN105の間のエアインターフェース117は、IEEE802.16仕様を実施するR1参照点として定義されうる。また、WTRU102a、102b、102cの各々は、コアネットワーク109との論理インターフェース(図示されず)を確立することができる。WTRU102a、102b、102cとコアネットワーク109の間の論理インターフェースは、R2参照点として定義されることができ、R2参照点は、認証、認可、IPホスト構成管理および/またはモビリティ管理のために使用されることができる。
基地局180a、180b、180cの各々の間の通信リンクは、WTRUハンドオーバおよび基地局間でのデータの転送を円滑化するためのプロトコルを含む、R8参照点として定義されうる。基地局180a、180b、180cとASNゲートウェイ182の間の通信リンクは、R6参照点として定義されうる。R6参照点は、WTRU102a、102b、102cの各々に関連するモビリティイベントに基づいたモビリティ管理を円滑化するためのプロトコルを含むことができる。
図13Eに示されるように、RAN105はコアネットワーク109に接続されうる。RAN105とコアネットワーク109の間の通信リンクは、例えばデータ転送およびモビリティ管理機能を円滑化するためのプロトコルを含む、R3参照点として定義されうる。コアネットワーク109は、モバイルIPホームエージェント(MIP−HA)184と、認証認可課金(AAA)サーバ186と、ゲートウェイ188とを含むことができる。上記要素の各々は、コアネットワーク109の部分として示されているが、これらの要素の任意の要素は、コアネットワーク運営体とは異なる主体によって所有および/または運営されうることが理解されよう。
MIP−HAは、IPアドレス管理を担うことができ、WTRU102a、102b、102cが、異なるASNの間で、および/または異なるコアネットワークの間でローミングを行うことを可能にしうる。MIP−HA184は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスの間の通信を円滑化することができる。AAAサーバ186は、ユーザ認証およびユーザサービスのサポートを担うことができる。ゲートウェイ188は、他のネットワークとの網間接続を円滑化することができる。例えば、ゲートウェイ188は、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスの間の通信を円滑化することができる。また、ゲートウェイ188は、ネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、ネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含むことができる。
図13Eには示されていないが、RAN105は他のASNに接続され、コアネットワーク109は他のコアネットワークに接続されうることが理解されよう。RAN105と他のASNの間の通信リンクはR4参照点として定義されることができ、R4参照点は、RAN105と他のASNの間で、WTRU102a、102b、102cのモビリティを調整するためのプロトコルを含むことができる。コアネットワーク109と他のコアネットワークの間の通信リンクはR5参照点として定義され、R5参照点は、ホームコアネットワークと在圏コアネットワークの間の網間接続を円滑化するためのプロトコルを含むことができる。
上記では特徴および要素を特定の組み合わせで説明したが、各特徴または要素は、単独で使用でき、または他の特徴および要素との任意の組み合わせで使用できることを当業者であれば理解されよう。また、本明細書で説明した方法は、コンピュータまたはプロセッサによって実行する、コンピュータ可読媒体内に包含された、コンピュータプログラム、ソフトウェアまたはファームウェアで実施することができる。コンピュータ可読媒体の例は、(有線接続または無線接続を介して送信される)電子信号と、コンピュータ可読記憶媒体とを含む。コンピュータ可読記憶媒体の例は、ROM、RAM、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、並びにCD−ROMディスクおよびDVDなどの光媒体を含むが、それらに限定されない。ソフトウェアと連携するプロセッサは、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおいて使用する無線周波送受信機を実施するために使用することができる。