JP2008527811A - 一連のフレームを予測的にコード化する装置 - Google Patents

Abstract

本発明は、コード化された一連のフレームを得るために、一連の信号フレームを予測的にコード化する装置に関する。本装置は、一連の信号フレームに基づいて、コード化された一連のフレームを提供するための予測エンコーダ（１０１）を備えている。この予測エンコーダ（１０１）は、第ｋ番目の信号フレームと前記第ｋ番目の信号フレームのための参照フレームとに基づいて、コード化された第ｋ番目のフレームを提供する。受信ユニット（１１１）は、第ｋ番目の信号フレームと参照フレームとを隔てる最小のフレーム数又はあるフレーム数を表すフレーム情報を受信する。さらにコントローラ（１１３）は、フレーム情報に基づいてフレーム数Ｎを決定する。ここで、予測エンコーダ（１０１）は、第ｋ番目の信号フレームのための参照フレームとして、一連の信号フレーム内の第ｋ番目の信号フレームからＮ個のフレームだけ隔てた信号フレームを選択する。

Description

本発明は電気通信の分野に関し、具体的には予測的なコード化の分野に関する。

第三世代のネットワークでは、ビデオサービスが最もポピュラーなものになると期待されており、成功するための大きな要因である。リアルタイムの制約がない無線ビデオアプリケーション（例えば、マルチメディアメッセージングサービス）が、市場に導入されている。しかしながら、無線ネットワークにおけるリアルタイムのビデオ通信は、難しい状態にある。エラーがあるか、又は不完全なビデオのビットストリームをデコード化することは、品質の重大な劣化をもたらすこととなる。動き補償予測（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）により、これらの欠陥も空間及び時間の中を伝搬するため、相当の時間可視的な状態となる。このため、エラー回復機能を有する送信スキームが、無線マルチメディア通信システムにおいて良好な品質を実現するために必須である。

エラー回復機能を有するビデオ送信に対するアプローチの最近のチュトーリアルの概要が、非特許文献１及び非特許文献２に記載されている。最近規定された規格であるＨ．２６４／ＭＰＥＧ−４ ＡＶＣに対して規定された、ある種のエラー回復ツールが、例えば非特許文献３に記載されている。大抵のエラー回復ツールは、エラー回復対コード化効率を最適にトレードオフするために、現在の送信状態に関する少なくとも部分的な情報を必要とする。

従来のデータ通信アプリケーションに関して、受信機からのフィードバックによりトリガされる失われた情報の再送信は、エラー回復のための最も適切なアプローチと考えられている。フィードバックベースの再送信の大きな利点は、変化する損失レートに対するその本来の適応性である。再送信は、情報が実際に失われた場合のみトリガされる。このため、生じるオーバーヘッドは損失レートの一次関数（ｄｉｒｅｃｔ ｆｕｎｃｔｉｏｎ）であり、送信元は、予想されるチャネル状態に関する明示的な情報を受け取る必要はない。しかしながら、ビデオ電話通信のような双方向の会話サービスについては、従来のパケット再送信の利点は、一般的に２５０ｍｓの範囲の、切迫した一方向の待ち時間に関する要件により限定される。

再送信ベースのアプローチに関するこの制限のために、受信機からのフィードバック情報を利用する別の方法が提案されている。例えば、非特許文献４及び非特許文献５に記載されているエラートラッキングは、エラーの伝搬を再構成するために、送信元において失われたパケットに関するフィードバックを使用する。破損した領域はさらに別の遅延を取り込むことなくエラー回復をもたらすイントラモードでコード化される。エラーの伝搬を止めるためにフィードバック情報を使用する別の提案は、非特許文献６及び非特許文献７に記載されているＮＥＷＰＲＥＤである。ここで、失われたパケット又は正しく受信されたパケットに関するフィードバックを使用して、うまくデコード化されたこれらの画像領域に基づく予測を制限する。Ｈ．２６４／ＡＶＣの中で採用されている、Ｈ．２６３ Ａｎｎｅｘ Ｕに取り入れられている参照画像選択（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｌｅｃｔｉｏｎ）（ＲＰＳ）のコンセプトは、ＮＥＷＰＲＥＤの、規格と互換性のある（ｓｔａｎｄａｒｄ−ｃｏｍｐａｔｉｂｌｅ）実装をサポートする。非特許文献８及び非特許文献９に記載されているように、レート−歪み最適化モード判定（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚｅｄ ｍｏｄｅ ｄｅｃｉｓｉｏｎ）の中にフィードバック情報を組み込むこともできる。

非特許文献１０において、ＲＥＳＣＵと呼ばれるエンドツーエンドのビデオエラー回復に関する再送信ベースのアプローチが記載されている。ＲＥＳＣＵの主な考えは、リアルタイムのビデオ通信に関する小さい遅延の要件にもかかわらず、エラー回復のために失われた情報の再送信を用いることができるように、ビデオシーケンス内のフレームの依存状態を変えることである。ＲＥＳＣＵでは、Ｐ番目おきのフレームは、いわゆる周期的なフレームである。このいわゆる周期的なフレームは、別の周期的なフレームであるＰフレームの間隔を参照する。中間の連続した２つの周期的フレームは、参照フレームとして前の周期的フレームでコード化される。非周期的なフレームが失われると、エラーの伝搬は次の周期的フレームで止まる。周期的フレームが失われた場合、それはエラー隠蔽（ｅｒｒｏｒ ｃｏｎｃｅａｌｍｅｎｔ）を用いて表示され、再送信要求が送信元へ送られる。次の周期的フレームが示される前に再送信が到着した場合は、高速なデコード化がエラーのない参照フレームを生成する。

ＲＥＳＣＵを動作させるために、受信機は、再送信された情報をリアルタイムよりも早くデコード化できることが必要である。加速遡及形デコード化（Ａｃｃｅｌｅｒａｔｅｄ Ｒｅｔｒｏａｃｔｉｖｅ Ｄｅｃｏｄｉｎｇ）（ＡＲＤ）が、非特許文献１１において別のコンテキストで提案されている。ＡＲＤは、多くのストリーミングクライアント（特に、ＰＣ上で動作するクライアント）の機能を利用して、ビデオをリアルタイムよりも早くデコード化する。通常、ビデオのフレームをデコード化するために使用されるパケットが遅く到着すると、一連のフレーム全体が、コード化されたフレーム間の予測依存性（ｐｒｅｄｉｃｔｉｏｎ ｄｅｐｅｎｄｅｎｃｙ）のために歪む。ＡＲＤの場合、到着が遅いパケットが最終的に到着すると、デコーダは、遅く到着したパケットに対応するフレームまで戻り、現在実行している位置まで依存チェーン（ｄｅｐｅｎｄｅｎｃｙ ｃｈａｉｎ）を迅速に再デコード化するため、エラーは生じない。次に、ＧＯＰ（画像グループ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）内の残りの画像を、エラーなくデコード化することができる。

前述した問題は一般に、例えば会話情報などのどのような種類の情報も表す予測的にコード化されたフレームの受信においてエラーが生じたときに発生するということに注意されたい。

Ｙ． Ｗａｎｇ ａｎｄ Ｑ． Ｚｈｕ，″Ｅｒｒｏｒ ｃｏｎｔｒｏｌ ａｎｄ ｃｏｎｃｅａｌｍｅｎｔ ｆｏｒ ｖｉｄｅｏ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ： Ａ ｒｅｖｉｅｗ，″ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ， Ｓｐｅｃｉａｌ Ｉｓｓｕｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ｐａｇｅｓ ９７４−９９７， Ｍａｙ １９９８ Ｔ． Ｓｔｏｃｋｈａｍｍｅｒ， Ｍ． Ｈａｎｎｕｋｓｅｌａ， ａｎｄ Ｔ． Ｗｉｅｇａｎｄ， ″Ｈ．２６４／ＡＶＣ ｉｎ Ｗｉｒｅｌｅｓｓ Ｅｎｖｉｒｏｎｍｅｎｔｓ″， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ． １３， ｎｏ． ７， ｐａｇｅｓ ６５７−６７３， Ｊｕｌｙ ２００３ Ｔ． Ｓｔｏｃｋｈａｍｍｅｒ， Ｍ． Ｈａｎｎｕｋｓｅｌａ， ａｎｄ Ｔ． Ｗｉｅｇａｎｄ， ″Ｈ．２６４／ＡＶＣ ｉｎ Ｗｉｒｅｌｅｓｓ Ｅｎｖｉｒｏｎｍｅｎｔｓ″， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ． １３， ｎｏ． ７， ｐａｇｅｓ ６５７−６７３， Ｊｕｌｙ ２００３ Ｗ． Ｗａｄａ， ″Ｓｅｌｅｃｔｉｖｅ ｒｅｃｏｖｅｒｙ ｏｆ ｖｉｄｅｏ ｐａｃｋｅｔ ｌｏｓｓｅｓ ｕｓｉｎｇ ｅｒｒｏｒ ｃｏｎｃｅａｌｍｅｎｔ，″ ＩＥＥＥ Ｊ． Ｓｅｌｅｃｔ． Ａｒｅａｓ Ｃｏｍｍｕｎ．， ｖｏｌ． ７， ｐａｇｅｓ ８０７−８１４， Ｊｕｎｅ １９８９ Ｅ． Ｓｔｅｉｎｂａｃｈ， Ｎ． Ｆaｒｂｅｒ， ａｎｄ Ｂ． Ｇｉｒｏｄ， ″Ｓｔａｎｄａｒｄ ｃｏｍｐａｔｉｂｌｅ ｅｘｔｅｎｓｉｏｎ ｏｆ Ｈ．２６３ ｆｏｒ ｒｏｂｕｓｔ ｖｉｄｅｏ ｔｒａｎｓｍｉｓｓｉｏｎ ｉｎ ｍｏｂｉｌｅ ｅｎｖｉｒｏｎｍｅｎｔｓ，″ ＩＥＥＥ Ｔｒａｎｓ． Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ． Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ． ７， ｐａｇｅｓ ８７２−８８１， Ｄｅｃ． １９９７ ＩＴＵ−Ｔ／ＳＧ１５／ＬＢＣ−９６−０３３， ″Ａｎ ｅｒｒｏｒ ｒｅｓｉｌｉｅｎｃｅ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｂａｃｋ ｃｈａｎｎｅｌ ｓｉｇｎａｌｉｎｇ ａｎｄ ＦＥＣ，″ Ｔｅｌｅｎｏｒ Ｒ＆Ｄ， Ｓａｎ Ｊｏｓｅ， Ｊａｎ． １９９６ Ｓ． Ｆｕｋｕｎａｇａ， Ｔ． Ｎａｋａｉ， ａｎｄ Ｈ． Ｉｎｏｕｅ， ″Ｅｒｒｏｒ ｒｅｓｉｌｉｅｎｔ ｖｉｄｅｏ ｃｏｄｉｎｇ ｂｙ ｄｙｎａｍｉｃ ｒｅｐｌａｃｉｎｇ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ，″ ｉｎ Ｐｒｏｃ． ＩＥＥＥ ＧＬＯＢＥＣＯＭ， ｖｏｌ． ３， Ｎｏｖ． １９９６， ｐａｇｅｓ １５０３−１５０８ Ｔ． Ｗｉｅｇａｎｄ， Ｎ． Ｆａｅｒｂｅｒ， Ｋ． Ｓｔｕｈｌｍｕｅｌｌｅｒ， Ｂ． Ｇｉｒｏｄ， ″Ｅｒｒｏｒ− Ｒｅｓｉｌｉｅｎｔ Ｖｉｄｅｏ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｕｓｉｎｇ Ｌｏｎｇ−Ｔｅｒｍ Ｍｅｍｏｒｙ Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ，″ ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎＳｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， ｖｏｌ．１８， ｎｏ． ６， ｐａｇｅｓ １０５０−１０６２， Ｊｕｎｅ ２０００ Ｙ．Ｊ． Ｌｉａｎｇ， Ｍ． Ｆｌｉｅｒｌ， ａｎｄ Ｂ． Ｇｉｒｏｄ， ″Ｌｏｗ−Ｌａｔｅｎｃｙ Ｖｉｄｅｏ Ｔｒａｎｓｍｉｓｓｉｏｎ ｏｖｅｒ Ｌｏｓｓｙ Ｐａｃｋｅｔ Ｎｅｔｗｏｒｋｓ Ｕｓｉｎｇ Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚｅｄ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ，″ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ． ２， ｐａｇｅｓ １８１−１８４， Ｒｏｃｈｅｓｔｅｒ， ＮＹ， Ｓｅｐｔｅｍｂｅｒ ２００２ Ｉｎｊｏｎｇ Ｒｈｅｅ ａｎｄ Ｓｒｉｎａｔｈ Ｊｏｓｈｉ， ″Ｅｒｒｏｒ Ｒｅｃｏｖｅｒｙ ｆｏｒ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｄｅｏ Ｔｒａｎｓｍｉｓｓｉｏｎ ｏｖｅｒ ｔｈｅ Ｉｎｔｅｒｎｅｔ，″ ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｓｐｅｃｉａｌ Ｉｓｓｕｅ ｏｎ Ｅｒｒｏｒ Ｒｏｂｕｓｔ Ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ Ｉｍａｇｅｓ ａｎｄ Ｖｉｄｅｏ， ｖｏｌ． １８， ｎｏ． ６， ｐａｇｅｓ １０３３−１０４９， Ｊｕｎｅ ２０００ Ｇｈａｎｂａｒｉ， ″Ｐｏｓｔｐｒｏｃｅｓｓｉｎｇ ｏｆ ｌａｔｅ ｃｅｌｌｓ ｆｏｒ ｐａｃｋｅｔ ｖｉｄｅｏ，″ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ． ６， ｎｏ． ６， ｐａｇｅｓ ６６９−６７８， Ｄｅｃ． １９９６

本発明の目的は、受信においてエラーが生じた、コード化されたフレームをデコード化するときに生じるエラーの伝搬を減らすように、フレームを予測的にコード化するための概念を提供することである。

この目的は、請求項１に記載の予測的にコード化する装置、請求項１１に記載のフレームコントローラ、請求項１９に記載の送信機、請求項２１に記載のネットワークノード、請求項２６に記載の受信機、請求項２８に記載の予測的にコード化する方法、請求項２９に記載のフレーム情報を生成する方法、請求項３０に記載のコード化されたフレームを受信する方法、又は請求項３１に記載のコンピュータプログラムによって達成される。

本発明は、フレームと予測的にコード化するために使用する参照フレームとの間の距離が制御可能な場合に、予測的にコード化されたフレームを受信するときに発生したエラーの伝搬を減らすことができるという知見に基づいている。

ここで、「エラー伝搬の低減」とは、エラーの伝搬を防止すること又はエラーの伝搬をもたらすフレームの数を減少させること、すなわちエラーの伝搬を適宜低減することに関するということに注意されたい。

一連の信号フレーム内の信号フレームを予測的にコード化する場合、予測できない形式である参照フレームの情報を決定しコード化するために、少なくとも１つのさらに別の信号フレームを前記信号フレームのための参照フレームとして使用することができる。この参照フレームは、コード化される信号フレームに先行するある信号フレームとすることができる。例えば、参照フレームは、前述したＧＯＰを表す一連のフレーム内の前のＰフレームとすることができる。しかしながら、参照フレームは、コード化される信号フレームに続く信号フレーム（例えば、ＧＯＰ内のＢフレーム）とすることができる。このため、両方のアプローチは、コード化されたフレームを得るために信号フレームをコード化するときに同時に利用できる。

予測的なコード化によって導入されたフレームの依存性により、エラーの伝搬は、受信においてエラーが生じた（コード化された）参照フレームに基づいて、コード化されたフレームをデコード化するときに発生することがある。

受信においてエラーが生じたコード化されたフレームに応じて、コード化されたフレームを受信する（又はデコード化する）前に、受信においてエラーが生じたコード化されたフレームを再送信するときにエラーの伝搬を低減することができる。

再送信を管理するために、例えば受信機は、コード化されたフレームを送信する送信機へ、又はコード化されたフレームを転送する基地局へ品質情報を送ることができる。この品質情報は、例えばコード化されたフレームの受信においてエラーが生じたことを表している。基地局は、例えば品質情報を受信するか、又は（受信においてエラーが生じた）コード化されたフレームを再転送することができる。しかしながら、コード化されたフレームを転送する（又は送信する）ことと、転送された（コード化された）フレームの誤った受信を表す品質情報を受信することとの間のタイムインターバルが、フレームとコード化するために使用された参照フレームとの間の距離によって定まるタイムインターバルよりも長い場合は、再送信されたフレーム又は再転送された、コード化されたフレームは適時に受信されないため、受信においてエラーが生じたコード化されたフレームに依存するコード化されたフレームは、エラーを生じずにデコード化されず、デコード化エラーが伝搬する。

受信機においてエラーの伝搬を適時に止めるためには、一連のフレーム内のフレームと参照フレームとの間のタイムインターバルが、送信機と受信機との間、又は、基地局が受信したときにエラーが生じたコード化されたフレームを再送信する場合の、基地局と受信機との間の往復時間以上であることが好ましい。

ここで、この往復時間は、信号をネットワークエンティティへ送信し、また信号に対する応答をこのネットワークエンティティから受信するために必要な時間（又はタイムインターバル）である。

しかしながら、往復時間は、例えば通信のシナリオに依存して変化することがある。往復時間が著しく増加する場合は、フレームと予測的にコード化するために使用される参照フレームとの間の固定距離が、再送信によりエラーの伝搬効果を低減するには短すぎる可能性がある。しかしながら、往復時間が短い場合は、フレームと参照フレームとの間の著しく長い距離が、エラーの伝搬を低減するか又は防止するために大いに貢献することなく、予測的なコード化に関連するコード化利得を減らすこととなる。この場合は、フレームと参照フレームとの間の距離が減少し、コード化利得の損失が減少する。このことは、例えば、ビデオ送信の場合に重要である。

本発明の態様によれば、本発明の概念は、無線ネットワークにおける、エラーに強いリアルタイムのビデオ電話通信に対して適用できる。この場合、失われたパケットを基地局から受信機端末へ再送信することにより、ダウンリンク上のパケットの損失を処理することができる。

失われたパケットの影響は、例えばエラー隠蔽を用いて低減することができる。再送信されたパケットは、エラー回復に使用される。再送信をエラー回復に使用できるようにするために、送信元は、コード化する間に固定距離の参照画像選択を使用するように信号で伝えられる。ここで、使用される距離は、基地局と受信機端末との間で測定された往復時間に相当する。送信エラーは、基地局から送信元の端末へ肯定応答情報を送ることによって、アップリンク上で処理される。ビデオエンコーダは、この情報を使用して、基地局によって明確に肯定応答された最も直近のフレームに基づいて、コード化される次のフレームを予測する。これに使用できる最も直近のフレームは、ダウンリンク上の往復時間に適応する固定距離の参照画像よりも常に早い（ｅａｒｌｙ）。本発明によれば、アップリンク及びダウンリンクに対する２つの別々の方式を結合して組み合わせることができる。本発明に係る方式を、マクロブロックのランダムイントラ更新（ｒａｎｄｏｍ Ｉｎｔｒａ ｕｐｄａｔｅ）及びエラー回復力に対し、パケット全体にわたってＦＥＣを採用する最新技術のエラー回復方式と比較する。同じビットレート及びパケットの損失レートでは、本発明に係る方式によれば最大４．５ｄＢの改善が確認されている。

本発明は、リアルタイムのビデオ送信に対してモバイル通信接続のダウンリンクにおいてパケットを再送信することにより損失を克服することができるため、ネットワークオペレータにとって有益である。うまく再送信されたパケットは、デコード化を加速させることによりエラーの伝搬を止めるために使用される。失われたパケットのみが再送信されるため、取り込まれる付加的なオーバーヘッドは少ない。

本発明は、Ｈ．２６４／ＡＶＣを使用するときは規格との完全な互換性がある。主な２つの想定は以下のとおりである。基地局は、失われたパケットに関するフィードバックを送信元へ送り、失われたパケットを受信機へ再送信することができると想定する。第２の想定は、デコーダが十分な計算リソースを有しており、エラーの伝搬を止めるために十分早く再送信されたスライスすなわちフレームをデコード化できるということである。

さらに、本発明は性能を向上させるために、他のエラー回復方式と組み合わせることができる。

本発明は、モバイルビデオ電話通信に対する枠組みをさらに提供する。これは失われたパケットのプロキシベースの再送信と組み合わせて、固定距離参照画像選択方式（ｆｉｘｅｄ−ｄｉｓｔａｎｃｅ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｌｅｃｔｉｏｎ）（ＦＤＲＰＳ）を用いることにより、ダウンリンクのパケット損失を処理する。予測するために使用される参照フレームは、基地局とダウンリンク上の受信機との間の往復時間の関数として定められる。アップリンク上の損失に対処するために、失われたパケットに関するフィードバックが基地局から送信元（送信機）へ送られる。エンコーダは、この情報を使用して、最も直近でうまくアップロードされた参照フレームから現在のフレームを予測する。この参照フレームは、ダウンリンクストラテジーによって選別された固定距離参照フレームよりも古い。

「Ｉｎｊｏｎｇ Ｒｈｅｅ ａｎｄ Ｓｒｉｎａｔｈ Ｊｏｓｈｉ， ″Ｅｒｒｏｒ
Ｒｅｃｏｖｅｒｙ ｆｏｒ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｄｅｏ Ｔｒａｎｓｍｉｓｓｉｏｎ ｏｖｅｒ ｔｈｅ Ｉｎｔｅｒｎｅｔ，″ ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ
Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｓｐｅｃｉａｌ Ｉｓｓｕｅ ｏｎ Ｅｒｒｏｒ Ｒｏｂｕｓｔ Ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｉｍａｇｅｓ ａｎｄ Ｖｉｄｅｏ， ｖｏｌ． １８， ｎｏ． ６， ｐａｇｅｓ １０３３−１０４９， Ｊｕｎｅ ２０００」と比較すると、ダウンリンクにおいて失われた情報に関するプロキシベースの再送信を検討するため、エンドツーエンドの大きな遅延に対してＲＥＳＣＵを用いるときに発生することがある低いコード化効率を避けることができる。また、本発明に係るスキームにおけるＲＥＳＣＵとは異なり、どのフレームが失われるかは問題ではない。ダウンリンクにおいてフレームが失われるごとに再送信が１回行われ、その再送信が時間通りに到着すると、エラーの伝搬は止まる。再送信も失われた場合は、本発明に係る方式では、ビデオのサブシーケンスのみがエラー伝搬の影響を受ける。このため、このサブシーケンスを表示することを止め、再同期するフレームを送信元へ要求することができる。ＲＥＳＣＵでは、全てのフレームが影響を受ける。本発明によれば、基地局へうまくアップロードされた、予測のための参照画像が選択される。しかしながら、ＮＥＷＰＲＥＤとは異なり、参照画像を選択することは、ダウンリンクに適応するための固定距離のコード化による付加的な制約である。これまでの研究に対するこれらの主な相違点に加えて、本発明が貢献することは、これらの考え方をエンドツーエンドのシナリオに対して拡張することである。このシナリオでは、アップリンク又はダウンリンクのうちのいずれか又は両方における損失は明示的に処理され、比較的小さいものの潜在的に異なるアップリンク及びダウンリンクにおける往復時間が用いられる。

さらに本発明は、通信のシナリオの中で予測的なコード化を制御するための概念を提供する。このシナリオにおいては、幾つかのネットワークエンティティ、例えば送信機と、１つ以上のネットワークノード、例えば基地局と、受信機とがある。

本発明のさらなる実施形態を、添付の図面を参照して詳細に説明する。

図１は、一連のコード化されたフレームを得るために、一連の信号フレームを予測的にコード化するための装置のブロック図を示している。この装置は、入力部１０３と、出力部１０５と、制御入力部１０７とを有する予測エンコーダ１０１を備えている。この装置は、入力部１１１とコントローラ１１３へ接続された出力部とを有する受信ユニット１０９をさらに備えている。コントローラは、予測エンコーダ１０１の制御入力部１０７へ接続された出力部を有している。

予測エンコーダ１０１は、予測的なコード化、すなわち入力部１０３を経由して提供された一連の信号フレームを予測的にコード化し、出力部１０５を介してコード化された一連のフレームを提供する。より具体的に言うと、予測エンコーダ１０１は、第ｋ番目の信号フレームと、第ｋ番目の信号フレームのための参照フレームとに基づいて、コード化された第ｋ番目のフレームを提供する。例えば、参照フレームは、第ｋ番目の信号フレームから複数のフレームだけ隔てた、一連の信号フレーム内の別の信号フレームである。ここでｋは、フレームインデックスすなわち一連のフレーム内の信号フレームのオーダリング番号である。

予測エンコーダ１０１は、例えば第ｋ番目の信号フレームにより含まれ、かつ参照フレームから予測できる予測可能な情報を決定し、第ｋ番目の信号フレームに含まれ、かつ参照フレームからは予測できない予測不可能な情報を決定する。予測不可能な情報は、例えば第ｋ番目のエンコーダのフレームと参照フレームとの間の情報の差分を表すものである。

信号フレーム又はコード化されたフレームは、それぞれのフレームを構成するように配置された複数のビットから構成されることに注意されたい。

受信ユニット１０９は、第ｋ番目の信号フレームと参照フレームとを隔てる最小のフレーム数又はあるフレーム数を表すフレーム情報を受信する。好ましいことに、この受信ユニット１０９は、例えば遠隔受信機又はネットワークの送信を管理するネットワークエンティティから、入力部１１１を経由してフレーム情報を受信する。

例えば、各フレームは、あるフレームの期間（ｄｕｒａｔｉｏｎ）、例えば５０ｍｓ又は１００ｍｓに関連している。このため、最小のフレーム数は、第ｋ番目の信号フレームと参照フレームとの間で調整されるタイムインターバルを表すことができる。しかしながら、フレーム情報は、第ｋ番目のフレームと参照フレームとの間の最小のタイムインターバルを表すことができる。この場合、最小のタイムインターバルは、最小のタイムインターバル以上の、全体の期間を有する最小のフレーム数に関連する。

これに付随して、フレーム情報は、第ｋ番目の信号フレームと参照フレームとを隔てるあるフレーム数、すなわち第ｋ番目のフレームと参照フレームとを隔てるフレーム数を表すことができる。この場合、フレーム情報は、あるフレーム数に関連する期間を表すか、又はある期間に関連するあるフレーム数を直接表すことができる。

コントローラ１１３は、実際のフレーム数Ｎを決定するために、フレーム情報からフレーム数Ｎを決定する。この実際のフレーム数Ｎは、一連のフレーム内で第ｋ番目の信号フレームと参照フレームとを隔てる。

フレーム情報が、最小のフレーム数、すなわち同様の意味合いで最小のタイムインターバルを表す場合は、コントローラ１１３はフレーム数Ｎを決定する。ここで、Ｎはフレームの最小数に等しいか、それよりも大きい。

さらに、フレーム情報があるフレーム数を表す場合、コントローラ１１３は、あるフレーム数と等しくなるようにＮを設定する。

本発明のさらなる態様によれば、コントローラ１１３は、Ｎが例えばフレームの最小数よりも小さくならないように、また同時に、例えば第ｋ番目のフレームと参照フレームとの間の距離を増加させることに関連したコード化利得の損失が最小となるようにフレーム数Ｎを決定するため、最適化問題を解くことができる。例えば、予測的なコード化に関連したコード化利得が、第ｋ番目のフレームと参照フレームとを隔てる信号フレームの数に依存する場合、コントローラ１１３は、他の可能なフレーム数のうち、最小のコード化利得の損失に関連したフレーム数Ｎを決定するために、フレーム情報例えばフレームの最小数に基づいて、コード化利得の損失（コード化利得の減少）を決定することができる。

第ｋ番目のフレームと参照フレームとを隔てるフレーム数に基づいてコード化利得の損失を決定するため、フレームコントローラ１１３及び予測エンコーダ１０１は、単に一例として、フレームの最小数以上であって、最小すなわち利得の低減した損失に関連したフレーム数を決定するために、異なる参照フレームすなわち第ｋ番目の信号フレームから一連のフレーム内で異なる距離だけ隔てた異なる信号フレームを用いて、一連のフレーム内の同じフレームをコード化することができる。

しかしながら、例えば一連のフレーム内の信号フレームが、ある画像のグループ（ＧＯＰ）を表す場合、コントローラ１１３は、コード化利得の損失を解析的に決定するか、又は推定することができる。例えば、コントローラ１１３は、一定の差分を決定し、最小の差分と関連するＮを選択するために、フレームを互いに差し引くことができる。

コントローラ１１３により決定されたフレーム数Ｎは、制御入力部１０７を経由して予測エンコーダ１０１へ提供される。フレーム数Ｎに応じて、予測エンコーダ１０１は、一連のフレーム内の第ｋ番目の信号フレームからＮ個のフレームだけ隔てた信号フレームを選択する。このＮ個のフレームだけ隔てた信号フレームは、第ｋ番目の信号フレームのための参照フレームとして働く。

決定されたフレーム数Ｎは、一連のフレーム内の全てのフレームをコード化するために、このフレーム数Ｎが更新されるまで又は新しいフレーム数がコントローラ１１３により決定されるまで保持されることが好ましい。しかしながら、一連のフレーム内の所定数のフレームが予測的にコード化されて、予測エンコーダ１０１がこの所定数の信号フレームをコード化した後、例えば２０個の信号フレームをコード化した後で元のフレーム数を採用するために、この決定されたフレーム数Ｎを単に保持することができる。同様に、予測エンコーダ１０１は、いくらかのタイムインターバルの後、例えば４００ｍｓの後で元のフレーム数を参照することができる。

例えば、予測エンコーダ１０１により提供される、一連のコード化されたフレームは、中間のネットワークエンティティ、例えば基地局を介し、通信ネットワークにおいて送信機から遠隔受信機へと送信される。この中間のネットワークエンティティは、送信機により送信された、コード化されたフレームを受信し、このコード化されたフレームを受信機へ転送することができる。さらに中間のネットワークエンティティは、コード化されたフレームをバッファし、失われるか又は受信においてエラーが生じたフレームを再送信することができる。この場合、最小のフレーム数が、中間のネットワークエンティティ例えば基地局と遠隔受信機との間の往復時間により決定される。換言すると、この最小のフレーム数は、一連のフレームを予測的にコード化する場合、往復時間以上である必要があり、かつフレームと参照フレームとの間に少なくとも導入する必要がある最小のタイムインターバルを定める。

コード化されたフレームをバッファする中間のネットワークエンティティは、（ある）コード化されたフレームの受信においてエラーが生じたことを表す、遠隔受信機からのＮＡＣＫ信号（ＮＡＣＫ＝否定応答）を受信することができる。ＮＡＣＫ信号を受けて、基地局は、受信においてエラーが生じたコード化されたフレームを再送信することができる。ここで、本発明に係る予測的なコード化では、コード化されたフレームは適時受信されるため、エラーの伝搬を確実に減らすことができる。

好ましいことに、最小のフレーム数によって定まるタイムインターバルは、中間のネットワークエンティティと遠隔受信機との間の往復時間以下であって、失われるか又は受信においてエラーが生じたフレームを中間のネットワークエンティティが受信機へ再送信する場合の、送信機と受信機との間の往復時間よりも短い。

中間のネットワークエンティティが再送信できない場合、又は送信機と受信機との間に中間のネットワークエンティティがない場合は、最小のフレーム数によって定まる最小のタイムインターバルは、送信機と受信機との間の往復時間によって決定される。特に、最小のタイムインターバルは、送信機と受信機との間の往復時間に等しいかそれよりも大きい。コード化損失が付加的に取り入れられたにもかかわらず、受信においてエラーが生じたコード化されたフレームを再送信するときに、エラーの伝搬を迅速に止めることができる。

前述したように、受信ユニット１０９は、あるフレーム数又はフレームの最小数を表すフレーム情報を受信する。このフレーム情報には、例えば中間のネットワークノードと受信機との間、又は送信機と受信機との間のいずれかの往復時間に関する情報が含まれている。この場合、往復時間は、例えば、全体で往復時間に等しいか又はそれよりも大きい期間を有する最小のフレーム数を間接的に決定する。

実施形態によれば、往復時間又はそれについての情報は、例えば往復時間を測定するネットワークノード又はネットワークエンティティが提供できる。

本発明のさらなる態様によれば、受信ユニット１０９は、タイムスタンプなどに基づいて最小のフレーム数を決定するために、往復時間の測定を行う。

前述したように、フレーム情報は、あるフレーム数を直接的又は間接的に表すことができる。

間接的にいうと、予測エンコーダ１０１は、第ｋ番目の信号フレームと、一連の信号フレーム内で第ｋ番目の信号フレームからＭ個のフレームだけ隔てた参照フレームとに基づいて、コード化された第ｋ番目のフレームを提供することができる。この場合、フレーム情報は、第ｋ番目のフレームと参照フレームとを隔てるフレーム数Ｍが、あるフレーム数を得るために増加又は減少されるべきであることを表すことができる。例えば、コントローラ１１３は、フレーム数Ｎを得るために、所定のフレーム数、例えば１個又は２個のフレームによりＭを増加又は減少させることができる。この場合、予測的にコード化するために使用されるフレームと参照フレームとの間の距離は、それ以前の距離に関連して適応的に調整することができる。

適応的な調整スキームを用いれば、受信機又は他のネットワークエンティティから、フレームと参照フレームとの間の距離が、例えば受信においてエラーが生じたフレームを適時再送信するには短すぎることを表すフレーム情報を受信すると、フレームと参照フレームとの間の距離は、単に所定のフレーム数だけ増加又は減少される。フレーム情報は、距離が必要以上に大きいため、コード化利得の損失が必要以上に取り込まれることをさらに表すことができる。いずれの場合も、フレームと参照フレームとの間の距離を、所定のフレーム数だけ適応的に増加又は減少させることができる。ここで、各反復ステップでは、それ以前のあるフレーム数に対して、あるフレーム数が得られる。このため、フレーム情報は、フレーム数Ｎを得るために、Ｍが増加又は減少されるあるフレーム数を表すことができる。

前述したように、フレーム情報は、送信機又は中間のネットワークエンティティ、例えば基地局が決定できる。

さらなる態様によれば、本発明は、フレーム情報を生成するためのフレームコントローラを提供する。このフレーム情報は、送信機からネットワークノードへと送信される、コード化されたフレームを得るために、参照フレームを用いて信号フレームを予測的にコード化するときに、一連のフレーム内で信号フレームと参照フレームとを隔てるフレーム数を表す。ここで、ネットワークノードは、コード化されたフレームを遠隔受信機へ転送する。

フレームコントローラは、別々のネットワークエンティティとしてネットワーク通信を監視するネットワーク管理システム内で実現することができる。本発明のさらなる態様によれば、このフレームコントローラは、ネットワークノード内、例えば基地局内又は送信機内で実現することができる。さらに、本発明に係るフレームコントローラは、受信機内で実現することができる。一般的に言うと、本発明に係るフレームコントローラは、コード化されたフレームを送信、管理、転送、又は受信するどのようなネットワークエンティティ内でも実現できる。

本発明によれば、フレームコントローラは、前述したように、あるフレーム数又は最小のフレーム数を表すフレーム情報を生成する。このフレーム数は、信号フレームと参照フレームとの間のタイムインターバルが、ネットワークノードと受信機との間の往復時間以上であって、送信機と受信機との間の往復時間よりも小さくなるように、信号フレームと参照フレームとを隔てる。

言い換えると、このフレームコントローラは、誤った又は失われた、コード化されたフレームをネットワークノードが適時に送信できるように、タイムインターバルがフレームと参照フレームとの間で調整されるべきことを表すフレーム情報を決定する。

例えば、ネットワークノードは、コード化されたフレームをバッファし、コード化されたフレームの受信の品質を表す品質情報を受信し、品質情報が受信のエラーを表す場合に、コード化されたフレームを再送信する基地局である。

フレームコントローラは、ネットワークノードと受信機との間の往復時間を表すフレーム情報を生成することができる。この往復時間は、フレームと参照フレームとを隔てる最小のフレーム数の期間である。

さらなる態様によれば、このフレームコントローラは、ネットワークノードと受信機との間の往復時間を下回らないタイムインターバルに関連する最小のフレーム数を決定し、最小のフレーム数を表すフレーム情報を生成することができる。

さらに、フレームコントローラは、前述したように、信号フレームと参照フレームとを隔てるフレーム数が増加又は減少されるあるフレーム数を決定することができる。

例えば、予測的なコード化に関連するコード化利得は、信号フレームと参照フレームとを隔てるフレーム数、及び／又は信号フレームの種類、及び／又は予測的なコード化に使用する信号フレームのサイズに依存する。この場合、フレームコントローラは、最大のコード化利得、すなわち言い換えると、コード化利得の最小の損失に関連するあるフレーム数を決定することができる。

適応化のため、フレームコントローラは、例えばネットワークノードと受信機との間の往復時間が変化したときのみ、フレーム情報を適応的に生成することができる。

ネットワークノードと受信機との間の往復時間に関する情報は、単なる一例として、ネットワークノード、又は、例えば測定により往復時間を決定する任意の他のネットワークエンティティが、フレームコントローラへ提供することができる。

フレームコントローラが送信機とは分離している場合、フレームコントローラは、フレーム情報を送信機へ送信する送信ユニットを備えることができる。フレームコントローラがネットワークノード内に構築されている場合は、この送信ユニットを、コード化されたフレームを受信機へ転送するために使用することもできる。

本発明は、前述したように、コード化された一連のフレームを得るために、一連の信号フレームを予測的にコード化するための装置を備えた送信機をさらに提供する。送信装置は、受信エラーが発生した場合に、コード化されたフレームを受信機へ確実に再送信するか、又はコード化されたフレームを受信機へと転送する基地局へ確実に再送信するために、コード化されたフレームをスケジュールするフレームスケジューラをさらに備えている。

好ましいことに、予測的にコード化する装置に含まれる予測エンコーダは、一連の信号フレーム内の第ｋ番目の信号フレームと、第（ｋ−Ｎ）番目の信号フレーム（参照フレーム）とに基づいて、コード化された第ｋ番目のフレームを提供する。さらに、予測的にコード化する装置に含まれる受信ユニットは、遠隔ネットワークエンティティ、例えば基地局又は受信機から品質情報を受信することができる。この品質情報は、遠隔ネットワークエンティティへ送信される、コード化された第（ｋ−Ｎ）番目のフレームの受信の品質を表し、このコード化された第（ｋ−Ｎ）番目のフレームは、第（ｋ−Ｎ）番目の信号フレームと第（ｋ−２Ｎ）番目の信号フレームとに基づいて予測エンコーダにより提供される。

フレームスケジューラは、コード化された第（ｋ−Ｎ）番目のフレームの受信においてエラーが生じたことを品質情報が示す場合、コード化された第ｋ番目のフレームが送信される前に再送信するために、コード化された第（ｋ−Ｎ）番目のフレームをコピーすることをスケジュールすることが好ましい。このコード化された第（ｋ−Ｎ）番目のフレームは、送信される、コード化された第ｋ番目のフレームをコード化するために必要なものである。

スケジュールされたフレームに基づいて、装置は、受信においてエラーが生じたコード化されたフレームのコピーを送信する。すなわち換言すると、受信においてエラーが生じたコード化されたフレームを再送信し、エラーの伝搬をできるだけ早く止めることができるようにする。

さらに、送信装置は、フレーム情報を生成するための、前述したフレームコントローラを備えることができる。

本発明は、コード化されたフレームを送信機から受信し、これらコード化されたフレームを受信機へ転送するネットワークノードをさらに提供する。このネットワークノードは、例えば基地局、又はフレームを受信エンティティへ転送する任意の他のノードとすることができる。

コード化されたフレームを送信するため、送信機は、コード化されたフレームを得るために、一連の信号フレームを予測的にコード化する。ここで、コード化された第ｋ番目のフレームは、前述したように第ｋ番目の信号フレームと、一連の信号フレーム内で第ｋ番目の信号フレームから離間した参照フレームとから得られる。

コード化されたフレームを受信及び転送するための他の要素のうち、ネットワークノードは、そのネットワークノードと受信機との間の往復時間を前述した方法で測定する手段を備えている。

さらに、ネットワークノードは、あるフレーム数又は最小のフレーム数を表すフレーム情報を往復時間から生成するための、前述したフレームコントローラを備えている。このあるフレーム数又は最小のフレーム数は、第ｋ番目の信号フレームと一連の信号フレーム内の参照フレームとを隔てるものである。さらにネットワークノードは、フレーム情報を送信機へ送信する送信ユニットを備えている。さらにこの送信ユニットは、例えば、コード化されたフレームを受信機へ転送する。しかしながら、送信ユニットは、通信ネットワークにおいて信号を送信する、既存のさらなる送信ユニットに対する付加的なユニットとすることができる。

本発明によれば、ネットワークノードは、そのネットワークノードが受信機へ転送した、コード化されたフレームの受信の品質を表す品質情報を受信機から受信し、コード化されたフレームの受信においてエラーが生じたことをこの品質情報が表す場合は、コード化されたフレームを受信機へ再転送することができる。

しかしながら、ネットワークノードは、受信エラーがほとんど発生しない場合、すなわちコード化された全てのフレームの１％の場合、又はトラフィックが多い場合は、例え品質情報が誤った受信を表していても、受信においてエラーが生じたコード化されたフレームを転送しないこともできる。

さらにネットワークノードは、送信された、コード化されたフレームをバッファし、受信においてエラーが生じたか、又は失われた、コード化されたフレームを再転送できるようにするための記憶要素を備えることができる。

好ましいことに、ネットワークノードは、ほんの一例であるが、コード化されたフレームが、コード化された第ｋ番目のフレームを予測的にデコード化するために使用される場合、コード化された第ｋ番目のフレームを転送する前に、コード化されたフレームを再転送する。

例えば、コード化された第ｋ番目のフレームは、第（ｋ−Ｎ）番目の信号フレームを参照フレームとして使用して、第ｋ番目の信号フレームをコード化することから得られる。ここで、（Ｎ−１）は、第ｋ番目の信号フレームと一連のフレーム内の参照フレームとを隔てるフレーム数である。

フレーム情報を生成するために、フレームコントローラは、ネットワークノードと受信機との間の往復時間を、（Ｎ−１）個のフレームの期間に関連したタイムインターバルと比較し、このタイムインターバルが往復時間よりも短い場合のみフレーム情報を生成することができる。

しかしながら、フレームコントローラは、（Ｎ−１）個のフレームに関連するタイムインターバルが、所定のタイムインターバル、例えば５００ｍｓだけ往復時間を超える場合は、（Ｎ−１）よりも小さいあるフレーム数を表すフレーム情報を生成することができる。この場合、フレームと参照フレームとを隔てるフレーム数は、コード化利得の損失を減らすために減少させることができる。

さらなる態様によれば、本発明は、ネットワークエンティティ、例えば基地局又は送信機から、コード化されたフレームを受信する受信機を提供する。ここで、コード化されたフレームは、前述したように、信号フレームを予測的にコード化することから得られる。例えば、コード化された第ｋ番目のフレームは、第（ｋ−Ｎ）番目の信号フレームを一連の信号フレーム内の参照フレームとして用いて、第ｋ番目の信号フレームを予測的にコード化することにより得られる。ここで、一例として、（Ｎ−１）は、第ｋ番目の信号フレームと第（ｋ−Ｎ）番目の信号フレームとを隔てるフレーム数である。

換言すると、本発明に係る受信機は、送信機が受信機へ送信するか、又は受信機が基地局へ送信し、そして基地局が受信機へ転送した、コード化されたフレームを受信するネットワークエンティティである。

この受信機は、例えば通信ネットワーク、例えば無線ネットワークにおいて送信された、コード化されたフレームを受信する受信ユニットを備えることができる。さらに、この受信機は、コード化されたフレームをデコード化する予測デコーダを備えている。この予測デコーダは、コード化された第（ｋ−Ｎ）番目のフレームから得られた、デコード化された第（ｋ−Ｎ）番目のフレームを用いて、コード化された第ｋ番目のフレームをデコード化する。予測エンコーダは、コード化された第（ｋ−Ｎ）番目のフレームから、例えば予測フィルタを用いてデコード化された第ｋ番目のフレームに対して予測可能な情報を決定し、コード化された第（ｋ−Ｎ）番目のフレームからは予測不可能であるものの、コード化された第ｋ番目のフレームを得るために使用される第ｋ番目の信号フレームを含んだ情報をコード化することができる。

このため、コード化された第ｋ番目のフレームの、エラーのないデコード化は、デコード化された第（ｋ−Ｎ）番目のフレーム、又は言い換えると、コード化された第（ｋ−Ｎ）番目のフレームの品質に依存する。例えば、コード化された第（ｋ−Ｎ）番目のフレームの受信においてエラーが生じた場合、デコード化された第（ｋ−Ｎ）番目のフレームは、次に受信される、コード化された第ｋ番目のフレームのデコード化に影響するエラーを含むこととなり、以下同様となるため、エラーの伝搬が発生する。

さらに、コード化された第（ｋ−Ｎ）番目のフレームがエラーなく受信された場合、コード化された第ｋ番目のフレームもエラーなく受信されると、コード化された第ｋ番目のフレームをエラーなくデコード化することができる。

しかしながら、受信エラーは深刻なものでないため、例え小さい受信エラーがあっても、所定のアプリケーション、例えばビデオシーケンスを最後まで再生できるぐらい十分な程度で、コード化された第ｋ番目のフレームをほとんどエラーなくコード化することができる。

コード化された第（ｋ−Ｎ）番目のフレームの受信の品質を決定するために、受信機は、コード化された第（ｋ−Ｎ）番目のフレーム又はコード化された第（ｋ−Ｎ）番目のフレームをデコード化することにより得られる、デコード化された第（ｋ−Ｎ）番目のフレームを解析し、コード化された第（ｋ−Ｎ）番目のフレームの受信の品質を表す品質情報を生成するアナライザを備えている。

受信の品質は、例えば、コード化された第（ｋ−Ｎ）番目のフレームがエラーなく受信されたことを表すことができる（ＡＣＫ：肯定応答）。逆に、受信の品質は、コード化された第（ｋ−Ｎ）番目のフレームが、失われるか又は受信においてエラーが生じたことを表すことができる（ＮＡＣＫ：否定応答）。さらに、品質情報は、コード化された第（ｋ−Ｎ）番目のフレームが、許容できるエラー、修正可能なエラー又は部分的に修正可能なエラーを含むことを表すことができる。この場合、受信においてエラーが生じたフレームを再送信するかどうかの決定は、受信においてエラーが生じたフレームを再送信するネットワークエンティティが行う。

受信機は、コード化された第（ｋ−Ｎ）番目のフレームの受信においてエラーが生じたことを品質情報が表す場合、再送信要求をネットワークエンティティへ送信する送信ユニットをさらに備えている。ここで、再送信要求は、コード化された第（ｋ−Ｎ）番目のフレームが再送信されるか又はそのフレームのコピーが送信されることを表すものである。

この送信ユニットはさらに、品質情報をネットワークエンティティへ送信する。品質情報は、どのような場合でも、コード化された第（ｋ−Ｎ）番目のフレームの誤った受信、エラーなしの受信、又は部分的に誤った受信を表す。

好ましいことに、送信ユニットは、コード化された第（ｋ−Ｎ）番目のフレームが送信又は転送される前に、品質情報を含んだ再送信要求を送信するため、エラーの伝搬を止めるか又は減少させることができる。

このため、受信機は、再送信された、コード化された第（ｋ−Ｎ）番目のフレームが、コード化された第（ｋ−Ｎ）番目のフレームの後に受信された場合は、再送信された、コード化された第（ｋ−Ｎ）番目のフレームの受信の時間を決定し、Ｎ、すなわちフレームとそのフレームのために使用される参照フレームとの間の間隔が、予測的なコード化をする際に増加されるべきであることを表す制御信号を生成するコントローラを備えることができる。

制御信号をネットワークエンティティへ送信するために、送信ユニットは、制御信号をネットワークユニット（エンティティ）へ送信する。この制御信号を受けて、ネットワークユニット（エンティティ）は、例えば送信機内に実装された予測エンコーダに対し、フレームと予測的にコード化するために使用される参照フレームとの間の距離が増加されるべきであることを通知し、続いて受信される、コード化されたフレームをコード化するために必要な、受信においてエラーが生じたコード化されたフレームを適時に再送信することができる。

一般的に言えば、受信機は、通信ネットワークを介して予測エンコーダを制御することができる。予測エンコーダは、制御プロセスが繰り返し実行される、例えば送信機に備えられている。

フレームとこのフレームをコード化するために使用される参照フレームとの間の距離が、受信においてエラーが生じたフレームを適時に再送信するには短すぎることを制御情報が表すことがある。しかしながら、制御信号は、フレームと予測的にコード化するために使用される参照フレームとの間の距離を増加させるあるフレーム数を表すことができる。

さらなる態様によれば、コントローラは、フレームと参照フレームとの間の距離が必要以上に大きく、コード化利得の減少が必要以上に取り込まれることを表す制御信号を生成することができる。この場合、制御情報は、フレームと参照フレームとの間の距離を減少させるあるフレーム数を表すか、又はある特定の数を表さずにその距離が減少されるべきであることを表すことができる。

さらなる態様によれば、受信機は、フレーム情報を生成するために、前述したフレームコントローラを備えることができる。

予測的なコード化を行うために採用された予測エンコーダが、フレームと参照フレームとの間の距離に関する情報を同時に生成することに注意されたい。この距離は、例えば予測デコーダによって検出できる。しかしながら、予測的にコード化するために採用された予測エンコーダが、距離に関するいかなる情報も生成しない場合、コントロールユニットが、コード化されたそれぞれのフレーム内にこのような情報を組み込むことができる。

図２は、失われたパケットの再送信を行う場合と行わない場合との、ＦＤＲＰＳのエラーの伝搬を示している。図３ａには、最も直近のフレームから現在のフレームが予測される場合（ＦＤＲＰＳ距離１）の、失われたパケットの影響が示されている。１つのフレームが損失すると、その後の全てのフレームが影響を受ける。図３ｂでは、距離３を用いてコード化するＦＤＲＰＳを用いている。フレームが損失すると、後続のフレームの１／３しか影響を受けない。失われたパケットのプロキシベースの再送信と組み合わせた、距離３のＦＤＲＰＳが、図３ｃに示されている。１つのフレームしか損なわず、また加速されたデコード化と組み合わせた高速な再送信により、エラーの伝搬が止まる。成功した再送信の到達は、黒丸で示されている。

図３を再度参照すると、太線のバツ印で示されている第１のフレームが失われる。エラーの伝搬により損なわれたフレームは、細い線のバツ印で示されている。したがって、タイムリーな再送信により、エラー伝搬のプロセスを止めることができる。

再送信と組み合わせて、ダウンリンクの往復時間に対して距離を調整したＦＤＲＰＳは、図３ｃに示されているように、エラーの伝搬を効果的に止めるが、エラーがない場合のコード化効率は低下する。

損失レートが低い場合でも、大幅に改善されたエラー回復力がこの影響を上回る（ｏｕｔ−ｗｅｉｇｈｔｅｄ）ことを後で示す。

ダウンリンク上で失われたパケットは、１回だけ再送信されると仮定する。このため、再送信により発生するオーバーヘッドは、ダウンリンクチャネルのパケット損失レートに対応する。

これまでに説明したエラー回復のストラテジーは、ダウンリンク上の損失に適用される。アップリンク上でパケットが失われた場合は、図３に示されているように、ＢＳ１はＭＳ１へＮＡＣＫを返し、送信元は、コード化される次のフレームのための参照フレームを変更することにより、このＮＡＣＫに対して応答する。失われたフレームは、いかなる後続のフレームに対しても参照用として使用されることはない。結果として、アップリンク上のフレームの損失は、受信機において僅か１つのフレームに対してしか影響を及ぼさない。このフレームは、エラー隠蔽を用いて受信機において表示される。図３では、ダウンリンク上の往復時間は、３つのフレーム間隔に相当するものと仮定している。このため、ＦＤＲＰＳはフレームｉ−３からフレームｉを予測する。失われたフレームに対するＮＡＣＫが到達した後、現在のフレームを予測するために使用される参照画像は、４フレーム分後方にある（太い矢印）。

ＭＳ１からＢＳ１へのアップリンク上で失われたパケットは、ＢＳ２には到達しない。これは、ダウンリンク上の送信レートをある程度セーブすることとなり、ダウンリンク上で失われたこれらパケットの再送信により発生するオーバーヘッドを減少させる。

この節の説明では、説明のため、ビデオフレームの全てのスライスは、予測のために同じ参照フレームを用いると仮定されていることに注意されたい。この制約は必須のものではない。アップリンク上の適応的なＲＰＳと、ダウンリンク上の再送信及び加速させたデコード化とは、失われたこれらのスライスに対してのみ行うこともできる。

端末の１つが移動可能でない場合は、対応するアップリンク又はダウンリンクにおけるエラー回復ストラテジーを適用しないこととすることができる。

図３は、基地局ＢＳ１から送信元ＭＳ１へのフィードバックによってトリガされた適応的なＲＰＳを示していることに注意されたい。さらに、フィードバック、例えば前述した品質情報は、受信機から送信元へ向けてトリガされることも可能である。

図４は、本発明のアプローチを使用したネットワークのシナリオを示している。特に、エラーに対してロバストなリアルタイムのビデオ送信の構成が示されている。この構成では、エンコーダにおいてＦＤＲＰＳを用いるモバイルビデオ電話通信のシナリオと、ダウンリンク上の再送信と、アップリンク上のＮＡＣＫ及びＡＣＫによってトリガされる適応的なＲＰＳとが示されている。

送信機５０１では、単なる一例であるが、固定距離の参照画像予測を用いたコード化が行われる。この送信機５０１は、ネットワークエンティティ５０３、例えば基地局ＢＳ１へ信号を送信する。アップリンクでパケットの損失が発生すると、ＢＳ１からＭＳ１へのフィードバックが実行され、次のフレームをコード化するために、エラーがない、それまでのフレームを用いたＲＰＳが実行される。

参照フレームとＦＤＲＰＳ用の現在のフレームとの間の距離が、ダウンリンク上の往復時間となるように調整される。パケットがダウンリンク上で失われた場合、ＭＳ２は、フィードバックチャネルを介してＢＳ２へＮＡＣＫを送り、ＢＳ２は失われたパケットをもう一度再送信する。損なわれたフレームは、エラー隠蔽を用いて示される。再送信されたパケットが、失われたフレームを使用する、次のフレームのデコード化の前に到達した場合、エラーの伝搬は止まる。

ネットワークエンティティ５０３は、コアネットワーク５０５を介し、ネットワークエンティティ５０７（例えば、基地局ＢＳ２）を通して、受信機５０９、例えばモバイルステーションＭＳ２へビデオパケット（コード化されたフレーム）を転送する。ダウンリンクでパケットが失われると、フィードバックチャネルによりＮＡＣＫがＢＳ２へと送られる。そして、このＮＡＣＫが受信され、ＢＳ２上のバッファ内で失われたパケットがＭＳ２へ再度送られる（再送信）。ここで、ＭＳ２（受信機５０９）は、再送信されたパケット（コード化されたフレーム）を使用して、次のフレームのための参照画像を再構成する。

以下、幾つかのシミュレーション結果について図５及び図６を参照して説明する。図５は、平均パケットバースト長（ｍｅａｎ ｐａｃｋｅｔ ｂｕｒｓｔ ｌｅｎｇｔｈ）が５の場合の損失レートの関数として、再構成の品質の平均（ｍｅａｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｑｕａｌｉｔｙ）を示している。図６は、ｘ軸上のＰＳＮＲ値よりも低い品質で再構成されたフレームの数を示している。

図５は、本発明のアプローチの性能を示している。イントラ更新及びＲＳの曲線上の点は、可能な全てのＱＰから選択された最良のものである。平均バースト長（ａｖｅｒａｇｅ ｂｕｒｓｔ ｌｅｎｇｔｈ）は固定されており、５パケットに等しい。

無線チャネルのバーストパケットの損失を、周知の２状態ギルバート−エリオット（Ｇｉｌｂｅｒｔ−Ｅｌｌｉｏｔｔ）バースト損失モデルを用いてモデル化することについて検討する。ＱＣＩＦにおけるフォアマン（Ｆｏｒｅｍａｎ）をテストシーケンスとして使用し、フレームレートとして１０ｆｐｓを選択する。ｈｔｔｐ：／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／ｉｎｄｅｘ．ｈｔｍに開示されているＨ．２６４テストソフトウェアバージョンＪＭ８．４を、ビデオコーデックとして採用する。スライスが、ＭＢの１つの行に対応するように選択される。送信のため、１つのスライスが１つのパケット内に入れられる。Ｈ．２６４のデコーダは、スライスが失われると、時間的及び空間的の両方の情報を用いてエラー隠蔽を実行する。全てのシミュレーションにおいて、ビデオストリームに対する送信レートは、全てのオーバーヘッドを含めて９０ｋｂｐｓに固定されている。本発明のアプローチを、２つの標準的なエラー回復アプローチと比較する。第１のアプローチは、ランダムイントラ更新である。ここで、フレーム当たりのイントラＭＢの数は、ランダム更新レートが受信機において最良の再構成の品質をもたらすように、０％から６０％の間で変化する。比較に用いられる第２のスキームは、「Ｊ． Ｒｏｓｅｎｂｅｒｇ， Ｈ． Ｓｃｈｕｌｚｒｉｎｅ， ″Ａｎ ＲＴＰ ｐａｙｌｏａｄ
ｆｏｒｍａｔ ｆｏｒ ｇｅｎｅｒｉｃ ｆｏｒｗａｒｄ ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｏｎ， ″ＲＦＣ ２７３３， Ｄｅｃ． １９９９」に記載されている、パケット
の損失に対する保護のための、パケット全体にわたるＦＥＣを用いる。ｋ個のビデオパケットごとに、ｎ−ｋ個の冗長パケットが送信されると仮定する。受信機は、送信されたｎ個のパケットからｋ個を受信した場合は、そのｋ個のビデオパケットをエラーなくでデコード化することができる。ＦＥＣベースのスキームに関して、冗長性（ｎ／ｋ）は０％から１００％まで変化し、最良の結果をもたらすコードレートが選択される。このため、ここで比較のために使用する２つのスキームは、現在の損失レートが送信元に通知されず、最適なイントラリフレッシュレート又は最適なコードレートが選択できないような方法よりも良好に機能する。全てのスキームに対して、コード化されたストリームのＱＰは、ビットレートの制約を満たすように調整される。

図６は、３０００フレームのテストシーケンスに対する実験結果を示しており、また５％のパケット損失レートと、アップリンク及びダウンリンクの両方における５パケットの平均バースト長が示されている。３０００フレームのシーケンスは、フォアマンテストシーケンスを連続的に繰り返すことによって作られる。図６は、ｘ軸上に示されているＰＳＮＲ値よりも低い品質で３０００個のフレームから何個のフレームが再構成されるかを示している。

図６から、ランダムイントラ更新及びＦＥＣベースのスキームは極めて似通った動作をすることが分かる。本発明のスキーム（ＲＰＳ＋ＦＤＲＰＳ）の場合の予測距離は、３フレームに設定されており、これは３００ｍｓのダウンリンク上の往復時間に相当する。ＱＰは２８に設定され、コード化されたストリームのビットレートは８５ｋｂｐｓであり、アップリンク上の適応的なＲＰＳとダウンリンク上の再送信とのために約５ｋｂｐｓが残される。図６には、提案されたスキームが他の２つのスキームと比較して、著しく改良された再構成の品質をもたらすことが示されている。

図６は、損失レートの関数として３つのスキームに対する、ＰＳＮＲにおける再構成の品質の平均を示している。ギルバート−エリオットのモデルを使用して、パケットの損失レートが１％、３％、５％、７％、１０％のテストチャネルを生成し、平均バースト長は５パケットに維持される。最良のイントラ更新レートが常に選択されてシミュレーションが動作するため、２つの参照スキームのＦＥＣ冗長性の最適な量が、エラーがない場合の本発明のスキームを凌いでいる。エラーなしの送信の場合は、最適なイントラ更新レート及びＦＥＣベースのスキームの冗長性は０％である。しかしながら、損失レートが極めて小さい場合は、本発明のスキームのエラー回復特性は、著しく改良された性能をもたらす。５％〜１０％の間のパケット損失レートについては、平均的な再構成の品質の中で最大４．５ｄＢの改良が認められる。

無線環境においてエラー回復できる、リアルタイムのビデオ送信に対する枠組みが提供され、ここで、固定距離の参照画像の選択が、ダウンリンク上の損失を処理するための、失われたパケットの再送信と組み合わされる。ＦＤＲＰＳの距離は、ダウンリンクの往復時間となるように調整され、これにより以前に失われたパケットを再送信し、うまく再送信されたパケットを使用して、加速されたデコード化によりエラーの伝搬を止める機会が与えられる。このストラテジーは、基地局から送信元へのフィードバックによりトリガされるアップリンク上の適応的なＲＰＳと組み合わされる。本発明は、Ｈ．２６４／ＡＶＣを用いる場合、規格と十分に互換性があることに注意されたい。主な２つの仮定は次のようになる。基地局は、失われたパケットに関するフィードバックを送信元へと送ることができ、また失われたパケットを受信機へ再送信することができることが仮定される。第２の仮定は、再送信されたスライス又はフレームをデコーダが十分早くデコード化し、それらを使用してエラーの伝搬を止めるために、十分な計算リソースを有することである。最後の特徴として、本発明のアプローチは、ここで比較のために使用された２つのアプローチ、又はより優れた性能が期待される他のエラー回復方式と組み合わせることができる。

さらに、本発明に係る方法のある実施要件に依存するが、本発明に係る方法は、ハードウェア又はソフトウェアを用いて実施できる。この実施形態は、本発明に係る方法が実行されるようにプログラム可能なコンピュータシステムと共に動作するディジタル記憶媒体、特に記憶された電子的に読取り可能な制御信号を有するディスク又はＣＤを用いて行うことができる。従って、本発明は一般に、マシン読取り可能な担体上にプログラムコードが記憶されたコンピュータプログラム製品である。このプログラムコードは、コンピュータプログラム製品がコンピュータ上で動作すると、本発明に係る方法の少なくとも１つをコンピュータに実行させる。言い換えると、本発明に係る方法はこのように、コンピュータ上で動作する場合に本発明に係る方法を実行するためのプログラムコードを有するコンピュータプログラムである。

本発明に基づいて、一連の信号フレームを予測的にコード化する装置のブロック図である。 本発明に基づいて、エラーの伝搬が減少することを示す図である。 本発明に基づいて、エラーの伝搬が減少することを示す図である。 本発明のアプローチを用いたネットワークのシナリオを示す図である。 本発明の概念の性能を示す図である。 本発明の概念の性能を示す図である。

Claims (31)

1. コード化された一連のフレームを得るために、一連の信号フレームを予測的にコード化する装置であって、
   前記一連の信号フレームに基づいて、前記コード化された一連のフレームを提供する予測エンコーダ（１０１）であって、第ｋ番目の信号フレームと前記第ｋ番目の信号フレームのための参照フレームとに基づいて、コード化された第ｋ番目のフレームを提供する予測エンコーダ（１０１）と、
   前記第ｋ番目の信号フレームと前記参照フレームとを隔てる最小のフレーム数又はあるフレーム数を表すフレーム情報を受信する受信ユニット（１１１）と、
   前記フレーム情報に基づいてフレーム数Ｎを決定するコントローラ（１１３）と
   を備え、
   前記予測エンコーダ（１０１）は、前記第ｋ番目の信号フレームのための参照フレームとして、前記一連の信号フレーム内の前記第ｋ番目の信号フレームからＮ個のフレームだけ隔てた信号フレームを選択するものである、装置。
2. 前記フレーム情報は、前記第ｋ番目のフレームと前記参照フレームとの間の最小のタイムインターバルを表すものであって、前記最小のタイムインターバルは、前記最小のフレーム数と関連するものであり、
   前記コントローラ（１１３）は、フレーム数Ｎを決定するものであって、Ｎは前記最小のフレーム数以上である、請求項１に記載の装置。
3. 前記コード化された一連のフレームは、ある通信ネットワークにおいてある送信機から中間ネットワークエンティティを経由してある遠隔受信機へと送信されるものであり、
   前記最小のフレーム数は、前記中間ネットワークエンティティと前記遠隔受信機との間の往復時間に依存するものである、請求項２に記載の装置。
4. 前記コード化された一連のフレームは、ある通信ネットワークにおいてある送信機からある遠隔受信機へと送信されるものであり、
   前記最小のタイムインターバルは、前記送信機と前記受信機との間の往復時間に依存するものである、請求項２に記載の装置。
5. 前記受信ユニット（１０９）は、前記最小のフレーム数を決定するために、前記往復時間を測定するものである、請求項２〜４のいずれか一項に記載の装置。
6. 前記フレーム情報は、あるフレーム数を表すものであり、
   前記コントローラ（１１３）は、前記あるフレーム数と等しくなるようにＮを設定するものである、請求項１〜５のいずれか一項に記載の装置。
7. 前記予測エンコーダ（１０１）は、前記一連の信号フレーム内の前記第ｋ番目の信号フレームと、前記第ｋ番目の信号フレームからＭ個のフレームだけ隔てた参照フレームとに基づいて、前記コード化された第ｋ番目のフレームを提供するものであり、
   前記フレーム情報は、増加又は減少した前記あるフレーム数を得るために、前記第ｋ番目のフレームと前記参照フレームとを隔てるフレーム数を表すものであり、
   前記コントローラ（１１３）は、前記フレーム情報に応じて、前記フレーム数Ｎを得るために所定のフレーム数だけＭを増加又は減少させるものである、請求項１〜６のいずれか一項に記載の装置。
8. 前記予測エンコーダ（１０１）は、前記第ｋ番目の信号フレームと、前記一連の信号フレーム内で前記第ｋ番目の信号フレームからＭ個のフレームだけ隔てた参照フレームとに基づいて、コード化された第ｋ番目のフレームを提供するものであり、
   前記フレーム情報は、Ｍを増加又は減少させる前記あるフレーム数を表すものであり、
   前記コントローラ（１１３）は、前記フレーム数Ｎを得るために前記あるフレーム数だけＭを増加又は減少させるものである、請求項１〜７のいずれか一項に記載の装置。
9. 予測的なコード化に関連するコード化利得は、前記第ｋ番目のフレームと前記参照フレームとを隔てるフレーム数に依存するものであり、
   前記フレーム情報は、最小のフレーム数を表すものであり、
   前記コントローラ（１１３）は、コード化利得の最小の損失に関連するフレーム数Ｎを決定するために、前記フレーム情報に基づいてコード化利得の損失を決定するものである、請求項１〜８のいずれか一項に記載の装置。
10. 前記コード化された一連のフレームは、通信ネットワークにおいて前記フレーム情報を送信する遠隔ネットワークエンティティへと送信されるものであり、
    前記受信ユニットは、前記通信ネットワークにおいて送信された前記フレーム情報を受信するものである、請求項１〜９のいずれか一項に記載の装置。
11. ある送信機からあるネットワークノードへと送信される、コード化されたフレームを得るために、参照フレームを用いて信号フレームを予測的にコード化する際に、一連のフレーム内で信号フレームと参照フレームとを隔てるフレーム数を表すフレーム情報を生成するフレームコントローラであって、
    前記ネットワークノードは、前記コード化されたフレームをある受信機へ転送するものであり、
    前記信号フレームと前記参照フレームとの間のタイムインターバルが、前記ネットワークノードと前記受信機との間の往復時間以上であって、前記送信機と前記受信機との間の往復時間よりも小さくなるように、前記信号フレームと前記参照フレームとを隔てるあるフレーム数又は最小のフレーム数を表すフレーム情報を生成するフレームコントローラ。
12. 前記ネットワークノードと前記受信機との間の前記往復時間を表すフレーム情報を生成し、ここで前記往復時間は最小のフレーム数の期間を表すものである、請求項１１に記載のフレームコントローラ。
13. 前記ネットワークノードと前記受信機との間の前記往復時間を下回らないタイムインターバルに関連する最小のフレーム数を決定し、前記最小のフレーム数を表すフレーム情報を生成する請求項１１又は１２に記載のフレームコントローラ。
14. 増加又は減少した、前記信号フレームと前記参照フレームとを隔てるフレーム数により、あるフレーム数を決定する請求項１１〜１３のいずれか一項に記載のフレームコントローラ。
15. 予測的なコード化に関連するコード化利得は、前記信号フレームと予測的なコード化に使用される前記参照フレームとを隔てるフレーム数に依存するものであり、
    最大のコード化利得に関連するあるフレーム数を決定する請求項１１〜１４のいずれか一項に記載のフレームコントローラ。
16. 前記ネットワークノードと前記受信機との間の往復時間が変化したときのみ、前記フレーム情報を生成する請求項１１〜１５のいずれか一項に記載のフレームコントローラ。
17. 前記ネットワークノードと前記受信機との間の往復時間に関する情報を前記ネットワークノードから受信する請求項１１〜１６のいずれか一項に記載のフレームコントローラ。
18. 前記送信機へ前記フレーム情報を送信する送信ユニットを備える請求項１１〜１７のいずれか一項に記載のフレームコントローラ。
19. 請求項１〜１０のいずれか一項に記載のコード化された一連のフレームを得るために、一連の信号フレームを予測的にコード化する装置と、
    前記コード化されたフレームをスケジュールするフレームスケジューラと
    を備え、
    予測エンコーダは、一連の信号フレーム内の第ｋ番目の信号フレームと第（ｋ−Ｎ）番目の信号フレームとに基づいて、コード化された第ｋ番目のフレームを提供するものであり、
    受信ユニットは、遠隔ネットワークエンティティから品質情報を受信するものであり、
    前記品質情報は、前記遠隔ネットワークエンティティへ送信される、コード化された第（ｋ−Ｎ）番目のフレームの受信の品質を表すものであり、
    前記コード化された第（ｋ−Ｎ）番目のフレームは、前記第（ｋ−Ｎ）番目の信号フレームと第（ｋ−２Ｎ）番目の信号フレームとに基づいて前記予測エンコーダにより提供されるものであり、
    前記フレームスケジューラは、前記コード化された第（ｋ−Ｎ）番目のフレームの受信においてエラーが生じたことを前記品質情報が表す場合、前記コード化された第ｋ番目のフレームを送信する前に再送信するために、前記コード化された第（ｋ−Ｎ）番目のフレームのコピーをスケジュールするものである、前記コード化された第（ｋ−Ｎ）番目のフレームのコピーを送信する送信機。
20. 請求項１１〜１８のいずれか一項に記載のフレームコントローラを備える請求項１９に記載の送信機。
21. コード化されたフレームを送信機から受信し、前記コード化されたフレームを受信機へ転送するネットワークノードであって、
    前記送信機は、前記コード化されたフレームを得るために、一連の信号フレームを予測的にコード化するものであり、
    コード化された第ｋ番目のフレームは、一連の信号フレーム内の第ｋ番目の信号フレームと、前記第ｋ番目の信号フレームから間隔を置いた参照フレームとから得られるものであって、
    前記ネットワークノードと前記受信機との間の往復時間を測定する手段と、
    前記一連の信号フレーム内の前記第ｋ番目の信号フレームと前記参照フレームとを隔てるあるフレーム数又は最小のフレーム数を表すフレーム情報を前記往復時間に基づいて生成する請求項１１〜１８のいずれか一項に記載のフレームコントローラと、
    前記送信機へ前記フレーム情報を送信する送信ユニットと
    を備えるネットワークノード。
22. 前記ネットワークノードにより前記受信機へ転送された、コード化されたフレームの受信の品質を表す品質情報を前記受信機から受信し、前記コード化されたフレームの受信にエラーが生じたことを前記品質情報が示す場合は、前記コード化されたフレームを前記受信機へ再転送する請求項２１に記載のネットワークノード。
23. 前記コード化されたフレームが、前記コード化された第ｋ番目のフレームを予測的にデコード化するために使用される場合、前記コード化された第ｋ番目のフレームを転送する前に前記コード化されたフレームを再転送する請求項２２に記載のネットワークノード。
24. 前記コード化された第ｋ番目のフレームは、第（ｋ−Ｎ）番目の信号フレームを参照フレームとして使用して、前記第ｋ番目の信号フレームをコード化することにより得られるものであり、
    （Ｎ−１）は、前記第ｋ番目の信号フレームと前記参照フレームとを隔てるフレーム数であり、
    前記フレームコントローラは、前記ネットワークノードと前記受信機との間の往復時間を、（Ｎ−１）個のフレームの期間に関連するタイムインターバルと比較し、前記タイムインターバルが前記往復時間よりも短い場合に前記フレーム情報を生成するものである、請求項２１〜２３のいずれか一項に記載のネットワークノード。
25. 前記フレームコントローラは、（Ｎ−１）個のフレームに関連したタイムインターバルが所定のタイムインターバルだけ前記往復時間を超える場合に、（Ｎ−１）よりも小さいあるフレーム数を表すフレーム情報を生成するものである、請求項２４に記載のネットワークノード。
26. 信号フレームを予測的にコード化することにより得られる、コード化されたフレームをあるネットワークエンティティから受信する受信機であって、
    コード化された第ｋ番目のフレームは、第（ｋ−Ｎ）番目の信号フレームを用いて第ｋ番目の信号フレームを予測的にコード化することから得られるものであり、
    （Ｎ−１）は、第ｋ番目の信号フレームと第（ｋ−Ｎ）番目の信号フレームとを隔てるフレーム数であって、
    前記コード化されたフレームを受信する受信ユニットと、
    前記コード化されたフレームを予測的にデコード化する予測デコーダであって、コード化された第（ｋ−Ｎ）番目のフレームをデコード化することにより得られる、デコード化された第（ｋ−Ｎ）番目のフレームを用いて、前記コード化された第ｋ番目のフレームをデコード化する予測デコーダと、
    前記コード化された第（ｋ−Ｎ）番目のフレームを解析し、前記コード化された第（ｋ−Ｎ）番目のフレームの受信の品質を表す品質情報を生成するアナライザと、
    前記コード化された第（ｋ−Ｎ）番目のフレームの受信にエラーが生じたことを前記品質情報が表す場合、前記コード化された第（ｋ−Ｎ）番目のフレームが再送信されるべきであることを表す再送信要求を前記ネットワークエンティティへ送信する送信ユニットと、
    再送信された、前記コード化された第（ｋ−Ｎ）番目のフレームの受信の時間を決定し、前記再送信された、前記コード化された第（ｋ−Ｎ）番目のフレームが、前記コード化された第ｋ番目のフレームの後に受信された場合は、前記信号フレームを予測的にコード化する際にＮを増加させるべきであることを表す制御信号を生成するコントローラと
    を備え、
    前記送信ユニットは、前記制御信号を前記ネットワークエンティティへさらに送信するものである、受信機。
27. 請求項１１〜１８のいずれか一項に記載のフレームコントローラをさらに備える請求項２６に記載の受信機。
28. コード化された一連のフレームを得るために、一連の信号フレームを予測的にコード化する方法であって、
    コード化された一連のフレームを得るために、一連の信号フレームを予測的にコード化するステップであって、コード化された第ｋ番目のフレームは、第ｋ番目の信号フレームのための参照フレームを用いて、前記第ｋ番目の信号フレームを予測的にコード化することにより得られるものである、ステップと、
    前記第ｋ番目の信号フレームと前記参照フレームとを隔てる最小のフレーム数又はあるフレーム数を表すフレーム情報を受信するステップと、
    前記フレーム情報に基づいてフレーム数Ｎを決定するステップと
    を含み、
    前記予測的にコード化するステップは、前記第ｋ番目の信号フレームのための前記参照フレームとして、前記一連の信号フレーム内の前記第ｋ番目の信号フレームからＮ個のフレームだけ隔てた信号フレームを選択するステップを含むものである、方法。
29. ある送信機からあるネットワークノードへと送信される、コード化されたフレームを得るために、参照フレームを用いて信号フレームを予測的にコード化する際に、一連のフレーム内の前記信号フレームと前記参照フレームとを隔てるフレーム数を表すフレーム情報を生成する方法であって、ここで、前記ネットワークノードは前記コード化されたフレームをある受信機へ転送するものであり、
    前記信号フレームと前記参照フレームとの間のタイムインターバルが、前記ネットワークノードと前記受信機との間の往復時間以上であって、前記送信機と前記受信機との間の往復時間よりも小さくなるように、前記信号フレームと前記参照フレームとを隔てるあるフレーム数または最小のフレーム数を表すフレーム情報を生成するステップを含む方法。
30. 信号フレームを予測的にコード化することにより得られる、コード化されたフレームをあるネットワークエンティティから受信する方法であって、
    コード化された第ｋ番目のフレームは、参照フレームとして第（ｋ−Ｎ）番目の信号フレームを用いて、第ｋ番目の信号フレームを予測的にコード化することにより得られるものであり、
    （Ｎ−１）は、前記第ｋ番目の信号フレームと前記第（ｋ−Ｎ）番目の信号フレームとを隔てるフレーム数であって、
    前記コード化されたフレームを受信するステップと、
    前記コード化されたフレームを予測的にデコード化するステップであって、前記コード化された第ｋ番目のフレームは、コード化された第（ｋ−Ｎ）番目のフレームをデコード化することにより得られる、デコード化された第（ｋ−Ｎ）番目のフレームを用いて予測的にデコード化されるものである、ステップと、
    前記コード化された第（ｋ−Ｎ）番目のフレームを解析し、前記コード化された第（ｋ−Ｎ）番目のフレームの受信の品質を表す品質情報を生成するステップと、
    前記コード化された第（ｋ−Ｎ）番目のフレームの受信にエラーが生じたことを前記品質情報が表す場合、前記コード化された第（ｋ−Ｎ）番目のフレームが再送信されるべきであることを表す再送信要求を前記ネットワークエンティティへ送信するステップと、
    再送信された、前記コード化された第（ｋ−Ｎ）番目のフレームの受信の時間を決定し、前記再送信された、前記コード化された第（ｋ−Ｎ）番目のフレームが、前記コード化された第ｋ番目のフレームの後に受信された場合は、前記信号フレームを予測的にコード化する際にＮが増加されるべきであることを表す制御信号を生成するステップと、
    前記制御信号を前記ネットワークエンティティへ送信するステップと
    を含む方法。
31. コンピュータに、請求項２８〜３０のいずれか一項に記載の方法のうち少なくとも１つを実行させるためのコンピュータプログラム。

Images