JP2007535875A - 適応映像電話システム - Google Patents

Abstract

テレビ電話間の高解像度映像送信を提供するテレビ電話システムは、任意の通信ネットワークを介して送信される圧縮された映像信号及び音声信号を利用し、リアルタイム適応エラー回復と音声及び映像信号間の同期を提供して高品質映像画像及び音響を生成するシステムを有する。システムは、ネットワーク内の状態の変化に対して、若しくは、例えば雑音や線路損失等により生じる可能性があるデータの破壊又は損失によるネットワークエラーに対して、高い性能で回復してリアルタイムに適応し、それにより、ジッタ、信号パケット損失又は遅延若しくは信号劣化を生成する他のエラーを実質的に除去する。

Description

本発明は、概して、ネットワークを通じて圧縮された映像データを送信するための映像電話システムに関し、特に、高品質映像電話通信に対するリアルタイムネットワークエラー回復のための適応システムに関する。

伝統的に、電話と映像通信システムとは二分されていた。従来の電話システム（すなわち、ＰＳＴＮシステム）は、音声通信に適した帯域幅で動作し、典型的には、２利用者間の双方向音声及びデータサービス等の任意のポイント間通信を提供する。その一方で、（ケーブルテレビジョンシステムを含む）映像配信ネットワークは、電話システムよりも遙かに広い帯域幅で動作し、通常、予め決められた高品質かつフルモーションの映像及び音声を複数の加入者に同時に送信するのに用いられる。

長年、音声及び映像通信システムの最良の特徴が適切に組み込まれたならば、完全な対話式の映像電話機が実現可能となるように思われていたため、何年にも渡って、映像電話機は商業開発の題材となっている。最初のテレビ電話は早くも１９３０年代に現れたが、商業的に現実味のあるテレビ電話は、それを開発するのに多大な努力を注いだにも拘わらず、まだ売り出されていない。この原因は、主に、テレビ電話の相対的に高いコスト、設計及び使用の両方でのその複雑性、良質の映像及び音響を同時に提供できないこと、及び、最小限の信号劣化で双方向通信を可能にするネットワーク基礎構造を提供できないことにある。

映像電話機の製造への先の試みは、テレビ電話を稼働するための関連制御装置が一緒になった、ディスプレイモニタ及びカメラが付加された伝統的なビジネス電話デスクセットに似ていた。そのようなデバイスの価格は、典型的には、１０００ドルを超過しており、多くのユーザの手の届くレベルを超えている。しかも、映像通話をするのに少なくとも２つのテレビ電話が必要なことから、この価格は倍加される。さらに、これらのデバイスは大抵かなり大きく、持ち運びできるものではない。

そのような従来のテレビ電話における映像及び音響の品質は、典型的には、大部分の人が通常の通信に期待するものよりも実質的に低い。異なる環境条件若しくは異なる音声特性に順応するために最小限の能力（例えば、周囲の雑音及び音声信号内部のフィードバックをキャンセルすること、両者による同時発生の会話をその呼び出しに適合させること）だけが、あれば提供される。さらに、そのようなデバイスに利用される信号処理であって、結果として生じる音声及び映像信号を圧縮及び解凍するために用いられる技術を含む信号処理は、最適化されておらず、その結果、送信されて受信された映像の品質は、通信システムから期待されるものよりずっと低い。例えば、周囲の明るさの条件が代わると、露光過多又は露光不足のピクチャを生じることがある。ユーザの移動は、（例えば、カメラの視野の限られた範囲の外部等）カメラがユーザの画像を捕えられなくなる可能性と同様に、画像の品質の著しい劣化をも招くことがある。

先行のシステムの複雑性により、利用されている特定の通信ネットワークにテレビ電話を構成するためのセットアップ処理が複雑になる。複数種の通信ネットワークで動作できるテレビ電話でさえ、いかなるネットワークでも「プラグアンドプレイ」であるというには程遠い。さらに、テレビ電話は、イーサネット（登録商標）又は同等の接続を介して利用可能な通信ネットワークに直接接続されうる場所に配置されなければならず、テレビ電話の配置や使用の柔軟性が厳しく制限される。テレビ電話は、典型的には伝統的なＩＰアドレス指定を用いるので、ユーザは標準の電話番号として使い慣れたものとは異なる番号列を入力しなければならない。さらに、典型的には、発信者番号通知、話中着信、発呼転送、電話会議等の電話サービス及びアプリケーションに対する準備がされていない。

テレビ電話は、複数のネットワーク及びネットワーク基礎構造を包含する長距離に渡って動作するよう期待されている。送信の遅延や雑音の存在は信号品質を劣化させる。先行のテレビ電話は、高フレームレートや伝送速度が宣伝されているが、それらは典型的には、通信ネットワークのアップストリーム特性及びダウンストリーム特性により、若しくは、送信中にデータが破壊されるか失われる原因となる損失のあるネットワークにより、それらの速度を達成していない。これは、劣化した画像や音響の品質、ジッタ、音声及び映像間の同期の欠如等を招く。

先行システムにおいて、欠損データパケット等のエラー及び発信源による再送信要求を検出するフィードバックシステムの使用を通じて、劣化された映像、音声及び映像の同期性の損失、ジッタ及び遅延を克服するための試みが成されている。そのようなエラー回復は、受信信号の一次記憶のためのバッファを必要とし、テレビ電話間の任意の通信においても遅延を生じる。このリアルタイム通信の欠如は、テレビ電話システムにおいては容認し難い。

本発明によれば、テレビ電話間の高解像度映像送信が達成されるテレビ電話システムが提供される。圧縮された映像信号及び音声信号は、リアルタイム適応エラー回復並びに音声及び映像信号間の同期を提供して高品質映像画像及び音響を生成するシステムを有する任意の通信ネットワークを介して送信されてもよい。そのシステムは、回復力が高く、雑音や線路損失等によって生じるネットワーク内の状態の変化に対して、若しくはデータの破損又は損失によるネットワークエラーに対して、リアルタイムに適応し、それにより、ジッタ、信号パケット損失又は遅延、若しくは信号劣化を起こすその他のエラーを実質的に取り除く。

テレビ電話システムは、一端において映像源で構成され、他端において映像ディスプレイで構成され、損失を伴う可能性のあるメディアにより接続され、現在の映像を示すデータが映像においてそれより前のピクチャに依存してもよい符号化技術を用いて動作してもよい。そのようなシステムの一例は、それぞれがカメラと、Ｈ．２６４として知られる標準映像圧縮技術を用いて符号化された他の電話からの映像を表示するディスプレイとを備え、但し、信頼出来ないネットワークによって接続された１対のテレビ電話であろう。本発明は、そのようなシステムの品質と信頼性を増加させる方法を提供する。

Ｈ．２６４等の符号化体系は、Ｉスライス、Ｐスライス、ＳＩスライス、ＳＰスライス等の概念を用いる。Ｉスライスは、現在のピクチャ以外のピクチャにおける情報に基づくことなく符号化されたフレームすなわちピクチャのスライスであり、Ｐスライスは１つ以上の前の「基準」スライスに基づくスライスで、「基準」スライスは将来のフレームを符号化するために用いられる符号化されたフレームであり、ＳＩスライスは、特定のＰスライス又はＳＰスライスとして同じ結果のデータを符号化するＩスライスであり、ＳＰスライスは、基準スライスの異なるセットを用いて特定のＰスライス又はＳＰスライスとして同じ結果のデータを符号化するＰスライスである。１つのフレームは１つ以上のスライスで構成されるであろう。

基準スライスは、将来のピクチャを符号化するために基準として用いられる符号化されたピクチャ又はピクチャの部分である。復号化された基準スライスからのデータは、１つ以上の将来のピクチャを正しく復号する必要がある。もし基準スライスが失われたり、損傷を受けたりすれば、１つ以上の将来のピクチャが正しく復号されない。

損失のあるネットワークは、送信中にデータが破壊されたり失われたりする可能性があるものである。そのような損失のあるネットワークは、基準スライスを失わせたり破壊させたりすることによって映像ストリームの崩壊を招き、後続のピクチャを正しく復号できないようにする虞がある。損失のあるネットワークの重大性や悪影響を低減する方法は、本発明の一部分である。

メッセージを保存したりするために映像送信を記録することは、受信したストリーム内で再生時に位置を変えて早送り、巻き戻り及びスキップ等の機能を提供できる能力を要求してもよい。元の受信されたストリームは、これを可能にする機能を備えていないかもしれず、この情報を元の送信に含めるには、ピクチャの品質を下げたり帯域幅使用を増加させたりするであろう。従って、受信後にその情報を追加するための方法は有用である。

映像信号が（例えば、映像メッセージを記録するために）受信端末で記録されるとき、受信された映像は即座に又は後で処理されて、早送り、巻き戻し及び映像ストリーム内の点へのジャンプを可能にするデータを付け加えることができる。一例は、Ｉスライス又はＰスライスのストリームを取り出し、ＳＩ及び／又はＳＰスライスを録画されたストリームに追加するか、若しくは、そこから主ストリームに切り替えたり戻したりできる第２のストリームを生成するかすることであろう。

従って、本発明は、圧縮された映像ストリームを生成して処理し、ストリーム内で起こりうるエラーに対処するための方法及びシステムに方向付けられる。そのストリーム内のデータは、例えばデータがどのくらい重要であるか等に基づいて適応的にエラーから保護されてもよく、そのような保護は二重に提供されてもよいし、他の方法により提供されてもよい。例えばしきい値等の技術を用いる方法は、どのピクチャを基準スライスとして用いるかを選択してエラーから基準スライスを保護することの影響を最小限にするのに使用できる。

映像の品質を最大化するために、画像のどの部分が視聴者にとって最も重要であるかを知り、画像のこれらの部分に重み付けをしてピクチャの認識される品質を最大化することが大切である。重要である領域は、長期間の動きや変化情報を用いることによって、若しくは例えば顔等の物体に対する物体認識を用いることによって決定され得る。これにより、特定のピクチャにおいて重要性の低い領域において動きや変化があったとしても、視聴者にとってより重要である領域により多くのビットを用い、ピクチャの他の領域にはより少ないビットを用いることができる。

望まれるなら、特に、そこではカメラ及び物体がほとんど固定された位置にある「話し手の顔」等の場合に、動きの長期間の履歴を有する領域を符号化するために用いられるように、より多くのデータが映像ストリームのピクチャの異なる領域での動きの量を用いて符号化処理に重み付けを行ってもよい。重み付けされる領域は、例えば顔特徴認識等を用いる等の物体認識を用いて選択されて、「話し手の顔」がピクチャ上のどこにあって、例えば口や目等の特定の顔の特徴がどこにあるかを識別してもよい。前回の送信からのデータは格納されて、重みの初期のセットや他の映像を符号化するための予想データを提供することができる。

望まれるなら、同じ発信源からの前回の発呼からの基準スライスが受信機により保存されることができ、次の送信時、符号器がＩスライスから始めなければならない代わりに送信の開始時に基準スライスを用いることができ、従って、映像品質を改良したり、ビットレートを低減したりすることができる。基準スライスの初期のセットは、いかなる送信も基準スライスを用いて映像品質を改良し若しくはビットレートを低減できるように標準化されてもよい。

本発明によれば、基準スライスの複数のコピーを送信することにより、若しくは、そうでなければ、特に全てのスライスが基準スライスであるとは限らない場合に、前方エラー訂正等の基準スライスを復元する方法を提供することにより、高解像度映像送信を得ることができる。この方法において、基準スライスが回復不能であろうという可能性が低減される。任意数の複数のコピーが送られてもよく、基準スライス間の非基準スライスの数は０を含む任意の数であってもよく、それらの数は映像ストリームにおいて変化してもよい。基準スライスのコピー数及び／又は基準スライス間の距離（即ち時間）は、予期された若しくは実測されたエラーレートのいずれかにより、静的又は動的に決定される。

映像画像は典型的には基準スライスを用いて符号化され、特に、少数の基準スライスが用いられる場合には、コンテンツに拘わらず基準フレームを選択することに代えて、前の１つ又は複数の基準スライスから映像における変化の量を用いることによりどのスライスが基準スライスであるかの選択が行われる。長い期間に渡って映像にほとんど変化が無いならば、新たな基準スライスを選択するためのしきい値を増加させ、変化量が増加すれば、しきい値を減少させるように、この選択が適応可能なしきい値に基づいていてもよい。基準スライスを生成するためのしきい値は、どのくらい基準スライスを追加すれば同じ品質レベルで映像を符号化するためのビット数を減少させることができるかということに対する、どのくらいの余剰帯域幅が基準スライスによって使用されるかに基づく最小値以上に維持される。

符号化された映像ストリームを適応させてネットワークにおいて生じるエラーを克服するために、受信機は、各着信パケットのサイズ及び到着時刻、それらが送信された時間及びそのパケットの見かけ上のいかなる遅延をも記録するようにプログラムされる。例えば低すぎるネットワーク帯域幅によって生じる遅延等、ネットワーク内でエラーが起こっていることを蓄積されたデータが示していれば、受信機は、符号化されたデータパケットのビットレートを低減するようにして使用している帯域幅を減少させることを命じるメッセージを送信機に送信する。

送信機は帯域幅を減少させるためのメッセージを受信すると、新たなデータビットレートを設定するようにして適切にデータストリームを変更することによって応答する。受信機は、受信信号の測定を再開する前に送信機に要求を処理させることができ、処理は繰り返される。システムは、より低いビットレートでセット期間の間うまく動作していれば、低くされたその量のパーセンテージだけビットレートを増加させるようプログラムされてもよい。

本発明のシステムは、映像ストリームからのデータの損失に素早くかつリアルタイムに応答することができるという点で、非常に回復力がある。この回復は、送信される各データパケットが基準スライスであるか否かを記録するように受信機をプログラムすることにより提供される。受信機は、次に、受信した映像ストリームに応答して各パケットが受信されたか受信されていないかを通信し、また、そのパケットの状態を記録し、着信パケット損失の動作中の評価を更新し、損失パケットに基準スライスが含まれていたかどうかを決定する。着信パケット損失の動作中の評価に基づいて、全基準スライスから各基準スライス間の複数の非基準スライスまで変化させ、かつ／若しくはフレームが送信されるレートを変化させる、幾つかの基準スライスと非基準スライスとの取り得る混合物のうちの１つを送信するよう、送信機が調整される。必要に応じてシステムの回復が増大され若しくは減少されてシステムを調整することによって取り得る最大の映像品質を生成するように、スライスの混合物がネットワークの条件が変化するのに伴って動的に変化される。

本発明は、その好適実施形態を代表するテレビ電話システムの観点から記載されているが、本明細書に記載されたその方法、技術及び処理が、他の同様の通信システムにも適用され得ることは理解されるであろう。

本発明の前述の及び追加の目的、特徴及び利点は、その好適実施形態の以下の詳細な記載から、添付の図面とともにより良く理解されるであろう。

次に、本発明のより詳細な説明を見ていく。図１において、ブロック図の形式でテレビ電話システムの簡易版が例示される。図１において、第１のテレビ電話１０が起動されて、ケーブル、無線ネットワーク等のいかなる所望の通信経路を組み込んでもよいネットワーク１４を経由して、映像及び音声信号を受信機１２に送信する。受信機１２は、好ましくは、テレビ電話１０によって受信される映像及び音声信号を送信することもできる。周知のように、任意数のテレビ電話がネットワークに接続されてもよい。

ネットワーク１４は、通常、理想的ではなく、遅延や雑音を生じ、若しくは送信されているデータを破壊し、劣化された画像や送信される音声及び映像信号の同期の損失を招くことが予想される。本発明の第１の特徴は、破壊された若しくは失われたデータのリアルタイム訂正を提供することにより、付随の音声信号と同期した高解像度の映像画像を生成して強化されたテレビ電話通信を生成することである。

映像送信システムは、典型的には、ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−４パート１０、Ｈ．２６４及びＨ．２６Ｌとして認識される周知の規格のうちの１つに従う標準映像圧縮技術を用いる。本発明のテレビ電話システムは、好ましくは、Ｈ．２６４規格を利用し、従って、以下の記載はその規格に基づくであろう。

映像圧縮のためのＨ．２６４規格は、前回の画像フレームを用いて、連続する画像間の差を符号化する後続のフレームを有する現在のデータを符号化する。図２に例示されるように、１６で示されるように第１のフレームＡが送信機１０で選択され、１８で示すように符号化される手順を開始する。符号化されたデータは、ネットワーク１４を介して受信機１２内の復号器２０に送信され、そこでは、フレームＡ若しくはフレームＡに近い近似が表示又は記録若しくはその両方のために２２で再生される。フレームＡにより表される画像の符号化は、画像Ａをデジタル的に量子化することによって実行されて、例えば１７６×１４４ピクセル等の所与の解像度のフレームを生成してもよい。フレームは、それぞれが典型的には１６ピクセル×１６ピクセルであり、Ｈ．２６４ベースラインプロファイル規格を用いて符号化された一連のマクロブロックに分割される。符号器１８は、第１のフレームに対する全てのマクロブロックを圧縮してデータパケットを生成する。ストリーム内の第１のデータパケットは、典型的には前のフレームデータのいずれも参照しないＩスライスとして符号化され、図３において２４で示される。Ｉスライスデータパケットは、送信され、受信機で復号化され、ディスプレイラスタ走査で用いられてフレームＡを再生する。

後続のフレームが符号化されるが、送信される必要のあるデータ量を低減するために、前のフレームと次の連続するフレームとの差のみが符号化される。後続の符号化されたフレームは、画像の予測スライスとして見なされるデータパケットであり、図３において、２４，２６，２８，３０，３２及び３４でＰスライスＰ_１〜Ｐ_Ｎとして例示される。Ｈ．２６４規格下では、典型的には、各前回のＰスライスが現在のフレームを符号化するのに用いられて送信用のＰスライスを生成する。符号器及び復号器は共に各フレームの復号化されたデータを格納する。

ＰスライスＰ_Ｎの符号化は１つ以上の前のフレームに依存するので、データパケットのうちの１つが損失のあるネットワークによって破壊された場合、後続のデータパケットが誤りなしに復号化されることができない。先行のシステムにおいて、パケットが失われたり破壊されたりした場合、受信機１２が送信機１０にフィードバック信号を送って、典型的にはＩスライスを用いて行われるリカバリ送信を要求する。リカバリＩスライスの送信は、典型的には通常のＰスライスよりも遙かに多いビットを用いるため、遅延及び／又は帯域幅使用の増加を招く。本発明によれば、そのような遅延及び／又は帯域幅使用の増加は、前もって知らされた正しく復号されたフレームに基づくＰスライスを介してリフレッシュを送信することによって回避される。従って、例えば、パケットＰ_２及びＰ_３がネットワーク１４内で雑音により破壊された場合、パケットＰ_４はＰスライスＰ_１によって表されるデータパケットに含まれるデータに基づいて、若しくは、場合によっては、Ｉスライス２４によって表されるデータパケットに基づいて符号化されるであろう。このことは、リカバリＰスライスは典型的には通常のＰスライスと同様のサイズであるので、いかなる追加の帯域幅使用及び／又は遅延もなく、リフレッシュを行わせることができる。

本発明によれば、ストリームに、損失のあるネットワーク１４により生じる損失に対してより回復力を持たせるために、基準スライスとして選ばれた特定のスライスが変更され得る。非基準スライスの損失は回復を必要としない。基準スライスであるスライスの数は、テレビ電話通信セッションの間、基準スライスが選ばれた周波数であって、ネットワーク及び使用可能なネットワーク帯域幅の外乱の特性及び周波数等の問題に依存かつ応答する周波数を伴って適応的に変化してもよい。従って、ストリーム内の基準スライス数が少なくなるにつれて、システムがリカバリ送信を必要とする可能性が低くなる。例えば、ネットワーク内で起こるエラーが多くなるにつれて、基準スライスが送られる回数が減り、これは送信中絶えず変化して受信機での映像品質を維持し得る。この基準周波数調整は、受信機から送信機へのフィードバック信号に応答しても行われてもよい。

本発明の他の形態において、図４に例示されるように、例えばＲ、即ち基準スライスパケット３０等のデータパケットの複製（コピー）によりエラー回復が強化される。この実施形態において、重要なデータパケットは、２回以上送信されてデータが正確に受信されること、及び、後続のＰスライス３２，３４，３６等が正確に符号化されかつ復号されることを確実にしてもよい。非基準スライス数は、上述のように、他の基準スライス３８が生成されて２回以上送信される前に変化され得る。若しくは、基準スライスを２回以上送信する代わりに前方エラー訂正の他の形態を使用することができる。

ネットワーク条件に基づく適応データ送信の上述の技術は、基準スライスの選択が予め決められていた先行のシステムを改良する。従って、ネットワーク条件の変化に対する送信機の動的適応は、改善された画像品質を提供する。

本発明のシステムは、図５においてパケット４０〜４７により示される着信テレビ電話呼び出しが受信機で若しくはデータセンターで後の再生のために格納される映像メッセージングに適合する。格納処理において、図５において４８及び４９で例示されるＳＰ_１、ＳＰ_２等、及び、５０で示されるＳＩを組み込んでいるデータの２番目のストリームは、受信機が記録されたメッセージの部分を再生できるようにする。データパケットＳＰ_１、ＳＰ_２等は、記録されたメッセージの早送りを可能にし、ＳＰ_１データスライスに続くどのＰスライスデータパケットでも再生開始でき、例えば、Ｐ_４で再生を開始できる。基準データ切り替えパケットＳＩは、記録されたメッセージをそのパケットの位置に巻き戻すことを可能にし、例示されるように、データパケットＰ_６で再生を開始できる。このデータパケットのトランスコーディングは、受信機であるテレビ電話が送信機であるテレビ電話からのメッセージを記録し、選択的に再生できるようにする。

本発明に係るテレビ電話システムのより詳細な例が図６の６０に示され、ここでそれについて説明する。システムは、第１及び第２のテレビ電話６２及び６４を含み、共に、共通のネットワーク６６を介して音声及び映像信号を送受信できる。ネットワークは、圧縮された映像及び音声信号が伝送される任意の通信ネットワークでもよく、公的又は私的のいずれでも良い。第１のテレビ電話６２は、従来の映像カメラ６８と従来の映像ディスプレイ７０とを組み込む一方、第２のテレビ電話６４は、同様に映像カメラ７２及び映像ディスプレイ７４とを組み込む。テレビ電話はまた、それぞれ適切な音声トランスデューサ７６及び７８を組み込む。送信される画像に対応するカメラ６８からの映像信号は、上述の方法で符号器８０において符号化され、テレビ電話内の従来の送信機（図示せず）により出力ライン８２を介してネットワーク６６に送信される。テレビ電話６２により送信されたデータは、テレビ電話６４により、ネットワークから入力ライン８４を介してテレビ電話６４内の復号器８６へ入力される。復号器は、上述の方法で、入力された信号に従って動作することによって、ディスプレイ７４上に表示される出力を生成してカメラ６８により検出された画像を再生する。復号器は、受信されたデータを追跡し、ライン９０、ネットワーク６６及びライン９２を介してその受領を認知し、符号器８０へフィードバック情報を提供して、上述したように、復号器で検出されたネットワークの問題に対する、送信された基準データパケット周波数の適応化を可能にする。

同様にして、テレビ電話６４は、カメラ７２から画像を受信し、上記の方法により符号器９４でそれらを符号化し、ネットワーク６６及び入力ライン９８を介して出力ライン９６を経由して結果的なデータパケットをテレビ電話６２の復号器１００に送信して、ディスプレイ７０上に送信された画像を表示する。復号器は、受信機のデータパケットを追跡し、ライン１０２、ネットワーク６６及びライン１０４を介してフィードバック承認信号を符号器９４に送信して、ネットワークの問題に応答して符号器出力を調整できる。

リアルタイム制御プロトコル（ＲＴＣＰ）規格は、復号器及び符号器間のフィードバックデータを提供するために用いられる。符号器は、ＲＴＣＰに応答し、符号化処理において何の変化が必要とされるかを決定する。例えば、符号器は、データパケットの周波数を減少させることによりパケット損失に応答し、若しくは、新しい基準データパケットを即座に送信することにより、エラー信号に応答してもよい。符号器は、どのフレームが基準スライスであるかを追跡し、フィードバック信号が、データが失われたことを示すとき、符号器はリカバリ送信が行われる必要があるかを決定し、必要であるならば、Ｐスライスを介してリカバリするかＩスライスを介してリカバリするかを決定する。各符号器は、所望のデータパケット手順を生成するように制御され、復号器は、応答して高品質画像を再生する。復号器は、十分なメモリを組み込むことにより、必要とされるフレームを格納できるであろう。

各トランスデューサ７６及び７８から受信された音声信号は、従来の方法で、ネットワーク６６を介してテレビ電話間で送信される。音声信号は、映像信号との同期のために重畳されたタイミング信号を伝送する。本発明の好適な形態において、映像及び音声データは、同じタイミング信号を伝送し、受信端末で映像信号が音声信号に従属する。もしネットワーク内の問題によって同期性が失われているならば、例えば、映像フレームは、受信機においてスキップされるか若しくは繰り返されて、音声との同期性が回復される。

図７に例示されるように、本発明の好適形態において、テレビ電話６２の映像ディスプレイ７０は、テレビ電話６４からの映像を受信機の位置１０５で表示するだけでなく、さらにライン１０６を介して接続されることによりテレビ電話６２により送信されているカメラ６８からの映像１０７を表示する。同様に、カメラ７２によって検出された画像をテレビ電話６４で表示するように、カメラ７２がライン１０８を介してディスプレイ７４に接続される。このことにより、各テレビ電話のユーザは送信されている映像を監視することができる。

望まれるなら、ブロードバンドモデム、即ちサーバ１１０がネットワーク６６を介してテレビ電話の一方又は両方に接続されることにより、データ又は画像を単一のテレビ電話に供給してそのテレビ電話を独立型の受信機として動作させることもできる。

本システムにおいて用いられるテレビ電話受信機の動作の適応モードが図８、図９及び図１０のフロー図に例示され、ここでそれについて説明する。このモードにおいて、受信機（例えばテレビ電話６４等）は、図８のブロック１２０に記載されるように、まず初めに、各着信データパケットのサイズ及び到着時刻、そのパケットが送信された時間（典型的にはリアルタイムプロトコル（ＲＴＰ）タイムスタンプ）、そのパケットと前回のパケットとの間の時間差、及びそのパケットの見かけ上の遅延を記録する。

パケット到着時刻／サイズの列が検出され、その列は検査されてそのパケットが通ってきた幾つかのリンクが使用しようとしているテレビ電話よりも低い帯域幅を有しているかどうかを決定する。これは、パケットが、そのパケットのサイズに一致した量によりだんだん遅く到着するかどうかを暗に意味している。

到着時刻通りに十分なデータが蓄積されていて（図８のブロック１２２）、かつ、平均の到着時刻が、複数のパケットが送信されたときのパケット間の時間よりも長く、かつ、送信されたパケットのビットレートの調整が最後に要求された時から一定の時間期間が経過しているならば、受信機は、ＲＴＣＰ「ユーザ」メッセージ又はその他のバックチャンネル又はフィードバック信号を介して送信機に伝え、使用されている帯域幅を減少させる（ブロック１２４）。この時点でより狭い帯域幅への要求は記録され、送信機が帯域幅を変更する要求を処理するための時間を持てるように、定義された期間（例えば１／２又は１秒等）の間、到着データは蓄積されない（ブロック１２６）。

送信機が、帯域幅を減少させることを命じるＲＴＣＰ「ユーザ」メッセージ又は他のバックチャンネルメッセージを受信すると（図９のブロック１２８）、送信機は、以下の仕組みのうち１つ以上を用いて（ブロック１３０）使用されている帯域幅を減らしてもよい。ａ）圧縮率を増加させる。ｂ）フレーム解像度を修正する。ｃ）パケットレートを減少させる。ｄ）メディアチャンネル（映像及び／又は音声）を再調整する、若しくは、予め取り決めされた代替チャンネルを用いる。

送信機が帯域幅を変更する量は、全てのオーバヘッド（例えばＩＰ及びＲＴＰオーバヘッド等）を含むであろうし、送信機は、新たなビットレートを、到着時刻が示唆するビットレートよりも低い一定のパーセンテージに設定する。例えば、データパケットが、３３ｍｓ毎に送られていて、同サイズで、平均４４ｍｓ毎に到着しているならば（即ち、各パケットが前のものよりも遅延している）、これは、そのパケットが通った幾つかのリンクが、送信されているレートのおよそ４分の３の最大帯域幅を持つことを暗に意味するだろう。この到着レートを特定するＲＴＣＰ「ユーザ」パケットは、送信機に対して送られて処理されるであろう。送信機は、その全体のビットレート（ＩＰ及びＲＴＰオーバヘッドを含む。）をそれまでのビットレートの４分の３よりもいくらか低い値にまで減少させるであろう。

もしシステムが、例えば４秒等の期間、より低いビットレートでうまく動作しているならば（図１０のブロック１３２）、帯域幅は、通常、低くされたその量のあるパーセンテージ（例えば２５％）だけ増加される（ブロック１３４）。若しくは、使用される帯域幅は、初期の帯域幅を下回るかどうかに拘わらず、増加され得る。

エラーに応答する本システムの回復は、図１１のフロー図に例示される。図示されるように、各パケットが送られると、送信機は、それが基準スライスであったかどうかを記憶し、次いで、受信機からの肯定応答（ＡＣＫ）及び／又は否定応答（ＮＡＣＫ）の報告を介して、送られた各パケットが受信されたと通知されたか、失われたと決定されたかが決定される（図１１のブロック１４０）。送信機は、パケットが失われたか受信されたかを記録し、着信パケットの損失の動作中の評価を更新し（ブロック１４２）、失われたパケットが基準スライスを含んでいたかどうかを決定し（ブロック１４４）、そうであれば、送信機の統計値を更新し（ブロック１４６）、受信されたと通知された基準スライスが利用出来るかどうかをと決定する（ボックス１４８）。もしそうでなければ基準スライスが伝送され（ボックス１５０）、そうであればＰスライスが伝送されるであろう（ボックス１５２）。

エラー回復における最後の変化から一定のミリ秒数が経過した場合（ボックス１５４）、送信機は、どの複数の回復パラメータがこの期待される損失のレベルに適切であるかを決定し、符号器の設定が適切に変更される（ボックス１５６）。

本発明の１つの形態において、符号器では以下の設定（モード）又は回復レベルが利用できる。
１．純粋なＰスライスストリームで、全て基準スライスである。
２．１つおきのＰスライスが基準スライスである。
３．２つおきのＰスライスが基準スライスである。
４．３つおきのＰスライスが基準スライスである。
５．３つおきのＰスライスが基準スライスで、かつ基準スライスが複数回送信される。
６．４つおきのＰスライスが基準スライスで、かつ基準スライスが複数回送信される。
７．Ｎ−１個おきのスライスがＩスライスで、Ｐスライスは基準として用いられず、フレームレートを毎秒１５フレームに低減する。
８．全てＩスライスのモードで、フレームレートは毎秒１０フレームに低減される。
望まれるならば、さらなるモードが提供されてもよく、基準スライスであるフレーム数が最良の主観的結果を生成するように変更されてもよい。

異なる回復レベルを選択するために用いられる正確な損失レベルは、システムに対する同調パラメータである。例えば、本発明の１つの実施において、損失レベルは、上記回復モード１〜８に対して、それぞれ３％未満、３％、５％、１０％、１５％、２０％、３０％及び５０％であってもよい。若しくは、回復モードを決定するための固定の損失パーセンテージに代えて、どのくらいの頻度で、及び、どのくらいの間、基準スライスの欠損が原因で表示機での映像が不正であったかを計数することによって、モードが動的に決定され得る。

例えば１秒に１回の基準スライスの欠損等、受信されたデータから基準スライスが欠損する頻度がしきい値よりも高い場合、システムは応答して回復レベルを上げる。例えば２秒に１回の基準スライスの欠損等、基準スライスが欠損する頻度がしきい値より低い場合、システムは応答して回復レベルを下げる。あるスライスが基準スライスであるかどうかは、（３フレーム毎等の固定の頻度とは対照的に、）カメラ画像におけるシーンの変更、即ち１つのフレームから別のフレームへの動きの量に依存してもよい。この特徴は、上記８回復レベルのいずれと組み合わされてもよい。

受信機で表示される画像の品質は、テレビ電話を介して通信している人の顔が重要性のより低い背景に対して強調されるように、画像フレームの部分を重み付けすることによって改善することができる。動きのある領域は、画像の静的な部分に対して強調されてもよく、即ち、画像認識技術を採用して、例えば、顔、若しくは、目や口等の顔の部分等、特定の特徴を強調してもよい。一旦重要な領域が識別されたら、受信機での画像の品質が最大化されるように、画像の量子化ファクタ（どのくらいの情報が伝達され続け、どのくらいの情報が破棄されるか）が調整され得る。

単一のテレビ電話は受信機として用いられ、サーバ１１０（図６）等の発信源等から送られる、例えば、定期的にＩスライスを送信してエラー回復を保証するであろう天気チャンネル、交通情報等であり得るデータを受信することができることは留意されたい。

２つのテレビ電話がネットワーク上で通信しているとき、それらは同じ解像度即ちビットレートで動作する必要は無く、それらは、接続しているネットワークで発生しているエラーにそれぞれ適応して不均整で動作できる。各テレビ電話は、最良の接続を提供するビットレートで動作し、このことは、部分的にそれぞれのネットワーク接続に依存するかもしれない。例えば、特定の電話が送信に利用できる帯域幅よりも高い帯域幅で受信することを可能にする接続を有していてもよい。

本発明は、好適実施形態の観点で記載されているが、添付の特許請求の範囲において提示されるように、多数の変形及び変更が本発明の真の精神及び範囲から逸脱することなく成されうることは明らかである。

テレビ電話送信システムのブロック図である。 本発明のデータ符号化処理のブロック図である。 本発明に係る第１の画像符号化技術の概略図である。 記録された画像信号の回復のための第２の符号化技術の概略図である。 データ格納及び再生のための復号化処理の概略図である。 図１のテレビ電話通信システムのより詳細な概略図である。 本発明に係るテレビ電話ディスプレイの概略図である。 本発明の適応受信機及び適応送信機側の処理を概略的に例示する。 本発明の適応受信機及び適応送信機側の処理を概略的に例示する。 本発明の適応受信機及び適応送信機側の処理を概略的に例示する。 本発明のエラー回復処理を概略的に例示する。

Claims (23)

1. それぞれが、符号器及び送信機に接続されたカメラとディスプレイに接続された復号器とを備えた第１及び第２のテレビ電話と、
   映像通信のために前記テレビ電話の符号器と復号器とを相互接続するネットワークとを備え、
   前記符号器は、前記通信においてネットワーク性のエラーに適応的に応答して、リアルタイムエラー回復を提供するテレビ電話システム。
2. 前記送受信機のための前記符号器は、前記通信ネットワークを介して圧縮された音声及び映像信号を送信する請求項１のシステム。
3. 前記音声及び映像信号は同期している請求項２のシステム。
4. 前記各符号器は、その符号器の対応するカメラからの画像映像信号に応答してその画像を表すデータを生成する請求項１のシステム。
5. 現在の画像を表すデータは、前の画像を表すデータに依存している請求項４のシステム。
6. 前記第１の送受信機の復号器は、前記第２の送受信機の符号器と通信し、
   前記符号器は、前記通信ネットワークの状態の変化に応答して前記符号器をそのような変化に適応させる手段を含む請求項５のシステム。
7. 前記変化に応答する手段は、送信されたデータに対する帯域幅要求を変化する手段を含む請求項６のシステム。
8. 前記帯域幅要求を変化する手段は、送信された映像画像信号の圧縮比を増加させることと、送信された映像画像のフレーム解像度を変更することと、送信され符号化された映像画像データのパケットレートを低減することと、若しくは前記通信ネットワークを変化させることとを含む複数の帯域幅変更手順の群の少なくとも１つを含む請求項７のシステム。
9. 前記各符号器は、第１の映像画像フレームを表す映像信号に対応する第１のデータパケットを生成する手段と、後続の映像画像フレームを表す映像信号に対応する複数の追加のデータパケットを生成する手段とを含む請求項４のシステム。
10. 前記複数の追加のデータパケットは、前記第１の画像フレームと前記後続の画像フレームとの差のみを表す請求項４のシステム。
11. 前記第１のデータパケットは、後続の各データパケットの基準であって、
    複数の基準データパケットは所定の周波数で生成される請求項１０のシステム。
12. 符号器により複数の基準パケットが生成される前記周波数は、前記ネットワーク性のエラーに応答して前記符号器により適応的に変えられる請求項１１のシステム。
13. 前記第１及び第２の送受信機は映像電話である請求項１のシステム。
14. 前記通信ネットワークは、データの破損又は損失によって映像通信における複数のエラーを生成する請求項１のシステム。
15. 前記適応応答符号器及び復号器は、前記通信ネットワークにおけるデータの破損又は損失にリアルタイムに応答して前記エラー回復を提供する請求項１４のシステム。
16. 前記エラー回復は、予め送信された基準データに基づく請求項１５のシステム。
17. 前記各送受信機において、受信された映像を格納若しくは表示する手段をさらに含む請求項１のシステム。
18. 通信ネットワークを介して画像を表す圧縮された映像データ信号を送信することと、
    前記映像データ信号におけるネットワーク性のエラーを検出することと、
    リアルタイムに前記映像データ信号を適応的に変化させてエラー回復を提供することと、
    前記画像を格納又は表示することとを含む高解像度映像通信方法。
19. 圧縮された映像信号を送信することは、
    一連の映像画像フレームを取得することと、
    第１のフレームを符号化して複数の映像データ信号の第１のパケットを生成することと、
    後続のフレームを符号化して、対応する後続の複数の映像データパケット信号を生成することと、
    前記通信ネットワークに順次前記複数のデータパケット信号を供給することとを含む請求項１８の方法。
20. 複数の映像データ信号の前記第１のパケットを符号化することは、基準フレームパケットを生成し、
    複数の映像データ信号の後続の各パケットを符号化することは、後続のフレームとその直前のフレームとの差を表す符号付きパケットを生成する請求項１９の方法。
21. リアルタイムに前記複数の映像データ信号を適応的に変化させることは、ネットワーク性のエラーの検出時、複数の映像データ信号の後続のパケットを符号化して、後続のフレームと、前記基準フレームとの差を表す信号パケットを生成することを含む請求項２０の方法。
22. 後続のパケットのセットに対する複数の多重フレーム基準パケットを生成することをさらに含む請求項２１の方法。
23. 後続の複数のフレームデータパケットのセットに先行する基準データパケットを反復的に生成することをさらに含み、
    エラー回復を提供することは、複数の基準フレームデータパケットが生成される周波数を変えることを含む請求項２１の方法。

Images