JP2007529125A - 異なるコーデックを用いてメディア信号を圧縮するためのシステム及び方法 - Google Patents

Abstract

入力モジュール（図３の３０２）は、宛先システム（２０４）に伝達されるべきメディア信号を得て、その後、識別モジュール（３０４）は、メディア信号内で複数のシーンを識別する。選択モジュール（３０６）は、少なくとも２つのシーンをそれぞれ圧縮するためにコーデックライブラリから異なるコーデックを自動的に選択する。コーデックは、自動的に選択され、目標データレートを超えないという基準に応じて、それぞれのシーンに対して最高の圧縮品質を生成する。それから、圧縮モジュール（３１０）は、自動的に選択されたコーデックを用いて、前記シーンを圧縮し、その後、出力モジュール（３１２）は、どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、圧縮されたシーンを宛先システム（２０４）に送出する。

Description

本発明は、概して、データ圧縮の分野に関するものである。特に、本発明は、ビデオ及びオーディオ信号の圧縮を最適化するための技術に関するものである。

通信時代において、バンド幅は金である。ビデオ及びオーディオ信号（以下、「メディア信号」）は、所望の伝送品質に依存して、膨大な量のバンド幅を消費する。その結果、データ圧縮は通信においてますます重要な役割を果たしている。

従来、通信に関連する者は、メディア信号を圧縮及び、解凍するための特定のコーデック（圧縮器／解凍器）を決定する。多種多様なコーデックが利用できる。コーデックの一般的な分類の中には、離散コサイン変換（ＤＣＴ）あるいは「ブロック」コーデックと、フラクタルコーデックと、ウェーブレットコーデックとがある。

幾つかのコーデックは、「無損失コーデック（可逆コーデック）」、すなわち、圧縮プロセスの間にデータの損失がないというコーデックである。圧縮されたメディア信号は、受信され、可逆コーデックにより解凍されると、元のメディア信号と同一になる。しかし、大部分の商用のコーデックは「不可逆」であり、元のメディア信号の劣化をもたらす。

不可逆コーデックにとって、圧縮「品質」（すなわち、圧縮されたメディア信号が、解凍後に元のメディア信号にどのくらい似ているか）は、コーデックごとに相当異なり、例えば、使用できるバンド幅の量、通信回線の品質、およびメディア信号の特性などに依存し得るものである。別の圧縮測定基準、すなわち、パフォーマンス（性能）は、元の信号ではなく圧縮された信号を伝送するのに必要なバンド幅の量に関係がある。一般的に、不可逆のコーデックは、可逆のコーデックよりよいパフォーマンスをもたらし、それゆえ不可逆のコーデックが、大部分のアプリケーションで好まれている。

コーデックの設計者は、一般的に、幅広いオペレーティングパラメータにわたって高品質の圧縮出力を生成するコーデックを作るように試みる。ＭＰＥＧ−２のようなコーデックは一般的な有用性のために広範囲に受け入れられてきたが、あらゆる目的に完全に適したコーデックはない。各々のコーデックは、個々の強みと弱みを有する。

従来、全通信セッションの間、あるいは、記憶媒体（例えば、ＤＶＤ）にわたって等しく、同一のコーデックを使用してメディア信号の圧縮と解凍を行う。しかし、メディア信号は固定量ではない。例えば、ビデオ信号は、シーンごとに相当変化し得るものである。同様に、利用できるバンド幅、あるいは回線品質は伝達の過程において変化し得るものである。最初に間違ったコーデックを選択することは、メディア信号を伝送したり、格納するのに必要なバンド幅の観点で手痛い誤りになりうる。

以下、図面を参照するが、同様の参照符号は同様の要素を示す。明確にするために、参照符号の最初の桁は、対応する要素が最初に使われた図面の番号を示している。

以下の説明において、プログラミング、ソフトウェアモジュール、ユーザーセレクション、ネットワークトランザクション、データベースクエリー、あるいはデータベースストラクチャーなどの多数の詳細な説明は、本発明の実施形態の完全な理解のために提供される。しかし、当業者は、本発明が、１つ以上の詳細な説明を用いずとも、その他の方法、構成要素、あるいは機材などを用いて実行できるということを認識するだろう。

いくつかの場合において、公知の構造、機材或いは動作は、本発明の態様を曖昧にするのを避けるため詳しく説明しない。さらに、説明する特徴、構造或いは特性は、何らかの適切な方法で、１つ以上の実施形態上で組み合わせることができる。

図１は、メディア信号をソースシステム１０２から宛先システム１０４に伝達（通信）するための従来システム１００のブロック図である。ソースシステム１０２と宛先システム１０４とは、例えば、パーソナルコンピュータ（ＰＣ）、ケーブルか衛星のセットトップボックス（ＳＴＢ）、あるいは個人用携帯情報端末（ＰＤＡ）や携帯電話のような映像可能の携帯装置として多種多様に具体化できる。

ソースシステム１０２の内部で、ビデオカメラ１０６あるいは他の装置は元のメディア信号１０８を取り込む。コーデック（圧縮器／解凍器）１１０は、元のメディア信号１０８を処理し、圧縮されたメディア信号（圧縮メディア信号）１１２を生成し、その圧縮メディア信号は、ローカルエリアネットワーク（ＬＡＮ）やインターネットのようなネットワーク１１４を介して宛先システム１０４に送出されうる。あるいは、圧縮メディア信号１１２は、ＣＤ、ＤＶＤ、フラッシュメモリ装置などの記憶媒体に記録されうる。

宛先システム１０４において、同一のコーデック１１０はネットワーク１１４を通じて受信した圧縮メディア信号を処理し、解凍されたメディア信号（解凍メディア信号）１１６を生成する。その後、宛先システム１０４は、解凍メディア信号１１６をテレビやコンピュータモニタのようなディスプレイ装置に提示する。

従来、ソースシステム１０２は、単一のコーデック１１０を使用して、通信セッションの間において、あるいは、特定の記憶媒体に対して、全てのメディア信号１０８を処理する。しかし、上述したように、メディア信号は固定量ではない。ビデオ信号は、シーンごとに相当変化し得るものである。単一のコーデックはある条件下ではよく機能し得るが、異なる状況下ではよく機能しないこともある。使用できるバンド幅、回線状態、あるいはメディア信号自体の特性の変化は、異なるコーデックならより良くできるというくらいまで、圧縮品質を大幅に変え得るものである。コンテンツ開発者は、例えば、あるコーデック１１０が別のコーデック１１０よりも優れていることを知っている場合などでは、メディア信号１０８の途中におけるコーデック１１０の変更を手動で指定できる場合もある。しかし、このことはかなりの人手を必要とし、リアルタイムでは実行できない。

図２は、本発明の実施例に係る、ソースシステム２０２から宛先システム２０４へメディア信号を伝達（通信）するための代替のシステム２００のブロック図である。前と同様に、ソースシステム２０２は、ビデオカメラ１０６やその他の適切な装置によって取得された元（オリジナル）のメディア信号１０８を受信する。

しかし、図１のシステム１００と異なり、図示したシステム２００は、通信セッションの間において、あるいは、特定の記憶媒体に対して、単一のコーデック１１０を使用することには制限されていない。むしろ、以下により詳細に記載するように、元のメディア信号１０８の各々のシーン２０６やセグメントは、複数のコーデック１１０の中から１つを使用して圧縮されることができる。シーン２０６は、元のメディア信号１０８の１つ以上のフレームを含むことができる。ビデオ信号の場合、フレームは、連続するメージ（画像）の中で１つのイメージを指す。しかし、より一般的には、フレームは、通信に使用されるパケット情報を指す。

本明細書で使用するように、シーン２０６は、メディア信号１０８の固定のセグメント、例えば、２秒のオーディオ／ビデオフレームや固定数のフレームに対応し得るものである。しかし、他の実施例において、シーン２０６は元のメディア信号１０８の特性によって定義され得るものである。すなわち、シーン２０６は、類似した特性を共有する２以上のフレームを含み得る。元のメディア信号１０８の１つ以上の特性が現在の閾値を越えて変化する場合、ソースシステム２０２は新しいシーン２０６の開始を検出し得るものである。こうして、ビデオカメラ１０６が静止物に焦点を合わせる間、シーン２０６は、カメラ１０６や対象物やそれら両方が動くまで続くだろう。

図示するように、同一のメディア信号１０８内の２つの隣接したシーン２０６は、異なるコーデック１１０を用いて圧縮され得るものである。コーデック１１０は、例えば、離散コサイン変換（ＤＣＴ）のような同一の一般的なタイプ、あるいは、異なるタイプでもよい。例えば、あるコーデック１１０ａはＤＣＴコーデックで、一方、別のコーデック１１０ｂはフラクタルコーデックで、さらに別のコーデック１１０ｃはウェーブレットコーデックでもよい。

従来システム１００と異なり、図２のシステム２００は、利用できるコーデック１１０から、各々のシーン２０６を圧縮するのに最も適した特定のコーデック１１０を自動的に選択する。選択プロセスの詳細は、以下により詳細に記載する。しかし、簡潔にいうと、システム２００は、どのコーデック１１０が、特定の特性を有するシーン２０６に使われるのかを「記憶する」。後続のシーン２０６が、同一の特性を有すると判断した場合は、同一のコーデック１１０を使う。しかし、シーン２０６が、以前に観測されたのと実質的に異なる特性を有することがわかった場合は、システム２００は様々なコーデック１１０をシーン２０６に対してテストし、特定の目標データレートに対して最も高い圧縮品質（すなわち、圧縮メディア信号２１０が解凍の後、元の信号１０８にどのくらい似ているか）を生成するコーデック１１０を選択する。

さらに、ソースシステム２０２は、宛先システム２０４に、どのコーデック１１０を使用して各々のシーン２０６を圧縮したのかを報告する。図示するように、このことは、結果として生じる圧縮メディア信号２１０において、コーデック識別子２０８を各々のシーン２０６に関連付けることによって達成される。図示するように、コーデック識別子２０８は、各々のシーン２０６に先行し、あるいは、伝送中のある時点でブロックとして送信されうる。コーデック識別子２０８の正確なフォーマットは、本発明にとって重要ではなく、当業者に知られている標準のデータ構造を用いて実施することができる。

宛先システム２０４は、コーデック識別子２０８を使用し、それぞれのシーン２０６を解凍するのに適切なコーデック１１０を選択する。結果として生じた解凍メディア信号１１６は、それから、前述したように、ディスプレイ装置１１８に提示される。

図３は、ソースシステム２０２のさらなる詳細を説明している。ある実施例において、入力モジュール３０２は、元のメディア信号１０８をビデオカメラ１０６かその他のソースデバイス（供給元装置）から受信する。識別モジュール３０４は、元のメディア信号１０８をシーン２０６に分割し、以下により詳細に記載するように、各々のシーン２０６の様々な特性（図示せず）を識別する。

その後、各々のシーン２０６に対して、選択モジュール３０６は特性（あるいは、シーン２０６自体）を使用し、最適なコーデック１１０をコーデックライブラリ３０８から選択する。本明細書で使用するように、「最適」とは、（コーデックライブラリ３０８内のコーデック１１０の中から）特定の目標データレートで、圧縮メディア信号２１０に対して最も高い圧縮品質を生成するという意味である。

ある実施例では、ユーザが、特定の目標データレート、すなわち、１２８キロバイト毎秒（ｋｂｐｓ）を指定してもよい。あるいは、目標ターゲットレートは使用できるバンド幅やその他の制限から見て決定することもできる。

コーデックライブラリ３０８は、多種多様のコーデック１１０を含み得る。考えられるビデオコーデック１１０の例は、以下の表に与えられる。加えて、ＭＰＥＧオーディオレイヤー３（ＭＰ３）、ＭＰＥＧ−４構造化オーディオ（ＭＰ４−ＳＡ）、ＣＣＩＴＴ ｕ−Ｌａｗ、Ｏｇｇ Ｖｏｒｂｉｓ、あるいはＡＣ３のような様々な音声のみのコーデックが与えられる。もちろん、その他の現在使用できる、あるいは、いまだに開発されていないコーデック１１０も、本発明の範囲内で使用されうる。

当業者は、上述のコーデックの多くが、多種多様なメディア信号と条件に対して高い圧縮品質を達成するという点で、「汎用」コーデックであるとみなされることを認識するだろう。しかし、他のコーデックは、特定のタイプのメディア信号を良く圧縮したり、特定の条件下で多くのタイプのメディア信号を良く圧縮するので、「特化」コーデックとみなされるだろう。異なる種類のコーデックを含み、様々な汎用コーデックと特化コーデックとの両方を含むコーデックライブラリ３０８を備えることは、一般的に、圧縮メディア信号２１０に対して最良の総合的な圧縮品質をもたらす。

再び図３を参照すると、コーデック１１０がシーン２０６のために選択されると、圧縮モジュール３１０は選択されたコーデック１１０を使用して、シーン２０６を圧縮する。出力モジュール３１２は結果として生じる圧縮メディア信号２１０を受信し、ある実施例において、コーデック識別子２０８を追加し、どのコーデックを使用して各々のシーン２０６を圧縮したのかを表示する。他の実施例において、コーデック識別子２０８は圧縮モジュール３１０によって、あるいは、圧縮プロセスの他の時点で追加されうる。出力モジュール３１２は、それから、ネットワーク１１４を介して、圧縮メディア信号２１０を宛先システム２０４に送出する。

図３の実施例は、ビデオ会議を含むストリーミングメディアアプリケーションに、主に適用できる。その他の実施例において、図４に示すように、出力モジュール３１２は、ＣＤかＤＶＤレコーダ、フラッシュカードライタなどのような記憶装置４０２に結合できる。図示するように、圧縮メディア信号２１０（およびコーデック識別子２０８）は、適切な記憶媒体２０４に格納されることができ、その記憶媒体４０４は、宛先システム２０４に物理的に届けられる。このような実施例において、宛先システム２０４は、記憶媒体４０４の圧縮メディア信号２１０を読み出すためのメディアリーダ（図示せず）を含むだろう。

従来のメディア圧縮技術と異なり、元のメディア信号１０８は、単一のコーデックを使用して（すなわち、ＤＶＤにおけるＭＰＥＧ−２のような）圧縮されるわけではない。むしろ、各々のシーン２０６は、コーデックライブラリ３０８からシーン２０６のために選択された最良のコーデックを使用して自動的に圧縮される。上述した技術を使用して、１０〜１２時間のＤＶＤ品質の映像が１つの記録可能なＤＶＤに格納できるだろう。

図５は、選択モジュール３０６のさらなる詳細を示す。上述したように、識別モジュール３０４は、元のメディア信号１０８を受信し、個々のシーン２０６と、各々のシーン２０６の特性５０２とを識別する。特性５０２は、例えば、動き特性、色特性、ＹＵＶ信号特性、色分類特性（カラーグルーピング特性）、色ディザリング、カラーシフト特性、ライティング特性（lighting characteristics）、およびコントラスト特性を含むだろう。当業者は、シーン２０６の多種多様なその他の特性が本発明の範囲内で識別されうるということを理解するだろう。

動きは、対象物の検出から生じるベクトルからなる。関連する動き特性は、例えば、対象物（オブジェクト）の数、対象物の大きさ、対象物の速度および対象物の動きの方向を含む。

色に関して、各々のピクセルは、一般的に、赤と、緑と、青と、輝度とに対するある範囲の値を有する。関連する色特性は、値の範囲がフレームセットを通じてどのくらい変化するか、ある色が他の色より頻繁に出現するか否か（抽出）、色分類がフレームセット内でシフトするか否か、ある分類と別の分類との相違がフレームセットの全体にわたって大きく異なるか（対比）を含むだろう。

ある実施例において、ニューラルネットワークあるいはエキスパートシステムのような、人工知能（ＡＩ）システム５０４は、シーン２０６の特性５０２と、圧縮メディア信号２１０に対する目標データレート５０６とを受信する。ＡＩシステム５０４は、それから、所定の特性５０２で、目標データレート５０６で、シーン２０６を最適に圧縮するということがすでににわかっているコーデック１１０がライブラリ３０８に存在するか否かを判断する。以下に説明するように、ＡＩシステム５０４は、特性５０２のセットと、最適なコーデック１１０との間の関連付けを「格納している」として概念的に説明され得る。関連付けを発見した場合は、選択モジュール３０６は、コーデック１１０（あるいは、それを示す指標）を「選択された」コーデックとして出力する。

多くの場合において、特定の特性を有するシーン２０６は、以前に出現したことがないだろう。従って、選択モジュール３０６は、シーン２０６のコピーを作成するが、本明細書ではこれを基本（ベースライン）スナップショット５０８と呼び、その基本スナップショット５０８は、圧縮品質を判断するための基準点として機能する。

その後、圧縮モジュール５１０は、そのシーン２０６に対して、コーデックライブラリ３０８の異なるコーデック１１０をテスト（検査）する。ある実施例において、圧縮モジュール５１０は、図３の圧縮モジュール３１０でもある。図示するように、圧縮モジュール５１０は、目標データレート５０６で異なるコーデック１１０を使用してシーン２０６を圧縮し、多数の圧縮されたテストシーン（圧縮テストシーン）５１２を生成する。

コーデック１１０は、順次に、無作為に、あるいはその他の方法でテストされるが、ライブラリ中のコーデック１１０の全てをテストする必要はない。ある実施例において、ＡＩシステム５０４からの入力によって、ライブラリ３０８からテストするためにコーデック１１０の一部（サブセット）を選択するのを支援することができる。リアルタイム圧縮を円滑にするために、コーデックのテストに、制限時間を設けることもできる。従って、制限時間に達した場合は、さらなる圧縮テストシーン５１２は生成されない。

ある実施例において、比較モジュール５１４は、基準５１６に応じて、各々の圧縮テストシーン５１２の圧縮品質をと基本スナップショット５０８とを比較する。基準５１６は、ピーク信号対ノイズ比（ＰＳＮＲ）の比較に基づいており、ＰＳＮＲはＭ×Ｎのフレームに対して次式で計算される。

但し、ｆは元のフレームで、ｆ’は圧縮されていないフレームである。
あるいは、二乗平均平方根誤差（ＲＭＳＥ）、信号対ノイズ比（ＳＮＲ）、または、その他の客観的な品質測定法は、当業者に既知のものとして使用されるであろう。

ある実施例において、最小可知差異（ＪＮＤ）の画質測定計算が使用され得る。ＪＮＤは、当業者に知られている、ロバストで客観的な画像品質測定方法である。それは、動的で複雑な動きの連続の計算のために、３つの次元、すなわち、空間分析と、時間的解析と、フルカラー解析を含む。画像差異プロセスにおいて、人間の視覚システムのモデルを使用することによって、ＪＮＤは、圧縮プロセスと、結果として生じるアーチファクトとは独立した結果を生成する。

ある実施例において、圧縮モジュール５１４は、圧縮シーン５１２を生成するのに使用され、基準５１６に応じて基本スナップショット５０８と比較するとき最高の圧縮品質を有するようなコーデック１１０を自動的に選択する。そのコーデック１１０（あるいは、その指標）は、それから、選択モジュール３０６により、選択されたコーデック１１０として出力される。

比較モジュール５１４は、どのコーデックが、そのシーン２０６に対して選択されたのかをＡＩシステム５０４に伝える。このことにより、ＡＩシステム５０４は、そのシーン２０６の識別された特性５０２と選択されたコーデック１１０とを関連付けることができる。こうして、今後、ＡＩシステム５０４は、比較モジュール５１４による再テストの必要なしに、同様のシーン２０６に対して、コーデック１１０を自動的に選択することができる。

図３も併せて参照すると、ある構成において、最高品質の圧縮テストシーン５１２ａは、出力モジュール３１２（図示せず）に単に渡され、圧縮メディア信号２１０に含まれる。しかし、圧縮モジュール３１０は、ある特定の実施例において、選択されたコーデック１１０を使用して、シーン２０６を再圧縮できるだろう。

図６は、上述したプロセスの例を提供する。識別モジュール３０４が、特定の特性５０２ａのセットを有するシーン２０６ａを発見すると仮定する。ある実施例において、ＡＩシステム５０４は、その特性５０２ａと特定のコーデック１１０との間の関連６０２を検索する。ＡＩシステム５０４が、特性５０２と、関連６０２と、コーデック１１０とを含むように図示してあるが、当業者は、それらの実体がコード、ハッシュ、あるいは様々な実装におけるその他の識別子によって表されるということを認識するだろう。

このような関連６０２が発見されない場合は、シーン２０６ａの基本スナップショット５０８が作成される。さらに、圧縮モジュール５１０は、目標データレート５０６で、コーデックライブラリ３０８から多数の異なるコーデック１１０ａ〜ｃを用いて、シーン２０６ａを圧縮し、複数の圧縮テストシーン５１２ａ〜ｃを生成する。これらのテストシーン５１２ａ〜ｃは、それから、基準５１６、例えばＰＳＮＲに応じて、基本スナップショット５０８と比較される。

１つのコーデック１１０ａ（「コーデック１」）により生成された圧縮テストシーン５１２ａが、最高の圧縮品質、例えば最高のＰＳＮＲを生成すると仮定する。このような場合、圧縮モジュール５１４は、ＡＩシステムに報告し、関連（づけ）６０２は、そのシーン２０６ａの特性５０２ａと選択されたコーデック１１０ａとの間になされる。従って、同一の特性５０２ａを有するシーン２０６が将来出現した場合は、ＡＩシステム５０４は、再テストする必要なく、最適なコーデック１１０ａを簡単に識別できるだろう。

図７を参照すると、ＡＩシステム５０４は、複数の人工ニューロンを具える一般的なフィードフォワードニューラルネットワーク７００を使用して実装することができる。ニューロン７０２は、多数の入力（元のデータから、あるいは、ニューラルネットワーク７００上の他のニューロンの出力からのいずれか）を受信する。各々の入力は、強度（あるいは「重み」）を有する接続を経由してくる。これらの重みは、生体ニューロンにおいてシナプス効力に対応する。各々のニューロン７０２は、単一の閾値も有する。入力の重みづけられた合計が形成され、閾値が引かれ、ニューロン７０２の「活性化」（ニューロン７０２のシナプス後電位、すなわちＰＳＰとしても知られている）を構成する。活性化信号は、活性化関数（伝達関数としても知られている）を通過して、ニューロン７０２の出力を生成する。

図示するように、一般的なニューロンネットワーク７００は、区別できる階層トポロジに配置されたニューロン７０２を有する。「入力」層７０４は、それ自体はニューロン７０２から構成されていない。これらのユニットは、入力変化の値（すなわち、シーンの特性５０２）を取り込む働きをするだけである。隠れ層７０６と出力層７０８とにあるニューロン７０２は、その前の層のユニットの全てに、各々接続される。

ネットワーク７００が実行されると、入力変化の値は入力ユニットに置かれ、それから、隠れ層ユニットおよび出力層ユニットは次第に実行される。それらの各々は、前の層の出力の合計の重みをとり、閾値を引き算することにより、それの活性化値を計算する。活性化値は、活性化関数を通って伝達され、ニューロン７０２の出力を生成する。全ニューラルネットワーク７００が実行されると、出力層７０８の出力は全ネットワーク７００の出力（すなわち、選択されたコーデック１１０）のように作用する。

フィードフォワードニューラルネットワーク７００は、図７に図示され、当業者は、フィードバックネットワーク、誤差逆伝播法（ＢＰ）あるいは動径基底関数ネットワーク（ＲＢＦ）のような、その他のタイプのニューラルネットワーク７００が使用されうるということを認識するであろう。他の実施例において、エキスパートシステムのような全く異なるタイプのＡＩシステムを使うこともできる。

さらに他の実施例において、ＡＩシステム５０４は、特定の特性５０２のセットに基づいてコーデック１１０を検索できるような、ルックアップテーブル、データベース、あるいは他のデータ構造で置き換えてもよい。このように、本発明はＡＩシステム５０４を必要とするものととして構築されるべきではない。

図８を参照して、本発明は、異なるコーデック１１０を用いて、元のメディア信号１０８の異なるシーン２０６をそれぞれコード化（符号化）するような実施例に制限されるわけではない。図示するように、単一のコーデック１１０が、ある実施例において使われることができる。しかし、コーデック１１０に対する異なるセッティング（設定）８０４（パラメータ）が、前の実施例において異なるコーデック１１０が選択されたのとほぼ同じ方法で、自動的に選択してもよい。

本明細書で用いるように、コーデックのセッティング８０４は、動き予測法、ＧＯＰサイズ（キーフレームインターバル）、種々の変換（例えば、ＤＣＴ対ウェーブレット）、輝度や色度のノイズ低減、デコーダデブロッキングレベル、あるいは前処理／後処理フィルタ（シャープニング・ノイズ減少）などのような標準パラメータを指し示す。

前述したように、識別モジュール３０４が所定の特性５０２ａのセットを有するシーン２０６ａを発見すると仮定する。ある実施例において、ＡＩシステム５０４は、特性５０２ａとコーデック１１０に対する１つ以上のセッティング８０４ａとの間の関連８０２を検索する。

このような関連８０２が発見されないと仮定する。ある構成において、シーン２０６ａの基本スナップショット５０８が撮影される。さらに、圧縮モジュール５１０は、目標データレート５０６で、同一のコーデック１１０だが異なるセッティング８０４ａ〜ｃを用いて、シーン２０６ａを圧縮する。結果として生じる圧縮テストシーン５１２ａ〜ｃは、それから、基本スナップショット５０８に対して、基準５１６、例えばＰＳＮＲに応じて圧縮される。

セッティング８０４ａ（セッティング１）の群により生成された圧縮テストシーン５１２ａが、最高の圧縮品質、例えば最高のＰＳＮＲをもたらすと仮定する。このような場合、比較モジュール５１４は、ＡＩシステムに報告し、その結果、関連（付け）８０２が、シーン２０６ａの特性５０２ａと選択されたセッティング８０４ａの群との間になされる。従って、同一の特性５０２ａを有するシーン２０６が、将来出現する場合には、ＡＩシステム５０４は、再テストの必要なしに、最適なセッティング８０４ａを簡単に識別することができるだろう。

さらに別の実施例において、ＡＩシステム５０４は、所定の特性５０２のセットに基づいて、異なるコーデック１１０と異なるコーデックのセッティング８０４との両方を検索することができる。同様に、圧縮モジュール５１０は、異なるコーデック１１０と異なるコーデックのセッティング８０４の組み合わせに基づいて、圧縮テストシーン５１２を生成することができる。比較モジュール５１４は、それから、所定のシーン２０６に対して、コーデック１１０とセッティング８０４の最良の組み合わせを選択することができる。

ある実施例において、図９に示すように、比較モジュール５１４は、どのコーデック１１０及び／あるいはセッティング８０４を特定のシーン２０６に対して自動的に選択するべきかを判断するときに、圧縮品質に加えて（あるいは、代わりに）他のファクターを考慮することができる。例えば、特定のコーデック１１０の使用は、特許、その他の知的財産権に基づいて、ライセンシングコスト９０２を負担することがありうる。ライセンシングコスト９０２は、コーデック１１０が使用される回数、そのコーデック１１０を使用して圧縮されたデータの量、或いは他の方法に関連し得るものである

あるコーデックが、例外的に高い圧縮品質（例えば、ＰＳＮＲ）をもたらす一方、そのライセンシングコスト９０２は、伝送する価値を超えることもあり、その場合にはコストに見合わなくなるだろう。様々なコーデック１１０に対するライセンシングコスト９０２の指標は、コーデックライブラリ３０８内、あるいは、比較モジュール５１４がアクセスできるほかの場所に格納することができる。

ある実施例において、ライセンシングコスト９０２は、多数の上位のコーデック１１０が、同様の結果を生成したときのみ、例えば、圧縮品質が閾値以下で異なるときにのみ考慮される。図９の例において、最初の３つのコーデックは同様の品質の出力を生成する。しかし、最も高いＰＳＮＲスコアを持つコーデックは、次に高いＰＳＮＲスコアを持つコーデックより２倍以上高価であり、３番目に高いＰＳＮＲスコアを持つコーデック１１０よりほぼ３倍高価である。ある構成において、比較モジュール５１０は、ライセンシングコスト９０２がはるかに安いため、３番目に高いＰＳＮＲスコアを持つコーデック１１０を選択するだろう。

他の実施例において、比較モジュール５１４は、ＰＳＮＲスコア、ライセンシングコスト９０２、或いは他の利用可能なファクターに基づいた合成値（図示せず）を生成する。さらに他の実施例において、比較モジュール５１４は、全伝送に対する予想されるコスト（図示せず）を計算し、コーデックを選択する判断の全ての中でコストを最小にしようとする。従って、比較モジュール５１４は、特定シーン２０６に対して、品質の相当な増加が実現されるので、より高価なコーデック１１０を選択し、他のシーンに対してはそれほど高価でないコーデック１１０を選択することができる。

図１０を参照すると、ソースシステム２０２のユーザは、特定の目標データレート５０６を、例えば、ビデオ通信に対して５１２ｋｂｐｓを指定してもよい。しかし、宛先システム２０４が、データをそれほど迅速に処理できるという保証はない。さらに、ネットワーク１１４が、常に同量のバンド幅を提供するという保障はない。結果として、ソースシステム２０２の選択モジュール３０６内で目標データレート５０６を定期的に変更する必要がありうる。なぜなら、目標データレート５０６は、どのコーデック１１０が様々なシーン２０６に選択されるのかに影響を与えるからである。

例えば、図１０に示すように、宛先システム２０４は、映像を利用可能な携帯電話機として具体化されることができる。一般的に、携帯電話ネットワーク１１４のバンド幅は制限されている。同様に、携帯電話の処理能力は、パーソナルコンピュータや専用ビデオ会議システムのそれより相当に少ない。

このように、ソースシステム２０２のユーザは、目標データレートを５１２ｋｂｐｓと指定するが、宛先システム２０４及び／あるいはネットワーク１１４は、これを試さなくてもよい。ある実施例において、接続要求の受信に応じて、宛先システム２０４は、ソースシステム２０２に、修正した目標データレート１００２、例えば１２８ｋｂｐｓを提供する。修正されたデータレート１００２は、何らかの標準データ構造か技術を使用して、ソースシステム２０２に伝達される。その後、構成に応じて、目標データレート５０６は修正されたレート１００２に置き換えられるだろう。

特定の実施例において、実際のデータレートは伝えられない。むしろ、メッセージが送られ、宛先システム２０４かネットワーク１１４の１つ以上の制限あるいは能力を指定する。その場合において、目標データレート５０６を適切に修正するかはソースシステム２０２次第であろう。様々な条件に応じて目標データレート５０６を変更する技術は、本明細書では「ダイナミックストリーミング」と称する。

ある実施例において、特定のメッセージが宛先システムから送出されない場合に、ダイナミックストリーミングを使用することができる。ソースシステム２０２は、レイテンシ計算を使用して、失われたパケットなどを再送信するように要求し、コーデック及び／あるいはパラメータ選択のために目標データレート５０６を動的に決定する。

ある構成例では、図１１に示すように、シーン２０６内のビデオフレーム１１０２は、複数のサブフレーム１１０４に分割してもよい。図示したビデオフレーム１１０２は、同じ大きさのサブフレーム１１０４ａ〜ｄに分割されているが、本発明は、この点に制限されるわけではない。例えば、ビデオフレーム１１０２を、どんな数のサブフレーム１１０４に細分することができる。ただし、多すぎるサブフレーム１１０４は、圧縮品質に悪影響を及ぼしうる。さらに、サブフレーム１１０４は、同じ大きさである必要はない。例えば、ビデオフレーム１１０２の中央に近いサブフレーム１１０４は、このエリアでは比較的大きな量の動きがあるため小さくすることができる。

ある実施例では、サブフレーム１１０４は、ビデオフレーム１１０２内で描画されるオブジェクト（対象物）によって定義し得る。例として、人の頭部は、別個のオブジェクトとして定義され、したがって、背景とは異なるサブフレーム１０４が定義され得る。ビデオフレーム１１０２内のシーンをオブジェクト化するアルゴリズム（例えば、ＭＰＥＧ−４）は、当該分野では既知である。

シーン２０６内のサブフレーム１１０４ａ〜ｄのセットは、特性５０２ａ〜ｄを示し、実際上には、完全なビデオフレーム１１０２のように扱うことができる。従って、上述した技術を使用して、特性５０２ａ〜ｄは、それぞれのサブフレーム１１０４ａ〜ｄを圧縮するために最適なコーデック１１０４ａ〜ｄを決定するのに使用され得る。例えば、ＡＩシステム５０４（図示せず）は、関連６０２が、特性５０２のセットと特定のコーデック１１０との間に存在する否かを判断するのに使用することができる。関連６０２が存在しない場合は、それぞれのサブフレーム１１０４に対して、複数のコーデック１１０をテストするために、圧縮モジュール５１０と比較モジュール５１４とを（図示せず）使用して、最適なコーデック１１０を決定することができる。

こうして、単一のシーン２０６の異なるサブフレーム１１０４ａ〜ｄは、異なるコーデック１１０ａ〜ｄを使用して圧縮することができる。図示した実施例においては、４つの異なるコーデック１１０ａ〜ｄが使用されている。

本発明の具体的な実施例と適用例を図示および説明してきたが、本発明は本明細書で記載された構造や構成そのものに限定されないものと理解すべきである。当業者にとって明らかな様々な修正、変更、および変形は、本発明の本質と範囲を逸脱することなく、本明細書に開示した本発明の構成、操作および方法とシステムの詳細に施すことができる。

図１は、データ圧縮を用いる従来の伝達システムのブロック図である。 図２は、本発明の実施形態に係る、メディア信号の部分を圧縮するための多数のコーデックを用いる伝達システムのブロック図である。 図３は、本発明の第１実施形態に係る、ソースシステムの詳細なブロック図である。 図４は、本発明の第２実施形態に係る、ソースシステムの詳細なブロック図である。 図５は、選択モジュールの詳細なブロック図である。 図６は、コーデックを自動的に選ぶプロセスのデータフローダイアグラムである。 図７は、人工知能システムの詳細なブロック図である。 図８は、コーデックの設定を自動的に選ぶプロセスのデータフローダイアグラムである。 図９は、ライセンシングコストファクターの一部を示している比較モジュールのブロック図である。 図１０は、目標データレートを修正するプロセスのブロック図である。 図１１は、ビデオフレームを分割する構成図である。

Claims (64)

1. メディア圧縮方法であって、
   宛先システムに伝達されるべきメディア信号を得るステップと、
   前記メディア信号内で複数のシーンを識別するステップと、
   少なくとも２つのシーンをそれぞれ圧縮するためにコーデックライブラリから異なるコーデックを自動的に選択するステップであって、目標データレートを超えないという基準に応じて、それぞれのシーンに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるようなステップと、
   前記自動的に選択されたコーデックを用いて、前記シーンを圧縮するステップと、
   どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出するステップと、
   を有することを特徴とするメディア圧縮方法。
2. 請求項１に記載の方法において、
   前記コーデックが、離散コサイン変換（ＤＣＴ）コーデックと、フラクタルコーデックと、ウェーブレットコーデックとからなる群から選択される、
   ことを特徴とする方法。
3. 請求項１に記載の方法において、
   自動的に選択される第１のコーデックが離散コサイン変換（ＤＣＴ）コーデックを含み、自動的に選択される第２のコーデックがフラクタルコーデックを含む、
   ことを特徴とする方法。
4. 請求項１に記載の方法において、
   自動的に選択される第１のコーデックが離散コサイン変換（ＤＣＴ）コーデックを含み、かつ、自動的に選択される第２のコーデックがウェーブレットコーデックを含む、
   ことを特徴とする方法。
5. 請求項１に記載の方法において、
   前記自動的に選択するステップが、
   シーンの複数の特性を識別するステップと、
   前記シーンの前記識別された特性に関連するコーデックをライブラリ内で検索するステップと、をさらに含む、
   ことを特徴とする方法。
6. 請求項５に記載の方法において、
   前記特性が、動き特性と色特性とからなる群から選択される、
   ことを特徴とする方法。
7. 請求項６に記載の方法において、
   前記検索するステップが、
   人工知能（ＡＩ）システムを用いて、前記シーンの識別された特性に関連するコーデックを見つけ出すステップを、さらに含む、
   ことを特徴とする方法。
8. 請求項７に記載の方法において、
   前記ＡＩシステムが、ニューラルネットワークを具える、
   ことを特徴とする方法。
9. 請求項７に記載の方法において、
   前記ＡＩシステムが、エキスパートシステムを具える、
   ことを特徴とする方法。
10. 請求項１に記載の方法において、
    前記自動的に選択するステップが、
    シーンにおいて前記コーデックライブラリの前記コーデックの少なくとも一部をテストするステップと、
    目標データレートを超えないという基準に応じて、前記シーンに対する最高の圧縮品質を生成するようなコーデックを自動的に選択するステップと、を含む
    ことを特徴とする方法。
11. 請求項１０に記載の方法において、
    前記テストするステップが、
    前記シーンの基本スナップショットを格納するステップと、
    テストされるべき各々のコーデックに対して、
    前記ライブラリ中の前記コーデックの１つを用いて目標データレート以下で前記シーンを圧縮するステップと、
    同一のコーデックを用いて前記シーンを解凍するステップと、
    前記基準によって、前記基本スナップショットと、前記解凍されたシーンの前記品質とを比較するステップと、をさらに含む、
    ことを特徴とする方法。
12. 請求項１１に記載の方法において、
    前記比較するステップが、
    ピーク信号対ノイズ比（ＰＳＮＲ）によって前記品質を比較するステップをさらに含む、
    ことを特徴とする方法。
13. 請求項１１に記載の方法において、
    前記比較するステップが、
    最小可知差異（ＪＮＤ）値によって前記品質を比較するステップをさらに含む、
    ことを特徴とする方法。
14. 請求項１１に記載の方法において、
    シーンの複数の特性を識別するステップと、
    前記シーンの前記識別された特性を、前記自動的に選択されたコーデックに関連付けるステップと、
    をさらに含むことを特徴とする方法。
15. 請求項１に記載の方法において、
    前記宛先システムの制限に応じて、前記目標データレートを調整するステップ、
    をさらに含むことを特徴とする方法。
16. 請求項１に記載の方法において、
    前記宛先システムまでの伝送チャネルの条件に応じて、前記目標データレートを調整するステップ、
    をさらに含むことを特徴とする方法。
17. 請求項１に記載の方法において、
    前記宛先システムからのメッセージに応じて、前記目標データレートを調整するステップ、
    をさらに含むことを特徴とする方法。
18. 請求項５に記載の方法において、
    前記検索するステップが、
    前記識別された特性と前記自動的に選択されたコーデックに用いるべきパラメータセットとの関連を検索するステップをさらに含み、
    前記圧縮するステップが、
    前記自動的に選択されたコーデック、および、これに関連するパラメータセットを用いて、前記シーンを圧縮するステップをさらに含み、
    前記送出するステップが、
    どのコーデックと、どのパラメータセットを使用して前記シーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出するステップをさらに含む、
    ことを特徴とする方法。
19. 請求項１０に記載の方法において、
    前記テストするステップが、
    異なるパラメータセットを用いて前記シーンに対して前記コーデックライブラリのコーデックをテストするステップと、目標データレートを超えないという基準に応じて、前記シーンに対して最高の圧縮品質を生成する前記コーデックとパラメータセットを自動的に選択するステップをさらに含み、
    前記圧縮するステップが、
    前記自動的に選択されたパラメータを持つ前記自動的に選択されたコーデックを用いて前記シーンを圧縮するステップをさらに含み、
    前記送出するステップが、
    どのコーデックとパラメータセットを使用して前記シーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出するステップをさらに含む
    ことを特徴とする方法。
20. 請求項１９に記載の方法において、
    シーンの複数の特性を識別するステップと、
    前記自動的に選択されたコーデックと前記自動的に選択されたパラメータセットとを前記シーンの前記識別された特性に関連付けるステップと
    をさらに含むことを特徴とする方法。
21. 請求項１に記載の方法において、
    前記識別するステップが、前のフレームと十分に異なる、前記メデイア信号の１フレームに応じてシーンの変化を検出するステップ、
    をさらに含むことを特徴とする方法。
22. 請求項１に記載の方法において、
    前記識別するステップが、一定期間の経過に応じてシーンの変化を検出するステップをさらに含む、
    ことを特徴とする方法。
23. 請求項１に記載の方法において、
    前記送出するステップが、各々の圧縮されたシーンを前記宛先システムまでネットワークを通じてストリーミングするステップをさらに含む、
    ことを特徴とする方法。
24. 請求項１に記載の方法において、
    前記送出するステップが、各々の圧縮されたシーンを記憶媒体に格納するステップをさらに含む、
    ことを特徴とする方法。
25. 請求項１に記載の方法において、
    前記コーデックライブラリ内の少なくとも１つのコーデックが、
    それに関連付けられたライセンシングコストを有し、
    前記選択するステップが、
    シーンの圧縮出力をほぼ同一の品質で生成する２つ以上のコーデックに対して、最も少ないライセンシングコストを有する前記コーデックを自動的に選択するステップをさらに含む、
    ことを特徴とする方法。
26. メディア圧縮方法であって、
    宛先システムに伝達されるべきメディア信号を得るステップと、
    前記メディア信号の少なくとも２つのセグメントを圧縮するためにコーデックライブラリから異なるコーデックを自動的に選択するステップであって、目標データレートを超えずに、前記それぞれのセグメントに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるようなステップと、
    前記自動的に選択されたコーデックを用いて、前記セグメントを圧縮するステップと、
    どのコーデックを使用して各々のセグメントを圧縮したのかを示す指標と共に、前記圧縮されたセグメントを前記宛先システムに送出するステップと
    を含むことを特徴とするメディア圧縮方法。
27. メディア圧縮方法であって、
    ライセンシングコストに関連付けられた少なくとも１つのコーデックからなるコーデックライブラリを提供するステップと、
    宛先システムに伝達されるべきメディア信号を得るステップと、
    前記メディア信号内の複数のシーンを識別するステップと、
    少なくとも２つの前記シーンをそれぞれ圧縮するために前記コーデックライブラリから異なるコーデックを自動的に選択するステップであって、目標データレートを超えないという基準に応じて、それぞれのシーンに対して最も少ないライセンシングコストで最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるようなステップと、
    前記自動的に選択されたコーデックを用いて、前記シーンを圧縮するステップと、
    どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出するステップと
    を含むことを特徴とするメディア圧縮方法。
28. メディア信号を伝達する方法であって、
    コーデックライブラリからの異なるコーデックを用いて、メディア信号の少なくとも２つのシーンを選択的に圧縮するステップであって、目標データレートを超えないという基準に応じて、前記それぞれのシーンに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるようなステップと、
    どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、各々の圧縮されたシーンを宛先システムに送出するステップと、
    を含むことを特徴とするメディア信号を伝達する方法。
29. メディア解凍方法であって、
    第１のコーデックを用いて圧縮された第１のシーンと、第２のコーデックを用いて圧縮された第２のシーンとを含むメディア信号を受信するステップであって、目標データレートを超えないという基準に応じて、各々のシーンに対して最高の圧縮品質をどのコーデックが生成するかに基づいて、コーデックライブラリから前記第１と第２のコーデックが自動的に選択されるようなステップと、
    前記第１の識別されたコーデックを用いて前記第１のシーン解凍するステップと、
    前記第２の識別されたコーデックを用いて前記第２のシーン解凍するステップと
    を含むことを特徴とするメディア解凍方法。
30. 請求項２９に記載の方法において、
    前記第１と第２の解凍されたシーンをユーザに提示するステップ、
    をさらに含むことを特徴とする方法。
31. メディア圧縮システムであって、
    宛先システムに伝達されるべきメディア信号を得る入力モジュールと、
    前記メディア信号内の複数のシーンを識別する識別モジュールと、
    少なくとも２つの前記シーンをそれぞれ圧縮するためにコーデックライブラリから異なるコーデックを自動的に選択する選択モジュールであって、目標データレートを超えないという基準に応じて、前記それぞれのシーンに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるような選択モジュールと、
    前記自動的に選択されたコーデックを用いて前記シーンを圧縮する圧縮モジュールと、
    どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出する出力モジュールと、
    を具えることを特徴とするメディア圧縮システム。
32. 請求項３１に記載のシステムにおいて、
    前記コーデックが、離散コサイン変換（ＤＣＴ）コーデックと、フラクタルコーデックと、ウェーブレットコーデックとからなる群から自動的に選択される、
    ことを特徴とするシステム。
33. 請求項３１に記載のシステムにおいて、
    自動的に選択される第１のコーデックがブロックコーデックを具え、
    自動的に選択される第２のコーデックがフラクタルコーデックを具える、
    ことを特徴とするシステム。
34. 請求項３１に記載のシステムにおいて、
    自動的に選択される第１のコーデックがブロックコーデックを具え、
    自動的に選択される第２のコーデックがウェーブレットコーデックを具える、
    ことを特徴とするシステム。
35. 請求項３１に記載のシステムにおいて、
    前記識別モジュールが、シーンの複数の特性を識別し、
    前記選択モジュールが、前記ライブラリ内で前記シーンの前記識別された特性に関連するコーデックを検索する、
    ことを特徴とするシステム。
36. 請求項３５に記載のシステムにおいて、
    前記特性が、動き特性と色特性とからなる群から選択される、
    ことを特徴とするシステム。
37. 請求項３６に記載のシステムにおいて、
    前記選択モジュールが、シーンの前記識別された特性に関連するコーデックを見つけ出すための人工知能（ＡＩ）システムを具える、
    ことを特徴とするシステム。
38. 請求項３７に記載のシステムにおいて、
    前記ＡＩシステムが、ニューラルネットワークを具える、
    ことを特徴とするシステム。
39. 請求項３７に記載のシステムにおいて、
    前記ＡＩシステムが、エキスパートシステムを具える、
    ことを特徴とするシステム。
40. 請求項３１に記載のシステムにおいて、
    前記選択モジュールが、シーンにおいて前記コーデックライブラリの前記コーデックの少なくとも一部をテストし、目標データレートを超えないという基準に応じて、前記シーンに対する最高の圧縮品質を生成するような前記コーデックを自動的に選択する、
    ことを特徴とするシステム。
41. 請求項４０に記載のシステムにおいて、
    前記選択モジュールが、前記シーンの基本スナップショットを格納し、テストされるべき各々のコーデックに対して、前記ライブラリ中の前記コーデックの１つを用いて目標データレート以下で前記シーンを圧縮させ、同一のコーデックを用いて前記シーンを解凍させ、前記基準によって、前記基本スナップショットと、前記解凍されたシーンの前記品質とを比較する、
    ことを特徴とするシステム。
42. 請求項４１に記載のシステムにおいて、
    前記選択モジュールが、ピーク信号対ノイズ比（ＰＳＮＲ）によって前記品質を比較する、
    ことを特徴とするシステム。
43. 請求項４１に記載のシステムにおいて、
    前記選択モジュールが、最小可知差異（ＪＮＤ）値によって前記品質を比較する、
    ことを特徴とするシステム。
44. 請求項４１に記載のシステムにおいて、
    前記識別モジュールが、シーンの複数の特性を識別し、
    前記選択モジュールが、前記シーンの前記識別された特性を、前記自動的に選択されたコーデックに関連付ける、
    ことを特徴とするシステム。
45. 請求項３１に記載のシステムにおいて、
    前記選択モジュールが、前記宛先システムの制限に応じて前記目標データレートを調整する、
    ことを特徴とするシステム。
46. 請求項３１に記載のシステムにおいて、
    前記選択モジュールが、前記宛先システムまでの伝送チャネルの条件に応じて前記目標データレートを調整する、
    ことを特徴とするシステム。
47. 請求項３１に記載のシステムにおいて、
    前記選択モジュールが、前記宛先システムからのメッセージに応じて前記目標データレートを調整する、
    ことを特徴とするシステム。
48. 請求項３５に記載のシステムにおいて、
    前記選択モジュールが、前記識別された特性と前記自動的に選択されたコーデックに用いるべきパラメータセットとの関連を検索し、
    前記圧縮モジュールが、前記関連するパラメータセットを持ち前記自動的に選択されたコーデックを用いて前記シーンを圧縮し、
    前記出力モジュールが、どのコーデックと、どのパラメータセットとを使用して前記シーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出する、
    ことを特徴とするシステム。
49. 請求項４０に記載のシステムにおいて、
    前記選択モジュールが、異なるパラメータのセットを用いて前記シーンに対して前記コーデックライブラリの前記コーデックをテストし、目標データレートを超えないという基準に応じて、前記シーンに対して最高の圧縮品質を生成する前記コーデックとパラメータセットを自動的に選択し、
    前記圧縮モジュールが、前記自動的に選択されたパラメータを持つ前記自動的に選択されたコーデックを用いて前記シーンを圧縮し、
    前記出力モジュールが、どのコーデックとパラメータセットを使用して前記シーンを圧縮したのかを示す指標とともに、前記圧縮されたシーンを前記宛先システムに送出する、
    ことを特徴とするシステム。
50. 請求項４９に記載のシステムにおいて、
    前記識別モジュールが、シーンの複数の特性を識別し、
    選択モジュールが、前記自動的に選択されたコーデックと、前記自動的に選択されたパラメータセットとを前記シーンの前記識別された特性に関連付ける、
    ことを特徴とするシステム。
51. 請求項３１のシステムにおいて、
    前記識別モジュールが、前のフレームと十分に異なる、前記メディア信号の１フレームに応じてシーンの変化を検出する、
    ことを特徴とするシステム。
52. 請求項３１のシステムにおいて、
    前記識別モジュールが、一定期間の経過に応じてシーンの変化を検出する、
    ことを特徴とするシステム。
53. 請求項３１のシステムにおいて、
    前記出力モジュールが、各々の圧縮されたシーンを前記宛先システムまでネットワークを通じてストリーミングする、
    ことを特徴とするシステム。
54. 請求項３１のシステムにおいて、
    前記出力モジュールが、各々の圧縮されたシーンを記憶媒体に格納する、
    ことを特徴とするシステム。
55. 請求項３１のシステムにおいて、
    前記コーデックライブラリ内の少なくとも１つのコーデックが、ライセンシングコストに関連付けられており、
    前記選択モジュールが、シーンの圧縮出力をほぼ同一の品質で生成する２つ以上のコーデックに対して最も少ないライセンシングコストを有する前記コーデックを自動的に選択するためにあることを特徴とする方法。
56. メディア圧縮システムであって、
    宛先システムに伝達されるべきメディア信号を得るための入力モジュールと、
    前記メディア信号の少なくとも２つのセグメントをそれぞれ圧縮するためにコーデックライブラリから異なるコーデックを自動的に選択するための選択モジュールであって、目標データレートを超えずに、前記それぞれのセグメントに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択される選択モジュールと、
    前記自動的に選択されたコーデックを用いて、前記セグメントを圧縮するための圧縮モジュールと、
    どのコーデックを使用して各々のセグメントを圧縮したのかを示す指標と共に、前記圧縮されたセグメントを前記宛先システムに送出するための出力モジュールと
    を具えることを特徴とするメディア圧縮システム。
57. メディア圧縮システムであって、
    ライセンシングコストが関連付けられた少なくとも１つのコーデックからなるコーデックライブラリと、
    宛先システムに伝達されるべきメディア信号を得る入力モジュールと、
    前記メディア信号内の複数のシーンを識別する識別モジュールと、
    少なくとも２つの前記シーンをそれぞれ圧縮するために前記コーデックライブラリから異なるコーデックを自動的に選択する選択モジュールであって、目標データレートを超えないという基準に応じて、それぞれのシーンに対して最も少ないライセンシングコストで最高の圧縮品質を生成するために前記コーデックが自動的に選択されるような選択モジュールと、
    前記自動的に選択されたコーデックを用いて、前記シーンを圧縮する圧縮モジュールと、
    どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出する出力モジュールと
    を具えることを特徴とするメディア圧縮システム。
58. メディア信号を伝達するためのシステムであって、
    コーデックライブラリからの異なるコーデックを用いて、メディア信号の少なくとも２つのシーンを選択的に圧縮する圧縮モジュールあって、目標データレートを超えないという基準に応じて、前記それぞれのシーンに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるような圧縮モジュールと、
    どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、各々の圧縮されたシーンを宛先システムに送出する出力モジュールと、
    を具えることを特徴とするメディア信号を伝達するシステム。
59. メディア解凍システムであって、
    第１のコーデックを用いて圧縮された第１のシーンと、第２のコーデックを用いて圧縮された第２のシーンとを含むメディア信号を受信する入力モジュールであって、目標データレートを超えないという基準に応じて、各々のシーンに対して最高の圧縮品質をどのコーデックが生成するかに基づいて、コーデックライブラリから前記第１と第２のコーデックが自動的に選択されるような入力モジュールと、
    前記第１の識別されたコーデックを用いて前記第１のシーン解凍するためであり、前記第２の識別されたコーデックを用いて前記第２のシーン解凍する解凍モジュールと
    を具えることを特徴とするメディア解凍方法。
60. 請求項５９に記載のシステムにおいて、
    前記第１と第２の解凍されたシーンをユーザに提示する提示モジュール、
    をさらに具えることを特徴とするシステム。
61. コンピュータ可読媒体のコンピュータプログラム製品であって、
    宛先システムに伝達されるべきメディア信号を得るためのプログラムコードと、
    前記メディア信号内の複数のシーンを識別するためのプログラムコードと、
    少なくとも２つの前記シーンをそれぞれ圧縮するためにコーデックライブラリから異なるコーデックを自動的に選択するためのプログラムコードであって、目標データレートを超えないという基準に応じて、前記それぞれのシーンに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるようなプログラムコードと、
    前記自動的に選択されたコーデックを用いて前記シーンを圧縮するためのプログラムコードと、
    どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出するためのプログラムコードと
    を含むことを特徴とするコンピュータプログラム製品。
62. メディア圧縮装置であって、
    宛先システムに伝達されるべきメディア信号を得る手段と、
    前記メディア信号内の複数のシーンを識別する手段と、
    少なくとも２つの前記シーンをそれぞれ圧縮するためにコーデックライブラリから異なるコーデックを自動的に選択する手段であって、目標データレートを超えないという基準に応じて、前記それぞれのシーンに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるような手段と、
    前記自動的に選択されたコーデックを用いて前記シーンを圧縮する手段と、
    どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出する手段と
    を具えることを特徴とするメディア圧縮装置。
63. 伝送媒体内のコンピュータデータ信号であって、
    宛先システムに伝達されるべきメディア信号を得るための命令を含むコードセグメントと、
    前記メディア信号内の複数のシーンを識別するための命令を含むコードセグメントと、
    少なくとも２つの前記シーンをそれぞれ圧縮するためにコーデックライブラリから異なるコーデックを自動的に選択するための命令を含むコードセグメントであって、目標データレートを超えないという基準に応じて、前記それぞれのシーンに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるような命令を含むコードセグメントと、
    前記自動的に選択されたコーデックを用いて前記シーンを圧縮するための命令を含むコードセグメントと、
    どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出するための命令を含むコードセグメントと
    を含むことを特徴とするコンピュータデータ信号。
64. メディア圧縮方法であって、
    宛先システムに伝達されるべきメディア信号を得るステップと、
    前記メディア信号内の複数のシーンを識別するステップと、
    少なくとも２つの前記シーンをそれぞれ圧縮するためにコーデックライブラリから異なるコーデックを自動的に選択するステップであって、目標データレートを超えないという基準に応じて、前記それぞれのシーンに対して最高の圧縮品質を生成するために、前記コーデックが自動的に選択されるようなステップと、
    前記自動的に選択されたコーデックを用いて前記シーンを圧縮するためのステップと、
    どのコーデックを使用して各々のシーンを圧縮したのかを示す指標と共に、前記圧縮されたシーンを前記宛先システムに送出するステップと
    を含むことを特徴とするメディア圧縮方法。

Images