JP2010525739A - 品質管理された符号化のための方法及びシステム - Google Patents

Abstract

この開示は、マルチメディアシーケンスの知覚品質を管理して前記シーケンスのコンテンツにかかわらず希望される一定の知覚上の品質を達成することを試みるための技法を説明する。特に、符号化デバイスは、シーケンスセグメントを前記セグメントのコンテンツに基づいてコンテンツ“クラス”と関連づけ、前記シーケンスセグメントの知覚上の品質メトリックを決定し、及び、前記シーケンスセグメントの前記知覚上の品質が希望される品質に収斂するように符号化されるように、前記セグメントを符号化するために用いられる少なくとも１つの符号化パラメータを調整するための品質管理技法を実装することができる。
【選択図】図１

Description

この開示は、マルチメディアの符号化及び復号に関するものである。この開示は、より具体的には、符号化されたマルチメディアシーケンスの品質を管理することに関するものである。

デジタル映像（及びより一般的にはマルチメディアシーケンス、すなわち、音声、映像、及びピクチャ、又はその他の非可逆圧縮データ）能力は、デジタルテレビ、デジタル直接放送システム、無線通信デバイス、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソール、デジタルカメラ、デジタル記録デバイス、携帯電話、衛星無線電話、等を含む広範なデバイスに組み入れることができる。デジタル映像デバイスは、映像シーケンスを処理及び送信する際に従来のアナログ映像システムの重要な改良を提供することができる。

デジタル映像シーケンスを符号化するために異なる映像符号化基準が確立されている。例えば、ムービング・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む幾つかの基準を開発している。その他の例は、国際電気通信連合（ＩＴＵ）−Ｔ Ｈ．２６３基準と、ＩＴＵ−Ｔ Ｈ．２６４基準及びその同等基準であるＩＳＯ／ＩＥＣ ＭＰＥＧ−４、Ｐａｒｔ−１０、すなわちアドバンストビデオコーディング（ＡＶＣ）とを含む。これらの映像符号化基準は、データを圧縮された形で符号化することによって映像シーケンスの向上された送信効率をサポートする。

多くの現在の技法は、ブロックに基づくコーディングを利用する。ブロックに基づくコーディングにおいては、マルチメディアシーケンスのフレームが個別の画素ブロックに分割され、これらの画素ブロックが、その他のブロックとの差分に基づいてコーディングされる。幾つかの画素ブロックは、“マクロブロック”としばしば呼ばれ、画素のサブブロックから成るグループを備える。一例として、１６×１６マクロブロックは、４つの８×８サブブロックを備えることができる。サブブロックは、別々に符号化することができる。例えば、Ｈ．２６４基準は、様々な異なるサイズ、例えば、１６×１６、１６×８、８×１６、８×８、４×４、８×４、及び４×８を有するブロックの符号化を可能にする。さらに、拡張として、あらゆるサイズのサブブロックをマクロブロック内に含めることができ、例えば２×１６、１６×２、２×２、４×１６、８×２、等である。

この開示は、符号化されたデータシーケンスの品質を管理するための符号化技法を説明する。一般的には、この開示の一定の実施形態の一定の側面は、あらゆるマルチメディアストリーム（すなわち、不可逆圧縮を用いる音声、映像、ピクチャ、又はその他のデータ）に適用することができる。しかしながら、説明を簡潔にすることを目的として及び制限することなしに、この開示の前記一定の実施形態は、映像、マルチメディアデータを用いて説明及び例示される。

一定の側面においては、デジタル映像データシーケンスを処理するための方法は、前記デジタル映像データと関連づけられたデータセグメントを一組の符号化パラメータを用いて符号化すること、前記符号化されたデータセグメントの１つ以上のプロパティを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけること、前記符号化されたデータセグメントの知覚品質メトリック及び前記関連づけられたコンテンツクラスに対応するターゲット品質メトリックに少なくとも基づいて前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを調整すること、及び前記調整された符号化パラメータを用いて前記データセグメントを再符号化することのうちの１つ又はその組み合わせを備える。

一定の側面においては、デジタル映像データを処理するための装置は、前記デジタル映像データと関連づけられたデータセグメントを一組の符号化パラメータを用いて符号化する符号化モジュール、前記符号化されたデータセグメントの１つ以上のパラメータを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけるコンテンツ分類モジュール、及び前記符号化されたデータセグメントの知覚品質メトリック及び前記関連づけられたコンテンツクラスに対応するターゲット品質メトリックに少なくとも基づいて前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを調整する品質管理モジュールのうちの１つ又はその組み合わせを備え、前記符号化モジュールは、前記調整された符号化パラメータを用いて前記データセグメントを再符号化する。

一定の側面においては、デジタル映像データを処理するための装置は、デジタル映像データと関連づけられたデータセグメントを一組の符号化パラメータを用いて符号化するための手段、前記符号化されたデータセグメントの１つ以上のプロパティを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけるための手段、前記符号化されたデータセグメントの知覚品質メトリック及び前記関連づけられたコンテンツクラスに対応するターゲット品質メトリックに少なくとも基づいて前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを調整するための手段、及び前記調整された符号化パラメータを用いて前記データセグメントを再符号化するための手段のうちの１つ又はその組み合わせを備える。

一定の側面においては、命令が格納された機械によって読み取り可能な媒体であって、前記格納された命令は、符号の１つ以上のセグメントを含み、及び１つ以上の機械において実行可能であり、符号の前記１つ以上のセグメントは、前記デジタル映像データと関連づけられたデータセグメントを一組の符号化パラメータを用いて符号化するための符号、前記符号化されたデータセグメントの１つ以上のプロパティを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけるための符号、前記符号化されたデータセグメントの知覚品質メトリック及び前記関連づけられたコンテンツクラスに対応するターゲット品質メトリックに少なくとも基づいて前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを調整するための符号、及び前記調整された符号化パラメータを用いて前記データセグメントを再符号化するための符号のうちの１つ又はその組み合わせを備える。

一定の側面においては、マルチメディアデータを処理するための方法は、デジタル映像データと関連づけられた符号化されたデータセグメントに関する知覚品質メトリックを計算すること、及び前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる少なくとも１つの符号化パラメータ及び前記符号化されたデータセグメントの結果的に得られた（ｒｅｓｕｌｔａｎｔ）ビットレートのうちの１つに基づいて複数のコンテンツクラスのうちの１つを選択することのうちの１つ又はその組み合わせを備え、少なくとも１つの差分メトリックに基づいて前記画素ブロックをグループに分離することは、可能な差分メトリックをグループに分離すること、前記グループの各々と関連づけられた品質メトリックを予め計算すること、及び前記グループの各々に関する重みを予め計算することのうちの１つ又はその組み合わせを含むことができ、前記グループの少なくとも一部分は、２つ以上の差分メトリックを含み、前記グループに関する前記品質メトリックは、前記グループと関連づけられた前記差分メトリックの各々に対応する品質メトリックの平均に等しく、前記グループの各々に関する重みは、ビンと関連づけられた前記差分メトリックの少なくとも一部分に基づいて計算される。

一定の側面においては、マルチメディアデータを処理するための装置は、デジタル映像データと関連づけられた符号化されたデータセグメントに関する知覚品質メトリックを計算する品質測定モジュール、及び前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる少なくとも１つの符号化パラメータ及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの少なくとも１つに基づいて複数のコンテンツクラスのうちの１つを選択するクラス選択モジュールのうちの１つ又はその組み合わせを備え、前記品質測定モジュールは、可能な差分メトリックをグループに分離すること、前記グループの各々と関連づけられた品質メトリックを予め計算すること、及び前記グループの各々に関する重みを予め計算することのうちの１つ又はその組み合わせをさらに実行し、前記グループの少なくとも一部分は、２つ以上の差分メトリックを含み、前記グループに関する前記品質メトリックは、前記グループと関連づけられた前記差分メトリックの各々に対応する品質メトリックの平均に等しく、前記グループの各々に関する前記重みは、前記ビンと関連づけられた前記差分メトリックの少なくとも一部分に基づいて計算される。

一定の側面においては、マルチメディアデータを処理するための装置は、デジタル映像データと関連づけられた符号化されたデータセグメントに関する知覚品質メトリックを計算するための手段、前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる少なくとも１つのパラメータ及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて複数のコンテンツクラスのうちの１つを選択するための手段のうちの１つ又はその組み合わせを備え、少なくとも１つの差分メトリックに基づいて前記画素ブロックをグループに分離するための前記手段は、可能な差分メトリックをグループに分離するための手段であって、前記グループの少なくとも一部分は、２つ以上の差分メトリックを含む手段、前記グループの各々と関連づけられた品質メトリックを予め計算するための手段であって、前記グループに関する前記品質メトリックは、前記グループと関連づけられた前記差分メトリックの各々に対応する品質メトリックの平均に等しい手段、及び前記グループの各々に関する重みを予め計算するための手段であって、前記グループの各々に関する前記重みは、前記ビンと関連づけられた前記差分メトリックの少なくとも一部分に基づいて計算される手段、のうちの１つ又はその組み合わせを含む。

一定の側面においては、命令が格納された機械によって読み取り可能な媒体であって、前記格納された命令は、符号の１つ以上の部分を含み、及び１つ以上の機械において実行可能であり、符号の前記１つ以上の部分は、デジタル映像データと関連づけられた符号化されたデータセグメントに関する知覚品質メトリックを計算するための符号、及び前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる少なくとも１つの符号化パラメータ及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて複数のコンテンツクラスのうちの１つを選択するための符号のうちの１つ又はその組み合わせを備え、前記知覚品質メトリックを計算するための前記符号は、前記画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいて前記セグメントと関連づけられたデータフレームの画素ブロックをグループに分離するための符号、品質メトリック値及び重み値を前記画素ブロックグループの各々と関連づけるための符号、及び前記グループと関連づけられた前記品質メトリック値及び重み値に基づいて前記データセグメントに関する重み付き品質メトリックを計算するための符号、のうちの１つ又はその組み合わせをさら含む。

（及び、より一般的には、マルチメディア、音声、映像、及びピクチャ、又はその他の非可逆圧縮）
１つ以上の例の詳細が添付図及び以下の説明において示される。その他の特徴、目的、及び利点も前記説明及び図面、及び請求項から明らかであろう。

この開示の品質管理技法を採用する映像符号化及び復号システムを示したブロック図である。 データセグメントを複数のコンテンツクラスのうちの１つと関連づける典型的コンテンツ分類モジュールを示したブロック図である。 コンテンツクラスを表す典型的品質−レート曲線を表すグラフである。 データセグメントを符号化するために用いられる１つ以上の符号化パラメータを動的に調整する典型的品質管理モジュールを示すブロック図である。 この開示の技法によりデータセグメントを符号化するための典型的符号化技法を示した図である。 この開示の技法により符号化されたデータセグメントの品質を管理する符号化デバイスの典型的動作を示した流れ図である。 重み付き品質メトリックを計算する品質測定モジュールの典型的動作を示す流れ図である。 データセグメントを複数のコンテンツクラスのうちの１つと関連づけるコンテンツ分類モジュールの典型的動作を示した流れ図である。

この開示は、符号化されたデータシーケンスの品質を管理するための符号化技法を説明する。一般的には、この開示の一定の実施形態の一定の側面は、あらゆるマルチメディアストリーム（すなわち、不可逆圧縮を用いる音声、映像、ピクチャ、又はあらゆるデータ）に適用することができる。しかしながら、説明を簡潔にするため及び制限することなしに、この開示の一定の実施形態は、映像、マルチメディアデータを用いて説明及び例示される。特に、この開示の技法は、観る人によって経験される知覚品質を管理することを試みる。観る人によって経験される知覚品質は、データシーケンスのコンテンツ、又はプロパティに基づいて異なることがある。換言すると、同じ符号化パラメータを用いて符号化されたシーケンスが、シーケンスのコンテンツに基づいて異なる知覚品質を有することがある。例えば、３６の量子化パラメータ（ＱＰ）において符号化された動きの激しいスポーツシーケンスは、同じＱＰにおいて符号化された動きの少ないシーケンスよりもはるかに良く見える。これは、主に、スポーツシーケンスにおける動きはより大きいＱＰのほうが知覚される視覚上の品質を向上させる傾向があることに起因する。他方、動きの少ないシーケンスが良く見えるより小さいＱＰにおいてスポーツシーケンスが符号化された場合は、知覚上の品質は向上するが、上昇したビットレートのコストが知覚上の品質の増分的向上を上回ることになる。一定の実施形態がその他のマルチメディアストリーム（すなわち、音声ストリーム）に適用されるときには、知覚上の品質は、映像ストリームにおけるような視覚ではなく聴覚上の品質になる可能性があることに注意すること。

この開示は、シーケンスの知覚品質を管理してシーケンスのコンテンツ、又はプロパティにかかわらず希望される一定の知覚上の品質を達成させるのを試みる技法を提供する。ここにおいて詳細に説明されるように、符号化デバイスは、シーケンスセグメントをそのシーケンスセグメントのコンテンツに基づいてコンテンツ“クラス”と関連づけ、シーケンスセグメントの観測された知覚上の品質を決定し、及び観測された知覚上の品質及びデータセグメントと関連づけられたコンテンツクラスに基づいて１つ以上の符号化パラメータを調整する。時間が許す場合は、調整された符号化パラメータを用いてデータセグメントを再符号化することができる。代替として、後続するデータセグメントは、最初に、調整された符号化パラメータを用いて符号化することができる。この方法により、データシーケンスは、シーケンスセグメントの観測された知覚上の品質が希望される知覚上の品質に収斂するように符号化される。

図１は、ここにおいて説明される品質管理技法を採用する映像符号化及び復号システム１０を示すブロック図である。符号化及び復号システム１０は、送信チャネル１６によって接続された符号化デバイス１２と復号デバイス１４とを含む。符号化デバイス１２は、１つ以上のデジタル映像データシーケンスを符号化し、符号化されたシーケンスを復号及び復号デバイス１４のユーザーへの提示を目的として送信チャネル１６を通じて復号デバイス１４に送信する。送信チャネル１６は、有線又は無線の媒体、又はその組み合わせを備えることができる。

符号化デバイス１２は、１つ以上の映像データチャネルをブロードキャストするために用いられるブロードキャストネットワーク構成要素の一部を成すことができる。一例として、符号化デバイス１２は、符号化された映像データの１つ以上のチャネルを無線デバイスにブロードキャストするために用いられる無線基地局、サーバー、又はいずれかのインフラストラクチャノードの一部を成すことができる。この場合は、符号化デバイス１２は、符号化されたデータを複数の無線デバイス、例えば復号デバイス１４、に送信することができる。しかしながら、図１では単純化することを目的として単一の復号デバイス１４のみが示される。

復号デバイス１４は、符号化デバイス１２によって送信された符号化された映像データを受信し及びその映像データをユーザーに提示するために復号するユーザー−デバイスを備えることができる。一例として、復号デバイス１４は、デジタルテレビ、無線通信デバイス、ゲームプレイ装置、ポータブルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ又はデスクトップコンピュータ、デジタル音楽及び映像デバイス、例えば商標“ｉＰｏｄ”の名前で販売されるデバイス、又は無線電話、例えばセル方式、衛星又は地上方式の無線電話、又は映像ストリーミング、映像テレフォニー、又は両方用に装備されたその他の無線移動端末の一部として実装することができる。

幾つかの側面においては、双方向通信に関して、符号化及び復号システム１０は、セッション開始プロトコル(ＳＩＰ)、国際電気通信連合標準化セクター（ＩＴＵ−Ｔ）Ｈ．３２３基準、ＩＴＵ−Ｔ Ｈ．３２４基準、又はその他の基準に準じた映像テレフォニー又は映像ストリーミングをサポートすることができる。符号化デバイス１２は、映像圧縮基準、例えば、ムービング・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、又はＩＴＵ−Ｔ Ｈ．２６４、等に準じて符号化された映像データを生成することができる。図１には示されていないが、符号化デバイス１２及び復号デバイス１４は、音声符号器及び復号器とそれぞれ一体化することができ、共通のデータシーケンス又は別個のデータシーケンス内の音声及び映像の両方の符号化を処理するための適切なマルチプレクサ−デマルチプレクサ（ＭＵＸ−ＤＥＭＵＸ）モジュール、又はその他のハードウェア、ファームウェア、又はソフトウェアを含むことができる。該当する場合は、ＭＵＸ−ＤＥＭＵＸモジュールは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザーデータグラムプロトコル（ＵＤＰ）等のその他のプロトコルに準拠することができる。幾つかの側面においては、この開示は、Technical Standard TIA-1099, Aug.2006（技術基準ＴＩＡ−１０９９、２００６年８月）として発行された順方向リンク専用（ＦＬＯ）エアインタフェース仕様“Ｆｏｒｗａｒｄ Ｌｉｎｋ Ｏｎｌｙ Ａｉｒ Ｉｎｔｅｒｆａｃｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ ｆｏｒ Ｔｅｒｒｅｓｔｒｉａｌ Ｍｏｂｉｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｍｕｌｔｉｃａｓｔ”（地上移動マルチメディアマルチキャストに関する順方向リンク専用インタフェース仕様）（“ＦＬＯ仕様”）を用いる地上移動マルチメディアマルチキャスト（ＴＭ３）システムにおいてリアルタイム映像サービスを配送するためのエンハンストＨ．２６４映像コーディングへの適用を企図する。しかしながら、この開示において説明される品質管理技法は、どのような特定のタイプのブロードキャスト、マルチキャスト、又はポイント・ツー・ポイントシステムにも限定されない。

図１に示されるように、符号化デバイス１２は、符号化モジュール１８と、メモリ２０と、コンテンツ分類モジュール２２と、品質管理モジュール２４と、送信機２６とを含む。符号化モジュール１８は、１つ以上の入力映像シーケンス２８Ａ−２８Ｎ（総称して“映像シーケン２８”）を１つ以上のソースから受信し、映像シーケンス２８を選択的に符号化する。符号化モジュール１８は、例えば、符号化デバイス１２内に組み入れられるか又は符号化デバイス１２に結合された画像キャプチャデバイス（示されていない）から映像シーケンス２８を受け取ることができる。代替として、符号化モジュール１８は、映像シーケンス２８をメモリ２０から受け取ることができる。映像シーケンス２８は、ブロードキャストとして又はオンデマンドでコーディングされて送信されるべきライブのリアルタイム映像シーケンス、音声シーケンス、又は映像と音声のシーケンスを備えることができ、又はブロードキャストとして又はオンデマンドでコーディングされて送信されるべき予め録画して格納されている映像、音声、又は映像と音声の流れを備えることができる。この開示の技法は、リアルタイムサービスに関して説明されるが、ほぼリアルタイムのサービス、非リアルタイムのサービス、又はリアルタイムサービス、ほぼリアルタイムのサービス及び非リアルタイムのサービスの組み合わせに対しても適用することができる。しかしながら、例示する目的上、この開示は、リアルタイムサービスにおける品質管理技法の使用を説明する。

幾つかの側面においては、符号化モジュール１８は、符号化されたデータシーケンスを送信機２６を介する送信のために１つの送信フレームに結合することもできる。特に、符号化モジュール１８は、ある期間にわたって受信された映像シーケンス２８の一部分を符号化、結合、及び送信することができる。一例として、符号化モジュール１８は、１秒ごとに映像シーケンス２８に関して動作することができる。換言すると、符号化モジュール１８は、複数の映像シーケンス２８の１秒のデータセグメントを符号化し、符号化された１秒のデータセグメントを結合してデータスーパーフレームを形成し、送信機２６を介して送信チャネル１６を通じてスーパーフレームを送信する。ここにおいて用いられる用語“スーパーフレーム”は、時間的期間又は窓、例えば、１秒の期間又は窓、にわたって収集されたデータセグメントのグループを意味する。データセグメントは、１つ以上のデータフレームを含むことができる。この開示の技法は、１秒のデータセグメントに関して説明されるが、これらの技法は、例えば固定された期間である場合とない場合がある異なる期間にわたって受信されたデータセグメントに関して、又は個々のデータフレーム又はデータフレームの組に関して、その他のデータセグメントを符号化、結合及び送信するために利用することも可能である。換言すると、スーパーフレームは、１秒の期間よりも長い又は短い時間間隔、さらには可変の時間間隔を網羅するように定義することが可能である。

この開示全体を通じて、（例えば、スーパーフレームの概念に類似する）マルチメディアデータの特定の部分は、マルチメディアデータの特定のサイズ及び／又は継続時間を有するあらゆる部分を意味し、その特定のサイズ及び／又は継続時間は、物理層及び／又はＭＡＣ層の特徴及び／又はマルチメディアデータを渡すために用いられるシステムのパラメータに少なくとも部分的に基づくことに注目すること。特定のサイズ及び／又は継続時間は、静的に及び／又は動的に割り当て可能であることに注目すること。

符号化モジュール１８は、映像シーケンス２８の各々を一定の品質レベルで出力するように試みることができる。例えば、符号化モジュール１８は、映像シーケンス２８のコンテンツ、又はプロパティにかかわらず映像シーケンス２８に関する一定の知覚品質を維持するように試みることができる。換言すると、符号化モジュール１８は、映像シーケンス２８の各々をターゲット品質レベルで出力するように試みることができる。ターゲット品質レベルは、予め選択すること、ユーザーによって選択すること、自動プロセス又はユーザー又は他のプロセスからの入力を要求する半自動プロセスを通じて選択すること、又は予め決められた基準に基づいて符号化デバイス１２又はシステム１０によって動的に選択することができる。ターゲット品質レベルは、例えば、符号化用途の種類、又は符号化された映像データが送信される先であるクライアントデバイスの型に基づいて選択することができる。

一定の知覚品質レベルを維持するために、符号化モジュール１８は、知覚品質メトリック及び映像シーケンスのコンテンツに基づいて１つ以上の符号化パラメータを選択又は調整することができる。この目的のために、コンテンツ分類モジュール２２は、複数のクラスのうちの１つを用いて映像シーケンスのデータセグメントを分類する。幾つかの場合においては、コンテンツ分類モジュール２２は、データセグメントが最初に符号化された後にデータセグメントを分類する。このような場合は、符号化モジュール１８は、最初の一組の符号化パラメータを用いてデータセグメントを符号化することができる。符号化モジュール１８は、最初に、例えば前データセグメントが符号化されたときのＱＰを用いてデータセグメントを符号化することができる。従って、符号化モジュール１８は、映像シーケンスの２つの連続するデータセグメントは類似するコンテンツを有する、すなわち、現在のデータセグメントのコンテンツクラスは前データセグメントのコンテンツクラスに類似するとする発見的方法に基づいて動作することができる。代替として、符号化モジュール１８は、最初にすべてのデータセグメントを特定のＱＰにおいて符号化するように構成することができる。例えば、符号化モジュール１８は、最初に３３のＱＰにおいてすべてのデータセグメントを符号化するように構成することができる。

データセグメントを分類するのを援助するために、コンテンツ分類モジュール２２は、符号化されたデータセグメントと関連づけられた知覚品質メトリックを計算することができる。一定の側面においては、コンテンツ分類モジュール２２は、符号化されたデータセグメントと関連づけられた重み付き品質メトリックを計算することができる。重み付き品質メトリックは、観る人によって経験される主観的品質により近い客観的映像品質メトリックを提供することができる。コンテンツ分類モジュール２２は、セグメントと関連づけられた１つ以上のデータフレームの画素ブロックをこれらの画素ブロックの各々と関連づけられた差分メトリックに基づいてグループに分類し、品質メトリック及び重みを画素ブロックグループの各々と関連づけ、及び各々のグループ内の画素ブロック数及びこれらのグループと関連づけられた品質メトリックと重みに基づいて重み付き品質メトリックを計算することによって重み付き品質メトリックを計算することができる。上述されるように、画素ブロックは、あらゆるサイズ、例えばＨ．２６４基準において規定されるサイズ、であることができる。

さらに、コンテンツ分類モジュール２２は、符号化されたデータセグメントのコンテンツを解析してデータセグメントを複数のコンテンツクラスのうちの１つと関連づけることができる。一定の側面においては、コンテンツクラスは、品質メトリック、例えばピーク信号対雑音比（ＰＳＮＲ）をビットレートの関数としてモデル化する１つ以上の曲線を備えることができる。コンテンツ分類モジュール２２は、知覚品質メトリック及びデータセグメントを符号化するために用いられる符号化パラメータ（例えば、ビットレート、ＱＰ、等）のうちの少なくとも１つに基づいて、これらの曲線のうちで符号化されたデータセグメントに最も密接に対応する曲線を選択することができる。符号化パラメータがコンテンツクラスを生成するために用いられたパラメータと一致しない場合においては、コンテンツ分類モジュール２２は、データセグメントを符号化するために用いられる符号化パラメータを正規化すること及び正規化された符号化パラメータのうちの少なくとも１つ及び知覚品質メトリックを用いて全曲線の中で符号化されたセグメントに最も密接に対応する曲線を選択することができる。代替として、コンテンツ分類モジュール２２は、知覚品質メトリック及び符号化されたデータセグメントの結果的に得られたビットレート（すなわち、特定の組の符号化パラメータを用いて達成されたビットレート）に基づいて全曲線の中で符号化されたデータセグメントに最も密接に対応する曲線を選択することができる。

他の側面においては、コンテンツクラスは、セグメントのデータの複雑さ（例えば、空間的複雑さ及び／又は時間的複雑さ）に基づくクラスを備えることができる。コンテンツ分類モジュール２２は、テクスチャ情報、例えばコントラスト比値、を（ｘ軸上において）“高”、“中”、及び“低”のカテゴリに分類し、動き情報、例えば動きベクトル、を（ｙ軸上において）“高”、“中”、及び“低”のカテゴリに分類し、動きカテゴリとテクスチャカテゴリとの間の交点に基づいてクラスのうちの１つを用いてデータセグメントを分類することができる。データセグメントが関連づけられるクラスは、特定の品質−レート曲線と対応することができる。代替として、データセグメントが関連づけられるクラスは、１つ以上の符号化パラメータに対応することができる。１つの該コンテンツ分類方法は、参照されることによってその全体がここにおいて組み入れられている、同時係属中で共通して譲渡された米国特許出願番号１１／３７３，５７７“CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING”（マルチメディア処理に関するコンテンツ分類）において説明されている。

品質管理モジュール２４は、データセグメントが属するコンテンツクラスと関連づけられたターゲット品質を決定する。幾つかの場合においては、従来の品質メトリック、例えばＰＳＮＲ、は、観る人によって経験される知覚上の視覚映像品質を常に正確に測定できるわけではない。これらの場合は、コンテンツクラスの各々と関連づけられたターゲット品質メトリックは異なる場合がある。特に、品質管理モジュール２４は、異なるコンテンツクラスのシーケンスは同じＰＳＮＲにおいても知覚的に異なるように見えるという事実を考慮するためにコンテンツクラスの各々と関連づけられたターゲット品質メトリックを調整することができる。

品質管理モジュール２４は、知覚品質メトリック（例えば、重み付き品質メトリック）をターゲット品質メトリックと比較する。知覚品質メトリックとターゲット品質メトリックとの間の差分がしきい値を超える場合は、品質管理モジュール２４は、符号化パラメータのうちの少なくとも１つを調整する。例えば、知覚品質メトリックがターゲット品質メトリックよりもしきい値分だけ大きい場合は、品質管理モジュール２４は、データセグメントを符号化するために用いられるＱＰを大きくする。同様に、知覚品質メトリックがターゲット品質メトリックよりもしきい値分だけ小さい場合は、品質管理モジュール２４は、データセグメントを符号化するために用いられるＱＰを小さくする。品質管理モジュール２４は、ＱＰ以外の符号化パラメータ、例えばフレームレート、符号化モード、デブロッキング、係数トリミング、動きベクトルリファィンメント、等を調整することができる。

品質管理モジュール２４が符号化パラメータを調整後は、符号化モジュール１８は、調整された符号化パラメータを用いてデータセグメントに関する第２のパス符号化を行うことができる。例えば、符号化モジュー１８は、調整されたＱＰにおいてデータセグメントを再符号化することができる。第２のパス符号化は、知覚品質メトリックを有効に高精度化して希望されるターゲットにより近づける。さらに、第２のパス符号化は、映像シーケンスのコンテンツクラスを再確立することができる。一定の側面においては、符号化モジュール１８は、計算処理時間が許すときだけしか第２のパス符号化を実行することができない。他の側面においては、符号化モジュール１８は、観測された品質を向上させるのを試みて３つ以上の符号化パスを実行することができる。

符号化モジュール１８が、例えば第２の符号化バス後に又は符号化モジュール１８が再符号化を必要としない場合は第１の符号化パス後に最後の符号化パスを実行後は、符号化デバイス１２は、符号化されたデータセグメントを送信機２６を介して送信する。送信機２６は、符号化された映像を送信チャネル１６において送信するための適切なモデム及びドライバ回路を含むことができる。無線用途においては、送信機２６は、符号化された映像データを搬送する無線データを送信するためのＲＦ回路を含む。

復号デバイス１４は、符号化されたデータを受信機３０を介して受信する。受信機３０は、送信機２６と同様に、符号化された映像を送信チャネル１６において受信するための適切なモデム及びドライバ回路を含むことができ、及び無線用途において符号化された映像データを搬送する無線データを受信するためのＲＦ回路を含むことができる。幾つかの例においては、符号化デバイス１２及び復号デバイス１４は、各々が送信チャネル１６において送信された符号化映像及びその他の情報に関するソースデバイス及び受信デバイスの両方として働くことができるように可逆（ｒｅｃｉｐｒｏｃａｌ）送信及び受信回路を各々含むことができる。この場合は、符号化デバイス１２及び復号デバイス１４の両方が映像シーケンスを送信及び受信することができ、従って双方向通信に参加することができる。換言すると、マルチメディア符号化デバイス１０の例示される構成要素は、符号器／復号器（ＣＯＤＥＣ）の一部として組み入れることができる。

復号モジュール３２は、符号化されたデータセグメントをユーザーに提示するために復号する。復号デバイス１４は、復号デバイス１４内に組み入れるか又は有線又は無線接続を介して復号デバイス１４に結合された個別デバイスとして提供することができるディスプレス（示されていない）を介して復号されたデータセグメントをユーザーにさらに提示することができる。

符号化デバイス１２及び復号デバイス１４内の構成要素は、ここにおいて説明される技法を実装するために適用可能な構成要素の典型例である。しかしながら、符号化デバイス１２及び復号デバイス１４は、希望される場合は、その他の数多くの構成要素を含むことができる。例えば、符号化デバイス１２は、各々が１つ以上の映像データシーケンスを受け取ってここにおける技法に従って各々の映像データシーケンスを符号化する複数の符号化モジュールを含むことができる。この場合は、符号化デバイス１２は、データセグメントを送信のために結合するための少なくとも１つのマルチプレクサをさらに含むことができる。さらに、符号化デバイス１２及び復号デバイス１４は、符号化された映像の送信及び受信のための適切な変調、復調、周波数変換、フィルタリング、及び増幅器の各構成要素を含むことができ、無線周波数（ＲＦ）無線構成要素とアンテナとを適宜含む。しかしながら、例示を容易にするために、該構成要素は図１に示されていない。

符号化デバイス１２及び復号デバイス１４内の構成要素は、１つ以上のプロセッサ、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はその組み合わせとして実装することができる。異なる特徴をモジュールとして描くことは、符号化デバイス１２及び復号デバイス１４の異なる機能上の側面を強調することが意図され、該モジュールを別個のハードウェア又はソフトウェア構成要素によって実現させなければならないということは必ずしも意味しない。むしろ、１つ以上のモジュールと関連づけられた機能は、共通の又は別個のハードウェア又はソフトウェア構成要素内に組み入れることができる。従って、この開示は、符号化デバイス１２及び復号デバイス１４の例に限定されるべきでない。

図２は、ここにおいて説明される技法によりデータセグメントを複数のコンテンツクラスのうちの１つと関連づける典型的コンテンツ分類モジュール４０を示すブロック図である。コンテンツ分類モジュール４０は、例えば、符号化デバイス１２のコンテンツ分類モジュール２２（図１）を代表することができる。コンテンツ分類モジュール４０は、品質測定モジュール４２と、符号化パラメータ正規化モジュール４４と、クラス選択モジュール４６と、を含む。

上述されるように、符号化モジュール１８（図１）は、受信されたデータセグメントの第１のパス符号化を行う。データセグメントの第１のパス符号化は、前データセグメントの符号化のために用いられた符号化パラメータを用いて行うことができる。代替として、データセグメントの第１のパス符号化は、前データセグメントが調整された符号化パラメータを用いて再符号化されなかった場合でも、前データセグメントの調整された符号化パラメータを用いて行うことができる。他の例として、データセグメントの第１のパス符号化は、構成された一組の符号化パラメータを用いて行うことができる。第１のパス符号化後は、コンテンツ分類モジュール４０は、データセグメントを複数のコンテンツクラスのうちの１つと関連づける。そうするために、コンテンツ分類モジュール４０は、符号化されたデータセグメント及びクラスを生成するために用いられたパラメータに対応する１つ以上の符号化パラメータ又は符号化されたデータセグメントの結果的に得られたビットレートのうちのいずれかに基づいてデータセグメントをコンテンツクラスのうちの１つと関連づけることができる。後述されるように、幾つかの側面においては、１つ以上の符号化パラメータを、コンテンツクラスを生成するために用いられる符号化パラメータに対応するように正規化することができる。

品質測定モジュール４２は、符号化されたデータセグメントに関する知覚品質メトリックを計算する。知覚品質メトリックは、例えば、観測されたＰＳＮＲ、重み付きＰＳＮＲ、平均オピニオン評点（ＭＯＳ）、又はその他の品質メトリックであることができる。知覚品質メトリックを計算する際には、品質測定モジュール４２は、従来の品質メトリック、例えばＰＳＮＲ、は、観る人によって経験される知覚映像品質の必ずしも正確な尺度ではないという事実を考慮することができる。これは、低強度シーケンス又はフレームに特に当てはまり、小さい平均二乗誤差を有する低強度エリアによって平均フレームＰＳＮＲに偏りが生じる。これらのエリアは、典型的には、人間の視覚系がこれらのエリアを関心エリアとして知覚しないため知覚上の全体的な映像品質に対しては影響がない。

この問題に取り組むために、品質測定モジュール４２は、重み付き品質メトリック（例えば、重み付きＰＳＮＲ）を計算する。重み付き品質メトリックは、従来のＰＳＮＲよりも観る人によって知覚される主観的品質により近似する客観的な映像品質を提供する。重み付き品質メトリックを計算するために、品質測定モジュール４２は、セグメントの１つ以上のデータフレームの画素ブロックを画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいてグループに分離する。品質測定モジュール４２は、例えば、差分の絶対値の和（ＳＡＤ）、画素当たりのＳＡＤ（ＳＰＰ）、差分の二乗の和（ＳＳＤ）、又は画素ブロックの各々と関連づけられた同様の差分メトリックに基づいて１つ以上のデータフレームの画素ブロックをグループに分けることができる。その他の例は、変換された差分の絶対値の和（ＳＡＴＤ）、又は変換された差分の二乗の和（ＳＳＴＤ）を用いることができる。例示目的のため、この開示は、１つ以上のデータフレームの画素ブロックを画素ブロックの各々と関連づけられたＳＰＰ値に基づいてグループに分類することができる。しかしながら、品質測定モジュール４２は、その他の差分メトリックに基づいて画素ブロックをグループに分離できることが明らかなはずである。

品質測定モジュール４２は、ブロックモード決定に少なくとも基づいて画素ブロックに関するＳＰＰ値を計算する。品質測定モジュール４２は、例えば、以下の方程式に従って画素ブロックに関するＳＰＰ値を計算することができる。

ここで、ＳＰＰは、画素ブロックに関して計算されるＳＰＰ値であり、ＳＡＤｉは、画素ブロックのｉ番目の画素に関するＳＡＤ値であり、ｎは、画素ブロック内の画素数である。画素ブロックの各々と関連づけられたＳＰＰ値は、ゼロ乃至ｎの範囲である。１６×１６画素ブロックの場合は、ｎは２５６に等しく、画素ブロックと関連づけられたＳＰＰ値は、０乃至２５５の範囲である。ゼロのＳＰＰ値は、予測される画素ブロック及び原画素ブロックがまったく同じであることを示す。他方、２５５のＳＰＰ値は、正反対であること、すなわち、予測される画素ブロック及び原画素ブロックが極端に異なることを示す。

品質測定モジュール４２は、各ＳＰＰ値と関連づけられた品質メトリックを予め計算することができる。例示目的で、この開示の技法は、ＰＳＮＲ品質メトリックに関して説明される。しかしながら、これらの技法は、あらゆる品質メトリックを用いて利用できることが理解されるべきである。品質測定モジュール４２は、ＳＰＰ値の各々と関連づけられたＰＳＮＲ 値を予め計算することができる。一例においては、品質測定モジュール４２は、以下の方程式に従ってＳＰＰ値の各々と関連づけられたＰＳＮＲ値を予め計算することができる。

ここで、ＰＳＮＲ_ｉは、ｉ番目のＳＰＰ値と関連づけられたＰＳＮＲ値であり、ＳＰＰ_ｉは、ｉ番目のＳＰＰ値である。

品質測定モジュール４２は、ＳＰＰ値範囲全体を複数のグループに分離し、各々のグループは、１つ以上のＳＰＰ値に対応する。一例においては、品質測定モジュール４２は、ＳＰＰ値範囲全体（０．．．２５５）を６４グループに分離することができ、各々のグループは、４つの連続するＳＰＰ値を表す。代替として、品質測定モジュール４２は、連続しないＳＰＰ値を複数のグループに分けることができる。品質測定モジュール４２は、品質メトリック、例えばＰＳＮＲ値、を各々のグループと関連づける。例えば、品質測定モジュール４２は、各々のグループに関する平均ＰＳＮＲ値を入手するためにこれらのグループに属するＳＰＰ値の各々と関連づけられたＰＳＮＲ値の平均を求める。

品質測定モジュール４２は、重みを各々のグループとさらに関連づけることができる。一定の側面においては、品質測定モジュール４２は、対数重み関数を用いて計算された重みを各々のグループと関連づけることができる。対数重み関数は、これらのグループに対応するＳＰＰ値の関数であることができる。品質測定モジュール４２は、以下の方程式に従って各々のグループと関連づけるための重みを決定することができる。

ここで、Ｗｔ_ｉは、ｉ番目のグループと関連づけられた重みであり、ＳＰＰ_ｊは、ｊ番目の画素のＳＰＰ値であり、６４の別々のグループの場合はｋ＝０，１，．．．，６４であり、ｊは、ｉ番目のグループと関連づけられた最高のＳＰＰ値である。６４のグループを有する１６×１６画素ブロックの場合は、ｊ＝３，７，１１，．．．，２５５である。各々のグループと関連づけられた重みは、各グループに関するブロックカウントを調整するのに役立つ。換言すると、重みは、データセグメントの計算されたＰＳＮＲに向かってカウントすべきである各々のグループ内のブロック数を示す。重み関数は、より高いＳＰＰ値を有するグループにより高い重みを割り当てる。

上述されるように、データセグメントは、１つ以上の画素ブロックを含む１つ以上のデータフレームを含むことができる。品質測定モジュール４２は、データセグメントのフレームの画素ブロックを画素ブロックと関連づけられたＳＰＰ値に基づいてグループのうちの１つに分離する。データセグメントのすべての画素ブロックがグループに分けられた後に、品質測定モジュール４２は、１つのグループ当たりの画素ブロックの割合を計算する。一定の側面においては、スキップされることが決定された画素ブロックは、１つのグループ当たりの画素ブロックの割合の計算から除外される。品質測定モジュール４２は、１つのグループ当たりの画素ブロックの割合、グループと関連づけられた品質メトリック及びグループと関連づけられた重みに基づいてデータセグメントに関する重み付き品質メトリックを計算する。一例においては、品質測定モジュールは、以下の方程式に従って重み付き品質メトリックを計算する。

ここで、Ｗｔ＿Ｑは、重み付き品質メトリックであり、ｉ＝０，１，．．．ｎ，であり、ｎは、グループ数に等しく、Ｗｔ［ｉ］は、ｉ番目のグループと関連づけられた重みであり、ＭＢＰｅｒｃ［ｉ］は、ｉ番目のグループに含まれるセグメントの総ブロック数の割合であり、Ｇｒｏｕｐ＿Ｑ［ｉ］は、ｉ番目のグループと関連づけられた品質メトリックであり、ＴｏｔａｌＭＢＣｎｔは、データセグメント内の総画素ブロック数である。ＴｏｔａｌＭＢＣｎｔは、すべてのｉのグループに関して以下の方程式を用いて計算される。

データセグメントに関する品質メトリックを上述されるように計算することによって、客観的映像品質メトリックを、従来の品質メトリックと比較して観る人によって経験される主観的品質により近づけることができる。

データセグメントを符号化するため用いられる符号化パラメータがコンテンツクラスを生成するために用いられる符号化パラメータと合致しない場合は、コンテンツ分類モジュール４０は、コンテンツクラスを生成するために用いられる符号化パラメータと対応するように符号化パラメータのうちの１つ以上を正規化することができる。一定の側面においては、符号化パラメータ正規化モジュール４４は、コンテンツクラスを生成するために用いられるパラメータに対応するためにデータセグメントを符号化するために用いられるビットレートを正規化する。ビットレートを正規化することは、データセグメントの実際のフレームシーケンスの型とフレームレート、及びデータセグメントの符号化中に用いられたＱＰがビットレートに対して及ぼす影響を低減させることができる。

一定の側面においては、コンテンツクラスは、品質メトリック、例えばＰＳＮＲ、をビットレートの関数としてモデル化する品質−レート曲線を備えることができる。この場合は、符号化パラメータは、品質−レート曲線を生成するために用いられるパラメータに合わせて正規化される。例えば、符号化パラメータ正規化モジュール４４は、以下の方程式及表に従い、データセグメントを符号化するために用いられるビットレートを、品質−レート曲線を生成するために用いられるビットレートに合わせて正規化することができる。

ここで、Ｒは、正規化されたビットレートであり、γ_ＦＰＳは、ビットレートを３０フレーム／秒（ｆｐｓ）相当（ｅｑｕｉｖａｌｅｎｔ）までスケーリングするために用いられるスケーリング係数であり、φ_Ｉは、Ｉフレームのビットレートを設定値ＱＰ相当までスケーリングするために用いられるスケーリング係数であり、Ｒａｔｅ_Ｉは、データセグメントのＩフレームの観測されたビットレートであり、φ_Ｐは、Ｐフレームのビットレートを設定値ＱＯ相当までスケーリングするために用いられるスケーリング係数であり、Ｒａｔｅ_Ｐは、データセグメントのＰフレームの観測されたビットレートであり、φ_Ｂは、Ｂフレームのビットレートを設定値ＱＰ相当までスケーリングするために用いられるスケーリング係数であり、Ｒａｔｅ_Ｂは、データセグメントのＢフレームの観測されたビットレートである。換言すると、データセグメントのＩフレームの観測されたビットレート（Ｒａｔｅ_Ｉ）、データセグメントのＰフレームの観測されたビットレート（Ｒａｔｅ_Ｐ）、及びデータセグメントのＢフレームの観測されたビットレート（Ｒａｔｅ_Ｂ）は、データセグメントのＩフレームを符号化するために用いられる総ビット数、データセグメントのＰフレームを符号化するため用いられるビット数、及びデータセグメントのＢフレームを符号化するため用いられるビット数にそれぞれ対応する。テーブル１は、これらのレートをＱＰ３３相当までスケーリングするために用いられる幾つかの典型的スケーリング係数（例えば、φ_Ｐ及びφ_Ｂ）を示す。テーブル２は、ビットレートを３０ｆｓｐ相当までスケーリングするために用いられる幾つかの典型的スケーリング係数を示す。

クラス選択モジュール４６は、知覚品質メトリック（この場合は重み付き品質メトリック）及びクラスを生成するために用いられるパラメータに対応する１つ以上の符号化パラメータ又は符号化されたデータセグメントの結果的に得られたビットレートのいずれかに基づいてデータセグメントを複数のコンテンツクラスのうちの１つと関連づける。上述されるように、コンテンツクラスは、データセグメントを各々の品質及びレート情報と関連づけることができる。例えば、クラス選択モジュール４６は、品質メトリックをビットレートの関数としてモデル化する複数の品質−レート曲線を用いて構成することができる。従って、品質−レート曲線は、コンテンツクラスを備えることができる。品質−レート曲線は、
異なるＱＰにおける異なるタイプのコンテンツに関するビットレート及び品質メトリックを測定し、その結果をクラスタリングし及び曲線当てはめを行うことによってオフラインで計算することができる。例えば、品質−レート曲線は、以下の形の対数関数を用いてモデル化することができる。

ここで、Ｑは、品質メトリックであり、ｒは、ビットレートであり、α及びβは、幾つかのサンプルデータポイントを用いて計算される定数である。一例として、品質−レート曲線は、データセグメントのコンテンツ内の様々な動きレベル及びテクスチャレベルと関連づけられた８つの異なるクラスに対応することができる。以下のテーブル３は、図３に示される品質−レート曲線に関する幾つかの定数例α及びβを示す。曲線ＩＤ値０乃至７は、曲線４８Ａ乃至４８Ｈ（“曲線４８”）にそれぞれ対応する。

データセグメントを対応する品質−レート曲線（例えば、コンテンツクラス）と関連づけるために、クラス選択モジュール４６は、知覚品質メトリック、例えば重み付き品質メトリック、及びクラスを生成するために用いられるパラメータに対応する１つ以上の符号化パラメータ又は符号化されたデータセグメントの結果的に得られたビットレートのいずれかに基づいて品質−レート曲線のうちの１つを選択する。正規化されたビットレートを一例として用いると、クラス選択モジュール４６は、正規化されたビットレートに対応する各々の品質レート曲線に関する品質メトリックを計算することができる。例えば、クラス選択モジュール４６は、符号化パラメータ正規化モジュール４４によって計算された正規化されたビットレート及びテーブル３において規定される品質−レート定数を用いて、方程式（７）に従って品質−レート曲線の各々に関する品質メトリックを計算することができる。換言すると、クラス選択モジュール４６は、正規化されたビットレートにおける品質−レート曲線の各々に関する品質メトリックを計算する。

クラス選択モジュール４６は、データセグメントに最も密接に対応する品質−レート曲線（すなわち、クラス）を選択する。例えば、クラス選択モジュール４６は、正規化された符号化パラメータ、例えばビットレート、を用いて計算された品質メトリックのうちのいずれが品質測定モジュール４２によって計算された重み付き品質メトリックに最も近いかを決定する。クラス選択モジュール４６は、複数の品質−レート曲線の各々に関して、知覚品質メトリックと正規化されたビットレートにおける各々の品質−レート曲線上の品質メトリックとの間の差を計算し、これらの品質−レート曲線のうちで最小の差に対応する品質−レート曲線を選択することができる。このように、クラス選択モジュール４６は、ａｂｓ（Ｗｔ＿Ｑ−Ｑ_ｉ）を最小にする品質−レート曲線を選択し、ここで、Ｗｔ＿Ｑは、重み付き品質メトリックであり、Ｑ_ｉは、ｉ番目のクラス又は曲線と関連づけられた品質メトリックである。

図３は、コンテンツクラスを表す典型的品質−レート曲線４８を示すグラフである。図３に示される品質−レート曲線４８は、対数関数（６）及びテーブル３に示される品質レート定数を用いてモデル化される。上述されるように、品質−レート曲線４８は、異なるＱＰにおいて符号化された異なるタイプのコンテンツに関するビットレート及び品質メトリックを測定し、その結果をクラスタリングし、及び曲線当てはめを行うことによってオフラインで計算することができる。

品質−レート曲線４８の各々は、データセグメントのコンテンツ内の様々な動きレベル及びテクスチャレベルと関連づけられた異なるコンテンツクラスに対応する。特に、品質−レート曲線４８Ａは、動きが少なくテクスチャの低いコンテンツに対応する。品質−レート曲線４８Ｈは、動きが多くテクスチャが高いコンテンツに対応する。図３に示される品質−レート曲線４８は、典型的曲線であるにすぎない。その他の品質−レート定数又はその他のモデル化方程式に基づいて同様の曲線を生成することができる。

図４は、データセグメントを符号化するために用いられる１つ以上の符号化パラメータを動的に調整する典型的品質管理モジュール５０を示すブロック図である。品質管理モジュール５０は、例えば、符号化デバイス１２の品質管理モジュール２４（図１）を表すことができる。品質管理モジュール５０は、ターゲット品質決定モジュール５２と、品質比較モジュール５４と、符号化パラメータ調整モジュール５６と、を含む。

ターゲット品質決定モジュール５２は、コンテンツ分類に基づいてデータセグメントのターゲット品質メトリックを決定する。換言すると、ターゲット品質決定モジュール５２は、符号化モジュール１８（図１）がデータセグメントを符号化すべきであるターゲット品質レベルを決定する。ターゲット品質メトリックは、例えば、データセグメントを符号化すべきターゲットＰＳＮＲを備えることができる。上述されるように、従来のＰＳＮＲは、観る人によって経験される知覚上の映像品質の常に正確な測定値であるわけではない。従って、ターゲット品質決定モジュール５２は、異なるコンテンツクラスのシーケンスは異なるＰＳＮＲにおいて知覚的には同様にみえるという事実を考慮するためにコンテンツ分類に基づいてターゲット品質メトリックを動的に調整することができる。ターゲット品質決定モジュール５２は、以下の方程式を用いて希望されるターゲット品質メトリックを計算することができる。

ここで、Ｔａｒｇｅｔ＿Ｑは、希望されるターゲット品質メトリックであり、Ｓｅｔｐｏｉｎｔ（設定値）は、最初のターゲット品質メトリックであり、ΔＱｉは、ｉ番目のコンテンツクラスに対応する品質調整デルタである。以下のテーブル４は、複数の曲線に関する典型的品質調整デルタ及び希望されるターゲット品質メトリック（この場合は、ＰＳＮＲ）を示す。テーブル４において計算された値は、３３のＳｅｔＰｏｉｎｔＰＳＮＲを用いて計算される。上記のテーブル３において示される曲線ＩＤ値０乃至７は、図３の曲線４８Ａ乃至４８Ｈ（“曲線４８”）に対応することができる。

テーブル４において示されるように、動きが少なくテクスチャが低いコンテンツに対応する曲線に関する希望されるターゲットＰＳＮＲは、最初のターゲット品質（すなわち、ＳｅｔＰｏｉｎｔ）よりも高くなるように調整され、他方、動きが多くテクスチャが高いコンテンツに対応する曲線に関する希望されるターゲットＰＳＮＲは、最初のターゲット品質よりも低くなるように調整される。一定の側面においては、最初のターゲット品質（すなわち、Ｓｅｔｐｏｉｎｔ）は、動きが中度でテクスチャが中程度であるデータセグメントと関連づけられた品質メトリックに対応することができる。

品質比較モジュール５４は、計算されたターゲット品質メトリックを、データセグメントが符号化される実際の品質レベルである知覚品質メトリックと比較する。一定の側面においては、知覚品質メトリックは、品質測定モジュール４２（図２）によって計算された重み付き品質メトリックを備えることができる。品質比較モジュール５４は、例えば、重み付き品質メトリックを品質測定モジュール４２から受け取ることができる。代替として、品質比較モジュール５４は、上記において図２に関して詳細に説明されるように重み付き品質メトリックを計算することができる。

知覚品質メトリック、例えば重み付き品質メトリック、とターゲット品質メトリックとの間の差がしきい値を超える場合は、品質比較モジュール５４は、符号化パラメータ調整モジュール５６に警告する。符号化パラメータ調整モジュール５６は、データセグメントを符号化するために用いられる少なくとも１つの符号化パラメータを調整する。例えば、知覚品質メトリックが希望されるターゲット品質メトリックよりもしきい値分だけ大きい場合は、符号化パラメータ調整モジュール５６は、データセグメントが符号化されるＱＰを大きくすることができる。同様に、知覚品質メトリックが希望されるターゲット品質メトリックよりもしきい値分だけ小さい場合は、符号化パラメータ調整モジュール５６は、データセグメントが符号化されるＱＰを小さくすることができる。ＱＰ符号化パラメータ調整モジュール５６は、データセグメントが符号化されるＱＰを、知覚品質メトリックとターゲット品質メトリックとの間の差分だけ調整する（大きくするか又は小さくする）ことができる。代替として、ＱＰ符号化パラメータ調整モジュール５６は、計算処理時間が許すときにはデータセグメントが符号化されるＱＰをさらに細かい増分値で調整することができる。ここにおいてはデータセグメントを符号化するために用いられるＱＰを調整することに関して説明されるが、符号化パラメータ調整モジュール５６は、その他の符号化パラメータ、例えば、フレームレート、符号化モード、デブロッキング、係数トリミング、動きベクトル高精度化、等、を調整することができる。

符号化パラメータ調整モジュール５６は、調整された符号化パラメータを符号化パラメータの許容範囲（以後“許容符号化パラメータ範囲”とする）と比較する。許容符号化パラメータ範囲は、データセグメントと関連づけられたコンテンツクラスに基づいて異なることができる。テーブル５は、図３に示される品質−レート曲線と関連づけられたコンテンツクラスに関するＱＰ値に関する典型的な許容符号化パラメータ範囲を示す。

テーブル５に示されるように、許容符号化パラメータ範囲は、データセグメントと関連づけられたコンテンツクラス（例えば、品質−レート曲線）に基づいて変動する。特に、動きが小さくテクスチャが低いコンテンツ（例えば、曲線ＩＤ０）に対応するコンテンツクラス及び動きが多くテクスチャが高いコンテンツ（例えば、曲線ＩＤ７）に対応するコンテンツクラスに対応する許容ＱＰ範囲は、中度のテクスチャ及び中度の動きを含むコンテンツクラス（例えば、曲線ＩＤ２乃至４）よりも小さい規模の範囲の許容可能ＱＰ値を有する。動き及びテクスチャがより極端であるコンテンツと関連づけられたコンテンツクラスは、４つの許容可能ＱＰ値のみから成る範囲を有しており、他方、より中度の動き及びテクスチャと関連づけられたコンテンツクラスは、最高９つの許容可能ＱＰ値を有する。

さらに、テーブル５は、ＱＰとコンテンツとの間の追加の関係も示す。動きが多くテクスチャが高いコンテンツを含むデータセグメントのコンテンツの許容ＱＰ範囲は、動きが少なくテクスチャが低いコンテンツを含むデータセグメントのコンテンツの許容ＱＰ範囲よりも大きい。テーブル５において示されるように、動きが多くテクスチャが高いコンテンツと動きが少なくテクスチャが低いコンテンツとの間には５つのＱＰ値の差が存在する。

調整された符号化パラメータが許容符号化パラメータ範囲の外側にあることを符号化パラメータ調整モジュール５６が決定した場合は、符号化パラメータ調整モジュール５６は、その符号化パラメータが許容符号化パラメータ範囲内になるように再調整する。曲線ＩＤ０に対応するデータセグメントに関する調整されたＱＰ値が例えば２８である場合は、符号化パラメータ調整モジュール５６は、データセグメントに関するＱＰ値を、品質−レート曲線ＩＤ０に対応するコンテンツクラスに関する許容ＱＰ範囲内にある３０に再調整することができる。

品質管理モジュール５０は、調整された符号化パラメータを符号化モジュール１８(図１)に提供する。符号化モジュール１８は、十分な処理時間が許す場合は調整された符号化パラメータを用いてデータセグメントに関する第２パス符号化を行うことができる。この方法により、品質管理モジュール５０は、一定の品質を維持することを試みてデータセグメントが符号化されるときの知覚品質を動的に調整する。さらに、符号化モジュール１８は、後続するデータセグメントを符号化するために調整された符号化パラメータを用いることができる。これは、符号化モジュール１８が前データセグメントを再符号化しない場合でも当てはまる。

図５は、この開示の技法による典型的データセグメント符号化技法を示す図である。図５に示される符号化技法は、例えば、符号化デバイス１２（図１２）によって実行することができる。図５に示される例は、データセグメント６０Ａ及び６０Ｂの符号化を示す。しかしながら、これらの技法は、あらゆる数のデータセグメントに拡大することができる。

最初に、符号化デバイス１２は、最初の一組の符号化パラメータを用いてデータセグメント６０Ａを符号化するための第１のパスを行うことができる。符号化デバイス１２は、例えば、最初に、構成されたＱＰ又はデータセグメント６０Ａのコンテンツ、又はプロパティ、に基づいて決定されたＱＰを用いてデータセグメント６０Ａを符号化することができる。上記において詳細に説明されるように、符号化デバイス１２は、符号化されたデータセグメントのコンテンツを解析してデータセグメント６０Ａを複数のコンテンツクラスのうちの１つと関連づけ及び符号化されたデータセグメントの知覚品質メトリック及び関連づけられたコンテンツクラスに対応するターゲット品質メトリックに基づいて１つ以上の符号化パラメータを調整すべきかどうかを決定する。符号化デバイス１２は、例えば、知覚品質メトリックとターゲット品質メトリックとの間の差分がしきい値を超えるときに調整が望まれると決定することができる。

調整が望まれるときには、符号化デバイス１２は、データセグメント６０Ａに関する少なくとも１つの符号化パラメータを調整し、調整された符号化パラメータを用いてデータセグメント６０Ａの第２のパス符号化を行う。第２のパス符号化は、知覚品質メトリックを有効に高精度化して希望されるターゲット品質メトリックに近づけ、及び映像シーケンスのコンテンツクラスを再確立することができる。図５に示される例においては２つの符号化パスのみが行われるが、符号化デバイス１２は、計算プロセス時間が許すときには３つ以上の符号化パスを行うことができる。さらに、処理時間が許さない場合は、符号化デバイス１２は、調整された符号化パラメータを用いてデータセグメントを再符号化することができないが、その代わりに、調整された符号化パラメータを用いて後続するデータセグメント、すなわち、データセグメント６０Ｂ、を符号化することができる。符号化デバイス１２は、符号化されたデータセグメント６０Ａを送信する。

符号化デバイス１２は、第２のパス符号化中にデータセグメント６０Ａを符号化するために用いられた符号化パラメータを用いてデータセグメント６０Ｂの第１のパス符号化を行うことができる。データセグメント６０Ａに関して第２のコーディングパスが行われなかった場合は、符号化デバイス１２は、データセグメント６０Ａの第１のパス符号化中に用いられた符号化パラメータを用いてデータセグメント６０Ｂの第１のパス符号化を行うことができる。代替として、符号化デバイス１２は、データセグメント６０Ａの再符号化が行われなかった場合でもデータセグメント６０Ｂに関して計算された調整された符号化パラメータを用いてデータセグメント６０Ｂを符号化することができる。この方法により、符号化デバイス１２は、コンテンツは２つの連続するデータセグメント間では類似するという発見的方法に基づいて動作する。

符号化デバイス１２は、符号化されたデータセグメントのコンテンツを解析してデータセグメント６０Ｂを複数のコンテンツクラスのうちの１つと関連づけ、符号化されたデータセグメントの知覚品質メトリック及び関連づけられたコンテンツクラスに対応するターゲット品質メトリックに基づいて符号化パラメータを調整すべきかどうかを決定し、及び調整が希望されるときにはデータセグメント６０Ｂに関する少なくとも１つの符号化パラメータを調整する。符号化デバイス１２は、調整された符号化パラメータを用いてデータセグメント６０Ｂの第２のパス符号化を行い、これは、知覚品質メトリックを再度高精度化して希望されるターゲット品質メトリックにより近づける。

図６は、この開示の技術により符号化されたデータセグメントの品質を管理する符号化デバイス１２の典型的動作を示した流れ図である。最初に、符号化モジュール１８は、最初の一組の符号化パラメータを用いてデータセグメンを符号化する（７０）。符号化モジュール１８は、例えば、前データセグメントに関して計算された調整された符号化パラメータを用いてデータセグメントを符号化することができる。これらの調整された符号化パラメータは、前データセグメントを符号化するために用いられる符号化パラメータであること又はないことができる。例えば、処理時間が許さなかった場合は、前データセグメントは、異なる符号化パラメータを用いて符号化することができる。この方法により、符号化モジュール１８は、コンテンツクラスは２つの連続するデータセグメント間では類似するという発見的方法に基づいて動作することができる。代替として、符号化モジュール１８は、構成された符号化パラメータを用いて全データセグメントを最初に符号化するように構成することができる。他の例においては、符号化モジュール１８は、データセグメントのコンテンツ、又はプロパティに基づいてデータセグメントを符号化するための最初の符号化パラメータを選択することができる。

符号化デバイス１２は、符号化されたデータセグメントの知覚品質メトリックを計算する（７２）。一定の側面においては、符号化デバイス１２は、従来の品質メトリックと比較して観る人によって経験される主観的品質により近い客観的映像品質メトリックを提供する符号化データセグメントと関連づけられた重み付き品質メトリックを計算することができる。上記において詳細に説明されるように、符号化デバイス１２は、セグメントと関連づけられた１つ以上のデータフレームの画素ブロックをこれらの画素ブロックの各々と関連づけられた１つ以上の差分メトリックに基づいてグループに分離し、品質メトリック及び重みを画素ブロックの各々のグループと関連づけ、及び各々のグループ内の画素ブロック数及びこれらのグループと関連づけられた品質メトリックと重みに基づいて重み付き品質メトリックを計算することによって重み付き品質メトリックを計算することができる。

コンテンツ分類モジュール２２は、データセグメントを複数のコンテンツクラスのうちの１つと関連づける（７４）。一定の側面においては、コンテンツクラスは、品質メトリック、例えばピーク信号対雑音比（ＰＳＮＲ）をビットレートの関数としてモデル化する１つ以上の曲線を備えることができる。コンテンツ分類モジュール２２は、知覚品質メトリック及びデータセグメントを符号化するために用いられる符号化パラメータ（例えば、ビットレート、ＱＰ、等）のうちの少なくとも１つに基づいて、これらの曲線のうちで符号化されたデータセグメントに最も密接に対応する曲線を選択することができる。データセグメントとコンテンツクラスのうちの１つとの関連づけを補助するため、コンテンツ分類モジュール２２は、データセグメントを符号化するために用いられる符号化パラメータが複数の品質−レート曲線を生成するために用いられる符号化パラメータと異なるときに品質−レート曲線を生成するために用いられるパラメータに対応するためにデータセグメントが符号化されたときの１つ以上の正規化された符号化パラメータを計算することができる。これで、コンテンツ分類モジュール２２は、知覚品質メトリック及び正規化された符号化パラメータに基づいてデータセグメントをコンテンツクラスのうちの１つと関連づけることができる。例えば、コンテンツ分類モジュール２２は、計算された重み付き品質メトリックに最も近い正規化されたビットレートにおける品質メトリックを有する品質−レート曲線を選択することができる。代替として、コンテンツ分類モジュール２２は、知覚品質メトリック及び符号化されたデータセグメントの結果的に得られたビットレート（例えば、特定の組の符号化パラメータを用いて達成されたビットレート）に基づいて曲線のうちで符号化されたデータセグメントに最も近い曲線を選択することができる。

品質管理モジュール２４は、データセグメントが属するコンテンツクラスと関連づけられたターゲット品質メトリックを決定する（７６）。品質管理モジュール２４は、例えば、方程式（８）及び３３のＰＳＮＲ値の設定値に関するテーブル４のパラメータを用いてターゲット品質メトリックを計算することができる。品質管理モジュール２４は、重み付き品質メトリックとターゲット品質メトリックとの間の差分を計算し（７８）、その差分の絶対値をしきい値と比較する（８０）。換言すると、品質管理モジュール２４は、観測された品質が十分であるかどうかを決定する。この差分の絶対値がしきい値よりも小さい場合は、符号化デバイス１２は、再符号化のための第２のパスを行う必要がなく、代わりにデータセグメントを単に送信する（８２）。

重み付き品質メトリックとターゲット品質メトリックとの間の差分の絶対値がしきい値を超える場合は、品質管理モジュール２４は、データセグメントを符号化するために用いられる少なくとも１つの符号化パラメータを調整する（８４）。例えば、知覚品質メトリックがターゲット品質メトリックよりもしきい値分だけ大きい場合は、品質管理モジュール２４は、符号化に関して用いられるＱＰを大きくすることができる。同様に、知覚品質メトリックがターゲット品質メトリックよりもしきい値分だけ小さい場合は、品質管理モジュール２４は、符号化に関して用いられるＱＰを小さくすることができる。

符号化パラメータ調整モジュール５６は、調整された符号化パラメータが許容パラメータ範囲内にあるかどうかを決定する（８６）。符号化パラメータ調整モジュール５６は、調整された符号化パラメータを、データセグメントと関連づけられ許容符号化パラメータ範囲、例えばテーブル５において規定されるＱＰ範囲、と比較することができる。上述されるように、許容符号化パラメータ範囲は、データセグメントと関連づけられたコンテンツクラスに基づいて異なることができる。調整された符号化パラメータが許容符号化パラメータ範囲外にある場合は、符号化パラメータ調整モジュール５６は、符号化パラメータが許容符号化パラメータ範囲内に入るように再調整する（８７）。

品質管理モジュール２４は、データセグメントを再符号化するための十分な時間が存在するかどうかを決定する（８８）。一側面においては、品質管理モジュール２４は、データセグメントを再符号化するため十分なコンピュータ処理時間が残されているかどうかを決定することができる。他の側面においては、品質管理モジュール２４は、現在のデータセグメントが再符号化されている回数を決定することができ、データセグメントがしきい回数よりも多く再符号化された後は符号化パラメータを調整することができない。一例においては、データセグメントを再符号化できるしきい回数は、１回である。

データセグメントを再符号化するための十分な時間が存在する場合は、符号化モジュール１８は、調整された符号化パラメータ、例えば調整されたＱＰ、を用いてデータを再符号化するための第２のパスを行う（８９）。第２の符号化パスは、知覚品質メトリックを有効に高精度化して希望されるターゲット品質メトリックにより近づけ、映像シーケンスのコンテンツクラスを再確立することができる。幾つかの側面においては、符号化モジュール２４は、観測された品質を向上させるのを試みて３回以上の符号化パスを行うことができる。第２のパス再符号化後は、符号化デバイス１２は、再符号化されたデータセグメントの知覚品質メトリックを計算する（７２）。データセグメントを再符号化するための十分な時間が存在しない場合は、符号化デバイス１２は、再符号化のための第２のパスを行う必要がなく、代わりに単にデータセグメントを送信する（８２）。

図７は、この開示の一定の側面の技法により重み付き品質メトリックを計算する品質測定モジュール４２の典型的動作を示す流れ図である。上記において詳細に説明されるように、重み付き品質メトリックは、従来の品質メトリックと比較して観る人によって知覚される主観的品質により近似する客観的映像品質メトリックを提供することができる。

品質測定モジュール４２は、複数のグループを生成する（９０）。上記において詳細に説明されるように、これらのグループは、１つ以上の差分メトリック、例えば、ＳＰＰ、ＳＡＤ、ＳＳＤ、ＳＡＴＤ、ＳＳＴＤ、等、に対応することができる。一例においては、品質測定モジュール４２は、各々が４つの差分メトリックに対応する６４のグループを生成することができる。品質測定モジュール４２は、各々のグループと関連づけられた１つ以上の特徴を予め計算する（９２）。品質測定モジュールは、各々のグループと関連づけられた品質メトリック、例えばＰＳＮＲ値、を予め計算することができる。例えば、品質測定モジュール４２は、これらのグループに属する差分メトリックの各々と関連づけられたＰＳＮＲ値の平均を求めることによって品質メトリックを予め計算することができる。さらに、品質測定モジュール４２は、各々のグループと関連づけられた重みを予め計算することができる。例えば、品質測定モジュール４２は、より高い差分メトリック、例えばより高いＳＰＰ値、を有するグループにより高い重みを割り当てる対数重み関数を用いて重みを予め計算することができる。

品質測定モジュール４２は、データセグメントの画素ブロックに関する差分メトリックを計算する（９４）。品質測定モジュール４２は、グループを形成するために用いられたのと同じ差分メトリックを計算する。例えば、グループがＳＰＰ値に基づいて生成される場合は、品質測定モジュール４２は、上記の方程式１を用いて画素ブロックに関するＳＰＰ値を計算することができる。品質測定モジュール４２は、計算された差分メトリックに基づいて画素ブロックをこれらのグループのうちの１つと関連づける（９６）。品質測定モジュール４２は、画素ブロックの品質メトリックをグループの品質メトリックと比較し、同じ品質メトリック値に対応するグループと画素ブロックを関連づけることができる。品質測定モジュール４２は、データセグメント内にその他の画素ブロックが存在するかどうかを決定する（９８）。品質測定モジュール４２は、すべての画素ブロックがグループに分けられるまで画素ブロックの各々をグループと関連づけるのを続ける。この方法により、品質測定モジュール４２は、データセグメントの画素ブロックを画素ブロックと関連づけられた品質メトリックに基づいてグループのうちの１つに分離する。

品質測定モジュール４２がデータセグメントの全画素ブロックを全グループのうちの１つに関連づけた時点で、品質測定モジュール４２は、全グループのうちの１つに含まれている画素ブロックの割合を計算する（１００）。品質測定モジュール４２は、そのグループと関連づけられた画素ブロック数をデータセグメントの総画素ブロック数で割ることによってその割合を計算することができる。一定の側面においては、品質測定モジュール４２は、スキップ画素ブロックを含めずに割合を計算することができる。品質測定モジュール４２は、グループ内における画素ブロックの割合にグループと関連づけられた予め計算された重みを乗じることによってグループに関する調整されたブロックカウントを計算する（１０２）。品質測定モジュール４２は、さらなるグループが存在するかどうかを決定し（１０４）、各々のグループに関する画素ブロックの割合及び調整されたブロックカウントを計算する。

各々のグループに関する調整されたブロックカウントを計算後は、品質測定モジュール４２は、データセグメントに関する重み付き品質メトリックを計算する（１０６）。例えば、品質測定モジュール４２は、グループと関連づけられた調整されたブロックカウント及び品質メトリックに基づいてデータセグメントに関する重み付き品質メトリックを計算することができる。一例においては、品質測定モジュールは、以下の方程式に従って重み付き品質メトリックを計算する。

ここで、Ｗｔ＿Ｑは、重み付き品質メトリックであり、ｉ＝０、１、．．．、ｎ、であり、ｎは、データセグメントと関連づけられたフレームの各々における画素数に等しく、Ａｄｊｕｓｔｅｄ＿ｂｌｏｃｋ＿ｃｎｔ［ｉ］は、ｉ番目のグループと関連づけられた調整されたブロックカウントであり、Ｇｒｏｕｐ＿Ｑ［ｉ］は、ｉ番目のグループと関連づけられた品質メトリックであり、ＴｏｔａｌＭＢＣｎｔは、データセグメント内の総画素ブロック数である。データセグメントに関する品質メトリックを上述される方法で計算することによって、従来の技法と比較して観る人によって経験される主観的品質により近い客観的映像品質メトリックを定義することができる。

図８は、この開示の一定の側面の技法によりデータセグメントを複数のコンテンツクラスのうちの１つと関連づけるコンテンツ分類モジュール４０の典型的動作を示した流れ図である。最初に、コンテンツ分類モジュール４０は、コンテンツクラスを生成するために用いられるパラメータと対応するためにデータセグメントを符号化するために用いられる１つ以上の符号化パラメータを正規化する（１１０）。例えば、コンテンツ分類モジュール４０は、方程式（６）及びテーブル１と２に含まれるスケーリング係数に従ってビットレートを正規化することができる。

コンテンツ分類モジュール４０は、正規化された符号化パラメータを用いて各々の品質−レート曲線に関する品質メトリックを計算する（１１２）。例えば、コンテンツ分類モジュール４０は、方程式（７）の対数関数及びテーブル３の定数を正規化されたビットレートとともに用いて各々の品質−レート曲線に関する品質メトリックを計算することができる。

コンテンツ分類モジュール４０は、データセグメントを品質−レート曲線のうちの１つと関連づける（１１４）。コンテンツ分類モジュール４０は、正規化さけたビットレートにおける品質−レート曲線の品質メトリック及び符号化されたデータセグメントの重み付き品質メトリックに基づいてデータセグメントを品質−レート曲線のうちの１つと関連づけることができる。特に、コンテンツ分類モジュール４０は、正規化されたビットレートにおいて計算された品質−レート曲線の品質メトリックを重み付き品質メトリックと比較し、重み付き品質メトリックに最も近い品質メトリックに対応する品質−レート曲線を選択する。この方法により、コンテンツ分類モジュール４０は、ａｂｓ（Ｗｔ＿Ｑ−Ｑ_ｉ）を最小にする品質−レート曲線にデータセグメントを関連づけ、ここで、Ｗｔ＿Ｑは、重み付き品質メトリックであり、Ｑ_ｉは、ｉ番目のクラス又は曲線と関連づけられた品質メトリックである。

ここにおいて説明される教示に基づき、ここにおいて開示される側面はその他側面とは無関係に実装できること及びこれらの側面のうちの２つ以上を様々な方法で組み合わせることができることを当業者は明確に理解すべきである。ここにおいて説明される技法は、ハードウェア、ソフトウェア、ファームウェア、又はそのいずれかの組み合わせにおいて実装することができる。ハードウェアにおいて実装される場合は、これらの技法は、デジタルハードウェア、アナログハードウェア又はその組み合わせを用いて実現することができる。ソフトウェア内に実装される場合は、これらの技法は、少なくとも部分的には、１つ以上の命令又は符号が格納されるコンピュータによって読み取り可能な媒体を含むコンピュータプログラム製品によって実現することができる。

一例として、及び限定することなしに、該コンピュータによって読み取り可能な媒体は、ＲＡＭ、例えば同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、ＲＯＭ、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＥＥＰＲＯＭ、ＦＬＡＳＨメモリ、ＣＤ−ＲＯＭ又はその他の光学ディスク記憶装置、磁気ディスク記憶装置又はその他の磁気記憶装置、又は希望されるプログラムコードを命令又はデータ構造の形態で搬送又は格納するために用いることができ及びコンピュータによってアクセス可能なその他の有形の媒体を備えることができる。

コンピュータプログラム製品のコンピュータによって読み取り可能な媒体と関連づけられた命令及び符号は、コンピュータによって、例えば１つ以上のプロセッサ、例えば１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブロジックアレイ（ＦＰＧＡ）、又はその他の同等の集積回路又は個別論理回路によって実行することができる。

幾つかの側面及び例が説明されている。しかしながら、これらの例の様々な修正が可能であり、さらにここにおいて示される原理は、その他の側面に対しても同様に適用可能である。これらの及びその他の側面は、以下の請求項の適用範囲内にある。

Claims (88)

1. デジタルマルチメディアデータを処理するための方法であって、
   前記デジタルマルチメディアデータと関連づけられたデータセグメントを一組の符号化パラメータを用いて符号化することと、
   前記符号化されたデータセグメントの１つ以上のプロパティを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけることと、
   前記符号化されたデータセグメントの知覚品質メトリック及び前記関連づけられたコンテンツクラスに対応するターゲット品質メトリックに少なくとも基づいて前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを調整することと、
   前記調整された符号化パラメータを用いて前記データセグメントを再符号化すること、とを備える、方法。
2. 前記符号化パラメータのうちの前記少なくとも１つを調整することは、
   前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分がしきい値を超えるときに前記符号化パラメータのうちの少なくとも１つを調整することを備える請求項１に記載の方法。
3. 前記符号化パラメータのうちの前記少なくとも１つを調整することは、前記知覚品質メトリックが前記ターゲット品質メトリックよりもしきい値分だけ大きいときに量子化パラメータを大きくすることを備える請求項１に記載の方法。
4. 前記量子化パラメータを大きくすることは、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分の絶対値分だけ前記量子化パラメータを大きくすることを備える請求項３に記載の方法。
5. 前記符号化パラメータのうちの前記少なくとも１つを調整することは、前記知覚品質メトリックが前記ターゲット品質メトリックよりもしきい値分だけ小さいときに量子化パラメータを小さくすることを備える請求項１に記載の方法。
6. 前記量子化パラメータを小さくすることは、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分の絶対値分だけ前記量子化パラメータを小さくすることを備える請求項５に記載の方法。
7. 前記符号化パラメータのうちの前記調整された少なくとも１つを、前記データセグメントと関連づけられた前記コンテンツクラスに関する前記符号化パラメータのうちの前記少なくとも１つに関する許容範囲と比較することと、
   前記調整された符号化パラメータが前記符号化パラメータのうちの前記少なくとも１つに関する前記許容範囲外にあるときに前記符号化パラメータのうちの前記少なくとも１つを前記符号化パラメータのうちの前記少なくとも１つに関する前記許容範囲内の値になるように再調整すること、とをさらに備える請求項１に記載の方法。
8. 最初のターゲット品質設定値を識別することと、
   前記データセグメントに関する前記ターゲット品質メトリックを計算するために前記データセグメントと関連づけられた前記コンテンツクラスに基づいて前記最初のターゲット品質設定値を調整すること、とをさらに備える請求項１に記載の方法。
9. 前記データセグメントを符号化することは、前データセグメントに関して計算された前の一組の調整された符号化パラメータを用いて前記データセグメントを符号化することを備える請求項１に記載の方法。
10. 前記符号化されたデータセグメントの前記１つ以上のプロパティを解析することは、
    前記データセグメントを符号化するために用いられる前記符号化パラメータが複数の品質−レート曲線を生成するために用いられる符号化パラメータと異なるときに前記複数の品質−レート曲線を生成するために用いられる前記符号化パラメータに対応するために前記符号化されたデータセグメントの前記１つ以上のプロパティのうちの少なくとも１つを正規化することと、
    前記符号化されたデータセグメントの前記知覚品質メトリックを計算することと、
    前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの前記少なくとも１つ、前記少なくとも１つの正規化されたプロパティ、及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて前記複数の品質−レート曲線のうちの１つを選択すること、とを備える請求項１に記載の方法。
11. 前記複数の品質−レート曲線のうちの１つを選択することは、
    前記複数の品質−レート曲線の各々に関して、前記知覚品質メトリックと前記少なくとも１つの正規化されたプロパティに対応する前記各々の品質−レート曲線上の品質メトリックとの間の差分を計算することと、
    前記品質−レート曲線のうちで前記計算された差分のうちの最小の差分に対応する品質−レート曲線を選択すること、とを備える請求項１０に記載の方法。
12. 前記知覚品質メトリックを計算することは、
    前記セグメントと関連づけられたデータフレームの画素ブロックを前記画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいてグループに分離することと、
    品質メトリック値及び重み値を前記画素ブロックグループの各々と関連づけることと、
    前記グループと関連づけられた前記品質メトリック値及び重み値に基づいて前記データセグメントに関する重み付き品質メトリックを計算すること、とをさらに備える請求項１０に記載の方法。
13. 少なくとも１つの差分メトリックに基づいて画素ブロックをグループに分離することは、差分の絶対値の和（ＳＡＤ）、画素当たりのＳＡＤ（ＳＰＰ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの少なくとも１つに基づいて画素ブロックをグループに分離することを備える請求項１２に記載の方法。
14. 前記符号化されたデータセグメントの前記１つ以上のプロパティを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけることは、前記符号化されたデータセグメントの前記１つ以上のプロパティを解析して前記データセグメントを複数の品質−レート曲線のうちの一定の１つと関連づけることを備える請求項１に記載の方法。
15. デジタルマルチメディアデータを処理するための装置であって、
    前記デジタルマルチメディアデータと関連づけられたデータセグメントを一組の符号化パラメータを用いて符号化する符号化モジュールと、
    前記符号化されたデータセグメントの１つ以上のパラメータを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけるコンテンツ分類モジュールと、
    前記符号化されたデータセグメントの知覚品質メトリック及び前記関連づけられたコンテンツクラスに対応するターゲット品質メトリックに少なくとも基づいて前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを調整する品質管理モジュールと、を備え、
    前記符号化モジュールは、前記調整された符号化パラメータを用いて前記データセグメントを再符号化する、装置。
16. 前記品質管理モジュールは、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分がしきい値を超えるときに前記符号化パラメータのうちの前記少なくとも１つを調整する請求項１５に記載の装置。
17. 前記品質管理モジュールは、前記知覚品質メトリックが前記ターゲット品質メトリックよりもしきい値分だけ大きいときに量子化パラメータを大きくする請求項１５に記載の装置。
18. 前記品質管理モジュールは、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分の絶対値分だけ前記量子化パラメータを大きくする請求項１７に記載の装置。
19. 前記品質管理モジュールは、前記知覚品質メトリックが前記ターゲット品質メトリックよりもしきい値分だけ小さいときに量子化パラメータを小さくする請求項１５に記載の装置。
20. 前記品質管理モジュールは、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分の絶対値分だけ前記量子化パラメータを小さくする請求項１９に記載の装置。
21. 前記品質管理モジュールは、
    前記符号化パラメータのうちの前記調整された少なくとも１つを、前記データセグメントと関連づけられた前記コンテンツクラスに関する前記符号化パラメータのうちの前記少なくとも１つに関する許容範囲と比較し、及び
    前記調整された符号化パラメータが前記符号化パラメータのうちの前記少なくとも１つに関する前記許容範囲外にあるときに前記符号化パラメータのうちの前記少なくとも１つを前記符号化パラメータのうちの前記少なくとも１つに関する前記許容範囲内の値になるように再調整する請求項１５に記載の装置。
22. 前記品質管理モジュールは、
    最初のターゲット品質設定値を識別し、及び
    前記データセグメントに関する前記ターゲット品質メトリックを計算するために前記データセグメントと関連づけられた前記コンテンツクラスに基づいて前記最初のターゲット品質設定値を調整する請求項１５に記載の装置。
23. 前記符号化モジュールは、前データセグメントに関して計算された前の一組の調整された符号化パラメータを用いて前記データセグメントを符号化する請求項１５に記載の装置。
24. 前記コンテンツ分類モジュールは、
    前記データセグメントを符号化するために用いられる前記符号化パラメータが複数の品質−レート曲線を生成するために用いられる符号化パラメータと異なるときに前記複数の品質−レート曲線を生成するために用いられる前記符号化パラメータに対応するために前記符号化されたデータセグメントの前記１つ以上のプロパティのうちの少なくとも１つを正規化し、
    前記符号化されたデータセグメントの前記知覚品質メトリックを計算し、及び
    前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの前記少なくとも１つ、前記少なくとも１つの正規化されたプロパティ、及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて前記複数の品質−レート曲線のうちの１つを選択する請求項１５に記載の装置。
25. 前記コンテンツ分類モジュールは、
    前記複数の品質−レート曲線の各々に関して、前記知覚品質メトリックと前記少なくとも１つの正規化されたプロパティに対応する前記各々の品質−レート曲線上の品質メトリックとの間の差分を計算し、及び
    前記品質−レート曲線のうちで前記計算された差分のうちの最小の差分に対応する品質−レート曲線を選択する請求項２４に記載の装置。
26. 前記コンテンツ分類モジュールは、
    前記セグメントと関連づけられたデータフレームの画素ブロックを前記画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいてグループに分離し、
    品質メトリック値及び重み値を前記画素ブロックグループの各々と関連づけ、及び
    前記グループと関連づけられた前記品質メトリック値及び重み値に基づいて前記データセグメントに関する重み付き品質メトリックを計算する請求項２４に記載の装置。
27. 前記コンテンツ分類モジュールは、
    差分の絶対値の和（ＳＡＤ）、画素当たりのＳＡＤ（ＳＰＰ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの少なくとも１つに基づいて前記画素ブロックをグループに分離する請求項２６に記載の装置。
28. 前記コンテンツ分類モジュールは、
    前記符号化されたデータセグメントの前記１つ以上のプロパティを解析して前記データセグメントを複数の品質−レート曲線のうちの一定の１つと関連づける請求項１５に記載の装置。
29. デジタルマルチメディアデータを処理するための装置であって、
    前記デジタルマルチメディアデータと関連づけられたデータセグメントを一組の符号化パラメータを用いて符号化するための手段と、
    前記符号化されたデータセグメントの１つ以上のプロパティを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけるための手段と、
    前記符号化されたデータセグメントの知覚品質メトリック及び前記関連づけられたコンテンツクラスに対応するターゲット品質メトリックに少なくとも基づいて前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを調整するための手段と、
    前記調整された符号化パラメータを用いて前記データセグメントを再符号化するための手段と、を備える、装置。
30. 前記符号化パラメータのうちの前記少なくとも１つを調整するための前記手段は、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分がしきい値を超えるときに前記符号化パラメータのうちの少なくとも１つを調整するための手段を備える請求項２９に記載の装置。
31. 前記符号化パラメータのうちの前記少なくとも１つを調整するための前記手段は、前記知覚品質メトリックが前記ターゲット品質メトリックよりもしきい値分だけ大きいときに量子化パラメータを大きくするための手段を備える請求項２９に記載の装置。
32. 大きくするための前記手段は、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分の絶対値分だけ前記量子化パラメータを大きくするための手段を含む請求項３１に記載の装置。
33. 前記符号化パラメータのうちの前記少なくとも１つを調整するための前記手段は、前記知覚品質メトリックが前記ターゲット品質メトリックよりもしきい値分だけ小さいときに量子化パラメータを小さくするための手段を備える請求項２９に記載の装置。
34. 小さくするための前記手段は、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分の絶対値分だけ前記量子化パラメータを小さくするための手段を含む請求項３３に記載の装置。
35. 前記符号化パラメータのうちの前記調整された少なくとも１つを、前記データセグメントと関連づけられた前記コンテンツクラスに関する前記符号化パラメータのうちの前記少なくとも１つに関する許容範囲と比較するための手段と、
    前記調整された符号化パラメータが前記符号化パラメータのうちの前記少なくとも１つに関する前記許容範囲外にあるときに前記符号化パラメータのうちの前記少なくとも１つを前記符号化パラメータのうちの前記少なくとも１つに関する前記許容範囲内の値になるように再調整するための手段と、をさらに備える請求項２９に記載の装置。
36. 最初のターゲット品質設定値を識別するための手段と、
    前記データセグメントに関する前記ターゲット品質メトリックを計算するために前記データセグメントと関連づけられた前記コンテンツクラスに基づいて前記最初のターゲット品質設定値を調整するための手段と、をさらに備える請求項２９に記載の装置。
37. 前記データセグメントを符号化するための前記手段は、前データセグメントに関して計算された前の一組の調整された符号化パラメータを用いて前記データセグメントを符号化するための手段を備える請求項２９に記載の装置。
38. 前記解析する手段は、
    前記データセグメントを符号化するために用いられる符号化パラメータが複数の品質−レート曲線を生成するために用いられる符号化パラメータと異なるときに前記複数の品質−レート曲線を生成するために用いられる前記符号化パラメータに対応するために前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを正規化するための手段と、
    前記符号化されたデータセグメントの前記知覚品質メトリックを計算するための手段と、
    前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つ、前記正規化された符号化パラメータ、及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて前記複数の品質−レート曲線のうちの１つを選択するための手段と、をさらに備える請求項２９に記載の装置。
39. 前記選択する手段は、前記複数の品質−レート曲線の各々に関して、前記知覚品質メトリックと前記正規化された符号化パラメータに対応する前記各々の品質−レート曲線上の品質メトリックとの間の差分を計算し、及び前記品質−レート曲線のうちで前記最小の差分に対応する品質−レート曲線を選択する請求項３８に記載の装置。
40. 前記計算する手段は、
    前記セグメントと関連づけられたデータフレームの画素ブロックを前記画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいてグループに分離し、品質メトリック値及び重み値を前記画素ブロックグループの各々と関連づけ、及び前記グループと関連づけられた前記品質メトリック値及び重み値に基づいて前記データセグメントに関する重み付き品質メトリックを計算する請求項３８に記載の装置。
41. 前記計算する手段は、差分の絶対値の和（ＳＡＤ）、画素当たりのＳＡＤ（ＳＰＰ）、差分の二乗差の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの少なくとも１つに基づいて画素ブロックをグループに分離する請求項４０に記載の装置。
42. 前記解析する手段は、前記符号化されたデータセグメントのコンテンツを解析して前記データセグメントを複数の品質−レート曲線のうちの１つと関連づける請求項２９に記載の装置。
43. 命令が格納されている機械によって読み取り可能な媒体であって、前記格納された命令は、符号の１つ以上のセグメントを含み、及び１つ以上の機械において実行可能であり、符号の前記１つ以上のセグメントは、
    前記デジタルマルチメディアデータと関連づけられたデータセグメントを一組の符号化パラメータを用いて符号化するための符号と、
    前記符号化されたデータセグメントの１つ以上のプロパティを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけるための符号と、
    前記符号化されたデータセグメントの知覚品質メトリック及び前記関連づけられたコンテンツクラスに対応するターゲット品質メトリックに少なくとも基づいて前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを調整するための符号と、
    前記調整された符号化パラメータを用いて前記データセグメントを再符号化するための符号と、を備える、コンピュータによって読み取り可能な媒体。
44. 前記少なくとも１つの符号化パラメータを調整するための前記符号は、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分がしきい値を超えるときに前記符号化パラメータのうちの少なくとも１つを調整するための符号を備える請求項４３に記載の機械によって読み取り可能な媒体。
45. 前記符号化パラメータのうちの前記少なくとも１つを調整するための前記符号は、前記知覚品質メトリックが前記ターゲット品質メトリックよりもしきい値分だけ大きいときに量子化パラメータを大きくするための符号を備える請求項４３に記載の機械によって読み取り可能な媒体。
46. 前記量子化パラメータを大きくするための前記符号は、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分の絶対値分だけ前記量子化パラメータを大きくするための符号を備える請求項４５に記載の機械によって読み取り可能な媒体。
47. 前記符号化パラメータのうちの前記少なくとも１つを調整するための前記符号は、前記知覚品質メトリックが前記ターゲット品質メトリックよりもしきい値分だけ小さいときに量子化パラメータを小さくするための符号を備える請求項４３に記載の機械によって読み取り可能な媒体。
48. 前記量子化パラメータを小さくするための前記符号は、前記知覚品質メトリックと前記ターゲット品質メトリックとの間の差分の絶対値分だけ前記量子化パラメータを小さくするための符号を備える請求項４７に記載の機械によって読み取り可能な媒体。
49. 前記符号化パラメータのうちの前記調整された少なくとも１つを、前記データセグメントと関連づけられた前記コンテンツクラスに関する前記符号化パラメータのうちの前記少なくとも１つに関する許容範囲と比較するための符号と、
    前記調整された符号化パラメータが前記符号化パラメータのうちの前記少なくとも１つに関する前記許容範囲外にあるときに前記符号化パラメータのうちの前記少なくとも１つを前記符号化パラメータのうちの前記少なくとも１つに関する前記許容範囲内の値になるように再調整するための符号と、をさらに備える請求項４３に記載の機械によって読み取り可能な媒体。
50. 最初のターゲット品質設定値を識別するための符号と、
    前記データセグメントに関する前記ターゲット品質メトリックを計算するために前記データセグメントと関連づけられた前記コンテンツクラスに基づいて前記最初のターゲット品質設定値を調整するための符号と、をさらに備える請求項４３に記載の機械によって読み取り可能な媒体。
51. 前記データセグメントを符号化するための前記符号は、前データセグメントに関して計算された前の一組の調整された符号化パラメータを用いて前記データセグメントを符号化するための符号を備える請求項４３に記載の機械によって読み取り可能な媒体。
52. 前記符号化されたデータセグメントの前記１つ以上のプロパティを解析するための前記符号は、
    前記データセグメントを符号化するために用いられる前記符号化パラメータが複数の品質−レート曲線を生成するために用いられる符号化パラメータと異なるときに前記複数の品質−レート曲線を生成するために用いられる前記符号化パラメータに対応するために前記データセグメントを符号化するために用いられる前記符号化パラメータの１つ以上のプロパティのうちの少なくとも１つを正規化するための符号と、
    前記符号化されたデータセグメントの前記知覚品質メトリックを計算するための符号と、
    前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの前記少なくとも１つ、前記少なくとも１つの正規化されたプロパティ、及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて前記複数の品質−レート曲線のうちの１つを選択するための符号と、を備える請求項４３に記載の機械によって読み取り可能な媒体。
53. 前記複数の品質−レート曲線のうちの１つを選択するための前記符号は、
    前記複数の品質−レート曲線の各々に関して、前記知覚品質メトリックと前記少なくとも１つの正規化されたプロパティに対応する前記各々の品質−レート曲線上の品質メトリックとの間の差分を計算するための符号と、
    前記品質−レート曲線のうちで前記計算された差分のうちの最小の差分に対応する品質−レート曲線を選択するための符号と、を備える請求項５２に記載の機械によって読み取り可能な媒体。
54. 前記知覚品質メトリックを計算するための前記符号は、
    前記セグメントと関連づけられたデータフレームの画素ブロックを前記画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいてグループに分離するための符号と、
    品質メトリック値及び重み値を前記画素ブロックグループの各々と関連づけるための符号と、
    前記グループと関連づけられた前記品質メトリック値及び重み値に基づいて前記データセグメントに関する重み付き品質メトリックを計算するための符号と、をさらに備える請求項５２に記載の機械によって読み取り可能な媒体。
55. 少なくとも１つの差分メトリックに基づいて画素ブロックをグループに分離するための前記符号は、差分の絶対値の和（ＳＡＤ）、画素当たりのＳＡＤ（ＳＰＰ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの少なくとも１つに基づいて画素ブロックをグループに分離するための符号を備える請求項５４に記載の機械によって読み取り可能な媒体。
56. 前記符号化されたデータセグメントの前記１つ以上のプロパティを解析して前記データセグメントを複数のコンテンツクラスのうちの１つと関連づけるための前記符号は、前記符号化されたデータセグメントの前記１つ以上のプロパティを解析して前記データセグメントを複数の品質−レート曲線のうちの１つと関連づけるための符号を備える請求項４３に記載の機械によって読み取り可能な媒体。
57. マルチメディアデータを処理するための方法であって、
    デジタルマルチメディアデータと関連づけられた符号化されたデータセグメントに関する知覚品質メトリックを計算することと、
    前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる少なくとも１つの符号化パラメータ及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて複数のコンテンツクラスのうちの１つを選択すること、とを備える、方法。
58. 前記複数のコンテンツクラスを生成するために用いられる符号化パラメータに対応するために前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを正規化することをさらに備える請求項５７に記載の方法。
59. 前記コンテンツクラスは、品質−レート曲線を備え、
    前記品質−レート曲線の各々に関して、前記知覚品質メトリックと前記正規化された符号化パラメータに対応する前記各々の品質−レート曲線上の品質メトリックとの間の差分を計算することと、
    前記複数の品質−レート曲線のうちで前記計算された差分のうちの最小の差分と関連づけられた一定の品質−レート曲線を選択すること、とをさらに備える請求項５８に記載の方法。
60. 前記複数のコンテンツクラスは、複数の品質−レート曲線を備え、前記複数のコンテンツクラスのうちの前記１つを選択することは、前記複数の品質−レート曲線のうちの一定の品質−レート曲線を選択することを含む請求項５７に記載の方法。
61. 前記知覚品質メトリックを計算することは、
    前記符号化されたセグメントと関連づけられたデータフレームの画素ブロックを前記画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいてグループに分離することと、
    品質メトリック値及び重み値を前記画素ブロックグループの各々と関連づけることと、
    前記グループと関連づけられた前記品質メトリック値及び重み値に基づいて前記符号化されたデータセグメントに関する重み付き品質メトリックを計算すること、とをさらに含む請求項５７に記載の方法。
62. 少なくとも１つの差分メトリックに基づいて前記画素ブロックをグループに分離することは、差分の絶対値の和（ＳＡＤ）、画素当たりのＳＡＤ（ＳＰＰ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの少なくとも１つに基づいて画素ブロックをグループに分離することを含む請求項６１に記載の方法。
63. 少なくとも１つの差分メトリックに基づいて前記画素ブロックをグループに分離することは、
    可能な差分メトリックをグループに分離することであって、前記グループの少なくとも一部分は、２つ以上の差分メトリックを含むことと、
    前記グループの各々と関連づけられた品質メトリックを予め計算することであって、前記グループに関する前記品質メトリックは、前記グループと関連づけられた前記差分メトリックの各々に対応する品質メトリックの平均に等しいことと、
    前記グループの各々に関する重みを予め計算することであって、前記グループの各々に関する前記重みは、前記ビンと関連づけられた前記差分メトリックの少なくとも一部分に基づいて計算される請求項６１に記載の方法。
64. 前記符号化されたデータセグメントの前記知覚品質メトリックを計算することは、前記符号化されたデータセグメントの観測されたピーク信号対雑音比（ＰＳＮＲ）を計算することを含む請求項５７に記載の方法。
65. マルチメディアデータを処理するための装置であって、
    デジタルマルチメディアデータと関連づけられた符号化されたデータセグメントに関する知覚品質メトリックを計算する品質測定モジュールと、
    前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる少なくとも１つの符号化パラメータ及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて複数のコンテンツクラスのうちの１つを選択するクラス選択モジュールと、を備える、装置。
66. 前記複数のコンテンツクラスを生成するために用いられる符号化パラメータに対応するために前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを正規化する符号化パラメータ正規化モジュールをさらに備える請求項６５に記載の装置。
67. 前記複数のコンテンツクラスは、複数の品質−レート曲線を備え、前記クラス選択モジュールは、同じく、
    前記品質−レート曲線の各々に関して、前記知覚品質メトリックと前記正規化された符号化パラメータに対応する前記各々の品質−レート曲線上の品質メトリックとの間の差分を計算し、及び
    前記複数の品質−レート曲線のうちで前記計算された差分のうちの最小の差分と関連する品質−レート曲線を選択する請求項６６に記載の装置。
68. 前記複数のコンテンツクラスは、複数の品質−レート曲線を備え、前記クラス選択モジュールは、前記複数の品質−レート曲線のうちの一定の１つを選択する請求項６５に記載の装置。
69. 前記品質測定モジュールは、さらに、
    前記セグメントと関連づけられたデータフレームの画素ブロックを前記画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいてグループに分離し、
    品質メトリック値及び重み値を前記画素ブロックグループの各々と関連づけ、及び
    前記グループと関連づけられた前記品質メトリック値及び重み値に基づいて前記データセグメントに関する重み付き品質メトリックを計算する請求項６５に記載の装置。
70. 前記品質測定モジュールは、さらに、
    差分の絶対値の和（ＳＡＤ）、画素当たりのＳＡＤ（ＳＰＰ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの少なくとも１つに基づいて画素ブロックをグループに分離する請求項６９に記載の装置。
71. 前記品質測定モジュールは、さらに、
    可能な差分メトリックをグループに分離し、
    前記グループの各々と関連づけられた品質メトリックを予め計算し、及び
    前記グループの各々に関する重みを予め計算し、
    前記グループの少なくとも一部分は、２つ以上の差分メトリックを含み、
    前記グループに関する前記品質メトリックは、前記グループと関連づけられた前記差分メトリックの各々に対応する品質メトリックの平均に等しく、
    前記グループの各々に関する前記重みは、前記ビンと関連づけられた前記差分メトリックの少なくとも一部分に基づいて計算される請求項６９に記載の装置。
72. 前記品質測定モジュールは、前記符号化されたデータセグメントの観測されたピーク信号対雑音比（ＰＳＮＲ）も計算する請求項６５に記載の装置。
73. マルチメディアデータを処理するための装置であって、
    デジタルマルチメディアデータと関連づけられた符号化されたデータセグメントに関する知覚品質メトリックを計算するための手段と、
    前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる少なくとも１つの符号化パラメータ及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて複数のコンテンツクラスのうちの１つを選択するための手段と、を備える、装置。
74. 前記複数のコンテンツクラスを生成するために用いられる符号化パラメータに対応するために前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つを正規化するための手段をさらに備える請求項７３に記載の装置。
75. 前記複数のコンテンツクラスは、複数の品質−レート曲線を備え、
    前記品質−レート曲線の各々に関して、前記知覚品質メトリックと前記正規化された符号化パラメータに対応する前記各々の品質−レート曲線上の品質メトリックとの間の差分を計算するための手段と、
    前記複数の品質−レート曲線のうちで前記計算された差分のうちの最小の差分に対応する一定の品質−レート曲線を選択するための手段と、をさらに備える請求項７４に記載の装置。
76. 前記複数のコンテンツクラスは、複数の品質−レート曲線を備え、前記複数のコンテンツクラスのうちの前記１つを選択するための前記手段は、前記複数の品質−レート曲線のうちの一定の品質−レート曲線を選択するための手段を含む請求項７３に記載の装置。
77. 前記知覚品質メトリックを計算するための前記手段は、
    前記セグメントと関連づけられたデータフレームの画素ブロックを前記画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいてグループに分離するための手段と、
    品質メトリック値及び重み値を前記画素ブロックグループの各々と関連づけるための手段と、
    前記グループと関連づけられた前記品質メトリック値及び重み値に基づいて前記データセグメントに関する重み付き品質メトリックを計算するための手段と、をさらに含む請求項７３に記載の装置。
78. 少なくとも１つの差分メトリックに基づいて前記画素ブロックをグループに分離するための前記手段は、差分の絶対値の和（ＳＡＤ）、画素当たりのＳＡＤ（ＳＰＰ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの少なくとも１つに基づいて前記画素ブロックをグループに分離するための手段を含む請求項７７に記載の装置。
79. 少なくとも１つの差分メトリックに基づいて前記画素ブロックをグループに分離するための前記手段は、
    可能な差分メトリックをグループに分離するための手段であって、前記グループの少なくとも一部分は、２つ以上の差分メトリックを含む手段と、
    前記グループの各々と関連づけられた品質メトリックを予め計算するための手段であって、前記グループに関する前記品質メトリックは、前記グループと関連づけられた前記差分メトリックの各々に対応する品質メトリックの平均に等しい手段と、
    前記グループの各々に関する重みを予め計算するための手段であって、前記グループの各々に関する前記重みは、前記ビンと関連づけられた前記差分メトリックの少なくとも一部分に基づいて計算される手段と、を含む請求項７７に記載の装置。
80. 前記符号化されたデータセグメントに関する前記知覚品質メトリックを計算するための前記手段は、
    前記符号化されたデータセグメントの観測されたピーク信号対雑音比（ＰＳＮＲ）を計算するための手段を含む請求項７３に記載の装置。
81. 命令が格納されている機械によって読み取り可能な媒体であって、前記格納された命令は、符号の１つ以上の部分を含み、及び１つ以上の機械において実行可能であり、符号の前記１つ以上の部分は、
    デジタルマルチメディアデータと関連づけられた符号化されたデータセグメントに関する知覚品質メトリックを計算するための符号と、
    前記知覚品質メトリック及び前記データセグメントを符号化するために用いられる少なくとも１つの符号化パラメータ及び前記符号化されたデータセグメントの結果的に得られたビットレートのうちの１つに基づいて複数のコンテンツクラスのうちの１つを選択するための符号と、を備える、機械によって読み取り可能な媒体。
82. 前記複数のコンテンツクラスを生成するために用いられる符号化パラメータに対応するために前記データセグメントを符号化するために用いられる前記符号化パラメータのうちの少なくとも１つ正規化するための符号をさらに備える請求項８１に記載の機械によって読み取り可能な媒体。
83. 前記複数のコンテンツクラスは、複数の品質−レート曲線を備え、
    前記品質−レート曲線の各々に関して、前記知覚品質メトリックと前記正規化された符号化パラメータに対応する前記各々の品質−レート曲線上の品質メトリックとの間の差分を計算するための符号と、
    前記複数の品質−レート曲線のうちで前記計算された差分のうちの最小の差分に関連する一定の品質−レート曲線を選択するための符号と、をさらに備える請求項８２に記載の機械によって読み取り可能な媒体。
84. 前記複数のコンテンツクラスは、複数の品質−レート曲線を備え、前記複数のコンテンツクラスのうちの前記１つを選択するための前記符号は、前記複数のビットレート曲線のうち一定の品質−レート曲線を選択するための符号を含む請求項８１に記載の機械によって読み取り可能な媒体。
85. 前記知覚品質メトリックを計算するための前記符号は、
    前記セグメントと関連づけられたデータフレームの画素ブロックを前記画素ブロックの各々と関連づけられた少なくとも１つの差分メトリックに基づいてグループに分離するための符号と、
    品質メトリック値及び重み値を前記画素ブロックグループの各々と関連づけるための符号と、
    前記グループと関連づけられた前記品質メトリック値及び重み値に基づいて前記データセグメントに関する重み付き品質メトリックを計算するための符号と、をさらに含む請求項８１に記載の機械によって読み取り可能な媒体。
86. 少なくとも１つの差分メトリックに基づいて前記画素ブロックをグループに分離するための前記符号は、差分の絶対値の和（ＳＡＤ）、画素当たりのＳＡＤ（ＳＰＰ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの少なくとも１つに基づいて前記画素ブロックをグループに分離するための符号を含む請求項８５に記載の機械によって読み取り可能な媒体。
87. 少なくとも１つの差分メトリックに基づいて前記画素ブロックをグループに分離するための前記符号は、
    可能な差分メトリックをグループに分離するための符号であって、前記グループの少なくとも一部分は、２つ以上の差分メトリックを含む符号と、
    前記グループの各々と関連づけられた品質メトリックを予め計算するための符号であって、前記グループに関する前記品質メトリックは、前記グループと関連づけられた前記差分メトリックの各々に対応する品質メトリックの平均に等しい符号と、
    前記グループの各々に関する重みを予め計算するための符号であって、前記グループの各々に関する前記重みは、前記ビンと関連づけられた前記差分メトリックの少なくとも一部分に基づいて計算される符号と、を含む請求項８５に記載の機械によって読み取り可能な媒体。
88. 前記符号化されたデータセグメントに関する前記知覚品質メトリックを計算するための前記符号は、前記符号化されたデータセグメントの観測されたピーク信号対雑音比（ＰＳＮＲ）を計算するための符号を含む請求項８１に記載の機械によって読み取り可能な媒体。

Images