JP2018521522A

JP2018521522A - 芸術的意図をベースとするビデオ符号化

Info

Publication number: JP2018521522A
Application number: JP2017554299A
Authority: JP
Inventors: ビョン・ケイ・イー; ヤン・イェ; ユーウェン・ヘ; シャオユ・シウ; ヨン・ヘ; ラルフ・ネフ
Original assignee: ヴィドスケールインコーポレイテッド
Priority date: 2015-04-21
Filing date: 2016-04-21
Publication date: 2018-08-02
Also published as: US11323722B2; TW201642655A; EP3286918A1; WO2016172314A1; US20180146197A1; CN107548556A; KR20180010183A

Abstract

コンテンツ内の芸術的意図の表現を維持する、芸術的意図をベースとするコンテンツ符号化のためのシステム、方法、および手段が開示される。芸術的意図の表現は識別され（例えばシグナリングまたはコンテンツ分析によって）、芸術的意図位置Ｐ_ARTおよび芸術的意図特性Ｃ_ARTのセットとして表現される。芸術的意図特性Ｃ_ARTは、芸術的意図位置Ｐ_ARTを識別するためにシグナリングされ用いられることができる。芸術的意図維持符号化および処理は、特性Ｃ_ARTを維持するために、サンプル位置Ｐ_ARTに適用されることができる。符号化ユーザインターフェースは、ユーザが芸術性セット（例えばＰ_ARTおよび／またはＣ_ART）を指定し、忠実度強化、ＱＰ調整値および／または後処理などの芸術性セットに関連付けられた、画素および／またはブロックの処置を選択および／または構成することを可能にすることができる。コンテンツ優先度または重要度レベルは、コンテンツ符号化、配信、処理、および／またはエラー回復性／ロバスト性における異なる（例えば強化されたまたは低減された）処置のレベルに対して、コンテンツの微細（例えば画素、サンプル）および／または粗大（例えばブロック）レベルにおいて、暗示的および／または明示的に示されることができる。

Description

本発明は、芸術的意図をベースとするビデオ符号化に関する。

現在では、アーティストが彼または彼女の視聴者に対して描写することを望むことができる意味、動機、または概念を含む芸術的意図は、コンテンツ（例えば画像、ビデオ、オーディオ、および／または同様のもの）において表現され、明示され、伝達され、および／または同様のものが行われることができる。このようなコンテンツは、例えばコンテンツがストリーミングされおよび／または物理媒体に記憶されることができるように、記憶容量および／または送信帯域幅を低減するためにエンコーディング（例えば圧縮）されることができる。残念ながら符号化は、悪影響を及ぼし（例えば歪ませる、非強調化する、および／または同様のもの）、および／またはさらにはこのような芸術的意図の表現を削除することができる。

ブロックベースのハイブリッドビデオエンコーダの例の図である。ブロックベースのビデオデコーダの例の図である。ＨＥＶＣにおける予測単位モードの図である。不感帯を有するスカラー量子化の例を示す図である。ＢＴ．７０９およびＢＴ．２０２０色域の比較を示す図である。Ｙ軸に沿って輝度、およびｘ、ｙ軸に沿って色を有する３Ｄカラーボリュームを示す図である。深度マップの例の図である。カメラビューを用いて任意ビューを生成する例を示す図である。コンテンツ生成およびコンテンツ配信ワークフローの例を示す図である。異なる基準ディスプレイ上の異なる色グレーディングを有するコンテンツの例を示す図である。芸術的意図をベースとするビデオ符号化の例示のフローチャートである。多角形を用いて近似された２次元Ｃ_ART形状の例を示す図である。Ｃ_ARTシグナリングの例示のフローチャートである。Ｐ_ARTブロックおよび通常のブロックを有する符号化単位（ＣＵ）の例を示す図である。隣接したブロックおよび現在のブロックを用いた非ブロック化の例を示す図である。芸術的意図維持のためのブロックベースのビデオデコーダの例の図である。位置の任意のセットに対する重要度レベルのシグナリングの例示のフローチャートである。１つまたは複数の開示される実施形態が実施されることができる、例示の通信システムのシステム図である。図１８Ａに示される通信システム内で用いられることができる、例示の無線送信／受信ユニット（ＷＴＲＵ）のシステム図である。図１８Ａに示される通信システム内で用いられることができる、例示の無線アクセスネットワークおよび例示のコアネットワークのシステム図である。図１８Ａに示される通信システム内で用いられることができる、他の例示の無線アクセスネットワークおよび例示のコアネットワークのシステム図である。図１８Ａに示される通信システム内で用いられることができる、他の例示の無線アクセスネットワークおよび例示のコアネットワークのシステム図である。

次に例示的実施形態の詳細な説明が、様々な図に関連して述べられる。この説明は可能な実装形態の詳細な例をもたらすが、詳細は例示的なものであり、本出願の範囲を限定するものでは全くないことが留意されるべきである。

例えばビデオ符号化システムは、デジタルビデオ信号を圧縮して、デジタルビデオ信号のための記憶容量および／または送信帯域幅を低減する。多様なタイプのビデオ符号化システム、例えばブロックベース、ウェーブレットベース、オブジェクトベース、およびブロックベースのハイブリッドビデオ符号化システムが存在する場合がある。さらに多様なブロックベースのビデオ符号化システムが存在し、そのいくつかは国際的ビデオ符号化標準に基づくことができる。ＭＰＥＧ１／２／４パート２、Ｈ．２６４／ＭＰＥＧ−４パート１０ＡＶＣ、ＶＣ−１、およびＨ．２６５／ＨＥＶＣ（高効率ビデオ符号化）は、国際的ビデオ符号化標準に基づくブロックベースのビデオ符号化システムの例とすることができる。ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣおよびＨＥＶＣ標準は、例えばＩＴＵ−Ｔ／ＳＧ１６／Ｑ．６／ビデオ符号化専門家グループ（ＶＣＥＧ）およびＩＳＯ／ＴＥＣＪＴＣ１ＳＣ２９ＷＧ１１動画専門家グループ（ＭＰＥＧ）によって開発された。本明細書で述べられるように符号化はアーティストの、彼または彼女がコンテンツを描写したかった可能性がある意図に、影響を与える場合がある。例えばビデオ符号化システムは、アーティストが目立つように鮮やかにしたかった可能性があるオブジェクトの色を薄くする場合があり、従ってオブジェクトは、符号化の後にはもはやコンテンツ内で目立たなくなる場合がある。

図１は、ブロックベースのハイブリッドビデオエンコーダの例の図である。入力ビデオ信号２は、例えばブロックごとに処理されることができる。ビデオブロック単位は、例えばＭＰＥＧ１／２／４およびＨ．２６４／ＡＶＣにおいて、１６×１６輝度サンプルおよび対応する彩度サンプルを含むことができる。彩度サンプルの数は、入力ビデオ信号の彩度フォーマットに依存することができる。例えば４：２：０のサブサンプリングが用いられたとき、２つの８×８彩度ブロックは、輝度サンプルの１つの１６×１６ブロックに対応することができる。符号化ブロック単位、例えば標準の符号化ブロック単位は、マクロブロック（ＭＢ）と呼ばれることができる。拡張されたブロックサイズは、「符号化ツリー単位」（ＣＴＵ）と呼ばれることができる。ＣＴＵは、例えば高解像度ビデオ信号、例えば１０８０以上の解像度を圧縮するために用いられることができる。ＣＴＵは様々なサイズ、例えば６４×６４、３２×３２、および１６×１６輝度サンプルを有することができる。ＣＴＵサイズは、例えばシーケンスレベルで選択され、シーケンスパラメータセット（ＳＰＳ）においてシグナリングされることができる。ＣＴＵは、例えば４分木分割によって符号化単位（ＣＵ）に分割されることができる。イントラまたはインター予測モードは、例えばＣＵレベルで選択されることができる。ＣＵは、予測単位（ＰＵ）に分割されることができる。ＰＵに対して、個別の予測が適用されることができる。

図３は、ＨＥＶＣにおける予測単位（ＰＵ）モード、またはＣＵの分割の図である。空間的予測（１６０）および／または時間的予測（１６２）は、任意の１つまたは複数の入力ビデオブロック（ＭＢまたはＣＵ）に対して行われることができる。

空間的予測（「イントラ予測」と呼ばれる）は、例えばビデオ画像／スライス内のすでに符号化された隣接したブロックからの画素を利用することによって、現在のビデオブロックを予測することができる。空間的予測は、ビデオ信号における空間的冗長性を低減させることができる。

時間的予測（「インター予測」または「動き補償された予測」と呼ばれる）は、例えばすでに符号化されたビデオ画像からの画素を利用することによって、現在のビデオブロックを予測することができる。時間的予測は、ビデオ信号における時間的冗長性を低減させることができる。所与のビデオブロックに対する時間的予測は、例えば１つまたは複数の動きベクトルおよび１つまたは複数の基準インデックスによって、シグナリングされることができる。動きベクトルは、現在のブロックと基準ブロックとの間の動きの大きさ（例えば絶対値またはレート）および方向を示すことができる。基準インデックスは、１つまたは複数の時間的予測ブロックがそこから来る、復号された画像バッファ内の１つまたは複数の基準画像を識別することができる。復号された画像バッファの例は、図１で「基準画像記憶部６４」とラベル付けされている。

図１に示されるエンコーダ内のモード決定ブロック８０は、（例えば最良の）予測モード（例えばイントラモードまたはインターモード）、および関連付けられた予測情報（例えばイントラ符号化または動き分割に対する輝度および彩度予測モード、およびインター符号化に対する動きベクトルおよび基準インデックス）を選択することができる。選択は、空間的および／または時間的予測の後に生じることができる。

エンコーダモード決定ロジックは、例えばレート−歪み最適化技法に依存して、歪みとレートとの間の最適トレードオフをもたらすように、モード（例えば最良のモード）を選択することができる。歪みは、例えば復元されたビデオブロックと、もとのビデオブロックとの間の２乗平均誤差とすることができる。レートは、例えばブロックの符号化に費やされるビットの数とすることができる。

加算ブロック１６は、現在のビデオブロックから予測ブロックを減算することによって、予測残差を生成することができる。変換４は、予測残差を変換することができる。量子化６は、変換された予測残差を量子化することができる。逆量子化１０は、量子化された残差係数を逆量子化することができる。逆変換１２は、逆量子化された残差係数を逆変換することができる。逆量子化１０および逆変換１２に対する代替は、変換スキップモードである。変換単位（ＴＵ）レベルでの変換スキップモードは、変換段階をバイパスし、空間ドメインにおいてＴＵブロックの予測残差を直接量子化することができる。逆量子化１０および逆変換１２に対する他の例または代替は、変換および量子化バイパスモードでできる。変換単位（ＴＵ）レベルでの変換および量子化バイパスモードは、変換段階および量子化段階をバイパスすることができる。

逆量子化１０および逆変換１２は、復元された残差を生成する。加算２６は、予測ブロックに復元された残差を加算することによって、復元されたビデオブロックを生成する。

ループフィルタ６６は、復元されたビデオブロックにインループフィルタリングを適用することができる。基準画像記憶部６４は、フィルタリングされた復元されたビデオブロックを記憶することができる。フィルタリングされた復元されたビデオブロックは、将来のビデオブロックを符号化するために用いられることができる。非ブロック化フィルタは、例えばＨ．２６４／ＡＶＣおよびＨＥＶＣによってサポートされることができる。非ブロック化フィルタは、２つの隣接したブロックを符号化するために用いられた異なるモードおよび／またはパラメータによる、ブロック化アーチファクトを低減するために、ブロック境界に適用される適応平滑化フィルタである。非線形インループフィルタ、例えばサンプル適応オフセット（ＳＡＯ）フィルタは、例えばＨＥＶＣによってサポートされることができる。２つのタイプのＳＡＯフィルタリングがあり、１）バンディングアーチファクトを低減することができるバンドオフセット（ＢＯ）、および２）例えば量子化時に歪まされたエッジを復活させることができるエッジオフセット（ＥＯ）である。適応ループフィルタ（ＡＬＦ）などの他のインループフィルタリング方法が、サポートされることができる。

エントロピー符号化ユニット８は、出力ビデオビットストリーム２０を生成する。エントロピー符号化ユニット８には、さらなる圧縮およびパッキングのために、符号化モード（例えばインターまたはイントラ）、予測モード情報、動き情報（例えば動きベクトルおよび基準インデックス）、量子化された残差係数、インループフィルタリングパラメータ（例えばＥＯおよび／またはＢＯパラメータ）がもたらされて、ビットストリームを生成することができる。

図４は、不感帯を有するスカラー量子化の例を示す。量子化６は、例えば不感帯を有する量子化によって、圧縮時に歪みを導入することができる。量子化時に導入される歪みの大きさは、不感帯のサイズおよび量子化ステップサイズに依存する場合がある。量子化プロセスは歪みを導入することができるが、またビデオを符号化するために用いられるビット数を著しく低減することができる。量子化プロセスによって量子化される信号は、一定の範囲内では、量子化出力の同じ値を有するように量子化されることができる。例えば不感帯内の入力値は、ゼロに等しい量子化された出力値を有することができる。いくつかのコーデック、例えばＨ．２６４／ＡＶＣおよびＨＥＶＣは、不感帯を有するスカラー量子化を用いることができる。不感帯は、小さな絶対値を有する空間ドメインにおける変換係数および／または予測残差を抑圧するために用いられることができる。例えば符号化モードに応じて、異なるサイズの不感帯が用いられることができる。

図２は、ブロックベースのビデオデコーダの例の図である。図２は、図１のエンコーダに対応することができるブロックベースのハイブリッドビデオデコーダを示す。エントロピー復号ユニット２０８は、ビデオビットストリーム２０２をアンパックし、エントロピー復号することができる。符号化モードおよび関連付けられた予測情報は、空間的予測ユニット２６０（例えばイントラ符号化されているとき）、または時間的予測ユニット（動き補償された予測ユニット）２６２（例えばインター符号化されているとき）にもたらされることができる。空間的予測ユニット２６０または動き補償された予測ユニット２６２は、予測ブロックを生成することができる。

逆量子化ユニット２１０および逆変換ユニット２１２は、エントロピー復号ユニット２０８によって生成された残差変換係数から、残差ブロックを復元する。加算２２６は、予測ブロックと復元された残差ブロックとを加算して、復元されたブロックを形成する。復元されたブロックは、インループフィルタリングユニット２６６にもたらされ、基準画像記憶部２６４に記憶されることができる。図２に示されないが、インループフィルタリングパラメータ（例えばＥＯおよび／またはＢＯパラメータ）は、ビットストリームから構文解析され、インループフィルタリングユニット２６６に送られて、例えばループフィルタリング動作を制御することができる。基準画像記憶部２６４内の復元されたビデオは、ディスプレイを駆動するため、および／または将来のビデオブロックを予測するためにもたらされることができる。

図１および２に示される例示のシステムアーキテクチャにおける機能ブロックは、様々なレベルの高度化および様々なレベルの符号化効率を有する、多様な技法を用いて実施されることができる。例えば時間的予測の形式である双予測、複数の基準画像および非ブロック化フィルタ、フレキシブルブロック構造およびＳＡＯが実施されることができる。より高度化された技法は、エンコーダおよびデコーダにおいて、より多くの計算が関わる場合がある。しかしより高度化された技法は、著しく改善された符号化効率をもたらすことができる。ビデオ符号化標準の進化において、より最近の世代のコーデックは、例えば前の世代のコーデックの２倍効率的とすることができる。例としてＨＥＶＣは、平均でＨ．２６４／ＡＶＣで利用されるビットレートの半分未満を用いて、同じ主観的ビデオ品質を供給することができる。

世界は、有線および無線ネットワーク容量における著しい技術的進歩により、ますます接続されている。スマートフォン、タブレット、および他のポータブルデバイスは、増加するコンピューティング能力およびより高速のネットワーク接続を有する。これらの傾向は、ビデオ圧縮技術での進歩と共に、異なる市場区分にわたる高精細（ＨＤ）ビデオの普遍的な存在に繋がってきている。ＨＤビデオは、リニアＴＶプログラム、ＴＶ放送、加入ベースまたは広告でサポートされるオンデマンドビデオストリーミングサービス（例えばＮｅｔｆｌｉｘ、Ｈｕｌｕ、Ａｍａｚｏｎ、ＧｏｏｇｌｅのＹｏｕＴｕｂｅ）、ライブストリーミング、およびモバイルビデオアプリケーション（例えばユーザ生成コンテンツ、ビデオ録画、再生、ビデオチャット）において提供される。

ビデオ品質改善は、ＨＤを超えて続いている。超高精細（ＵＨＤ）ビデオ技術は、消費者のために改善された画像品質を有する次世代ビデオサービスをもたらすことができる。ＵＨＤディスプレイ（例えば４Ｋ解像度ＴＶ）の製造および販売、ならびにいつでもどこでもＵＨＤ品質ビデオを受信および／または送信するためのより高速な有線および無線通信接続などの関連付けられたサービスにおいて著しい関心がある。

ＵＨＤビデオフォーマットは、勧告ＩＴＵ−ＲＢＴ．２０２０およびＳＭＰＴＥＳＴ２０３６−１において正式に定義されている。ＵＨＤフォーマットは、ビデオ信号のいくつかの側面における強化されたパラメータを定義する。表１は、ＨＤおよびＵＨＤに対するビデオパラメータの比較をもたらす。ＨＤと比べてＵＨＤは、より高い空間解像度（例えば３８４０×２１６０および７６８０×４３２０）、より高いフレームレート（例えば１２０Ｈｚまで）、より高いサンプルビット深度（例えば高ダイナミックレンジサポートのために１２ビットまで）、およびより鮮やかな色のレンダリングを可能にするより広い色域をサポートする。

図５は、ＢＴ．７０９およびＢＴ．２０２０色域の比較を示す。図５は、ＣＩＥ１９３１色空間色度図（馬蹄形）が上に重ねられた、ＨＤ色域（内側の三角形）およびＵＨＤ色域（外側の三角形）を示す。馬蹄形は、人間の目に見える色の範囲を表す。ＢＴ．７０９色域およびＢＴ．２０２０色域は、それぞれＣＩＥ１９３１色空間の約３６％および７６％を包含する。言い換えれば、何年もの間、民生用ディスプレイ市場を支配してきたＢＴ．７０９（ＨＤ）ディスプレイ上に再現されることができるカラーボリュームと比べて、ＢＴ．２０２０ディスプレイは、再現可能な色のボリュームを著しく増加させる。ＢＴ．２０２０は、ずっと鮮やかで豊かな色をビデオ消費者にもたらすことができる。

図６は、Ｙ軸に沿った輝度、およびｘ、ｙ軸に沿った色を有する３Ｄカラーボリュームを示す。（ｘ，ｙ）平面は、図５のＣＩＥ１９３１色空間に対応する。垂直Ｙ軸は、輝度（例えば明るさ）信号に対応する。輝度信号は、ｃｄ／ｍ²（平方メートル当たりカンデラ）で測定され、ニト（１ニト＝１ｃｄ／ｍ²）とも呼ばれる。ダイナミックレンジは、ディスプレイによってサポートされる輝度信号の範囲である。多くの民生用ディスプレイは、おおよそ１００ニトピーク輝度をサポートする。高ダイナミックレンジ（ＨＤＲ）ディスプレイ（例えばおおよそ１０００から４０００ニトのピーク輝度を有する）は、顕著な知覚品質の利点をもたらすことができる。

ＨＤＲサポートは、著しい変更、例えばエコシステム全体の変化が関わる場合がある。ＨＤＲ変更は、捕捉、コンテンツ作成ワークフロー、配信、およびディスプレイにおいて生じる場合がある。ＨＤＲは、ＤｏｌｂｙＶｉｓｉｏｎなど、ＨＤＲビデオの魅力的な品質上の利点に鑑みて、民生用の展開に進歩しつつある。ＨＤＲディスプレイのサポートにおいてディスプレイ製造業者は、ＨＤＲディスプレイを実証している。ＨＤＲコンテンツ作成のサポートでは、知覚量子化器（ＰＱ）がＳＭＰＴＥＳＴ２０８４において標準化される。ＨＤＲ配信のサポートでは、ＢＴ．２０２０コンテナを用い、１０ビットＹ’ＣｂＣｒフォーマットにおいて運ばれるＨＤＲ信号を圧縮するために、ＨＥＶＣのＭａｉｎ１０プロファイルが使用される場合がある。ＨＥＶＣのＭａｉｎ１０プロファイルが用いられることができる。標準ダイナミックレンジ（ＳＤＲ）ビデオとの下位互換性を提供する、ＨＥＶＣＭａｉｎ１０プロファイルに対する符号化効率改善が存在する場合がある。

ＵＨＤおよびＨＤＲビデオによってもたらされるビデオ品質改善に加えて、３Ｄビデオは強化されたビデオ品質を提供する。３Ｄビデオ制作、配信、レンダリング研究は、３Ｄコンテンツの発展、および３Ｄ眼鏡などの特別なアイウェアの削除と共に続いている。自動立体視（眼鏡不要）ディスプレイ技術は、低減された空間解像度などによる眼精疲労、頭痛、コンテンツエイリアシングを避けるために進歩しつつある。例えばこのような問題を緩和するために、ビューの数は著しく増加されることができる。しかし多くのビューにおけるビデオサンプルを直接符号化することは、著しいオーバーヘッドコストを生じる場合がある。深度マップ、および効率的なビュー間予測の使用は、例えば３Ｄビデオ制作の負担、および配信コストを低減するための３Ｄビデオ改善の一部となることができる。

図７は、深度マップの例の図である。深度マップは、グレースケール値化されたサンプルを有するイメージであり、グレースケール値は、観察者からのオブジェクトの深度または距離を示すことができる。高品質深度マップが付随したいくつかのカメラ捕捉されたビューは、例えば受信器／ディスプレイが任意の観察位置にオブジェクトをレンダリングして、所望の３Ｄ効果を作成することを可能にすることができる。

図８は、カメラビューを用いて任意ビューを生成する例である。図８は、固定の数のカメラ捕捉されたビューおよび対応する深度マップを用いて、任意ビューを生成する例を示す。深度マップは、任意ビューレンダリングをサポートすることができ、またカメラ捕捉されたビューの効率的な圧縮をサポートすることができる。例として、図８において第１のカメラビューから直接、第２のカメラビューを予測することに対する代替方法は、第１のカメラビューを第２のカメラビューの位置に投影するために用いられる深度マップである。深度マップは、第２のカメラビューのより正確な予測をもたらすために用いられることができる。ＨＥＶＣ標準の拡張、すなわち３Ｄ−ＨＥＶＣは、深度マップおよび先進型ビュー合成アルゴリズムを利用して、圧縮効率を向上し、３Ｄビデオを配信するために用いられる帯域幅を低減することができる。

本明細書で述べられるように、ビデオ制作、配信およびレンダリング技術、例えばＨＤＲ、ＷＣＧ、および深度ベースの３Ｄビデオにおける進歩は、コンテンツ制作者（例えば監督、カラーアーティスト、およびユーザにより生成されるコンテンツを作成するユーザ）に、彼等の芸術的意図をより自由におよび正確に表現するための、より大きな「パレット」（例えばビデオパラメータおよびツールの、より広いセット）をもたらすことができる。例としてカラリストは、咲いている花を有するシーンに特に鮮やかな純粋の赤色を適用することを選ぶことができる。純粋の赤色は、ＢＴ．２０２０色空間を用いて使用可能であるが、ＢＴ．７０９色空間ではできない（例えばこれは使用可能な色空間またはエンコーディングの結果の場合がある）。従って例においてアーティストは、画像における日の出と星明かりの対比を例えばＨＤＲを用いて、より忠実にレンダリングすることができる。自然界では星明かりの輝度レベルは約１０^-3ニトであるのに対し、太陽光の輝度は何桁も高い約１０⁵ニトである。３Ｄビデオに対して作業する監督またはカラリストは、視聴者または観察者から特定の距離（例えば深度）にある３Ｄオブジェクトを強調したい場合がある。空間ドメインで作業する監督は、主要なオブジェクトをシーンの一定の領域に配置することによって、芸術的意図を伝えるように選ぶことができる。例として監督は、主演女優の顔を画像の右側に配置するように選ぶことができる。例において、符号化のための現在の技法は、同じ強調をもたらすことができず、および／または、３Ｄオブジェクトの強調および／または符号化の前に監督によって意図されコンテンツにおいて描写された女優の位置の、喪失を引き起こす場合がある。

図９は、コンテンツ生成およびコンテンツ配信ワークフローの例３００である。示されるように３０２で、コンテンツが記録される。コンテンツは、本明細書の例において述べられるようなオーディオ、ビデオ、静止イメージ、および／または同様のものを含むことができる。３０４で、例えば３０２での捕捉または記録の後に、イメージセンサから出力された不完全な色サンプルからフルカラーイメージを復元するために、デモザイキングが適用されることができる。カラリストは、例えば３０６および３０８で基準ディスプレイを用いて、それらの芸術的意図を表現するイメージを作成することができる。基準ディスプレイは、Ｒｅｃ．７０９色空間を有するＳＤＲディスプレイ（例えば３０６でアーティストはこれと対話することができる）、またはＲｅｃ．２０２０色空間を有する先進型ＨＤＲディスプレイ（例えば３０８でアーティストはこれと対話することができる）とすることができる。ディスプレイに関わらずカラリストは、レンダリングされたイメージが彼等の芸術的意図を表すことを望むことができる（例えば３０６および３０８でこのようなディスプレイを用いて、このような意図を反映するまたは表現するようにイメージを調整することができる）。３１０でイメージは、ＳＭＰＴＥ標準ＳＴ２６８Ｍ−２００３によって標準化されたデジタル中間および視覚的効果作業のためのファイルフォーマットであるデジタル画像交換（ＤＰＸ）フォーマットなどの、適切なフォーマットにエクスポートおよび／またはレンダリングされることができる。図９における最後の機能は、消費者への配信のために、職業的スタジオコンテンツを準備することができる。例において準備は、例えば３１２で消費者フォーマットへのフォーマット変換、例えばＤＰＸからＹＵＶ４：２：０への変換、および３１４で帯域幅要件を満たすための、消費者フォーマットビデオ（例えばＹＵＶ４：２：０）の圧縮（例えば符号化）を含むことができる。

本明細書の例においてアーティストの意図は、図９に示される中央の機能ブロックにおいて、コンテンツ作成時に表現されることができる（例えば３０４〜３１０において）。３０６および／または３０８でカラリストは、例えばレンダリングデバイス（例えばディスプレイ）に応じて異なる色を用いてシーンを作成することができ、表現強調を有するこのようなシーンは、３１０でレンダリングされることができる。本明細書で述べられるように芸術的意図は、イメージのシーン内のオブジェクト、色、オーディオ、および／または同様のものの強調を含むことができる。芸術的意図を有するイメージに含まれたシーン（例えば強調が付加された）は、レンダリングまたはエクスポートされることができ、異なるフォーマット（例えばストリーミング、物理メディア、および／または同様のもの）への変換のときに、本明細書で述べられるように最終的に符号化されることができる。残念ながらこのような芸術的意図は、現在の技法および／または方法を用いたこのような符号化時に失われる場合がある。従って本明細書で述べられるようなシステム、方法、および／または手段が、例えば３１２および３１４での変換および符号化時に、このような強調（例えば３０４〜３１０で入力および／または付加された）を維持するためにもたらされることができる。

図１０は、異なる基準ディスプレイ上の異なる色グレーディングを有するコンテンツの例である。例として、ソニーＦ６５カメラを用いて捕捉されたコンテンツは、２つの異なる基準ディスプレイ上でグレーディングされた。左側のコンテンツは、ｒｅｃ．７０９基準ディスプレイ上でグレーディングされ、右側のコンテンツは、ＤＣＩ−Ｐ３ディスプレイ上でグレーディングされる。ＤＣＩ−Ｐ３は、Ｒｅｃ．７０９より広いがＲｅｃ．２０２０より狭い色空間である。図１０は、グレーディングされたコンテンツのｘｙ色度図上への投影を示し、Ｒｅｃ．７０９空間（例えば軸の各セット内のより小さな三角形）、およびＲｅｃ．２０２０空間（例えば軸の各セット内のより大きな三角形）が上に重ねられている。カラリストは、例えばより多くの色を表現（例えばレンダリング）できるので、右側の基準ディスプレイを用いてより多くの自由を有し得る。

図１０の右側のグレーディングされたコンテンツの圧縮時に、例えば追加の色（例えばより小さなＲｅｃ．７０９三角形の外側の色）が歪まされないことを確実にすることによって、芸術的意図の表現を維持することが望ましい場合がある。これらの色は、圧縮時の量子化の影響を受けやすく、これは目標ディスプレイ上の最終のレンダリングされた色（復号の後）を、芸術的意図とはより明白に異なって見えるようにすることができる。

もとのビデオコンテンツの側面、例えば表現された芸術的意図の維持をサポートするために、ビデオ符号化標準、例えばＨ．２６４およびＨＥＶＣが用いられることができる。もとのビデオコンテンツのフィルム粒状性の維持を改善するために、Ｈ．２６４およびＨＥＶＣにおけるフィルム粒状性特性付加拡張情報（ＳＥＩ）メッセージが用いられることができる。フィルム粒状性は、もともとフィルムを用いて捕捉されたコンテンツ内にしばしば存在する、ノイズ状の信号である。これは「快適性ノイズ」と呼ばれることができ、一部のコンテンツ作成者がビデオ（例えばムービー）における望ましい「外観」を維持するために用いる。

芸術監督は、ビデオコンテンツがデジタル化された後であっても、フィルム粒状性を維持することを好む場合がある。デジタルビデオ信号におけるフィルム粒状性は、例えば変換ドメインにおいて大きな量の高周波係数を生成することによって、エンコーダに対する著しい挑戦をもたらす場合がある。もとのフィルム粒状性は、例えばエンコーダがこれらの高周波係数を量子化するときに、歪まされおよび／または失われる場合がある。エンコードされたビットレートは、例えばエンコーダがこれらの係数を忠実に維持するときは、著しく増加する場合がある。フィルム粒状性ＳＥＩは、フィルム粒状性合成のためのパラメータ化されたモデルを指定することができる。エンコーダは、エンコーディングの前にもとの信号からフィルム粒状性を除去し、フィルム粒状性ＳＥＩを用いてデコーダに、どのようにフィルム粒状性を再生させ、表示する前にそれをビデオ信号に付加して戻すかを伝えることができる。

ビデオコンテンツ内の芸術的意図を維持するために、量子化行列などの符号化ツールが用いられることができる。Ｈ．２６４およびＨＥＶＣにおけるデフォルトの量子化／非量子化は、変換された残差係数の１つまたは複数の周波数成分に、固定のスカラー量子化器を適用することができる。量子化行列は、例えば主観的品質を改善するために、ビデオシーケンスまたはビデオ画像に対して指定されることができる（例えばシーケンスパラメータセットまたは画像パラメータセットを用いて）。変換ドメインにおける異なる周波数成分に対して、スカラー量子化器の異なる値が適用されることができる。量子化行列の仕様は制限されることができ、図１および図２のビデオ符号化システムにおける量子化および非量子化などの、１つの特定の機能ブロックに対処することができる。フィルム粒状性ＳＥＩメッセージは任意選択とすることができ、デコーダが捨てることができる追加の情報とすることができる。言い換えれば例において、芸術的意図を維持するための能力は、制限されることができる。

符号化ツールは、信号忠実度を維持する、主観的品質を改善する、および／または符号化アーチファクトを除去するために用いられることができる。符号化ツール、例えばブロックレベル量子化パラメータ（ＱＰ）調整、非ブロック化フィルタ、サンプル適応オフセット（ＳＡＯ）は、ブロックレベルで適用されることができる。ブロックレベルＱＰ調整は、例えば隣接したブロックの間で、ＱＰ値（例えば適用される量子化の大きさ）が変更されることを可能にすることができる。ブロックレベルＱＰ調整は、別のブロックとは独立に、ブロックの品質を制御するために用いられることができる。輝度および彩度色成分に対して、異なるＱＰ調整が適用されることができる。構文要素は、例えばＨＥＶＣにおける変換単位（ＴＵ）構文構造の一部としてシグナリングされて、例えば現在の符号化単位（ＣＵ）に適用されることになるデルタＱＰを示すことができる。例えばエンコーダのモード決定ロジック（図１のブロック１８０）に応じて、芸術的意図が表現されたエリアを符号化するために、異なるブロックサイズが選択されることができる。

芸術的意図が表現された領域、例えば芸術的表現を有する領域は、不規則な形状を有する場合がある。不規則な形状に対する芸術的表現を表し維持するために、代替の形状が用いられることができる。コンテンツ内に暗黙的または明示的に表現されることができる芸術的意図の維持を容易にするために、ビデオ符号化技法が用いられることができる。芸術的意図は微細な細分性において識別されることができ、例えばサンプルは芸術的意図に対応することができる。芸術的意図は、著しいシグナリングオーバーヘッドを被らず、サンプルレベル（例えば画素レベル）において識別され維持されることができる。符号化ツールは、符号化されたコンテンツ内の芸術的意図を維持するように、もともと設計または変更されることができる。

コンテンツ内の芸術的意図の表現を維持する、芸術的意図をベースとするコンテンツ符号化のためのシステム、方法、および手段が開示される。芸術的意図の表現は識別され（例えばシグナリングまたはコンテンツ分析によって）、芸術的意図位置Ｐ_ARTおよび芸術的意図特性Ｃ_ARTのセットとして表現される。芸術的意図特性Ｃ_ARTは、芸術的意図位置Ｐ_ARTを識別するためにシグナリングされ用いられることができる。芸術的意図維持符号化および処理は、特性Ｃ_ARTを維持するために、サンプル位置Ｐ_ARTに適用される。符号化ユーザインターフェース（例えばこれはグラフィカルユーザインターフェースを含むことができる）は、ユーザが芸術性セット（例えばＰ_ARTおよび／またはＣ_ART）を指定し、忠実度強化、ＱＰ調整値および／または後処理などの芸術性セットに関連付けられた、画素および／またはブロックの処置を選択および／または構成することを可能にすることができる。コンテンツ優先度または重要度レベルは、コンテンツ符号化、配信、処理、および／またはエラー回復性／ロバスト性における異なる（例えば強化されたまたは低減された）処置のレベルに対して、コンテンツの微細（例えば画素、サンプル）または粗大（例えばブロック）レベルにおいて、暗示的または明示的に示されることができる。

例えば本明細書で述べられるように、アーティストおよび映画産業は、映画館品質の映画を、ＤＶＤ、ブルーレイ、デジタルコンテンツ、および／または同様のものなど、他のフォーマットに圧縮するために用いられることができる圧縮技術に対するコントロールをもつことができない。さらにアーティストが、映画を解釈するためにこのような圧縮（例えばエンコーディングおよび復号）時に用いられることができる情報（例えばアーティストがオブジェクト、色、および／または映画内の他の項目に対して行うことができる、表現および／または強化を解釈するために用いられることができる）をもたらすために使用可能な適切な技法が存在しない。例によればこのようなシステム、方法、および／または手段は、アーティストの意図を示すことができる情報またはメタデータ（例えばＣ_ARTなど、各画素に対する特性）が、オブジェクト、色、および／または他の項目（例えば画素レベルにおいて）が追加されることを可能にすることができる。さらにこのようなシステム、方法、および／または手段において、アーティストの意図を示すことができる情報またはメタデータは、圧縮プロセスに結び付けられることができ、すなわち本明細書で述べられるように、それは圧縮時にエンコーディングされ、再生時に復号されることができる。

本明細書での例において、このようなメタデータまたは情報をもたらすことを含み、芸術的意図を維持するために、損失のないコンテンツなどの高品質コンテンツがアーティストまたは他のユーザにもたらされることができる。アーティストまたはユーザは、グラフィカルユーザインターフェースなどのインターフェースと対話して、ブルーレイなどの圧縮されたフォーマットにおいてコンテンツがどのように見ることができるかを調整することができる。アーティストまたはユーザは、インターフェースによってもたらされる、アクション、機能、方法、および／または同様のものに関連付けられることができるツールを用いて、コンテンツのどの一部または部分をコンテンツにおいて異なって取り扱うか、または調整するかを指定することができる。アーティストまたはユーザは、ユーザインターフェースにおいて、画素に対するこのような調整の結果を視覚的に見ることができる。

異なって取り扱うコンテンツの画素または部分を選択した後、アーティストまたはユーザはツールを用いて、どのように変換時に画素または部分を異なって取り扱うまたは調整するか、すなわち不明瞭化する、色を増加する、および／または本明細書で述べられるような同様なものを行うかどうかを示すことができる。例においてこの段階で（例えばどのように画素を異なって取り扱うかを調整するまたは示すためにツールを用いて）アーティストまたはユーザは、ユーザインターフェースおよびそのツールを用いて、結果としてより高い忠実度となることができる、コンテンツの選択された画素または部分に多くのビットが流入するように量子化ステップサイズを低下させることができ、コンテンツの選択された画素または部分にどのようにループフィルタが適用されるかを調整することができ、および／または任意の他の適切な調整、強化、または変更を行ってコンテンツの選択された画素または部分を異なって取り扱うことができる。

例において（例えば画素を選択し、それらに調整を行った後、符号化パラメータは圧縮プロセスに結び付けられることができる。例えば画素の調整を有するコンテンツは、エンコーダに供給されることができ、それによりエンコーダは、選択された画素（例えば画素セット）に対する特性セット（例えば選択された画素に対する強化、調整など）を考慮に入れ、このような特性セットおよび画素（例えばメタデータの一部とすることができる）を、ビットストリームにエンコードすることができる。これはデコーダが、調整および／または強化する画素（例えば特性セットおよび／または画素セット）、およびどのようにそれらを異なって取り扱うか（例えばそれらを異なって取り扱うためのルール、またはエンコーディングツールの変更）を知ることを可能にし、それによりデコーダはこのような情報を解釈しそれに従って動作することができる。

本明細書で述べられるように芸術的意図は、例えば特性によって、画像および／または画像のシーケンスにおいて表現されることができる。特性によって芸術的意図を表現する例は、例えば色（例えば色度）、輝度値、深度値（例えば３Ｄコンテンツ）、テクスチャ属性、オーディオ値、オーディオ属性、およびシーン内のオブジェクトへの関連付けに基づいて、サンプルをグレーディング（例えば変更または強化）することである。特性によって芸術的意図を表現する例は、オブジェクトを空間的位置に配置すること、音またはオーディオ効果を関心のあるオブジェクトに適用すること、およびビデオおよびオーディオ効果（例えばフェードイン／フェードアウト）を適用することである。

位置（ｘ，ｙ）におけるサンプル値は、Ｓ（ｘ，ｙ）として表されることができる。サンプルは、色成分値のトリプレット、および／または位置に関連付けられた他の値（例えば深度またはオーディオ）を備えることができる。Ｓ（ｘ，ｙ）の特性は、Ｃ（Ｓ（ｘ，ｙ））として表されることができる。特性は、例えば色度図の特定の部分（例えば純粋の赤色の花）、３Ｄカラーボリュームの特定の部分（例えば月光）、深度値の所与の範囲（例えば視聴者に最も近い移動するオブジェクト）、ビデオ画像の空間領域などの１つまたは複数に対応することができる。

芸術的意図は、Ｃ_ARTとして表される特性値のセットによって表されることができる。Ｃ_ARTは、離散的な値、例えばＫ個の値のセットＣ_ART＝｛Ｃ₀，Ｃ₁，．．．Ｃ_K-1｝を有することができる。空間的位置は、例えば特性がデジタルビデオ内のサンプルの空間的位置に対応するとき、離散的な座標のセットによって表現されることができる。Ｃ_ARTは、連続な値の範囲を包含することができる。特性は、例えば特性が色度図の一部に対応するとき、浮動小数点精度によって表現されることができる。サンプル位置（ｘ，ｙ）は、例えば位置（ｘ，ｙ）に位置するサンプルの特性が芸術的意図セットに属する、Ｃ（Ｓ（ｘ，ｙ））∈Ｃ_ARTであるとき、芸術的意図位置として定義されることができる。

コンテンツ内の芸術的意図位置の集合は、Ｐ_ART＝｛（ｘ，ｙ）｜Ｃ（Ｓ（ｘ，ｙ））∈Ｃ_ART｝として表されることができる。芸術的意図位置でない位置は、通常の位置と呼ばれることができる。例えばＰ_ARTによって示される、表現された芸術的意図を有するコンテンツの部分は、高忠実度（例えばコンテンツの他の部分より高い忠実度）およびイメージ品質を有して維持されることができる。符号化および処理ツールは、Ｐ_ARTに位置するサンプルを維持および／または処理するように、もともと設計および／または変更されることができる。

図１１は、芸術的意図をベースとするビデオ符号化の例示のフローチャートである。図１１に示される例において特性値Ｃ（Ｓ（ｘ，ｙ））は、例えばＳ（ｘ，ｙ）またはそのサンプル値、またはサンプル位置における画素に基づいて、サンプル位置（ｘ，ｙ）に対して決定（例えば計算）されることができる（例えば４０２で）。サンプル値Ｓ（ｘ，ｙ）は、例えば１つまたは複数の（Ｙ，Ｕ，Ｖ）成分、および／または位置に関連付けられた１つまたは複数の他の値（例えば深度値、オーディオ値、オーディオ属性、周囲の位置に関連付けられた値（例えば位置（ｘ，ｙ）の周りの局所エリア内の位置）に対応する一般的な値または画素とすることができる。

サンプル位置（ｘ，ｙ）がＰ_ARTに属するかどうかの決定がなされることができる（例えば４０６の一部として）。決定は、（ｘ，ｙ）∈Ｐ_ARTとして表されることができる。決定は、１つまたは複数のサンプル位置に対してなされることができる。決定は、例えば芸術的意図位置Ｐ_ARTを、明示的にシグナリングすることによってなされることができる。シグナリングは、画像のシーケンス内の１つまたは複数の画像に対してもたらされることができる。芸術的意図位置Ｐ_ARTを明示的にシグナリングすることは、高いシグナリングオーバーヘッドを被る場合がある。他の実施形態において、芸術的意図に対応する特性値Ｃ_ARTのセットは、明示的にシグナリングされることができる（例えば４０４で）。芸術的意図サンプル位置Ｐ_ARTは、例えばＣ_ARTのシグナリングされた値、および計算された特性値Ｃ（Ｓ（ｘ，ｙ））の１つまたは複数に基づいて識別されることができ、これは最小のシグナリングオーバーヘッドによる、Ｐ_ARTの位置の識別を可能にすることができる（例えば４０６の一部として）。例えば決定は、位置（ｘ，ｙ）に位置するサンプルの特性が、芸術的意図セットの一部となる、または整合することができる（例えば属する）かどうか、例えばＣ（Ｓ（ｘ，ｙ））∈Ｃ_ARTについてなされることができる。すなわち例において、位置（ｘ，ｙ）に位置するサンプルに対する計算された特性値Ｃ（Ｓ（ｘ，ｙ））が、芸術的意図に対応するシグナリングされた特性値Ｃ_ARTのセットに含まれる特性の一部となる、それに含まれる、またはそれに属することができる（例えば一致することができる）場合またはそのとき、位置（ｘ，ｙ）は、芸術的意図位置Ｐ_ARTの位置を示すことができる（例えばそれは、芸術的意図および／またはその特性値が適用されることができる画素またはサンプルの位置を示すことができる）。

芸術的意図維持符号化ツールおよび後処理は例えば、例えばＰ_ARTによって示される、表現された芸術的意図を有するサンプル位置に、適用されることができる（例えば４０８および４１２で）。非芸術的意図維持符号化ツールおよび後処理は、例えば表現された芸術的意図を有しないサンプル位置に、適用されることができる（例えば４１０）。例えばサンプル位置のインジケーション、およびサンプル位置に適用されるように構成された特性値のセットからの特性が出力され（例えばそれぞれの符号化ツールおよび／または後処理ツールに）、および／またはシグナリングされまたは送られて、本明細書で述べられるように芸術的意図を適用することができる。

本明細書で述べられるように芸術的意図位置は、特性セットＣ_ARTに基づいて、コンテンツ内で識別されることができる。デコーダは、もとのサンプル値Ｓ（ｘ，ｙ）を有し得ず、例えば量子化（変換を有してまたは有さずに）のとき、圧縮時に損失を導入する。芸術的意図サンプルは、例えばエンコーダおよびデコーダの両方において使用可能なサンプル値を用いて、識別されることができる。これはエンコーダおよびデコーダが、芸術的意図サンプルに対して同期されたままとなることを可能にすることができる。

例においてエンコーダおよびデコーダは、例えば予測されたサンプル（例えば図１および２の「予測ブロック」に属するサンプル）を用いて、サンプル特性を計算し、それらがＰ_ARTに属するかどうかを決定することができる（例えば、例えば４０２および４０６で）。予測されたサンプルは、イントラ予測（空間的予測６０、２６０）、またはインター予測（動き予測６２、２６２）から来ることができる。位置（ｘ，ｙ）での予測されたサンプルは、

として表されることができる。サンプル特性（例えば予測されたサンプルを用いた）は、

として表されることができる。言い換えれば、本明細書で述べられるように

であるとき、（ｘ，ｙ）∈Ｐ_ARTとなる（例えば上記の４０２および４０６で）。従って例において、サンプル値が芸術的意図サンプル値に属するまたはそれに含まれることができるかどうかを決定する（例えば４０６で）ために受信された特性セットと比較されることができる特性を計算する（例えば４０２で）ために用いられるサンプル値および／または位置は、予測されたサンプルを含むことができるまたは予測されたサンプルとすることができる。

例において、予測されたサンプルは精度を改善するために、フィルタリングされ、ノイズ除去され、および／または他の形で処理されることができる。予測されたサンプル値ともとのサンプル値との間の差は多大となる場合があり、これは結果として不正確な

の特性値の計算を生じる場合がある。例において加算２６または加算２２６の出力など）、ループフィルタリングの前の復元されたサンプル値は、芸術的意図表現の特性を決定するために用いられることができる。ループフィルタ（例えば６６または２６６）プロセスは、復元されたサンプル値を用いて、芸術的意図表現を決定することができる。位置（ｘ，ｙ）におけるループフィルタリングの前の復元されたサンプルは、

として表されることができる。

の特性は、

として表されることができる。言い換えれば、

であるとき、（ｘ，ｙ）∈Ｐ_ARTである。

ループフィルタリングは、芸術的意図の表現の維持に適応されることができる。例えば現在の位置（ｘ，ｙ）がＰ_ARTに属するかどうかの決定（例えば４０６で）は、インループフィルタが適用された後になされることができる。ループフィルタリングの後の復元されたサンプルは、サンプル特性および特性値Ｃを計算するために用いられることができる（例えば４０２で）。位置（ｘ，ｙ）における従来型のループフィルタリングの後の復元されたサンプルは、

として表されることができる。

の特性は、

として表されることができる。言い換えれば、本明細書で述べられるように、

であるとき、（ｘ，ｙ）∈Ｐ_ARTである（例えば上記４０２および４０６で）。従って例において、サンプル値が芸術的意図サンプル値に属するまたはそれに含まれることができるかどうかを決定するために（例えば４０６で）、受信された特性セットと比較されることができる特性を計算するために（例えば４０２で）用いられる、サンプル値および／または位置は、復元されたサンプルを含むことができるまたは復元されたサンプルとすることができる。

Ｐ_ARTに属するサンプルに、後処理が適用されることができる。位置（ｘ，ｙ）における変更されたループフィルタリングの後の復元されたサンプルは、

として表されることができる。本明細書で述べられるように（例えば上記）、このような復元されたサンプル（例えば変更されたループフィルタリングの後の）は、４０２で特性を計算するために用いられるサンプルとすることができ、４０６で）それが芸術的意図位置または値に含まれることができるかどうかを決定するために用いられることができる。

の特性は、

として表されることができる。精密化された芸術的意図位置

のセットは、例えば

であるとき、計算されることができる。精密化された位置

のセットは、芸術的意図サンプルの後処理時に用いられることができる。このやり方で

を計算することは、Ｐ_ARTの精度を改善することができる。

芸術的意図特性値Ｃ_ARTのセットは、シグナリングされることができる。シグナリングは、例えば本明細書で述べられるように芸術的意図位置Ｐ_ARTを識別するための用いられることができる。Ｃ_ART内の１つまたは複数の特性は、維持されることになる芸術的意図の１つまたは複数のタイプを表す。特性は、例えば色度、輝度、深度、空間的位置、エッジ属性、テクスチャ属性、オーディオサンプルおよびオーディオ効果または属性の１つまたは複数とすることができる。芸術的意図の表現の様々なタイプを表す、様々なタイプの特性に対する値は、様々な技法によって計算されることができる。

色度は、芸術的意図のタイプとすることができる。色度特性値は、例えば図５のｘｙ色度図に対応することができる。色度特性値は、例えばサンプル値Ｓ（ｘ，ｙ）をその現在の色空間（例えばＹＣｂＣｒまたはＲＧＢ色空間）から、ＣＩＥＸＹＺまたは他の色空間に変換することによって計算されることができる。サンプル値は、例えば前に論じられたように

、

、または

の１つとすることができる。例えばＲＧＢからＸＹＺへの色空間変換は、式１に従って行われることができる。

式１において３×３行列は、３つのチャネル（赤、緑、および青）に対する測定されたＣＩＥ三刺激値を表す。例えばＸｒ、Ｙｒ、Ｚｒは、赤色チャネルに対する測定されたＣＩＥ三刺激値を表す。３×３行列は、例えば白色点およびＲＧＢ色空間の異なるバージョンに応じて、異なる係数を備えることができる。ＹＣｂＣｒからＣＩＥＸＹＺへの色空間変換も、３×３行列を用いて行われることができる。

ＸＹ色度値は、ＸＹＺ三刺激値から式２および式３に従って計算されることができる。

値ｘ^cおよびｙ^cは、サンプルの色度特性を表す。値は、サンプル位置（ｘ，ｙ）に対する表記法と区別するために、ｘ^c−ｙ^cとして（ｘ−ｙの代わりに）表されることができる。

色度特性値は、ＣＩＥＸＹＺ色ドメインまたは他の色空間において指定されることができる。例えば彩度値の範囲またはセットは、ＹＣｂＣｒ色空間、ＲＧＢ色空間において、またはビデオコンテンツが処理またはエンコードされる任意の色空間において指定されることができる。

輝度は、芸術的意図のタイプとすることができる。輝度特性値は、例えば図６の垂直Ｙ軸に対応することができる。輝度は、例えばサンプル値Ｓ（ｘ，ｙ）を、その現在の色空間（例えばＹＣｂＣｒまたはＲＧＢ色空間）から、ＣＩＥＸＹＺ色空間に変換することによって計算されることができる。サンプル値は、例えば前に論じられたように

、

、または

の１つとすることができる。輝度値は、ＸＹＺ三刺激値のＹ値に設定されることができる。

個々にまたは全体として芸術的意図を表現する輝度特性の多様なタイプまたはサブタイプ、例えば輝度の絶対値、輝度の勾配（例えばコントラスト）が存在する場合がある。輝度特性値の計算は、例えば輝度特性のタイプまたはサブタイプに応じて変わることができ、例えば絶対値の計算は、コントラスト値の計算とは異なることができる。

深度は、芸術的意図のタイプとすることができる。深度特性値は、例えば対応する深度マップにおける位置（ｘ，ｙ）での深度値に設定されることができる。深度特性は、ｄ（ｘ，ｙ）として表されることができる。対応する深度マップは符号化される、例えば圧縮されることができる。もとの深度値ｄ（ｘ，ｙ）は、デコーダにおいて使用可能とすることができない。深度特性の値は、符号化された深度値に設定されることができ、これは

として表されることができる。

空間的位置は、芸術的意図のタイプとすることができる。空間的位置特性値は、サンプル位置（ｘ，ｙ）に設定されることができる。

エッジおよび／またはテクスチャ属性は、芸術的意図の１つまたは複数のタイプとすることができる。局所テクスチャまたはエッジをベースとする特性値は、例えば所与の位置（ｘ，ｙ）の周囲の局所エリアにおける値（例えば輝度および彩度成分値の１つまたは複数）の処理に基づいて設定されることができる。

例において位置（ｘ，ｙ）を備える（例えばそれを中心とする）局所エリアに、エッジ検出アルゴリズムが適用されることができる。特性値は、例えばエッジ検出アルゴリズムの出力に設定されることができる。特性値は、例えばエッジの有無を示す２進値に設定されることができる。特性値は、例えば１つまたは複数のエッジ検出アルゴリズムを用いて計算された、エッジ強度または信頼値に設定することができる。

例において位置（ｘ，ｙ）が特定の方向を有するエッジに関連付けられているかどうかを決定するために、１つまたは複数の有向エッジ検出フィルタが適用されることができる。特性値は、例えば１つまたは複数の有向エッジ方向、または位置（ｘ，ｙ）に対応する検出フィルタを示すように設定されることができる。例えば位置（ｘ，ｙ）が、大部分は水平または垂直エッジフィーチャに沿っているかどうかを決定するために、水平および／または垂直エッジ検出フィルタが使用されることができる。特性値は、例えば水平エッジ（またはエッジ強度）、および／または垂直エッジ（またはエッジ強度）を示すように設定されることができる。位置（ｘ，ｙ）は、エッジ検出結果、または異なる方向におけるエッジ強度測定に対応する、複数の特性値に関連付けられることができる。

例において位置（ｘ，ｙ）を中心とする局所エリアに、１つまたは複数のテクスチャ分類アルゴリズムが適用されることができる。特性値は、テクスチャ分類アルゴリズムの出力に設定されることができる。特性値は、位置（ｘ，ｙ）の周囲の局所エリアの統計的な属性に設定されることができる。例えば特性値は、（ｘ，ｙ）の周囲の局所エリアにおける１つまたは複数の成分値の平均または分散に設定されることができる。特性値は、位置（ｘ，ｙ）の周囲の局所エリアにおける画素の間の相関に基づいて設定されることができる。特性値は、位置（ｘ，ｙ）において適用される１Ｄまたは２Ｄフィルタの出力に設定されることができる。１Ｄまたは２Ｄフィルタは、１つまたは複数のテクスチャ属性に応答して結果を生じるように設計されることができる。フィルタは、特定のスケールおよび周波数における２Ｄガボール関数とすることができる。特性値は、例えば位置（ｘ，ｙ）の周囲の局所エリアの周波数ドメイン表示の計算および処理に基づいて設定されることができる。局所エリア画素は、例えばＤＣＴまたは他の適切な周波数変換を用いて変換されることができる。周波数ドメイン係数のサブセットの値は、例えば特定の周波数または周波数の範囲に対するエネルギー測定を生じるように、組み合わされることができる。組み合わせは、例えば単純なまたは重み付きの加算的組み合わせを含むことができる。特性値は、１Ｄまたは２Ｄ周波数空間の何らかの部分に著しいエネルギーがあるかどうかを示すことができる。

局所テクスチャまたはエッジをベースとする特性値は、例えば位置（ｘ，ｙ）の周りの局所エリアに関連付けられた成分または値の１つまたは複数を用いて計算されることができる。例えば輝度値または１つまたは複数のクロミナンス値もしくは成分の、１つまたは複数が用いられて、テクスチャまたはエッジ特性値を計算することができる。

オーディオ効果は、芸術的意図のタイプとすることができる。オーディオ効果特性値は、位置（ｘ，ｙ）に関連付けられた１つまたは複数のオーディオ値に設定される、またはそれを用いて計算されることができる。オーディオ値は、符号化されることができる。

例として、オーディオサンプルを備えたオーディオトラックは、関心のあるオブジェクトまたは領域に関連付けられることができる。関心のある領域は、例えば視聴覚コンテンツにおいて表される話者、接近する列車、爆発などとすることができる。聞こえる芸術的意図に関連付けられた位置（ｘ，ｙ）は、オーディオトラックおよび／またはオーディオサンプルに関連付けられることができる。関心のある領域は、重なり合うことができる。位置（ｘ，ｙ）は、複数のオーディオトラックに関連付けられることができる。複数のオーディオトラックは、組み合わされて（例えば加算的に）、位置（ｘ，ｙ）に対するオーディオ表示を形成することができる。ビデオフレーム内の位置（ｘ，ｙ）は、オーディオサンプルおよび／または関係するオーディオ属性に関連付けられることができる。

関連付けられたオーディオサンプルまたはオーディオ属性は、位置（ｘ，ｙ）が特性セットの一部であるかどうかを決定するために処理されることができる。例として位置（ｘ，ｙ）に関連付けられたオーディオ信号の、１つまたは複数のチャネルの音量が取得されることができる。例えば音量が閾値より大きい（または小さい）、または範囲内であるとき、芸術的意図が表現されたと判断されることができる。例えばオーディオフェードイン／フェードアウトの検出に基づいて、芸術的意図が表現されたと判断されることができる。オーディオフェードイン（例えば正の音量勾配において）またはオーディオフェードアウト（例えば負の音量勾配において）を検出するために、音量の勾配が計算されることができる。例えばオーディオコンテンツがオーディオ周波数の一定の範囲を占めるとき、芸術的意図が表現されることができる。例えばカットオフ周波数より高いまたは低いエネルギーの、または一定の周波数帯域内のエネルギーの計算された値は、芸術的意図の表現を示す閾値を超えると決定されることができる。

ビデオ信号に付随するオーディオ信号の１つまたは複数のチャネルは、符号化（例えば圧縮）されることができる。エンコーダおよびデコーダは、圧縮されたオーディオ信号を用いて、オーディオ特性値を計算することができる。

芸術的意図の表現または特性化は、本明細書に示される例に限定されない。

特性値はスカラー、またはベクトル（例えば２つ以上のスカラー成分）の形で表されることができる。例えば色度特性および空間的位置特性は、２次元とすることができる。例えば２次元特性Ｃ_ARTの対応する範囲は、２次元形状を指定することができる。２次元範囲は、任意形状を有することができる。例えば任意形状に対する範囲を指定するために、多角形近似が適用されることができる。

図１２は、多角形を用いて近似された２次元Ｃ_ART形状の例である。図１２は、色度図上の長円形のＣ_ART領域を指定する例を示す。例えば長円形（破線で示される）を近似するために、多角形（実線で示される）が用いられることができる。１つまたは複数の多角形および／または他の形状表示を用いて任意の形状のＣ_ARTを近似することは、利点をもたらすことができる。

多角形は、より多くの数の頂点／辺を用いて、より高い精度で形状を近似することができる。多角形は、例えば頂点／辺の数、および頂点の座標値を指定することによって、シグナリングされることができる。所与の点が多角形の内側にあるかどうかを決定することは、（Ｓ（ｘ，ｙ））∈Ｃ_ARTであるかどうかを決定するための時間を低減することができる。点が多角形の内側にあるかどうかは、例えば多角形を有限の数の三角形で表し、点が三角形のいずれかの内側にあるかどうかを決定することによって、決定されることができる。

２次元Ｃ_ARTは、Ｎ個の頂点を有する多角形近似、およびＮ個の頂点の座標を用いて指定されることができる。値Ｎは、例えばエンコーダによって選択されることができる。選択は、例えば多角形近似の精度と、シグナリングオーバーヘッドとの所望のトレードオフに依存することができる。Ｃ_ARTは、例えば特性が１次元であるとき、２つの端点値により指定されることができる。Ｃ_ARTは、例えば特性が深度であるとき、深度範囲（ｄ_min，ｄ_max）を用いて指定されることができる。Ｃ_ARTは、例えば特性が輝度であるとき、輝度範囲（Ｌ_min，Ｌ_max）を用いて指定されることができる。いくつかのシグナリングされるパラメータは、浮動小数点精度を有することができる。例としてｘｙ色度図上の輝度範囲値または座標は、浮動小数点数とすることができる。浮動小数点値の固定小数点近似は、シグナリングされることができる。固定小数点近似の精度（例えば用いられるビット数）は、Ｃ_ARTシグナリングの一部としてシグナリングされることができる。Ｃ_ARTは、例えば値の範囲、またはエリア表示（例えば多角形）を用いて指定されることができ、これは特性値のセット内の１つまたは複数の特性を指定することができる。

２つ以上のタイプの特性の組み合わせが、サポートされることができる。異なるタイプの特性は、互いに直交することができる。例としてＣ_ARTは、Ｍ個のメンバ（例えば直交する）特性、Ｃ_ART＝｛Ｃ⁰，Ｃ¹，．．Ｃ^M-1｝を備えることができる。Ｃ_ARTの全体としての範囲は、個々のメンバ特性の範囲を個別に指定することによってシグナリングされることができる。例えば芸術的意図は、色度の範囲および輝度の範囲内で表現されることができる。これは、Ｍ＝２、Ｃ_ART＝｛Ｃ⁰，Ｃ¹｝によって表されることができ、ただし

（色度特性）、および

（輝度特性）である。Ｃ_ARTパラメータは、

を指定することができ（例えば色度値の領域を指定するために多角形近似を用いて）、および

を指定することができる（例えば輝度値の範囲を指定するために２つの端点を用いて）。

メンバ特性は、例えばメンバ特性が互いに直交しないとき、組み合わされることができる。例えば色度および輝度は、一緒に組み合わされて、図６に示される図などの、３Ｄカラーボリューム図における３Ｄ範囲を定義することができる。３Ｄ範囲は、例えば３Ｄ形状の表面をシグナリングすることによってシグナリングされることができる。（ｘ，ｙ，ｚ）座標を有する点が、３Ｄ形状内にあるかどうかの決定がなされることができる。

２つ以上のタイプの特性の組み合わせの例としてＣ⁰は、例えば空間／画素ドメインにおける多角形領域として表されることができる、関心のある空間領域を表すと仮定する。Ｃ¹は、例えばＸＹ色度空間における多角形領域として表されることができる、ＸＹ色度空間の領域を表すと仮定する。Ｃ_ART＝｛Ｃ⁰，Ｃ¹｝は、Ｃ¹によって定義される色度領域内にある彩度成分を有することができる、Ｃ⁰によって定義される空間領域内の画素（例えばすべての画素）を表すことができる。このタイプの特性セット組み合わせは、例えばより高い忠実度、変更された非ブロック化フィルタリング、または特定の色度特性を保有する、画面の領域内の画素のセットに対する他の特別な処理を指定するために用いられることができる。

ユーザ（例えば人間のアーティスト）が、１つまたは複数の特性セットＣ^xおよび特性値セットを指定するためにユーザ入力をもたらすことを可能にするように、ユーザインターフェースがもたらされることができる。ユーザインターフェースツールは、ユーザが、ビデオフレーム内の関心のある領域を識別することを可能にすることができる。例えばユーザインターフェースは、アーティストが、表示されたコンテンツフレームの領域の周りに形状を描くためのポインティングデバイスを用いることを可能にすることができる。ユーザインターフェースは、ユーザが例えばテキスト入力または値スライダを用いて、輝度および／または彩度値の範囲など、１つまたは複数の特性を識別することを可能にすることができる。ユーザインターフェースは、ユーザが例えば図５に示される色マップなどの色マップを用いて、色の領域を指定することを可能にすることができる。ユーザインターフェースは、ユーザが例えばテキスト入力または「値スライダ」インターフェースを用いて、目標深度または深度値の範囲を指定することを可能にすることができる。ユーザインターフェースは、ユーザがエッジ方向、エッジ強度、またはテクスチャ分類を指定することを可能にすることができる。

ユーザインターフェースは、例えば特性セットを定義するための値の選択を支援するように、ユーザがコンテンツの視覚的表示を指し示すことを可能にするように構成されることができる。例えばユーザは、表示されたコンテンツフレーム内の位置（ｘ，ｙ）を指し示すことができる。ユーザインターフェースは、その位置に関連付けられた１つまたは複数の値（例えば輝度、彩度、深度、エッジ強度、テクスチャ分類）を識別することによって応答することができる。ユーザインターフェースは、ユーザが、選択された位置に関連付けられた値を備える、またはそれを中心とする値の範囲を選択することを可能にすることができる。ユーザインターフェースは、例えばユーザインターフェースにおいて選択された値または値の範囲によって定義された１つまたは複数の特性値セットに対応する、位置Ｐ_ARTのセット（例えば画素のセット）を識別するように、表示されたコンテンツフレーム内にインジケーション（例えば輪郭または強調表示）を表示することができる。例えば任意の特性セットタイプの２つ以上の特性セットの組み合わせから、複合特性セットが形成されることができる。複合特性セットは、２つ以上の特性セットを満足する位置、または少なくとも１つの特性セット（例えばユーザによって選択または定義された複数の特性セットの少なくとも１つ）を満足する位置に対して、芸術的意図を指定することができる。

ユーザインターフェースは、ユーザが、芸術性セット位置Ｐ_ARTを処理するために符号化ツールを選択および／または構成することを可能にすることができる。例としてユーザインターフェースは、ユーザが忠実度強化、および芸術性セットに関連付けられた画素および／またはブロックに適用可能なＱＰ調整のための値の、適用を指定することを可能にすることができる。インターフェースは、ユーザが、芸術性セットに関連付けられた画素および／またはブロックに対する、強化されたループフィルタまたは変更された後処理段階の適用を指定することを可能にすることができる。ユーザインターフェースは、ユーザが、芸術性セット位置を処理するために追加または変更されることになる、１つまたは複数の符号化ツールを指定および／または構成することを可能にすることができる。

図１３は、Ｃ_ARTシグナリングの例示のフローチャートである。図１３に示される例において、Ｃ_ART内のメンバ特性の総数Ｍは、送られおよび／または受信されるなどシグナリングされることができる（例えば５０２で）。メンバ特性Ｃⁱ、ただしｉ＝０からＭ−１に対して、特性のタイプは、送られおよび／または受信されるなどシグナリングされることができる（例えば５０４で）。特性のタイプは、例えば輝度、色度、深度、空間的位置、エッジ方向、エッジ強度、テクスチャ属性または分類、およびオーディオ属性または効果とすることができる。Ｃⁱのタイプは、例えば２Ｄまたは１Ｄとすることができる。例えばＣⁱのタイプが例えば２Ｄ（２次元）であるか１Ｄ（１次元）であるかについての決定がなされることができる（例えば５０６で）。例において（例えば５０６での決定に基づいて）Ｃⁱの範囲は、例えば２つの端点（例えば１Ｄの場合）（例えば５０８で）、またはＣⁱの多角形表示（例えば２Ｄの場合）（例えば５１０で）を指定することによって、送られおよび／または受信されるなどシグナリングされることができる。多角形表示は、頂点の数および頂点座標をシグナリングすることによって（例えば５１０で）、送られおよび／または受信されるなどシグナリングされることができる。従って例において、決定に基づいてメンバ特性Ｃⁱは１次元であるとすることができるとき、メンバ特性Ｃⁱに対する特性のタイプの範囲は、端点を用いて送られおよび／または受信される（例えばシグナリングされる）ことを含めて用いられることができ、または決定に基づいてメンバ特性Ｃⁱは２次元であるとすることができるとき、メンバ特性Ｃⁱに対する特性のタイプの多角形表示は、送られおよび／または受信される（例えばシグナリングされる）ことを含めて用いられることができる。例においてメンバ特性Ｃⁱに対する特性のタイプの範囲、および／またはメンバ特性Ｃⁱに対する特性のタイプの多角形表示は、エンコーディング、復号、配信、処理およびエラー回復性の少なくとも１つにおいて用いられることができる。示されるようにこれは、特性の総数を有する特性のセット内の各メンバ特性Ｃⁱに対して、またはセット内の特性の総数に達するまで、繰り返されることができる（例えば５１２に示されるように）。

例えば符号化されたビデオビットストリームにおけるＣ_ARTシグナリングは、例えばシーケンスレベル（例えばシーケンスパラメータセット、画像パラメータセット、ビデオパラメータセット）、画像レベル（例えば画像パラメータセット、スライスセグメントヘッダ）、またはスライスレベル（例えばスライスセグメントヘッダ）において送られることができる。Ｃ_ARTのシグナリングは、ＳＥＩメッセージとして送られることができる。ＳＥＩメッセージは、受信器において受信され、構文解析され、および解釈されることができ、例えば芸術的意図サンプルを有するエリアの品質を改善するように、１つまたは複数の後処理ステップを導くために用いられることができる。後処理技法は、ポストループのやり方で適用される適応ループフィルタ、クロスコンポーネントフィルタリングなどを備えることができる。

符号化ツールは、芸術的意図の維持をサポートするように設計および／または変更されることができる。量子化は、圧縮時に情報損失および信号歪みを導入することができる。大きな量子化ステップサイズは著しい情報損失に繋がる場合があり、これは復元されたビデオが目に見える符号化アーチファクトを含む場合があることを意味することができる。著しい情報損失は、特に芸術的意図表現に対応するサンプルを備えたエリア、例えばＰ_ART位置に対して望ましくないものとなる場合がある。Ｐ_ARTに位置するサンプルの信号忠実度は、例えばより微細な量子化ステップサイズを適用して、対応するＰ_ARTサンプルの予測残差を符号化することによって、維持されることができる。

図１４は、Ｐ_ARTブロックおよび通常のブロックを有する符号化単位（ＣＵ）の例である。図１４は、いくつかのＰ_ARTサンプル（「ｘ」サンプル）、およびいくつかの通常のサンプル（「ｏ」サンプル）を有するＣＵを表す。分割および処置は、例えばサンプルベースではなくブロックベースとすることができる。例として図１４におけるＣＵは、４つのブロックに分割されることができる。左側の２つのブロックは、主として通常のサンプルを備える。主として通常のサンプルを有するブロックは、通常のブロックとしてラベル付けされることができる。右側の２つのブロックは、主としてＰ_ARTサンプルを備える。主としてＰ_ARTサンプルを有するブロックは、Ｐ_ARTブロックとしてラベル付けされることができる。

Ｐ_ARTブロックとしてラベル付けされたブロックには、より微細な量子化が適用されることができる。より微細な量子化を適用するために、ＨＥＶＣにおけるＣＵレベルＱＰ調整が用いられることができる。しかしＣＵレベルＱＰ調整は、十分な細分性をもたらすことができない。図１４に示される例におけるＣＵレベルＱＰ調整の適用は、同じＣＵ内のサンプルに同じＱＰを適用することができる。より小さなＣＵレベルＱＰは、通常のブロックはより少なく量子化されることができることを意味することができ、これはビットレートの増加を引き起こす場合があることを意味することができる。より大きなＣＵレベルＱＰは、Ｐ_ARTブロックがより多くの歪みを受ける場合があることを意味することができる。

Ｐ_ARTサンプルは、例えば高位レベルでデルタＱＰ値を指定することによって、高忠実度を有して維持されることができる。高位レベルは、例えばシーケンスレベル、画像レベル、またはスライスレベルとすることができる。これは、芸術的意図をベースとするＱＰ調整と呼ばれることができる。Ｐ_ARTサンプルは、Ｐ_ARTブロック（例えばほとんどＰ_ARTサンプルを備えるブロック）を量子化することによって維持されることができる。Ｐ_ARTサンプルは、例えば前に論じられたように、例えばシグナリングされたＣ_ARTパラメータを用いて識別されることができる。ブロックは、例えばブロックがＰ_ARTサンプルの一部分、百分率、または他の閾値レベルを備えるとき、Ｐ_ARTブロックとして識別されることができる。例として、閾値は１０パーセントまたは２５パーセントに設定されることができ、それにより１０パーセントより多い、または２５パーセントより多いＰ_ARTサンプルを備えた任意のブロックは、Ｐ_ARTブロックとして識別される。

Ｐ_ARTブロックには、芸術的意図ＱＰ調整が適用されることができる。高位レベルでシグナリングされたデルタＱＰ値は、例えばＱＰ調整において用いられて、例えば通常のＱＰ値からデルタＱＰを減算することによって低減されたＱＰ値を生成することができる。低減されたＱＰ値は、Ｐ_ARTブロックに適用されて、より微細な量子化を達成することができる。ブロック決定閾値のための値、およびデルタＱＰ値は、静的または動的、および固定または可変とすることができる（例えば値は、人間のアーティストなどのユーザによって構成可能とすることができ、およびコンテンツビットストリームにおいてシグナリングされることができる）。

変化するＱＰ調整は、例えばブロック内のＰ_ARTサンプルの数または割合に応じて、ブロックに適用されることができる。変化するＱＰ調整は、例えばｄｅｌｔａＱＰ＿ｍａｘの値に基づいて、制限されることができる。最大デルタＱＰ値（例えばｄｅｌｔａＱＰ＿ｍａｘ）は、例えば人間のアーティストによって定義されることができる。例えばいくつかのＰ_ART画素を有するブロックはＱＰ調整を受けることができ、ｄｅｌｔａＱＰは式４に従って計算される。
ｄｅｌｔａＱＰ＝ｒｏｕｎｄ（ｎｕｍ（Ｐ_ART）／ｎｕｍ（ｂｌｏｃｋ）×ｄｅｌｔａＱＰ＿ｍａｘ）式４

式４においてｎｕｍ（Ｐ_ART）は現在のブロック内のＰ_ART画素の数、ｎｕｍ（ｂｌｏｃｋ）は現在のブロック内の画素の総数、ｄｅｌｔａＱＰ＿ｍａｘは現在の芸術性セットに対する最大ＱＰ調整、およびｒｏｕｎｄ（）は丸め演算である。丸め演算は、ｄｅｌｔａＱＰが整数値を有することを確実にすることができる。

Ｐ_ARTサンプルの決定の代わりまたは追加としてのＰ_ARTブロックの決定は、例えば量子化の前に変換の適用を受けないブロックに対しては、削除されることができる。いくつかのブロックに対して、量子化されることができる変換係数を生成するように、予測残差のブロック（そのいくつかはＰ_ARTサンプルに、他は通常のサンプルに対応することができる）に変換が適用される。

ＨＥＶＣにおけるＴＵレベルで、例えば変換スキップモードが有効にされることができる。量子化は、例えば変換スキップモードで、空間ドメインにおいて予測残差に直接適用されることができる。Ｐ_ARTブロックの識別は、例えば異なる量子化ステップサイズが個々のサンプル位置に適用されることができることを考えれば、削除されることができる。異なるステップサイズは、例えばサンプルがＰ_ARTサンプルであるか、通常のサンプルであるかに依存することができる。

芸術的意図をベースとするＱＰ調整は、１つまたは複数のデルタＱＰ値を有することができる。ＱＰ値は、１つまたは複数の色成分に対応することができる。量子化ステップサイズは、異なる色成分に対して独立に調整されることができる。ｄｅｌｔａＱＰおよび／またはｄｅｌｔａＱＰ＿ｍａｘの値は、ユーザによって構成されることができる。

符号化ツールは、芸術的意図を維持するように、もともと設計および／または変更されことができる。非ブロック化フィルタは、芸術的意図を維持するように変更されることができる。例としてＨ．２６４およびＨＥＶＣにおける非ブロック化フィルタは、ブロック境界の間のブロック化アーチファクトを低減し、主観的品質を改善するために用いられることができる。

図１５は、隣接したブロック（ブロックＰ）および現在のブロック（ブロックＱ）を用いた非ブロック化の例である。図１５に示されるように非ブロック化は、水平および垂直ブロック境界に適用されることができる。非ブロック化は、例えば現在のブロック（例えばブロックＱ）の隣接したブロック（例えばブロックＰ）を識別することによって適用されることができる。隣接したブロックの識別は、例えばエッジ方向に依存することができる。

ＰとＱとの間の境界強度（Ｂｓ）パラメータが、計算されることができる。Ｂｓの計算は、例えばＰおよびＱの符号化モード、ＰおよびＱの基準画像、ＰおよびＱの動きベクトル、および／またはブロックＰまたはブロックＱにゼロでない変換係数が存在するかどうかに、依存することができる。Ｂｓは、ＰおよびＱ内の隣接したサンプルに適用されることができる、非ブロック化フィルタの強度を制御することができる。

適応非ブロック化フィルタは、輝度成分および彩度成分に個別に適用されることができる。ブロック境界のそれぞれの側のサンプルは、例えばＢｓの値に応じてフィルタリングされることができる。Ｂｓの値は、例えば４つまでの輝度または彩度とすることができる。

境界強度Ｂｓは、例えばＰおよび／またはＱがＰ_ARTブロックであるかどうかを考慮に入れることによって決定されることができる。Ｂｓの値は、例えばＰおよびＱの１つまたは複数がＰ_ARTブロックであるとき、増加されることができ、それにより、より高い主観的品質をもたらすように、より強い非ブロック化フィルタが適用される。非ブロック化の複雑さは、簡素化されることができる。例として例えばＢｓが１より大きいとき、ＨＥＶＣにおける彩度成分はフィルタリングされることができる。簡素化は結果として、芸術的意図維持の目的に対して、復元された信号において不十分な品質の色度を生じる場合がある。例えばＢｓが１に等しいとき、非ブロック化フィルタを適用することによって、より強度の非ブロック化フィルタが彩度成分に適用されることができる。

ブロックＰおよびブロックＱのＱＰ値は、それぞれＱＰ（Ｐ）およびＱＰ（Ｑ）として表されることができる。Ｈ．２６４およびＨＥＶＣの非ブロック化フィルタリングプロセスは、例えばＱＰ（Ｐ）およびＱＰ（Ｑ）の値などのいくつかの要因に基づいて、適応できるものとすることができる。適応非ブロック化フィルタリング時に用いられるＱＰ（Ｐ）およびＱＰ（Ｑ）の値は、芸術的意図をベースとするＱＰ調整が適用される前または後の、ブロックＱＰ値からのものとすることができる。

図１６は、芸術的意図維持のためのブロックベースのビデオデコーダの例の図である。図１６は、図２に示されるブロックベースのハイブリッドビデオデコーダの図の変更されたバージョンを示す。図１６に示されるように、入力ビットストリームはエントロピー復号され、ビットストリームはアンパックされる。

モードおよび動き情報ならびにＣ_ARTパラメータは、ビットストリームから取り出されることができる。Ｃ_ARTパラメータは、予測されたサンプルと共に（または復元されたサンプルと共に）用いられて、例えばどのブロック／サンプルがＰ_ARTブロック／サンプルであるかを決定することができる（１６２０）。変更された逆量子化（１６１０）および変更されたループフィルタ（１６４０）は、例えばどのブロック／サンプルがＰ_ARTブロック／サンプルであるかの決定に応じて適用されることができる。Ｐ_ARTブロック／サンプル決定（１６２０）は、復元された画像に後処理（１６３０）を適用するために用いられて、例えばディスプレイ上にレンダリングされた画像内の芸術的意図をさらに復活させるおよび／または強化することができる。後処理は、例えば適応ループフィルタ（例えば後置フィルタとして用いられる）、および／またはクロスコンポーネント彩度強化フィルタを備えることができる。

ブロックベースのハイブリッドビデオ復号が、図１６に例として示される。芸術的意図維持技法は、他のタイプのビデオ符号化システムに適用可能である。Ｃ_ARTシグナリングおよびＰ_ART識別技法は、多様な符号化システムに適用可能である。例えばＣ_ARTパラメータをシグナリングすることは、芸術的意図を維持するために、ウェーブレットベースのビデオ符号化システム、またはオブジェクトベースのビデオ符号化システムと組み合わされることができる。

シグナリングされた芸術的意図特性（例えばＣ_ARTパラメータ）は、エラーが生じやすいチャネル（例えば無線チャネル）に依存するものなどのビデオ配信システムの、エラー回復性／ロバスト性を改善または強化するために用いられることができる。例えば送信時に、ビットストリームの一部分が失われる場合がある（例えば破損したまたは失われたパケットにより）。デコーダは、失われたサンプルがＰ_ARTブロック／サンプルに対応することを検出することができる。失われたブロック／サンプルを隠蔽するために、強化されたエラー隠蔽アルゴリズムが適用されることができる。

例において深度特性は、Ｃ_ARTにおいてシグナリングされることができる。デコーダは、対応する深度マップを参照して（深度マップが受信されたと仮定して）、失われたサンプルがＰ_ARTブロック／サンプルに対応するかどうかを決定することができる。例において空間特性は、Ｃ_ARTにおいてシグナリングされることができる。デコーダは、失われたサンプルの位置を決定して、それらがＰ_ARTブロック／サンプルに対応するかどうかを決定することができる。デコーダは、適切なエラー隠蔽方策を選択して、ビデオ品質を改善することができる。例において色度（または輝度）特性は、Ｃ_ARTにおいてシグナリングされることができる。デコーダは、失われたサンプルがＰ_ART位置に対応するかどうかを決定することができる。デコーダは、失われたサンプルのサンプル値を知ることができない。デコーダは、例えば使用可能な隣接したサンプル（例えば空間的に隣接したサンプルおよび／または時間的に隣接したサンプル）を用いて、失われたサンプルがＰ_ART位置に対応するかどうかの決定を補助し、および適切なエラー隠蔽技法を選択することができる。

エンコーダは、より重要なまたは優先されるサンプル、例えばＰ_ARTサンプルを、異なるスライス／タイルにおいて圧縮することができる。重要なスライス／タイルは、コンテンツ配信（例えば送信）段階および／または他の段階で、より高い優先度に関連付けられることができる。例えばＣ_ARTシグナリングに基づいてＱｏＳを改善するように、強化されたエラー保護（例えばより強力なＦＥＣ符号）および／または強化された送信が用いられることができる。送信器／パケタイザは、例えば基本ストリームにおけるＣ_ARTシグナリング情報を用いて、送信／パケット化のためのＱｏＳパラメータ（例えばエラー保護レート、送信優先度）を決定することができる。

より重要度の高いまたは低い、コンテンツ内の位置のセットが、識別されることができる。Ｃ_ARTは、芸術的意図に関して、強化された重要度を有する特性値のセットである。Ｐ_ARTは、芸術的意図に関して、強化された重要度を有するサンプル位置のセットである。芸術的意図特性Ｃ_ARTは、芸術的意図位置Ｐ_ARTのセット（例えば本明細書で述べられるような）を識別するためにシグナリングされおよび用いられることができる。異なる重要度レベルを有する位置のセットが、識別されることができる。

低減された（例えば非常に低い）重要度を有する位置のセットは、例えばコンテンツ作成プロセス時に識別されることができる。アーティストは、特性値のセットおよび／またはサンプル位置のセットを、「低い重要度」を有するものとして明示的にまたは暗示的に識別することができる。例えばアーティストがサンプル位置のセットにさらなる注意を払わなかったとき、芸術的意図が表現されないことが暗示されることができる。重要度の暗示的または明示的な低減を有する位置は、符号化、後処理、および／またはエラー回復性の間に、「非強調化」されることができる。例えば低減された重要度サンプル位置に対しては符号化時に、より厳しい量子化が適用されることができ、ループフィルタリングまたは後置フィルタリングは簡素化または削除されることができ、および／またはロバスト性のより低いエラー保護が用いられることができる。

図１７は、位置の任意のセットに対する重要度レベルのシグナリングの例示のフローチャートである。特性の複数のセット、Ｃ^IMP-k、ｋ＝１．．．Ｎが、シグナリングされることができる（例えば６０２で）。関連付けられたサンプル位置のセットＰ^IMP-kが、識別されることができる（図示せず、例えば６０２の後で）。１つまたは複数のセットＣ^IMP-kに対して重要度インジケータＩＭＰ^kが割り振られ、シグナリングされることができる（例えば６０４で）。図１３は、図１７に示される一般化されたシグナリングフレームワークに対して用いられることができるＣ_ARTシグナリングフローチャートの例を示す。例えば特性Ｃ^IMP-kは、図１３で述べられたように、送られおよび／または受信されるなどシグナリングされることができる（例えば６０６で）。これは各セットに対して繰り返されることができる（例えば６０８によって示されるように）。

例えば重要度インジケータに基づいて、適切な符号化、後処理、および／またはエラー回復性対策が適用されることができる。一般化された重要度シグナリングは、ビデオ配信チェーンが、異なる重要度レベルを有するサンプル位置のセットの間での、リソース割り当てを強化することを可能にすることができる。リソース割り当ては、圧縮時のビットレート割り当てを含むことができる（例えばより高い重要度を有する信号に、より多くのビットが費やされる）。リソース割り当ては、コンピューティングリソース割り当てを含むことができる（例えばより高い重要度を有する信号の、より良好な処理および維持）。リソース割り当ては、エラー保護リソース割り当てを含むことができる（例えばより高い重要度を有する信号の、よりロバスト性のあるエラー保護）。

符号化ツールのための構成パラメータは、重要度インジケータ値から導き出されることができる。例えば重要度インジケータは、０と１００の間の値としてシグナリングされることができる。シグナリングされたＱＰ値に対して、５０より大きな重要度インジケータはＱＰにおける低減を示すことができ、５０未満の重要度インジケータはＱＰにおける増加を示すことができる。例においてｄｅｌｔａＱＰの値は、重要度インジケータと５０との間の絶対差に基づいて計算されることができる。重要度インジケータに基づいて、他の構成パラメータ（例えば非ブロック化フィルタ選択、境界強度、チャネル符号化強度、再送信の許容回数、エラー隠蔽のための許容計算レベル）が計算されることができる。

関連のある構成パラメータは、例えば異なる重要度インジケータを有する異なる芸術的意図セットからの位置（例えば画素）が、単位（例えば送信されることになるブロック、スライス、パケットにおいて）において一緒に混合されるとき、組み合わされた重要度インジケータを用いて導き出されることができる。例えば単位内の画素の重要度インジケータの重み付けされた組み合わせは、重要度インジケータを共有する画素の数によって重み付けされて計算されることができ、結果としての組み合わされた重要度インジケータは、単位に対する構成パラメータを導き出すために用いられることができる。

位置（ｘ，ｙ）は、２つ以上の芸術的意図セット仕様に属することができる。例えば第１の芸術的意図セット仕様は、現在のフレームの空間領域を備えることができる。第２の（例えば別の）芸術的意図セット仕様は、第１の彩度成分に対する値の範囲を備えることができる。第１の芸術的意図セット仕様は、第１の重要度インジケータＩＭＰ¹に関連付けられることができる。第２の芸術的意図セット仕様は、第２の重要度インジケータＩＭＰ²に関連付けられることができる。位置（ｘ，ｙ）は、第１の芸術的意図セット仕様の空間領域内にあることができ、第２の芸術的意図セット仕様の値の範囲を満足する彩度成分を有することができる。位置（ｘ，ｙ）は、２つ以上の芸術性セット仕様に関連付けられることができる。

位置（ｘ，ｙ）は、２つ以上の重要度インジケータに関連付けられることができる。例において位置（ｘ，ｙ）に対して、組み合わされた重要度インジケータが決定されることができる。組み合わされた重要度インジケータは、位置（ｘ，ｙ）に関連付けられた複数の重要度インジケータの組み合わせとすることができる。例えば位置（ｘ，ｙ）に対する組み合わされた重要度インジケータを決定するために、複数の重要度インジケータは加算されまたは平均されることができる。位置（ｘ，ｙ）に対する組み合わされた重要度インジケータを決定するために、複数の重要度インジケータの最大または最小値が計算されることができる。組み合わされた重要度インジケータは、例えば追加されたおよび／または変更された符号化ツールを用いて、どのように位置（ｘ，ｙ）、および／またはどのように位置（ｘ，ｙ）を備えるブロックが処理されるべきかを決定するための、重要度インジケータ値として用いられることができる。

様々な芸術的意図セットに対して一般的な重要度インジケータを符号化することは、ユーザ（例えば人間のアーティスト）が芸術的意図セットに対する重要度レベルを示すための便利な伝達手段をもたらすことができる。一般的な重要度インジケータは、個々の決定を低減することができる。一般的な重要度インジケータは、芸術的意図セットを処理する様々な符号化ツールのための構成パラメータを設定するために用いられることができる。ユーザは識別された芸術的意図セットの処理にわたって、よりきめの細かい制御を望むことができる。ユーザインターフェースは、ユーザが様々なツール（例えば符号化ツール、配信ツール、エラー隠蔽ツール）のための詳細な構成パラメータを指定することを可能にすることができる。構成パラメータの詳細なセットは、１つまたは複数の芸術性セットに対してシグナリングされることができる。ツール構成パラメータは、例えば図１７に示されるように、ＩＭＰ^kをシグナリングすることに加えてまたはその代わりにシグナリングされることができる。

一般化されたシグナリングは、Ｃ_ARTシグナリングがより効率的になることを可能にすることができる。例えば芸術的意図を有しない（例えば低い重要度）位置のセットとして、Ｐ_NON-ARTが定義されることができる。Ｐ_NON-ART内の（例えばすべての）位置の数またはある百分率によって共有される「非芸術的意図」特性のセットとして、Ｃ_NON-ARTが定義されることができる。Ｃ_NON-ARTをシグナリングすることは、結果としてＣ_ARTをシグナリングするより少ないオーバーヘッドを生じることができる。

図１８Ａは、１つまたは複数の開示される実施形態が実施されることができる、例示の通信システム１００の図である。通信システム１００は、複数の無線ユーザに音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツをもたらす、多元接続システムとすることができる。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じて、このようなコンテンツにアクセスすることを可能にすることができる。例えば通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、単一キャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）などの１つまたは複数のチャネルアクセス方法を使用することができる。

図１８Ａに示されるように通信システム１００は、無線送信／受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄ（これらは全体としてまたはまとめてＷＴＲＵ１０２と呼ばれることができる）、無線アクセスネットワーク（ＲＡＮ）１０３／１０４／１０５、コアネットワーク１０６／１０７／１０９、公衆交換電話ネットワーク（ＰＳＴＮ）１０８、インターネット１１０、および他のネットワーク１１２を含むことができるが、開示される実施形態は任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図することが理解されるであろう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのそれぞれは、無線環境において動作および／または通信するように構成された任意のタイプのデバイスとすることができる。例としてＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信および／または受信するように構成されることができ、ユーザ機器（ＵＥ）、移動局、固定またはモバイル加入者ユニット、ページャ、携帯電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、民生用電子機器などを含むことができる。

通信システム１００はまた、基地局１１４ａおよび基地局１１４ｂを含むことができる。基地局１１４ａ、１１４ｂのそれぞれは、コアネットワーク１０６／１０７／１０９、インターネット１１０、および／またはネットワーク１１２などの、１つまたは複数の通信ネットワークへのアクセスを容易にするように、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの少なくとも１つと無線でインターフェース接続するように構成された任意のタイプのデバイスとすることができる。例として基地局１１４ａ、１１４ｂは、基地トランシーバ局（ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータなどとすることができる。基地局１１４ａ、１１４ｂはそれぞれ単一の要素として示されるが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含むことができることが理解されるであろう。

基地局１１４ａはＲＡＮ１０３／１０４／１０５の一部とすることができ、これはまた基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなど、他の基地局および／またはネットワーク要素（図示せず）を含むことができる。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示せず）と呼ばれることができる特定の地理的領域内で、無線信号を送信および／または受信するように構成されることができる。セルは、セルセクタにさらに分割されることができる。例えば基地局１１４ａに関連付けられたセルは、３つのセクタに分割されることができる。従って一実施形態では基地局１１４ａは、３つのトランシーバ、例えばセルの各セクタに対して１つを含むことができる。他の実施形態では基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を使用することができ、従ってセルの各セクタに対して複数のトランシーバを利用することができる。

基地局１１４ａ、１１４ｂは、任意の適切な無線通信リンク（例えば無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）とすることができるエアインターフェース１１５／１１６／１１７を通して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１つまたは複数と通信することができる。エアインターフェース１１５／１１６／１１７は、任意の適切な無線アクセス技術（ＲＡＴ）を用いて確立されることができる。

より具体的には上記のように通信システム１００は、多元接続システムとすることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ−ＦＤＭＡなどの１つまたは複数のチャネルアクセス方式を使用することができる。例えばＲＡＮ１０３／１０４／１０５内の基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実施することができ、これは広帯域ＣＤＭＡ（ＷＣＤＭＡ）を用いてエアインターフェース１１５／１１６／１１７を確立することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／またはＥｖｏｌｖｅｄＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含むことができる。

他の実施形態では基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＥｖｏｌｖｅｄＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）などの無線技術を実施することができ、これはロングタームエボリューション（ＬＴＥ）および／またはＬＴＥ−Ａｄｖａｎｃｅｄ（ＬＴＥ−Ａ）を用いてエアインターフェース１１５／１１６／１１７を確立することができる。

他の実施形態では基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１６（例えばマイクロ波アクセス用世界規模相互運用性（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００１Ｘ、ＣＤＭＡ２０００ＥＶ−ＤＯ、暫定標準２０００（ＩＳ−２０００）、暫定標準９５（ＩＳ−９５）、暫定標準８５６（ＩＳ−８５６）、移動体通信用グローバルシステム（ＧＳＭ）、ＧＳＭ進化型高速データレート（ＥＤＧＥ）、ＧＳＭＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実施することができる。

図１８Ａの基地局１１４ｂは、例えば無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントとすることができ、事業所、ホーム、乗り物、キャンパスなどの局所的エリアにおける無線接続性を容易にするための、任意の適切なＲＡＴを利用することができる。一実施形態では基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実施して、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立することができる。他の実施形態では基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実施して、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立することができる。他の実施形態では基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、セルラベースのＲＡＴ（例えばＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａなど）を利用して、ピコセルまたはフェムトセルを確立することができる。図１８Ａに示されるように基地局１１４ｂは、インターネット１１０への直接接続を有することができる。従って基地局１１４ｂは、コアネットワーク１０６／１０７／１０９を経由してインターネット１１０にアクセスするように用いられなくてもよい。

ＲＡＮ１０３／１０４／１０５はコアネットワーク１０６／１０７／１０９と通信することができ、これは音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１つまたは複数にもたらすように構成された、任意のタイプのネットワークとすることができる。例えばコアネットワーク１０６／１０７／１０９は、呼制御、料金請求サービス、モバイル位置ベースのサービス、プリペイドコール、インターネット接続性、ビデオ配信などをもたらすことができ、および／またはユーザ認証などの高レベルセキュリティ機能を行うことができる。図１８Ａに示されないが、ＲＡＮ１０３／１０４／１０５および／またはコアネットワーク１０６／１０７／１０９は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを使用する他のＲＡＮと、直接または間接に通信できることが理解されるであろう。例えば、Ｅ−ＵＴＲＡ無線技術を利用することができるＲＡＮ１０３／１０４／１０５に接続されることに加えて、コアネットワーク１０６／１０７／１０９はまた、ＧＳＭ無線技術を使用する他のＲＡＮ（図示せず）とも通信することができる。

コアネットワーク１０６／１０７／１０９はまた、ＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするように、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのためのゲートウェイとして働くことができる。ＰＳＴＮ１０８は、従来型電話サービス（plain old telephone service）（ＰＯＴＳ）をもたらす回線交換電話ネットワークを含むことができる。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコル群における伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、およびインターネットプロトコル（ＩＰ）などの、共通通信プロトコルを用いる、相互接続されたコンピュータネットワークおよびデバイスの地球規模のシステムを含むことができる。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運用される有線もしくは無線通信ネットワークを含むことができる。例えばネットワーク１１２は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを使用することができる１つまたは複数のＲＡＮに接続された、他のコアネットワークを含むことができる。

通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１つまたは複数は、マルチモード能力を含むことができ、例えばＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンクを通して異なる無線ネットワークと通信するための複数のトランシーバを含むことができる。例えば図１８Ａに示されるＷＴＲＵ１０２ｃは、セルラベースの無線技術を使用することができる基地局１１４ａと、およびＩＥＥＥ８０２無線技術を使用することができる基地局１１４ｂと、通信するように構成されることができる。

図１８Ｂは、例示のＷＴＲＵ１０２のシステム図である。図１８Ｂに示されるようにＷＴＲＵ１０２は、プロセッサ１１８、トランシーバ１２０、送信／受信要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、非リムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、全地球測位システム（ＧＰＳ）チップセット１３６、および他の周辺装置１３８を含むことができる。ＷＴＲＵ１０２は、実施形態と一貫性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されるであろう。また実施形態は、基地局１１４ａおよび１１４ｂ、および／または非限定的に中でもトランシーバ局（ＢＴＳ）、ノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ホームノードＢ、進化型ホームノードＢ（ｅノードＢ）、ホーム進化型ノードＢ（ＨｅＮＢ）、ホーム進化型ノードＢゲートウェイ、およびプロキシノードなど基地局１１４ａおよび１１４ｂが表すことができるノードは、図１８Ｂに示され本明細書で述べられる要素の１つまたは複数を含むことができることを企図する。

プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連した１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、状態機械などとすることができる。プロセッサ１１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１０２が無線環境において動作することを可能にする任意の他の機能を行うことができる。プロセッサ１１８はトランシーバ１２０に結合されることができ、これは送信／受信要素１２２に結合されることができる。図１８Ｂはプロセッサ１１８およびトランシーバ１２０を別個の構成要素として示すが、プロセッサ１１８およびトランシーバ１２０は、電子回路パッケージまたはチップ内に一緒に一体化されることができることが理解されるであろう。

送信／受信要素１２２は、エアインターフェース１１５／１１６／１１７を通して、基地局（例えば基地局１１４ａ）に信号を送信し、またはそれから信号を受信するように構成されることができる。例えば一実施形態では送信／受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナとすることができる。他の実施形態では送信／受信要素１２２は、例えばＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された放射器／検出器とすることができる。他の実施形態では送信／受信要素１２２は、ＲＦおよび光信号の両方を送信および受信するように構成されることができる。送信／受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成されることができることが理解されるであろう。

さらに図１８Ｂでは送信／受信要素１２２は単一の要素として示されるが、ＷＴＲＵ１０２は任意の数の送信／受信要素１２２を含むことができる。より具体的にはＷＴＲＵ１０２は、ＭＩＭＯ技術を使用することができる。従って一実施形態ではＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７を通して無線信号を送信および受信するための、２つ以上の送信／受信要素１２２（例えば複数のアンテナ）を含むことができる。

トランシーバ１２０は、送信／受信要素１２２によって送信されることになる信号を変調するように、および送信／受信要素１２２によって受信された信号を復調するように構成されることができる。上記のようにＷＴＲＵ１０２は、マルチモード能力を有することができる。従ってトランシーバ１２０は、ＷＴＲＵ１０２が例えばＵＴＲＡおよびＩＥＥＥ８０２．１１などの複数のＲＡＴによって通信することを可能にするための、複数のトランシーバを含むことができる。

ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば液晶表示（ＬＣＤ）ディスプレイユニット、または有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合されることができ、それらからユーザ入力データを受け取ることができる。プロセッサ１１８はまたユーザデータを、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８に出力することができる。さらにプロセッサ１１８は、非リムーバブルメモリ１３０および／またはリムーバブルメモリ１３２などの任意のタイプの適切なメモリからの情報にアクセスし、それにデータを記憶することができる。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク、または任意の他のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカードなどを含むことができる。他の実施形態ではプロセッサ１１８は、サーバまたはホームコンピュータ（図示せず）上など、物理的にＷＴＲＵ１０２上に位置しないメモリからの情報にアクセスし、それにデータを記憶することができる。

プロセッサ１１８は、電源１３４から電力を受け取ることができ、ＷＴＲＵ１０２内の他の構成要素に対して電力を分配および／または制御するように構成されることができる。電源１３４は、ＷＴＲＵ１０２に電力供給するための任意の適切なデバイスとすることができる。例えば電源１３４は、１つまたは複数の乾電池（例えばニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉイオン）など）、太陽電池、燃料電池などを含むことができる。

プロセッサ１１８はまたＧＰＳチップセット１３６に結合されることができ、これはＷＴＲＵ１０２の現在の位置に関する位置情報（例えば経度および緯度）をもたらすように構成されることができる。ＧＰＳチップセット１３６からの情報に加えてまたはその代わりにＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７を通して基地局（例えば基地局１１４ａ、１１４ｂ）から位置情報を受信することができ、および／または２つ以上の近くの基地局から受信される信号のタイミングに基づいてその位置を決定することができる。ＷＴＲＵ１０２は、実施形態と一貫性を保ちながら、任意の適切な位置決定方法によって位置情報を取得できることが理解されるであろう。

プロセッサ１１８はさらに他の周辺装置１３８に結合されることができ、これはさらなる特徴、機能、および／または有線もしくは無線接続性をもたらす、１つまたは複数のソフトウェアおよび／またはハードウェアモジュールを含むことができる。例えば周辺装置１３８は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ（写真またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビ送受信機、ハンズフリーヘッドセット、ブルートゥース（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含むことができる。

図１８Ｃは、実施形態によるＲＡＮ１０３およびコアネットワーク１０６のシステム図である。上記のようにＲＡＮ１０３は、ＵＴＲＡ無線技術を使用して、エアインターフェース１１５を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信することができる。ＲＡＮ１０３はまた、コアネットワーク１０６と通信することができる。図１８Ｃに示されるようにＲＡＮ１０３は、ノードＢ１４０ａ、１４０ｂ、１４０ｃを含むことができ、これらはそれぞれ、エアインターフェース１１５を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１つまたは複数のトランシーバを含むことができる。ノードＢ１４０ａ、１４０ｂ、１４０ｃはそれぞれ、ＲＡＮ１０３内の特定のセル（図示せず）に関連付けられることができる。ＲＡＮ１０３はまた、ＲＮＣ１４２ａ、１４２ｂを含むことができる。ＲＡＮ１０３は、実施形態と一貫性を保ちながら、任意の数のノードＢおよびＲＮＣを含むことができることが理解されるであろう。

図１８Ｃに示されるようにノードＢ１４０ａ、１４０ｂは、ＲＮＣ１４２ａと通信することができる。さらにノードＢ１４０ｃは、ＲＮＣ１４２ｂと通信することができる。ノードＢ１４０ａ、１４０ｂ、１４０ｃは、Ｉｕｂインターフェースを経由して、それぞれＲＮＣ１４２ａ、１４２ｂと通信することができる。ＲＮＣ１４２ａ、１４２ｂは、Ｉｕｒインターフェースを経由して互いに通信することができる。ＲＮＣ１４２ａ、１４２ｂのそれぞれは、それが接続されるそれぞれのノードＢ１４０ａ、１４０ｂ、１４０ｃを制御するように構成されることができる。さらにＲＮＣ１４２ａ、１４２ｂのそれぞれは、外側ループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、データ暗号化などの他の機能を、実行またはサポートするように構成されることができる。

図１８Ｃに示されるコアネットワーク１０６は、メディアゲートウェイ（ＭＧＷ）１４４、モバイル交換局（ＭＳＣ）１４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）１４８、および／またはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）１５０を含むことができる。上記の要素のそれぞれはコアネットワーク１０６の一部として示されるが、これらの要素のいずれの１つも、コアネットワークオペレータ以外のエンティティによって所有および／または運用されることができることが理解されるであろう。

ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＣＳインターフェースを経由してコアネットワーク１０６内のＭＳＣ１４６に接続されることができる。ＭＳＣ１４６は、ＭＧＷ１４４に接続されることができる。ＭＳＣ１４６およびＭＧＷ１４４は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと陸線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。

ＲＡＮ１０３内のＲＮＣ１４２ａはまた、ＩｕＰＳインターフェースを経由してコアネットワーク１０６内のＳＧＳＮ１４８に接続されることができる。ＳＧＳＮ１４８は、ＧＧＳＮ１５０に接続されることができる。ＳＧＳＮ１４８およびＧＧＳＮ１５０は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。

上記のようにコアネットワーク１０６はまた、ネットワーク１１２に接続されることができ、これは他のサービスプロバイダによって所有および／または運用される他の有線もしくは無線ネットワークを含むことができる。

図１８Ｄは、実施形態によるＲＡＮ１０４およびコアネットワーク１０７のシステム図である。上記のようにＲＡＮ１０４は、Ｅ−ＵＴＲＡ無線技術を使用して、エアインターフェース１１６を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信することができる。ＲＡＮ１０４はまた、コアネットワーク１０７と通信することができる。

ＲＡＮ１０４はｅノードＢ１６０ａ、１６０ｂ、１６０ｃを含むことができるが、ＲＡＮ１０４は、実施形態と一貫性を保ちながら、任意の数のｅノードＢを含むことができることが理解されるであろう。ｅノードＢ１６０ａ、１６０ｂ、１６０ｃはそれぞれ、エアインターフェース１１６を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１つまたは複数のトランシーバを含むことができる。一実施形態ではｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実施することができる。従ってｅノードＢ１６０ａは、例えば複数のアンテナを用いてＷＴＲＵ１０２ａに無線信号を送信し、それから無線信号を受信することができる。

ｅノードＢ１６０ａ、１６０ｂ、１６０ｃのそれぞれは、特定のセル（図示せず）に関連付けられることができ、無線リソース管理決定、ハンドオーバ決定、アップリンクおよび／またはダウンリンクにおけるユーザのスケジューリングなどに対処するように構成されることができる。図１８Ｄに示されるようにｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェースを通して互いに通信することができる。

図１８Ｄに示されるコアネットワーク１０７は、モビリティ管理ゲートウェイ（ＭＭＥ）１６２、サービングゲートウェイ１６４、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイ１６６を含むことができる。上記の要素のそれぞれはコアネットワーク１０７の一部として示されるが、これらの要素のいずれの１つも、コアネットワークオペレータ以外のエンティティによって所有および／または運用されることができることが理解されるであろう。

ＭＭＥ１６２は、Ｓ１インターフェースを経由してＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃのそれぞれに接続されることができ、制御ノードとして働くことができる。例えばＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの初期アタッチ時に、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ベアラ活動化／非活動化、特定のサービングゲートウェイを選択することなどに対して責任をもつことができる。ＭＭＥ１６２はまた、ＲＡＮ１０４と、ＧＳＭまたはＷＣＤＭＡなどの他の無線技術を使用する他のＲＡＮ（図示せず）との間で切り換えるための、制御プレーン機能をもたらすことができる。

サービングゲートウェイ１６４は、Ｓ１インターフェースを経由してＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃのそれぞれに接続されることができる。サービングゲートウェイ１６４は一般に、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃへのまたはそれらからのユーザデータパケットを、経路指定および転送することができる。サービングゲートウェイ１６４はまた、ｅノードＢ間ハンドオーバ時にユーザプレーンをアンカリングすること、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのためのダウンリンクデータが使用可能であるときにページングをトリガすること、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストを管理および記憶することなどの他の機能を行うことができる。

サービングゲートウェイ１６４はまたＰＤＮゲートウェイ１６６に接続されることができ、これはＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。

コアネットワーク１０７は、他のネットワークとの通信を容易にすることができる。例えばコアネットワーク１０７は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと陸線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。例えばコアネットワーク１０７は、コアネットワーク１０７とＰＳＴＮ１０８との間のインターフェースとして働くＩＰゲートウェイ（例えばＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができ、またはそれと通信することができる。さらにコアネットワーク１０７は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにネットワーク１１２へのアクセスをもたらすことができ、これは他のサービスプロバイダによって所有および／または運用される他の有線もしくは無線ネットワークを含むことができる。

図１８Ｅは、実施形態によるＲＡＮ１０５およびコアネットワーク１０９のシステム図である。ＲＡＮ１０５は、ＩＥＥＥ８０２．１６無線技術を使用して、エアインターフェース１１７を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信する、アクセスサービスネットワーク（ＡＳＮ）とすることができる。以下でさらに論じられるように、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、ＲＡＮ１０５、およびコアネットワーク１０９の異なる機能エンティティの間の通信リンクは、基準点として定義されることができる。

図１８Ｅに示されるようにＲＡＮ１０５は、基地局１８０ａ、１８０ｂ、１８０ｃ、およびＡＳＮゲートウェイ１８２を含むことができるが、ＲＡＮ１０５は実施形態と一貫性を保ちながら、任意の数の基地局およびＡＳＮゲートウェイを含むことができることが理解されるであろう。基地局１８０ａ、１８０ｂ、１８０ｃはそれぞれＲＡＮ１０５内の特定のセル（図示せず）に関連付けられることができ、それぞれエアインターフェース１１７を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１つまたは複数のトランシーバを含むことができる。一実施形態では基地局１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実施することができる。従って基地局１８０ａは、例えば複数のアンテナを用いてＷＴＲＵ１０２ａに無線信号を送信し、それから無線信号を受信することができる。基地局１８０ａ、１８０ｂ、１８０ｃはまた、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、サービス品質（ＱｏＳ）ポリシー実施などの、モビリティ管理機能をもたらすことができる。ＡＳＮゲートウェイ１８２は、トラフィック集約ポイントとして働くことができ、ページング、加入者プロファイルのキャッシング、コアネットワーク１０９への経路指定などに対して責任をもつことができる。

ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＲＡＮ１０５との間のエアインターフェース１１７は、ＩＥＥＥ８０２．１６仕様を実施するＲ１基準点として定義されることができる。さらにＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのそれぞれは、コアネットワーク１０９との論理インターフェース（図示せず）を確立することができる。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとコアネットワーク１０９との間の論理インターフェースは、Ｒ２基準点として定義されることができ、これは認証、認可、ＩＰホスト構成管理、および／またはモビリティ管理のために用いられることができる。

基地局１８０ａ、１８０ｂ、１８０ｃのそれぞれの間の通信リンクは、基地局間のＷＴＲＵハンドオーバおよびデータの転送を容易にするためのプロトコルを含むＲ８基準点として定義されることができる。基地局１８０ａ、１８０ｂ、１８０ｃとＡＳＮゲートウェイ１８２との間の通信リンクは、Ｒ６基準点として定義されることができる。Ｒ６基準点は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのそれぞれに関連付けられたモビリティイベントに基づくモビリティ管理を容易にするためのプロトコルを含むことができる。

図１８Ｅに示されるようにＲＡＮ１０５は、コアネットワーク１０９に接続されることができる。ＲＡＮ１０５とコアネットワーク１０９との間の通信リンクは、例えばデータ転送およびモビリティ管理能力を容易にするためのプロトコルを含む、Ｒ３基準点として定義されることができる。コアネットワーク１０９は、モバイルＩＰホームエージェント（ＭＩＰ−ＨＡ）１８４、認証、認可、アカウンティング（ＡＡＡ）サーバ１８６、およびゲートウェイ１８８を含むことができる。上記の要素のそれぞれはコアネットワーク１０９の一部として示されるが、これらの要素のいずれの１つも、コアネットワークオペレータ以外のエンティティによって所有および／または運用されることができることが理解されるであろう。

ＭＩＰ−ＨＡは、ＩＰアドレス管理に対して責任をもつことができ、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃが、異なるＡＳＮおよび／または異なるコアネットワークの間でローミングすることを可能にすることができる。ＭＩＰ−ＨＡ１８４は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。ＡＡＡサーバ１８６は、ユーザ認証に対して、およびユーザサービスをサポートすることに対して責任をもつことができる。ゲートウェイ１８８は、他のネットワークとの相互動作を容易にすることができる。例えばゲートウェイ１８８は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと陸線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。さらにゲートウェイ１８８はＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにネットワーク１１２へのアクセスをもたらすことができ、これは他のサービスプロバイダによって所有および／または運用される他の有線もしくは無線ネットワークを含むことができる。

図１８Ｅに示されないが、ＲＡＮ１０５は他のＡＳＮに接続されることができ、コアネットワーク１０９は他のコアネットワークに接続されることができることが理解されるであろう。ＲＡＮ１０５他のＡＳＮとの間の通信リンクは、Ｒ４基準点として定義されることができ、これはＲＡＮ１０５と他のＡＳＮとの間のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのモビリティを協調させるためのプロトコルを含むことができる。コアネットワーク１０９と他のコアネットワークとの間の通信リンクは、Ｒ５基準として定義されることができ、これはホームコアネットワークと訪問先のコアネットワークとの間の相互動作を容易にするためのプロトコルを含むことができる。

コンテンツ内の芸術的意図の表現を維持する、芸術的意図をベースとするコンテンツ符号化のためのシステム、方法、および手段が開示された。芸術的意図の表現は識別され（例えばシグナリングまたはコンテンツ分析によって）、芸術的意図位置Ｐ_ARTおよび芸術的意図特性Ｃ_ARTのセットとして表現される。芸術的意図特性Ｃ_ARTは、芸術的意図位置Ｐ_ARTを識別するためにシグナリングされ用いられることができる。芸術的意図維持符号化および処理は、特性Ｃ_ARTを維持するために、サンプル位置Ｐ_ARTに適用されることができる。符号化ユーザインターフェースは、ユーザが芸術性セット（例えばＰ_ARTおよび／またはＣ_ART）を指定し、忠実度強化、ＱＰ調整値および／または後処理などの芸術性セットに関連付けられた、画素および／またはブロックの処置を選択および／または構成することを可能にすることができる。コンテンツ優先度または重要度レベルは、コンテンツ符号化、配信、処理、および／またはエラー回復性／ロバスト性における異なる（例えば強化されたまたは低減された）処置のレベルに対して、コンテンツの微細（例えば画素、サンプル）および／または粗大（例えばブロック）レベルにおいて、暗示的および／または明示的に示されることができる。

本明細書では用語、画素、サンプル、サンプル値および／または同様のものが用いられる場合があるが、このような用語の使用は同義的に用いられることができ、従って区別できないことが理解されることができ、理解されるべきである。

同様に本明細書では用語、特性、特性セット、芸術的意図の特性、および／または同様のものが用いられる場合があるが、このような用語の使用は同義的に用いられることができ、従って区別できないことが理解されることができ、理解されるべきである。

特徴および要素は上記では特定の組み合わせにおいて述べられたが、当業者は、各特徴または要素は単独で、または他の特徴および要素との任意の組み合わせにおいて用いられることができることを理解するであろう。さらに本明細書で述べられる方法は、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれた、コンピュータプログラム、ソフトウェア、またはファームウェアにおいて実施されることができる。コンピュータ可読媒体の例は、電子信号（有線または無線接続を通して送信される）、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ−ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含むが、それらに限定されない。ＷＴＲＵ、ＵＥ、端末装置、基地局、ＲＮＣ、または任意のホストコンピュータにおける使用のための無線周波数トランシーバを実施するように、ソフトウェアに関連してプロセッサが用いられることができる。

Claims

芸術的意図に対応する特性値のセットを受信するステップと、
コンテンツ内のサンプル値に関連付けられたサンプル位置に対する特性を計算するステップと、
前記計算された特性および前記受信された特性値のセットに基づいて、前記サンプル位置が、前記コンテンツ内の芸術的意図サンプル位置に対応するかどうかを決定するステップであって、前記サンプル位置は、前記計算された特性が前記受信された特性値のセットに属するとき、前記芸術的意図サンプル位置に対応する、ステップと、
前記計算された特性が前記受信された特性のセットに属するか属さないかの前記決定に基づいて、前記サンプル位置が前記芸術的意図サンプル位置に属するかどうかのインジケーションを出力するステップと
を含む方法。
前記サンプル値は予測されたサンプル値を備え、前記サンプル位置が前記コンテンツ内の芸術的意図サンプル位置に対応するかどうかは、前記サンプル位置における前記予測されたサンプル値を用いて決定される請求項１に記載の方法。
前記サンプル値は復元されたサンプル値を備え、前記サンプル位置が前記コンテンツ内の芸術的意図サンプル位置に対応するかどうかは、前記サンプル位置における前記復元されたサンプル値を用いて決定される請求項１に記載の方法。
前記復元されたサンプル値は、インループフィルタリングの前またはインループフィルタリングの後において、前記サンプル位置が前記芸術的意図サンプル位置に対応するかどうかを決定するために、用いられるように構成される請求項３に記載の方法。
前記インジケーションが、前記サンプル位置が前記芸術的意図サンプル位置に属すること、または前記サンプル位置が芸術的意図サンプル位置に対応することを示すとき、前記サンプル位置に芸術性維持エンコーディングまたは復号を適用するステップと、
前記インジケーションが、前記サンプル位置が前記芸術的意図サンプル位置に属さないこと、または前記サンプル位置が芸術的意図サンプル位置に対応しないことを示すとき、前記サンプル位置に非芸術性維持エンコーディングまたは復号を適用するステップと、
をさらに含む請求項１に記載の方法。
芸術的意図に対応する特性値の前記セットに関連付けられた重要度レベルを示すまたは検出するステップ
をさらに含む請求項１に記載の方法。
芸術的意図に対応する特性値の前記セットに関連付けられ重要度レベルに基づいて、前記サンプル位置に関連付けられた前記サンプル値に、エンコーディング、復号、配信、処理およびエラー回復性の少なくとも１つにおいて、異なるレベルの処置を適用するステップ
をさらに含む請求項１に記載の方法。
符号化ユーザインターフェースを用いて、前記コンテンツ内の前記芸術的意図の表現を示し、芸術的意図の前記表現に関連付けられた前記コンテンツ内の前記サンプル値に関連付けられた前記サンプル位置の処置を構成するステップ
をさらに含む請求項１に記載の方法。
前記構成された処置は、芸術的意図の前記表現に関連付けられた前記コンテンツに対する忠実度強化およびＱＰ調整値の１つまたは複数を含む請求項８に記載の方法。
前記コンテンツのブロックをさらに備え、前記コンテンツの前記ブロック内の芸術的意図を表現する特性の前記セットの特性を有するサンプルの量または百分率は、芸術性または非芸術性維持エンコーディングまたは復号を前記コンテンツの前記ブロックに適用するかどうかを決定するために、閾値と比較されるように構成される請求項１に記載の方法。
請求項１乃至１０のいずれか一項に記載の方法を行うように構成されたプロセッサを備えるデバイス。
請求項１乃至１０のいずれか一項に記載の方法を行うための、複数のコンピュータ実行可能命令が記憶されたコンピュータ可読記憶媒体。
芸術的意図を表現する特性のセット内のメンバ特性に対する特性のタイプを受信するステップと、
特性の前記セット内の前記メンバ特性が１次元であるか２次元であるかを、前記メンバ特性に対して受信された特性の前記対応するタイプに基づいて決定するステップと、
前記決定に基づいて前記メンバ特性が１次元であるときは、端点を用いた前記メンバ特性に対する特性の前記タイプの範囲を、または前記決定に基づいて前記メンバ特性が２次元であるときは、前記メンバ特性に対する特性の前記タイプの多角形表示を受信するステップと
を含む方法。
芸術的意図を表現する特性のセット内のメンバ特性の総数を受信するステップ
をさらに含む請求項１３に記載の方法。
特性の前記セット内のメンバ特性の前記総数内の他のメンバ特性のそれぞれに対する特性のタイプを受信するステップと、
特性の前記セット内の前記他のメンバ特性のそれぞれが１次元であるか２次元であるかを、前記メンバ特性に対して受信された特性の前記対応するタイプに基づいて決定するステップと、
前記決定に基づいて前記それぞれの他のメンバ特性が１次元であるときは、端点を用いた前記他のメンバ特性のそれぞれに対する特性のタイプの範囲を、または前記決定に基づいて前記それぞれのメンバ特性が２次元であるときは、前記他のメンバ特性のそれぞれに対する特性の前記タイプの多角形表示を受信するステップと
をさらに含む請求項１４に記載の方法。
特性の前記タイプは、輝度、色度、深度、空間的位置、エッジ方向、エッジ強度、テクスチャ属性または分類、またはオーディオ属性または効果の１つまたは複数を備える請求項１３に記載の方法。
請求項１３乃至１６のいずれか一項に記載の方法を行うように構成されたプロセッサを備えるデバイス。
請求項１３乃至１６のいずれか一項に記載の方法を行うための、複数のコンピュータ実行可能命令が記憶されたコンピュータ可読記憶媒体。