JP2018524850A - ピクセルの処理およびエンコーディング - Google Patents

Abstract

複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理する方法が、ピクチャ内の処理対象のピクセルを識別することを含み、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。この方法は、ピクセルの少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理することも含む。この方法は、特定の状況において、エンコーディングのコストを削減するが、視覚的品質に大きい影響を与えないようにするために、特定の色成分の選択的なノイズ除去を実現する。【選択図】図１

Description

本実施形態は、ピクチャ内のピクセルの処理およびエンコーディングに一般に関し、知覚品質を大幅に低下させることなくエンコーディングの効率を改善する処理およびエンコーディングに特に関する。

高度に非線形な伝達関数、４：２：０または４：２：２のサブサンプリング、および一定でない輝度の順序の組み合わせが、飽和色、すなわち色域の境界に近い色の値でひどいアーチファクトを引き起こす。輝度が類似する２つの色の間の変化が、非常に異なる輝度を持つ再構成画像またはピクチャをもたらす可能性がある例が、付録Ｂで説明されている。

この問題を回避するための１つの方法は、エンコーディングでルマ値Ｙ’ならびにクロマ値Ｃｂ’およびＣｒ’を使用せず、代わりに何らかの他の色表現を使用することである。しかし、Ｙ’Ｃｂ’Ｃｒ’以外の色表現が十分に圧縮されないことが示されている。一例として、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）がＹｄＺｄＸを試みたが、圧縮効率はＹ’Ｃｂ’Ｃｒ’に対して優位とならなかった。

さらに、多くのシステムが、ディスプレイへの信号の最後のステップに、すでにＹ’Ｃｂ’Ｃｒ’またはＲ’Ｇ’Ｂ’を使用している。一例として、ＨＤＭＩ（高精細度マルチメディアインターフェイス）規格が最近、セットトップボックスからＴＶへの画像の送信のために、ＣＥＡ−８６１．３［４］で指定されているように、ＳＴ ２０８４を使用するＹ’Ｃｂ’Ｃｒ’ ４：２：０の使用を採用した。これは、エンコーディングが何らかの他の色表現で実行された場合でも、復号後に、アーチファクトを引き起こすＹ’Ｃｂ’Ｃｒ’ ４：２：０に変換することがさらに必要になることを意味する。この変換を正しく実行することは、残りの復号チェーンと比較した場合に、非常に複雑になる可能性があり、一方、同じことをエンコーダで行うことは、相対的に言って、それほど高価にならない。これは、エンコーディングがすでに復号よりも非常に複雑だからである。したがって、エンコーダで前もってＹ’Ｃｂ’Ｃｒ’への高品質な変換を行っておくことが望ましい。これらの理由により、ＨＤＲ（ハイダイナミックレンジ）データのエンコーディングにＹ’Ｃｂ’Ｃｒ’表現を使用できることは有利である。

この問題に対処するためのさらに別の方法は、単に、色域の境界の使用を確実に避けることである。ただしこれは、再現できる色の種類を厳しく制限するため、良い解決策ではない。

この問題の別の解決策は、ＢＴ．１８８６などの急峻性が低い（つまり、非線形性が少ない）伝達関数を使用することである。しかし、このアプローチに伴う問題は、バンディングアーチファクトを避けるために、ピクセルの各色成分の表現に、さらに多くのビットが必要になることである。あるいは、同じ数のビットを使用することもできるが、最大明度が制限される。

したがって、前述した問題の少なくとも一部を克服し、前述した解決策の欠点を持たない、ビデオシーケンスのピクチャ内のピクセルの効率的な処理が必要である。

ビデオシーケンスのピクチャ内のピクセルの改善された処理を提供することが、全般的な目的である。

実施形態の態様は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理する方法に関する。この方法は、ピクチャ内の処理対象のピクセルを識別することを含み、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。この方法は、ピクセルの少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理することも含む。

実施形態の別の態様は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理するためのデバイスに関する。このデバイスは、ピクチャ内の処理対象のピクセルを識別するように設定され、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。このデバイスは、ピクセルの少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理するようにも設定される。

実施形態のさらに別の態様は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理するためのデバイスに関する。このデバイスは、ピクチャ内の処理対象のピクセルを識別するための決定ユニットを備え、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。このデバイスは、ピクセルの少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理するためのピクセルプロセッサも備える。

実施形態のさらに別の態様は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルをエンコードするためのデバイスに関する。このデバイスは、ピクチャ内の処理対象のピクセルを識別するための決定ユニットを備え、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。このデバイスは、色の線形表現における少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理するためのピクセルプロセッサも備える。このデバイスは、ピクセルの色の線形表現を色の非線形表現に変換するためのコンバータをさらに備える。このデバイスは、色の非線形表現をエンコードするためのエンコーダをさらに備える。

実施形態のさらに別の態様は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルをエンコードするためのデバイスに関する。このデバイスは、プロセッサおよびプロセッサによって実行される命令を含むメモリを備える。このプロセッサは、ピクチャ内の処理対象のピクセルを識別するように機能し、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。このプロセッサは、色の線形表現における少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理するようにも機能する。このプロセッサは、ピクセルの色の線形表現を色の非線形表現に変換するようにさらに機能する。プロセッサは、色の非線形表現をエンコードするようにさらに機能する。

実施形態の追加の態様は、命令を含むコンピュータプログラムに関し、この命令は、プロセッサによって実行された場合に、プロセッサに複数のピクチャを含むビデオシーケンスのピクチャ内の処理対象のピクセルを識別させ、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。このプロセッサは、ピクセルの少なくとも１つの色成分の値を修正することによって、識別されたピクセルの処理も行う。

実施形態の関連する態様は、上記に従うコンピュータプログラムを含むキャリアを規定する。このキャリアは、電子信号、光信号、電磁信号、磁気信号、電気信号、無線信号、マイクロ波信号、またはコンピュータ可読記憶媒体のうちの１つである。

実施形態のさらに別の態様は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルのエンコードされたバージョンを表す信号に関する。エンコードされたバージョンは、いずれかの実施形態に従って、ピクセルの色のエンコードされた非線形表現を含む。

実施形態の処理は、規定された基準を満たす色を持っているピクセルの色成分の選択されたノイズ除去を達成する。このノイズ除去によって、より安価にエンコードできるが、肉眼では元のピクセル（すなわち、ノイズ除去を行っていないピクセル）との目に見える差がないピクセルの色表現が得られる。

実施形態および実施形態の詳細な目的および利点は、行われる以下の説明を添付の図面と共に参照して、最も良く理解することができる。

実施形態に記載されたピクチャ内のピクセルを処理する方法を示すフローチャートである。 図１内の識別ステップの実施形態を示すフローチャートである。 別の実施形態に記載されたピクチャ内のピクセルを処理する方法を示すフローチャートである。 図１内の処理ステップの実施形態を示すフローチャートである。 図１内の処理ステップの別の実施形態を示すフローチャートである。 図１内の処理ステップのさらに別の実施形態を示すフローチャートである。 実施形態に記載されたピクセルをエンコードする方法を形成するための、図１に示された方法の追加ステップを示すフローチャートである。 元の画像のトーンマッピングされたバージョン（Ａ）、詳細を明らかにするためにＰＱ（．）で処理された線形輝度Ｙ（Ｂ）、ｕ’（Ｃ）、およびｖ’（Ｄ）を示す図である。 画像のＲ’Ｇ’Ｂ’バージョン（すなわち、非線形ＰＱ（．）関数を各成分に適用した後）（Ａ）、Ｙ’成分（Ｂ）、Ｃｂ’（Ｃ）、およびＣｒ’（Ｄ）を示す図である。 図９Ｂ内のＹ’と同じＹ’（Ａ）、サブサンプリングされたＣｂ’成分（Ｂ）、サブサンプリングされたＣｒ’成分（Ｃ）、および得られた画像のトーンマッピングされたバージョン（Ｄ）を示す図である。 アンカー画像のＰＱ（Ｙ）（Ａ）、ｕ’成分（Ｂ）、およびｖ’成分（Ｃ）を示す図である。 付録ＡのＡｊｕｓｔｙ手法を使用して補正されたＹ’（Ａ）、Ｃｂ’成分（Ｂ）、Ｃｒ’成分（Ｃ）、ＰＱ（Ｙ）、および得られた画像のトーンマッピングされたバージョン（Ｅ）を示す図である。 関数ＰＱ（ｘ）のプロットを示す図である。 シンプルな疑似コードを使用して識別された問題領域を示す図である。 ブラーリングする前の緑色成分（ＰＱ（Ｇ））（Ａ）、ブラーリング後（Ｂ）、および元のバージョンおよびブラーリングされたバージョンの間で選択した場合に得られる画像（Ｃ）を示す図である。 元の（トーンマッピングされた）画像（Ａ）、提案されたフィルタリングを使用した画像（Ｂ）、付録ＡのＡｊｕｓｔｙ手法を使用した画像（Ｃ）、および提案されたフィルタリングを使用した後に付録ＡのＡｊｕｓｔｙ手法を使用した画像（Ｄ）を示す図である。 付録ＡのＡｊｕｓｔｙ手法のＣｂ’（Ａ）、付録ＡのＡｊｕｓｔｙ手法のＣｒ’（Ｂ）、提案された方式のＣｂ’（Ｃ）、および提案された方式のＣｒ’（Ｄ）を示す図である。 付録ＡのＡｊｕｓｔｙ手法を使用したＹ’成分（Ａ）、および提案された方式を使用した後に付録ＡのＡｊｕｓｔｙ手法を使用したＹ’成分（Ｂ）を示す図である。 トーンマッピングされた元の画像（Ａ）、トーンマッピングされたアンカー画像（Ｂ）、および不安定なピクセル（すなわち、第１のケースのピクセル）に関する、４ステップを超えてＰＱ（Ｙ）にもｕ’ｖ’にも影響を与えないＧを含むピクセルにわたるＧの平均化（Ｃ）を示す図である。 一実施形態に記載された方法を示すフローチャートである。 実施形態に記載されたデバイスまたはコンバータのハードウェア実装の概略図である。 プロセッサおよびメモリを含む実施形態に記載されたデバイスまたはコンバータの実装の概略図である。 実施形態に記載されたユーザ機器の概略図である。 機能モジュールを含む実施形態に記載されたデバイスの実装の概略図である。 複数のネットワークデバイスに分散された実施形態の実装を示す概略図である。 実施形態に記載された、１つまたは複数のクラウドベースネットワークデバイスを含むワイヤレス通信システムの例の概略図である。 補正されたＹ’を導き出す実施形態を示す図である。 異なる色領域内に異なる線形化が存在できることを示す図である。 コントラスト感度のＢａｒｔｅｎの曲線を示す図である。 Ｒｅｃ７０９色域とＢＴ．２０２０色域の比較を示す図である。

図面全体を通じて、類似する要素または対応する要素には同じ参照番号が使用されている。

本実施形態は、ピクチャ内のピクセルの処理およびエンコーディングに一般に関し、知覚品質を大幅に低下させることなくエンコーディングの効率を改善する処理およびエンコーディングに特に関する。

従来のエンコーディングチェーンは、入力線形ＲＧＢ光のピクセル（通常は、０〜１０，０００ｃｄ／ｍ^２の範囲）を逆伝達関数に供給し、０〜１の範囲の新しいピクセル値を得ることを含む。その後、ピクセルに対して色変換が実行され、ルマ成分Ｙ’および２つのクロマ成分Ｃｂ’、Ｃｒ’が得られる。次に、２つのクロマ成分が（４：２：０または４：２：２などに）サブサンプリングされる。復号後に、４：２：０シーケンスまたは４：２：２シーケンスが４：４：４にアップサンプリングされ、逆色変換され、最終的に伝達関数が、モニタに出力できる線形光のピクセルを返す。

色空間または色領域とは、色モデルの色成分の組み合わせから生じる色の種類および数のことである。色モデルは、色を数値のタプル（すなわち、色成分）として表現できる方法を表す抽象的構造である。色成分は、成分の種類（例えば色相）、成分の単位（例えば度またはパーセンテージ）、またはスケールの種類（例えば線形または非線形）、および色深度またはビット深度と呼ばれる成分の値の意図された数などの、複数の際立った特徴を備えている。

ピクチャ内およびビデオ内のピクセルに一般に使用される色空間の例は、赤、緑、青（ＲＧＢ）色空間、ルマ、クロマブルー、およびクロマレッド（ＹＣｂＣｒ、あるいはＹ’ＣｂＣｒ、Ｙ’Ｃｂ’Ｃｒ’、ＹＣ_ＢＣ_Ｒ、Ｙ’Ｃ_ＢＣ_Ｒ、またはＹ’Ｃ_Ｂ’Ｃ_Ｒ’と示される場合もある）色空間、ならびに輝度およびクロミナンス（ＸＹＺ）色空間を含むが、これらに限定されない。

本明細書では、以下の用語が使用される。

ＲＧＢ：線形ＲＧＢ値。各値は、ｃｄ／ｍ^２（「光子の数」）に比例する。

ＸＹＺ：線形ＸＹＺ値。各値は、ＲＧＢの線形結合である。Ｙは輝度と呼ばれ、大ざっぱに言うと目が「明るさ」として知覚するものを良く反映し、ＸＺはクロミナンスを含む。ＸＹＺはＣＩＥ １９３１色空間と呼ばれる場合がある。

ＰＱ（Ｙ）：非線形関数ＰＱ（．）が線形輝度Ｙに適用された、非線形表現。非線形関数の例は、知覚的量子化器（ＰＱ）である。この関数の逆数が式Ａ１で規定されている。ＰＱ（Ｙ）をＹ’と混同するべきではない。ＰＱ（．）はＢａｒｔｅｎの曲線に基づいているため、ＰＱ（Ｙ）における小さいステップは、知覚される輝度における小さいステップに相当する。

Ｒ’Ｇ’Ｂ’：非線形ＲＧＢ値。Ｒ’＝ＰＱ（Ｒ）、Ｇ’＝ＰＱ（Ｇ）、Ｂ’＝ＰＱ（Ｂ）。

Ｙ’Ｃｂ’Ｃｒ’：各値がＲ’、Ｇ’、およびＢ’の線形結合である、非線形表現。Ｙ’は「ルマ」と呼ばれ、Ｃｂ’およびＣｒ’は総称して「クロマ」と呼ばれる。これは、Ｙ’を輝度から区別するためであり、Ｙ’がクロミナンスの一部も含み、Ｃｂ’およびＣｒ’が輝度の一部も含むからである。

ＩＣｔＣｐ：ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＧＣ）ピクチャ表現用に設計された色の表現であり、Ｙ’Ｃｂ’Ｃｒ’の代替になることが意図されている。Ｉは強度を表し、ルマ情報の表現であり、一方、ＣｔＣｐはクロマ情報を持っている。

ｘｙ：ＸＹＺから導き出されるクロミナンスの非線形表現。これは、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）を使用して「明るさ」に対して正規化されるため、非線形である。単色レーザは、どのような強度を持っていようと、常にｘｙ内の同じ座標を持つ。つまり、ｘｙはクロミナンスの良い尺度になる。

ｕ’ｖ’：クロミナンスの非線形表現（すなわち、ｘｙの非線形関数）。これは、より知覚的に均一なはずである。つまり、ｕ’ｖ’における小さいステップは、クロミナンスの値にかかわらず、同じように知覚可能である。ｘｙの場合と同様に、単色レーザは、どのような強度を持っていようと、常に同じｕ’ｖ’座標を持つ。

ＰＱ（Ｙ）ｘｙおよびＰＱ（Ｙ）ｕ’ｖ’：ＰＱ（Ｙ）がすべての輝度を含み、ｘｙまたはｕ’ｖ’がすべてのクロミナンスを含む色の表現。ＰＱ（Ｙ）からＹを抽出することができ、Ｙ、ｘ、およびｙ、またはＹ、ｕ’およびｖ’から、ＲＧＢに変換できるＸＹＺを抽出することができる。

ＬｏｇＬｕｖ：知覚的に均一な色空間を提供するために、輝度Ｙの対数および（ｕ’，ｖ’）色度座標（対数を使用しない）を使用する。

本実施形態は、ピクセルの色の非線形表現（Ｃｂ’およびＣｒ’など）における大きすぎる変動を防ぐための技術を、ルマ値Ｙ’を変更して輝度を補正することに対する代替案として、またはそのように補正することと組み合わせて提案する。ほとんどの場合、Ｃｂ’およびＣｒ’の変動は、エンコードされた可視信号を反映しているため、望ましい。しかし一部の環境では、Ｃｂ’およびＣｒ’における変動は、視覚的に気付くことができる変化を反映しない。そのような場合、より安価に符号化できるＣｂ’Ｃｒ’信号を両方に与えて、この変動を除去することができる。これは、変動が少ないことが、エンコーディング処理中のビットが少ないことを意味しており、実際の信号との違いを見分けることが不可能であり、やはりより安価に符号化できるＹ’を発生させるからである。

これが可能になる理由は、コンテンツを表現するために選択された信号空間（Ｙ’Ｃｂ’Ｃｒ’またはＩＣｔＣｐなど）と、人間の視覚系が知覚することができる信号空間（恐らくＢａｒｔｅｎのような伝達関数ＰＱ（Ｙ）の後の線形輝度Ｙ、および固定されたクロミナンスｘｙ、あるいは代替としてｕ’ｖ’など）との間の高度に非線形な依存関係である。簡単に言えば、データをＹ’Ｃｂ’Ｃｒ’またはＩＣｔＣｐとして表現するが、データを例えばＰＱ（Ｙ）ｕ’ｖ’として見ると言うことができる。

非線形関数の特徴は、入力における小さい変動が出力において大きい変動を生むことができ、その逆も可能であることである。ここでは、このことが確かに当てはまる。場合によっては、人間の視覚系が見ることができる変数（ＰＱ（Ｙ）ｕ’ｖ’など）における非常に小さい変動は、表現に使用される信号（Ｙ’Ｃｂ’Ｃｒ’）における大きい変動を引き起こす。そのような場合、ＰＱ（Ｙ）ｕ’ｖ’における小さい変動を除去することによって、著しく変動せず、したがってエンコードされた信号表現を表すために必要なビット数に関してより安価に符号化できる信号表現Ｙ’Ｃｂ’Ｃｒ’を取得することができる。当然、小さい目に見えない変動を除去することは、視覚的品質に影響を与えない。つまり、より安価なビットコストが視覚的な劣化につながらないことである。

一例として、色チャネルまたは色成分のうちの１つが他の２つよりも非常に低い場合、そのチャネルにおける変動が少なくなるように、そのチャネルをフィルタリングすることができる。一部のピクセルが線形色（Ｒ，Ｇ，Ｂ）＝（１０００，０．１，１００）を持ち、他のピクセルが（Ｒ，Ｇ，Ｂ）＝（１０００，０．２，１００）を持っている領域が存在すると仮定する。その場合、すべてのピクセルが代わりに値（Ｒ，Ｇ，Ｂ）＝（１０００，０．１５，１００）を取得するように、強力な平均化フィルタを緑色（Ｇ）成分に適用することができる。人間の視覚系は、元のピクチャと、フィルタリングされた緑色成分を含む処理済みのピクチャとの間の差を見分けることができないが、処理済みのピクチャは、非常に安価に符号化することができる。

後で説明されるように、変動を少なくすること（すなわち、ノイズ除去）が好ましいピクセルは、多くの場合、色域の境界に沿って存在している。

特定の状況において特定の色成分のノイズを除去することによって、非常に安価にエンコードできるが、肉眼では元の（すなわち、ノイズが除去されていない）表現と見分けることができない表現を取得できることは、有利である。

したがって実施形態は、第１のケースにおいて、ピクセルの色間の差が見えないか、または見ることが難しい場合に、それらの差を除去し、一方、第２のケースにおいて、色の差が見える場合に、それらの差を維持するような方法で、元の信号を処理する。そうすることによって、第１のケースにおいて、ピクセルの色のＹ’Ｃｂ’Ｃｒ’表現は、変動が少ないか、または全く変動せず、符号化するために必要なビットが少なくなるか、またはなくなり、その変動は見えなくなるか、または見ることが難しくなり、一方、第２のケースにおいて、ピクセルの色のＹ’Ｃｂ’Ｃｒ’表現は変動し、その変動は実際に見えるようになる。

理想的には、輝度またはクロミナンスのいずれかにおいて差が見えなくなるべきである。その場合にのみ、視覚的アーチファクトのリスクがなく、データを変更することが安全になる。ただし、通常、輝度における変化は、クロミナンスにおける変化よりも悪い。そのため、場合によっては、少なくとも輝度における差を見えなくする必要がある。

第１のケースにおける差は、他の成分のうちの少なくとも１つがゼロから遠い場合に、いずれにしても見ることができず、エンコーディング中に問題を引き起こす可能性のあるＹ’Ｃｂ’Ｃｒ’における変動性を防ぐために、成分の変動性を０近くに減らすことによって除去される。

図１は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理する方法を示すフローチャートである。この方法は、ステップＳ１において、ピクチャ内の処理対象のピクセルを識別することを含む。ステップＳ１において、ステップＳ２での処理対象のピクセルとして識別されるピクセルは、２つの基準を満たすピクセルである。第一に、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。第二に、ピクセルの線形表現における変動が、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動をもたらす。ステップＳ１において処理対象のピクセルが識別された場合、方法はステップＳ２に進む。このステップＳ２は、ピクセルの少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理することを含む。

それによって、ステップＳ１は、ピクチャ内のピクセルを識別することを含み、ステップＳ１において、そのようなピクセルの色の線形表現における小さい（すなわち、第１のしきい値よりも小さい）変化または変動が、色の非線形表現における比較的大きい（すなわち、第２のしきい値よりも大きい）変化または変動をもたらすが、色の線形表現における変化または変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における得られた変化または変動によって評価されるように、視覚的品質に悪影響を与えない（すなわち、好ましくは、人間の視覚系によって見ることができない）。

したがって、ステップＳ１において識別されたピクセルは、人間の目で見ることが難しい方法で変動できるが、非線形表現において大きい変動を生むことができる線形色表現を持っているピクセルである。その後、そのようなピクセルは、ステップＳ２において、そのような変動性を除去するか、または少なくとも減らし、それによって、識別されたピクセルがステップＳ２で処理されない場合よりも少ないビットを使用してピクセルをエンコーディングできることを意味する方法で処理される候補になる。

ピクセルの色の線形表現は、好ましくは色のＲＧＢ表現（すなわち、赤（Ｒ）色成分値、緑（Ｇ）色成分値、および青（Ｂ）色成分値を含む表現）である。別の実施形態では、色の線形表現は、色のＸＹＺ表現である。

ピクセルの色の非線形表現は、好ましくは色のＹ’Ｃｂ’Ｃｒ’表現（すなわち、ルマ（Ｙ’）成分値および２つのクロマ（Ｃｂ’、Ｃｒ’）成分値を含む表現）である。

代替の実施形態では、ピクセルの非線形表現は、色のＩＣｔＣｐ表現であり、この表現において、Ｉ成分はルマ情報を持っており、ＣｔＣｐ成分はクロマ情報を持っている。

輝度およびクロミナンスに基づく表現は、好ましくは、色の輝度＋クロミナンス表現、あるいは輝度および／またはクロミナンスの関数などに基づく表現のいずれかである。実施形態では、輝度およびクロミナンスに基づく表現は、色のＰＱ（Ｙ）ｘｙ表現（すなわち、輝度値の非線形関数（好ましくは、伝達関数ＰＱ（．））（ＰＱ（Ｙ））およびクロミナンスの線形表現（ｘｙ）を含む表現）である。別の実施形態では、輝度およびクロミナンスに基づく表現は、ＰＱ（Ｙ）ｕ’ｖ’（すなわち、輝度値の非線形関数（好ましくは、伝達関数ＰＱ（．））（ＰＱ（Ｙ））およびクロミナンスの非線形関数（好ましくは、伝達関数ＰＱ（．））（ｕ’ｖ’）を含む表現）である。

輝度およびクロミナンスに基づく表現は、人間の視覚系が知覚できる色空間であるため、知覚的表現であると見なすことができる。

図２に、識別ステップＳ１をさらに詳細に示す。この方法はステップＳ１０で開始し、ステップＳ１０は、第１のしきい値（Ｔ１）よりも小さいピクセルの色の線形表現における変動が、第２のしきい値（Ｔ２）よりも大きい色の非線形表現における変動をもたらすかどうかを調査する。この変動がもたらされない場合、この方法は終了し、ピクセルの少なくとも１つの色成分値の修正が実行されない。この変動がもたらされる場合、この方法はステップＳ１１に進み、ステップＳ１１は、第１のしきい値よりも小さかった線形表現における変動が、第３のしきい値（Ｔ３）よりも小さい色の輝度およびクロミナンスに基づく表現における変動をもたらすかどうかを調査することを含む。この変動がもたらされない場合、この方法は終了し、ピクセルの少なくとも１つの色成分値の修正が実行されない。この変動がもたらされる場合、この方法は図１のステップＳ２に進む。ステップＳ１０およびＳ１１の順序は、置き換えられる場合がある（すなわち、ステップＳ１０の前にステップＳ１１で調査を実行する、または実際には各調査を少なくとも部分的に並列に実行する）。

一般に、第３のしきい値はゼロであるか、または少なくともゼロに近い（０．１または１など）。第２のしきい値は、例として約１００であることができる。第１のしきい値の例は１または１０を含むが、これらに限定されない。

ステップＳ２において実行される処理は、ピクセルの少なくとも１つの色成分の値を修正することを含む。この修正は、好ましくは、ビット数に関して色の非線形表現をより安価に符号化できるような方法で、少なくとも１つの色成分の値を変更することをさらに含む。したがって、ステップＳ２での識別されたピクセルの処理の目的は、識別されたピクセルの少なくとも１つの色成分の値を、ピクセルをより安価にエンコードできるような方法で修正または変更することであり、この変更または修正は、輝度およびクロミナンスに基づく表現において評価されるように、視覚的品質を大幅に低下させない。

例えば、色の輝度およびクロミナンスに基づく表現における大きい変化を引き起こさない（すなわち、第３のしきい値よりも小さい）ピクセルの色の線形表現における小さい変化（すなわち、第１のしきい値よりも小さい変化）は、第２のしきい値よりも大きい色の非線形表現における変化につながり、このことは非線形表現をより安価に符号化できることを意味している。一例として、この小さい変化は、色の非線形表現の少なくとも１つの色成分が予測値に等しくなるように、または少なくともその予測値に近づくように、色の非線形表現の値を修正することができる。これは、少なくとも１つの色成分の値と、その予測値との間の差として計算される残差がゼロに等しいか、または少なくともゼロに近いことを意味している。その場合、少なくとも１つの色成分値を、非常に少ないビットを使用してエンコードすることができる。

一般に、非線形表現における色成分の値が（イントラ予測またはインター予測のいずれかを使用した）その予測値に近づくほど、値および色成分のエンコーディングに必要なビットが少なくなる。したがって、線形表現における変動が、好ましくは、この色成分の残差がゼロであるか、または少なくともゼロに近いことを意味している非線形表現における少なくとも１つの色成分の値における変化をもたらす。

ステップＳ２において実行される処理は、さまざまな実施形態に従って実行することができ、それらの実施形態が本明細書に詳細に記載されている。ピクセルの少なくとも１つの色成分の値を修正する処理の標準的な例は、少なくとも１つの色成分にフィルタを適用することである。例えば、ピクチャ内の局所領域の少なくとも１つの色成分における変動を除去するか、または少なくとも削減するか、あるいは抑制するために、少なくとも１つの色成分を大幅にフィルタリングすることができる。別の例は、既定の値または固定値によって、少なくとも１つの色成分の値を置き換えることである。

一実施形態では、図１のステップＳ１は、第４のしきい値よりも小さい色の線形表現の色成分の値を含むピクチャ内のピクセルを識別することを含み、この識別に関して、色の線形表現の色成分の値と別の色成分の値の間の比率が、第５のしきい値よりも小さい。

第４のしきい値および第５のしきい値の例は、それぞれ４および０．５であるが、これらに限定されない。

例えば、色の線形表現（ＲＧＢ表現など）の第１の成分の値が第４のしきい値よりも小さく、かつ色の線形表現（ＲＧＢ表現など）の第１の成分の値と第２の成分の値の間の比率が第５のしきい値よりも小さい場合、人間の目で見ることが難しいが、色の非線形表現における大きい変動を生むことができる方法で、ピクセルが変動できると決定される。

代替また追加の実施形態では、図１のステップＳ１は、第４のしきい値よりも小さい色の線形表現の色成分の値を含むピクチャ内のピクセルを識別することを含み、この識別に関して、色の線形表現の少なくとも１つの色成分の値が、第６のしきい値よりも大きい。

第６のしきい値の例は１０であるが、これに限定されない。

特定の実施形態では、ステップＳ１は、第４のしきい値よりも小さい色の線形表現の色成分の値を含むピクチャ内のピクセルを識別することを含み、この識別に関して、色の線形表現の少なくとも１つの他の色成分の値が、色の線形表現の色成分の値の係数倍以上である。この係数は、１よりも大きい。

例えば、ピクセルは、４ｃｄ／ｍ^２（第４のしきい値）よりも小さい１つのＲＧＢ成分の値を持っているピクセルであってよく、他のＲＧＢ成分の値は、このＲＧＢ成分の大きさの少なくとも２倍である場合がある（すなわち、係数は２に等しい）。

代替また追加の実施形態では、図１のステップＳ１は、ピクチャ内の処理対象のピクセルを識別することを含み、この識別に関して、第１のしきい値よりも小さい色の線形表現（ＲＧＢまたはＸＹＺなど）における変動が、第２のしきい値よりも大きい色のＹ’Ｃｂ’Ｃｒ’表現における変動をもたらす。色の線形表現（ＲＧＢまたはＸＹＺなど）における変動は、第３のしきい値よりも小さい色のＰＱ（Ｙ）ｕ’ｖ’表現またはＰＱ（Ｙ）ｘｙ表現における変動ももたらす。

表現ＰＱ（Ｙ）ｕ’ｖ’またはＰＱ（Ｙ）ｘｙは、すべて輝度およびクロミナンスに基づく表現であり、さらに、知覚的表現（すなわち、人間の視覚系が知覚できる色空間）でもある。

特定の実施形態では、色の線形表現は、色のＲＧＢ表現である。そのような実施形態では、ステップＳ１は、ステップＳ２０（図３を参照）において、ピクセルに関して、色のＲＧＢ表現における少なくとも１つの色成分に対するルマ成分Ｙ’、クロマ成分Ｃｂ’、およびクロマ成分Ｃｒ’の導関数、ならびにＲＧＢ表現における少なくとも１つの色成分に対する輝度に基づく成分ＰＱ（Ｙ）およびクロミナンスに基づく成分ｕ’ｖ’またはｘｙの導関数に基づいて、不安定性係数（Ｃ_ｉ）を計算することを含む。この方法は、不安定性係数が第７のしきい値（Ｔ７）よりも高い場合に処理対象のピクセルを選択することも含む（ステップ２１を参照）。

第７のしきい値の例は１、４、および１０であるが、これらに限定されない。

特定の実施形態では、ステップＳ２０は、
または
に基づいて不安定性係数Ｃ_ｉを計算することを含む。ここで、ｗ_１．．．ｗ_６は非ゼロの重みであるか、または存在せず（すなわち、１に等しく）、ＡはＲＧＢ表現における赤色成分Ｒ、緑色成分Ｇ、および青色成分Ｂのうちの１つを表す。重みは、不安定性係数の計算に関して、各色成分の重要性をセットすることができる。

一例として、ＰＱ（Ｙ）ｘｙ色空間におけるＰＱ（Ｙ）は、０〜１の範囲で変動することができるが、ｘは０．１５〜０．６４の範囲（０．６４−０．１５＝０．４９の距離）内でのみ変動することができる。同様にｙは、０．０６〜０．６０の範囲（０．５４の差）内でのみ変動することができる。したがって、ｘおよびｙにおける変化の重要性は、ＰＱ（Ｙ）における変化の重要性の約２倍である。このことは、例えばｗ４＝１．０、ｗ５＝２．０、ｗ６＝２．０を示唆する。

上の例では、人間の視覚系が、クロミナンスの変化よりも輝度の変化に対して敏感であるという事実を完全には活用していない。したがって、ｗ５およびｗ６を、１．０よりも小さい値にまで下げることが賢明である場合がある。

次の例では、このことを、ただしＰＱ（Ｙ）ｕ’ｖ’色空間において示す。ここで、ＰＱ（Ｙ）を１１ビットに量子化し、ｕ’およびｖ’を９ビットに量子化した場合、その結果は元のピクチャと区別できなくなることが良く知られている。これは、ｕ’およびｖ’が０〜０．６２の範囲で変動するため、ｕ’およびｖ’の（１／２^９）＊０．６２＝０．００１２１０９３７５の変化が事実上区別できないことを意味している。同様に、ＰＱ（Ｙ）は０〜１の範囲で変動するため、ＰＱ（Ｙ）の（１／２^１１）＊１＝０．０００４８８２８１２５の変化は、ＰＱ（Ｙ）に関して事実上区別できないはずである。したがって、ｗ４＝１．０、ｗ５＝ｗ６＝（０．０００４８８２８１２５／０．００１２１０９３７５）＝０．４０３２２５８０６４５が、ＰＱ（Ｙ）に関して適切なトレードオフになる場合がある。

標準的なＣｂ’およびＣｒ’はサブサンプリングされる。つまり、これらの成分における変動性が余分な問題になる可能性があり、Ｃｂ’およびＣｒ’における変動性がない場合は、サブサンプリングすることによって何も変更されず、輝度のアーチファクトを防ぐことができる。これは、ｗ２およびｗ３におけるより高い重み（ｗ１＝１．０、ｗ２＝４．０、ｗ３＝４．０など）が有益である場合があることを意味している。別の応用では、Ｙ’における変化を調べることで十分である場合がある（つまり、ｗ１＝１．０、ｗ２＝０．０、ｗ３＝０．０を使用することができる）。

実施形態では、図１のステップＳ２における処理は、ステップＳ２２（図３を参照）において、不安定性係数が第７のしきい値よりも高い場合に、ピクセルの少なくとも１つの色成分の元の値を、少なくとも１つの色成分の修正された値と置き換えることを含む。この実施形態では、不安定性係数が第７のしきい値以下であるが、第８のしきい値（Ｔ８）以上である場合に、少なくとも１つの色成分の元の値が、ステップＳ２４において、少なくとも１つの色成分の元の値および少なくとも１つの色成分の修正された値の線形結合と置き換えられる。それに応じて、不安定性係数が第８のしきい値よりも小さい場合、少なくとも１つの色成分の元の値がステップＳ２５において維持される。

第８のしきい値の例は、特に重みｗ１〜ｗ６がすべて１．０に等しい場合、１０００であるが、これに限定されない。

したがってこの方法は、不安定性しきい値を第８のしきい値と比較するオプションのステップＳ２３を含む場合がある。

ステップＳ２４で使用される線形結合は、（１−α）×（元の値）＋α×（修正された値）として規定される場合がある。一実施形態では、α＝（Ｃ_ｉ−Ｔ７）／（Ｔ８−Ｔ７）である。別の実施形態では、
である。したがって、一般的な実施形態では、パラメータαは不安定性係数に基づいて、または不安定性係数の関数として計算され、好ましくは、不安定性係数ならびに第７のしきい値および第８のしきい値に基づいて、または不安定性係数ならびに第７のしきい値および第８のしきい値の関数として計算される。

一実施形態では、ステップＳ２において識別されたピクセルを処理することは、色の線形表現の少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理することを含む。例えば、線形表現がピクセルの色のＲＧＢ表現である場合、ステップＳ２における修正は、Ｒ成分、Ｇ成分、Ｂ成分の値の修正であるか、またはＲ、Ｇ、Ｂ成分のうちの２つまたは３つの値の修正である。

一実施形態では、識別されたピクセルを処理することは、不安定性係数によって決まるフィルタ係数または不安定性係数に基づくフィルタ係数を有するフィルタを用いて少なくとも１つの色成分をフィルタリングすることによって、ピクセルの少なくとも１つの色成分の値を修正することを含む。

フィルタ係数は、例えばそのピクセルの１／Ｃ_ｉにセットすることができ、各フィルタ係数の加重和にピクセル値を掛けた値が、フィルタ係数の合計値で割られる。したがって、大きい不安定性係数を持つピクセルがフィルタリングされた値に対して与える影響は、小さい不安定性係数を持つピクセルよりも小さい。別の代替案は、しきい値（例えばＴ７）よりも大きい不安定性係数を持つピクセルの重みを０にセットし、他のピクセルの重みを１にセットすることであり、したがって、信頼できるピクセルのみがフィルタリングされた値に影響を与える。

一実施形態では、図１のステップＳ２が、図４のステップＳ３１に示されているように実行される。このステップＳ３１は、ピクセルの少なくとも１つの色成分の値を、ピクチャ内の近傍のピクセルの少なくとも１つの色成分の値の加重平均と置き換えることを含む。

近傍のピクセルは、ピクチャ内の隣接するピクセルであることができる。例えば、ピクチャ内での現在のピクセルのピクセル番号が（ｉ，ｊ）であると仮定する。その場合、近傍のピクセルは、例として、ピクセル番号（ｉ−１，ｊ−１）、（ｉ−１，ｊ）、（ｉ−１，ｊ＋１）、（ｉ，ｊ−１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ−１）、（ｉ＋１，ｊ）、および（ｉ＋１，ｊ＋１）を持つピクセルであることができる。したがって、近傍のピクセルは、ピクチャ内の現在のピクセルの位置を中心にしたピクチャ内の正方形などの領域内に存在するピクセルであることができる。上の例では、正方形のサイズは３×３ピクセルである。コーナーのうちの１つに現在のピクセルを含む２×２ピクセルなどの他のサイズ、または４×４以上などのさらに大きいサイズも可能である。

代替の実施形態では、近傍のピクセルは、ピクチャ内の現在のピクセルと同じ符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）に属するピクセルである。

上の実施形態では、近傍のピクセルは、ピクチャ内の現在のピクセルの位置と相対的なピクチャ内の位置に関して、事前に決定される。他の実施形態では、ピクチャ内の近傍のピクセルは、図４のステップＳ３０で概略的に示されているように、識別される。このステップＳ３０は、ピクチャ内の近傍のピクセルを識別することを含み、この識別に関して、第１のしきい値よりも小さい近傍のピクセルの色の線形表現における変動が、第２のしきい値よりも大きい近傍のピクセルの色の非線形表現における変動をもたらす。近傍のピクセルの色の線形表現における変動は、第３のしきい値よりも小さい、近傍のピクセルの色の輝度およびクロミナンスに基づく表現における変動ももたらす。

したがって、一実施形態では、図１のステップＳ１において現在のピクセルの識別に使用される同じ基準が、図４のステップＳ３０における近傍のピクセルの識別において使用される。

次に、この方法はステップＳ３１に進み、このステップＳ３１は、ピクセルの少なくとも１つの色成分の値を、ピクチャ内で識別された近傍のピクセルの少なくとも１つの色成分の値の加重平均と置き換えることを含む。

この実施形態は、現在のピクセルに「類似する」近傍のピクセルのみが平均化に含まれることを仮定する。ここでは、類似するとは、近傍のピクセルの色が、現在のピクセルと同じ基準を満たしていることを意味する。

別の実施形態では、図４のステップＳ３０は、ピクチャ内の近傍のピクセルを識別することを含み、この識別に関して、ピクセルの輝度に基づく成分の値と近傍のピクセルの輝度に基づく成分の値との間の絶対差が、第９のしきい値以下である。さらに、ピクセルのクロミナンスに基づく成分の各値と近傍のピクセルのクロミナンスに基づく成分の各値との間の各絶対差が、第１０のしきい値以下になる。

この実施形態では、ステップＳ３０の識別が、調査｜ＰＱ（Ｙ_２）−ＰＱ（Ｙ）｜≦Ｔ９および｜ｕ’_２−ｕ’｜≦Ｔ１０および｜ｖ’_２−ｖ’｜≦Ｔ１０、または｜ｘ_２−ｘ｜≦Ｔ１０および｜ｙ_２−ｙ｜≦Ｔ１０を含み、ここで、Ｔ９およびＴ１０は第９のしきい値および第１０のしきい値を表し、下付き文字の付いていない成分はピクセルの輝度またはクロミナンスに基づく成分を示し、下付き文字２の付いている成分は近傍のピクセルの輝度またはクロミナンスに基づく成分を示す。

ＰＱ（Ｙ）ｘｙを使用する場合、Ｔ９の例は０．１または１であることができ、一方、Ｔ１０の例は０．０５または１であることができるが、これらに限定されない。

ステップＳ３０においてテストするための近傍のピクセルは、上の実施形態で説明されているように、ピクチャ全体内のピクセル、現在のピクセルと同じスライス内のピクセル、現在のピクセルと同じ符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）内のピクセル、あるいは前述したように、現在のピクセルの位置を中心にした正方形などの領域内に存在するピクチャ内のピクセルであることができる。

図５は、図１内のステップＳ２の実施形態を示すフローチャートである。この実施形態では、この方法は図１内のステップＳ１から図５内のステップＳ４０に進む。ステップＳ４０は、少なくとも１つの色成分の値を、ゼロまたは色の線形表現に基づいて決定された値などの固定値にセットすることを含む。例えば、色の線形表現の少なくとも１つの色成分の値は、複数の固定値間で選択するように使用することができる。例えば、値が第１の間隔内にある場合、この値は第１の固定値にセットされ、値が第２の異なる間隔内にある場合、この値は第２の固定値にセットされる、などとなる。

一例として、最小の成分が他の成分よりも非常に小さい色の場合（ＲＧＢ＝（４０００，１００，０．０１）などの場合）、最小の成分を０に固定することができる場合がある。あるいは、ピクセルの不安定性を減らす、小さいが非ゼロの値（０．１、１、または１０など）を使用することができる。

図６は、図１内のステップＳ２の別の実施形態を示すフローチャートである。この実施形態では、この方法はステップＳ１からステップＳ４１に進み、このステップＳ４１は、ピクセルの少なくとも１つの色成分の値をフィルタリングすることを含む。

一実施形態では、ステップＳ４１は、前述した不安定性係数に基づいて決定されるフィルタ係数を有するフィルタを用いて、ピクセルの少なくとも１つの色成分の値をフィルタリングすることを含む。例えば、フィルタ係数は、不安定性係数の大きさに反比例することができる。

前述したように、ピクセルが２つの基準を満たす場合、ピクセルの少なくとも１つの色成分の値が修正される可能性がある。標準的な実施形態では、色成分のうちの１つが修正され、好ましくは、この色成分は最小の値を持っている。ただし、場合によっては、ピクセルの複数（２つまたは３つすべて）の色成分を修正することができる。

好ましくは、実施形態の前処理が、ピクチャ内の少なくとも１つのピクセルに対して実行される。ピクセルを修正する必要があるどうかを決定するために、各ピクセルをステップＳ１でテストすることができる。したがって、ピクチャの１つまたは複数のピクセルを、ステップＳ１において識別し、ステップＳ２において修正することができ、一方、ピクチャの１つまたは複数のその他のピクセルは、ステップＳ１においてテストされる基準を満たさず、そのためステップＳ２において修正されない。これは、図１内の線Ｌ１によって示されている。

実施形態のさらに別の態様は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルのエンコーディングの方法に関する。この方法は、ピクセルの色の線形表現におけるピクセルの少なくとも１つの色成分の値を修正するために、図１のステップＳ１およびＳ２において開示されている実施形態などの実施形態のいずれかに従ってピクセルを処理することを含む。この方法は、ステップＳ３（図７を参照）において、ピクセルの色の線形表現を色の非線形表現に変換することも含む。この方法は、ステップＳ４において、色の非線形表現をエンコードすることをさらに含む。

ステップＳ３における変換は、ピクセルの少なくとも１つの色成分の値がステップＳ２において修正された後に実行される。

エンコーディングの方法の一実施形態では、説明された実施形態に従って識別されたピクセルのＲＧＢ成分のうちの少なくとも１つの値が修正される。その後、修正されたＲＧＢ表現４：４：４は、好ましくは、Ｙ’Ｃｂ’Ｃｒ表現４：２：２または４：２：０に変換される。この変換は、通常、非線形Ｒ’Ｇ’Ｂ’表現４：４：４を取得するための伝達関数（付録Ａの式Ａ１で規定された伝達関数の逆数など）の適用を含む。次に、Ｙ’Ｃｂ’Ｃｒ’表現４：４：４を取得するために、色変換がＲ’Ｇ’Ｂ’表現４：４：４に適用される。その後、４：２：２または４：２：０形式でＹ’Ｃｂ’Ｃｒ’表現を取得するために、非線形クロマ成分Ｃｂ’Ｃｒ’がサブサンプリングされる。

一態様によれば、第１の色表現から別の色表現に変換するための方法およびコンバータが提供される。このコンバータは、第１の色表現における少なくとも第１のピクセルを表すビットストリームを受信する。このコンバータは、人間の目で見ること（可視と呼ばれる場合もある）が難しい方法でピクセルを変動させることによって第２の色表現における大きい変動を生むことができるかどうかを決定するように設定される。そのような決定を、本明細書に記載されたいずれかの方法に従って行うことができる。

例えば、ＲＧＢ表現における第１の成分が既定のしきい値よりも小さく、ＲＧＢ表現における第１の成分と第２の成分の間の比率が別の既定のしきい値よりも小さい場合、人間の目で見ることが難しいが、第２の色表現における大きい変動を生むことができる方法で、ピクセルが変動できると決定される。

一実施形態によれば、次の色表現を使用して、エンコードする前に変換が実行される。
第１の色表現ＲＧＢ
第２の色表現Ｙ’Ｃｂ’Ｃｒ’

代替の実施形態では、別の送信フォーマットが使用されるが、ディスプレイがＹ’Ｃｂ’Ｃｒ’を必要とする場合、復号後に次の色表現を使用して変換が実行される。
第１の色表現ＬｏｇＬｕｖ
第２の色表現Ｙ’Ｃｂ’Ｃｒ’

１つの例では、Ｙ’Ｃｂ’Ｃｒ’を生成するときにエンコーディング処理がその仕事を正しく実行しなかった場合、復号後に次の色表現を使用して変換が実行される。
第１の色表現Ｙ’Ｃｂ’Ｃｒ’
第２の色表現Ｙ’Ｃｂ’Ｃｒ’

人間の目で見ることが難しいが第２の色表現における大きい変動を生むことができる方法でピクセルが変動できると決定された場合、そのピクセルは、そのような潜在的な変動性を除去するように処理される。そのような処理を、本明細書に記載されたいずれかの方法に従って行うことができる。例えば、ＲＧＢ色表現における最小の成分を固定値にセットできる。別の可能性は、前記ＲＧＢ色表現における最小の成分を、近傍のピクセルの最小の成分の加重平均と置き換えることである。

この方法で、いずれにせよ見ることができず、エンコーディング時および復号時に問題を引き起こす可能性のあるＹ’Ｃｂ’Ｃｒ’における変動性を防ぐことができる。

標準的な圧縮チェーン（本明細書では、アンカー処理チェーンとして示される）は、［２］においてアンカー生成に関して説明されている圧縮チェーンである。０〜１００００の範囲の入力線形光ピクセル（Ｒ，Ｇ，Ｂ）が、［２］におけるセクションＢ．１．５．３．１に従って、最初に伝達関数に供給される。
Ｒ’＝ＰＱ＿ＴＦ（ｍａｘ（０，ｍｉｎ（Ｒ／１００００，１）））
Ｇ’＝ＰＱ＿ＴＦ（ｍａｘ（０，ｍｉｎ（Ｇ／１００００，１）））
Ｂ’＝ＰＱ＿ＴＦ（ｍａｘ（０，ｍｉｎ（Ｂ／１００００，１）））
ここで、
ｍ_１＝０．１５９３０１７５７８１２５、ｍ_２＝７８．８４３７５、ｃ_１＝０．８３５９３７５、ｃ_２＝１８．８５１５６２５、およびｃ_３＝１８．６８７５である。本明細書では、ＰＱ（ｘ）を、ＰＱ＿ＴＦ（ｍａｘ（０，ｍｉｎ（ｘ／１００００，１）））を実行するための簡易方法として使用し、したがって、Ｒ’＝ＰＱ（Ｒ）、Ｇ’＝ＰＱ（Ｇ）、およびＢ’＝ＰＱ（Ｂ）である。

これによって、０〜１の範囲の新しいピクセル表現（Ｒ’，Ｇ’，Ｂ’）が得られる。この後に、ピクセルに対して色変換が実行されて、Ｙ’Ｃｂ’Ｃｒ’が得られる。一例として、色空間がＲｅｃ．７０９である場合、Ｙ’Ｃｂ’Ｃｒ’成分が次のように計算される。
Ｙ’＝０．２１２６００＊Ｒ’＋０．７１５２００＊Ｇ’＋０．０７２２００＊Ｂ’
Ｃｂ’＝−０．１１４５７２＊Ｒ’−０．３８５４２８＊Ｇ’＋０．５０００００＊Ｂ’
Ｃｒ’＝０．５０００００＊Ｒ’−０．４５４１５３＊Ｇ’−０．０４５８４７＊Ｂ’

あるいは、色空間がＲｅｃ．２０２０である場合、Ｙ’Ｃｂ’Ｃｒ’成分が次のように計算される。
Ｙ’＝０．２６２７００＊Ｒ’＋０．６７８０００＊Ｇ’＋０．０５９３００＊Ｂ’
Ｃｂ’＝−０．１３９６３０＊Ｒ’−０．３６０３７０＊Ｇ’＋０．５０００００＊Ｂ’
Ｃｒ’＝０．５０００００＊Ｒ’−０．４５９７８６＊Ｇ’−０．０４０２１４＊Ｂ’

次に、Ｙ’Ｃｂ’Ｃｒ’成分が、［２］におけるＢ．１．５．４に従って、固定されたビット数に量子化される。この後に、Ｃｂ’成分およびＣｒ’成分が、［２］におけるＢ．１．５．５に従って、４：２：０にサブサンプリングされる。次に、Ｃｂ’およびＣｒ’が、Ｂ．１．５．６に従って４：４：４にアップサンプリングされ、Ｂ．１．５．７に従って逆量子化され、Ｂ．１．５．８に従ってＲＧＢに変換され、最終的に、Ｂ．１．５．９における逆ＰＱによって線形ＲＧＢに変換される。

ここで、上の処理チェーンを使用して処理されるときに、２つのピクセルに対して何が起きるかを見てみる。

一例として、色ＲＧＢ１＝（１０００，０．１，１００）を持つピクセルが存在すると仮定する。ここで、このピクセルが代わりに色ＲＧＢ２＝（１０００，０．２，１００）になるように、このピクセルの色をわずかに変動させた場合、何が起きるかを見てみる。

アンカー生成手順に従って最初に行うことは、伝達関数ＰＱ（．）の適用であり、これによってＲ’Ｇ’Ｂ’値（０．７５１８２７，０．０６２３３７，０．５０８０７８）および（０．７５１８２７，０．０８２８３６，０．５０８０７８）がそれぞれ得られる。Ｙ’Ｃｂ’Ｃｒ’への変換および１０ビットへの量子化の後に、Ｙ’Ｃｂ’Ｃｒ’＝（２７５，６４１，８０３）および（２８８，６３４，７９４）が得られる。これから分かるように、これは非常に大きい変動である。Ｙ’は１３ステップ変動し、Ｃｂ’およびＣｒ’はそれぞれ７ステップおよび９ステップ変動している。これをビデオエンコーダで符号化すると、非常に高価になる。

しかし、これら２つの色の間の差は見ることができない。

人間が輝度における差をどのように知覚するかについては、十分に理解されている。輝度が大きい場合（すなわち、非常に明るい色の場合）、絶対誤差が非常に大きくなる可能性があるが、相対誤差は小さく維持されるはずである。輝度が小さい場合は、この逆のことが当てはまる。これは、Ｂａｒｔｅｎの公式と呼ばれるものを使用して表現できる。大まかに言うと、輝度が計算され、Ｂａｒｔｅｎの公式を近似する伝達関数を通り、１１ビットに量子化された場合、どのような差も見ることができなくなる。

次に、これを２つの色に適用する。まず、Ｙ＝０．２１２６３９＊Ｒ＋０．７１５１６９＊Ｇ＋０．０７２１９２＊Ｂを使用して、元の輝度値ＲＧＢから線形輝度Ｙを計算する。

ここでは、［２］のＢ．１．５．３．２でＹ’Ｃｂ’Ｃｒ’におけるＹ’を計算する場合の丸めとはわずかに異なる丸めを行っている、Ｙ成分に関する［２］のＢ．１．５．９．３からの定義を使用したことに注意する。この違いは、Ｂ．１．５．３．２における単なる丸め誤差である可能性が高いが、両方のケースにおいて［２］と同じ数値を維持した。

上の２つの色の輝度は、それぞれ２１９．９２９７１７および２２０．００１２３４である。上のＰＱ（．）を使用してＢａｒｔｅｎの公式を近似し、２^１１−１＝２０４７を掛けることによって１１ビットに量子化した場合、１２０５．８４０４３５および１２０５．９１０２５７が得られる。これは、これら２つの輝度が１１ビットに量子化された場合、両方とも同じ符号語１２０６によって表されることを意味している。つまり、輝度に関して、２つの色の間の差は目に見えなくなる。

次に、クロミナンスにおける差を調べる。ここで、大まかに言うと、ｕ’係数およびｖ’係数の９ビットの量子化は、透明品質を持つのには十分である。ｕ’ｖ’座標は、次の式を使用してＸＹＺから取得される。
ｕ’＝４Ｘ／（Ｘ＋１５Ｙ＋３Ｚ）
ｖ’＝９Ｙ／（Ｘ＋１５Ｙ＋３Ｚ）
Ｘ、Ｙ、Ｚは、次の式を使用してＲｅｃ．７０９ ＲＧＢから取得される。
Ｘ＝０．４１２３９１＊Ｒ＋０．３５７５８４＊Ｇ＋０．１８０４８１＊Ｂ
Ｙ＝０．２１２６３９＊Ｒ＋０．７１５１６９＊Ｇ＋０．０７２１９２＊Ｂ
Ｚ＝０．０１９３３１＊Ｒ＋０．１１９１９５＊Ｇ＋０．９５０５３２＊Ｂ

２つの色をｕ’ｖ’に変換し、２^９−１＝５１１を掛けると、（２１６．０５０８４５，２４８．３５５９７４）および（２１６．００８１０１，２４８．３６６９５２）が得られる。これから分かるように、ｕ’およびｖ’の両方において、差は１よりも小さく、したがって、２つのクロミナンスの間の差を見分けることはできない。

輝度においても、クロミナンスにおいても差を見ることができないため、当然、差を見分けることは全くできない。しかし、表現はＹ’において１３ステップ変化し、Ｃｂ’Ｃｒ’において６ステップまたは７ステップ変化する。これは、領域内の一般的な色が（１０００，０．１５，１００）であるが、ピクセル間で±（０，０．０５，０）変動する場合、エンコーダは、見ることができない差をエンコードするためにビットを費やさなければならないことを意味する。

２つの色のＲＧＢの数値（１０００，０．１，１００）および（１０００，０．２，１００）を調べた結果、これら２つの色を視覚的に区別することができないことは、理にかなっている。全般的な明るさがあまり変更されないというのは、妥当である。緑色成分の余分な強度は、それぞれ１００００倍および１０００倍大きな明るい赤色および青色によってかき消される。また、少しの緑色の光を非常に強い赤色および青色の光に追加しても、クロミナンスがあまり変化しないことも、理にかなっている。

この状況は、赤色成分および青色成分が低い場合、大きく異なる。２つの色ＲＧＢ１＝（０．１，０．１，０．２）およびＲＧＢ２＝（０．１，０．２，０．２）を使用して同じ計算を実行した場合、次の数値が得られる。
ＰＱ（０．２１２６３９＊０．１＋０．７１５１６９＊０．１＋０．０７２１９２＊０．２）＊２０４７＝１３１．４０７２
ＰＱ（０．２１２６３９＊０．１＋０．７１５１６９＊０．２ ＋０．０７２１９２＊０．２）＊２０４７＝１６２．１１５３

これは３１ステップの差であり、１ステップは最小可知差異である。つまり、輝度におけるこの差は、見分けることができる可能性が非常に高い。

クロミナンスに関しては、次の値が得られる。
第１の色の場合、ｕ’＊５１１＝９９．０７３３、ｖ’＊５１１＝２１１．３３５８となり、
第２の色の場合、ｕ’＊５１１＝８７．４９１３、ｖ’＊５１１＝２３６．３７６８となる。

これは、約１１ステップおよび２５ステップの差である。つまり、このクロミナンスの差を見ることができるのは明白である。０．１〜０．２ｃｄ／ｍ^２の範囲の非常に低い輝度を仮定した場合、このクロミナンスにおける差に気付くことができるかは不確かであるが、少なくとも最初の例におけるように差を除外することはできなくなる。

前述したように、これら２つの色を１０ビットのＹ’Ｃｂ’Ｃｒ’に変換した場合、（１２０，５２１，５１１）および（１３３，５１４，５０３）となり、１３、７、および８の差が得られる。

そのため、最初のケースおよび最後のケースの両方において、（１３，７，９）および（１３，７，８）という、Ｙ’Ｃｂ’Ｃｒ’におけるほぼ同じ差が存在している。ただし、第１のケースでは、目に見える差が存在せず、一方、第２のケースでは、少なくとも輝度において、差を簡単に見ることができる。本明細書では、第１の種類の色を「第１のケースの色」と呼び、第２の種類の色を「第２のケースの色」と呼ぶ。また、「第１のケースのピクセル」は、第１のケースの色を持つピクセルという意味であり、「第２のケースのピクセル」は、第２のケースの色を持つピクセルという意味である。

実施形態では、元の信号は、第１のケースにおける差が除去され、一方、第２のケースにおける差が維持されるような方法で処理される。そうすることによって、第１のケースにおいては、Ｙ’Ｃｂ’Ｃｒ’表現がフラットになり（すなわち、符号化するために必要なビットがなくなるか、または少なくなり）、一方、第２のケースにおいては、Ｙ’Ｃｂ’Ｃｒ’表現が変動し、この変動は実際に目に見える。

現実世界の例が図８Ａ〜Ｄに示されている。ここで、図８Ａは、低ダイナミックレンジ（ＬＤＲ）、つまり、ピクチャまたは画像のトーンマッピングされた部分を示している。日よけに注目する。その部分では、色が大体フラットであるように見える。このことは、図８Ｂ〜８Ｄにおいても確認される。図８Ｂは、ＸＹＺにおけるＹ成分のＰＱ（．）を示しており、フラットに見え、図８Ｃおよび８Ｄはそれぞれｕ’座標およびｖ’座標を示しており、やはりフラットに見える。

図９Ａは画像のＲ’Ｇ’Ｂ’バージョンを示しており、Ｒ’＝２５５＊ＰＱ（Ｒ）である。日よけの領域内に何らかの変動を見ることが可能になり始めており、これは、ＰＱ（ｘ）関数がｘの小さい値に対して非常に急速に上昇し、それが緑色成分におけるノイズを強めていることによる。

図９Ｂ〜Ｄでは、Ｙ’成分、Ｃｂ’成分、およびＣｒ’成分が示されている。図８Ａ〜８Ｄが、輝度においてもクロミナンスにおいても全く何も起きていないことを示しているにもかかわらず、図９Ｂ〜Ｄの各成分が日よけの領域内で大きく変動していることに注目する。エンコーディングの標準的な方法（すなわち、アンカー）は、ここでＣｂ’成分およびＣｒ’成分のサブサンプリングに進み、Ｙ’をそのまま維持する。これが、図１０Ａ〜１０Ｄに示されている。ここでは、サブサンプリングされたＣｂ’値が２つの非常に異なるＣｂ’値の平均であるため、その結果は、いずれのピクセル内のＹ’値にも適合しないＣｂ’値になる。これは、図１０Ｄに示されているように、明確に目に見えるノイズを引き起こし、図１０Ｄは、線形Ｙ成分に適用されたＰＱ（．）である。このノイズは、画像の（トーンマッピングされた）ＬＤＲバージョンにおいても明確に目に見える。図１０Ａは、図９Ｂと同じＹ’が使用されていることを示している。図１０Ｂおよび１０Ｃは、サブサンプリングされたＣｂ’成分およびＣｒ’成分を示している。

得られた画像のＰＱ（Ｙ）成分、ｕ’成分、およびｖ’成分が図１１Ａ〜１１Ｃに示されており、特に輝度において明確なアーチファクトが見える。

これを理解するための１つの方法では、図９ＢにおけるＹ’成分は事前にＣｂ’およびＣｒ’における大きい揺れを補償する必要があり、サブサンプリングされることによってＣｂ’およびＣｒ’が激しく揺れなくなった場合は、代わりにＹ’における大きい揺れがアーチファクトを画像にもたらす。

この問題を防ぐための１つの方法が、付録ＡのＡｊｕｓｔｙ手法において提示されており、この手法では、正しい線形光ＹをもたらすＹ’を見つける。これは多くの場合、Ｙ’における大きい揺れが少し弱められ、Ｙ’の符号化を容易にすることを意味している。このアプローチが、図１２Ａ〜１２Ｅに示されている。図１２Ａを図１０Ａと比較すると、Ａｊｕｓｔｙ手法がＹ’の変動を少なくしているが、Ｙ’がまだフラットではないことは明らかである。

図１２Ａは、付録ＡのＡｊｕｓｔｙ手法を使用して補正されたＹ’を示している。ここで、Ｙ’成分は、変動が非常に少ないため、符号化が容易であるが、関連する領域においてまだフラットではないことに注意する。これは、Ｃｂ’およびＣｒ’に残っている揺れ（図１２Ｂおよび１２Ｃに示されている）に起因する。得られた線形輝度Ｙは、ＰＱ（Ｙ）が示されている図１２Ｄにおいて分かるように、完璧である。トーンマッピングされた画像図１２Ｅも、良好であるように見える。

ここで得られる教訓は、付録ＡのＡｊｕｓｔｙ手法の使用は状況を改善するが、まだ問題がある可能性があることである。第一に、図１２Ｂおよび１２Ｃに示されているように、Ｃｂ’およびＣｒ’における何らかの変動がまだ存在しており、この変動は符号化するためのビットを増やす。これは、付録ＡのＡｊｕｓｔｙ手法が、Ｙ’を変動させることによって補償する必要があることも意味している（図１２Ａを参照）。この変動は前よりもかなり少ないとは言え（図１０Ａを参照）、符号化を高価にするビットをまだ生成している。

さらに、符号化処理は不可逆であるため、Ｙ’は完全には保存されず、したがって、何らかのアーチファクトを再び導入する（ただし、元のアーチファクトよりはかなり少ない）。Ｃｂ’およびＣｒ’も完全には保存されないため、正しいＹ’が使用された場合でも、Ｃｂ’およびＣｒ’が変更されているため、Ｙ’は完全には補償しない。

したがって、実施形態の目的は、このような問題のあるピクセル（上の用語を使用すると、いわゆる「第１のケースのピクセル」）を識別し、変動を削減または除去することである。

これを行うための１つの方法は、第１の種類であるピクセルを識別し、それらのピクセルのみをフィルタリングすることである。「第１のケースのピクセル」は、次の２つの基準によって特徴付けられる。
１．線形表現（ＲＧＢまたはＸＹＺなど）における小さい変動が、Ｙ’Ｃｂ’Ｃｒ’における大きい変動を引き起こす。
２．この変動自体は、見ることができない（すなわち、この変動は、例えばＰＱ（Ｙ）ｕ’ｖ’における小さい変動を引き起こす）。

データが線形ＲＧＢで捕らえられたと仮定する。さらに、成分のうちの１つ（例えば、緑色（Ｇ）成分）に何らかのノイズが存在すると仮定する。第１の基準は、単に、緑色成分に対するＹ’Ｃｂ’Ｃｒ’の導関数が大きいことを意味している。
基準１：∂Ｙ’／ｄＧが大きい、∂Ｃｂ’／ｄＧが大きい、∂Ｃｒ’／ｄＧが大きい。

同様に、第２の基準は、単に、対応する導関数が小さいことを意味している。
基準２：∂ＰＱ（Ｙ）／ｄＧが小さい、∂ｕ’／ｄＧが小さい、∂ｖ’／ｄＧが小さい。

これらの導関数の計算は明解であるが、やや複雑であるため、ここには含まれていない。

基準１の尺度を取得するために、ベクトル（∂Ｙ’／ｄＧ，∂Ｃｒ’／ｄＧ，∂Ｃｂ’／ｄＧ）の長さを調べることができる。このベクトルが長い場合、信号表現がＧにおける変化に非常に敏感であることが分かる。同様に、基準２に関して、ベクトル（∂ＰＱ（Ｙ）／ｄＧ，∂ｕ’／ｄＧ，∂ｖ’／ｄＧ）の長さを調べることができる。このベクトルが短い場合、画像はＧと共にあまり変動しない。つまり、Ｇにおける目に見えないノイズがピクセルにどの程度影響を与えるかに関して、ピクセルごとに尺度を取得することができる。この尺度を、不安定性係数Ｃ_ｉと呼ぶ。
不安定性係数＝Ｃ_ｉ＝｜｜（∂Ｙ’／ｄＧ，∂Ｃｒ／ｄＧ，∂Ｃｂ’／ｄＧ）｜｜^２／｜｜（∂ＰＱ（Ｙ）／ｄＧ，∂ｕ’／ｄＧ，∂ｖ’／ｄＧ）｜｜^２＝（（∂Ｙ’／ｄＧ）^２＋（∂Ｃｂ’／ｄＧ）^２＋（∂Ｃｒ’／ｄＧ）^２）／（（∂ＰＱ（Ｙ）／ｄＧ）^２＋（∂ｕ’／ｄＧ）^２＋（∂ｖ’／ｄＧ）^２）

したがって、一実施形態では、すべてのピクセルに対してこの不安定性係数を計算し、この不安定性係数を使用して、元の緑色成分Ｇと大きく平滑化されたバージョンのＧのいずれかを選択する。不安定性係数があるしきい値よりも低い場合、元のＧが選択され、不安定性係数が別のしきい値よりも高い場合、平滑化されたバージョンが選択される。不安定性係数が、これら２つのしきい値の間にある場合、凸結合（（１−α）＊元のＧ＋α＊平滑化されたＧ）が使用され、値αはα＝（Ｃ_ｉ−ｔｈ１）／（ｔｈ２−ｔｈ１）として計算され、ｔｈ１は下側しきい値であり、ｔｈ２は上側しきい値である。あるいは、α＝（√（Ｃ_ｉ）−ｔｈ１）／（ｔｈ２−ｔｈ１）を使用するか、またはＣ_ｉからαを計算するための何らかのその他の方法を使用することができる。

一例として、ＲＧＢ＝（１０００，０．１，１００）に対してＣ_ｉを推定し、４２２２２のＣ_ｉを得ることができる。ＲＧＢ＝（０．１，０．１，０．２）の場合、Ｃ_ｉは約０．１１５９になる。したがって、ｔｈ１＝１．０およびｔｈ２＝１０００のしきい値を持つことができる。これによって、第１のケースの色においては平滑化されたＧのみを選択し、第２のケースの色においては元のピクセルのみを選択する。

別の実施形態では、ピクセルごとに緑色成分がフィルタリングされ、フィルタ係数は不安定性係数Ｃ_ｉによって決まる。

好ましい実施形態では、不安定性係数Ｃ_ｉが、例えば次のように、成分のそれぞれに対して個別に計算される。
Ｃ_ｉＲ＝（（∂Ｙ’／ｄＲ）^２＋（∂Ｃｂ’／ｄＲ）^２＋（∂Ｃｒ’／ｄＲ）^２）／（（∂ＰＱ（Ｙ）／ｄＲ）^２＋（∂ｕ’／ｄＲ）^２＋（∂ｖ’／ｄＲ）^２）
Ｃ_ｉＧ＝（（∂Ｙ’／ｄＧ）^２＋（∂Ｃｂ’／ｄＧ）^２＋（∂Ｃｒ’／ｄＧ）^２）／（（∂ＰＱ（Ｙ）／ｄＧ）^２＋（∂ｕ’／ｄＧ）^２＋（∂ｖ’／ｄＧ）^２）
Ｃ_ｉＢ＝（（∂Ｙ’／ｄＢ）^２＋（∂Ｃｂ’／ｄＢ）^２＋（∂Ｃｒ’／ｄＢ）^２）／（（∂ＰＱ（Ｙ）／ｄＢ）^２＋（∂ｕ’／ｄＢ）^２＋（∂ｖ’／ｄＢ）^２）

しきい値ｔｈ１およびｔｈ２は、すべての成分について同じであるか、または各成分における変化に対する人間の視覚系（ＨＶＳ）の敏感さの程度に基づいて、成分ごとに異なって重み付けすることができる。ＲＧＢの場合、しきい値は、例えば次のように互いに関連していることがある。
ｔｈ１_Ｒ＝（１−０．２１２６３９）＊（ｔｈ１_Ｒ＋ｔｈ１_Ｇ＋ｔｈ１_Ｂ）
ｔｈ１_Ｇ＝（１−０．７１５１６９）＊（ｔｈ１_Ｒ＋ｔｈ１_Ｇ＋ｔｈ１_Ｂ）
ｔｈ１_Ｂ＝（１−０．０７２１９２）＊（ｔｈ１_Ｒ＋ｔｈ１_Ｇ＋ｔｈ１_Ｂ）
ｔｈ２_Ｒ＝（１−０．２１２６３９）＊（ｔｈ２_Ｒ＋ｔｈ２_Ｇ＋ｔｈ２_Ｂ）
ｔｈ２_Ｇ＝（１−０．７１５１６９）＊（ｔｈ２_Ｒ＋ｔｈ２_Ｇ＋ｔｈ２_Ｂ）
ｔｈ２_Ｂ＝（１−０．０７２１９２）＊（ｔｈ２_Ｒ＋ｔｈ２_Ｇ＋ｔｈ２_Ｂ）

以下で示すように、不安定性係数を近似することもできる。

∂Ｙ’／ｄＧが高いピクセルを調べることから始める。下記のように表した場合、
Ｒ’＝ＰＱ（Ｒ）
Ｇ’＝ＰＱ（Ｇ）
Ｂ’＝ＰＱ（Ｂ）
下記の式が得られるため、
Ｙ’＝０．２１２６００＊Ｒ’＋０．７１５２００＊Ｇ’＋０．０７２２００＊Ｂ’
Ｃｂ’＝−０．１１４５７２＊Ｒ’−０．３８５４２８＊Ｇ’＋０．５０００００＊Ｂ’
Ｃｒ’＝０．５０００００＊Ｒ’−０．４５４１５３＊Ｇ’−０．０４５８４７＊Ｂ’
次の式が得られる。
Ｙ’＝０．２１２６００＊ＰＱ（Ｒ）＋０．７１５２００＊ＰＱ（Ｇ）＋０．０７２２００＊ＰＱ（Ｂ）

中央の項以外の２つの項がＧに全く依存しないため、中央の項のみが∂Ｙ’／ｄＧに寄与することが直接分かる。図１３は、０〜１００００の値についてＰＱ（ｘ）をプロットしている。ｘ値が０に近い場合、導関数が非常に大きくなる（すなわち、傾きが非常に急になる）ことに注意する。

ＰＱ（ｘ）の導関数を計算しなくても、小さいｘの値に対してＰＱ（ｘ）の導関数が最大になるはずであることは明らかである。したがって、次のように結論付けることができる。
Ｇが０に近い場合、｜｜∂Ｙ’／ｄＧ｜｜が大きい。

この導関数の符号には関心がないため、絶対値としている。同様に、次のように結論付けることができる。
Ｇが０に近い場合、｜｜∂Ｃｂ’／ｄＧ｜｜が大きい。
Ｇが０に近い場合、｜｜∂Ｃｒ’／ｄＧ｜｜が大きい。

したがって、Ｇが０に近い場合に第１の条件が完全に満たされることが分かる。それでは、第２の条件についてはどうであろうか。関心があるのはＰＱ（Ｙ）の値であり、Ｙは次式の値である。
Ｙ＝０．２１２６３９＊Ｒ＋０．７１５１６９＊Ｇ＋０．０７２１９２＊Ｂ

上と同じ推論を行って、｜｜（∂ＰＱ（Ｙ））／ｄＧ｜｜は、Ｙが０に近い場合に大きくなり、Ｙがゼロから遠い場合に小さくなることが分かる。第１の条件をすでに満たしていると仮定する。つまり、Ｇはゼロに近い。Ｙをゼロから遠ざけるには、ＲまたはＢあるいはその両方が大きい値でならなければならない。したがって、次の経験則が得られる。

Ｇがゼロに近いが、ＲまたはＢあるいはその両方がゼロから遠い場合、高い不安定性係数が存在し、例えば大幅にフィルタリングすることによって、Ｇにおける変動性を除去する必要がある。

赤色および青色に対して、次のように同じ推論を行うことができる。
Ｒがゼロに近いが、ＧまたはＢあるいはその両方がゼロから遠い場合、Ｒを大幅にフィルタリングする必要がある。
Ｂがゼロに近いが、ＲまたはＧあるいはその両方がゼロから遠い場合、Ｂを大幅にフィルタリングする必要がある。

これらのどの場合においても、色域の境界に近いピクセルが存在する。ただし、一部のピクセルは、ノイズ除去の候補になることなく色域の境界に近づく場合があることに注意する。これは単に、最小の係数が、ＰＱ（）曲線の急な傾斜部分になるほど十分に小さくないためである（図１３を参照）。

以下の例では、ピクセルの緑色成分が変動性に関してテストされる。同じ手順を、他の２つの成分（すなわち、赤色成分および青色成分）に関して、置き換えることができる。

ここで、この理論を実践することができる。例えば、Ｇ＜４ｃｄ／ｍ^２であり、かつＲおよびＢの両方が少なくともＧの２倍であるすべてのピクセルを、次のようにして検出することができる。
forすべてのピクセル位置x,y
if G(x,y) < 4.0 AND G(x,y)<0.5*R(x,y) AND G(x,y)<0.5*B(x,y)
mask(x,y) = 1
else
mask(x,y) = 0
end
end

この結果は、不安定なピクセル（いわゆる「第１のケースのピクセル」）が１（つまり白）になり、正常なピクセル（いわゆる「第２のケースのピクセル」）が０（つまり黒）になるマスクである。図１４Ａおよび１４Ｂに示されているように、このマスクは問題のある領域を非常にうまく捕らえる。

これで、この領域内の緑色の係数を大幅にフィルタリングすることが可能になる。ただし、境界をまたがってフィルタリングしたいのではなく、類似するピクセルのみをフィルタリングしたいことに注意する。これは、次のようにして、ピクセルの近傍を調べ、近傍に存在する「第１のケースのピクセル」であるすべてのピクセルの平均を取ることによって行うことができる。
forすべてのピクセル位置x,y
val = 0;
num = 0;
for x,yの近傍内のすべてのピクセル位置x2,y2
if(mask(x2,y2) == 1)
val = val + G(x2,y2)
num = num + 1
end
end
if num >= 1
Gblur(x,y) = val/num
else
Gblur(x,y) = G(x,y)
end
end

これで、元の緑色成分Ｇ（ｘ，ｙ）およびブラーリングされたバージョンＧｂｌｕｒ（ｘ，ｙ）が得られる。図１５Ａおよび１５Ｂは、ブラーリングの前後で緑色成分がどのように見えるかを示している。

ここで、次のようにマスクを使用して２種類の緑色成分から選択することができる。
forすべてのピクセル位置x,y
if( mask(x,y) == 1)
G(x,y) = Gblur(x,y)
end
end

得られたＧ成分が図１５Ｃに示されている。この後に、チェーンの通常のステップ、すなわち、伝達関数の適用によるＲＧＢからＲ’Ｇ’Ｂ’への変換、色変換の適用によるＲ’Ｇ’Ｂ’からＹ’Ｃｒ’Ｃｂ’への変換、Ｃｂ’およびＣｒ’のサブサンプリング、その後の、ＲＧＢに戻すためのチェーンの反転が使用される。得られた画像が図１６Ｂに示されている。

この結果は、図１６Ｂを図９Ｄと比較した場合、日よけの部分におけるノイズがかなり少なくなっているが、付録Ａにおいて開示されているＡｊｕｓｔｙ手法を使用する場合ほどは良くなっていない（図１６Ｃを参照）。これは、Ｇ（ｘ，ｙ）およびＧｂｌｕｒ（ｘ，ｙ）からの選択が厳格であるためであり、それによって、日よけの領域の境界に沿って見ることができるアーチファクトが生じる。幸い、この結果を付録ＡにおけるＡｊｕｓｔｙ手法と組み合わせることができ、それによって得られた画像が図１６Ｄに示されている。これによって、輝度の完全な品質が回復し、得られたピクチャは良好であるように見える。代替の実施形態では、例えば次のような柔軟なマスクを作成することによって、Ｇ（ｘ，ｙ）とＧｂｌｕｒ（ｘ，ｙ）の間で柔軟な決定を行う。
forすべてのピクセル位置x,y
if G(x,y) > 6.0 OR G(x,y)>0.75*R(x,y) OR G(x,y)>0.75*B(x,y)
softmask(x,y) = 0
else if G(x,y) < 2.0 AND G(x,y)<0.25*R(x,y) AND G(x,y)<0.25*B(x,y)
softmask(x,y) = 1
else
softmask(x,y) = (6-G(x,y))/4 * (0.75-G(x,y)/R(x,y))/0.5 * (0.75-G(x,y)/G(x,y))/0.5
end
end

次に、Ｇ（ｘ，ｙ）を選択するときに、次のようにして、厳格なマスクの代わりにこの柔軟なマスクを使用することができる。
forすべてのピクセル位置x,y
G(x,y) = softmask(x,y)*Gblur(x,y) + (1-softmask(x,y))*G(x,y)
end

これによって、単に付録ＡのＡｊｕｓｔｙ手法を使用することと比較して何が得られるであろうか。Ｃｂ’およびＣｒ’に含まれている変動が少なく、したがって符号化が容易であることは、朗報である（図１７Ａ〜１７Ｄを参照）。図１７Ａおよび１７Ｂに、付録ＡのＡｊｕｓｔｙ手法のＣｂ’およびＣｒ’を示す。一部にかなりの変動性が存在していることに注目する。提案された方式のＣｂ’およびＣｒ’が、図１７Ｃおよび１７Ｄに示されている。変動性が低下していることに注目する。

輝度の変動も、付録ＡのＡｊｕｓｔｙ手法の場合よりも少なくなっている。このことは、付録ＡのＡｊｕｓｔｙ手法を使用したＹ’成分を示している図１８Ａ、および提案された方式を使用した後に、付録ＡのＡｊｕｓｔｙ手法を使用したＹ’成分を示している図１８Ｂから分かる。変動性が低下していることに注意する。

緑色成分をフィルタリングする方法に関する上の説明において、図１３の後に、類似するピクセルのみを確実に平均化するために、「第１のケース」のピクセルのみを平均化に含めたと述べた。実際は、これでは、類似するピクセルのみを平均化することは保証されない。一例として、（１０００，０．１，１００）および（０．１，１０００，１００）は両方とも第１のケースのピクセルであるが、非常に異なっている。これらのピクセルが互いに隣接している場合、これらは平均化される。これを解決する１つの方法は、近傍に存在するすべてのピクセルを現在のピクセルと比較することである。Ｇにおける変化が目に見えないほど十分に小さい場合、近傍のピクセルは平均化に含まれる。しかし、Ｇにおける変化が目に見えるほど十分に大きい場合、近傍のピクセルは含まれない。これは、近傍に存在する各ピクセルに重みを割り当てることによって、柔軟な方法で実行することができ、この重みは、Ｇにおける変化が可視に近い場合に小さくなり、Ｇにおける変化が可視から遠い場合に大きくなる。前述した方法を次のように拡張することができる。
forすべてのピクセル位置x,y
val = 0;
num = 0;
(X, Y, Z) = calculateXYZ(R(x,y), G(x,y), B(x,y))
pqY = PQ(Y)*2047
(u’, v’) = calculate_upvp(X, Y, Z)*511
for ピクセルx,yそれ自体を含めてx,yの近傍内のすべてのピクセル位置x2,y2
(X2, Y2, Z2) = calculateXYZ(R(x2,y2), G(x2,y2), B(x2,y2))
pqY2 = PQ(Y2)*2047
(u2’, v2’) = calculate_upvp(X2, Y2, Z2)*511
if(abs(pqY2-pqY) <= 1 AND abs(u2’-u’)<=1 AND abs(v2’-v’)<=1)
val = val + G(x2,y2)
num = num + 1
end
end
if num >= 1
Gblur(x,y) = val/num
else
Gblur(x,y) = G(x,y)
end
end

この場合、すべての変化が目に見えないことを保証したため、マスクに従って選択することなく、Ｇ＝Ｇｂｌｕｒを使用することができる。

さらに代替の実施形態では、上の行
（Ｘ２，Ｙ２，Ｚ２）＝ｃａｌｃｕｌａｔｅＸＹＺ（Ｒ（ｘ２，ｙ２），Ｇ（ｘ２，ｙ２），Ｂ（ｘ２，ｙ２））
が、
（Ｘ２，Ｙ２，Ｚ２）＝ｃａｌｃｕｌａｔｅＸＹＺ（Ｒ（ｘ，ｙ），Ｇ（ｘ２，ｙ２），Ｂ（ｘ，ｙ））
に交換される。

変化が完全に目に見えないという要件は、数値２０４７および５１１を低下させることによって、緩和することもできる。その場合、不安定なピクセルが存在するときにのみＧ＝Ｇｂｌｕｒを使用するように、テストを復活させるのは良い考えである場合がある。
forすべてのピクセル位置x,y
if( mask(x,y) == 1)
G(x,y) = Gblur(x,y)
end
end

一例として、図１９Ａ〜１９Ｃにおいて、２０４７の代わりに値５１１を使用し、５１１の代わりに値１２７を使用した。上で行ったように、条件Ｇ（ｘ，ｙ）＜４．０ ＡＮＤ Ｇ（ｘ，ｙ）＜０．５＊Ｒ（ｘ，ｙ） ＡＮＤ Ｇ（ｘ，ｙ）＜０．５＊Ｂ（ｘ，ｙ）を使用してマスクが作成された。トーンマッピングされた画像において分かるように、ノイズが大幅に低下している。図１９Ａはトーンマッピングされた元の画像を示しており、図１９Ｂは、アンカー処理チェーンに従って処理された、トーンマッピングされた画像を示しており、図１９Ｃは、不安定なピクセル（すなわち、第１のケースのピクセル）に関して、４ステップを超えてＰＱ（Ｙ）にもｕ’ｖ’にも影響を与えないＧを含むピクセルにわたってＧが平均化されている画像を示している。

さらに別の実施形態では、不安定なピクセルの影響（すなわち、第１のケースのピクセルの影響）が、Ｇが小さく、かつＲが大きい場合に最大になることに注目する。これは、次のようにＹがＲＧＢから計算される方法に起因する。
Ｙ＝０．２１２６３９＊Ｒ＋０．７１５１６９＊Ｇ＋０．０７２１９２＊Ｂ

値｜｜∂ＰＱ（Ｙ）／ｄＧ｜｜は、成分の前にある係数によって決まる。例えば、（１０００，０．１，１００）の場合の｜｜∂ＰＱ（Ｙ）／ｄＧ｜｜は、（１０００，１００，０．１）の場合の｜｜∂ＰＱ（Ｙ）／ｄＢ｜｜よりも１０倍大きくなる。これは単に、０．７１５１６９が０．０７２１９２よりも１０倍大きいからである。したがって、上の経験則を次のように変えることができる。

０．７１５１６９ Ｇがゼロに近いが、０．２１２６３９ Ｒまたは０．０７２１９２ Ｂあるいはその両方がゼロから遠い場合、Ｇを大幅にフィルタリングする必要がある。
０．２１２６３９ Ｒがゼロに近いが、０．７１５１６９ Ｇまたは０．０７２１９２ Ｂあるいはその両方がゼロから遠い場合、Ｒを大幅にフィルタリングする必要がある。
０．０７２１９２ Ｂがゼロに近いが、０．２１２６３９ Ｒまたは０．７１５１６９ Ｇあるいはその両方がゼロから遠い場合、Ｇを大幅にフィルタリングする必要がある。

したがって、代わりにＧのマスクを次のように計算することができる。
forすべてのピクセル位置x,y
if 0.715169*G(x,y) < 4.0 AND 0.715169*G(x,y)<0.5*0.212639*R(x,y) AND 0. 715169*G(x,y)<0.5*0.072192*B(x,y)
mask(x,y) = 1
else
mask(x,y) = 0
end
end

Ｇ成分のみではなく、フィルタリングを３つすべての成分に対して適用する上の方法の一般化されたバージョンは、次のように実現することができる。
forすべてのピクセル位置x,y
valR = R(x,y);
valG = G(x,y);
valB = B(x,y);;
num = 1;
(X, Y, Z) = calculateXYZ(R(x,y), G(x,y), B(x,y))
pqY = PQ(Y)*A
(u’, v’) = calculate_upvp(X, Y, Z)*B
for x,yの近傍内のすべてのピクセル位置x2,y2
(X2, Y2, Z2) = calculateXYZ(R(x2,y2), G(x2,y2), B(x2,y2))
pqY2 = PQ(Y2)*A
(u2’, v2’) = calculate_upvp(X2, Y2, Z2)*B
if(abs(pqY2-pqY) <= 1 AND abs(u2’-u’)<=1 AND abs(v2’-v’)<=1)
valR = valR + R(x2,y2)
valG = valG + G(x2,y2)
valB = valB + B(x2,y2)
num = num + 1
end
end
if num >= 1
Rblur(x,y) = valR/num
Gblur(x,y) = valG/num
Bblur(x,y) = valB/num
else
Rblur(x,y) = R(x,y)
Gblur(x,y) = G(x,y)
Bblur(x,y) = B(x,y)
end
end

例えば、重みＡおよびＢを、それぞれ２０４７および５１１にセットするか、またはそれぞれ５１１および１２７にセットするか、または圧縮用に最適化された値（例えば、さまざまなビットレートでＨＥＶＣエンコーダを使用して圧縮した後に、最良のＢＤレートの数値を与える値）にセットすることができる。

上の方法の「柔軟なフィルタリング」バージョンは、次のように実現することができる。
forすべてのピクセル位置x,y
valR = R(x,y);
valG = G(x,y);
valB = B(x,y);;
num = 1;
(X, Y, Z) = calculateXYZ(R(x,y), G(x,y), B(x,y))
pqY = PQ(Y)*A
(u’, v’) = calculate_upvp(X, Y, Z)*B
for x,yの近傍内のすべてのピクセル位置x2,y2
(X2, Y2, Z2) = calculateXYZ(R(x2,y2), G(x2,y2), B(x2,y2))
pqY2 = PQ(Y2)*A
(u2’, v2’) = calculate_upvp(X2, Y2, Z2)*B
w = f(abs(pqY2-pqY), abs(u2’-u’), abs(v2’-v’))
valR = valR + w*R(x2,y2)
valG = valG + w*G(x2,y2)
valB = valB + w*B(x2,y2)
num = num + w
end
end
if num >= 1
Rblur(x,y) = valR/num
Gblur(x,y) = valG/num
Bblur(x,y) = valB/num
else
Rblur(x,y) = R(x,y)
Gblur(x,y) = G(x,y)
Bblur(x,y) = B(x,y)
end
end

ｆ（ａ，ｂ，ｃ）は、ａ、ｂ、およびｃが小さい場合に１に等しいか、または１に近づき、ａ、ｂ、およびｃのうちのいずれか１つが大きい場合に０に等しいか、または０に近づくという特性を持つ、任意の関数である。

関数ｆ（ａ，ｂ，ｃ）の例は、ｍｉｎ（ａ，ｂ，ｃ）／ｍａｘ（ａ，ｂ，ｃ）およびｍｉｎ（ａ，ｂ，ｃ）／（ｍａｘ（ａ，ｂ，ｃ）＋ｓ）（ｓは小さく、通常は０．１などの正の値である）を含むが、これらに限定されない。

フィルタリングが適用される上の実施形態のすべてについて、フィルタリングされるピクセルと、近傍に存在する異なるピクセルとの間の空間距離を考慮することもでき、例えば、距離が近い近傍のピクセルが、遠くのピクセルよりも強い影響を与えるように考慮することができる。

本明細書における前の実施形態は、問題のある領域を処理するために、ビデオをエンコードする前に、ピクセルを調整することに言及する。これは、元のピクセルを使用できるために、好ましい実行の順序である。さらに、エンコーディングの前にピクセルを平滑化することによって、ビデオをエンコードするために必要なビットが少なくなる。さらに別の実施形態では、代わりに問題の領域が推定され、ビデオをデコードした後に調整される。これを実行する１つの方法は、４：２：０または４：２：２から４：４：４にアップサンプリングすることを含めて、デコードされたＹ’Ｃｂ’Ｃｒ’ピクセルから、再現されたＲＧＢピクセルの第１のバージョンを最初に計算することである。その後、不安定性係数が次のように計算される。
Ｃ_ｉ＝（（∂Ｙ’／ｄＧ）^２＋（∂Ｃｂ’／ｄＧ）^２＋（∂Ｃｒ’／ｄＧ）^２）／（（∂ＰＱ（Ｙ）／ｄＧ）^２＋（∂ｕ’／ｄＧ）^２＋（∂ｖ’／ｄＧ）^２）

上の式において、Ｙ’、Ｃｂ’、Ｃｒ’は、デコードされたピクセル値であり、ＰＱ（Ｙ）、ｕ’、およびｖ’は、再現されたＲＧＢピクセルの第１のバージョンから計算される。その後、前の実施形態のいずれかに従って、再現されたＲＧＢピクセルの第２の最終バージョンが計算される。エンコーディング側で問題を調整できないシナリオでは、このアプローチを使用して、デコーダ側で問題のある領域の一部を調整することができる。

不安定性係数を計算するときに、次のようにベクトルの異なる成分を重み付けすることもできる。
不安定性係数＝Ｃ_ｉ＝｜｜（ｗ１＊∂Ｙ’／ｄＧ，ｗ２＊∂Ｃｒ／ｄＧ，ｗ３＊∂Ｃｂ’／ｄＧ）｜｜^２／｜｜（ｗ４＊∂ＰＱ（Ｙ）／ｄＧ，ｗ５＊∂ｕ’／ｄＧ，ｗ６＊∂ｖ’／ｄＧ）｜｜^２＝（ｗ１^２＊（∂Ｙ’／ｄＧ）^２＋ｗ２^２＊（∂Ｃｂ’／ｄＧ）^２＋ｗ３^２＊（∂Ｃｒ’／ｄＧ）^２）／（ｗ４^２＊（∂ＰＱ（Ｙ）／ｄＧ）^２＋ｗ５^２＊（∂ｕ’／ｄＧ）^２＋ｗ６^２＊（∂ｖ’／ｄＧ）^２）
ここで、ｗ１〜ｗ６は正の重みである。これによって、輝度をクロミナンスよりも大きく重み付けすることができ、その逆に重み付けすることもできる。

フィルタリングを含まない別の戦略は、第１のケースのピクセルを識別し、緑色成分値を固定値（ゼロなど）と単純に置き換えることである。ここでは、緑色成分が「問題のある」成分であると仮定したが、赤色または青色が第１のケースのピクセル内の最小の成分である場合は、同じことが赤色および青色にも当てはまる。最小値を固定値と置き換えることによって、近傍のピクセルの調査および高価なフィルタリングを必要とせずに、Ｙ’Ｃｂ’Ｃｒ’成分のすべての変動性を除去する。この「固定」値は、色によって決めることができる。例えば、色（１０００，０．１，１００）の第１のケースのピクセルの場合は０．５を固定値として使用することができ、一方、色（１００，０．１，１０）の第１のケースのピクセルの場合は値０．０５を使用することができる。

色域に近い色を使用することを単純に回避する従来技術の解決策とは異なり、提案された方法は、色が色域内の特定の場所に含まれるように制限しないことにも注意する。一例として、第１のケースのピクセル（１０００，０．１，１００）内の緑色成分に対して固定値０．０を使用した場合、色域の境界の右上にある（１０００，０，１００）を得る。このような飽和色は、従来技術の解決策では不可能である。

代替の実施形態では、第１のケースのピクセル内の最小の係数が、固定値のセットのうちの１つにセットされる。一例として、値が０〜０．００１の範囲内である場合、値を０にセットすることができ、一方、値が０．００１〜０．０１の範囲内である場合、値を０．００５にセットすることができ、値が０．０１〜０．１の範囲内である場合、値を０．０５にセットすることができる、などとなる。バンディング問題を回避するために、固定値間の距離が人間の目で気付くことができる距離よりも小さくなるように、十分な数のこのような固定値を持つことができる。したがって、固定値のセットは色間で異なることができ、色（１０００，０．１，１００）は固定値の１つのセットを持つことができ、一方、色（１００，０．１，１０）は別の大きいまたは小さい固定値のセットを持つことができる。

実施形態は、次のステップによって説明することができる。
１．１つまたは複数のサンプル（すなわち、ピクセル）が、差が人間の視覚系によってどの程度見えると予想されるかに関連する基準に基づいて評価される。
２．少なくとも１つのサンプル（すなわち、ピクセル）の１つまたは複数の成分が、ステップ１における評価に基づいて修正される。

この方法がエンコーダによって実行されるか、またはエンコーダと直接連動して実行された場合、好ましくは、次のステップが実行される。
１．複数のピクチャからなるビデオシーケンス内の少なくとも１つのピクチャに関して、１つまたは複数のサンプル（すなわち、ピクセル）が、差が人間の視覚系によってどの程度見えると予想されるかに関連する基準に基づいて評価される。
２．少なくとも１つのサンプル（すなわち、ピクセル）の１つまたは複数の成分が、ステップ１における評価に基づいて修正される。
３．修正されたビデオシーケンスがエンコードされる。

一例として、ＲＧＢ＝（１０００，０．１，１００）の緑色成分の±０．０５の変動は、Ｙ’Ｃｂ’Ｃｒ’における表現を大きく変化させるため、フィルタリングする必要がある。

ＲＧＢ＝（１０００，２００，１００）の緑色成分の±０．０５の変動は、Ｙ’Ｃｂ’Ｃｒ’における表現を１ステップ分変化させない。

どちらの場合も、差は人間の目に見えないが、１番目のケースにおいてのみ、実際にフィルタリングする際の問題を調べることが必要な場合がある。

別の実施形態では、不安定であるため、非常に良く見えるアーチファクトを含む符号化のアーチファクトを生成するリスクがあると判定された何らかのサンプル（すなわち、ピクセル）を含む少なくとも領域またはブロックに関して、ＰＱ（Ｙ）、ｕ’、またはｖ’、あるいは人間の視覚に関連する任意のその他の同等のもの（すなわち、輝度およびクロミナンスに基づく表現）のうちの少なくとも１つにおける誤差に対して、符号化モードが最適化される。これは、エンコーダ側で行うことができるが、デコーダ側で行うこともできる。符号化モードの例は、サンプルアダプティブオフセット（ＳＡＯ）または適応ループフィルタリング（ＡＬＦ）などのインループフィルタリングであるが、インター予測またはイントラ予測および残差符号化に関連する符号化モードである場合もある。

デコーダ側の実施形態の呼び出しは、シーケンスレベル（シーケンスパラメータセット（ＳＰＳ）など）、ピクチャレベル（ピクチャパラメータセット（ＰＰＳ）など）、スライスレベル、またはブロックレベルで１つまたは複数の構文要素においてシグナリングされる。このシグナリングは、符号化ループ外の後処理における適用などの場合、付加拡張情報（ＳＥＩ）メッセージにおいて表すことができ、または符号化ループ内の適用などの場合、符号化されたビットストリームにおける標準的シグナリングの一部であることができる。シグナリングが存在する場合、シグナリングは、Ｙ’またはＣｂ’またはＣｒ’、あるいは符号化／デコードされる任意のその他の選択された同等の色成分、または表示を目的とした表現空間のピクセル値の特定の範囲内の値を、１つまたは複数の固定値に強制する。この強制は、平滑化フィルタあるいは単に１つまたは複数の固定値との置き換えとして実装することができる。

実施形態の呼び出しおよびピクセル値の範囲は、色成分のうちの１つのみに特有のものとするか、またはすべての色成分に適用することができる。ピクセル値の範囲および１つまたは複数の固定値は、標準的な復号処理において指定するか、または符号化ビデオビットストリームの一部であることができる。方法の適用は、デコードされた残差の追加およびイントラ／インター予測の後、またはインループフィルタリングの後の動き補償予測において通常は発生する標準的なクリッピング操作の一部であることができる。標準的なクリッピング操作では、１０ビット信号の場合、下限または下側しきい値は通常、０であり、上限は１０２３である。ここでは、標準的なクリッピングに加えて、クリッピングの一種がピクセルの範囲に適用され、それらのピクセルが１つの値と置き換えられるようにし、その結果、ＰＱ（Ｙ）、ｕ’、またはｖ’、あるいは人間の視覚に関連する任意のその他の同等のもののうちの少なくとも１つにおいて、心地良く見える信号が得られる。

前の実施形態の適用は、比較的フラットまたはスムーズであるように視覚的に見える領域において特に重要である。これは、そのような領域においてアーチファクトが特に目立つからである。

ほとんどの実施形態では、緑色チャネル、赤色チャネル、または青色チャネルにおいてサンプル値の修正を実行することが説明されている。しかし、この色空間内で修正を実行する代わりに、Ｙ’またはＣｂ’またはＣｒ’、あるいは符号化のために選択された任意のその他の色空間のうちの１つまたは複数に対して、修正を適用できる。

図２０は、一実施形態に従う方法を示している。この方法は、第１の色表現（ＲＧＢなど）において少なくとも第１のピクセルを表すビットストリームを受信するステップを含む。次のステップは、このピクセルが、人間の目で見ることは難しいが第２の色表現（Ｙ’Ｃｂ’Ｃｒ’など）において大きい変動を生むことができる方法で変動しているかどうかを調査するか、または決定する。そのように決定された場合、このピクセルは、そのような変動性を除去するように処理される。

図２０において、少なくとも第１のピクセルを第２の色表現に変換するステップがオプションであることに、注意するべきである。

実施形態のさらに別の態様は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理するためのデバイスに関する。このデバイスは、ピクチャ内の処理対象のピクセルを識別するように設定され、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。このデバイスは、ピクセルの少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理するようにも設定される。

一実施形態では、このデバイスは、第４のしきい値よりも小さい色の線形表現の色成分の値を含むピクチャ内のピクセルを識別するように設定され、この識別に関して、色の線形表現の色成分の値と別の色成分の値の間の比率が、第５のしきい値よりも小さい。

一実施形態では、このデバイスは、第４のしきい値よりも小さい色の線形表現の色成分の値を含むピクチャ内のピクセルを識別するように設定され、この識別に関して、色の線形表現の少なくとも１つの色成分の値が、第６のしきい値よりも大きい。

一実施形態では、このデバイスは、第４のしきい値よりも小さい色の線形表現の色成分の値を含むピクチャ内のピクセルを識別するように設定され、この識別に関して、色の線形表現の少なくとも１つの他の色成分の値が、色の線形表現の色成分の値の係数倍以上であり、この係数は１よりも大きい。

一実施形態では、このデバイスは、ピクチャ内の処理対象のピクセルを識別するように設定され、この識別に関して、第１のしきい値よりも小さい色の線形表現（ＲＧＢまたはＸＹＺなど）における変動が、第２のしきい値よりも大きい色のＹ’Ｃｂ’Ｃｒ’表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色のＰＱ（Ｙ）ｕ’ｖ’表現またはＰＱ（Ｙ）ｘｙ表現における変動ももたらす。

特定の実施形態では、色の線形表現は、色のＲＧＢ表現である。そのような場合、このデバイスは、ピクセルに関して、色のＲＧＢ表現における少なくとも１つの色成分に対するルマ成分Ｙ’、クロマ成分Ｃｂ’、およびクロマ成分Ｃｒ’の導関数、ならびにＲＧＢ表現における少なくとも１つの色成分に対する輝度に基づく成分ＰＱ（Ｙ）およびクロミナンスに基づく成分ｕ’ｖ’またはｘｙの導関数に基づいて、不安定性係数を計算するように設定される。このデバイスは、不安定性係数が第７のしきい値よりも高い場合に処理対象のピクセルを選択するようにも設定される。

特定の実施形態では、このデバイスは、
または
に基づいて不安定性係数Ｃ_ｉを計算するように設定される。ここで、ｗ_１．．．ｗ_６は非ゼロの重みであるか、または存在せず、ＡはＲＧＢ表現における赤色成分Ｒ、緑色成分Ｇ、および青色成分Ｂのうちの１つを表す。

一実施形態では、このデバイスは、不安定性係数が第７のしきい値よりも高い場合に、ピクセルの少なくとも１つの色成分の元の値を、少なくとも１つの色成分の修正された値と置き換えるように設定される。このデバイスは、不安定性係数が第７のしきい値以下であるが、第８のしきい値以上である場合に、少なくとも１つの色成分の元の値を、少なくとも１つの色成分の元の値および少なくとも１つの色成分の修正された値の線形結合と置き換えるようにも設定される。このデバイスは、不安定性係数が第８のしきい値よりも小さい場合に、少なくとも１つの色成分の元の値を維持するようさらに設定される。

一実施形態では、このデバイスは、色の線形表現の少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理するように設定される。

別の実施形態では、このデバイスは、ピクセルの少なくとも１つの色成分の値を、ピクチャ内の近傍のピクセルの少なくとも１つの色成分の値の加重平均と置き換えるように設定される。

特定の実施形態では、このデバイスは、ピクチャ内の近傍のピクセルを識別するように設定され、この識別に関して、第１のしきい値よりも小さい近傍のピクセルの色の線形表現における変動が、第２のしきい値よりも大きい近傍のピクセルの色の非線形表現における変動をもたらす。近傍のピクセルの色の線形表現における変動は、第３のしきい値よりも小さい、近傍のピクセルの色の輝度およびクロミナンスに基づく表現における変動ももたらす。このデバイスは、ピクセルの少なくとも１つの色成分の値を、ピクチャ内の識別された近傍のピクセルの少なくとも１つの色成分の値の加重平均と置き換えるようにも設定される。

別の特定の実施形態では、このデバイスは、ピクチャ内の近傍のピクセルを識別するように設定され、この識別に関して、ピクセルの輝度に基づく成分の値と近傍のピクセルの輝度に基づく成分の値との間の絶対差が、第９のしきい値以下である。ピクセルのクロミナンスに基づく成分の各値と近傍のピクセルのクロミナンスに基づく成分の各値との間の各絶対差が、第１０のしきい値以下である。このデバイスは、ピクセルの少なくとも１つの色成分の値を、ピクチャ内の識別された近傍のピクセルの少なくとも１つの色成分の値の加重平均と置き換えるようにも設定される。

一実施形態では、このデバイスは、少なくとも１つの色成分の値を固定値にセットするように設定される。

別の実施形態では、このデバイスは、ピクセルの少なくとも１つの色成分の値をフィルタリングするように設定される。

特定の実施形態では、このデバイスは、不安定性係数に基づいて決定されるフィルタ係数を有するフィルタを用いて、ピクセルの少なくとも１つの色成分の値をフィルタリングするように設定される。

図２１は、一実施形態に従うコンバータ１００の特定のハードウェア実装を示している。一実施形態では、コンバータ１００は、人間の目で見ること（可視と呼ばれる場合もある）が難しい方法でピクセルを変動させることによって第２の色表現における大きい変動を生むことができるかどうかを決定するように設定された決定ユニット１０１を備える。そのような決定を、本明細書に記載されたいずれかの実施形態に従って行うことができる。人間の目で見ることが難しいが第２の色表現における大きい変動を生むことができる方法でピクセルが変動できると決定された場合、そのピクセルは、コンバータ１００のピクセルプロセッサ１０２によって、そのような潜在的な変動性を除去するように処理される。コンバータ１００は、ピクセルを第２の色表現に色変換するように設定された変換ユニット１０３を必要に応じて備える。第２の色表現への実際の変換は、後で処理において実行することができる。

一実施形態では、コンバータ１００は、第１の色表現における少なくとも第１のピクセルを表すビットストリームを受信するように設定された入力ユニット１０４、および色変換されたビットストリームをエンコーダに出力するように設定された出力ユニット１０５も備える。

入力ユニット１０４は、特に外部デバイスへの有線接続の場合、一般的な入力ユニットの形態であることができる。あるいは、入力ユニット１０４は、特に外部デバイスへのワイヤレス接続の場合、レシーバまたはトランシーバの形態であることができる。それに応じて、出力ユニット１０５は、特に外部デバイスへの有線接続の場合、一般的な出力ユニットの形態であることができる。あるいは、出力ユニット１０５は、特に外部デバイスへのワイヤレス接続の場合、トランスミッタまたはトランシーバの形態であることができる。

入力ユニット１０４は、好ましくは決定ユニット１０１に接続され、決定ユニット１０１は、好ましくはピクセルプロセッサ１０２に接続され、ピクセルプロセッサ１０２は、変換ユニット１０３にさらに接続され、その後、出力ユニット１０５に接続される。出力ユニット１０５は、ビデオエンコーダ（図示せず）に接続することができる。ビデオエンコーダは、ピクセルを圧縮またはエンコードするように設定される。

あるいは、本明細書に記載されたステップ、機能、手順、モジュール、および／またはブロックのうちの少なくとも一部は、１つまたは複数のプロセッサまたは処理装置などの適切な処理回路によって実行するための、コンピュータプログラムなどのソフトウェアにおいて実装することができる。

処理回路の例は、１つまたは複数のマイクロプロセッサ、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、１つまたは複数の中央処理装置（ＣＰＵ）、ビデオアクセラレーションハードウェア、ならびに／あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）または１つまたは複数のプログラマバブルロジックコントローラ（ＰＬＣ）などの任意の適切なプログラマブルロジック回路を含むが、これらに限定されない。

提案された技術が実装された従来のデバイスまたはユニットの一般的な処理能力を再利用することが可能である場合があることも理解されるべきである。例えば既存のソフトウェアの再プログラミングによって、または新しいソフトウェアコンポーネントを追加することによって、既存のソフトウェアを再利用することが可能である場合もある。

一実施形態では（図２２を参照）、ピクセルを処理するためのデバイスがコンバータ１１０として表され、コンバータ１１０は、プロセッサ１１１およびプロセッサ１１１によって実行可能な命令を含むメモリ１１２を備える。プロセッサ１１１は、処理対象のピクセルを識別するように機能する。プロセッサ１１１は、識別されたピクセルを処理するようにも機能する。

別の実施形態では、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルをエンコードするためのデバイスがコンバータ１１０として表されており、コンバータ１１０は、プロセッサ１１１およびプロセッサ１１１によって実行可能な命令を含むメモリ１１２を備える。プロセッサ１１１は、ピクチャ内の処理対象のピクセルを識別するように機能し、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。プロセッサ１１１は、色の線形表現における少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理するようにも機能する。プロセッサ１１１は、ピクセルの色の線形表現を色の非線形表現に変換するようにさらに機能する。プロセッサ１１１は、色の非線形表現をエンコードするようにさらに機能する。

具体的な例では、コンバータ１１０（図２２を参照）は、プロセッサ１１１およびプロセッサ１１１によって実行可能な命令を含むメモリ１１２を備える。プロセッサ１１１は、人間の目で見ること（可視と呼ばれる場合もある）が難しい方法でピクセルを変動させることによって第２の色表現における大きい変動を生むことができるかどうかを決定するように機能する。そのような決定を、本明細書に記載されたいずれかの実施形態に従って行うことができる。人間の目で見ることが難しいが第２の色表現における大きい変動を生むことができる方法でピクセルが変動できると決定された場合、プロセッサ１１１は、そのような潜在的な変動性を除去するようにピクセルを処理し、その後、ピクセルを色変換するように設定される。

一実施形態では、デバイス１１０は、ビットストリームを受信するように設定された入力ユニット１１３も備える。その場合、プロセッサ１１１は、入力ユニット１１３からビットストリームを受信するように機能する。

一実施形態では、デバイス１１０は、色変換されたピクセルを表すビットストリームを出力するように設定された出力ユニット１１４も備える。

特定の実施形態では、プロセッサ１１１は、メモリ１１２に記憶された命令を実行したときに前述した操作を実行するように機能する。それによって、プロセッサ１１１はメモリ１１２に相互接続されることで、通常のソフトウェア実行を可能にする。

図２３は、プロセッサ２１０、関連するメモリ２２０、および通信回路２３０を備えるユーザ機器（ＵＥ）２００の例を示している概略ブロック図である。

この特定の例では、本明細書に記載されたステップ、機能、手順、モジュール、および／またはブロックのうちの少なくとも一部が、コンピュータプログラム２４０において実装され、コンピュータプログラム２４０は、例えば１つまたは複数のプロセッサ２１０を含む処理回路によって実行されるために、メモリ２２０に読み込まれる。プロセッサ２１０およびメモリ２２０は、相互接続されて、通常のソフトウェア実行を可能にする。通信回路２３０も、プロセッサ２１０および／またはメモリ２２０に相互接続され、ビデオデータおよび変換済みビデオデータ、必要に応じてエンコードされた変換済みビデオデータの入力および／または出力を可能にする。

ユーザ機器２００は、ビデオデータを受信して処理できる任意のデバイスまたは装置であることができる。例えば、ユーザ機器２００は、ラップトップ、スマートフォン、タブレット、セットトップボックスなどの固定型または携帯型のコンピュータであることができる。

「プロセッサ」という用語は、特定の処理、決定、または計算作業を実行するためにプログラムコードまたはコンピュータプログラム命令を実行できる任意のシステムまたはデバイスとして、一般的な意味で解釈されるべきである。

したがって、１つまたは複数のプロセッサを含む処理回路は、コンピュータプログラムを実行した場合に本明細書に記載された処理作業などの明確に規定された処理作業を実行するように設定される。

処理回路は、前述したステップ、機能、手順、および／またはブロックを実行することのみに専念する必要はなく、他の作業を実行することもできる。

一実施形態では、コンピュータプログラム２４０は、プロセッサ２１０によって実行された場合に実施形態に従ってプロセッサ２１０に決定および処理を実行させる命令を含む。

別の実施形態では、コンピュータプログラム２４０は命令を含んでおり、この命令は、プロセッサ２１０によって実行された場合に、プロセッサ２１０に複数のピクチャを含むビデオシーケンスのピクチャ内の処理対象のピクセルを識別させ、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。プロセッサ２１０は、ピクセルの少なくとも１つの色成分の値を修正することによって、識別されたピクセルの処理も行う。

特定の実施形態では、コンピュータプログラム２４０は命令を含んでおり、この命令は、プロセッサ２１０によって実行された場合に、プロセッサ２１０に、色の線形表現における少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理させる。プロセッサ２１０は、ピクセルの色の線形表現を色の非線形表現に変換することも行う。プロセッサ２１０は、色の非線形表現をエンコードすることをさらに行う。

提案された技術は、コンピュータプログラム２４０を含むキャリア２５０も提供する。キャリア２５０は、電子信号、光信号、電磁信号、磁気信号、電気信号、無線信号、マイクロ波信号、またはコンピュータ可読記憶媒体２５０のうちの１つである。

例として、ソフトウェアまたはコンピュータプログラム２４０を、コンピュータ可読媒体２４０（好ましくは、不揮発性コンピュータ可読記憶媒体２５０）上で通常は搬送または記憶されるコンピュータプログラム製品として実現することができる。コンピュータ可読媒体２５０は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、ユニバーサルシリアルバス（ＵＳＢ）メモリ、ハードディスクドライブ（ＨＤＤ）ストレージデバイス、フラッシュメモリ、磁気テープ、または任意のその他の従来のメモリデバイスを含むがこれらに限定されない、１つまたは複数の取り外し可能または取り外し不能なメモリデバイスを含むことができる。したがって、コンピュータプログラム２４０は、図２３のユーザ機器２００によって表されたコンピュータまたは同等の処理デバイスのプロセッサ２１０によって実行するために、そのコンピュータまたは処理デバイスの動作中のメモリに読み込むことができる。

したがって、本明細書で提示されたフロー図は、１つまたは複数のプロセッサによって実行される場合、コンピュータフロー図と見なすことができる。対応するデバイスは、機能モジュールのグループとして規定することができ、プロセッサによって実行される各ステップが機能モジュールに対応する。この場合、機能モジュールはプロセッサ上で実行されるコンピュータプログラムとして実装される。したがって、代わりにデバイスを、機能モジュールのグループとして規定することができ、それらの機能モジュールは、少なくとも１つのプロセッサ上で実行されるコンピュータプログラムとして実装される。

したがって、メモリ内に存在するコンピュータプログラムは、プロセッサによって実行された場合に本明細書に記載されたステップおよび／または作業の少なくとも一部を実行するように設定された適切な機能モジュールとして構造化することができる。そのような機能モジュールの例が図２４に示されている。

一実施形態において、図２４は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理するためのデバイス１２０を示している。デバイス１２０は、ピクチャ内の処理対象のピクセルを識別するための決定ユニット１２１を備え、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。デバイス１２０は、ピクセルの少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理するためのピクセルプロセッサ１２２も備える。

この実施形態では、図２４に示されたエンコーダ１０３およびコンバータ１０４はオプションであり、省略することができる。

別の実施形態において、図２４は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルをエンコードするためのデバイス１２０を示している。デバイス１２０は、ピクチャ内の処理対象のピクセルを識別するための決定ユニット１２１を備え、この識別に関して、第１のしきい値よりも小さいピクセルの色の線形表現における変動が、第２のしきい値よりも大きい色の非線形表現における変動をもたらす。色の線形表現における変動は、第３のしきい値よりも小さい色の輝度およびクロミナンスに基づく表現における変動ももたらす。デバイス１２０は、色の線形表現における少なくとも１つの色成分の値を修正することによって、識別されたピクセルを処理するためのピクセルプロセッサ１２２も備える。デバイス１２０は、ピクセルの色の線形表現を色の非線形表現に変換するためのコンバータ１２４をさらに備える。デバイス１２０は、色の非線形表現をエンコードするためのエンコーダ１２３をさらに備える。

さらにその他の実施形態において、図２４は機能モジュールを含むデバイス１２０の概略ブロック図である。デバイス１２０は、人間の目で見ること（可視と呼ばれる場合もある）が難しい方法でピクセルを変動させることによって、第２の色表現における大きい変動を生むことができるかどうかを決定するための決定ユニット１２１を備える。デバイス１２０は、そのような潜在的変動性を除去するようにピクセルを処理するためのピクセルプロセッサ１２２も備え、ピクセルを第２の色表現に色変換するためのコンバータも備えることができる。デバイス１２０は、変動性を除去するように処理されたピクセルを使用している可能性のある色変換済みビットストリームをエンコードするためのビデオエンコーダ１２３をさらに備える。

実施形態は、図２１、２２、または２４のいずれかにおいて開示されている実施形態などの、いずれかの実施形態に従うデバイスを備えるユーザ機器にも関する。ユーザ機器は、コンピュータ、ラップトップ、スマートフォン、タブレット、およびセットトップボックスからなる群から選択される。

実施形態のさらに別の態様は、複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルのエンコードされたバージョンを表す信号に関する。エンコードされたバージョンは、いずれかの実施形態に従って、ピクセルの色のエンコードされた非線形表現を含む。

特定の実施形態では、この信号は、電子信号、光信号、電磁信号、磁気信号、電気信号、無線信号、およびマイクロ波信号のうちの１つである。

ネットワークノードおよび／またはサーバなどのネットワークデバイスにおいて、ハードウェアおよび／またはソフトウェアなどの計算サービスを提供することが、ますます一般的になってきており、その計算サービスのリソースは、ネットワークを経由してサービスとして遠隔地に提供される。例として、これは、本明細書に記載されているように、機能を１つまたは複数の別々の物理ノードまたはサーバに分散または再配置することができることを意味している。機能を、１つまたは複数の連携して動作している物理マシンおよび／または仮想マシンに再配置または分散することができ、この物理マシンおよび／または仮想マシンは、別々の物理ノード内（すなわち、いわゆるクラウド内）に位置付けることができる。これは、クラウドコンピューティングと呼ばれる場合もあり、クラウドコンピューティングは、ネットワーク、サーバ、ストレージ、アプリケーション、および一般的サービスまたはカスタマイズされたサービスなどの、設定可能な計算リソースのプールへのユビキタスなオンデマンドネットワークアクセスを可能にするためのモデルである。

図２５は、一般的なケースにおいて、異なるネットワークデバイス３００、３０１、３０２間で機能を分散または分割できる方法の例を示す概略図である。この例では、少なくとも２つの個別の、ただし相互接続されたネットワークデバイス３００、３０１が存在しており、これらのネットワークデバイスは、異なる機能を持つか、またはネットワークデバイス３００、３０１間で分割された同じ機能の一部を持つことができる。そのような分散実装の一部である追加のネットワークデバイス３０２が存在することができる。ネットワークデバイス３００、３０１、３０２は、同じワイヤレス通信システムの一部であることができ、またはネットワークデバイスのうちの１つまたは複数は、ワイヤレス通信システムの外部に存在するいわゆるクラウドベースネットワークデバイスであることができる。

図２６は、１つまたは複数のクラウドベースネットワークデバイス３００と連携するアクセスネットワーク１および／またはコアネットワーク２および／またはオペレーションサポートシステム（ＯＳＳ）３を含む、ワイヤレス通信システムの例を示す概略図である。この図は、実施形態に従うアクセスネットワーク１のネットワークノード４およびユーザ機器５も示している。

本発明の概念の特定の態様は、いくつかの実施形態を参照して上で主に説明された。ただし、当業者によって容易に理解されているように、上で開示された実施形態以外の実施形態も同様に可能であり、本発明の概念の範囲に含まれる。同様に、複数の異なる組み合わせが説明されたが、すべての可能な組み合わせは開示されていない。当業者は、他の組み合わせが存在し、本発明の概念の範囲に含まれることを理解するであろう。さらに、当業者によって理解されているように、本明細書において開示された実施形態は、他の規格およびエンコーダシステムまたはデコーダシステムにも同様に適用可能であり、他の特徴に関連して開示された特定の図からの任意の特徴は、任意の他の図に適用することができ、かつ／または異なる特徴と組み合わせることができる。

付録Ａ
本付録Ａは、第２の色空間内の非線形ルマ成分値を導き出すために実施形態に従って使用できるＡｊｕｓｔｙ手法の説明を含む。

高度に非線形な関数、４：２：０または４：２：２のサブサンプリング、および一定でない輝度の順序の組み合わせが、飽和色における深刻なアーチファクトを引き起こす。輝度が類似する２つの色の間の変化から、非常に異なる輝度を持つ再構成画像を得ることができる例が、付録Ｂで説明されている。

デジタルビデオ信号において、サンプル（すなわち、ピクセル）の各成分は、整数値または浮動小数点数値によって表される。ビデオを描画する画面、ＴＶ、またはモニタなどのディスプレイは、ビデオ信号のデジタル値に基づいて光を放射する。デジタル値Ｖを光Ｙに変換する関数は、電気光伝達関数（ＥＴＯＦ）である。従来ＥＯＴＦはガンマ関数と呼ばれる指数関数として表され、ガンマγは指数値である。この指数値は通常、２．４である（ただし、他の値にすることもできる）：Ｙ＝Ｖ^γ。

ガンマ関数の使用は、低い輝度信号に対しては適切に機能するが、輝度が１００ニット（ｃｄ／ｍ^２）を超えた場合、ガンマ関数は人間の視覚系のコントラスト感度とあまり一致しなくなる。したがって、例えば次のような、より非線形な伝達関数が規定された。

この伝達関数は、０〜１の範囲でのその一次導関数の最大値がガンマ関数の一次導関数の最大値よりも大きいという意味で、ガンマ関数よりも非線形である。

データ量を減らすための初期ステップとして、通常はクロマサブサンプリングが圧縮の前に実行される。４：２：２では、クロマ信号が、垂直方向において１／２の解像度に削減される。４：２：０では、クロマ信号が、垂直方向および水平方向の両方において１／２の解像度に削減される。これは通常、良好な品質の信号を得るために、何らかのフィルタリング操作を使用して実行されるが、最近傍の信号を使用して実行することもできる。

４：２：０ビデオまたは４：２：２ビデオを表示するために、デコーダはクロマ信号のアップサンプリングを実行する。このアップサンプリングは、バイリニアフィルタまたはさらに長いフィルタを使用して実行できる。

ただし、高度に非線形な伝達関数、４：２：０または４：２：２のサブサンプリング、および一定でない輝度の順序の組み合わせが、特に飽和色（すなわち、色が色域の境界に近づく）に関して、ビデオデータに深刻なアーチファクトを引き起こす。

この問題を回避するには、いくつかの方法がある。１つの方法は、４：２：０または４：２：２のサブサンプリングを使用せず、代わりに４：４：４を使用することである。ただしこの方法は、圧縮前に４：２：０がビット数を１／２にし、一方、４：２：２がビット数を２／３に減らすため、高価である。別の方法は、高度に非線形な伝達関数を使用しないことである。ただしこれは、暗い領域内でバンディングを生じさせずに、ピーク輝度が非常に高いコンテンツを表すことが難しくなることを意味している。３番目の方法は、一定の輝度を使用すること、すなわち、ＣＩＥ１９３１ ＸＹＺ色空間への変換後に伝達関数を適用することである。ただし、そのような解決策は、放送産業内の一般的な習慣に合わず、一部のシナリオでは困難であり、実現するためのコストが高くなる場合がある。

標準的な圧縮チェーンについて下で説明する。０〜１０，０００の範囲の入力線形光ピクセル（Ｒ，Ｇ，Ｂ）が最初に伝達関数に供給され、０〜１の範囲の新しいピクセル（Ｒ’，Ｇ’，Ｂ’）が得られる。この後に、ピクセルに対して色変換が実行されて、Ｙ’Ｃｂ’Ｃｒ’が得られる。次に、Ｃｂ’成分およびＣｒ’成分が４：２：０にサブサンプリングされる。

圧縮解除後に、４：２：０シーケンスが再び４：４：４にアップサンプリングされ、逆色空間変換によって（Ｒ’，Ｇ’，Ｂ’）が得られ、最終的に、逆伝達関数によって、モニタ上に出力できる線形光ピクセル（Ｒ，Ｇ，Ｂ）が再び得られる。

Ｃｂ’成分およびＣｒ’成分は補間されるが、Ｙ’成分は補間されないことから、問題が発生する。したがって、Ｙ’成分における鋭いシフトがピクセルに存在する場合があるが、Ｃｂ’成分およびＣｒ’成分は補間されるため、追随することができない。一部の色（特に飽和色）の場合、その結果として完全に誤った強度のピクセルが得られ、はっきりと目に見える。

そのような場合において、補間された色から生成されたタプル（Ｙ’，Ｃｂ’，Ｃｒ’）が元の色とそれほど異ならないようにＹ’成分を変更することが提案される。理想的には、差を気付かないほど小さくする。

基本的に、この提案は、Ｃｂ’成分およびＣｒ’成分が誤っている場合、Ｙ’成分も誤った値にすることで、（Ｙ’，Ｃｂ’，Ｃｒ’）を真の色に近づけるようにすることから発している。言い換えると、Ｙ’に誤差を導入することによって、Ｃｂ’およびＣｒ’にすでに存在している誤差を補償して、実際のピクセルに近づくことができる。Ｃｂ’−ＣｂおよびＣｒ’−Ｃｒをしきい値と比較することによって（例えば、第１のサブサンプリングクロマ（４：２：０）から取得するＣｂ’を比較することによって）、Ｃｂ’成分およびＣｒ’成分が誤っていることを決定することができ、その後、（４：４：４に）アップサンプリングする。

第１の態様によれば、Ａｊｕｓｔｙ手法が提供される。この手法は、エンコーダにおいて、またはエンコーダへの前処理において実行できる。この手法では、Ｃｂ’成分および／またはＣｒ’成分が誤差を含むことが決定された場合、Ｃｂ’成分および／またはＣｒ’成分における誤差を補償するために、補正されたＹ’成分が導き出される。

第２の態様によれば、プリプロセッサまたはエンコーダなどのユニットが提供される。このユニットは、Ｃｂ’成分および／またはＣｒ’成分が誤差を含むことを決定するように設定され、Ｃｂ’成分および／またはＣｒ’成分が誤差を含むことを決定した場合、Ｃｂ’成分およびＣｒ’成分における誤差を補償するために、補正されたＹ’成分を導き出すように設定される。

補正されたＹ’成分は、下で説明されているように、さまざまな実施形態に従って導き出すことができる。したがって、その後、補正されたＹ’成分、Ｃｂ’、およびＣｒ’が圧縮され、画像またはビデオがより高い品質で知覚されるという結果が得られる。

Ｙ’成分を変更することによって（すなわち、補正されたＹ’成分を導き出すことによって）、得られる輝度値を補償することができる。目は、クロミナンスの変化に対するよりも輝度の変化に対する方がはるかに敏感であるため、第１のルールは、輝度が常に元の値から大きく逸脱しないようにすることでなければならない。

前述したように、非線形輝度Ｙ’は、ピクセルの線形輝度Ｙが正しい値に近づくように、圧縮前に調整される。これについて、下でさらに説明する。

画面の左の部分（例えば、ピクセル０〜９６）に値（２１４２，０，１３８）が存在し、右の部分（例えば、ピクセル９７〜１９２０）に値（２１４２，４，１３８）が存在するピクチャを仮定する。従来の処理チェーンを使用して、表Ａ１の結果が得られる。

ここでは、Ｙ値は線形輝度である。つまり、元のＹ値は、元の線形光ＲＧＢ（２１４２，４，１３８）を受け取ってＸＹＺに変換した場合に取得する値である。例えば、ＲＧＢがＢＴ．２０２０色空間内にある場合、次式を使用してＸＹＺに変換できる。
Ｘ＝０．６３６９５８×Ｒ＋０．１４４６１×Ｇ＋０．１６８８８１×Ｂ
Ｙ＝０．２６２７００×Ｒ＋０．６７７９９８×Ｇ＋０．０５９３０２×Ｂ （式Ａ２）
Ｚ＝０．００００００×Ｒ＋０．０２８０７３×Ｇ＋１．０６０９８５×Ｂ

このＹ成分は、目が最も敏感に感じる輝度である。Ｙ成分を、Ｒ、Ｇ、およびＢに対して非線形に依存する前述したＹ’成分と混同するべきではない。

表Ａ１から分かるように、Ｙ値は、ＲＧＢ ４：２：０のサブサンプリングおよびアップサンプリングを使用した場合に、ピクセル９７に関して極めて悪くなっている。この例では、圧縮が行われておらず、１０ビットへの量子化のみが行われているが、このＹ値の相対誤差が８５％であることに注意する。目で見ることができる差の大きさを予測するＢａｒｔｅｎのモデルを使用すると、この誤差が１９５Ｂａｒｔｅｎステップ、つまり、気付くことができるものの１９５倍大きいことが分かる。

表Ａ２を見てみると、何が起きているかが分かる。

Ｃｂ’成分を見てみると、不連続が生じる前（すなわち、ピクセル９４）の６５０と、不連続が生じた後の５７５のほぼ中間である６０７の値が存在するが、正しい値は５７５である。問題は、この誤差が、ピクセルのクロミナンスに影響を与えるだけでなく、輝度にも、あまりにも大きくなるという影響を与えることである。本発明のアイデアは、ピクセルのＹ’成分を変更することによって、この誤差を補償することである。実施形態によれば、ピクセルのＹ’成分を４２２にするのではなく、代わりに値３６３を選択する。その結果を表Ａ３に示す。

ここで、新しい色が正しい値に非常に似ていることが分かる。緑色成分が誤った方向に進んでいる（ただし、１．７２ｃｄ／ｍ^２のみ）が、同時に赤色成分がほぼ半減して正しい値になっており（１８４９ｃｄ／ｍ^２の移動）、青色成分も同様に変化している。輝度に対して何が起きているかを表Ａ４に示す。

表Ａ４から分かるように、輝度Ｙにおいて、誤差がかなり小さくなっている。相対誤差は０．２４６５％であり、この値は０．５６０２Ｂａｒｔｅｎステップに相当する（すなわち、見ることができない）。

ここで、代わりに誤差がクロミナンスに存在しているが、人間の視覚系が輝度における誤差よりもクロミナンスにおける誤差の方に敏感でないことを考えると、クロミナンスにおける誤差はそれほど問題にならない。加えて、クロミナンスはサブサンプリングされるため、いずれにせよクロミナンスには誤差が発生する。また、輝度における誤差とクロミナンスにおける誤差の間の適切なトレードオフを実現するように、Ｙ’成分を変更することができる。

さらに、クロミナンスにおける変化は気付かれない場合さえある。唯一の差は、緑色成分が３．９７５０ｃｄ／ｍ^２ではなく０．７００８ｃｄ／ｍ^２であることであるが、赤色成分がほぼ１０００倍大きい（２１４５）ため、いずれにせよこの差は赤色成分と比べると小さく見える可能性が極めて高い。これを確認するための別の方法は、緑色成分と赤色成分の間の比率が、正しい３．９７５０／２１４２．６６１７＝０．００１８５５ではなく０．７００８／２１４５．１１＝０．０００３２７になることである。人間の目でこの色相におけるわずかなシフトを見ることができるかは、明確ではない。したがって、気付くことができるものよりも２００倍大きい輝度における誤差を、非常に小さいため見ることができない可能性があるクロミナンスにおける誤差と置き換えた。

変更されたＹ’値が個々のピクセルのみに影響を与えることは、良いことである。したがって、Ｙ’成分を変更することによって、他のピクセルが犠牲になることはない。

一実施形態では、値Ｙ’がＣｂ’およびＣｒ’の特定の値に対して最適化されない。代わりにＹ’値は、Ｃｂ’およびＣｒ’の何らかの差分値に対して、またはＣｂ’およびＣｒ’の値の範囲に対して輝度の誤差を最小限に抑えるように選択される。これは、クロマアップサンプリング方法が不明であるシナリオにおいて実行できる。

１つの変形は、特定の数のクロマアップサンプリング方法を実行し、その後、異なるアップサンプリング方法の平均平方誤差を最小限に抑えるＹ’値を選択することである。別のバージョンでは、ワーストケース（すなわち、最大の誤差）を最小限に抑えるようにＹ’値が選択される。

別の変形は、Ｃｂ’およびＣｒ’の２つ以上の近傍の値を使用することであり、それらの値を直接使用して、可能なＣｂ’およびＣｒ’の値の範囲を計算する。

最適なＹ’の値を見つけるための複数の方法が存在し、それらの方法のいくつかについて説明する。１つの方法を図２７に示す。

まず、最適化するための目標になる値Ｙ_Ｏを見つける必要がある。元のピクセルＲ_Ｏ、Ｇ_Ｏ、Ｂ_Ｏが、前述したようにＲＧＢからＸＹＺに変換される。その結果、Ｘ_Ｏ、Ｙ_Ｏ、Ｚ_Ｏが得られ、このうち関心があるのはＹ_Ｏのみである。実際は、Ｘ_ＯおよびＺ_Ｏを計算する必要はない。このＹ_Ｏは、線形光における元の輝度であり、目はこの輝度に対して敏感である。テストケースにおいて、Ｙ_Ｏは５７３．５９９１に等しい（表Ａ１を参照）。

次に、既存のＹ’値を、Ｃｂ’値およびＣｒ’値と共に取得する。上のケースでは、（４２２，６０７，８１２）を供給する（表Ａ２を参照）。ここで、Ｙ’Ｃｂ’Ｃｒ’からＲ’Ｇ’Ｂ’への色変換を実行する。この変換は、次式を使用して行われる。
Ｒ’＝Ｙ’＋１．４７４６０×Ｃｒ’
Ｇ’＝Ｙ’−０．１６４５５×Ｃｂ’−０．５７１３５×Ｃｒ’ （式Ａ３）
Ｂ’＝Ｙ’＋１．８８１４０×Ｃｂ’

次に、伝達関数を呼び出す。この場合、ＰＱ−ＥＯＴＦを使用する。ＰＱ−ＥＯＴＦは、例えば次のＭａｔｌａｂコードを使用して実装できる。
function L = pq_eotf(c)
%%%
%%% c goes from 0.0 to 1.0
%%% L is output luminance in nits
%%%

c1 = 0.8359375;
c2 = 18.8515625;
c3 = 18.6875;
n = 0.1593017578125;
m = 78.84375;

c = max(c,0);
c = min(c,1);
L = 10000*((max(c.^(1/m)-c1, 0)./(c2 - c3*c.^(1/m))) .^ (1/n));

この結果は、線形光における色（Ｒ，Ｇ，Ｂ）である。ここで、この色を前述したようにＸＹＺに変換するが、実際には、Ｙを計算すればよい。このＹはピクセルの線形輝度であり、可能な限りＹ_Ｏに近づけたいのは、この輝度である。テストケースにおいて、Ｙは１０６６．４３１１から始まる（表Ａ１を参照）。

ここで、ＹとＹ_Ｏを比較する。ＹがＹ_Ｏよりも大きい場合、Ｙ’値を４２２からさらに小さい値に減らす。例えば、１ステップ減らして４２１を試してみる。次に、全体的計算が再び実行され、新しいＹ値を生成する。このＹ値が再びＹ_Ｏと比較され、まだ大きすぎる場合は、Ｙ’をさらに減らす。最終的に３６３に達し、このとき、得られたＹ値（すなわち、５７２．１８５２）はＹ_Ｏ（すなわち、５７３．５９９１）よりも小さい。ここで、処理が停止する。

上の実施形態では、最適な値に達するために、４２２−３６３＝５９回の反復が実行される。この処理は、高価である場合がある。

したがって、実施形態では、二分探索を実行して最適なＹ’値を見つける。必要に応じて、まず最大のＹ’値（例えば、１０２３）が試みられる。必要に応じて、次に最小のＹ’値（例えば、０）が試みられる。その後、中間の値（例えば、５１２）が試みられる。Ｙ’＝５１２から得られたＹ値がＹ_Ｏよりも大きい場合、区間［０，５１２］を探索する必要がある。Ｙ値がＹ_Ｏよりも小さい場合、代わりに区間［５１２，１０２３］を探索する必要がある。その後、選択された区間の新しい中間の値を計算することよって進み、区間に１つの数値（［３６３，３６３］または［３６３，３６４］など）しか含まれなくなるまで進む。この処理にかかるステップ数は、ｌｏｇ_２（Ｎ）のみであることが保証されている。ここで、Ｎは可能性のある値の数（この場合は、１０２４）である。したがって、ｌｏｇ_２（１０２４）＝１０ステップのみで十分である。

最適な値を計算するためのさらに別の方法は、図２７を最適化問題であると考えて、Ｙ’に関して誤差Ｅ＝（Ｙ−Ｙ_Ｏ）^２を最小限に抑えることである。これは、勾配降下によって実行することができ、勾配降下は、次式のように、Ｙ’に対するＥの勾配（すなわち、ｄＥ／ｄＹ’）を計算し、この勾配の反対方向に少しだけＹ’を更新することによって実行される（Ｙ’_ｎ＋１＝Ｙ’_ｎ−α×ｄＥ／ｄＹ’、αは小さい定数である）。

勾配降下は、低速である可能性があるため、二次導関数ｄ^２Ｅ／ｄＹ’^２を計算または近似する二次最適化アルゴリズムを使用することが、より高速な方法である場合がある。ガウス・ニュートンは、そのようなアルゴリズムの一例である。

別の実施形態では、Ｙ’を計算するために、次の処理が適用される。
−ＸＹＺからＲＧＢへの変換を使用して、Ｘ、Ｙ_Ｏ、およびＺが変換され、新しい値Ｒ１、Ｇ１、およびＢ１を生成する。
−逆伝達関数を使用して、Ｒ１、Ｇ１、およびＢ１が変換され、Ｒ１’、Ｇ１’、およびＢ１’を生成する。
−逆色変換を使用して、Ｒ１’、Ｇ１’、およびＢ１’が変換され、Ｙ’を生成する。

一実施形態では、画像またはピクチャ内のすべてのピクセルのＹ’値が補正される。代替の実施形態では、目に見える輝度の誤差を含むリスクのあるピクセルのみが補正される。このピクセルは、色域の境界に近いピクセルを含むことができるが、色域三角形の中央に近いピクセルを除外することができる。

図２７の下の行を見てみると、処理の最初のステップは次のようになる。
Ｒ’＝Ｙ’＋１．４７４６０×Ｃｒ’
Ｇ’＝Ｙ’−０．１６４５５×Ｃｂ’−０．５７１３５×Ｃｒ’ （式Ａ３）
Ｂ’＝Ｙ’＋１．８８１４０×Ｃｂ’

しかし、Ｃｒ’およびＣｂ’が固定されて、補間され、送信されないため、Ｙ’の右にあるすべての項を次のように定数に置き換えることができる。
Ｒ’＝Ｙ’＋ｃ１
Ｇ’＝Ｙ’＋ｃ２
Ｂ’＝Ｙ’＋ｃ３

次のステップでは、色成分の伝達関数を次のように適用する。
Ｒ＝ＴＦ（Ｒ’）
Ｇ＝ＴＦ（Ｇ’）
Ｂ＝ＴＦ（Ｂ’）
したがって、次式が得られる。
Ｒ＝ＴＦ（Ｙ’＋ｃ１）
Ｇ＝ＴＦ（Ｙ’＋ｃ２）
Ｂ＝ＴＦ（Ｙ’＋ｃ３）

処理の最後のステップでは、ＲＧＢからＸＹＺに変換する。この変換は、次式を使用して行われる。
Ｘ＝０．６３６９５８×Ｒ＋０．１４４６１７×Ｇ＋０．１６８８８１×Ｂ
Ｙ＝０．２６２７００×Ｒ＋０．６７７９９８×Ｇ＋０．０５９３０２×Ｂ （式Ａ２）
Ｚ＝０．００００００×Ｒ＋０．０２８０７３×Ｇ＋１．０６０９８５×Ｂ
これらのうち、関心があるのはＹ成分のみであるため、次式を使用する。
Ｙ＝０．２６２７００×Ｒ＋０．６７７９９８×Ｇ＋０．０５９３０２×Ｂ

前の式をこれに挿入して、次式が得られる。
Ｙ＝０．２６２７００×ＴＦ（Ｙ’＋ｃ１）＋０．６７７９９８×ＴＦ（Ｙ’＋ｃ２）＋０．０５９３０２×ＴＦ（Ｙ’＋ｃ３）
これを短縮して、次のように表す。
Ｙ＝ｆ（Ｙ’）

この式の出力値Ｙを、元のＹ_Ｏに一致させる必要がある。Ｙは、３つの異なる場所にあるＹ’に非線形な方法で依存しているため、Ｙ’＝ｆ^−１（Ｙ）を取得できるように逆関数を求めるための簡単な方法はないように思われる。

しかし、非線形なＴＦ（ｘ）〜ｋｘ＋ｍを線形化することが可能である。これを３つの異なる場所で実行すると、次式が得られる。
Ｙ〜ｋ１×Ｙ’＋ｍ１＋ｋ２×Ｙ’＋ｍ２＋ｋ３×Ｙ’＋ｍ３
これは、次式と等価である。
Ｙ〜（ｋ１＋ｋ２＋ｋ３）×Ｙ’＋（ｍ１＋ｍ２＋ｍ３）

これより、次の逆関数が得られる。
Ｙ’〜Ｙ’ｋ＝（Ｙ_Ｏ−（ｍ１＋ｍ２＋ｍ３））／（ｋ１＋ｋ２＋ｋ３）

したがって、Ｙ’ｋが、以前よりもＹ_Ｏに近い値Ｙｋを生成する可能性が高い。関数を、この新しいポイントＹ’ｋで再び線形化して、新しい値Ｙ’ｋ＋１などを得ることができる。

これらの反復的技法のすべてに関して、Ｙ_Ｏ値に最も近いＹ値を生成する絶対的に最適な１０ビット値を見つける必要はないことに注意する必要がある。数回の反復を使用するだけで、または１回の反復でさえ十分である場合がある。１回の反復から得られた補正済みのＹ値は、全く補正しない場合よりもはるかに良い値である可能性が非常に高い。

一部の線形化を前もって実行することもできる。上記で注目したように、最悪の問題は色域の境界で発生する。したがって、赤の原色を緑の原色に接続する線に関する１つの線形化、赤の原色を青の原色に接続する線に関する１つの線形化、および緑の原色を青の原色に接続する線に関する１つの線形化が存在することができる。別の方法は、赤の原色の近くで使用される線形化、緑の原色の近くで使用される別の線形化、および青の原色の近くで使用される第３の線形化が存在することである場合がある。さらに、図２８に示されているように、色域の線に沿って複数の線形化が存在することが可能である。

したがって、異なる領域内に異なる線形化が存在することができる。色が実線の円内に存在する場合、緑の原色に近く、１つの線形化を使用できる。さらに線に沿って赤の原色に近づいた場合（すなわち、破線のボックス内）、第２の線形化を使用できる。色域の境界の、赤の原色と緑の原色の間のおおよそ半分の位置に近づいた場合（すなわち、点線のボックス内）、第３の線形化を使用できる。赤の原色にさらに近づいた場合（すなわち、実線のボックス内）、第４の線形化を使用できる。点線の円内に存在する場合（すなわち、赤の原色に近い場合）、第５の線形化を使用できる。三角形内の他の２本の線でも、同じ分割を使用できる。最後に、三角形内ではあるが、ボックス内でも円内でもない領域を、各領域に異なる線形化が存在する１つまたは複数の領域に分割することができる。

別の方法は、ルックアップテーブル（ＬＵＴ）を作成することである。上の定式化から分かるように、Ｃｂ’、Ｃｒ’、および目的のＹ値が存在する場合、前述した反復的技法のいずれかを使用して最適なＹ’を見つけることができる。したがって、Ｃｂ’、Ｃｒ’、およびＹのすべての可能な組み合わせについて、ルックアップテーブルを作成することができる。例えば、Ｃｂ’およびＣｒ’が１０ビットに量子化されると仮定する。さらに、Ｙも１０ビットに量子化すると仮定する。その場合、２^１０×２^１０×２^１０個の異なる値がルックアップテーブルに含まれている必要がある。これは、２^３０個の値に相当する。各値が２バイトである場合、これは２^３１バイト、つまり２Ｇｂであることを意味する。これは大きいが、特に将来は、実現不可能ではないかもしれない。

Ｙを量子化するときに、注意が必要になる場合がある。Ｙは完全に線形であるため、Ｙを単純に量子化することは非効率的である場合がある。代わりに、Ｙｎｏｎｌｉｎｅａｒ＝ＴＦ（Ｙ）を作成し、入力変数としてＣｂ’、Ｃｒ’、およびＹｎｏｎｌｉｎｅａｒを使用して、ＹのＬＵＴを作成した方がよい場合がある。Ｃｂ’、Ｃｒ’、およびＹが与えられた場合、最初にＹｎｏｎｌｉｎｅａｒ＝ＴＦ（Ｙ）を計算し、次にＹ’＝ＬＵＴ（Ｃｂ’，Ｃｒ’，Ｙｎｏｎｌｉｎｅａｒ）を求める。

より小さいＬＵＴを使用することが可能である場合もある。例えば、Ｙ（またはＹｎｏｎｌｉｎｅａｒ）、Ｃｂ’、およびＣｒ’を例えば６ビットに量子化することが可能である場合がある。その場合、テーブルのサイズは２^{（６＋６＋６）}＝２^１８個の値、つまり２^１９バイトになり、これは５１２キロバイトに等しい。これは、現在のハードウェアを使用した場合でも妥当なサイズである。

真の値に最も近い量子化された値Ｃｂ’、Ｃｒ’、およびＹを選択し、それらの値を補間することが可能である場合がある。一例として、Ｃｂ’の実際の値が６ビットに量子化されたＣｂ’よりも大きいが、６ビットに量子化されたＣｂ’＋１よりも小さい場合、次式が適切な近似になることができる。
Ｙ’＝（ＬＵＴ（Ｃｂ’６ｂｉｔ，Ｃｒ’６ｂｉｔ，Ｙ６ｂｉｔ）＋ＬＵＴ（Ｃｂ’６ｂｉｔ＋１，Ｃｒ’６ｂｉｔ，Ｙ６ｂｉｔ））／２

３つ以上の値の間を補間することも可能である。

一実施形態では、Ｙ’の値を導き出すために、ルックアップテーブルが使用される。１つのバージョンでは、ルックアップテーブルは、Ｙ_Ｏ、Ｃｂ’、およびＣｒ’のすべての可能な値を含む。１０ビットビデオの場合、１０２４×１０２４×１０２４個のエントリが得られ、アプリケーションによっては、このサイズを受け入れることができる。別のバージョンでは、ルックアップテーブル（ＬＵＴ）が、例えばＹ_Ｏ、Ｃｂ’、およびＣｒ’のうちの１つまたは複数を例えば８ビットに丸めることによって、切り詰められる。切り詰められたルックアップテーブルが使用される場合、ＬＵＴから取り出されたＹ’から開始して最適なＹ’を見つける改善ステップを使用して、アルゴリズムを拡張することができる。１つのバージョンでは、ＬＵＴは、Ｃｂ’値および／またはＣｒ’値が、Ｙ’がＹ_Ｏから大きく異なった値になる可能性があるような値である場合、すなわち、最初に計算されたＹ’が、Ｙ_Ｏから大きく異なった線形Ｙ値を与える場合にのみ使用され、それによって、Ｃｂ’およびＣｒ’の多くの値は何も問題を引き起こさないため、ＬＵＴのサイズを大幅に削減することができる。

一実施形態では、Ｙ_Ｏ、Ｃｂ’、およびＣｒ’の関数（例えば、線形結合、多項式関数、指数関数、対数関数、三角関数など）が、Ｙ’の導出に使用される。Ｙ_Ｏ、Ｃｂ’、およびＣｒ’の任意の値に関して、ＹとＹ_Ｏの間の差が特定のしきい値を下回るか、または導出されたＹ’と最適なＹ’の間の差が特定のしきい値を下回るように、関数を規定することができる。

一実施形態では、Ｙ_Ｏ、Ｃｂ’、およびＣｒ’の複数の異なる関数が、Ｙ’を導出するために規定される。使用するべき関数の選択は、Ｙ_Ｏ、Ｃｂ’、およびＣｒ’の値に基づく。

Ｙ’を導出するための方法が、最初は、Ｙ’とＹ_Ｏの間の差が特定のしきい値を超えた場合にのみ呼び出されることは、本明細書に記載された各実施形態に当てはまる可能性がある。

付録Ｂ
付録Ｂでは、４：２：０サブサンプリングに起因する色のアーチファクトについて調査する。まず、照合しようとする試みが行われるが、最悪の値を再現することはできない。これは、すでに修正されているＨＤＲＴｏｏｌｓのバグのためである可能性が高い。次に、４：２：０サブサンプリングから生じる輝度における最悪の相対誤差に関して、探索が実行された。４０００ニットに制限された画面上に表示された場合でも、８６％（１９５Ｂａｒｔｅｎステップ）の相対誤差が発生する可能性があることが分かっている。データがＲｅｃ７０９に制限され、ＢＴ．２０２０コンテナ内に保持された場合でも、３０Ｂａｒｔｅｎステップの誤差が生じる可能性がある。ＢＴ．２０２０コンテナ内のＰ３コンテンツの場合、４０Ｂａｒｔｅｎステップの誤差が生じる可能性がある。

１ 概要
４：２：０サブサンプリングが使用された場合、圧縮が行われない場合でも、色における小さい変化が驚くほど大きいアーチファクトをもたらす可能性があることが、知られている。

１．１ 照合の不一致
この調査は、Ｍ３５２５５［１］の照合として開始され、下の表Ｂ１に転載されたスライド１３の結果を再現することを試みている。この結果は、ピクセル９５までの画像の左側部分に色（３０００，０，１００）が存在し、ピクセル９６以降の右側部分に色（３０００，４，１００）が存在するテスト画像から得られた。

アンカー（Ｎ１４５４８、［２］）の場合と同じ手順を使用して照合したとき、表Ｂ２に示された結果を得た。ダウンサンプリングの場合、［２］のセクション２．４．７で説明されているフィルタに従い（２および３タップ）、アップサンプリングの場合、［２］のセクション２．４．８に従った（４タップフィルタ）。

この表から分かるように、これらは実際に一致率が悪く、ピクセル番号９４と９８のみが一致しており、ピクセル番号９５〜９７、または９９は一致していない。しかし、代わりに不連続部分をピクセル９７に移動すると、表Ｂ３に示されているように、非常に良い一致が得られる。

表Ｂ３では、ピクセル番号９６のみが一致していない。このピクセルは、最も奇妙な値（１００００，１．５７，４０２．２５）を持つピクセルでもあり、不連続部分を置く場所に応じて、正しい答えは（３０００，０，１００）または（３０００，４，１００）である。

この照合における不一致は、ＨＤＲｔｏｏｌｓにおいてすでに補正されている誤差に起因するものであるかのように見える。リビジョン４９２に戻した場合、Ｍ３５２５５［１］における値と同じ値を生成できる。ＨＤＲｔｏｏｌｓのより新しいバージョン（リビジョン５７３）が正しいことを確認するために、Ｍａｔｌａｂで処理チェーンを独立して実装し、表Ｂ３と同じ結果を得た。一致を得るために不連続部分を移動する必要があった理由は、恐らくリビジョン４９２における欠陥のあるフィルタリングに起因しており、この欠陥は現在のバージョンにおいて修正されている。

１．２ 丸めの問題
Ｍａｔｌａｂでの照合を実装するときに、ＨＤＲｔｏｏｌｓにおけるＥＸＲへの浮動小数点数値の変換が丸め処理を欠いていることを理解した。仮数の２３ビットを１０ビットに丸める代わりに、仮数は単に右にシフトされ、基本的にｒｏｕｎｄ（）をｆｌｏｏｒ（）に置き換えている。これは最終的な結果に影響を与える。一例として、３００７．９の浮動小数点数値は、３００８．０が非常に近い値であるにもかかわらず、３００６．０に変換される。一致を得るために、ＨＤＲｔｏｏｌｓの現在のリビジョン（［３］のリビジョン５８７）において、Ｍａｔｌａｂコードにｆｌｏｏｒ（）タイプの変換をエミュレートさせた。

１．３ 色の外れ値
ピクセル９６が極端な外れ値ではなくなっている場合でも、ピクセル９７はまだ正しい値からかなり遠い（（３０００，４，１００）ではなく、（５８６０，２．５８，１９９）になっている）ことに注意する。このことから、４：２：０サブサンプリングがどの程度悪い外れ値を生成する可能性があるのか、およびその外れ値が生じる場所はどこかという疑問が生じる。この疑問に答えるには、まず、「悪い」ことが何を意味しているかを規定する必要がある。人間の視覚系がクロミナンスにおける変化よりも輝度における変化の方に敏感であるため、輝度に集中した。したがって、入力ＥＸＲ画像と出力ＥＸＲ画像の両方を、どちらも線形光からＸＹＺに変換し、Ｙにおける差を形成した。次に、相対誤差を取得するために、元のＹ成分で割った。その後、Ｍ３５２５５［１］において行われたように、左側部分が１つの色であり、右側部分が同じ色に長さ４の小さい差分を加えた色であるような種類のすべての可能な画像上で、ピクセル９７のこの相対誤差を最大化する小規模のプログラムを記述した。

このプログラムを実行することによって、表Ｂ４に示されているように、左側部分における色（２１４２，０，１３８）および右側部分における色（２１４２，４，１３８）から最大の目に見える誤差が生じるという答えが得られた。「最悪」の誤差を検索する最適化ソフトウェアは、全体的な最大値を検出することを保証しない。したがって、色域内にさらに悪い位置が存在する場合がある。

２１４２よりも高い赤色成分が存在する場合、さらに高い相対誤差が発生することに注意する必要がある。ただし、４０００を超えるＲＧＢ値はモニタによって４０００に縮小されると仮定したため、より高い値が使用された場合、実際の画面上の差は減少し始めると考えている。

表Ｂ４から分かるように、ＲＧＢ４：４：４の相対誤差は０．０３０４％である。この相対誤差を正しく捕らえるために、この相対誤差をＢａｒｔｅｎの曲線と比較した（コントラスト感度のＢａｒｔｅｎの曲線を示している図２９を参照）。この曲線の下のコントラストは、目に見えない。表Ｂ５は、図２９の曲線をプロットするために使用された値を示している。

図２９から分かるように、相対誤差の許容範囲は、輝度が増加すると共に減少する。１００ニットでは、０．４４％の誤差に気付くことができ、一方、１０００ニットでは、０．４０％の誤差に気付くことができる。これらの間の４５５ニットが正しい値であるため、高い方の値０．４４％を使用する。これによって、気付くことができないことを意味する０．０６９のＢａｒｔｅｎステップが得られる。

一方、４：２：０サブサンプリングの場合、相対誤差は８５．９２％である。この値は、１９５を超えるＢａｒｔｅｎステップに相当し、はっきりと目に見えるはずである。したがって、アンカー生成の場合と同様に、４：２：０サブサンプリングが、少なくとも一定でない輝度および高度に非線形な伝達関数と共に、はっきりと目に見えるアーチファクトを生む可能性があると結論付けることが妥当であるように思われる。

色域の境界線上のこの最悪の誤差は正しく、緑色がゼロであるため、色（２１４２，０，１３８）が赤の原色と緑の原色の間の線上にあることに注意する。これは、Ｍ３５２５５［１］において報告されていることと一致し、Ｍ３５２５５［１］は、色域の境界上の色に問題があることも指摘している。

１．４ 入力が７０９データである場合
表Ｂ１に示されたデータは、ＢＴ．２０２０の原色に関するデータであった。入力データがＲｅｃ７０９の原色を含むデータであるが、コンテナがＢＴ．２０２０である場合、色域の境域に達することはできない。これは、図３０から分かるように、Ｒｅｃ７０９の色域三角形がＢＴ．２０２０の三角形の内部にあり、色域の境域に接していないためである。したがって、相対誤差が類似すると仮定することは妥当である。

ＢＴ．２０２０への変換後に最大の相対誤差が生じるＲｅｃ７０９の色を見つけるために、最適化ソフトウェアを実行した。その結果、画面の左側部分の（０，０，５０）および右側部分の（２，３，４９）という２つの色が得られた。これを表Ｂ６に示す。

ここでは、０．５４％に等しい１０ニットでＢａｒｔｅｎ曲線を使用した。ＲＧＢ ４：４：４の場合、気付くことができる１．２３０５Ｂａｒｔｅｎステップの誤差が得られ、一方、ＲＧＢ ４：２：０における誤差は３３Ｂａｒｔｅｎステップに等しく、はっきりと目に見えるはずである。Ｒｅｃ７０９データから開始して、色がＢＴ．２０２０の色域の境界のどの部分にも達しないようにしているため、誤差が小さくなっている（１９５Ｂａｒｔｅｎステップに対する３３Ｂａｒｔｅｎステップ）ことも妥当である。

最適化の結果から、最悪の誤差が青の原色の近くで得られることを発見したことにも注目する。これは、図３０から分かるように、Ｒｅｃ７０９の青の原色がＢＴ．２０２０色域の境界に近いためである可能性が高い。

１．５ 入力がＰ３データである場合
ＢＴ．２０２０コンテナに含まれているＰ３ソースデータに対して、同じテストを実行することができる。その場合、最悪の色は、表Ｂ７に示されているように、（２．４８，３．３２，４．６３）および（３．２９，０，６．７１）である。

誤差が、Ｒｅｃ７０９の誤差とＢＴ．２０２０の誤差の間のどこかに存在すると仮定した。その仮定はやはり事実であり、ここで４０．３８Ｂａｒｔｅｎステップに相当する誤差を得た。Ｂａｒｔｅｎ値が変化するため、最悪値を探索する場合、Ｂａｒｔｅｎ値をループに含めることが重要であることに注意する。０．８５％に等しい１ｃｄ／ｍ^２のＢａｒｔｅｎ値を使用した。

１．６ 結論
付録では、４：２：０サブサンプリングに起因する輝度における誤差を調査した。Ｍ３５２５５［１］の最悪の外れ値に一致することができたが、このワーストケースの誤差は依然として大きく、一般的なデータではほぼ２００Ｂａｒｔｅｎステップに達する。ソースデータがＲｅｃ７０９に制約され、ＢＴ．２０２０コンテナに格納された場合でも、誤差は依然として大きく、３０Ｂａｒｔｅｎステップを超え、ＢＴ．２０２０コンテナ内のＰ３データの場合は４０Ｂａｒｔｅｎステップを超える。

前述した実施形態は、本発明のいくつかの説明に役立つ例であると理解されるべきである。本発明の範囲を逸脱することなく、実施形態に対してさまざまな変更、組み合わせ、および変形を行うことができることが、当業者によって理解されるであろう。特に、技術的に可能な場合、その他の構成において、さまざまな実施形態における異なる部分の解決策を組み合わせることができる。ただし、本発明の範囲は、添付された請求項によって規定される。

Claims (41)

1. 複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理する方法であって、
   前記ピクチャ内の処理対象のピクセルを識別すること（Ｓ１）であって、
   第１のしきい値よりも小さい前記ピクセルの色の線形表現における変動が、第２のしきい値よりも大きい前記色の非線形表現における変動をもたらし、
   前記色の前記線形表現における前記変動が、第３のしきい値よりも小さい前記色の輝度およびクロミナンスに基づく表現における変動をもたらす、識別することと、
   前記ピクセルの少なくとも１つの色成分の値を修正することによって、前記識別されたピクセルを処理すること（Ｓ２）とを含む、方法。
2. 処理対象の前記ピクセルを識別すること（Ｓ１）が、第４のしきい値よりも小さい前記色の前記線形表現の色成分の値を含む前記ピクチャ内のピクセルを識別すること（Ｓ１）を含み、前記色の前記線形表現の前記色成分の前記値と別の色成分の値の間の比率が、第５のしきい値よりも小さい、請求項１に記載の方法。
3. 処理対象の前記ピクセルを識別すること（Ｓ１）が、第４のしきい値よりも小さい前記色の前記線形表現の色成分の値を含む前記ピクチャ内のピクセルを識別すること（Ｓ１）を含み、前記色の前記線形表現の少なくとも１つの色成分の値が、第６のしきい値よりも大きい、請求項１または２に記載の方法。
4. 処理対象の前記ピクセルを識別すること（Ｓ１）が、前記第４のしきい値よりも小さい前記色の前記線形表現の前記色成分の前記値を含む前記ピクチャ内のピクセルを識別すること（Ｓ１）を含み、前記色の前記線形表現の前記少なくとも１つの他の色成分の前記値が、前記色の前記線形表現の前記色成分の前記値の係数倍以上であり、前記係数が１よりも大きい、請求項３に記載の方法。
5. 処理対象の前記ピクセルを識別すること（Ｓ１）が、前記ピクチャ内の処理対象のピクセルを識別することを含み、
   前記第１のしきい値よりも小さい前記色の前記線形表現における変動が、前記第２のしきい値よりも大きい前記色のＹ’Ｃｂ’Ｃｒ’表現における変動をもたらし、
   前記色の前記線形表現における前記変動が、前記第３のしきい値よりも小さい前記色のＰＱ（Ｙ）ｕ’ｖ’表現またはＰＱ（Ｙ）ｘｙ表現における変動をもたらす、請求項１から４のいずれか一項に記載の方法。
6. 前記色の前記線形表現が前記色のＲＧＢ表現であり、処理対象の前記ピクセルを識別すること（Ｓ１）が、
   前記ピクセルに関して、前記色の前記ＲＧＢ表現における少なくとも１つの色成分に対するルマ成分Ｙ’、クロマ成分Ｃｂ’、およびクロマ成分Ｃｒ’の導関数、ならびに前記ＲＧＢ表現における前記少なくとも１つの色成分に対する輝度に基づく成分ＰＱ（Ｙ）およびクロミナンスに基づく成分ｕ’ｖ’またはｘｙの導関数に基づいて、不安定性係数を計算すること（Ｓ２０）と、
   前記不安定性係数が第７のしきい値よりも高い場合に、処理対象の前記ピクセルを選択すること（Ｓ２１）とを含む、請求項５に記載の方法。
7. 前記不安定性係数を計算すること（Ｓ２０）が、
   または
   に基づいて前記不安定性係数Ｃ_ｉを計算すること（Ｓ２０）を含み、ｗ_１．．．ｗ_６が非ゼロの重みであるか、または存在せず、Ａが前記ＲＧＢ表現における赤色成分Ｒ、緑色成分Ｇ、および青色成分Ｂのうちの１つを表す、請求項６に記載の方法。
8. 前記識別されたピクセルを処理すること（Ｓ２）が、
   前記不安定性係数が前記第７のしきい値よりも高い場合に、前記ピクセルの少なくとも１つの色成分の元の値を、前記少なくとも１つの色成分の修正された値と置き換えること（Ｓ２２）と、
   前記不安定性係数が前記第７のしきい値以下であるが、第８のしきい値以上である場合に、前記少なくとも１つの色成分の前記元の値を、前記少なくとも１つの色成分の前記元の値および前記少なくとも１つの色成分の前記修正された値の線形結合と置き換えること（Ｓ２４）と、
   前記不安定性係数が前記第８のしきい値よりも小さい場合に、前記少なくとも１つの色成分の前記元の値を維持すること（Ｓ２５）とを含む、請求項６または７に記載の方法。
9. 前記識別されたピクセルを処理すること（Ｓ２）が、前記色の前記線形表現の少なくとも１つの色成分の値を修正することによって、前記識別されたピクセルを処理すること（Ｓ２）を含む、請求項１から８のいずれか一項に記載の方法。
10. 前記識別されたピクセルを処理すること（Ｓ２）が、前記ピクセルの前記少なくとも１つの色成分の前記値を、前記ピクチャ内の近傍のピクセルの前記少なくとも１つの色成分の値の加重平均と置き換えること（Ｓ３１）を含む、請求項１から９のいずれか一項に記載の方法。
11. 前記ピクチャ内の近傍のピクセルを識別すること（Ｓ３０）をさらに含み、
    前記第１のしきい値よりも小さい前記近傍のピクセルの色の線形表現における変動が、前記第２のしきい値よりも大きい前記近傍のピクセルの前記色の非線形表現における変動をもたらし、
    前記近傍のピクセルの前記色の前記線形表現における前記変動が、前記第３のしきい値よりも小さい前記近傍のピクセルの前記色の輝度およびクロミナンスに基づく表現における変動をもたらし、前記値を置き換えること（Ｓ３１）が、前記ピクセルの前記少なくとも１つの色成分の前記値を、前記ピクチャ内の前記識別された近傍のピクセルの前記少なくとも１つの色成分の値の加重平均と置き換えること（Ｓ３１）を含む、請求項１０に記載の方法。
12. 前記ピクチャ内の近傍のピクセルを識別すること（Ｓ３０）をさらに含み、
    前記ピクセルの輝度成分の値と前記近傍のピクセルの輝度成分の値との間の絶対差が第９のしきい値以下であり、
    前記ピクセルのクロミナンス成分の各値と前記近傍のピクセルのクロミナンス成分の各値との間の各絶対差が第１０のしきい値以下であり、前記値を置き換えること（Ｓ３１）が、前記ピクセルの前記少なくとも１つの色成分の前記値を、前記ピクチャ内の前記識別された近傍のピクセルの前記少なくとも１つの色成分の値の加重平均と置き換えること（Ｓ３１）を含む、請求項１０に記載の方法。
13. 前記識別されたピクセルを処理すること（Ｓ２）が、前記少なくとも１つの色成分の前記値を固定値にセットすること（Ｓ４０）を含む、請求項１から７のいずれか一項に記載の方法。
14. 前記識別されたピクセルを処理すること（Ｓ２）が、前記ピクセルの前記少なくとも１つの色成分の前記値をフィルタリングすること（Ｓ４１）を含む、請求項１から７のいずれか一項に記載の方法。
15. 前記値をフィルタリングすること（Ｓ４１）が、前記不安定性係数に基づいて決定されるフィルタ係数を有するフィルタを用いて前記ピクセルの前記少なくとも１つの色成分の前記値をフィルタリングすること（Ｓ４１）を含む、請求項６または７に従属する場合の請求項１４に記載の方法。
16. 複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルをエンコードする方法であって、
    前記ピクセルの色の線形表現における前記ピクセルの少なくとも１つの色成分の値を修正するために、請求項１から１５のいずれか一項に従って前記ピクセルを処理すること（Ｓ１、Ｓ２）と、
    前記ピクセルの前記色の前記線形表現を前記色の非線形表現に変換すること（Ｓ３）と、
    前記色の前記非線形表現をエンコードすること（Ｓ４）とを含む、方法。
17. 複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理するためのデバイス（１００、１１０）であって、
    前記デバイス（１００、１１０）が、前記ピクチャ内の処理対象のピクセルを識別するように設定され、
    第１のしきい値よりも小さい前記ピクセルの色の線形表現における変動が、第２のしきい値よりも大きい前記色の非線形表現における変動をもたらし、
    前記色の前記線形表現における前記変動が、第３のしきい値よりも小さい前記色の輝度およびクロミナンスに基づく表現における変動をもたらし、
    前記デバイス（１００、１１０）が、前記ピクセルの少なくとも１つの色成分の値を修正することによって、前記識別されたピクセルを処理するように設定される、デバイス。
18. 前記デバイス（１００、１１０）が、第４のしきい値よりも小さい前記色の前記線形表現の色成分の値を含む前記ピクチャ内のピクセルを識別するように設定され、前記色の前記線形表現の前記色成分の前記値と別の色成分の値の間の比率が、第５のしきい値よりも小さい、請求項１７に記載のデバイス。
19. 前記デバイス（１００、１１０）が、第４のしきい値よりも小さい前記色の前記線形表現の色成分の値を含む前記ピクチャ内のピクセルを識別するように設定され、前記色の前記線形表現の少なくとも１つの色成分の値が、第６のしきい値よりも大きい、請求項１７または１８に記載のデバイス。
20. 前記デバイス（１００、１１０）が、前記第４のしきい値よりも小さい前記色の前記線形表現の前記色成分の前記値を含む前記ピクチャ内のピクセルを識別するように設定され、前記色の前記線形表現の前記少なくとも１つの他の色成分の前記値が、前記色の前記線形表現の前記色成分の前記値の係数倍以上であり、前記係数が１よりも大きい、請求項１９に記載のデバイス。
21. 前記デバイス（１００、１１０）が、前記ピクチャ内の処理対象のピクセルを識別するように設定され、
    前記第１のしきい値よりも小さい前記色の前記線形表現における変動が、前記第２のしきい値よりも大きい前記色のＹ’Ｃｂ’Ｃｒ’表現における変動をもたらし、
    前記色の前記線形表現における前記変動が、前記第３のしきい値よりも小さい前記色のＰＱ（Ｙ）ｕ’ｖ’表現またはＰＱ（Ｙ）ｘｙ表現における変動をもたらす、請求項１７から２０のいずれか一項に記載のデバイス。
22. 前記色の前記線形表現が前記色のＲＧＢ表現であり、
    前記デバイス（１００、１１０）が、前記ピクセルに関して、前記色の前記ＲＧＢ表現における少なくとも１つの色成分に対するルマ成分Ｙ’、クロマ成分Ｃｂ’、およびクロマ成分Ｃｒ’の導関数、ならびに前記ＲＧＢ表現における前記少なくとも１つの色成分に対する輝度に基づく成分ＰＱ（Ｙ）およびクロミナンスに基づく成分ｕ’ｖ’またはｘｙの導関数に基づいて、不安定性係数を計算するように設定され、
    前記デバイス（１００、１１０）が、前記不安定性係数が第７のしきい値よりも高い場合に処理対象の前記ピクセルを選択するように設定される、請求項２１に記載のデバイス。
23. 前記デバイス（１００、１１０）が、
    または
    に基づいて前記不安定性係数Ｃ_ｉを計算するように設定され、ｗ_１．．．ｗ_６が非ゼロの重みであるか、または存在せず、Ａが前記ＲＧＢ表現における赤色成分Ｒ、緑色成分Ｇ、および青色成分Ｂのうちの１つを表す、請求項２２に記載のデバイス。
24. 前記デバイス（１００、１１０）が、前記不安定性係数が前記第７のしきい値よりも高い場合に、前記ピクセルの少なくとも１つの色成分の元の値を、前記少なくとも１つの色成分の修正された値と置き換えるように設定され、
    前記デバイス（１００、１１０）が、前記不安定性係数が前記第７のしきい値以下であるが、第８のしきい値以上である場合に、前記少なくとも１つの色成分の前記元の値を、前記少なくとも１つの色成分の前記元の値および前記少なくとも１つの色成分の前記修正された値の線形結合と置き換えるように設定され、
    前記デバイス（１００、１１０）が、前記不安定性係数が前記第８のしきい値よりも小さい場合に、前記少なくとも１つの色成分の前記元の値を維持するように設定される、請求項２２または２３に記載のデバイス。
25. 前記デバイス（１００、１１０）が、前記色の前記線形表現の少なくとも１つの色成分の値を修正することによって、前記識別されたピクセルを処理するように設定される、請求項１７から２４のいずれか一項に記載のデバイス。
26. 前記デバイス（１００、１１０）が、前記ピクセルの前記少なくとも１つの色成分の前記値を、前記ピクチャ内の近傍のピクセルの前記少なくとも１つの色成分の値の加重平均と置き換えるように設定される、請求項１７から２５のいずれか一項に記載のデバイス。
27. 前記デバイス（１００、１１０）が、前記ピクチャ内の近傍のピクセルを識別するように設定され、
    前記第１のしきい値よりも小さい前記近傍のピクセルの色の線形表現における変動が、前記第２のしきい値よりも大きい前記近傍のピクセルの前記色の非線形表現における変動をもたらし、
    前記近傍のピクセルの前記色の前記線形表現における前記変動が、前記第３のしきい値よりも小さい前記近傍のピクセルの前記色の輝度およびクロミナンスに基づく表現における変動をもたらし、
    前記デバイス（１００、１１０）が、前記ピクセルの前記少なくとも１つの色成分の前記値を、前記ピクチャ内の前記識別された近傍のピクセルの前記少なくとも１つの色成分の値の加重平均と置き換えるように設定される、請求項２６に記載のデバイス。
28. 前記デバイス（１００、１１０）が、前記ピクチャ内の近傍のピクセルを識別するように設定され、
    前記ピクセルの輝度に基づく成分の値と前記近傍のピクセルの輝度に基づく成分の値との間の絶対差が第９のしきい値以下であり、
    前記ピクセルのクロミナンスに基づく成分の各値と、前記近傍のピクセルのクロミナンスに基づく成分の各値との間の各絶対差が、第１０のしきい値以下であり、
    前記デバイス（１００、１１０）が、前記ピクセルの前記少なくとも１つの色成分の前記値を、前記ピクチャ内の前記識別された近傍のピクセルの前記少なくとも１つの色成分の値の加重平均と置き換えるように設定される、請求項２６に記載のデバイス。
29. 前記デバイス（１００、１１０）が、前記少なくとも１つの色成分の前記値を固定値にセットするように設定される、請求項１７から２３のいずれか一項に記載のデバイス。
30. 前記デバイス（１００、１１０）が、前記ピクセルの前記少なくとも１つの色成分の前記値をフィルタリングするように設定される、請求項１７から２３のいずれか一項に記載のデバイス。
31. 前記デバイス（１００、１１０）が、前記不安定性係数に基づいて決定されるフィルタ係数を有するフィルタを用いて前記ピクセルの前記少なくとも１つの色成分の前記値をフィルタリングするように設定される、請求項２２または２３に従属する場合の請求項３０に記載のデバイス。
32. プロセッサ（１１１）と、
    前記プロセッサ（１１１）によって実行可能な命令を含むメモリ（１１２）とをさらに備え、
    前記プロセッサ（１１１）が、処理対象の前記ピクセルを識別するように機能し、
    前記プロセッサ（１１１）が、前記識別されたピクセルを処理するように機能する、請求項１７から３１のいずれか一項に記載のデバイス。
33. 複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルを処理するためのデバイス（１２０）であって、
    前記ピクチャ内の処理対象のピクセルを識別するための決定ユニット（１２１）であって、
    第１のしきい値よりも小さい前記ピクセルの色の線形表現における変動が、第２のしきい値よりも大きい前記色の非線形表現における変動をもたらし、
    前記色の前記線形表現における前記変動が、第３のしきい値よりも小さい前記色の輝度およびクロミナンスに基づく表現における変動をもたらす、決定ユニット（１２１）と、
    前記ピクセルの少なくとも１つの色成分の値を修正することによって、前記識別されたピクセルを処理するためのピクセルプロセッサ（１２２）とを備える、デバイス。
34. 複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルをエンコードするためのデバイス（１１０）であって、
    プロセッサ（１１１）と、
    前記プロセッサ（１１１）によって実行可能な命令を含むメモリ（１１２）とを備え、
    前記プロセッサ（１１１）が、前記ピクチャ内の処理対象のピクセルを識別するように機能し、
    第１のしきい値よりも小さい前記ピクセルの色の線形表現における変動が、第２のしきい値よりも大きい前記色の非線形表現における変動をもたらし、
    前記色の前記線形表現における前記変動が、第３のしきい値よりも小さい前記色の輝度およびクロミナンスに基づく表現における変動をもたらし、
    前記プロセッサ（１１１）が、前記色の前記線形表現における少なくとも１つの色成分の値を修正することによって、前記識別されたピクセルを処理するように機能し、
    前記プロセッサ（１１１）が、前記ピクセルの前記色の前記線形表現を前記色の非線形表現に変換するように機能し、
    前記プロセッサ（１１１）が、前記色の前記非線形表現をエンコードするように機能する、デバイス。
35. 複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルをエンコードするためのデバイス（１２０）であって、
    前記ピクチャ内の処理対象のピクセルを識別するための決定ユニット（１２１）であって、
    第１のしきい値よりも小さい前記ピクセルの色の線形表現における変動が、第２のしきい値よりも大きい前記色の非線形表現における変動をもたらし、
    前記色の前記線形表現における前記変動が、第３のしきい値よりも小さい前記色の輝度およびクロミナンスに基づく表現における変動をもたらす、決定ユニット（１２１）と、
    前記色の前記線形表現における少なくとも１つの色成分の値を修正することによって、前記識別されたピクセルを処理するためのピクセルプロセッサ（１２２）と、
    前記ピクセルの前記色の前記線形表現を前記色の非線形表現に変換するためのコンバータ（１２４）と、
    前記色の前記非線形表現をエンコードするためのエンコーダ（１２３）とを備える、デバイス。
36. 請求項１７から３５のいずれか一項に記載のデバイス（１００、１１０、１２０）を備えるユーザ機器（５、２００）であって、前記ユーザ機器（５、２００）が、コンピュータ、ラップトップ、スマートフォン、タブレット、およびセットトップボックスからなる群から選択される、ユーザ機器。
37. 命令を含むコンピュータプログラム（２４０）であって、前記コンピュータプログラム（２４０）は、プロセッサ（２１０）によって実行された場合に、前記プロセッサ（２１０）に、
    複数のピクチャを含むビデオシーケンスのピクチャ内の処理対象のピクセルを識別することであって、
    第１のしきい値よりも小さい前記ピクセルの色の線形表現における変動が、第２のしきい値よりも大きい前記色の非線形表現における変動をもたらし、
    前記色の前記線形表現における前記変動が、第３のしきい値よりも小さい前記色の輝度およびクロミナンスに基づく表現における変動をもたらす、識別することと、
    前記ピクセルの少なくとも１つの色成分の値を修正することによって、前記識別されたピクセルを処理することとを実行させる、コンピュータプログラム。
38. 前記コンピュータプログラム（２４０）が命令を含んでおり、前記命令が、前記プロセッサ（２１０）によって実行された場合に、前記プロセッサ（２１０）に、
    前記色の前記線形表現における少なくとも１つの色成分の値を修正することによって、前記識別されたピクセルを処理することと、
    前記ピクセルの前記色の前記線形表現を前記色の非線形表現に変換することと、
    前記色の前記非線形表現をエンコードすることとを実行させる、請求項３７に記載のコンピュータプログラム。
39. 請求項３７または３８に記載のコンピュータプログラム（２４０）を含むキャリア（２５０）であって、前記キャリアが、電子信号、光信号、電磁信号、磁気信号、電気信号、無線信号、マイクロ波信号、またはコンピュータ可読記憶媒体のうちの１つである、キャリア。
40. 複数のピクチャを含むビデオシーケンスのピクチャ内のピクセルのエンコードされたバージョンを表している信号であって、前記エンコードされたバージョンが、請求項１６に記載された前記ピクセルの色のエンコードされた非線形表現を含む、信号。
41. 前記信号が、電子信号、光信号、電磁信号、磁気信号、電気信号、無線信号、およびマイクロ波信号のうちの１つである、請求項４０に記載の信号。