JP2020010409A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ビデオ符号化システム内のＳＡＯシグナリングの効率を高めるタイプ分離の形態を提供する。【解決手段】サンプル適応オフセット（ＳＡＯ）処理に関連するパラメータが符号化されたビットストリームを受信する受信部と、前記ＳＡＯ処理のタイプ、前記ＳＡＯ処理が適用される場合のオフセットの絶対値、並びに、前記ＳＡＯ処理としてバンドオフセット（ＢＯ）が適用される場合の前記オフセットの符号及びバンド位置、又は、前記ＳＡＯ処理としてエッジオフセット（ＥＯ）が適用される場合のＥＯクラス、の順に、前記ＳＡＯ処理に関連する一連のパラメータを復号化する復号化部と、を備え、前記復号化部は、前記ＳＡＯ処理の前記タイプの第１のビンをコンテキストモードで復号化し、前記一連のパラメータの残りのビンをバイパスモードで復号化する、画像処理装置。【選択図】図３

Description

〔関連出願との相互参照〕
本出願は、２０１２年７月２日に出願された米国仮特許出願第６１／６６７，３３１号、２０１２年７月２日に出願された米国仮特許出願第６１／６６７，３２１号、２０１２年７月１１日に出願された米国仮特許出願第６１／６７０，４５４号、及び２０１３年３月１３日に出願された米国非仮特許出願第１３／８０１，５５３号に対する優先権を主張するものである。上記の各出願は、その全体が引用により本明細書に組み入れられる。

〔連邦政府が支援する研究又は開発に関する記述〕
該当なし

〔コンパクトディスクで提出された資料の引用による組み入れ〕
該当なし

〔著作権保護を受ける資料の通知〕
本特許文書中の資料の一部は、米国及びその他の国の著作権法に従って著作権保護を受ける。著作権の権利所有者は、米国特許商標庁の一般公開ファイル又は記録内に表されるとおりに第三者が特許文献又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。著作権所有者は、米国特許法施行規則§１．１４に従う権利を制限なく含む、本特許文献を秘密裏に保持しておく権利を本明細書によって放棄するものではない。

本発明は、一般にビデオの符号化及び復号に関し、具体的には、高効率ビデオ符号化（ＨＥＶＣ）システム内のサンプル適応オフセット（ＳＡＯ）のシグナリングの強化改善に関する。

より最適かつスケーラブルなビデオ圧縮のための高効率ビデオ符号化（ＨＥＶＣ）が著しく継続的に必要とされ続けている。ＩＴＵ−Ｔのビデオ符号化共同チーム（ＪＣＴ−ＶＣ）及びＩＳＯ／ＩＥＣ ＭＰＥＧは、高効率ビデオ符号化（ＨＥＶＣ）標準を強化し続けている。

ＨＥＶＣでは、フレームを符号化ツリーブロック（ＣＴＢ）に分割し、四分木分割などを用いてこれをさらに符号化ユニット（ＣＵ）に細分化することができる。符号化ユニット（ＣＵ）は、所望の符号化効率を達成する目的で、ビデオコンテンツに応じた可変サイズを有することができる。通常、ＣＵは、輝度成分Ｙと、２つの彩度成分Ｕ及びＶとを含む。Ｕ成分及びＶ成分のサイズはサンプル数に関連し、ビデオサンプリングフォーマットに応じてＹ成分のサイズと同じであることも又は異なることもある。ＣＵは、イントラ予測及びインター予測中の予測ユニット（ＰＵ）区分、並びに変換及び量子化のために定義された変換ユニット（ＴＵ）に細分化することができる。変換ユニット（ＴＵ）は、一般に変換係数を生成する際に変換が適用される残差データのブロックを意味する。

ＨＥＶＣは、現在のビデオ符号化システムに、Ｈ．２６４／ＡＶＣ及び同様のコーデックなどの新たな要素を導入する。例えば、ＨＥＶＣでは、依然として動き補償インター予測、変換及びエントロピー符号化が行われているが、算術符号化又は可変長符号化も利用される。また、デブロッキングフィルタの後にサンプル適応オフセット（ＳＡＯ）フィルタが続く。ＳＡＯフィルタユニットは、ＣＴＢ内の画素毎に１回動作する。各ＣＴＢでは、ビットストリーム内でフィルタタイプ及びオフセット値が符号化される。フィルタには２つのタイプがあり、具体的にはエッジフィルタとバンドフィルタが存在する。所与のサンプルのバンドは、単純にその値の上位５ビットである。そして、４つの隣接バンドを識別するバンドインデックスが４つのオフセットと共に送信される。従って、バンドインデックスが４の場合には、バンド４、５、６及び７を意味する。画素がこれらのバンドの１つに該当する場合、対応するオフセットがこれに加えられる。エッジフィルタでは、（０、９０、４５、１３５度などの）エッジモードが送信される。これらのオフセット及びフィルタモードは、エンコーダにより、ＣＴＢをソース画像にさらに厳密に一致させるように選択される。

ＳＡＯフィルタは、フレーム全体を階層的四分木と見なす。この四分木の象限は、バンドオフセット（ＢＯ）と呼ばれる画素値の強度バンド、又はエッジオフセット（ＥＯ）と呼ばれる近傍の画素強度との差分を各々が表す構文値をＳＡＯが送信することによって活性化される。対応する画素には、ＳＡＯのタイプ（ＢＯ及びＥＯ）毎に、ＳＡＯオフセットと呼ばれる送信されたオフセット値が加えられる。

例えば、ＨＥＶＣ作業文書７（ＷＤ７）には、ＳＡＯのオン／オフ、４つのエッジオフセット（ＥＯ）クラス、及び１つのバンドオフセット（ＢＯ）が示されている。これらのＳＡＯタイプは、ユーナリコードを用いて、第１のビンに関するコンテキストと、残りのビンのためのコンテキストという、コンテキスト適応型二値算術符号化（ＣＡＢＡＣ）のための２つのコンテキストと共にデコーダにシグナリングされる。また、ＢＯタイプでは、ＦＬコードを用いてバンド位置が送信される。コンテキスト符号化されたビンとバイパス符号化されたビンは交互配置され、ＣＡＢＡＣエンジンのスループットが制限される。

本発明は、ビデオ符号化システム内のＳＡＯシグナリングの効率を高めるタイプ分離の形態を提供するものである。

本発明は、本発明の３つの主な実施形態に例示する、ＳＡＯパラメータのシグナリングを強化するための改善された機構を提供する。本発明の装置及び方法は、ＳＡＯタイプの符号化を構文及び２値化に関して変更し、新たなコンテキストモデリングを提供して、コンテキスト符号化されたビンとバイパス符号化されたビンの交互配置を解消する。

第１の実施形態（実施形態Ａ）では、全ての色成分に関してＳＡＯのオン／オフを分離してＳＡＯオン／オフフラグを共に符号化することによってＳＡＯのオン／オフを強化する。ｌｃｕ＿ｓａｏ＿ｅｎａｂｌｅ＿ｉｄｘのためのルックアップテーブルを排除し、代わりに方程式を利用する。コードインデックスには、トランケートユーナリ符号を利用する。その後、第１のビンのみをコンテキスト符号化し、他のビンはバイパスモードを使用して符号化する。

第２の実施形態（実施形態Ｂ）は、実施形態Ａに類似するが、ＪＣＴＶＣ−Ｊ０２６８に適用可能である。ＳＡＯタイプを単一のコンテキストで符号化する。第１のビンのみを１つの専用コンテキストでコンテキスト符号化し、残りのビンはバイパスモードで符号化する。

第３の実施形態（実施形態Ｃ）は、ＳＡＯのオン／オフ、ＳＡＯのタイプであるＢＯ及びＥＯ、並びにＢＯ及びＥＯ側の情報（クラス又はバンド位置）に関して別個のシグナリングを行う。ＳＡＯタイプをトランケートユーナリによって２値化し、第１のビンに関して１つのコンテキストのみで符号化する。ＥＯクラスは、固定長コード及びバイパスモードを用いて符号化する。コンテキスト符号化されたビンとバイパス符号化されたビンの両方をグループ化してＣＡＢＡＣのスループットを改善する。

本明細書の以下の部分では、本発明のさらなる態様を示すが、この詳細な説明は、本発明の好ましい実施形態に制限を課すことなく完全に開示することを目的とする。

例示のみを目的とする以下の図面を参照することにより、本発明がさらに完全に理解されるであろう。

本発明の実施形態によるビデオエンコーダの概略図である。 本発明の実施形態によるビデオデコーダの概略図である。 本発明の実施形態による、タイプ第１のＳＡＯ（実施形態Ｃ）構文を示すフロー図である。

本発明の装置及び方法は、ＨＥＶＣエンコーダ及びデコーダにおけるＳＡＯ動作を強化すると同時に、既存の及び提案するＳＡＯシグナリング法の欠点を解消する。開発中の高効率ビデオ符号化（ＨＥＶＣ）標準のテストモデルＨＭ７．０では、各色成分が、オン／オフ、ＥＯタイプ及びＢＯを含む１つのサンプル適応オフセット（ＳＡＯ）タイプを有する。さらには、ＳＡＯパラメータのシグナリングを強化することが望ましいと考えられる。

序文
図１に、本発明による、サンプル適応オフセット（ＳＡＯ）を強化した、エンコーダ１０を含む符号化装置の実施形態例を示す。

図示のエンコーダ１０は、１又はそれ以上のプロセッサ４８及び１又はそれ以上の記憶装置５０と共に例示する演算手段４６によって実行される符号化要素１２を含む。本発明の要素は、エンコーダ及び／又はデコーダのＣＰＵが実行のためにアクセスできる媒体に記憶されたプログラムとして実装することができると理解されるであろう。

この例には、ビデオフレーム入力１４、基準フレーム１６及びフレーム出力１８を示している。動き推定（ＭＥ）２２及び動き補償（ＭＣ）２４を含むインター予測２０も示している。イントラ予測２６、及びインター予測とイントラ予測の間のスイッチ２５も示している。加算接合部２８は、残差データの変換係数を生成するように予測に基づいて実行される順方向変換３０への出力を含む。量子化段階３２において変換係数の量子化を行った後に、エントロピー符号化３４が行われる。加算接合部４０に結合された逆量子化３６及び逆変換３８の動作も示している。

加算接合部４０の出力は復号ビデオ信号であり、この信号をデブロッキングフィルタ４２が受け取り、本発明によってシグナリングを強化した（＋ＥＳ）サンプル適応オフセット（ＳＡＯ）フィルタ４４が出力１８を生成する。本発明によれば、以下の部分で詳細に説明する３つの実施形態のいずれかを利用してシグナリングを強化することができる。

図２に、デコーダの実施形態例７０を、処理ブロック７２及び関連する処理手段１０２と共に示す。このデコーダは、参照フレーム７４に作用してビデオ信号１００を出力する、実質的に図１のエンコーダ１０に含まれる要素のサブセットであることが分かるであろう。デコーダブロックは、符号化されたビデオ信号７６を受け取り、この信号を、エントロピーデコーダ７８、逆量子化８０、逆変換８２、及び動き補償８８を含むインター予測８６と別個のイントラ予測ブロック９０との間の選択部９２と、逆変換８２出力との間の加算部８４を通じて処理する。加算接合部８４からの出力はデブロッキングフィルタ９４によって受け取られ、その後、本発明によってシグナリングを強化した（＋ＥＳ）ＳＡＯモジュール９６がビデオ出力９８を生成する。

このデコーダには、復号に関連するプログラムを実行するための、少なくとも１つの処理装置１０２と少なくとも１つのメモリ１０４とを含む処理手段１００を実装することができると理解されたい。また、本発明の要素を、媒体上に記憶されたプログラムとして実装し、処理装置（ＣＰＵ）１０２がこの媒体にアクセスして実行できることが分かるであろう。

本発明の要素１０及び７０は、メモリ５０及び１０４内に存在する、コンピュータプロセッサ（ＣＰＵ）４８及び１０２上で実行可能なプログラムなどに応答して、処理手段４６及び１００が実行できるように実装されると認識されるであろう。また、本発明の要素を、媒体上に記憶されたプログラムとして実装し、ＣＰＵ４８及び／又は１０２がこの媒体にアクセスして実行できることも理解されるであろう。

また、このプログラムは、一時的伝播信号を構成するだけでなく、実際にはあらゆる所望の形態及び数の静的又は動的記憶装置内などにプログラムを保持できるという点で非一時的な有形（物理）コンピュータ可読媒体であるメモリから実行可能であることも理解されたい。これらの記憶装置は、本明細書で非一時的媒体と見なされるように、（停電などの）全ての条件下でデータを保持するように実装される必要はない。

Ａ．実施形態Ａ：ＪＣＴＶＣ−Ｉ０１９３の単純化
ＳＡＯのオン／オフ及びタイプの分離の強化は、２つの異なる形態で行うことができる。最初の２つの形態では、全ての色成分に関してＳＡＯのオン／オフをＳＡＯタイプの符号化から分離し、ＳＡＯのオン／オフフラグを共に符号化する。

この第１の形態では、ＳＡＯフラグを以下の変更と組み合わせた単純化したＪＣＴＶＣ−Ｉ０１９３の実施形態を提供する。（１）ルックアップテーブル（例えば、テーブル１）を置き換え、以下の方程式を用いてコードインデックスを生成する。
ｃｏｄｅ ｉｎｄｅｘ＝（ｌｃｕ＿ｓａｏ＿ｅｎａｂｌｅ＿ｆｌａｇＣｒ＜＜２）＋（ｌｃｕ＿ｓａｏ＿ｅｎａｂｌｅ＿ｆｌａｇＣｂ＜＜１）＋ｌｃｕ＿ｓａｏ＿ｅｎａｂｌｅ＿ｆｌａｇＹ
この方程式では、コードインデックスにトランケートユーナリ符号を利用している。第１のビンのみがコンテキスト符号化され、他のビンはバイパスモードで符号化される。

テーブル２に示すタイプ符号化とオフセット符号化は、ＨＭ７．０に拡張されたＪＣＴＶＣ−Ｉ０１９３と同じ状態のままである。

テーブル３には、スライスデータ構文の例を示す。

テーブル４には、ＳＡＯパラメータ構文を記述子と共に示す。

テーブル５には、ＢＯ及びＥＯのタイプ情報を示す。ｓａｏ＿ｂａｎｄ＿ｐｏｓｉｔｉｏｎ［ｃＩｄｘ］［ｒｘ］［ｒｙ］の値は、ｓａｏ＿ｔｙｐｅ＿ｉｄｘ［ｃＩｄｘ］［ｒｘ］［ｒｙ］が４に等しい時の画素範囲のバンドオフセットの変位を示す。ｓａｏ＿ｏｆｆｅｔ＿ｓｉｇｎ［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］の値は、ｓａｏ＿ｔｙｐｅ＿ｉｎｄｅｘが４に等しい時のｓａｏ＿ｏｆｆｓｅｔ［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］の符号を指定する。変数ｏｆｆｓｅｔ ｓｉｇｎは以下のように求められる。ｓａｏ＿ｔｙｐｅ＿ｉｄｘ［ｃＩｄｘ］［ｒｘ］［ｒｙ］が４未満であり、ｉが１よりも大きい場合、ｏｆｆｓｅｔ ｓｉｇｎは−１に設定される。そうでない場合（ｓａｏ＿ｔｙｐｅ＿ｉｄｘ［ｃＩｄｘ］［ｒｘ］［ｒｙ］が４に等しく、又はｉが２未満である場合）、ｏｆｆｓｅｔ ｓｉｇｎは１に設定される。

テーブル６には、ｌｃｕ＿ｓａｏ＿ｅｎａｂｌｅ＿ｉｄｘが３つの色成分のＬＣＵ ＳＡＯイネーブルフラグ値をどのように指定するかを示す。

Ｂ．実施形態Ｂ：ＪＣＴＶＣ−ＪＯ２６８＋ＪＣＴＶＣ−Ｉ０１９３の単純化 この実施形態では、上記の単純化した解決策をＳＡＯシグナリングに関するＪＣＴＶＣ−ＪＯ２６８からの解決策と組み合わせて、ＳＡＯのための強化されたシグナリング構造を提供する。この結果、上述の単純化したＪＣＴＶＣ−１０１９３におけるＳＡＯオン／オフの分離に起因してＳＡＯタイプがわずかに変化する。この組み合わせた解決策のＳＡＯシグナリングを、以下のような順序でリストする。（１）まず、全ての色成分からの３つのオン／オフフラグのためのＳＡＯオン／オフインデックスをシグナリングする。トランケートユーナリコードを用いてインデックスを２値化する。第１のビンのみを１つの専用コンテキストでコンテキスト符号化する。残りのビンはバイパスモードで符号化する。色成分毎に、ＳＡＯが有効であれば、処理は次のステップ（ステップ２）に移り、そうでなければ、ＳＡＯシグナリングを終了する。（２）テーブル７に示すＳＡＯタイプを１つのコンテキストで符号化する。（３）絶対値及び符号を含むオフセットは、ＨＭ７．０で行われるように符号化する。（４）ＳＡＯタイプがＥＯである場合、テーブル８に示すｓａｏ＿ｅｏ＿ｃｌａｓｓを用いてＥＯクラスをシグナリングし、ＦＬＣによってバイパスで符号化する。（５）ＳＡＯタイプがＢＯである場合、ＨＭ７．０で行われるようにバンド位置をシグナリングする。

テーブル９には、スライスデータ構文の指定を示す。

テーブル１０には、この実施形態のためのＳＡＰパラメータ構文の例を示す。

テーブル１１には、ＳＡＯタイプの指定を示す。

テーブル１２には、ｌｃｕ＿ｓａｏ＿ｅｎａｂｌｅ＿ｉｄｘが３つの色成分のＬｃｕＳａｏＥｎａｂｌｅＦｌａｇ値をどのように指示するかを示す。

テーブル１３には、色成分ｃＩｄｘの位置ｒｘ及びｒｙにおける現在の符号化ツリーブロックのエッジオフセットタイプを示すパラメータｓａｏ＿ｅｏ＿ｃｌａｓｓ［ｃＩｄｘ］［ｒｘ］［ｒｙ］を例示する。ｓａｏ＿ｅｏ＿ｃｌａｓｓ［ｃＩｄｘ］［ｒｘ］［ｒｙ］が存在しない場合には、以下のように推測する。

ｓａｏ＿ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇが１に等しい場合、
ｓａｏ＿ｅｏ＿ｃｌａｓｓ［ｃＩｄｘ］［ｒｘ］［ｒｙ］は、
ｓａｏ＿ｅｏ＿ｃｌａｓｓ［ｃＩｄｘ］［ｒｘ−１］［ｒｙ］
に等しく設定されている。

そうでない場合、ｓａｏ＿ｍｅｒｇｅ＿ｕｐ＿ｆｌａｇが１に等しければ、
ｓａｏ＿ｅｏ＿ｃｌａｓｓ［ｃＩｄｘ］［ｒｘ］［ｒｙ］は、
ｓａｏ＿ｅｏ＿ｃｌａｓｓ［ｃＩｄｘ］［ｒｘ］［ｒｙ−１］
に等しく設定されている。

そうでなければ、ｓａｏ＿ｍｅｒｇｅ＿ｕｐ＿ｆｌａｇは１に等しくなく、これによりｓａｏ＿ｅｏ＿ｃｌａｓｓ［ｃＩｄｘ］［ｒｘ］［ｒｙ］は０に等しく設定されている。

ｓａｏ＿ｔｙｐｅ＿ｉｄｘ［ｃＩｄｘ］［ｒｘ］［ｒｙ］が０に等しい場合、パラメータｓａｏ＿ｂａｎｄ＿ｐｏｓｉｔｉｏｎ［ｃＩｄｘ］［ｒｘ］［ｒｙ］は、画素範囲のバンドオフセットの変位を示す。

ｓａｏ＿ｔｙｐｅ＿ｉｎｄｅｘが０に等しい場合、パラメータｓａｏ＿ｏｆｆｓｅｔ＿ｓｉｇｎ［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］は、ｓａｏ＿ｏｆｆｓｅｔ［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］の符号を指定する。

変数ｏｆｆｓｅｔＳｉｇｎは、以下のように求められる。

ｓａｏ＿ｔｙｐｅ＿ｉｄｘ［ｃＩｄｘ］［ｒｘ］［ｒｙ］が１に等しく、ｉが１よりも大きい場合、ｏｆｆｓｅｔＳｉｇｎは−１に等しく設定される。

そうでなければ、ｓａｏ＿ｔｙｐｅ＿ｉｄｘ［ｃＩｄｘ］［ｒｘ］［ｒｙ］が１に等しく、ｉが２未満である場合、ｏｆｆｓｅｔＳｉｇｎは１に等しく設定される。

Ｃ．実施形態Ｃ：タイプ第１のＳＡＯ符号化
この実施形態では、ＳＡＯタイプの符号化が、ＳＡＯのオン／オフ、ＳＡＯタイプであるＢＯ及びＥＯ、並びにＥＯ／ＢＯのサイド情報（クラス又はバンド位置）に関して別個のシグナリングを有するように再構成される。この実施形態は、コンテキスト符号化されたビンとバイパス符号化されたビンの両方をグループ化して、コンテキストベースの適応型二値算術符号化（ＣＡＢＡＣ）のスループットを改善する。

図３に、本発明による、コンテキスト符号化及びバイパス符号化にわたる別のＳＡＯ強化シグナリング機構の実施形態例１１０を示す。どの部分がコンテキスト符号化であるか、それともバイパス符号化であるかに従って２つの形態を示す。バンドオフセット（ＢＯ）のために符号化された絶対値１１４、又はエッジオフセット（ＥＯ）のために符号化された絶対値１２０によってＳＡＯタイプを選択する１１２。ＢＯでは、オフセット符号の符号化１１６が行われた後にＢＯバンド位置の符号化１１８が行われる。エッジオフセットの符号化では、ＥＯクラスが送信される１２２。

このフローチャートには、バイパス符号化（線の下側に示す動作）とコンテキスト符号化（線の上側に示す動作）による２つの異なる分離を示す２つの破線１２４、１２６を示している。例えば、１つの形態では、破線１２４の上側のフローチャートステップがコンテキスト符号化されるステップを表し、線１２４の下側のステップがバイパス符号化で符号化されるステップを表す。例えば、線１２４の上側には、ＳＡＯタイプ１１２、並びにＢＯ及びＥＯのオフセットされた絶対値を示しており、従ってこれらはコンテキスト符号化される。オフセット符号１１６、ＢＯバンド位置１１８及びＥＯクラス１２２の符号化では、バイパス符号化が行われる。

ＳＡＯタイプブロック１１２を通過して示す破線の位置１２６については、ＳＡＯの一部（例えば、第１のビン）がコンテキスト符号化され、残りのビンがブロック符号化される。いずれにせよ、このフローチャートからは、実施形態ＣがＥＯ及びＢＯに関してバランスのとれたシグナリング構造を提供していることが分かる。

現在のＳＡＯタイプ（ＨＥＶＣ ＷＤ７）は、ＳＡＯのオン／オフ、４つのエッジオフセット（ＥＯ）クラス、及び１つのバンドオフセット（ＢＯ）で構成される。これらのオプション（ＳＡＯタイプ）は、ユーナリコードを用いて、第１のビンに関する１つのコンテキストと、残りのビンのための１つのコンテキストという２つのコンテキスト（例えば、ＣＡＢＡＣ符号化）と共にデコーダにシグナリングされる。また、ＢＯタイプについては、ＦＬコードを用いてバンド位置が送信される。

本発明は、より組織化された構造を提供する際に、概説するように少なくとも４つの異なる方法で処理を改善できると考える。（１）ＳＡＯには実際のタイプが２つ（すなわちＥＯ及びＢＯ）しかないが、現在の設計におけるＳＡＯタイプは４つのＥＯクラスで構成され、それでもＢＯは１つのみである。従って、ＣＡＢＡＣモードの余分なコンテキストは、ＥＯ対ＢＯの統計を追跡することができない。（２）これらの４つのＥＯクラスは４方向に対応するが、そのコード長は大きく異なる。論理的には、十分に大きな画像の組の対称性に起因して、ある方向が残りの方向に比べて有利ということはあり得ない。このことは、はるかに小さな試験セットであるＨＥＶＣ試験セットでも確認されている。４つの方向の発生数はほとんど均一に分散しており、従ってＦＬコードが使用される。（３）サイド情報はＢＯでのみ送信される。一方で、ＥＯクラスのサイド情報（方向）は、ＳＡＯタイプ及びオン／オフスイッチで符号化される。（４）現在のＷＭ７では、ＢＯのバンド位置がバイパスモードで符号化された後にオフセットがコンテキストで符号化されるので、コンテキスト符号化されたビンとバイパス符号化されたビンが交互配置される。

本発明のこの実施形態では、ＳＡＯタイプが最初にシグナリングされ、サイド情報（すなわち、ＥＯクラス及びＢＯバンド位置）は別個にシグナリングされる。この構成により、構造のバランスが保たれ、分岐が減少し、スループットが改善される。これらの変更を以下のように箇条書きする。（ａ）テーブル１４に示すように、ＳＡＯタイプ（ｓａｏ＿ｔｙｐｅ＿ｉｄｘ）を、ＳＡＯのオン／オフ、ＢＯ及びＥＯのみを示すように縮小すること。（ｂ）パラメータｓａｏ＿ｔｙｐｅ＿ｉｄｘを、トランケートユーナリを用いて２値化すること。１つの代替例では、コンテキストモデリングが、第１のビンに関して１つのコンテキストのみで符号化されて第２のビンに関してはバイパス符号化で符号化され、或いは第１のビンに関して１つのコンテキスト、第２のビンに関して他のコンテキストという２つのコンテキストで符号化される。（ｃ）ＥＯクラスを、テーブル１０に示すものと同じｓａｏ＿ｅｏ＿ｃｌａｓｓを用いてシグナリングし、これをＦＬＣによってバイパスで符号化すること。（ｄ）コンテキスト符号化されたビンとバイパス符号化されたビンの交互配置を避けるように構文を並べ替えること。

これらの変更は、（ＳＡＯタイプ及びＢＯ／ＥＯ情報を含む）ＳＡＯ構文に関して、コンテキスト符号化されたビンの数を減少させるように作用する。

以下は、テーブル１４に示すＳＡＯパラメータの意味論の側面について説明するものである。パラメータｓａｏ＿ｅｏ＿ｃｌａｓｓ［ｃＩｄｘ］［ｒｘ］［ｒｙ］は、色成分ｃＩｄｘの位置ｒｘ及びｒｙにおける現在の符号化ツリーブロックのテーブル１５で指定されるエッジオフセットタイプを示す。

テーブル１６には、ｓａｏ＿Ｔｙｐｅ＿Ｉｄｘ ｃｔｘＩｄｘの変数初期化の例を示す。

テーブル１７には、選択された変数の構文及び２値化タイプを示す。

交互配置の問題
現在のＨＥＶＣ ＷＤ７及びＪＣＴＶＣ−１０２４６では、コンテキスト符号化されたビンとバイパス符号化されたビンが交互配置される。この交互配置は、ＣＡＢＡＣエンジンのスループットを制限する。交互配置の問題を解決するために、本発明の１つの要素は、各カテゴリをグループ化して、バイパス符号化されたビングループの前にコンテキスト符号化されたビングループがくるように構文を並べ替える。

本発明の実施形態は、コンピュータプログラム製品としても実装できる、本発明の実施形態による方法及びシステム、並びにアルゴリズム、数式又はその他の計算表現のフロー図を参照して説明することができる。この点、フロー図の各ブロック又はステップ、及びフロー図のブロックの組み合わせ（ステップ又はこれらの組み合わせ）、アルゴリズム、式、又は計算表現は、ハードウェア、ファームウェア、コンピュータ可読プログラムコード論理の形で具体化された１又はそれ以上のコンピュータプログラム命令を含むソフトウェアなどの様々な手段によって実装することができる。理解されるように、このようなあらゆるコンピュータプログラム命令は、以下に限定されるわけではないが、汎用コンピュータ又は専用コンピュータ、又は機械を生産するためのその他のあらゆるプログラマブル処理装置を含むコンピュータ上にロードして、コンピュータ又はその他のプログラマブル処理装置上で実行されるコンピュータプログラム命令が、（単複の）フロー図の（単複の）ブロック内に特定される機能を実施するための手段を生み出すようにすることができる。

従って、フロー図のブロック、アルゴリズム、式、又は計算表現は、特定の機能を実行するための手段の組み合わせ、特定の機能を実行するためのステップの組み合わせ、及びコンピュータ可読プログラムコード論理手段の形で具体化されるような、特定の機能を実行するためのコンピュータプログラム命令をサポートする。また、本明細書で説明したフロー図の各ブロック、アルゴリズム、式、又は計算表現、及びこれらの組み合わせは、特定の機能又はステップを実行する専用ハードウェアベースのコンピュータシステム、又は専用ハードウェアとコンピュータ可読プログラムコード論理手段の組み合わせによって実装することもできると理解されるであろう。

さらに、コンピュータ可読プログラムコード論理などの形で具体化されるこれらのコンピュータプログラム命令を、コンピュータ又はその他のプログラマブル処理装置に特定の態様で機能するように指示することができるコンピュータ可読メモリに記憶して、これらのコンピュータ可読メモリに記憶された命令が、（単複の）フロー図の（単複の）ブロック内で指定される機能を実施する命令手段を含む製造の物品を生産するようにすることもできる。コンピュータプログラム命令をコンピュータ又はその他のプログラマブル処理装置上にロードし、コンピュータ又はその他のプログラマブル処理装置上で一連の動作ステップが実行されるようにしてコンピュータで実施される処理を生成し、コンピュータ又はその他のプログラマブル処理装置上で実行される命令が、（単複の）フロー図の（単複の）ブロック、（単複の）アルゴリズム、（単複の）式、又は（単複の）計算表現内に特定される機能を実施するためのステップを提供するようにすることもできる。

上記の説明から、以下の態様を含む様々な方法で本発明を具体化できると理解されるであろう。

１．ビデオのエントロピー符号化中におけるサンプル適応オフセット（ＳＡＯ）シグナリングのための装置であって、（ａ）プロセッサを有するビデオエンコーダと、（ｂ）前記プロセッサ上で実行可能なプログラムとを備え、このプログラムは、（ｉ）デブロッキングフィルタからの復号ビデオ信号を受け取り、（ｉｉ）ＳＡＯタイプ内のＳＡＯのオン／オフ、ＢＯ及びＥＯのみを指示し、（ｉｉｉ）トランケートユーナリを用いてＳＡＯタイプを２値化し、（ｉｖ）前記ＳＡＯタイプをデコーダにシグナリングし、（ｖ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、ＢＯの絶対値又はＥＯの絶対値を符号化し、（ｖｉ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、デコーダにＢＯの絶対値又はＥＯの絶対値をシグナリングし、（ｖｉｉ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、ＢＯのオフセット符号を符号化した後にＢＯバンドを符号化し、又はＥＯクラスを符号化し、（ｖｉｉｉ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、デコーダにＢＯのオフセット符号をシグナリングした後にＢＯバンドをシグナリングし、又はＥＯクラスをシグナリングする、ように構成された装置。

２．ＳＡＯタイプの第１のビンはコンテキスト符号化され、残りのパラメータはバイパス符号化される、前述の実施形態に記載の装置。

３．ＳＡＯタイプ、ＢＯの絶対値及びＥＯの絶対値はコンテキスト符号化され、残りのパラメータはバイパス符号化される、いずれかの前述の実施形態に記載の装置。

４．前記ＥＯクラスは、方向を示す４つのクラスを含む、いずれかの前述の実施形態に記載の装置。

５．前記ＳＡＯタイプ、ＢＯオフセットの絶対値、ＥＯオフセットの絶対値、ＢＯオフセットの符号、ＢＯバンドの位置及びＥＯクラスは、所与の構文の配置を有するパラメータを含み、装置は、バイパス符号化されたビンの前にコンテキスト符号化されたビンがグループ化されたことに応答して、コンテキスト符号化されたビンとバイパス符号されたビンの交互配置を避けるようにパラメータ構文を並べ替えるように構成されたプログラムをさらに備える、いずれかの前述の実施形態に記載の装置。

６．前記装置は、高効率ビデオ符号化（ＨＥＶＣ）標準に従って動作する、いずれかの前述の実施形態に記載の装置。

７．前記装置は、１つのバンドオフセット（ＢＯ）タイプしか必要としない、いずれかの前述の実施形態に記載の装置。

８．前記プログラムは、第１の非ゼロのバンドのための３２個の考えられるＢＯバンドを送信するように構成される、いずれかの前述の実施形態に記載の装置。

９．前記プログラムは、コンテキスト適応型二値算術符号化（ＣＡＢＡＣ）を実行するように構成される、いずれかの前述の実施形態に記載の装置。

１０．前記プログラムは、コンテキスト符号化されたビンとバイパス符号化されたビンの両方をグループ化してコンテキスト適応型二値算術符号化（ＣＡＢＡＣ）のスループットを改善するように構成される、いずれかの前述の実施形態に記載の装置。

１１．ビデオのエントロピー符号化中におけるサンプル適応オフセット（ＳＡＯ）シグナリングのための装置であって、（ａ）プロセッサを有するビデオエンコーダと、（ｂ）前記プロセッサ上で実行可能なプログラムとを備え、このプログラムは、（ｉ）デブロッキングフィルタからの復号ビデオ信号を受け取り、（ｉｉ）ＳＡＯタイプ内のＳＡＯのオン／オフ、ＢＯ及びＥＯのみを指示し、（ｉｉｉ）ＳＡＯタイプの第１のビンのみをコンテキスト符号化して残りのビン及びパラメータをバイパス符号化し、（ｉｖ）トランケートユーナリを用いてＳＡＯタイプを２値化し、（ｖ）前記ＳＡＯタイプをシグナリングし、（ｖｉ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、ＢＯの絶対値又はＥＯの絶対値を符号化し、（ｖｉｉ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、ＢＯの絶対値又はＥＯの絶対値をシグナリングし、（ｖｉｉｉ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、ＢＯのオフセット符号を符号化した後にＢＯバンドを符号化し、又はＥＯクラスをシグナリングする、ように構成された装置。

１２．前記ＥＯクラスは、方向を示す４つのクラスを含む、いずれかの前述の実施形態に記載の装置。

１３．前記ＳＡＯタイプ、ＢＯオフセットの絶対値、ＥＯオフセットの絶対値、ＢＯオフセットの符号、ＢＯバンドの位置及びＥＯクラスは、所与の構文を有するパラメータを含み、装置は、バイパス符号化されたビンの前にコンテキスト符号化されたビンがグループ化されたことに応答して、コンテキスト符号化されたビンとバイパス符号されたビンの交互配置を避けるようにパラメータ構文を並べ替えるように構成されたプログラムをさらに備える、いずれかの前述の実施形態に記載の装置。

１４．前記装置は、高効率ビデオ符号化（ＨＥＶＣ）標準に従って動作する、いずれかの前述の実施形態に記載の装置。

１５．前記装置は、１つのバンドオフセット（ＢＯ）タイプしか必要としない、いずれかの前述の実施形態に記載の装置。

１６．前記プログラムは、第１の非ゼロのバンドのための３２個の考えられるＢＯバンドを送信するように構成される、いずれかの前述の実施形態に記載の装置。

１７．前記プログラムは、コンテキスト適応型二値算術符号化（ＣＡＢＡＣ）を実行するように構成される、いずれかの前述の実施形態に記載の装置。

１８．前記プログラムは、コンテキスト符号化されたビンとバイパス符号化されたビンの両方をグループ化してコンテキスト適応型二値算術符号化（ＣＡＢＡＣ）のスループットを改善するように構成される、いずれかの前述の実施形態に記載の装置。

１９．ビデオのエントロピー符号化中におけるサンプル適応オフセット（ＳＡＯ）シグナリングのための装置であって、（ａ）プロセッサを有するビデオエンコーダと、（ｂ）前記プロセッサ上で実行可能なプログラムとを備え、このプログラムは、（ｉ）デブロッキングフィルタからの復号ビデオ信号を受け取り、（ｉｉ）ＳＡＯタイプ内のＳＡＯのオン／オフ、ＢＯ及びＥＯのみを指示し、（ｉｉｉ）トランケートユーナリを用いて、第１及び第２のコンテキストで符号化されたＳＡＯタイプを２値化し、（ｉｖ）前記ＳＡＯタイプをシグナリングし、（ｖ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、ＢＯの絶対値又はＥＯの絶対値を符号化し、この場合、ＳＡＯタイプ、ＢＯの絶対値及びＥＯの絶対値はコンテキスト符号化されて残りのパラメータはバイパス符号化され、（ｖｉ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、ＢＯの絶対値又はＥＯの絶対値をシグナリングし、（ｖｉｉ）ＳＡＯタイプがＢＯであるかそれともＥＯであるかに応じて、ＢＯのオフセット符号を符号化した後にＢＯバンドを符号化し、又はＥＯクラスをシグナリングする、ように構成された装置。

２０．前記ＳＡＯタイプ、ＢＯオフセットの絶対値、ＥＯオフセットの絶対値、ＢＯオフセットの符号、ＢＯバンドの位置及びＥＯクラスは、所与の構文を有するパラメータを含み、装置は、バイパス符号化されたビンの前にコンテキスト符号化されたビンがグループ化されたことに応答して、コンテキスト符号化されたビンとバイパス符号されたビンの交互配置を避けるようにパラメータ構文を並べ替えるように構成されたプログラムをさらに備える、いずれかの前述の実施形態に記載の装置。

上記の説明は多くの詳細を含んでいるが、これらは本発明の範囲を限定するものではなく、本発明の現在のところ好ましい実施形態の一部を例示するものにすぎないと解釈すべきである。従って、本発明の範囲は、当業者に明らかになると思われる他の実施形態も完全に含み、従って添付の特許請求の範囲以外のいかなるものによっても本発明の範囲を限定すべきではなく、特許請求の範囲では、単数形による要素への言及は、明述しない限り「唯一」を意味するものではなく、「１又はそれ以上」を意味するものであると理解されたい。当業者には周知の上述した好ましい実施形態の要素の構造的及び機能的同等物も、引用によって本明細書に明確に組み入れられ、本特許請求の範囲に含まれることが意図されている。さらに、本発明が解決しようとする課題が本特許請求の範囲に含まれるようにするために、装置及び方法がこれらのありとあらゆる課題に対処する必要はない。さらに、本開示の要素、構成要素又は方法ステップは、これらが特許請求の範囲に明示されているかどうかにかかわらず、一般に公開されることを意図するものではない。本明細書における請求項の要素については、この要素が「〜のための手段」という表現を使用して明確に示されていない限り、米国特許法１１２条第６項の規定によって解釈すべきではない。

１０ エンコーダ
１２ 符号化要素
１４ ビデオフレーム入力
１６ 基準フレーム
１８ フレーム出力
２０ インター予測
２２ 動き推定
２４ 動き補償
２５ スイッチ
２６ イントラ予測
２８ 加算接合部
３０ 順方向変換
３２ 量子化段階
３４ エントロピー符号化
３６ 逆量子化
３８ 逆変換
４０ 加算接合部
４２ デブロッキングフィルタ
４４ シグナリングを強化したサンプル適応オフセット
４６ 演算手段
４８ プロセッサ
５０ メモリ

Claims (10)

1. サンプル適応オフセット（ＳＡＯ）処理に関連するパラメータが符号化されたビットストリームを受信する受信部と、
   前記ＳＡＯ処理のタイプ、
   前記ＳＡＯ処理が適用される場合のオフセットの絶対値、並びに、
   前記ＳＡＯ処理としてバンドオフセット（ＢＯ）が適用される場合の前記オフセットの符号及びバンド位置、
   又は、前記ＳＡＯ処理としてエッジオフセット（ＥＯ）が適用される場合のＥＯクラス、
   の順に、前記ＳＡＯ処理に関連する一連のパラメータを復号化する復号化部と、
   を備え、
   前記復号化部は、前記ＳＡＯ処理の前記タイプの第１のビンをコンテキストモードで復号化し、前記一連のパラメータの残りのビンをバイパスモードで復号化する、
   画像処理装置。
2. 前記ＥＯクラスを固定長コードで２値化されており、前記復号化部は、
   前記ＥＯクラスをバイパスモードで復号する、請求項１に記載の画像処理装置。
3. 前記ＳＡＯ処理の前記タイプは２値化されており、前記復号化部は、前記タイプの第１のビンをコンテキストモードで復号化し、前記タイプの第２のビンをバイパスモードで復号化する、請求項１又は２に記載の画像処理装置。
4. 前記復号化部は、前記ＳＡＯ処理の前記タイプをトランケートユーナリコードで２値化する、請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記ＳＡＯ処理の前記タイプは、前記ＳＡＯ処理の適用なし、前記ＢＯを適用、及び前記ＥＯを適用、のうちのいずれかを示し、
   前記ＥＯクラスは、互いに異なるエッジ方向にそれぞれ対応する４つのクラスのうちのいずれかを示す、
   請求項１に記載の画像処理装置。
6. 前記復号化部は、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ）に従って前記一連のパラメータを復号化する、請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記受信部は、前記ＳＡＯ処理の前記タイプを受信し、
   前記ＳＡＯ処理として前記ＢＯが適用される場合に前記オフセットの前記絶対値、前記オフセットの前記符号、及び前記バンド位置を受信し、並びに、
   前記ＳＡＯ処理として前記ＥＯが適用される場合に前記オフセットの前記絶対値、及び前記ＥＯクラスを受信する設定部、をさらに備える、
   請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記ＳＡＯ処理に関連する前記一連のパラメータの構文において、コンテキスト符号化されるビンとバイパスモードで復号化されるビンとの交互配置が回避されるようにパラメータが配置される、請求項１に記載の画像処理装置。
9. サンプル適応オフセット（ＳＡＯ）処理に関連するパラメータが符号化されたビットストリームを受信し、
   前記ＳＡＯ処理のタイプ、
   前記ＳＡＯ処理が適用される場合のオフセットの絶対値、並びに、
   前記ＳＡＯ処理としてバンドオフセット（ＢＯ）が適用される場合の前記オフセットの符号及びバンド位置、又は、前記ＳＡＯ処理としてエッジオフセット（ＥＯ）が適用される場合のＥＯクラス、
   の順に、前記ＳＡＯ処理に関連する一連のパラメータを復号化することを含み、
   前記ＳＡＯ処理の前記タイプの第１のビンをコンテキストモードで復号化し、前記一連のパラメータの残りのビンをバイパスモードで復号化する、
   画像処理方法。
10. 画像処理装置のプロセッサを、
    サンプル適応オフセット（ＳＡＯ）処理に関連するパラメータが符号化されたビットストリームを受信する受信部と、
    前記ＳＡＯ処理のタイプ、
    前記ＳＡＯ処理が適用される場合のオフセットの絶対値、並びに、
    前記ＳＡＯ処理としてバンドオフセット（ＢＯ）が適用される場合の前記オフセットの符号及びバンド位置、又は、前記ＳＡＯ処理としてエッジオフセット（ＥＯ）が適用される場合のＥＯクラス、
    の順に、前記ＳＡＯ処理に関連する一連のパラメータを復号化する復号化部と、として機能させ、
    前記復号化部は、前記ＳＡＯ処理の前記タイプの第１のビンをコンテキストモードで復号化し、前記一連のパラメータの残りのビンをバイパスモードで復号化する
    プログラム。

Images