JP2014131332A

JP2014131332A - Ｈｅｖｃにおける係数符号化の調和

Info

Publication number: JP2014131332A
Application number: JP2014032757A
Authority: JP
Inventors: Jun Xu; シュージュン; Ali Tabatabai; タバタバイアリ
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-01-20
Filing date: 2014-02-24
Publication date: 2014-07-10
Anticipated expiration: 2033-01-04
Also published as: EP4240015A2; JP2015216688A; EP3731524A1; US20180205954A1; EP2618577A1; JP2014131331A; CN106028035B; KR101885971B1; EP4240015B1; KR102052793B1; US10375396B2; US20160065965A1; EP3425913B1; KR102240077B1; US10341663B2; US20170353727A1; EP3024234A1; CN106454351A; US10212426B2; CN106454351B

Abstract

【課題】高効率ビデオ符号化（ＨＥＶＣ）における変換単位の復号化を単純化する。
【解決手段】画像復号装置は、有意性マップ復号処理を行う復号部を有し、前記復号部が、前記有意性マップ復号処理において、４×４及び８×８の水平又は垂直の変換単位には、シングルレベル有意性マップ復号を行い、４×４のサブブロックの右斜め上方向走査が行われる４×４及び８×８を含む全ての右斜め上方向の変換単位には、マルチレベル有意性マップ復号を行う。
【選択図】図２

Description

〔関連出願との相互参照〕
本出願は、２０１２年１月２０日に出願された米国仮特許出願第６１／５８９，１５１号からの優先権を主張するものであり、この特許出願は、その全体が引用により本明細書に組み入れられる。

〔連邦政府が支援する研究又は開発に関する記述〕
該当なし

〔コンパクトディスクで提出された資料の引用による組み入れ〕
該当なし

〔著作権保護を受ける資料の通知〕
本特許文書中の資料の一部は、米国及びその他の国の著作権法に従って著作権保護を受ける。著作権の権利所有者は、米国特許商標庁の一般公開ファイル又は記録内に表されるとおりに第三者が特許文献又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。著作権所有者は、限定するわけではないが、米国特許法施行規則§１．１４に従う権利を含め、本特許文献を秘密裏に保持しておく権利のいずれも本明細書によって放棄するものではない。

本発明は、一般にビデオ符号化に関し、より詳細には、高効率ビデオ符号化規格における変換単位（ＴＵ）の符号化及び復号に関する。

高効率ビデオ符号化（ＨＥＶＣ）では、所望の符号化効率を達成するために、符号化単位（ＣＵ）が、ビデオコンテンツに応じた可変サイズを有することができる。通常、ＣＵは、輝度成分Ｙ、並びに２つの彩度成分Ｕ及びＶを含む。Ｕ成分及びＶ成分のサイズはサンプル数に関連し、ビデオサンプリングフォーマットに依存するＹ成分のサイズと同じであっても、又は異なってもよい。これらの符号化単位は、予測又は変換のためにより小さなブロックに分割することができる。とりわけ、各符号化単位を、予測単位（ＰＵ）及び変換単位（ＴＵ）にさらに区分化することができる。予測単位（ＰＵ）は、Ｈ．２６４規格などの他のビデオ符号化規格で説明される区分化と同様に考えることができる。変換単位（ＴＵ）は、一般に変換係数を生成する際に変換が適用される残差データのブロックを意味する。

高効率ビデオ符号化（ＨＥＶＣ）における変換単位（ＴＵ）の符号化は、処理オーバーヘッドが大きい複雑な符号化ステップを必要とし、一般に、モード依存係数走査（ｍｏｄｅｄｅｐｅｎｄｅｎｔｃｏｅｆｆｉｃｉｅｎｔｓｃａｎ）（ＭＤＣＳ）、最後の非ゼロ係数符号化（ｌａｓｔｎｏｎ−ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔｃｏｄｉｎｇ）、有意性マップ符号化（ｓｉｇｎｉｆｉｃａｎｃｅｍａｐｃｏｄｉｎｇ）、及び非ゼロ係数レベル符号化（ｎｏｎ−ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔｌｅｖｅｌｃｏｄｉｎｇ）を含むいくつかのステップを含む。これらの成分は、異なる変換単位（ＴＵ）サイズにおいて変化する。

従って、ＨＥＶＣ符号化の設計を単純化する必要性がある。本発明は、上記の及びその他の必要性を満たしてＨＥＶＣ符号化動作を改善するためのものである。

４×４、８×８、１６×１６及び３２×３２の変換単位（ＴＵ）にわたる全体的動作を強化して調和させるＴＵの係数符号化について説明する。最初の部分では、右斜め上方向走査されるＴＵの係数符号化を修正し、第２の部分では、マルチレベル有意性マップ符号化を適用する。これらの発明要素を、いずれも４×４又は８×８のサイズのＴＵに適用する。

本明細書の以下の部分では、本発明のさらなる態様が明らかになり、この詳細な説明は、本発明を限定することなく本発明の好ましい実施形態を完全に開示するためのものである。

例示のみを目的とする以下の図面を参照することにより、本発明がより完全に理解されるであろう。

本発明の実施形態によるビデオエンコーダの概略図である。本発明の実施形態によるビデオデコーダの概略図である。本発明の実施形態により利用する一般化した変換単位（ＴＵ）符号化ステップのフロー図である。本発明の実施形態により利用する一般化したＴＵ復号ステップのフロー図である。従来のモード依存係数走査（ＭＤＣＳ）のフロー図である。本発明の実施形態によるモード依存係数走査（ＭＤＣＳ）のフロー図である。本発明の実施形態により利用する変換単位走査パターンである。本発明の実施形態により利用する変換単位走査パターンである。従来利用されている変換単位走査パターンである。本発明の実施形態により利用する変換単位走査パターンである。従来の有意性マップ符号化のフロー図である。従来の有意性マップ復号のフロー図である。本発明の実施形態による有意性マップ符号化のフロー図である。本発明の実施形態による有意性マップ復号のフロー図である。

高効率ビデオ符号化（ＨＥＶＣ）中、特にＨＥＶＣ試験モデルＨＭ５．０中には、係数符号化が、異なる変換単位（ＴＵ）サイズにおいて変化する複数のステップから成る。

ＨＥＶＣ符号化の動作を強化するために、本明細書では、右斜め上方向走査などに合わせて係数符号化を調和させ、右斜め上方向走査されるＴＵに全て同じ係数符号化が行われるようにする、より統一的な係数符号化の解決策を教示する。

表１及び表２は、ＨＥＶＣ試験モデルＨＭ５．０（表１）における既存の係数符号化からの要素を、表２に示す本発明による変更と比較したものである。縦列に示す走査は、変換係数の走査順であり、マルチレベルＳｉｇＭａｐは、マルチレベル有意性マップ符号化が最初にＣＧフラグを符号化する方法を表している。表１から表２に移る際に、ＴＵサイズが４×４及び８×８の、サブブロックを右斜め上方向走査（ｓｕｂ−Ｄ）する特定の例において走査が強化されていると同時に、さらにマルチレベル有意性マッピングが適用されていることに気付くであろう。

図１に、右斜め上方向走査（ＲＤＳ）の置換を行うとともにマルチレベル有意性マップ符号化（ＭＬＳＭＣ）を適用するための、本発明によるエンコーダ１０を備えた符号化装置の実施形態例を示す。本発明は、一般化したＲＤＳ及びＭＬＳＭＣを含むように示しているエントロピ符号化ブロック３４内で実施されるが、そうでなければ、符号化システムとの互換性を最大化する従来のビデオ符号化に依存することができる。

図示のエンコーダ１０は、１又はそれ以上のプロセッサ４４により実行される符号化要素１２を含む。この例には、ビデオフレーム入力１４、参照フレーム１６及びフレーム出力１８も示している。インター予測２０は、動き予測（ＭＥ）２２及び動き補償（ＭＣ）２４を含む。イントラ予測２６、及びインター予測とイントラ予測の間の切り替えも示している。加算接合部２８は、予測に基づいて実行され残差データの変換係数を生成する順方向変換３０への出力を含む。量子化段階３２において変換係数の量子化を行った後に、エントロピ符号化３４が行われる。加算接合部４０に結合された逆量子化３６及び逆変換３８の動作後に、デブロッキングフィルタ及び／又はループフィルタ及び／又はサンプル適応オフセットなどのフィルタ４２が続く。

符号化に関連するプログラムを実行するための少なくとも１つの（ＣＰＵなどの)処理装置４６及び少なくとも１つのメモリ４８などを備えた処理手段４４を実装するエンコーダを示していると理解されたい。また、本発明の要素を、媒体上に記憶されたプログラムとして実装し、エンコーダ１０及び／又はデコーダ５０のためのＣＰＵが、この媒体にアクセスしてプログラムを実行できると理解されるであろう。

図２に、処理ブロック５２及び関連する処理手段７６を備えたデコーダの実施形態例５０を示す。このデコーダは、参照フレーム５４に作用してビデオ７４を出力する、実質的に図１のエンコーダ１０に含まれる要素のサブセットであると気付くであろう。デコーダブロックは、符号化されたビデオ信号５６を受け取り、この信号を、モード依存走査に基づいて１次元ＴＵを復号し、エンコーダにより決定される最後の非ゼロ変換位置を復号するエントロピデコーダ５８を通じて処理する。ＴＵは、（１）４×４又は８×８の水平又は垂直のＴＵに水平又は垂直走査を行い、右斜め上方向の４×４及び８×８のＴＵを含む残りのＴＵに４×４のサブブロックの右斜め上方向走査を行うモード依存係数走査（ＭＤＣＳ）中に、或いは（２）大きなＴＵ、並びに右斜め上方向走査される４×４及び８×８のＴＵの両方にマルチレベル有意性マップを使用して処理される。マルチレベル有意性マップの使用中、デコーダのプログラムは、係数群が全てゼロであるかどうかを判定して係数群がいずれかの非ゼロ係数を有する場合には個別の有意性マップを選択するエンコーダからのフラグを復号する。

エントロピ復号の後には、逆量子化６０、逆変換６２、及び逆変換６２の出力と、動き補償６８を含むインター予測６６と別個のイントラ予測ブロック７０との間の選択との間に位置する加算６４に続く。加算接合部６４からの出力は、ループフィルタ、デブロッキングフィルタ、サンプル適応オフセット、又はこれらのいずれかの組み合わせとして構成できるフィルタ７２により受け取られる。このデコーダは、復号に関連するプログラムを実行するための少なくとも１つの処理装置７８及び少なくとも１つのメモリ８０を備えた処理手段７６を実装することができると理解されたい。さらに、本発明の要素を、媒体上に記憶されたプログラムとして実装し、処理装置（ＣＰＵ)７８がこの媒体にアクセスして実行することができると気付くであろう。

本発明の要素１０及び５０は、メモリ４８及び８０内に存在する、コンピュータプロセッサ（ＣＰＵ）４６及び７８上で実行可能なプログラムなどに応答して処理手段４４及び７６により実行できるように実装されることが認識されるであろう。また、本発明の要素を、媒体上に記憶されたプログラムとして実装し、ＣＰＵ４６及び７８がこの媒体にアクセスして実行できることも理解されるであろう。

また、このプログラムは、一時的伝播信号を構成するだけでなく、実際にはあらゆる所望の形式及び数の静的又は動的記憶素子内などにプログラムを保持できるという点で非一時的な有形（物理）コンピュータ可読媒体であるメモリから実行可能であると理解されたい。これらの記憶素子を、本明細書で非一時的媒体と見なされるように、（停電などの）全ての条件下でデータを保持するように実現する必要はない。

図３に、エンコーダ内における一般的なＴＵ符号化ステップを示しており、この後に従来のＴＵ符号化及び本発明によるＴＵ符号化の両方が行われる。これらの一般的ステップは、モード依存係数走査（ＭＤＣＳ）９０に基づいて２次元（２Ｄ）ＴＵを１次元（１Ｄ）ＴＵに変換するステップを含む。最後の非ゼロ係数の位置を識別して符号化する９２。有意性マップ符号化９４により、係数がゼロであるか、それとも非ゼロであるかを符号化する。その後、非ゼロ係数の値を符号化９６してＴＵ符号化を完了する。

図４に、デコーダ内における一般的なＴＵ符号化ステップを示しており、この後に従来のＴＵ符号化及び本発明によるＴＵ符号化の両方が行われる。これらの一般的ステップは、モード依存係数走査（ＭＤＣＳ）９８に基づいて２次元（２Ｄ）ＴＵを１次元（１Ｄ）ＴＵに変換するステップを含む。最後の非ゼロ係数の位置を復号する１００。有意性マップ符号化１０２により、係数がゼロであるか、それとも非ゼロであるかを復号する。その後、非ゼロ係数の値を復号１０４してデコーダ内におけるＴＵ符号化を完了する。

図５に、従来のモード依存係数走査（ＭＤＣＳ）の実施方法を示す。（サイズ、予測モードなどの）ＴＵ情報を受け取り１１０、ステップ１１２において大きなＴＵを検出し、４×４のサブブロックの右斜め上方向走査１１４を使用して４×４又は８×８でないＴＵを処理する。ステップ１１６において、４×４及び８×８のＴＵをチェックし、ステップ１１８において、水平又は垂直走査を使用して水平又は垂直な４×４及び８×８のＴＵを処理する。水平又は垂直でない４×４及び８×８のＴＵに関しては、処理がブロック１１６からブロック１２０に移り、ここでチェックを行って４×４のＴＵを検出する。その後、４×４の右斜め上方向走査１２２によって４×４のＴＵを処理し、８×８の右斜め上方向走査１２４によって８×８のＴＵを処理する。

図６に、本発明によるモード依存係数走査（ＭＤＣＳ）の実施形態例を示す。ＴＵ情報を受け取り１３０、ステップ１３２において大きなＴＵを検出し、４×４のサブブロックの右斜め上方向走査１３４を使用して４×４又は８×８でないＴＵを処理する。ステップ１３６において、４×４及び８×８のＴＵをチェックし、ステップ１３８において、水平又は垂直走査を使用して水平又は垂直の４×４及び８×８のＴＵを処理する。残りの４×４及び８×８の非水平、非垂直ＴＵに関しても、ブロック１３４の通りに４×４のサブブロックの右斜め上方向走査を行う。

図７Ａ〜図７Ｄに、本発明による走査パターンを示す。図７Ａには、１６×１６の係数を有する大きなＴＵを示しており、このＴＵにサブブロック分割及び右斜め上方向走査を行っている。この図には、各４×４のサブブロック内で係数を走査し、その後、次の４×４のサブブロック（すなわち、ＣＧ）を走査することを示している。単純にするために（及びスペースの都合上）、図７Ａには各４×４のサブブロック内の走査パターンは示してない。図７Ｂには、４×４の右斜め上方向ＴＵに対する右斜め上方向走査を示している。図６に示す本発明による変更前及び変更後のいずれにおいても、これらのＴＵに４×４の右斜め上方向走査が行われていることに気付くであろう。図７Ｃには、従来の８×８の右斜め上方向走査を示しており、この走査の代わりに、図７Ｄに示す本発明による４×４の右斜め上方向サブブロック走査を行う。図７Ａ〜図７Ｄでは、ＭＤＣＳが、ＴＵの左上隅から開始して右下隅へと横切る。図３の符号化処理９４及び９６、並びに図４の復号処理１０２及び１０４では、処理の順序が、図７Ａ〜図７Ｄに示すＭＤＣＳの向きとは逆になる。

図８に、エンコーダ内における従来の有意性マップ処理を示す。ＴＵ情報１５０を受け取り、ステップ１５２において４×４及び８×８であると判定されたＴＵに、シングルレベル有意性マップ符号化１５４を行う。そうでなければ、その後４×４又は８×８でないＴＵに、マルチレベル有意性マップ符号化１５６を行う。図示のマルチレベル有意性マップ符号化は、最後の非ゼロＣＧから開始して、これ以上係数群（ＣＧ）が存在するかどうかをチェック１５８するステップを含む。これ以上ＣＧが存在しない場合、マルチレベル有意性マップ符号化を完了し、実行がステップ１６６を越えたところまでジャンプする。さらにＣＧが存在する場合、ステップ１６０において、それらが最初のＣＧと最後のＣＧの間に存在するかどうかをチェックする。（１）最後の非ゼロＣＧ（最後の非ゼロ係数を含むＣＧ）後の全てのゼロＣＧについては、全てがゼロでありＣＧフラグが０に設定されると推測できるので、フラグ付けを送る必要はなく、（２）最後の非ゼロＣＧについては、非ゼロ係数を有しＣＧフラグが１に設定されると推測できるので、フラグ付けは必要なく、最終的に、（３）最初のＣＧについては、ほとんど全ての場合に非ゼロ係数を有しＣＧフラグが１に設定されるので、フラグ付けが必要ないことに気付くであろう。従って、ステップ１６０において、最初のＣＧと最後のＣＧの間であると判定された（「はい」の）場合、ＣＧフラグを符号化してフラグ付けを行う１６２。最初のＣＧと最後のＣＧの間でない場合、ＣＧフラグは１に設定され１６１、フラグ付けステップが迂回されて、実行はＣＧフラグのチェック１６４へ進む。ステップ１６４において、ＣＧフラグが１に等しいか否かをチェックし、ＣＧが０に等しい場合にはステップ１５８へ戻る。各４×４のサブブロックが係数群（ＣＧ）を含むことに気付くであろう。ステップ１６４において、ＣＧフラグが１に等しいと判定された場合、個別の有意性マップ符号化を実行する１６６。

図９に、デコーダ内における従来の有意性マップ処理を示す。ＴＵ情報１７０を受け取り、ステップ１７２において４×４及び８×８であると判定されたＴＵに、シングルレベル有意性マップ復号１７４を行う。そうでなければ、その後４×４又は８×８でないＴＵに、マルチレベル有意性マップ復号１７６を行う。図示のマルチレベル有意性マップ復号は、最後の非ゼロＣＧから開始して、これ以上係数群（ＣＧ）が存在するかどうかをチェック１７８するステップを含む。これ以上ＣＧが存在しない場合、マルチレベル有意性マップ復号を完了し、実行がステップ１８６を越えたところまでジャンプする。さらにＣＧが存在する場合、ステップ１８０において、それらが最初のＣＧと最後のＣＧの間に存在するかどうかをチェックする。（１）最後の非ゼロＣＧ（最後の非ゼロ係数を含むＣＧ）後の全てのゼロＣＧについては、全てがゼロでありＣＧフラグが０に設定されると推測できるので、フラグ付けを送る必要はなく、（２）最後の非ゼロＣＧについては、非ゼロ係数を有しＣＧフラグが１に設定されると推測できるので、フラグ付けは必要なく、最終的に、（３）最初のＣＧについては、ほとんど全ての場合に非ゼロ係数を有しＣＧフラグが１に設定されるので、フラグ付けが必要ないことに気付くであろう。従って、ステップ１８０において、最初のＣＧと最後のＣＧの間であると判定された（「はい」の）場合、フラグ付けを行う１８２。最初のＣＧと最後のＣＧの間でない場合、ＣＧフラグは１に設定され１８１、フラグ付けステップが迂回されて、実行はＣＧフラグのチェック１８４へ進む。ステップ１８４において、ＣＧフラグが１に等しいか否かをチェックし、ＣＧが０に等しい場合にはステップ１７８へ戻る。各４×４のサブブロックが係数群（ＣＧ）を含むことに気付くであろう。ステップ１８４において、ＣＧフラグが１に等しいと判定された場合、個別の有意性マップ符号化を実行する１８６。

図１０に、本発明の要素による、エンコーダ内における有意性マップ処理を示す。ＴＵ情報１９０を受け取り、これがステップ１９２において、水平又は垂直走査される４×４又は８×８ＴＵであると判定された場合、シングルレベル有意性マップ符号化１９４を行う。そうでなければ、大きなＴＵ、並びに４×４及び８×８の右斜め上方向走査のＴＵにマルチレベル有意性マップ符号化１９６を行う。図示のマルチレベル有意性マップ符号化は、これ以上係数群（ＣＧ）が存在するかどうかをチェック１９８するステップを含む。これ以上ＣＧが存在しない場合、マルチレベル有意性マップ符号化を完了し、実行がステップ２０６を越えたところまでジャンプする。さらにＣＧが存在する場合、ステップ２００において、それらが最初のＣＧと最後のＣＧの間に存在するかどうかをチェックする。（１）最後の非ゼロＣＧ（最後の非ゼロ係数を含むＣＧ）後の全てのゼロＣＧについては、全てがゼロでありＣＧフラグが０に設定されると推測できるので、フラグ付けを送る必要はなく、（２）最後の非ゼロＣＧについては、非ゼロ係数を有すると推測できるので、フラグ付けは必要なく、最終的に、（３）最初のＣＧについては、ほとんど全ての場合に非ゼロ係数を有しＣＧフラグが１に設定されるので、フラグ付けが必要ないことに気付くであろう。従って、ステップ２００において、最初のＣＧと最後のＣＧの間であると判定された（「はい」の）場合、フラグ付けを行う２０２。最初のＣＧと最後のＣＧの間でない場合、ＣＧフラグは１に設定され２０１、フラグ付けステップが迂回されて、実行はＣＧフラグのチェック２０４へ進む。ステップ２０４において、ＣＧフラグが１に等しいか否かをチェックし、ＣＧが０に等しい場合にはステップ１９８へ戻る。各４×４のサブブロックが係数群（ＣＧ）を含むことに気付くであろう。ステップ２０４において、ＣＧが１に等しいと判定された場合、個別の有意性マップ符号化を実行する２０６。

図１１に、本発明の要素による、デコーダ内における有意性マップ処理を示す。ＴＵ情報２１０を受け取り、ステップ２１２において、水平又は垂直走査される４×４又は８×８のＴＵであると判定された場合、シングルレベル有意性マップ復号２１４を行う。そうでなければ、大きなＴＵ、並びに４×４及び８×８の右斜め上方向走査のＴＵにマルチレベル有意性マップ符号化２１６を行う。図示のマルチレベル有意性マップ符号化は、これ以上係数群（ＣＧ）が存在するかどうかをチェック２１８するステップを含む。これ以上ＣＧが存在しない場合、マルチレベル有意性マップ復号を完了し、実行がステップ２２６を越えたところまでジャンプする。さらにＣＧが存在する場合、ステップ２２０において、それらが最初のＣＧと最後のＣＧの間に存在するかどうかをチェックする。（１）最後の非ゼロＣＧ（最後の非ゼロ係数を含むＣＧ）後の全てのゼロＣＧについては、全てがゼロでありＣＧフラグが０に設定されると推測できるので、フラグ付けを送る必要はなく、（２）最後の非ゼロＣＧについては、非ゼロ係数を有すると推測できるので、フラグ付けは必要なく、最終的に、（３）最初のＣＧについては、ほとんど全ての場合に非ゼロ係数を有しＣＧフラグが１に設定されるので、フラグ付けが必要ないことに気付くであろう。従って、ステップ２２０において、最初のＣＧと最後のＣＧの間であると判定された（「はい」の）場合、ＣＧフラグを符号化してフラグ付けを行う２２２。最初のＣＧと最後のＣＧの間でない場合、ＣＧフラグは１に設定され２２１、フラグ付けステップが迂回されて、実行はＣＧフラグのチェック２２４へ進む。ステップ２２４において、ＣＧフラグが１に等しいか否かをチェックし、ＣＧが０に等しい場合にはステップ２１８へ戻る。各４×４のサブブロックが係数群（ＣＧ）を含むことに気付くであろう。ステップ２２４において、ＣＧが１に等しいと判定された場合、個別の有意性マップ符号化を実行する２２６。

以下、図８（エンコーダ）及び図９（デコーダ）から、図１０（エンコーダ）及び図１１（デコーダ）の本発明の教示への移行について要約する。既存の有意性マッピングでは、全ての４×４及び８×８のＴＵにシングルレベル有意性マッピングが行われ、それよりも大きなＴＵ（１６×１６及び３２×３２）のみがマルチレベル有意性マッピングによって処理される。一方、図１０及び図１１で分かるように、水平又は垂直走査される４×４及び８×８のＴＵは、シングルレベル有意性マップを使用して処理されるが、大きなＴＵ（１６×１６及び３２×３２）並びに右斜め上方向走査される４×４及び８×８のＴＵは、マルチレベル有意性マップを使用して処理される。

これらの解決策を表２の特徴に要約する。この表では、特定の４×４及び８×８のＴＵが、サブブロックの右斜め上方向（Ｓｕｂ−Ｄ）走査をされる以前のＴＵとは別様に処理されていることが分かる。この発明技術は、ＨＥＶＣＨＭ５．０に実装し、通常のテスト条件下でシミュレーションを行ったものである。

本発明の実施形態は、本発明の実施形態による方法及びシステムを示すフロー図、及び／又はコンピュータプログラム製品としても実現できるアルゴリズム、式、又はその他の計算表現を参照しながら説明することができる。この点、ハードウェア、ファームウェア、及び／又はコンピュータ可読プログラムコード論理の形で具体化された１又はそれ以上のコンピュータプログラム命令を含むソフトウェアなどの様々な手段により、フロー図の各ブロック又はステップ、及びフロー図のブロック（及び／又はステップ）の組み合わせ、アルゴリズム、式、又は計算表現を実現することができる。理解されるように、このようなあらゆるコンピュータプログラム命令を、以下に限定されるわけではないが、汎用コンピュータ又は専用コンピュータ、又は機械を生産するためのその他のあらゆるプログラマブル処理装置を含むコンピュータ上にロードして、コンピュータ又はその他のプログラマブル処理装置上で実行されるコンピュータプログラム命令が、（単複の）フロー図の（単複の）ブロック内に特定される機能を実施するための手段を生み出すようにすることができる。

従って、フロー図のブロック、アルゴリズム、式、又は計算表現は、特定の機能を実行するための手段の組み合わせ、特定の機能を実行するためのステップの組み合わせ、及びコンピュータ可読プログラムコード論理手段の形で具体化されるような、特定の機能を実行するためのコンピュータプログラム命令をサポートする。特定の機能又はステップを実行する専用ハードウェアベースのコンピュータシステム、又は専用ハードウェアとコンピュータ可読プログラムコード論理手段の組み合わせにより、本明細書で説明したフロー図の個々のブロック、アルゴリズム、式、又は計算表現、及びこれらの組み合わせを実施できる点も理解されるであろう。

さらに、コンピュータ可読プログラムコード論理の形で具体化されるようなこれらのコンピュータプログラム命令を、コンピュータ又はその他のプログラマブル処理装置に特定の態様で機能するように指示することができるコンピュータ可読メモリに記憶して、これらのコンピュータ可読メモリに記憶された命令が、（単複の）フロー図の（単複の）ブロック内に特定される機能を実施する命令手段を含む製造の物品を作り出すようにすることができる。コンピュータプログラム命令をコンピュータ又はその他のプログラマブル処理装置上にロードし、コンピュータ又はその他のプログラマブル処理装置上で一連の動作ステップが実行されるようにしてコンピュータで実施される処理を生成し、コンピュータ又はその他のプログラマブル処理装置上で実行される命令が、（単複の）フロー図の（単複の）ブロック、（単複の）アルゴリズム、（単複の）式、又は（単複の）計算表現内に特定される機能を実施するためのステップを提供するようにすることができる。

上記の説明から、以下の態様を含む様々な方法で本発明を具体化できることが理解されよう。

１．ビデオ信号を符号化及び復号するシステムであって、（ａ）ビデオフレームを符号化するように構成されたコンピュータプロセッサを有するビデオエンコーダと、（ｂ）前記コンピュータプロセッサ上で実行可能なプログラムとを備え、前記プログラムが、（ｉ）前記ビデオフレームに対して、近隣の再構成値に基づくイントラ予測及び／又は動き推定及び動き補償に基づくインター予測を行い、（ｉｉ）前記ビデオフレームに対して、前記インター予測に基づく変換を実行した後に変換係数の量子化を行い、及び／又は逆量子化を実行した後に前記インター予測と組み合わせた逆変換を行い、（ｉｉｉ）前記ビデオフレームに対してエントロピ符号化を行うためのものであり、前記エントロピ符号化が、（Ａ）モード依存係数走査（ＭＤＣＳ）に基づいて、２次元の変換単位（ＴＵ）を１次元のＴＵに変換するステップと、（Ｂ）最後の非ゼロ変換係数の位置を識別して符号化するステップと、（Ｃ）係数がゼロであるか、それとも非ゼロであるかを符号化した有意性マップを生成するステップとを含み、（Ｄ）前記ＴＵが、（１）４×４又は８×８の水平又は垂直のＴＵに水平又は垂直走査を行い、右斜め上方向の４×４及び８×８のＴＵを含む残りのＴＵに４×４のサブブロックの右斜め上方向走査を行うモード依存係数走査（ＭＤＣＳ）中、又は、（２）大きなＴＵ、及び４×４のサブブロックの右斜め上方向走査が行われる４×４及び８×８のＴＵの両方をマルチレベル有意性マップ符号化を使用して処理する有意性マップの生成中、のいずれかにおいて処理され、前記エントロピ符号化がさらに、（Ｅ）残りの非ゼロ変換係数を符号化するステップを含み、前記システムが、（ｃ）ビデオフレームを復号するように構成されたコンピュータプロセッサを有するデコーダと、（ｄ）符号化ビデオフレームの受け取り時に、右斜め上方向走査（ＲＤＳ）の置換を含む、及び／又は変換単位（ＴＵ）の復号中にマルチレベル有意性マップ符号化を適用するエントロピ復号を実行するための、前記コンピュータプロセッサ上で実行可能なプログラムとをさらに備えることを特徴とするシステム。

２．前記４×４のサブブロックが、係数群（ＣＧ）であることを特徴とする上記実施形態のいずれかに記載のシステム。

３．前記プログラムが、前記マルチレベル有意性マッピング中に、係数群が全てゼロであるか否かを示すフラグを符号化し、前記係数群がいずれかの非ゼロ係数を有する場合には個別の有意性マップを生成するよう前記コンピュータ上で実行されるように構成されることを特徴とする上記実施形態のいずれかに記載のシステム。

４．所望の符号化効率を達成するために、前記エンコーダの符号化単位（ＣＵ）が、ビデオコンテンツに応じた可変サイズを有し、前記ＣＵが、より小さな予測単位（ＰＵ）及び変換単位（ＴＵ）に分割されることを特徴とする上記実施形態のいずれかに記載のシステム。

５．前記変換単位（ＴＵ）が、前記変換が適用される、変換係数を生成する残差データのブロックを参照することを特徴とする上記実施形態のいずれかに記載のシステム。

６．前記ビデオ符号化システムが、高効率ビデオ符号化（ＨＥＶＣ）コーダとともに動作することを特徴とする上記実施形態のいずれかに記載のシステム。

７．前記プログラムが、右斜め上方向走査される全てのＴＵに対して前記同じ係数符号化を利用するように構成されることを特徴とする上記実施形態のいずれかに記載のシステム。

８．ビデオ符号化装置内でエントロピ符号化を行うための装置であって、（ａ）ビデオフレームを符号化するように構成されたコンピュータプロセッサを有するエンコーダと、（ｂ）前記コンピュータプロセッサ上で実行可能なプログラムとを備え、前記プログラムが、（ｉ）前記ビデオフレームに対して、動き推定及び動き補償に基づくインター予測を行い、（ｉｉ）前記ビデオフレームに対して、前記インター予測に基づく変換を実行した後に前記変換からの変換係数の量子化を行い、（ｉｉｉ）前記ビデオフレームに対してエントロピ符号化を行うためのものであり、前記エントロピ符号化が、（Ａ）モード依存係数走査（ＭＤＣＳ）に基づいて、２次元の変換単位（ＴＵ）を１次元のＴＵに変換するステップと、（Ｂ）最後の非ゼロ変換係数の位置を識別して符号化するステップと、（Ｃ）係数がゼロであるか、それとも非ゼロであるかを符号化した有意性マップを生成するステップとを含み、（Ｄ）前記ＴＵが、（１）４×４又は８×８の水平又は垂直のＴＵに水平又は垂直走査を行い、右斜め上方向の４×４及び８×８のＴＵを含む残りのＴＵに４×４のサブブロックの右斜め上方向走査を行うモード依存係数走査（ＭＤＣＳ）中、又は（２）大きなＴＵ、及び４×４のサブブロックの右斜め上方向走査が行われる４×４及び８×８のＴＵの両方をマルチレベル有意性マップ符号化を使用して処理する有意性マッピングの生成中、のいずれかにおいて処理され、前記エントロピ符号化がさらに、（Ｅ）残りの非ゼロ変換係数を符号化するステップを含むことを特徴とする装置。

９．前記４×４のサブブロックが、係数群（ＣＧ）であることを特徴とする上記実施形態のいずれかに記載の装置。

１０．前記プログラムが、前記マルチレベル有意性マッピング中に、係数群が全てゼロであるか否かを示すフラグを符号化し、前記係数群がいずれかの非ゼロ係数を有する場合には個別の有意性マップを生成するよう前記コンピュータ上で実行されるように構成されることを特徴とする上記実施形態のいずれかに記載の装置。

１１．所望の符号化効率を達成するために、前記エンコーダの符号化単位（ＣＵ）が、ビデオコンテンツに応じた可変サイズを有し、前記ＣＵが、より小さな予測単位（ＰＵ）及び変換単位（ＴＵ）に分割されることを特徴とする上記実施形態のいずれかに記載の装置。

１２．前記変換単位（ＴＵ）が、前記変換が適用される、変換係数を生成する残差データのブロックを参照することを特徴とする上記実施形態のいずれかに記載の装置。

１３．前記ビデオ符号化装置が、高効率ビデオ符号化（ＨＥＶＣ）コーダとともに動作することを特徴とする上記実施形態のいずれかに記載の装置。

１４．前記プログラムが、右斜め上方向走査される全てのＴＵに対して前記同じ係数符号化を利用するように構成されることを特徴とする上記実施形態のいずれかに記載の装置。

１５．ビデオ復号装置内でエントロピ復号を行うための装置であって、（ａ）ビデオフレームを復号するように構成されたコンピュータプロセッサを有するデコーダと、（ｂ）符号化ビデオフレームの受け取り時にエントロピ復号を行うように、前記コンピュータのプロセッサ上で実行可能なプログラムとを備え、前記エントロピ復号が、（ｉ）モード依存係数走査（ＭＤＣＳ）に基づいて、２次元の変換単位（ＴＵ）を１次元のＴＵに変換するステップと、(ｉｉ）最後の非ゼロ変換係数の位置を復号するステップと、（ｉｉｉ）係数がゼロであるか、それとも非ゼロであるかに関するエンコーダからの有意性マップを復号するステップとを含み、（ｉｖ）前記ＴＵが、（１）４×４又は８×８の水平又は垂直のＴＵに水平又は垂直走査を行い、右斜め上方向の４×４及び８×８のＴＵを含む残りのＴＵに４×４のサブブロックの右斜め上方向走査を行うモード依存係数走査（ＭＤＣＳ）中に、又は、（２）大きなＴＵ、及び４×４のサブブロックの右斜め上方向走査が行われる４×４及び８×８のＴＵの両方にマルチレベル有意性マップ符号化を使用して、のいずれかで処理され、前記エントロピ復号がさらに、（ｖ）残りの非ゼロ変換係数を復号するステップを含むことを特徴とする装置。

１６．前記４×４サブブロックが、係数群（ＣＧ）であることを特徴とする上記実施形態のいずれかに記載の装置。

１７．前記プログラムが、前記マルチレベル有意性マップの利用中に、係数群が全てゼロであるか否かを判定するエンコーダからのフラグを復号し、前記係数群がいずれかの非ゼロ係数を有する場合には個別の有意性マップを選択するように構成されることを特徴とする上記実施形態のいずれかに記載の装置。

１８．所望の符号化効率を達成するために、前記エンコーダの符号化単位（ＣＵ）が、ビデオコンテンツに応じた可変サイズを有し、前記ＣＵが、より小さな予測単位（ＰＵ）及び変換単位（ＴＵ）に分割されることを特徴とする上記実施形態のいずれかに記載の装置。

１９．前記変換単位（ＴＵ）が、逆変換が適用される残差データのブロックを参照することを特徴とする上記実施形態のいずれかに記載の装置。

２０．前記ビデオ復号装置が、高効率ビデオ符号化（ＨＥＶＣ）コーダとともに動作することを特徴とする上記実施形態のいずれかに記載の装置。

上記の説明は多くの詳細を含んでいるが、これらは本発明の範囲を限定するものではなく、本発明の現在のところ好ましい実施形態の一部を例示するものにすぎないと解釈すべきである。従って、本発明の範囲は、当業者に明らかになると考えられる他の実施形態も完全に含み、従って添付の特許請求の範囲以外のいかなるものによっても本発明の範囲を限定すべきではなく、特許請求の範囲では、単数形による要素への言及は、明述しない限り「唯一」を意味するものではなく、「１又はそれ以上」を意味するものであると理解されたい。当業者には周知の上述した好ましい実施形態の要素の構造的及び機能的同等物も引用により本明細書に明確に組み入れられ、本特許請求の範囲に含まれることを意図している。さらに、本発明が解決しようとする課題が本特許請求の範囲に含まれるようにするために、装置及び方法がこれらの個々の及び全ての課題に対処する必要はない。さらに、本開示の要素、構成要素又は方法ステップは、これらが特許請求の範囲に明示されているかどうかにかかわらず、一般に公開されることを意図するものではない。本明細書における請求項の要素については、この要素が「〜のための手段」という表現を使用して明確に示されていない限り、米国特許法１１２条第６項の規定によって解釈すべきではない。

表１
ＨＥＶＣ試験モデルＨＭ５．０における既存の係数符号化

走査：Ｈ＝水平走査、Ｖ＝垂直走査、Ｄ＝ＴＵサイズに基づいて変化する右斜め上方向走査、Ｓｕｂ−Ｄ＝４×４のサブブロックの右斜め上方向走査

表２
本発明によるＨＥＶＣのための係数符号化

Claims

ビデオ信号を符号化及び復号するシステムであって、
（ａ）ビデオフレームを符号化するように構成されたコンピュータプロセッサを有するビデオエンコーダと、
（ｂ）前記コンピュータプロセッサ上で実行可能なプログラムと、
を備え、前記プログラムが、
（ｉ）前記ビデオフレームに対して、近隣の再構成値に基づくイントラ予測及び／又は動き推定及び動き補償に基づくインター予測を行い、
（ｉｉ）前記ビデオフレームに対して、前記イントラ予測及び／又はインター予測に基づく変換を実行した後に変換係数の量子化を行い、及び／又は逆量子化を実行した後に前記イントラ予測又はインター予測と組み合わせた逆変換を行い、
（ｉｉｉ）前記ビデオフレームに対してエントロピ符号化を行う、
ためのものであり、前記エントロピ符号化が、
（Ａ）モード依存係数走査（ＭＤＣＳ）に基づいて、２次元の変換単位（ＴＵ）を１次元のＴＵに変換するステップと、
（Ｂ）最後の非ゼロ変換係数の位置を識別して符号化するステップと、
（Ｃ）係数がゼロであるか、それとも非ゼロであるかを符号化した有意性マップを生成するステップと、
を含み、
（Ｄ）前記ＴＵが、
（１）４×４又は８×８の水平又は垂直のＴＵに水平又は垂直走査を行い、右斜め上方向の４×４及び８×８のＴＵを含む残りのＴＵに４×４のサブブロックの右斜め上方向走査を行うモード依存係数走査（ＭＤＣＳ）中、又は、
（２）大きなＴＵ、及び４×４のサブブロックの右斜め上方向走査が行われる４×４及び８×８のＴＵの両方をマルチレベル有意性マップ符号化を使用して処理する有意性マップの生成中、
のいずれかにおいて処理され、前記エントロピ符号化がさらに、
（Ｅ）残りの非ゼロ変換係数を符号化するステップ、
を含み、前記システムが、
（ｃ）ビデオフレームを復号するように構成されたコンピュータプロセッサを有するデコーダと、
（ｄ）符号化ビデオフレームの受け取り時に、右斜め上方向走査（ＲＤＳ）の置換を含む、及び／又は変換単位（ＴＵ）の復号中にマルチレベル有意性マップ符号化を適用するエントロピ復号を実行するための、前記コンピュータプロセッサ上で実行可能なプログラムと、
をさらに備えることを特徴とするシステム。
前記４×４のサブブロックが、係数群（ＣＧ）である、
ことを特徴とする請求項１に記載のシステム。
前記プログラムが、前記マルチレベル有意性マッピング中に、係数群が全てゼロであるか否かを示すフラグを符号化し、前記係数群がいずれかの非ゼロ係数を有する場合には個別の有意性マップを生成するよう前記コンピュータ上で実行されるように構成される、
ことを特徴とする請求項２に記載のシステム。
所望の符号化効率を達成するために、前記エンコーダの符号化単位（ＣＵ）が、ビデオコンテンツに応じた可変サイズを有し、前記ＣＵが、より小さな予測単位（ＰＵ）及び変換単位（ＴＵ）に分割される、
ことを特徴とする請求項１に記載のシステム。
前記変換単位（ＴＵ）が、前記変換が適用される、変換係数を生成する残差データのブロックを参照する、
ことを特徴とする請求項１に記載のシステム。
前記ビデオ符号化システムが、高効率ビデオ符号化（ＨＥＶＣ）コーダとともに動作する、
ことを特徴とする請求項１に記載のシステム。
前記プログラムが、右斜め上方向走査される全てのＴＵに対して前記同じ係数符号化を利用するように構成される、
ことを特徴とする請求項１に記載のシステム。
ビデオ符号化装置内でエントロピ符号化を行うための装置であって、
（ａ）ビデオフレームを符号化するように構成されたコンピュータプロセッサを有するエンコーダと、
（ｂ）前記コンピュータプロセッサ上で実行可能なプログラムと、
を備え、前記プログラムが、
（ｉ）前記ビデオフレームに対して、近隣の再構成値に基づくイントラ予測及び／又は動き推定及び動き補償に基づくインター予測を行い、
（ｉｉ）前記ビデオフレームに対して、前記イントラ予測及び／又はインター予測に基づく変換を実行した後に前記変換からの変換係数の量子化を行い、
（ｉｉｉ）前記ビデオフレームに対してエントロピ符号化を行う、
ためのものであり、前記エントロピ符号化が、
（Ａ）モード依存係数走査（ＭＤＣＳ）に基づいて、２次元の変換単位（ＴＵ）を１次元のＴＵに変換するステップと、
（Ｂ）最後の非ゼロ変換係数の位置を識別して符号化するステップと、
（Ｃ）係数がゼロであるか、それとも非ゼロであるかを符号化した有意性マップを生成するステップと、
を含み、
（Ｄ）前記ＴＵが、
（１）４×４又は８×８の水平又は垂直のＴＵに水平又は垂直走査を行い、右斜め上方向の４×４及び８×８のＴＵを含む残りのＴＵに４×４のサブブロックの右斜め上方向走査を行うモード依存係数走査（ＭＤＣＳ）中、又は、
（２）大きなＴＵ、及び４×４のサブブロックの右斜め上方向走査が行われる４×４及び８×８のＴＵの両方をマルチレベル有意性マップ符号化を使用して処理する有意性マッピングの生成中、
のいずれかにおいて処理され、前記エントロピ符号化がさらに、
（Ｅ）残りの非ゼロ変換係数を符号化するステップ、
を含む、
ことを特徴とする装置。
前記４×４のサブブロックが、係数群（ＣＧ）である、
ことを特徴とする請求項８に記載の装置。
前記プログラムが、前記マルチレベル有意性マッピング中に、係数群が全てゼロであるか否かを示すフラグを符号化し、前記係数群がいずれかの非ゼロ係数を有する場合には個別の有意性マップを生成するよう前記コンピュータ上で実行されるように構成される、
ことを特徴とする請求項９に記載の装置。
所望の符号化効率を達成するために、前記エンコーダの符号化単位（ＣＵ）が、ビデオコンテンツに応じた可変サイズを有し、前記ＣＵが、より小さな予測単位（ＰＵ）及び変換単位（ＴＵ）に分割される、
ことを特徴とする請求項８に記載の装置。
前記変換単位（ＴＵ）が、前記変換が適用される、変換係数を生成する残差データのブロックを参照する、
ことを特徴とする請求項８に記載の装置。
前記ビデオ符号化装置が、高効率ビデオ符号化（ＨＥＶＣ）コーダとともに動作する、
ことを特徴とする請求項８に記載の装置。
前記プログラムが、右斜め上方向走査される全てのＴＵに対して前記同じ係数符号化を利用するように構成される、
ことを特徴とする請求項８に記載の装置。
ビデオ復号装置内でエントロピ復号を行うための装置であって、
（ａ）ビデオフレームを復号するように構成されたコンピュータプロセッサを有するデコーダと、
（ｂ）符号化ビデオフレームの受け取り時にエントロピ復号を行うように、前記コンピュータのプロセッサ上で実行可能なプログラムと、
を備え、前記エントロピ復号が、
（ｉ）モード依存係数走査（ＭＤＣＳ）に基づいて、２次元の変換単位（ＴＵ）を１次元のＴＵに変換するステップと、
(ｉｉ）最後の非ゼロ変換係数の位置を復号するステップと、
（ｉｉｉ）係数がゼロであるか、それとも非ゼロであるかに関するエンコーダからの有意性マップを復号するステップと、
を含み、
（ｉｖ）前記ＴＵが、
（１）４×４又は８×８の水平又は垂直のＴＵに水平又は垂直走査を行い、右斜め上方向の４×４及び８×８のＴＵを含む残りのＴＵに４×４のサブブロックの右斜め上方向走査を行うモード依存係数走査（ＭＤＣＳ）中に、又は、
（２）大きなＴＵ、及び４×４のサブブロックの右斜め上方向走査が行われる４×４及び８×８のＴＵの両方にマルチレベル有意性マップを使用して、
のいずれかで処理され、前記エントロピ復号がさらに、
（ｖ）残りの非ゼロ変換係数を復号するステップ、
を含む、
ことを特徴とする装置。
前記４×４サブブロックが、係数群（ＣＧ）である、
ことを特徴とする請求項１５に記載の装置。
前記プログラムが、前記マルチレベル有意性マップの利用中に、係数群が全てゼロであるか否かを判定するエンコーダからのフラグを復号し、前記係数群がいずれかの非ゼロ係数を有する場合には個別の有意性マップを選択するように構成される、
ことを特徴とする請求項１６に記載の装置。
所望の符号化効率を達成するために、前記エンコーダの符号化単位（ＣＵ）が、ビデオコンテンツに応じた可変サイズを有し、前記ＣＵが、より小さな予測単位（ＰＵ）及び変換単位（ＴＵ）に分割される、
ことを特徴とする請求項１７に記載の装置。
前記変換単位（ＴＵ）が、逆変換が適用される残差データのブロックを参照する、
ことを特徴とする請求項１５に記載の装置。
前記ビデオ復号装置が、高効率ビデオ符号化（ＨＥＶＣ）コーダとともに動作する、
ことを特徴とする請求項１５に記載の装置。