JP2014511655A - ビデオコーディングのための変換係数のコーディング - Google Patents

ビデオコーディングのための変換係数のコーディング Download PDF

Info

Publication number
JP2014511655A
JP2014511655A JP2013557832A JP2013557832A JP2014511655A JP 2014511655 A JP2014511655 A JP 2014511655A JP 2013557832 A JP2013557832 A JP 2013557832A JP 2013557832 A JP2013557832 A JP 2013557832A JP 2014511655 A JP2014511655 A JP 2014511655A
Authority
JP
Japan
Prior art keywords
region
transform
coefficients
coefficient
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013557832A
Other languages
English (en)
Other versions
JP5864623B2 (ja
Inventor
ソル・ロジャルス、ジョエル
ジョシ、ラジャン・ラクスマン
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46795578&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2014511655(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014511655A publication Critical patent/JP2014511655A/ja
Application granted granted Critical
Publication of JP5864623B2 publication Critical patent/JP5864623B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本開示では、ビデオコーディングプロセスにおいて残差ビデオデータのブロックに関連する変換係数をコーディングするための技法について説明する。本開示の態様は、有効性マップコーディングとレベルコーディングとの両方のための走査順序の選択、ならびに選択された走査順序に整合するエントロピーコーディングのためのコンテキストの選択を含む。本開示では、変換係数の有効性マップと変換係数のレベルとの両方をコーディングするための走査順序を一致させることを提案する。有効性マップのための走査順序が逆方向(すなわち、より高い周波数からより低い周波数へ)であるべきであることを提案する。本開示では、変換係数が、固定サブブロックとは対照的にサブセットにおいて走査されることをも提案する。特に、変換係数は、走査順序に従っていくつかの連続する係数からなるサブセットにおいて走査される。
【選択図】図14

Description

優先権の主張
本出願は、その各々の全体が参照により本明細書に組み込まれる、2011年3月8日に出願された米国仮出願第61/450,555号、2011年3月10日に出願された米国仮出願第61/451,485号、2011年3月10日に出願された米国仮出願第61/451,496号、2011年3月14日に出願された米国仮出願第61/452,384号、2011年6月8日に出願された米国仮出願第61/494,855号、および2011年6月15日に出願された米国仮出願第61/497,345号の利益を主張する。
本開示は、ビデオコーディングに関し、より詳細には、ビデオコーディングプロセスによって生成される変換係数を走査し、コーディングするための技法に関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信、受信および記憶するための、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,Advanced Video Coding(AVC)によって定義された規格、現在開発中の高効率ビデオコーディング(HEVC:High Efficiency Video Coding)規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的予測および/または時間的予測を含む。ブロックベースのビデオコーディングの場合、ビデオフレームまたはスライスはブロックに区分され得る。各ブロックはさらに区分され得る。イントラコード化(I)フレームまたはスライス中のブロックは、同じフレームまたはスライス中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。インターコード化(PまたはB)フレームまたはスライス中のブロックは、同じフレームまたはスライス中の隣接ブロック中の参照サンプルに対する空間的予測、あるいは他の参照フレーム中の参照サンプルに対する時間的予測を使用し得る。空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。
[0005]インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。最初は2次元アレイに配列される、量子化された変換係数は、特定の順序で走査されて、エントロピーコーディングのための変換係数の1次元ベクトルが生成され得る。
[0006]概して、本開示では、ビデオコーディングプロセスにおいて残差ビデオデータのブロックに関連する変換係数をコーディングするためのデバイスおよび方法について説明する。本開示で説明する技法、構造および方法は、変換係数をコーディングするためにエントロピーコーディング(たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC:context adaptive binary arithmetic coding))を使用するビデオコーディングプロセスに適用可能である。本開示の態様は、有効性(significance)マップコーディングとレベルおよび符号コーディングとの両方のための走査順序の選択、ならびに選択された走査順序に整合するエントロピーコーディングのためのコンテキストの選択を含む。本開示の技法、構造および方法は、ビデオエンコーダとビデオデコーダとの両方における使用に適用可能である。
[0007]本開示では、変換係数の有効性マップと変換係数のレベルとの両方をコーディングするための走査順序を一致させることを提案する。すなわち、いくつかの例では、有効性マップコーディングとレベルコーディングとのための走査順序は、同じパターンおよび方向を有するべきである。別の例では、有効性マップのための走査順序が逆方向(すなわち、より高い周波数のための係数からより低い周波数のための係数へ)であるべきであることを提案する。さらに別の例では、有効性マップコーディングとレベルコーディングとのための走査順序は、各々が逆方向に進むように一意させるべきであることを提案する。
[0008]本開示では、いくつかの例では、変換係数がサブセットにおいて走査されることをも提案する。特に、変換係数は、走査順序に従っていくつかの連続する係数からなるサブセットにおいて走査される。そのようなサブセットは、有効性マップ走査と係数レベル走査との両方に適用可能であり得る。
[0009]さらに、本開示では、いくつかの例では、有効性マップ走査と係数レベル走査とが、連続する走査においておよび同じ走査順序に従って実行されることを提案する。一態様では、走査順序は逆方向走査順序である。連続する走査は、いくつかの走査パスからなり得る。各走査パスはシンタックス要素走査パスからなり得る。たとえば、第1の走査は(変換係数のレベルのビン0とも呼ばれる)有効性マップ走査であり、第2の走査は各サブセット中の変換係数のレベルのビン1の走査であり、第3の走査は各サブセット中の変換係数のレベルのビン2の走査であり得、第4の走査は変換係数のレベルの残りのビンの走査であり、第5の走査は変換係数のレベルの符号(sign)の走査である。符号(sign)パスは、有効性マップパスの後の任意のポイントにあり得る。さらに、パスごとに2つ以上のシンタックス要素をコーディングすることによって走査パスの数が低減され得る。たとえば、コード化ビンを使用したシンタックス要素のための1つの走査パスと、バイパスビン(たとえば、残りのレベルおよび符号(sign))を使用したシンタックス要素のための第2の走査パス。このコンテキストでは、ビンは、エントロピーコーディングされたビンストリングの一部である。所与の非バイナリ値シンタックス要素がバイナリシーケンス(いわゆるビンストリング)にマッピングされる。
[0010]本開示では、いくつかの例では、変換係数が、2つの異なるコンテキスト領域においてCABACを使用してエントロピーコーディングされることをも提案する。第1のコンテキスト領域のためのコンテキスト導出は変換係数の位置に依存し、第2の領域のためのコンテキスト導出は変換係数の因果的ネイバー(causal neighbor)に依存する。別の例では、第2のコンテキスト領域は、変換係数のロケーションに応じて2つの異なるコンテキストモデルを使用することができる。
[0011]本開示の一例では、ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングする方法を提案する。本方法は、走査順序に従って複数の変換係数のための有効係数を示す情報をコーディングすることと、コーディングされた情報を少なくとも第1の領域と第2の領域とに分割することと、コンテキスト導出基準を使用してコンテキストの第1のセットに従って第1の領域中のコーディングされた情報をエントロピーコーディングすることと、第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って第2の領域中のコーディングされた情報をエントロピーコーディングすることとを備える。
[0012]本開示の別の例では、ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするように構成された装置を提案する。本装置は、走査順序に従って複数の変換係数のための有効係数を示す情報をコーディングし、コーディングされた情報を少なくとも第1の領域と第2の領域とに分割し、コンテキスト導出基準を使用してコンテキストの第1のセットに従って第1の領域中のコーディングされた情報をエントロピーコーディングし、第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って第2の領域中のコーディングされた情報をエントロピーコーディングするように構成されたビデオコーティングユニットを備える。
[0013]本開示の別の例では、ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするように構成された装置を提案する。本装置は、走査順序に従って複数の変換係数のための有効係数を示す情報をコーディングする手段と、コーディングされた情報を少なくとも第1の領域と第2の領域とに分割する手段と、コンテキスト導出基準を使用してコンテキストの第1のセットに従って第1の領域中のコーディングされた情報をエントロピーコーディングする手段と、第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って第2の領域中のコーディングされた情報をエントロピーコーディングする手段とを備える。
[0014]本開示の別の例では、コンピュータプログラム製品は、実行されたとき、ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするためのデバイスのプロセッサに、走査順序に従って複数の変換係数のための有効係数を示す情報をコーディングさせ、コーディングされた情報を少なくとも第1の領域と第2の領域とに分割させ、コンテキスト導出基準を使用して第1のコンテキストに従って第1の領域中のコーディングされた情報をエントロピーコーディングさせ、第1の領域と同じコンテキスト導出基準を使用して第2のコンテキストに従って第2の領域中のコーディングされた情報をエントロピーコーディングさせる命令を記憶したコンピュータ可読記憶媒体を備える。
[0015]1つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
有効性マップコーディングプロセスを示す概念図。 有効性マップコーディングのための走査パターンと方向とを示す概念図。 変換ユニットのレベルコーディングのための走査技法を示す概念図。 例示的なビデオコーディングシステムを示すブロック図。 例示的なビデオエンコーダを示すブロック図。 有効性マップおよび係数レベルコーディングのための逆方向走査順序を示す概念図。 逆方向対角走査順序による変換係数の第1のサブセットを示す概念図。 逆方向水平走査順序による変換係数の第1のサブセットを示す概念図。 逆方向垂直走査順序による変換係数の第1のサブセットを示す概念図。 有効性マップコーディングのためのコンテキスト領域を示す概念図。 逆方向走査順序を使用した有効性マップコーディングのための例示的なコンテキスト領域を示す概念図。 順方向走査順序を使用したエントロピーコーディングのための例示的な因果的ネイバーを示す概念図。 逆方向走査順序を使用したエントロピーコーディングのための例示的な因果的ネイバーを示す概念図。 逆方向走査順序を使用したエントロピーコーディングのための例示的なコンテキスト領域を示す概念図。 逆方向走査順序を使用したエントロピーコーディングのための例示的な因果的ネイバーを示す概念図。 逆方向走査順序を使用したCABACのためのコンテキスト領域の別の例を示す概念図。 逆方向走査順序を使用したCABACのためのコンテキスト領域の別の例を示す概念図。 逆方向走査順序を使用したCABACのためのコンテキスト領域の別の例を示す概念図。 例示的なエントロピーコーディングユニットを示すブロック図。 例示的なビデオデコーダを示すブロック図。 例示的なエントロピー復号ユニットを示すブロック図。 一致させた走査順序を用いた有効性マップ走査および係数レベル走査とのための例示的なプロセスを示すフローチャート。 有効性マップ走査と係数レベル走査とエントロピーコーディングコンテキスト導出とのための例示的なプロセスを示すフローチャート。 有効性マップ走査と係数レベル走査とエントロピーコーディングコンテキスト導出とのための別の例示的なプロセスを示すフローチャート。 有効性マップ走査と係数レベル走査とエントロピーコーディングコンテキスト導出とのための別の例示的なプロセスを示すフローチャート。 逆走査方向を使用した有効性マップコーディングのための例示的なプロセスを示すフローチャート。 変換係数のサブセットによる有効性マップ走査と係数レベル走査とのための例示的なプロセスを示すフローチャート。 変換係数のサブセットによる有効性マップ走査と係数レベル走査とのための別の例示的なプロセスを示すフローチャート。 変換係数のサブセットによる有効性マップ走査と係数レベル走査とのための別の例示的なプロセスを示すフローチャート。 複数の領域を使用したエントロピーコーディングのための例示的なプロセスを示すフローチャート。
[0046]デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信および受信するためのビデオ圧縮技法を実装する。ビデオ圧縮は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的(フレーム内)予測および/または時間的(フレーム間)予測技法を適用し得る。
[0047]一例として、Joint Cooperative Team for Video Coding(JCT−VC)によって現在開発中の高効率ビデオコーディング(HEVC)規格に従うビデオコーディングでは、ビデオフレームがコーディングユニットに区分され得る。コーディングユニットは、概して、ビデオ圧縮のために様々なコーディングツールが適用される基本ユニットとして働く画像領域を指す。コーディングユニットは、(必ずしもそうであるとは限らないが)一般に方形であり、たとえば、ITU−T H.264などの他のビデオコーディング規格の下でのいわゆるマクロブロックと同様であると見なされ得る。本出願では、例示のために、開発中のHEVC規格の現在提案されている態様のいくつかに従うコーディングについて説明する。ただし、本開示で説明する技法は、H.264または他の規格に従って定義されるビデオコーディングプロセスあるいはプロプライエタリビデオコーディングプロセスなど、他のビデオコーディングプロセスのために有用であり得る。
[0048]望ましいコーディング効率を達成するために、コーディングユニット(CU)はビデオコンテンツに応じて可変サイズを有し得る。さらに、コーディングユニットは、予測または変換のためにより小さいブロックに分割され得る。具体的には、各コーディングユニットは、予測ユニット(PU)と変換ユニット(TU)とにさらに区分され得る。予測ユニットは、H.264規格などの他のビデオコーディング規格の下でのいわゆるパーティションと同様であると見なされ得る。変換ユニット(TU)は、概して、変換係数を生成するために変換が適用される残差データのブロックを指す。
[0049]コーディングユニットは、通常、Yとして示されるルミナンス成分と、UおよびVとして示される2つのクロマ成分とを有する。ビデオサンプリングフォーマットに応じて、サンプル数で表されるUおよびV成分のサイズは、Y成分のサイズと同じであるかまたはそれとは異なり得る。
[0050]ブロック(たとえば、ビデオデータの予測ユニット)をコーディングするために、ブロックの予測子が最初に導出される。予測ブロックとも呼ばれる予測子は、イントラ(I)予測(すなわち、空間的予測)またはインター(PまたはB)予測(すなわち時間的予測)のいずれかを通して導出され得る。したがって、いくつかの予測ユニットは、同じフレーム(またはスライス)中の隣接参照ブロック中の参照サンプルに関する空間的予測を使用してイントラコーディング(I)され得、他の予測ユニットは、前にコーディングされた他のフレーム(またはスライス)中の参照サンプルのブロックに関して単方向にインターコーディング(P)されるかまたは双方向にインターコーディング(B)され得る。各場合において、参照サンプルは、コーディングされるべきブロックの予測ブロックを形成するために使用され得る。
[0051]予測ブロックの識別時に、元のビデオデータブロックとそれの予測ブロックとの間の差分が決定される。この差分は予測残差データと呼ばれることがあり、コーディングされるべきブロック中のピクセル値と、コード化ブロックを表すように選択された予測ブロック中のピクセル値との間のピクセル差分を示す。より良好な圧縮を達成するために、予測残差データは、たとえば、離散コサイン変換(DCT)、整数変換、カルーネンレーベ(Karhunen-Loeve)(K−L)変換、または別の変換を使用して変換され得る。
[0052]TUなどの変換ブロック中の残差データは、空間的ピクセル領域に存在するピクセル差分値の2次元(2D)アレイで構成され得る。変換は、周波数領域などの変換領域において残差ピクセル値を変換係数の2次元アレイに変換する。さらなる圧縮のために、変換係数は、エントロピーコーディングに先立って量子化され得る。次いで、エントロピーコーダは、量子化された変換係数にコンテキスト適応型可変長コーディング(CAVLC:Context Adaptive Variable Length Coding)、コンテキスト適応型バイナリ算術コーディング(CABAC)、確率間隔区分エントロピーコーディング(PIPE:Probability Interval Partitioning Entropy Coding)などのエントロピーコーディングを適用する。
[0053]量子化された変換係数のブロックをエントロピーコーディングするために、ブロック中の量子化された変換係数の2次元(2D)アレイが、特定の走査順序に従って変換係数の順序付き1次元(1D)アレイ、すなわちベクトルにおいて処理されるように、走査プロセスが通常実行される。エントロピーコーディングは変換係数の1D順序で適用される。変換ユニット中の量子化された変換係数の走査は、エントロピーコーダのために変換係数の2Dアレイをシリアル化する。有効(すなわち、非0)係数の位置を示すための有効性マップが生成され得る。走査は、有効(すなわち、非0)係数のレベルを走査するために、および/または有効係数の符号(sign)をコーディングするために適用され得る。
[0054]一例として、DCTでは、しばしば、2D変換ユニットの左上隅(すなわち、低周波数領域)のほうが非0係数の確率がより高くなる。係数のシリアル化ランの一方の端部において非0係数を一緒にグループ化する確率を増加させる方法で係数を走査して、0値係数がシリアル化ベクトルの別の端部のほうへ一緒にグループ化され、ゼロのランとしてより効率的にコーディングされることを可能にすることが望ましいことがある。この理由で、走査順序は効率的なエントロピーコーディングのために重要であり得る。
[0055]一例として、HEVC規格において量子化変換係数を走査する際に使用するために、いわゆる対角(または波面(wavefront))走査順序が採用されている。代替的に、ジグザグ、水平、垂直、または他の走査順序が使用され得る。変換および量子化を介して、上述のように、変換がDCTである例では、非0変換係数は、概して、ブロックの左上領域のほうの低周波数エリアに位置する。その結果、最初に左上領域を横断(traverse)し得る対角走査プロセスの後に、非0変換係数は、通常、走査の前部分に位置する可能性が高くなる。最初に右下領域を横断する(traverse)対角走査プロセスの場合、非0変換係数は、通常、走査の後ろ部分に位置する可能性が高くなる。
[0056]走査方向に応じて、より高い周波数において低減されたエネルギーにより、また量子化の効果により、いくつかの0係数は、一般に、走査の一方の端部においてグループ化されることになり、これにより、ビット深度の低減により、いくつかの非0係数が0値係数になり得る。シリアル化1Dアレイ内の係数分布のこれらの特性は、コーディング効率を改善するためにエントロピーコーダ設計において利用され得る。言い換えれば、何らかの適切な走査順序を介して1Dアレイの一部分に非0係数が効果的に配置され得る場合、より良好なコーディング効率が、多くのエントロピーコーダの設計により期待され得る。
[0057]1Dアレイの一方の端部により多くの非0係数を配置するこの目的を達成するために、ビデオエンコーダデコーダ(コーデック)において、変換係数をコーディングするための異なる走査順序が使用され得る。ある場合には、対角走査が効果的であり得る。他の場合には、ジグザグ、垂直または水平走査など、異なるタイプの走査がより効果的であり得る。
[0058]異なる走査順序は様々な方法で生成され得る。1つの例は、変換係数の各ブロックについて、いくつかの利用可能な走査順序から「最良」の走査順序が選定され得ることである。次いで、ビデオエンコーダが、各ブロックについて、それぞれのインデックスによって示される走査順序のセットのうちの最良の走査順序のインデックスの指示をデコーダに与え得る。最良の走査順序の選択は、いくつかの走査順序を適用することと、1Dベクトルの始端または終端の近くに非0係数を配置する際に最も効果的である走査順序を選択することとによって決定され、それにより効率的なエントロピーコーディングが促進され得る。
[0059]別の例では、現在ブロックの走査順序は、予測モード(I、B、P)、ブロックサイズ、変換または他のファクタなど、関連する予測ユニットのコーディングに関係する様々なファクタに基づいて決定され得る。場合によっては、エンコーダ側とデコーダ側の両方において同じ情報、たとえば、予測モードが推論され得るので、デコーダに走査順序インデックスの指示を与える必要はないことがある。代わりに、ビデオデコーダは、ブロックの予測モードの知識と、予測モードを特定の走査順序にマッピングする1つまたは複数の基準とが与えられれば、適切な走査順序を示す構成データを記憶し得る。
[0060]コーディング効率をさらに改善するために、利用可能な走査順序は常に一定であるとは限らない。代わりに、たとえば、すでにコーディングされた係数に基づいて走査順序が適応的に調整されるように、何らかの適応が可能にされ得る。概して、走査順序適応は、選択された走査順序に従って、0および非0係数が一緒にグループ化される可能性が高いような方法で行われ得る。
[0061]いくつかのビデオコーデックでは、最初の利用可能な走査順序は、純(purely)水平、純垂直、純対角、または純ジグザグ走査など、極めて規則的な形態であり得る。代替的に、走査順序は、トレーニングプロセスを通して導出され得、したがって、いくぶんランダムであるように見え得る。トレーニングプロセスは、たとえば、上述のように、非0係数と0値係数との効率的な配置に関して望ましい結果を生成する走査順序を識別するための、ブロックまたは一連のブロックへの異なる走査順序の適用を伴い得る。
[0062]走査順序がトレーニングプロセスから導出される場合、または多種多様な走査順序が選択され得る場合、エンコーダ側とデコーダ側の両方において特定の走査順序を保存することが有益であり得る。そのような走査順序を指定するデータはかなりの量であり得る。たとえば、32×32変換ブロックでは、1つの走査順序は1024個の変換係数位置を含んでいることがある。様々なサイズのブロックがあり得、変換ブロックの各サイズについて、いくつかの異なる走査順序があり得るので、保存される必要があるデータの総量は無視できない。対角、水平、垂直またはジグザグ順序などの規則的走査順序は、ストレージを必要としないかまたは最小のストレージを必要とし得る。しかしながら、対角、水平、垂直またはジグザグ順序は、トレーニングされた走査順序と同等であるコーディング性能を与えるのに十分な多様性を与えないことがある。
[0063]1つの従来の例では、H.264と現在開発中のHEVC規格のために、CABACエントロピーコーダが使用されるとき、変換ブロック(すなわち、HEVCにおける変換ユニット)中の有効係数(すなわち、非0変換係数)の位置は、係数のレベルより前に符号化される。有効係数のロケーションをコーディングするプロセスは、有効性マップコーディングと呼ばれる。係数の有効性は、係数レベルのビン0と同じである。図1に示すように、量子化変換係数11の有効性マップコーディングが有効性マップ13を生成する。有効性マップ13は1および0のマップであり、1は有効係数のロケーションを示す。有効性マップは、一般に、高い割合のビデオビットレートを必要とする。また、本開示の技法は、他のエントロピーコーダ(たとえば、PIPE)とともに使用するために適用可能であり得る。
[0064]有効性マップをコーディングするための例示的なプロセスは、D.Marpe、H.Schwarz、およびT.Wiegand「Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard」、IEEE Trans. Circuits and Systems for Video Technology、vol.13、no.7、2003年7月、に記載されている。このプロセスでは、有効性マップは、コード化ブロックフラグ(CBF:Coded Block Flag)によって示されるように、ブロック中に少なくとも1つの有効係数がある場合にコーディングされ、コード化ブロックフラグは次のように定義される。
コード化ブロックフラグ:coded_block_flagは1ビットシンボルであり、これは、変換係数の単一のブロック内に有効、すなわち、非0係数があるかどうかを示し、これについてコード化ブロックパターンは非0エントリを示す。coded_block_flagが0である場合、関係するブロックについてさらなる情報は送信されない。
[0065]ブロック中に有効係数がある場合、有効性マップは、以下のようにブロック中の変換係数の走査順序に従うことによって符号化される。
変換係数の走査:coded_block_flagが非0エントリを示すサブブロックの変換係数レベルの2次元アレイが、最初に、所与の走査パターンを使用して1次元リストにマッピングされる。言い換えれば、有効係数をもつサブブロックが走査パターンに従って走査される。
[0066]上記走査パターンを仮定すれば、有効性マップは以下のように走査される。
有効性マップ:coded_block_flagが、ブロックが有効係数を有することを示す場合、バイナリ値有効性マップが符号化される。走査順序における各変換係数について、1ビットシンボルsignificant_coeff_flagが送信される。significant_coeff_flagシンボルが1である場合、すなわち、非0係数がこの走査位置に存在する場合、さらなる1ビットシンボルlast_significant_coeff_flagが送られる。このシンボルは、現在の有効係数がブロック内の最後の有効係数であるかどうか、またはさらなる有効係数が続くかどうかを示す。最後の走査位置に達し、有効性マップ符号化が、値1のlast_significant_coeff_flagによってまだ終了されていなかった場合、最後の係数が有効でなければならないことは明らかである。
[0067]HEVCについての最近の提案はlast_significant_coeff flagを除去した。それらの提案では、有効性マップを送る前に、最後有効係数の位置のXおよびY位置の指示が送られる。
[0068]現在、HEVCでは、有効性マップのために3つの走査パターン、すなわち、対角、垂直、および水平が使用されることが提案されている。図2に、ジグザグ走査17と、垂直走査19と、水平走査21と、対角走査15との一例を示す。図2に示すように、これらの走査の各々は順方向に、すなわち、変換ブロックの左上隅におけるより低い周波数の変換係数から変換ブロックの右下隅におけるより高い周波数の変換係数に進む。有効性マップがコーディングされた後、各有効変換係数(すなわち、係数値)のための残りのレベルの情報(ビン1〜N、ここでNはビンの総数である)がコーディングされる。
[0069]H.264規格において前に規定されたCABACプロセスでは、4×4サブブロックの処理の後に、変換係数レベルの各々が、たとえば、単項(unary)コードに従って、2値化されて、一連のビンが生成される。H.264では、各サブブロックのためのCABACコンテキストモデルセットは、変換係数の絶対値を符号化するcoeff_abs_level_minus_oneシンタックス要素の第1のビンと(第14のビンまでを含む)すべての残りのビンとの両方のための5つのモデルを有する5個のコンテキストモデル×2からなる。
特に、HEVCの1つの提案されるバージョンでは、残りのビンはビン1とビン2とのみを含む。係数レベルの残りは、ゴロムライスコーディングと指数ゴロムコードとでコーディングされる。
[0070]HEVCでは、コンテキストモデルの選択は、H.264規格について提案された元のCABACプロセスの場合のように実行され得る。ただし、異なるサブブロックのためにコンテキストモデルの異なるセットが選択され得る。特に、所与のサブブロックのためのコンテキストモデルセットの選定は、前にコーディングされたサブブロックのいくつかの統計値に依存する。
[0071]図3に、変換ユニット25中の変換係数のレベル(レベルの絶対値およびレベルの符号(sign))を符号化するためのHEVCプロセスの1つの提案されるバージョンが従う走査順序を示す。より大きいブロックの4×4サブブロックの走査のための順方向ジグザグパターン27、および各サブブロック内の変換係数のレベルを走査するための逆方向ジグザグパターン23があることに留意されたい。言い換えれば、一連の4×4サブブロックは、それらのサブブロックがシーケンスにおいて走査されるように、順方向ジグザグパターンで走査される。次いで、各サブブロック内で、サブブロック内の変換係数のレベルを走査するために逆方向ジグザグ走査が実行される。したがって、変換ユニットによって形成される2次元アレイ中の変換係数は、所与のサブブロック中で逆走査された係数の後に、次に続くサブブロック中で逆走査された係数が続くように、1次元アレイにシリアル化される。
[0072]一例では、図3に示すサブブロック走査手法に従って走査される係数のCABACコーディングは、60個のコンテキスト、すなわち、以下で説明するように分布された、それぞれ10個のコンテキストの6つのセットを使用し得る。4×4ブロックの場合、表1に示すように、10個のコンテキストモデルが使用され得る(ビン1のための5つのモデルと、ビン2〜14のための5つのモデル)。
Figure 2014511655
[0073]表1に従って、コンテキストセット中のコンテキストモデル0〜4のうちの1つが、ビン1のために使用され、それぞれ、サブブロック中で走査されている現在符号化されている係数が、サブブロック内で1よりも大きい係数が符号化された後に符号化される場合、現在符号化されている係数がサブブロック中で走査される最初の係数である、またはサブブロック中に後続の1がない(前に符号化された係数がない)場合、サブブロック中に1つの後続の1がある(すなわち、1は符号化されたが、1よりも大きい係数は符号化されていない)場合、サブブロック中に2つの後続の1がある場合、あるいはサブブロック中に3つ以上の後続の1がある場合、である。ビン2〜14の各々について(ただし、HEVCの現在提案されているバージョンは、CABACを使用してビン2のみをコーディングし、係数レベルの次に続くビンは指数ゴロムコードでコーディングされる)、コンテキストモデル0〜4のうちの1つが、使用され得、それぞれ、係数がサブブロック中で走査される最初の係数であるか、または1よりも大きい前にコーディングされた係数が0個である場合、1よりも大きい1つの前にコーディングされた係数がある場合、1よりも大きい2つの前にコーディングされた係数がある場合、1よりも大きい3つの前にコーディングされた係数がある場合、あるいは1よりも大きい4つの前にコーディングされた係数がある場合、である。
[0074]サブブロックの順方向走査における前のコード化4×4サブブロック中の1よりも大きい係数の数に応じて、これらの10個のモデルの6つの異なるセットがある。
Figure 2014511655
[0075]表2に従って、コンテキストモデルのセット0〜5が、所与のサブブロックのために使用され、それぞれ、サブブロックサイズが4×4であるとき、前にコーディングされたサブブロック中に1よりも大きい0〜3つの係数がある場合、前にコーディングされたサブブロック中に1よりも大きい4〜7つの係数がある場合、前にコーディングされたサブブロック中に1よりも大きい8〜11個の係数がある場合、前にコーディングされたサブブロック中に1よりも大きい12〜15個の係数がある場合、あるいは所与のサブブロックが第1の4×4サブブロック(左上のサブブロック)であるか、または前にコーディングされたサブブロック中に1よりも大きい16個の係数がある場合である。
[0076]H.264について上記で説明したコーディングプロセスと、HEVCについて現在提案されているコーディングプロセスは、いくつかの欠点を有する。図3に示すように、1つの欠点は、係数レベルのための走査が、サブブロックの走査の場合は順方向に進むが(すなわち、左上のサブブロックから開始する)、次いで、各サブブロック内の係数レベルの走査の場合は逆方向に進む(すなわち、各サブブロック中の右下の係数から開始する)ことである。この手法は、ブロック内で往復して進むことを暗示し、これは、データフェッチをより複雑にし得る。
[0077]別の欠点は、係数レベルの走査順序が有効性マップの走査順序とは異なることから生じる。HEVCでは、有効性マップのための3つの異なる提案される走査順序、すなわち、図2に示した順方向対角、順方向水平および順方向垂直がある。レベル走査が逆方向に進むので、有効係数走査のすべてが、HEVCについて現在提案されている係数レベルの走査とは異なる。係数レベル走査の方向およびパターンが有効性走査の方向およびパターンと一致していないので、より多くの係数レベルが検査されなければならない。たとえば、有効性マップのために水平走査が使用され、係数の第1の行の終端において最後有効係数が見られると仮定する。HEVCにおける係数レベル走査は、第1の行のみが0とは異なる係数レベルを実際に含んでいるとき、レベル走査のために複数の行にわたる対角走査を必要とするであろう。そのような走査プロセスは不要な非効率をもたらし得る。
[0078]HEVCについての現在の提案では、有効性マップの走査は、ブロックの左上隅において見られるDC係数からブロックの右下隅において一般に見られる最高周波数係数へ、ブロック中で順方向に進み、係数レベルのための走査は、各4×4サブブロック内で逆方向である。このことも、より複雑でより非効率的なデータフェッチを生じ得る。
[0079]現在のHEVC提案に対する別の欠点はコンテキストセットから生じる。CABACのためのコンテキストセット(上記の表2参照)は、ブロックサイズ4×4の場合、他のブロックサイズの場合とは異なる。本開示によれば、異なるコンテキストセットを記憶することに専用であるメモリが少なくなるように、すべてのブロックサイズにわたってコンテキストを一致させることが望ましいであろう。
[0080]また、以下でより詳細に説明するように、HEVCのための有効性マップのための現在提案されているCABACコンテキストは、走査順序が順方向である場合のみ有効である。したがって、これは逆方向有効性マップ走査を可能にしないであろう。
[0081]さらに、量子化係数のレベルを符号化するための上記で説明したコンテキストは、係数レベルの局所相関を活用することを試みる。これらのコンテキストは、4×4サブブロックの間の相関(表2中のコンテキストセット参照)と各サブブロック内の相関(表1中のコンテキストモデル参照)とに依存する。これらのコンテキストの欠点は依存性があまりに低いことがある(すなわち、サブブロックごとに、いくつかの他の係数によって互いに分離された係数間に低い依存性がある)ことである。また、各サブブロック内で、依存性が弱いことがある。
[0082]本開示では、上記で説明した欠点の一部を減らすかまたはなくし得るいくつかの異なる特徴を提案する。いくつかの例では、これらの特徴は、ビデオコーディングにおいて変換係数のより効率的で一致させた走査順序を与え得る。本開示の他の例では、これらの特徴は、提案される走査順序に一致する変換係数のCABACベースのエントロピーコーディングにおいて使用されるべきコンテキストのより効率的なセットを与える。本開示で説明する技法のすべては、独立して使用され得るかまたは任意の組合せで一緒に使用され得ることに留意されたい。
[0083]図4は、本開示の例による、変換係数をコーディングするための技法を利用するように構成され得る例示的なビデオ符号化および復号システム10を示すブロック図である。図4に示すように、システム10は、通信チャネル16を介して符号化ビデオを宛先デバイス14に送信するソースデバイス12を含む。符号化ビデオはまた、記憶媒体34またはファイルサーバ36に記憶され得、必要に応じて宛先デバイス14によってアクセスされ得る。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆるスマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソールなどを含む、広範囲にわたるデバイスのいずれかを備え得る。多くの場合、そのようなデバイスはワイヤレス通信が可能であり得る。したがって、通信チャネル16は、符号化ビデオデータの送信に好適なワイヤレスチャネル、ワイヤードチャネル、またはワイヤレスチャネルとワイヤードチャネルとの組合せを備え得る。同様に、ファイルサーバ36は、インターネット接続を含む任意の標準データ接続を介して宛先デバイス14によってアクセスされ得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル(たとえば、Wi−Fi接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または両方の組合せを含み得る。
[0084]本開示の例による、変換係数をコーディングするための技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
[0085]図4の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、変調器/復調器22と、送信機24とを含む。ソースデバイス12において、ビデオソース18は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。
[0086]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は、ワイヤレス通信プロトコルなどの通信規格に従ってモデム22によって変調され、送信機24を介して宛先デバイス14に送信され得る。モデム22は、信号変調のために設計された様々なミキサ、フィルタ、増幅器または他の構成要素を含み得る。送信機24は、増幅器、フィルタ、および1つまたは複数のアンテナを含む、データを送信するために設計された回路を含み得る。
[0087]ビデオエンコーダ20によって符号化された、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオはまた、後で消費するために記憶媒体34またはファイルサーバ36に記憶され得る。記憶媒体34は、ブルーレイ(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、または符号化ビデオを記憶するための任意の他の好適なデジタル記憶媒体を含み得る。記憶媒体34に記憶された符号化ビデオは、次いで、復号および再生のために宛先デバイス14によってアクセスされ得る。
[0088]ファイルサーバ36は、符号化ビデオを記憶することと、その符号化ビデオを宛先デバイス14に送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、ローカルディスクドライブ、または符号化ビデオデータを記憶することと、符号化ビデオデータを宛先デバイスに送信することとが可能な他のタイプのデバイスを含む。ファイルサーバ36からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。ファイルサーバ36は、インターネット接続を含む任意の標準データ接続を介して宛先デバイス14によってアクセスされ得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル(たとえば、Wi−Fi接続)、ワイヤード接続(たとえば、DSL、ケーブルモデム、イーサネット(登録商標)、USBなど)、または両方の組合せを含み得る。
[0089]図4の例では、宛先デバイス14は、受信機26と、モデム28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。宛先デバイス14の受信機26はチャネル16を介して情報を受信し、モデム28はその情報を復調して、ビデオデコーダ30のための復調されたビットストリームを生成する。チャネル16を介して通信される情報は、ビデオデータを復号する際にビデオデコーダ30が使用する、ビデオエンコーダ20によって生成された様々なシンタックス情報を含み得る。そのようなシンタックスはまた、記憶媒体34またはファイルサーバ36に記憶された符号化ビデオデータとともに含まれ得る。ビデオエンコーダ20およびビデオデコーダ30の各々は、ビデオデータを符号化または復号することが可能であるそれぞれのエンコーダデコーダ(コーデック)の一部を形成し得る。
[0090]ディスプレイデバイス32は、宛先デバイス14と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス14は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス14はディスプレイデバイスであり得る。概して、ディスプレイデバイス32は、復号されたビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0091]図4の例では、通信チャネル16は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体、あるいはワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。通信チャネル16は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信チャネル16は、概して、ワイヤード媒体またはワイヤレス媒体の任意の好適な組合せを含む、ビデオデータをソースデバイス12から宛先デバイス14に送信するのに好適な任意の通信媒体、または様々な通信媒体の集合体を表す。通信チャネル16は、ソースデバイス12から宛先デバイス14への通信を可能にするのに有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
[0092]ビデオエンコーダ20およびビデオデコーダ30は、現在開発中の高効率ビデオコーディング(HEVC)規格などのビデオ圧縮規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。代替的に、ビデオエンコーダ20およびビデオデコーダ30は、代替的にMPEG−4,Part10,Advanced Video Coding(AVC)と呼ばれるITU−T H.264規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。他の例にはMPEG−2およびITU−T H.263がある。
[0093]図4には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、また、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するための適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、MUX−DEMUXユニットはITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0094]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
[0095]ビデオエンコーダ20は、ビデオコーティングプロセスにおける変換係数の符号化を改善するために本開示の技法のいずれかまたはすべてを実装し得る。同様に、ビデオデコーダ30は、ビデオコーティングプロセスにおける変換係数の復号を改善するためにこれらの技法のいずれかまたはすべてを実装し得る。本開示で説明するビデオコーダは、ビデオエンコーダまたはビデオデコーダを指し得る。同様に、ビデオコーディングユニットは、ビデオエンコーダまたはビデオデコーダを指し得る。同様に、ビデオコーディングはビデオ符号化またはビデオ復号を指し得る。
[0096]本開示の一例では、(ビデオエンコーダ20またはビデオデコーダ30などの)ビデオコーダが、ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするように構成され得る。ビデオコーダは、走査順序に従って複数の変換係数のための有効係数を示す情報をコーディングすることと、上記走査順序に従って複数の変換係数のレベルを示す情報をコーディングすることとを行うように構成され得る。
[0097]本開示の別の例では、(ビデオエンコーダ20またはビデオデコーダ30などの)ビデオコーダが、ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするように構成され得る。ビデオコーダは、変換係数のブロック中のより高い周波数の係数から変換係数のブロック中のより低い周波数の係数へ逆走査方向に進む走査を用いて、変換係数のブロック中の有効変換係数を示す情報をコーディングするように構成され得る。
[0098]本開示の別の例では、(ビデオエンコーダ20またはビデオデコーダ30などの)ビデオコーダが、ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするように構成され得る。ビデオコーダは、走査順序に基づいて変換係数のブロックを変換係数の1つまたは複数のサブセットに配置することと、各サブセット中の変換係数のレベルの第1の部分をコーディングすることと、レベルの第1の部分は各サブセット中の変換係数の少なくとも有効性を含み、各サブセット中の変換係数のレベルの第2の部分をコーディングすることとを行うように構成され得る。
[0099]本開示の別の例では、(ビデオエンコーダ20またはビデオデコーダ30などの)ビデオコーダが、走査順序に従って複数の変換係数のための有効係数を示す情報をコーディングすることと、コーディングされた情報を少なくとも第1の領域と第2の領域とに分割することと、コンテキスト導出基準を使用してコンテキストの第1のセットに従って第1の領域中のコーディングされた情報をエントロピーコーディングすることと、第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って第2の領域中のコーディングされた情報をエントロピーコーディングすることとを行うように構成され得る。
[0100]図5は、本開示で説明する、変換係数をコーディングするための技法を使用し得るビデオエンコーダ20の一例を示すブロック図である。ビデオエンコーダ20について、例示のためにHEVCコーディングのコンテキストにおいて説明するが、変換係数の走査を必要とし得る他のコーディング規格または方法に関して本開示を限定するものではない。ビデオエンコーダ20は、ビデオフレーム内のCUのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレーム内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの現在フレームと前にコーディングされたフレームとの間の時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのビデオ圧縮モードのいずれかを指し得る。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースのビデオ圧縮モードのいずれかを指し得る。
[0101]図5に示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図5の例では、ビデオエンコーダ20は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測モジュール46と、参照フレームバッファ64と、加算器50と、変換モジュール52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。図5に示す変換モジュール52は、残差データのブロックに実際の変換を適用するモジュールであり、CUの変換ユニット(TU)と呼ばれることもある変換係数のブロックと混同されるべきでない。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換モジュール60と、加算器62とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ(図5に図示せず)も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器62の出力をフィルタ処理することになる。
[0102]符号化プロセス中に、ビデオエンコーダ20は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロック、たとえば、最大コーディングユニット(LCU)に分割され得る。動き推定ユニット42および動き補償ユニット44は、時間圧縮を行うために、1つまたは複数の参照フレーム中の1つまたは複数のブロックに対する受信したビデオブロックのインター予測コーディングを実行する。イントラ予測モジュール46は、空間圧縮を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対する受信したビデオブロックのイントラ予測コーディングを実行し得る。
[0103]モード選択ユニット40は、たとえば、各モードについての誤差(すなわち、ひずみ)結果に基づいて、コーディングモードのうちの1つ、すなわち、イントラまたはインターを選択し得、得られたイントラまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器50に与え、参照フレーム中で使用する符号化ブロックを再構成するために加算器62に与える。いくつかのビデオフレームはIフレームに指定され得、Iフレーム中のすべてのブロックはイントラ予測モードで符号化される。場合によっては、たとえば、動き推定ユニット42によって実行された動き探索によって得られたブロックの予測が不十分であったとき、イントラ予測モジュール46は、PフレームまたはBフレーム中のブロックのイントラ予測符号化を実行し得る。
[0104]動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照フレームの参照サンプルに対する、現在フレーム中の予測ユニットの変位を示し得る。参照サンプルは、絶対値差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされているPUを含むCUの部分にぴったり一致することがわかるブロックであり得る。動き補償ユニット44によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ユニットの値をフェッチまたは生成することを伴い得る。この場合も、いくつかの例では、動き推定ユニット42と動き補償ユニット44とは機能的に統合され得る。
[0105]動き推定ユニット42は、予測ユニットを参照フレームバッファ64に記憶された参照フレームの参照サンプルと比較することによってインターコード化フレームの予測ユニットの動きベクトルを計算する。いくつかの例では、ビデオエンコーダ20は、参照フレームバッファ64に記憶された参照フレームのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、参照フレームの1/4ピクセル位置、1/8ピクセル位置、または他の分数ピクセル位置の値を計算し得る。したがって、動き推定ユニット42は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。動きベクトルによって識別される参照フレームの部分は参照サンプルと呼ばれることがある。動き補償ユニット44は、たとえば、PUの動きベクトルによって識別される参照サンプルを取り出すことによって、現在CUの予測ユニットについての予測値を計算し得る。
[0106]イントラ予測モジュール46は、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、受信ブロックをイントラ予測符号化し得る。イントラ予測モジュール46は、隣接する、前にコーディングされたブロック、たとえば、ブロックについての左から右へ、上から下への符号化順序を仮定すると、現在ブロックの上、右上、左上、または左のブロックに対して受信ブロックを符号化し得る。イントラ予測モジュール46は多種多様なイントラ予測モードで構成され得る。たとえば、イントラ予測モジュール46は、符号化されているCUのサイズに基づいて、一定数の方向性予測モード、たとえば、33個の方向性予測モードで構成され得る。
[0107]イントラ予測モジュール46は、たとえば、様々なイントラ予測モードの誤差値を計算し、最も低い誤差値を生じるモードを選択することによって、イントラ予測モードを選択し得る。方向性予測モードは、空間的に隣接するピクセルの値を合成し、その合成された値をPU中の1つまたは複数のピクセル位置に適用するための機能を含み得る。PU中のすべてのピクセル位置の値が計算されると、イントラ予測モジュール46は、PUと符号化されるべき受信ブロックとの間のピクセル差分に基づいて予測モードの誤差値を計算し得る。イントラ予測モジュール46は、許容できる誤差値を生じるイントラ予測モードが発見されるまでイントラ予測モードをテストし続け得る。イントラ予測モジュール46は、次いで、PUを加算器50に送り得る。
[0108]ビデオエンコーダ20は、コーディングされている元のビデオブロックから、動き補償ユニット44またはイントラ予測モジュール46によって計算された予測データを減算することによって残差ブロックを形成する。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。残差ブロックはピクセル差分値の2次元行列に対応し得、残差ブロック中の値の数は、残差ブロックに対応するPU中のピクセルの数と同じである。残差ブロック中の値は、PU中のコロケートピクセルの値と、コーディングされるべき元のブロック中のコロケートピクセルの値との間の差分、すなわち、誤差に対応し得る。差分は、コーディングされるブロックのタイプに応じてクロマ差分またはルーマ差分であり得る。
[0109]変換モジュール52は、残差ブロックから1つまたは複数の変換ユニット(TU)を形成し得る。変換モジュール52は、離散コサイン変換(DCT)、方向性変換、または概念的に同様の変換などの変換をTUに適用して、変換係数を備えるビデオブロックを生成する。変換モジュール52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、次いで、その変換係数を量子化し得る。次いで、エントロピー符号化ユニット56が、指定された走査順序に従って、行列中の量子化された変換係数の走査を実行し得る。本開示では、エントロピー符号化ユニット56が走査を実行するものとして説明する。ただし、他の例では、量子化ユニット54などの他の処理ユニットが走査を実行し得ることを理解されたい。
[0110]上述のように、変換係数の走査は2つの走査を伴い得る。1つの走査は、有効性マップを形成するために係数のうちのどれが有効(すなわち、非0)であるかを識別し、別の走査は、変換係数のレベルをコーディングする。一例では、本開示では、ブロック中の係数レベルをコーディングするために使用される走査順序が、ブロックのための有効性マップ中の有効係数をコーディングするために使用される走査順序と同じであることを提案する。HEVCでは、ブロックは変換ユニットであり得る。本明細書で使用する走査順序という用語は、走査の方向および/または走査のパターンのいずれかを指し得る。したがって、有効性マップと係数レベルとのための走査は、走査パターンおよび/または走査方向が同じであり得る。すなわち、一例として、有効性マップを形成するために使用される走査順序が順方向での水平走査パターンである場合、係数レベルのための走査順序も順方向での水平走査パターンであるべきである。同様に、別の例として、有効性マップのための走査順序が逆方向での垂直走査パターンである場合、係数レベルのための走査順序も逆方向での垂直走査パターンであるべきである。同じことが、対角、ジグザグまたは他の走査パターンに当てはまり得る。
[0111]図6に、変換係数のブロック、すなわち、変換ブロックのための逆方向走査順序の例を示す。変換ブロックは、たとえば、離散コサイン変換(DCT)など、変換を使用して形成され得る。逆方向対角パターン9、逆方向ジグザグパターン29、逆方向垂直パターン31、および逆方向水平パターン33の各々が、変換ブロックの右下隅におけるより高い周波数の係数から変換ブロックの左上隅におけるより低い周波数の係数に進むことに留意されたい。したがって、本開示の一態様は、有効性マップのコーディングと係数レベルのコーディングとのための統合された(unified)走査順序を提示する。提案される技法は、有効性マップのために使用される走査順序を係数レベルコーディングのために使用される走査順序に適用する。概して、水平、垂直および対角走査パターンは、うまく動作し、したがって追加の走査パターンの必要を低減することが示されている。ただし、本開示の一般的な技法は、任意の走査パターンとともに使用するために適用可能である。
[0112]別の態様によれば、本開示では、有効性走査が、変換ユニット中の最後有効係数から変換ユニット中の最初の係数(すなわち、DC係数)への、逆方向走査として実行されることを提案する。逆方向走査順序の例は図6に示されている。特に、有効性走査は、より高い周波数の位置における最後有効係数からより低い周波数の位置における有効係数に進み、最終的にDC係数位置に進む。
[0113]逆方向走査を可能にするために、最後有効係数を識別するための技法が使用され得る。最後有効係数を識別するためのプロセスは、J.Sole、R.Joshi、I.−S.Chong、M.Coban、M.Karczewicz、「Parallel Context Processing for the significance map in high coding efficiency」、JCTVC−D262、4th JCT−VC Meeting、Daegu、KR、2011年1月、に記載されており、また、「Encoding of the position of the last significant transform coefficient in video coding」と題する、Joel Sole Rojalsらの、2010年12月3日に出願された米国仮特許出願第61/419,740号に記載されている。ブロック中の最後有効係数が識別されると、逆方向走査順序が有効性マップと係数レベルとの両方に適用され得る。
[0114]本開示では、有効性走査および係数レベル走査が、それぞれ逆方向および順方向でなく、代わりに同じ走査方向、より詳細には、ブロック中でただ1つの方向を有することをも提案する。詳細には、有効性走査および係数レベル走査が、両方とも変換ユニット中の最後有効係数から最初の係数への逆方向走査順序を使用することを提案する。したがって、有効性走査は、最後有効係数から最初の係数(DC係数)へ逆方向に実行される(HEVCについて現在提案されている走査に対する逆方向走査)。本開示のこの態様は、有効性マップのコーディングと係数レベルのコーディングとのための統合された単方向走査順序を提示する。特に、統合された単方向走査順序は、統合された逆方向走査順序であり得る。統合された逆方向走査パターンによる有効性走査と係数レベル走査とのための走査順序は、図6に示すように逆方向対角、逆方向ジグザグ、逆方向水平または逆方向垂直であり得る。ただし、任意の走査パターンが使用され得る。
[0115]CABACコンテキスト導出の目的のために図3に示したように2次元サブブロックにおいて係数のセットを定義する代わりに、本開示では、走査順序に従って連続的に走査されるいくつかの係数として係数のセットを定義することを提案する。特に、係数の各セットは、ブロック全体にわたる走査順序での連続する係数を備え得る。セットの任意のサイズが考えられ得るが、走査セット中の16個の係数のサイズが、うまく動作することがわかっている。セットサイズは固定または適応型であり得る。この定義により、セットは、(サブブロック走査方法が使用される場合は)2Dブロック、(水平または垂直走査が使用される場合は)矩形、または(ジグザグまたは対角走査が使用される場合は)対角形であることが可能になる。係数の対角形セットは、対角形状の一部、連続する対角形状、または連続する対角形状の一部であり得る。
[0116]図7〜図9に、固定4×4ブロックに配置される以外に、特定の走査順序に従って16個の係数のサブセットに配置された係数の例を示す。図7は、逆方向対角走査順序における最初の16個の係数からなる16個の係数のサブセット51を示している。次のサブセットは、この例では、単に、逆方向対角走査順序に沿った次の16個の連続する係数からなるであろう。同様に、図8は、逆方向水平走査順序における最初の16個の係数のための16個の係数のサブセット53を示している。図9は、逆方向垂直走査順序における最初の16個の係数のための16個の係数のサブセット55を示している。
[0117]この技法は、有効性マップのための走査順序と同じである係数レベルのための走査順序に適合する。この場合、図3に示した走査順序など、係数レベルのための異なる(および時々煩雑な)走査順序の必要がない。係数レベル走査は、HEVCについて現在提案されている有効性マップ走査のように、変換ユニット中の最後有効係数の位置からDC係数位置に進む順方向走査として形成され得る。
[0118]HEVCにおいて現在提案されているように、CABACを使用したエントロピーコーディングの場合、変換係数は以下のようにして符号化される。最初に、有効性マップを符号化するための、完全変換ユニット上の(有効性マップ走査順序における)1つのパスがある。次いで、レベルのビン1(第1のパス)と、係数レベルの残り(第2のパス)と、係数レベルの符号(sign)(第3のパス)とを符号化するための(係数レベル走査順序における)3つのパスがある。係数レベルコーディングのためのこれらの3つのパスは完全変換ユニットに対して行われない。代わりに、各パスは、図3に示したように、4×4サブブロックにおいて行われる。3つのパスが1つのサブブロックにおいて完了したとき、次のサブブロックは、同じ3つの符号化パスを連続的に実行することによって処理される。この手法は符号化の並列化を可能にする。
[0119]上記で説明したように、本開示では、係数レベルのための走査順序が、有効性マップを形成するための有効係数の走査順序と同じであるように、より一致させた方法で変換係数を走査することを提案する。さらに、係数レベルと有効係数とのための走査が、ブロック中の最後有効係数からブロック中の最初の係数(DC成分)に進む逆方向に実行されることを提案する。この逆方向走査は、現在提案されているようにHEVCに従って有効係数のために使用される走査の逆である。
[0120]図7〜図9を参照しながら前に説明したように、本開示では、(有効性マップを含む)係数レベルのためのコンテキストがサブセットに分割されることをさらに提案する。すなわち、係数の各サブセットについてコンテキストが決定される。したがって、この例では、必ずしも同じコンテキストが係数の走査全体のために使用されるとは限らない。代わりに、変換ブロック内の係数の異なるサブセットが、各サブセットについて個別に決定された異なるコンテキストを有し得る。各サブセットは、走査順序で連続的に走査された係数の1次元アレイを備え得る。したがって、係数レベル走査は最後有効係数から最初の係数(DC成分)に進み、その場合、その走査は、走査順序に従って連続的に走査された係数の異なるサブセットにおいて概念的に区分される。たとえば、各サブセットは、特定の走査順序について、n個の連続的に走査された係数を含み得る。サブセット中の係数をそれらの走査順序に従ってグループ化することは、係数間のより良い相関を実現し、したがってより効率的なエントロピーコーディングを実現し得る。
[0121]本開示では、有効性マップのための追加のパスを含むために係数レベルのいくつかのパスの概念を拡張することによって変換係数のCABACベースのエントロピーコーディングの並列化を高めることをさらに提案する。したがって、4つのパスを用いた一例は、すべて同じ走査順序での、(1)たとえば、有効性マップを形成するための、変換係数のための有効係数フラグ値のコーディングと、(2)変換係数のためのレベル値のビン1のコーディングと、(3)係数レベル値の残りのビンのコーディングと、(4)係数レベルの符号のコーディングとを含み得る。本開示で説明する技法を使用して、上記で概説した4パスコーディングが可能になり得る。すなわち、高周波数係数から低周波数係数へ逆方向に進む、同じ走査順序で、有効係数と変換係数のためのレベルとを走査することは、上記で説明した複数パスコーディング技法の性能をサポートする。
[0122]別の例では、5パス走査技法が、(1)たとえば、有効性マップを形成するための、変換係数のための有効係数フラグ値のコーディングと、(2)変換係数のためのレベル値のビン1のコーディングと、(3)変換係数のためのレベル値のビン2のコーディングと、(4)(たとえば、バイパスモードで)係数レベルの符号をコーディングすることと、(5)(たとえば、バイパスモードでの)係数レベル値の残りのビンのコーディングとを含み得、すべてのパスは同じ走査順序を使用する。
[0123]より少数のパスを用いた一例も採用され得る。たとえば、レベル情報と符号(sign)情報とが並列に処理される2パス走査は、(1)パスにおいて標準パスビン(たとえば、有効性、ビン1レベル、およびビン2レベル)をコーディングすることと、(2)別のパスにおいてバイパスビン(たとえば、残りのレベルおよび符号)をコーディングすることとを含み得、各パスは同じ走査順序を使用する。標準ビンは、コンテキスト導出基準によって決定された更新されたコンテキストを使用してCABACで符号化されるビンである。たとえば、以下でより詳細に説明するように、コンテキスト導出基準は、現在の変換係数に対する因果的ネイバー(causal neighbor)係数のコーディングされたレベル情報を含み得る。バイパスビンは、固定コンテキストを有する、CABACで符号化されるビンである。
[0124]上記で説明したいくつかの走査パスの例は、係数レベルの第1の部分の第1の走査パスであって、第1の部分が有効性パスを含む、第1の走査パスと、係数レベルの第2の部分の第2の走査パスとを含むものとして一般化され得る。
[0125]上記で与えた例の各々では、パスは各サブセットにおいて連続的に実行され得る。連続的に走査された係数を備える1次元サブセットの使用が望ましいことがあるが、複数パス方法は、4×4サブブロックなど、サブブロックにも適用され得る。連続的に走査されたサブセットのための例示的な2パスおよび4パスプロセスを以下でより詳細に概説する。
[0126]簡略化された2パスプロセスでは、変換ユニットの各サブセットについて、第1のパスは、走査順序に従ってサブセット中の係数の有効性をコーディングし、第2のパスは、同じ走査順序に従ってサブセット中の係数の係数レベルをコーディングする。走査順序は、走査方向(順方向または逆方向)と走査パターン(たとえば、水平、垂直、または対角)とによって特徴づけられ得る。そのアルゴリズムは、上記で説明したように、各サブセット中の両方のパスが同じ走査順序に従う場合、並列処理により適していることがある。
[0127]より改良された4パスプロセスでは、変換ユニットの各サブセットについて、第1のパスは、サブセット中の係数の有効性をコーディングし、第2のパスは、サブセット中の係数の係数レベルのビン1をコーディングし、第3のパスは、サブセット中の係数の係数レベルの残りのビンをコーディングし、第4のパスは、サブセット中の係数の係数レベルの符号(sign)をコーディングする。この場合も、並列処理により適しているように、各サブセット中のすべてのパスが同じ走査順序を有するべきである。上記で説明したように、逆方向を用いた走査順序が、うまく動作することが示されている。第4のパス(すなわち、係数レベルの符号のコーディング)は、第1のパス(すなわち、有効性マップのコーディング)の直後に、または係数レベルの残りの値のパスの直前に行われ得ることに留意されたい。
[0128]いくつかの変換サイズでは、サブセットは変換ユニット全体であり得る。この場合、変換ユニット全体のための有効係数のすべてに対応する単一のサブセットがあり、有効性走査とレベル走査とは同じ走査順序で進む。この場合、サブセット中の限られた数のn(たとえば、n=16)個の係数の代わりに、サブセットは変換ユニットのための単一のサブセットであり得、単一のサブセットはすべての有効係数を含む。
[0129]図5に戻ると、変換係数が走査された後、エントロピー符号化ユニット56は、それらの係数にCAVLCまたはCABACなどのエントロピーコーディングを適用し得る。さらに、エントロピー符号化ユニット56は、動きベクトル(MV:motion vector)情報と、ビデオデコーダ30においてビデオデータを復号する際に有用な様々なシンタックス要素のいずれかと、を符号化し得る。シンタックス要素は、特定の係数が有効(たとえば、非0)であるかどうかを示す有効係数フラグをもつ有効性マップ、および特定の係数が最後有効係数であるかどうかを示す最後有効係数フラグを含み得る。ビデオデコーダ30は、これらのシンタックス要素を使用して符号化ビデオデータを再構成し得る。エントロピー符号化ユニット56によるエントロピーコーディングの後に、得られた符号化ビデオは、ビデオデコーダ30などの別のデバイスに送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。
[0130]シンタックス要素をエントロピー符号化するために、エントロピー符号化ユニット56は、CABACを実行し、たとえば、前に走査されたN個の係数の中の有効係数の数に基づいてコンテキストモデルを選択し得、ただし、Nは、走査されているブロックのサイズに関係し得る整数値である。エントロピー符号化ユニット56はまた、変換係数のブロックに変換された残差データを計算するために使用される予測モードと、その残差データを変換係数のブロックに変換するために使用される変換のタイプとに基づいてコンテキストモデルを選択し得る。対応する予測データがイントラ予測モードを使用して予測されたとき、エントロピー符号化ユニット56はさらに、イントラ予測モードの方向に基づいてコンテキストモデルの選択を行い得る。
[0131]さらに、本開示の別の態様によれば、CABACのためのコンテキストが係数のサブセット(たとえば、図7〜図9に示したサブセット)に分割されることを提案する。各サブセットがブロック全体にわたる走査順序での連続する係数から構成されることを提案する。サブセットの任意のサイズが考えられ得るが、走査サブセット中の16個の係数のサイズが、うまく動作することがわかっている。この例では、サブセットは、走査順序での16個の連続する係数であり得、操作順序は、サブブロック、対角、ジグザグ、水平、および垂直走査パターンを含む、任意の走査パターンであり得る。この提案によれば、係数レベル走査はブロック中の最後有効係数から進む。したがって、係数レベル走査は最後有効係数からブロック中の最初の係数(DC成分)に進み、その場合、その走査は、適用すべきコンテキストを導出するために係数の異なるサブセットにおいて概念的に区分される。たとえば、その走査は、走査順序でのn個の連続する係数のサブセットにおいて定められる(is arranged)。最後有効係数は、(ブロックの右下隅の近くで一般に見られる)ブロックの最高周波数係数からブロックのDC係数(ブロックの左上隅)に向かう逆方向走査において遭遇する最初の有効係数である。
[0132]本開示の別の態様では、CABACコンテキスト導出基準がすべてのブロックサイズについて一致させることを提案する。言い換えれば、上記で説明したようにブロックサイズに基づいて異なるコンテキスト導出を有する代わりに、あらゆるブロックサイズがCABACコンテキストの同じ導出に依拠することになる。この方法では、ブロックのためのCABACコンテキストを導出するために特定のブロックサイズを考慮に入れる必要がない。また、コンテキスト導出は、有効性コーディングと係数レベルコーディングとの両方に対して同じである。
[0133]また、CABACコンテキストセットが、サブセットがサブセット0(最低周波数のための係数をもつサブセットとして定義され、すなわち、DC係数と隣接低周波係数とを含んでいる)であるか否か(すなわち、コンテキスト導出基準)に依存することを提案する。以下の表3aおよび表3bを参照されたい。
Figure 2014511655
[0134]上記の表3aに従って、コンテキストモデルのセット0〜2は、それぞれ、前にコーディングされたサブセット中に1よりも大きい係数が0個である場合、前にコーディングされたサブセット中に1よりも大きい1つの係数がある場合、または前にコーディングされたサブセット中に1よりも大きい2つ以上の係数がある場合に、最低周波数走査サブセット(すなわち、n個の連続する係数のセット)のために使用される。コンテキストモデルのセット3〜5は、それぞれ、前にコーディングされたサブセット中にの1よりも大きい係数が0個である場合、前にコーディングされたサブセット中に1よりも大きい1つの係数がある場合、または前にコーディングされたサブセット中に1よりも大きい2つ以上の係数がある場合、最低周波数サブセットよりも高いすべてのサブセットのために使用される。
Figure 2014511655
[0135]表3bは、前のサブセット中の1よりも大きい係数の数のより正確なカウントを考慮するので良好な性能を示した、コンテキストセットの表を示している。表3bは、上記の表3aの代替として使用され得る。
[0136]表3cに、同じく代替的に使用され得るコンテキスト導出基準を用いた簡略化されたコンテキストセットの表を示す。
Figure 2014511655
[0137]さらに、変換ユニット中の最後有効係数を含んでいるサブセットが、一意の(unique)コンテキストセットを利用し得る。
[0138]本開示では、サブセットのためのコンテキストが、前のサブセット中の1よりも大きい係数の数になお依存することをも提案する。たとえば、前のサブセット中の係数の数がスライディングウィンドウである場合、この数をuiNumOneとする。現在のサブ走査セットのためのコンテキストを決定するためにこの値が検査されると、その値は0に設定されない。代わりに、この値は正規化される(たとえば、uiNumOne>>=2と等価であるuiNumOne=uiNumOne/4、またはuiNumOne>>=1と等価であるuiNumOne=uiNumOne/2を使用する)。これを行うことによって、現在コーディングされているサブセットのためのCABACコンテキスト決定におけるより小さい重みを仮定すれば、直前のサブセットより前のサブセットの値がさらに考慮され得る。特に、所与のサブセットのためのCABACコンテキスト決定は、直前のサブセット中の1よりも大きい係数の数だけでなく、前にコーディングされたサブセット中の1よりも大きい係数の重み付けされた数をも考慮に入れる。
[0139]さらに、コンテキストセットは、(1)現在走査されているサブセット中の有効係数の数と、(2)現在のサブセットが、有効係数をもつ最後のサブセットであるかどうか(すなわち、逆方向走査順序を使用すると、これは、そのサブセットが、その係数レベルについて走査された最初のサブセットであるか否かを指す)とに依存することがある。さらに、係数レベルのためのコンテキストモデルは、現在の係数が最後の係数であるかどうかに依存することがある。
[0140]HEVCにおいて変換係数の16×16および32×32ブロックの有効性マップコーディングについて極めて適応型のコンテキスト選択手法がすでに提案されている。このコンテキスト選択手法はすべてのブロックサイズに拡張され得ることに留意されたい。図10に示すように、この手法は16×16ブロックを4つの領域に分割し、ここで、より低い周波数の領域41中の各係数(16×16ブロックの例では、x,y座標位置[0,0]、[0,1]、[1,0]、[1,1]における左上隅における4つの係数であり、ここで、[0,0]は左上隅、DC係数を示す)はそれ自体のコンテキストを有し、上領域37中の係数(16×16ブロックの例では、x,y座標位置[2,0]から[15,0]までの最上行における係数)は3つのコンテキストを共有し、左領域35中の係数(16×16ブロックの例では、x,y座標位置[0,2]から[0,15]までの左列における係数)は別の3つのコンテキストを共有し、残りの領域39中の係数(16×16ブロック中の残りの係数)は5つのコンテキストを共有する。領域39中の変換係数Xのためのコンテキスト選択は、一例として、5つの変換係数B、E、F、H、およびIの最大値の有効性の和に基づく。Xが、走査方向(この例では、ジグザグまたは対角走査パターン)に沿ったXの同じ対角線上の他の位置とは無関係であるので、走査順序における対角線に沿った変換係数の有効性のコンテキストは、走査順序における前の対角線から並列に計算され得る。
[0141]図10に示す、有効性マップのための提案されるコンテキストは、逆方向走査が使用される場合はコンテキストがデコーダにおいて非因果的になるので、走査順序が順方向である場合のみ有効である。すなわち、デコーダは、逆方向走査が使用される場合、図10に示す係数B、E、F、HおよびIをまだ復号していない。その結果、ビットストリームは復号可能でない。
[0142]しかしながら、本開示では、逆走査方向の使用を提案する。したがって、有効性マップは、図6に示したように、走査順序が逆方向であるとき、係数の間の関係する相関を有する。したがって、有効性マップのための逆方向走査を使用することは、上記で説明したように、望ましいコーディング効率を与える。また、有効性マップのための逆方向走査の使用は、係数レベルと有効性マップとのコーディングのために使用される走査を一致させるのに役立つ。有効係数の逆方向走査をサポートするために、コンテキストは、それらが逆方向走査に適合するように変更される必要がある。有効係数のコーディングが、逆方向走査に関して因果的であるコンテキストを利用することを提案する。
[0143]本開示では、一例では、図11に示すコンテキストを利用する有効性マップコーディングのための技法をさらに提案する。より低い周波数の領域43中の各係数(16×16ブロックの例では、x,y座標位置[0,0]、[0,1]、[1,0]における左上隅における3つの係数であり、ここで、[0,0]は左上隅、DC係数を示す)はそれ自体のコンテキスト導出を有する。上領域45中の係数(16×16ブロックの例では、x,y座標位置[2,0]から[15,0]までの最上行における係数)は、上領域45中の2つの前の係数(たとえば、コーディングされるべき係数のすぐ右の2つの係数であり、ここで、そのような係数は、逆方向走査を仮定すれば、復号目的のための因果的ネイバーである)の有効性に依存するコンテキストを有する。左領域47中の係数(16×16ブロックの例では、x,y座標位置[0,2]から[0,15]までの左列における係数)は、2つの前の係数(たとえば、コーディングされるべき係数のすぐ下の2つの係数であり、ここで、そのような係数は、逆方向走査配向(orientation)を仮定すれば、復号目的のための因果的ネイバー(causal neighbor)である)の有効性に依存するコンテキストを有する。図11中の上領域45と左領域47との中のこれらのコンテキストは、図10に示したコンテキスト(たとえば、図10において、上領域37中の係数は、左の係数に依存するコンテキストを有し、左領域35中の係数は、上の係数に依存するコンテキストを有する)の逆であることに留意されたい。図11に戻ると、残りの領域49中の係数(すなわち、より低い周波数の領域43と、上領域45と、左領域47との外の残りの係数)のためのコンテキストは、I、H、F、E、およびBで示された位置における係数の有効性の和(または他の関数)に依存する。
[0144]別の例では、上領域45と左領域47との中の係数は、領域49中の係数とまったく同じコンテキスト導出を使用し得る。逆方向走査では、それは、I、H、F、E、およびBで示された隣接位置が上領域45と左領域47との中の係数のために利用可能であるので、可能である。行/列の端部において、因果的係数I、H、F、EおよびBのための位置はブロック外にあり得る。その場合、そのような係数の値は0(すなわち、非有効)であると仮定される。
[0145]コンテキストを選定する際に多くのオプションがある。基本概念は、走査順序に従ってすでにコーディングされた係数の有効性を使用することである。図10に示した例では、位置Xにおける係数のコンテキストは、位置B、E、F、HおよびIにおける係数の有効性の和に基づいて導出される。これらのコンテキスト係数は、有効性マップについて本開示で提案する逆方向走査順序において現在の係数の前に来る。順方向走査において因果的だったコンテキストは、逆方向走査順序において非因果的に(利用可能でなく)なる。この問題に対処するための方法は、図10中の従来の場合のコンテキストを、逆方向走査のために図11に示すコンテキストにミラーリングすることである。最後有効係数からDC係数位置へ逆方向に進む有効性走査の場合、係数Xのためのコンテキスト近傍は係数B、E、F、H、Iから構成され、それらの係数は、係数Xの位置に対してより高い周波数の位置に関連し、それらの係数は、係数Xのコーディングより前に、逆方向走査において、エンコーダまたはデコーダによってすでに処理されている。
[0146]上記で説明したように、表1および表2に示したコンテキストおよびコンテキストモデルは、4×4サブブロックの間の係数レベルの局所相関を活用することを試みる。しかしながら、その依存性はあまりに低いことがある。すなわち、たとえば、サブブロックごとに、いくつかの係数によって互いに分離された係数間に低い依存性があることがある。また、各サブブロック内で、係数間の依存性が弱いことがある。本開示では、より局所のコンテキスト近傍を活用する係数レベルのためのコンテキストのセットの作成によってこれらの問題に対処するための技法について説明する。
[0147]本開示では、たとえば、HEVCまたは他の規格によるビデオコーディングにおいて、変換係数レベルのコンテキストの導出のための局所近傍を使用することを提案する。この近傍は、現在の係数のレベルとの高い相関を有する、すでに符号化された(または復号された)係数から構成される。それらの係数は、コーディングされるべき係数に空間的に隣接し得、図11または図13に示すような、コーディングされるべき係数の境界を画定する係数と他の近くの係数との両方を含み得る。特に、コンテキスト導出のために使用される係数はサブブロックまたは前のサブブロックに制約されない。代わりに、局所近傍は、コーディングされるべき係数の近くに空間的に位置する係数を備え得るが、それらの係数は、それらの係数がサブブロックに配置される場合、必ずしも、コーディングされるべき係数と同じサブブロック中に存在するとは限らず、または互いと同じサブブロック中に存在するとは限らないであろう。固定サブブロック中に位置する係数に依拠するのではなく、本開示では、使用される特定の走査順序を仮定すれば、利用可能である(すなわち、すでにコーディングされた)隣接係数を使用することを提案する。
[0148]たとえば、前にコーディングされた係数サブセットに基づいて、異なる係数サブセットのために異なるCABACコンテキストセットが指定され得る。所与の係数サブセット内で、コンテキストは、コンテキスト近傍と呼ばれることがある、局所近傍の係数に基づいて導出される。本開示によれば、コンテキスト近傍の一例が図12に示されている。コンテキスト近傍中の係数は、コーディングされるべき係数の近くに空間的に位置し得る。
[0149]図12に示すように、順方向走査の場合、変換係数Xのためのレベルのコンテキストは、係数B、E、F、H、およびIの値に依存する。順方向走査では、係数B、E、F、H、およびIは、係数Xの位置に対してより低い周波数の位置に関連し、それらの係数は、係数Xのコーディングより前にエンコーダまたはデコーダによってすでに処理されている。
[0150]CABACのためのビン1を符号化するために、コンテキストは、このコンテキスト近傍中の有効係数(すなわち、この例では、係数B、E、F、HおよびI)の数の和に依存する。コンテキスト近傍中の係数がブロックの外に出る場合、すなわち、データ損失により、その値は、係数Xのコンテキストを決定するために、0であると見なされ得る。CABACのためのビンの残りを符号化するために、コンテキストは、1に等しい近傍中の係数の数の和に、ならびに1よりも大きい近傍中の係数の数の和に依存する。別の例では、ビン1のためのコンテキストは、局所コンテキスト近傍中の係数のビン1値の和に依存し得る。別の例では、ビン1のためのコンテキストは、このコンテキスト近傍中の有効係数の和とビン1値の和との組合せに依存し得る。
[0151]コンテキスト近傍の選択のための多くの候補がある。ただし、コンテキスト近傍は、エンコーダおよびデコーダが両方とも同じ情報へのアクセスを有するような係数から構成されるべきである。特に、近傍中の係数B、F、E、I、およびHは、それらが、前に符号化または復号されており、係数Xのためのコンテキストを決定する際に参照のために利用可能であるという意味で、因果的ネイバーであるべきである。
[0152]図12を参照しながら上記で説明したコンテキストは多くの候補のうちの1つである。そのようなコンテキストは、HEVCにおける使用について現在提案されている3つの走査、すなわち、対角、水平および垂直のいずれかに適用され得る。本開示では、係数レベルのためのコンテキストを導出するために使用されるコンテキスト近傍が、有効性マップのためのコンテキストを導出するために使用されるコンテキスト近傍と同じであり得ることを提案する。たとえば、係数レベルのためのコンテキストを導出するために使用されるコンテキスト近傍は、有効性マップのコーディングの場合のように、局所近傍であり得る。
[0153]上記でより詳細に説明したように、本開示では、有効性マップを形成するための有効係数の走査のための逆方向走査順序の使用を提案する。逆方向走査順序は、図6に示したように逆方向ジグザグパターン、垂直パターンまたは水平パターンであり得る。係数レベル走査のための走査順序も逆方向パターンである場合、図12に示すコンテキスト近傍は非因果的になるであろう。本開示では、そのコンテキスト近傍が逆方向走査順序に関して因果的であるように、そのコンテキスト近傍の位置を反転させることを提案する。図13に、逆方向走査順序のためのコンテキスト近傍の一例を示す。
[0154]図13に示すように、最後有効係数からDC係数位置へ逆方向に進むレベル走査の場合、係数Xのためのコンテキスト近傍は係数B、E、F、H、およびIから構成され、それらの係数は、係数Xの位置に対してより高い周波数の位置に関連する。逆方向走査を仮定すれば、係数B、E、F、H、およびIは、係数Xのコーディングより前に、エンコーダまたはデコーダによってすでに処理されており、したがって、それらの係数が利用可能であるという意味で、因果的である。同様に、このコンテキスト近傍は係数レベルに適用され得る。
[0155]本開示では、一例では、逆方向走査をサポートするために選択されたコンテキストを利用する有効性マップコーディングのための別の技法をさらに提案する。上記で説明したように、変換係数の16×16および32×32ブロックの有効性マップコーディングのためにHEVCについて極めて適応型のコンテキスト選択手法が提案されている。たとえば、上記で図10に関して説明したように、この手法は16×16ブロックを4つの領域に分割し、ここで、領域41中の各位置はそれ自体のコンテキストセットを有し、領域37はコンテキストを有し、領域35は別の3つのコンテキストを有し、領域39は5つのコンテキストを有する。変換係数Xのためのコンテキスト選択は、一例として、5つの位置B、E、F、H、Iの最大値の有効性の和に基づく。Xが、走査方向に沿ったXの同じ対角線上の他の位置とは無関係であるので、走査順序における対角線に沿った変換係数の有効性のコンテキストは、走査順序における前の対角線から並列に計算され得る。
[0156]コンテキスト導出のための現在のHEVC手法は、いくつかの欠点を有する。1つの問題はブロックごとのコンテキストの数である。より多くのコンテキストを有することは、コンテキストがリフレッシュされるたびに、より多くのメモリおよびより多くの処理を暗示する。したがって、少ないコンテキストと、また、コンテキストを生成するための少ない(たとえば、前の例における4つの方法、すなわち、4つのパターンよりも少ない)方法とを有するアルゴリズムを有することが有益であろう。
[0157]そのような欠点に対処するための1つの方法は、逆方向順序での、すなわち、最後有効係数(より高い周波数)からDC成分(最低周波数)への、有効性マップのコーディングである。逆方向順序でのこのプロセスの結果は、順方向走査のためのコンテキストがもはや有効でなくなることである。上記で説明した技法は、逆走査方向における前にコーディングされた有効係数に基づいて、有効係数のうちの現在の有効係数を示す情報のコンテキスト適応型バイナリ算術コーディング(CABAC)のためのコンテキストを決定するための方法を含む。逆方向ジグザグ走査の一例では、前にコーディングされた有効係数は、有効係数のうちの現在の有効係数が存在する走査線の右の位置に存在する。
[0158]コンテキスト生成は、少なくとも、境界からの距離とDC成分からの距離とに基づいて、変換ブロックの異なる位置に対して異なり得る。上記で説明した例示的な技法では、有効性マップコーディングが、図11に示したコンテキストセットを利用することを提案した。
[0159]本開示では、ブロックごとのコンテキストの数の低減によってより高い性能につながり得る逆方向有効性マップ走査のためのコンテキストセットを提案する。再び図11を参照すると、左領域47および上領域45が残りの領域49と同じコンテキスト導出を使用することを可能にすることによって、ブロックごとのコンテキストの数の低減が達成され得る。逆方向走査では、それは、I、H、F、E、およびBで示された隣接位置が領域47および45における係数のために利用可能であるので、可能である。
[0160]図14に、この例によるコンテキスト導出の一例を示す。この例では、2つのコンテキスト領域のみ、すなわち、DC係数のための低周波数領域57と、他のすべての係数のための残りの領域59とがある。したがって、この例では、コンテキストを導出するためのわずか2つの方法を提案する。低周波数領域57(x,y位置[0,0]におけるDC係数)では、コンテキストはその位置に基づいて導出され、すなわち、DC係数はそれ自体のコンテキストを有する。残りの領域57では、コンテキストは、コーディングされるべき各係数のための局所近傍中のネイバー係数の有効性に基づいて導出される。この例では、コンテキストは、図14中のI、H、F、EおよびBによって示される5つのネイバーの有効性の和に応じて導出される。
[0161]したがって、ブロック内のコンテキストを導出するための方法の数は4から2に低減される。また、コンテキストの数は、図11中の前の例に対して8だけ低減される(より低い周波数の領域43について2つ、ならびに上領域45および左領域47の各々について3つ)。別の例では、DC係数はブロックの残りと同じ方法を使用し得、したがってブロック内のコンテキストを導出するための方法の数は1に低減される。
[0162]図15に、係数Xの現在の位置により、ネイバー係数の一部(この場合HおよびB)が現在ブロックの外にある、例を示す。現在の係数のネイバーのいずれかがブロック外にある場合、そのようなネイバー係数は0の有効性を有する(すなわち、それらは0値であり、したがって非有効(non-significant)である)と仮定され得る。代替的に、右下における1つまたは複数の係数のために1つまたは複数の特殊コンテキストが指定され得る。このようにして、より高い周波数の係数が、DC係数と同様にして、位置に応じたコンテキストを有し得る。ただし、ネイバーが0であると仮定することは、特に、右下の係数が、有効係数、または少なくとも大きい値の有効係数を有する低い確率を通常有することになるので、十分な結果を与え得る。
[0163]図14の例におけるコンテキストの数の低減は実装に適している。しかしながら、それにより性能がわずかに低下し得る。本開示では、性能を改善しながら依然としてコンテキストの数を低減するための、さらなる技法を提案する。特に、同じくネイバー係数に基づく、コンテキストの第2のセットを有することを提案する。コンテキスト導出アルゴリズムはまったく同じであるが、異なる確率モデルを用いたコンテキストの2つのセットが使用される。使用されるコンテキストのセットは、変換ユニット内のコーディングされるべき係数の位置に依存する。
[0164]より詳細には、より低い周波数(たとえば、係数の左上x,y座標位置)における係数のためのコンテキストモデルとは異なる、より高い周波数の係数(たとえば、係数の右下x,y座標位置)のためのコンテキストモデルを使用するとき、性能の向上が示される。より高い周波数の係数からより低い周波数の係数を分離するための、したがって各々のために使用されるコンテキストモデルを分離するための、1つの方法は、係数のためのx+y値を計算することであり、上式で、xは水平位置であり、yは係数の垂直位置である。この値が何らかのしきい値(たとえば、4はうまく動作することが示されている)よりも小さい場合、コンテキストセット1が使用される。その値がしきい値に等しいかそれよりも大きい場合、コンテキストセット2が使用される。ここでも、コンテキストセット1および2は異なる確率モデルを有する。
[0165]図16に、この例のためのコンテキスト領域の一例を示す。この場合も、位置(0,0)におけるDC係数は、それ自体のコンテキスト領域61を有する。より低い周波数のコンテキスト領域63は、4のしきい値に等しいかそれよりも小さいx+y位置における(DC係数を含まない)変換係数からなる。より高い周波数のコンテキスト領域65は、4のしきい値よりも大きいx+y位置における変換係数からなる。4のしきい値は、一例として使用されており、より良い性能を提供する任意の数に調整され得る。別の例では、しきい値はTUサイズに依存し得る。
[0166]より低い周波数のコンテキスト領域63とより高い周波数のコンテキスト領域65とのためのコンテキスト導出は、コンテキストを選択するためにネイバーが使用される方法に関してまったく同じであるが、採用される確率(すなわち、コンテキスト)は異なる。特に、ネイバーに基づくコンテキスト選択のための同じ基準が使用され得るが、異なる係数位置がコンテキストの異なるセットに関連し得るので、そのような基準の適用は、異なる係数位置のための異なるコンテキストの選択につながる。このようにして、異なる係数のための異なるコンテキストセットが使用され得るように、より低い周波数の係数と高い周波数の係数とが異なる統計値を有するという知識がアルゴリズムに組み込まれる。
[0167]他の例では、x+y関数は、係数の位置に応じて他の関数に変更され得る。たとえば、あるオプションは、x<T&&y<Tであり、Tはしきい値である、すべての係数に同じコンテキストセットを与えることである。図17に、これらのコンテキスト領域をもつ変換係数のブロックの一例を示す。この場合も、位置(0,0)におけるDC係数は、それ自体のコンテキスト領域61を有し得る。より低い周波数のコンテキスト領域73は、それのxまたはy位置が4のしきい値よりも小さいかそれに等しい、(DC係数を含まない)すべての変換係数からなる。より高い周波数のコンテキスト領域は、それのxまたはy位置が4のしきい値よりも大きい、すべての変換係数からなる。この場合も、4のしきい値は、一例として使用されており、より良い性能を提供する任意の数に調整され得る。一例では、しきい値はTUサイズに依存し得る。
[0168]図16および図17に示した上記で説明した技法は、5つのコンテキストの2つのセットを有し、これは、依然として、図10に示したコンテキストの数よりも少ないコンテキストの数であり、より高い性能を示す。これは、ブロックを異なるエリアに分離することと、異なるエリア中の係数のために異なるコンテキストセットを指定することと、ただし、依然として同じコンテキスト導出基準を各エリアに適用することと、によって達成される。
[0169]図18に、コンテキスト領域をもつ変換係数のブロックの別の例を示す。この例では、領域81中のDC係数と、領域83および85中のx,y位置(1,0)および(0,1)における係数とは、それぞれそれら自体のコンテキストを有する。残りの領域87はさらに別のコンテキストを有する。図18に示す例の変形形態では、領域83および85はコンテキストを共有する。
[0170]概して、上記で説明した技法は、有効性マップを形成するために変換係数のブロック中のより高い周波数の係数から変換係数のブロック中のより低い周波数の係数へ逆方向に変換係数のブロック中の有効係数を走査することと、ブロック中の前に走査された係数の局所近傍に基づいて有効性マップの有効係数のコンテキスト適応型バイナリ算術コーディング(CABAC)のためのコンテキストを決定することとを含み得る。コンテキストは、有効係数の各々について、それぞれの変換係数よりも高い周波数を有する、局所近傍中の前に走査された変換係数に基づいて、決定され得る。いくつかの例では、コンテキストは、コンテキスト近傍の前に走査された係数中の有効係数の数の和に基づいて決定され得る。コーディングされるべき有効係数の各々のための局所近傍は、ブロック中のそれぞれの係数に空間的に隣接する複数の変換係数を備え得る。
[0171]変換係数のブロックのDC(たとえば、最左上)位置における有効係数のためのコンテキストは、DC位置における有効係数のために指定された個別のコンテキストに基づいて決定され得る。また、コンテキストは、ブロックの左側エッジおよび上部エッジにおける係数について、ブロックの左側エッジおよび上部エッジにない係数のためのコンテキストを決定するために使用される基準と実質的に同様または同等の基準を使用して決定され得る。いくつかの例では、ブロックの最右下位置における係数のためのコンテキストは、ブロックの外の隣接係数が0値係数であると仮定する基準を使用して決定され得る。また、いくつかの例では、コンテキストを決定することは、変換係数のブロック内の係数の位置に基づいて、コンテキストセット内のコンテキストの選択のための実質的に同様または同一の基準を使用して、しかし異なるコンテキストセットを使用して、係数のためのコンテキストを決定することを備え得る。
[0172]本開示での上、下、右、左などへの言及は、概して、従来の方法で、左上に向かってより低い周波数の係数を有し、ブロックの右下に向かってより高い周波数の係数を有するように配置された、変換係数のブロック中のより高い周波数の係数とより低い周波数の係数との相対位置を指すために便宜上使用されており、より高い周波数の係数とより低い周波数の係数とが、異なる非従来の方法で配置され得る場合について、限定的であると見なされるべきでない。
[0173]図5に戻ると、いくつかの例では、変換モジュール52は、いくつかの変換係数(すなわち、いくつかのロケーションにおける変換係数)をゼロアウトするように構成され得る。たとえば、変換モジュール52は、変換後のTUの左上クワドラントの外部にあるすべての変換係数をゼロアウトするように構成され得る。別の例として、エントロピー符号化ユニット56は、アレイ内のある位置の後に来るアレイ内の変換係数をゼロアウトするように構成され得る。いずれの場合も、ビデオエンコーダ20は、たとえば、走査の前または後に、変換係数のある部分をゼロアウトするように構成され得る。「ゼロアウトする」という句は、係数の値を0に等しく設定することを意味するために使用されるが、必ずしも係数をスキップまたは廃棄することを意味するとは限らない。いくつかの例では、0への係数のこの設定は、量子化から生じ得るゼロアウトに加えて行われ得る。
[0174]逆量子化ユニット58および逆変換モジュール60は、それぞれ逆量子化および逆変換を適用して、たとえば参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット44は、残差ブロックを参照フレームバッファ64のフレームのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器62は、再構成された残差ブロックを、動き補償ユニット44によって生成された動き補償予測ブロックに加算して、参照フレームバッファ64に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット42および動き補償ユニット44によって参照ブロックとして使用され得る。
[0175]図19は、図5のビデオエンコーダにおいて使用するエントロピー符号化ユニット56の一例を示すブロック図である。図19は、CABACエントロピーコーディングにおいて使用される走査順序と対応するコンテキストセットとを選択するためのエントロピー符号化ユニット56の様々な機能的態様を示している。エントロピー符号化ユニット56は、走査順序およびコンテキスト選択ユニット90と、2D−1D走査ユニット92と、エントロピー符号化エンジン94と、走査順序メモリ96とを含み得る。
[0176]走査順序およびコンテキスト選択ユニット90は、有効性マップ走査と係数レベル走査とのために2D−1D走査ユニット92によって使用されるべき走査順序を選択する。上記で説明したように、走査順序は、走査パターンと走査方向との両方からなる。走査メモリ96は、特定の状況のためにどの走査順序を使用すべきかを定義する命令および/またはデータを記憶し得る。例として、走査順序を選択するために、フレームまたはスライスの予測モード、ブロックサイズ、変換、または使用されるビデオデータの他の特性が使用され得る。HEVCについての1つの提案では、イントラ予測モードの各々が特定の走査順序(サブブロック対角、水平または垂直)に割り当てられる。デコーダは、イントラ予測モードをパースし、ルックアップテーブルを使用して適用すべき走査順序を決定する。最も頻繁な有効係数の統計値を追跡するために適応型の方法が使用され得る。別の例では、走査は、走査順序における最初の最も頻繁に使用される係数に基づき得る。別の例として、走査順序およびコンテキスト選択ユニット90は、すべての状況についてあらかじめ決定された走査順序を使用し得る。上記で説明したように、走査順序およびコンテキスト選択ユニット90は、有効性マップ走査と係数レベル走査との両方のための走査順序を選択し得る。本開示の技法によれば、それらの2つの走査は、同じ走査順序を有し得、特に、両方とも逆方向であり得る。
[0177]選択された走査順序に基づいて、走査順序およびコンテキスト選択ユニット90は、図11および図13〜図18を参照しながら上記で説明したコンテキストなど、エントロピー符号化エンジン94においてCABACのために使用されるべきコンテキストをも選択する。
[0178]2D−1D走査ユニット92は、選択された走査を変換係数の2次元アレイに適用する。特に、2D−1D走査ユニット92は、図7〜図9を参照しながら上記で説明したように、サブセット中の変換係数を走査し得る。特に、変換係数は、走査順序に従っていくつかの連続する係数からなるサブセットにおいて走査される。そのようなサブセットは、有効性マップ走査と係数レベル走査との両方に適用可能である。さらに、2D−1D走査ユニット92は、連続する走査としておよび同じ走査順序に従って、有効性マップ走査と係数レベル走査とを実行し得る。連続する走査は、上記で説明したように、いくつかの走査からなり得る。一例では、第1の走査は有効性マップ走査であり、第2の走査は各サブセット中の変換係数のレベルのビン1の走査であり、第3の走査は変換係数のレベルの残りのビンの走査であり、第4の走査は変換係数のレベルの符号(sign)の走査である。
[0179]エントロピー符号化エンジン94は、走査順序およびコンテキスト選択ユニット90からの選択されたコンテキストを使用してエントロピー符号化プロセスを走査された係数に適用する。いくつかの例では、CABACのために使用されるコンテキストはすべての場合についてあらかじめ決定され得、したがって、コンテキストを選択するためのプロセスまたはユニットの必要がないことがある。エントロピー符号化プロセスは、係数が完全に走査されて1Dベクトルになった後に、または各係数が1Dベクトルに追加されるときに、係数に適用され得る。他の例では、係数は、走査順序を使用して2Dアレイにおいて直接処理される。場合によっては、エントロピー符号化エンジン94は、速度および効率を上げるためにエントロピー符号化プロセスの並列化を促進するために、1Dベクトルの異なるセクションを並列に符号化するように構成され得る。エントロピー符号化エンジン94は、符号化ビデオを搬送するビットストリームを生成する。ビットストリームは、別のデバイスに送信されるか、または後で取り出すためにデータ記憶アーカイブに記憶され得る。残差変換係数データに加えて、ビットストリームは、動きベクトルデータと、ビットストリーム中の符号化ビデオを復号する際に有用な様々なシンタックス要素とを搬送し得る。
[0180]さらに、エントロピー符号化ユニット56は、CABACプロセスにおいて使用される走査順序および/またはコンテキストを示すために、符号化ビデオビットストリーム中のシグナリングを与え得る。走査順序および/またはコンテキストは、たとえば、フレーム、スライス、LCU、CUレベルまたはTUレベルなど、様々なレベルにおいてシンタックス要素としてシグナリングされ得る。あらかじめ決定された走査順序および/またはコンテキストが設定される場合、符号化ビットストリーム中のシグナリングを与える必要がないことがある。また、いくつかの例では、ビデオデコーダ30は、シグナリングなしにパラメータ値のいくつかを推論することが可能であり得る。異なるTUのための異なる走査順序の定義を可能にするために、TUレベルにおいて、たとえば、TU4分木ヘッダ中でそのようなシンタックス要素をシグナリングすることが望ましいことがある。例示のために符号化ビデオビットストリーム中のシグナリングについて説明するが、パラメータ値または関数を示す情報はサイド情報中でアウトオブバンドでシグナリングされ得る。
[0181]このコンテキストでは、符号化ビットストリーム中で走査順序および/またはコンテキストをシグナリングすることは、エンコーダからデコーダへのそのような要素のリアルタイム送信を必要とせず、むしろ、そのようなシンタックス要素がビットストリーム中に符号化され、任意の方法でデコーダにとってアクセス可能にされることを意味する。これは、(たとえば、ビデオ会議における)リアルタイム送信、ならびに(たとえば、ストリーミング、ダウンロード、ディスクアクセス、カードアクセス、DVD、ブルーレイなどにおける)デコーダによる将来の使用のために符号化ビットストリームをコンピュータ可読媒体に記憶することを含み得る。
[0182]説明しやすいように別個の機能的ユニットとして示されているが、走査順序およびコンテキスト選択ユニット90、2D−1D走査ユニット92、エントロピー符号化エンジン94、および走査順序メモリ96の構造および機能は互いに高度に統合され得ることに留意されたい。
[0183]図20は、符号化ビデオシーケンスを復号するビデオデコーダ30の一例を示すブロック図である。図20の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測モジュール74と、逆量子化ユニット76と、逆変換ユニット78と、参照フレームバッファ82と、加算器80とを含む。ビデオデコーダ30は、いくつかの例では、ビデオエンコーダ20(図5)に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
[0184]エントロピー復号70は、図5のエントロピー符号化ユニット56によって使用されたプロセスの逆であるプロセスにおいて符号化ビデオをエントロピー復号する。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成し得る。イントラ予測モジュール74は、シグナリングされたイントラ予測モードと、現在フレームの前に復号されたブロックからのデータとに基づいて、現在フレームの現在ブロックについての予測データを生成し得る。
[0185]いくつかの例では、エントロピー復号ユニット70(または逆量子化ユニット76)は、ビデオエンコーダ20のエントロピー符号化ユニット56(または量子化ユニット54)によって使用された走査順序をミラーリングする走査を使用して受信値を走査し得る。係数の走査は逆量子化ユニット76において実行され得るが、走査については、例示のために、エントロピー復号ユニット70によって実行されるものとして説明する。さらに、説明しやすいように別個の機能ユニットとして示されているが、ビデオデコーダ30のエントロピー復号ユニット70、逆量子化ユニット76、および他のユニットの構造および機能は互いに高度に統合され得る。
[0186]本開示の技法によれば、ビデオデコーダ30は、同じ走査順序に従って変換係数の有効性マップと変換係数のレベルとの両方を走査し得る。すなわち、有効性マップコーディングとレベルコーディングとのための走査順序は、同じパターンおよび方向を有するべきである。さらに、ビデオエンコーダ30は、逆方向である、有効性マップのための走査順序を使用し得る。別の例として、ビデオエンコーダ30は、逆方向に一致させた、有効性マップコーディングとレベルコーディングとのための走査順序を使用し得る。
[0187]本開示の別の態様では、ビデオデコーダ30はサブセット中の変換係数を走査し得る。特に、変換係数は、走査順序に従っていくつかの連続する係数からなるサブセットにおいて走査される。そのようなサブセットは、有効性マップ走査と係数レベル走査との両方に適用可能である。さらに、ビデオデコーダ30は、同じ走査順序に従って連続する走査として有効性マップ走査と係数レベル走査とを実行し得る。一態様では、走査順序は逆方向走査順序である。連続する走査は、いくつかの走査からなり得る。一例では、第1の走査は有効性マップ走査であり、第2の走査は各サブセット中の変換係数のレベルのビン1の走査であり、第3の走査は変換係数のレベルの残りのビンの走査であり、第4の走査は変換係数のレベルの符号の走査である。
[0188]ビデオデコーダ30は、符号化ビットストリームから、ビデオエンコーダ20によってCABACのために使用された走査順序および/またはコンテキストを識別するシグナリングを受信し得る。追加または代替として、走査順序およびコンテキストは、予測モード、ブロックサイズなど、コーディングされたビデオの特性、または他の特性に基づいて、ビデオデコーダ30によって推論され得る。別の例として、ビデオエンコーダ20およびビデオデコーダ30は、すべての使用事例についてあらかじめ決定された走査順序とコンテキストとを使用し得、したがって、符号化ビットストリーム中のシグナリングは必要とされないであろう。
[0189]走査順序がどのように決定されるかにかかわらず、エントロピー復号ユニット70は、走査順序の逆を使用して1Dベクトルを走査して2Dアレイにする。エントロピー復号ユニット70によって生成された変換係数の2Dアレイは、量子化され得、変換係数の1Dベクトルを生成するためにビデオエンコーダ20のエントロピー符号化ユニット56によって走査された変換係数の2Dアレイに概して一致し得る。
[0190]逆量子化ユニット76は、ビットストリーム中で与えられ、エントロピー復号ユニット70によって復号された、量子化変換係数を逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)する。逆量子化プロセスは、たとえば、HEVCのために提案されたプロセスまたはH.264復号規格によって定義されたプロセスと同様の、従来のプロセスを含み得る。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、CUについてビデオエンコーダ20によって計算される量子化パラメータQPの使用を含み得る。逆量子化ユニット76は、係数が1Dベクトルから2Dアレイに変換される前または変換された後に変換係数を逆量子化し得る。
[0191]逆変換モジュール78は、逆変換、たとえば、逆DCT、逆整数変換、逆KLT、逆回転変換、逆方向性変換、または別の逆変換を適用する。いくつかの例では、逆変換モジュール78は、ビデオエンコーダ20からのシグナリングに基づいて、あるいはブロックサイズ、コーディングモードなどの1つまたは複数のコーディング特性から変換を推論することによって、逆変換を決定し得る。いくつかの例では、逆変換モジュール78は、現在ブロックを含むLCUのための4分木のルートノードにおけるシグナリングされた変換に基づいて、現在ブロックに適用すべき変換を決定し得る。いくつかの例では、逆変換モジュール78はカスケード逆変換を適用し得る。
[0192]動き補償ユニット72は動き補償ブロックを生成し、場合によっては、補間フィルタに基づいて補間を実行する。サブピクセル精度をもつ動き推定に使用されるべき補間フィルタの識別子は、シンタックス要素中に含まれ得る。動き補償ユニット72は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。動き補償ユニット72は、受信されたシンタックス情報に従って、ビデオエンコーダ20によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0193]動き補償ユニット72およびイントラ予測モジュール74は、HEVCの例では、(たとえば、4分木によって与えられる)シンタックス情報の一部を使用して、符号化ビデオシーケンスの(1つまたは複数の)フレームを符号化するために使用されたLCUのサイズを決定し得る。動き補償ユニット72およびイントラ予測モジュール74はまた、シンタックス情報を使用して、符号化ビデオシーケンスのフレームの各CUがどのように分割されるか(および、同様に、サブCUがどのように分割されるか)を記述する分割情報を決定し得る。シンタックス情報はまた、各分割がどのように符号化されるかを示すモード(たとえば、イントラまたはインター予測、およびイントラ予測の場合はイントラ予測符号化モード)と、各インター符号化PUについての1つまたは複数の参照フレーム(および/またはそれらの参照フレームの識別子を含んでいる参照リスト)と、符号化ビデオシーケンスを復号するための他の情報とを含み得る。
[0194]加算器80は、残差ブロックを、動き補償ユニット72またはイントラ予測モジュール74によって生成される対応する予測ブロックと合成して、復号ブロックを形成する。所望される場合、ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。復号ビデオブロックは、次いで、参照フレームバッファ82に記憶され、参照フレームバッファ82は、その後の動き補償のための参照ブロックを与え、また、(図4のディスプレイデバイス32などの)ディスプレイデバイス上での提示のために復号ビデオを生成する。
[0195]上述のように、本開示で提示する、変換係数を走査するための技法は、エンコーダとデコーダの両方に適用可能である。ビデオエンコーダは、走査順序を適用して、変換係数を走査して2次元アレイから1次元アレイにし得、ビデオデコーダは、たとえば、エンコーダとは逆に走査順序を適用して、変換係数を走査して1次元アレイから2次元アレイにし得る。代替的に、ビデオデコーダは、走査順序を適用して、変換係数を走査して1次元アレイから2次元アレイにし得、ビデオエンコーダは、デコーダとは逆に走査順序を適用して、変換係数を走査して2次元アレイから1次元アレイにし得る。したがって、コーダによる走査は、エンコーダによる2D−1D走査またはデコーダによる1D−2D走査を指し得る。さらに、走査順序に従う走査は、2D−1D走査のための走査順序での走査、1D−2D走査のための走査順序での走査、1D−2D走査のための走査順序の逆での走査、または2D−1D走査のための走査順序の逆での走査を指し得る。したがって、走査順序は、エンコーダによる走査またはデコーダによる走査のために確立され得る。
[0196]ビデオデコーダ30は、ビデオエンコーダ20の方法と本質的に対称的な方法で動作し得る。たとえば、ビデオデコーダ30は、符号化されたPUデータとTUデータとを含む符号化されたCUを表す、エントロピー符号化されたデータを受信し得る。ビデオデコーダ30は、この受信データを逆エントロピー符号化して符号化量子化係数を形成し得る。ビデオエンコーダ20が算術コーディングアルゴリズム(たとえば、CABAC)を使用してデータをエントロピー符号化したとき、ビデオデコーダ30は、データを符号化するためにビデオエンコーダ20によって使用されたのと同じコンテキストモデルに対応するコンテキストモデルを使用して、そのデータを復号し得る。
[0197]ビデオデコーダ30はまた、ビデオエンコーダ20によって使用された走査をミラーリングする逆方向走査を使用して、復号された係数を逆走査し得る。係数を逆走査するために、ビデオデコーダ30は、ビデオエンコーダ20によって使用されたのと同じ走査順序を選択し、その走査順序は、デコーダにおいて記憶され得るかまたは符号化ビットストリーム中でエンコーダによってシグナリングされ得る。この走査順序を使用して、ビデオデコーダ30は、それによって、エントロピー復号プロセスから得られた量子化変換係数の1次元ベクトルから2次元行列を形成する。特に、ビデオデコーダ30は、ビデオエンコーダ20によって使用された走査順序に従って係数を逆走査して1次元アレイから2次元アレイにする。
[0198]次に、ビデオデコーダ30は、走査順序に従って実行された逆方向走査によって生成された2次元行列中の係数を逆量子化し得る。ビデオデコーダ30は、次いで、2次元行列に1つまたは複数の逆変換を適用し得る。逆変換は、ビデオエンコーダ20によって適用された変換に対応し得る。ビデオデコーダ30は、たとえば、現在復号されているCUに対応する4分木のルートにおいてシグナリングされた情報に基づいて、または適切な逆変換を示す他の情報を参照して、適用すべき逆変換を決定し得る。(1つまたは複数の)逆変換の適用時に、ビデオデコーダ30は、ピクセル領域において残差ビデオデータを復元し、適用可能なとき、イントラ予測復号またはインター予測復号を適用して元のビデオデータを再構成する。
[0199]図21は、図20のビデオデコーダにおいて使用するエントロピー復号ユニット70の一例を示すブロック図である。図21は、ビデオ復号プロセスにおけるCABAC復号のために使用される走査順序とコンテキストとを選択するためのエントロピー復号ユニット70の様々な機能的態様を示している。図21に示すように、エントロピー符号化ユニット70は、走査順序およびコンテキスト選択ユニット100と、1D−2D走査ユニット102と、エントロピー復号エンジン104と、走査順序メモリ106とを含み得る。
[0200]エントロピー復号エンジン104は、ビデオデコーダ30に送信されたかまたは記憶デバイスからビデオデコーダ30によって取り出された符号化ビデオをエントロピー復号する。たとえば、エントロピー復号エンジン104は、符号化ビデオを搬送するビットストリームにエントロピー復号プロセス、たとえば、CAVLC、CABACまたは別のプロセスを適用して、変換係数の1Dベクトルを復元し得る。残差変換係数データに加えて、エントロピー復号エンジン104は、エントロピー復号を適用して、動きベクトルデータと、ビットストリーム中の符号化ビデオを復号する際に有用な様々なシンタックス要素とを再生し得る。エントロピー復号エンジン104は、符号化ビデオビットストリーム中のシグナリングに基づいて、またはビットストリーム中の他の情報から適切なプロセスを推論することによって、どのエントロピー復号プロセス、たとえば、CAVLC、CABACまたは別のプロセスを選択すべきかを決定し得る。
[0201]本開示の技法によれば、エントロピー復号エンジン104は、2つの異なるコンテキスト領域に従ってCABACを使用して符号化ビデオをエントロピー復号し得る。走査順序およびコンテキスト選択ユニット100は、エントロピー復号エンジン104にコンテキスト導出を与え得る。本開示の例によれば、第1のコンテキスト領域のためのコンテキスト導出は変換係数の位置に依存し、第2の領域のためのコンテキスト導出は変換係数の因果的ネイバーに依存する。別の例では、第2のコンテキスト領域は、変換係数のロケーションに応じて2つの異なるコンテキストモデルを使用することができる。
[0202]また、走査順序およびコンテキスト選択ユニット100は、符号化ビデオビットストリーム中のシグナリングに基づいて、走査順序、および/または走査順序の指示を決定し得る。たとえば、エントロピー復号ユニット70は、走査順序を明示的にシグナリングするシンタックス要素を受信し得る。この場合も、例示のために符号化ビデオビットストリーム中のシグナリングについて説明するが、走査順序は、サイド情報中でアウトオブバンドでエントロピー復号ユニット70によって受信され得る。また、いくつかの例では、走査順序およびコンテキスト選択ユニット100は、シグナリングなしに走査順序を推論することが可能であり得る。走査順序は、予測モード、ブロックサイズ、変換、または符号化ビデオの他の特性に基づき得る。図19のメモリ96のように、図21のメモリ106は、走査順序を定義する命令および/またはデータを記憶し得る。
[0203]1D−2D走査ユニット102は、走査順序およびコンテキスト選択ユニット100から走査順序を受信し、走査順序を直接または逆に適用して、係数の走査を制御する。本開示の技法によれば、有効性マップ走査と係数レベルとの両方のために同じ走査順序が使用され得る。本開示の別の態様では、有効性マップ走査は逆方向であり得る。本開示の別の態様では、有効性マップ走査と係数レベル走査との両方が逆方向であり得る。
[0204]本開示の別の態様によれば、1D−2D走査ユニット102は、変換係数の1次元アレイを走査して変換係数の1つまたは複数のサブセットにし、各サブセット中の変換係数の有効性をコーディングし、各サブセット中の変換係数のレベルをコーディングし得る。本開示の別の態様では、有効性マップ走査と係数レベル走査とが、同じ走査順序に従って連続する走査において実行される。一態様では、走査順序は逆方向走査順序である。連続する走査はいくつかの走査からなり得、その場合、第1の走査は有効性マップ走査であり、第2の走査は各サブセット中の変換係数のレベルのビン1の走査であり、第3の走査は変換係数のレベルの残りのビンの走査であり、第4の走査は変換係数のレベルの符号の走査である。
[0205]エンコーダ側では、変換係数のコーディングは、変換係数の1次元アレイを形成するために、走査順序に従って変換係数を符号化することを備え得る。デコーダ側では、変換係数をコーディングすることは、変換ブロック中の変換係数の2次元アレイを再構成するために、走査順序に従って変換係数を復号することを備え得る。
[0206]説明しやすいように別個の機能的ユニットとして示されているが、走査順序およびコンテキスト選択ユニット100、1D−2D走査ユニット102、エントロピー復号エンジン104、および走査順序メモリ106の構造および機能は互いに高度に統合され得ることに留意されたい。
[0207]図22は、一致させた走査順序を用いた有効性マップ走査と係数レベル走査とのための例示的なプロセスを示すフローチャートである。ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングする方法を提案する。本方法は、図4のビデオエンコーダ20またはビデオデコーダ30など、ビデオコーダによって実行され得る。ビデオコーダは、走査順序を選択する(120)ように構成され得る。走査順序は、予測モード、ブロックサイズ、変換、または他のビデオ特性に基づいて選択され得る。さらに、走査順序はデフォルト走査順序であり得る。走査順序は、走査パターンと走査方向との両方を定義する。一例では、走査方向は、複数の変換係数中のより高い周波数の係数から複数の変換係数中のより低い周波数の係数に進む逆走査方向である。走査パターンは、ジグザグパターン、対角パターン、水平パターンまたは垂直パターンのうちの1つを含み得る。
[0208]ビデオコーダは、走査順序に従って複数の変換係数のための有効係数を示す情報をコーディングすることと(122)、有効係数の複数のサブセットのための有効係数のレベルをコーディングするためのコンテキストを決定することと(124)、を行うようにさらに構成され得、複数のサブセットの各々は、上記走査順序に従って走査された1つまたは複数の有効係数を備える。ビデオコーダはまた、上記走査順序に従って複数の変換係数のレベルを示す情報をコーディングする(126)。サブセットは異なるサイズのサブセットであり得る。レベル情報のためのコンテキストの決定が、前にコーディングされたネイバー係数に依存するので、ステップ122、124および126は交互配置(interleaved)され得ることに留意されたい。
[0209]図23は、有効性マップ走査と係数レベル走査とCABACコンテキスト導出とのための別の例示的なプロセスを示すフローチャートである。異なるサイズのブロックのコンテキストが同じコンテキスト導出基準を使用し得るので、図23の方法は、図22に示した方法とはわずかに異なる。一例として、ビデオコーダは、コンテキスト導出基準に従って変換係数の第1のブロックのための第1のコンテキストを導出することと、第1のブロックは第1のサイズを有し、第1のブロックと同じコンテキスト導出基準に従って変換係数の第2のブロックのための第2のコンテキストを導出することと、第2のブロックは第2の異なるサイズを有し、を行う(123)。図22のように、レベル情報のためのコンテキストの決定が、前にコーディングされたネイバー係数に依存するので、ステップ122、123および126は交互配置(interleaved)され得る。
[0210]図24は、有効性マップ走査と係数レベル走査とCABACコンテキスト導出とのための別の例示的なプロセスを示すフローチャートである。サブセット中のDC係数の存在に基づいてサブセットのためのコンテキストが決定されるので、図24の方法は、図22に示した方法とはわずかに異なる。一例として、ビデオコーダは、係数の異なるサブセットのためのコンテキストの異なるセットを、それぞれのサブセットが変換係数のDC係数を含んでいるかどうかに基づいて、決定する(125)。図22のように、レベル情報のためのコンテキストの判断が、前にコーディングされたネイバー係数に依存するので、ステップ122、125および126は交互配置(interleaved)され得る。
[0211]図25は、有効性マップ走査と係数レベル走査とCABACコンテキスト導出とのための別の例示的なプロセスを示すフローチャートである。他の前のサブセット中の有効係数の重み付けされた数に基づいてコンテキストが決定されるので、図25の方法は、図22に示した方法とはわずかに異なる。一例として、ビデオコーダは、係数の異なるサブセットのためのコンテキストの異なるセットを、係数の直前のサブセット中の有効係数の数と、係数の他の前のサブセット中の有効係数の重み付けされた数とに基づいて、決定する(127)。図22のように、レベル情報のためのコンテキストの判断が、前にコーディングされたネイバー係数に依存するので、ステップ122、127および126は交互配置(interleaved)され得る。
[0212]図26は、逆走査方向を使用した有効性マップコーディングのための例示的なプロセスを示すフローチャートである。ビデオコーディングプロセスにおいて残差ビデオデータに関連する変換係数をコーディングする方法を提案する。本方法は、図4のビデオエンコーダ20またはビデオデコーダ30など、ビデオコーダによって実行され得る。ビデオコーダは、逆方向を用いた走査順序を選択する(140)ことと、逆走査方向における前にコーディングされた有効係数に基づいて、有効係数のうちの現在の有効係数を示す情報のコンテキスト適応型バイナリ算術コーディング(CABAC)のためのコンテキストを決定する(142)こととを行うように構成され得る。ビデオコーダは、有効性マップを形成するために逆走査方向に沿って有効変換係数を示す情報をコーディングする(146)ようにさらに構成され得る。
[0213]一例では、上記走査は対角パターンを有し、前にコーディングされた有効係数は、有効係数のうちの現在の有効係数が存在する走査線の右の位置に存在する。別の例では、上記走査は水平パターンを有し、前にコーディングされた有効係数は、有効係数のうちの現在の有効係数が存在する走査線の下の位置に存在する。別の例では、上記走査は垂直パターンを有し、前にコーディングされた有効係数は、有効係数のうちの現在の有効係数が存在する走査線の右の位置に存在する。
[0214]ビデオコーダは、有効変換係数のレベルを示す情報をコーディングする(148)ようにさらに構成され得る。有効変換係数のレベルを示す情報をコーディングするステップは、変換係数のブロック中のより高い周波数の係数から変換係数のブロック中のより低い周波数の係数へ逆走査方向に進み得る。図22のように、レベル情報のためのコンテキストの決定が、前にコーディングされたネイバー係数に依存するので、ステップ142、146および148は交互配置(interleaved)され得る。
[0215]図27は、変換係数のサブセットによる有効性マップ走査と係数レベル走査とのための例示的なプロセスを示すフローチャートである。ビデオコーディングプロセスにおいて残差ビデオデータに関連する変換係数をコーディングする方法を提案する。本方法は、図4のビデオエンコーダ20またはビデオデコーダ30など、ビデオコーダによって実行され得る。ビデオコーダは、変換係数のブロックを変換係数の1つまたは複数のサブセットに配置(arrange)する(160)ことと、各サブセット中の変換係数の有効性(significance)をコーディングする(162)ことと、各サブセット中の変換係数のレベルをコーディングする(164)こととを行うように構成され得る。一例では、変換係数のブロックを配置することは、変換係数のブロックを変換ユニット全体に対応する変換係数の単一のセットに配置することを含み得る。別の例では、変換係数のブロックを配置することは、走査順序に基づいて変換係数のブロックを変換係数の1つまたは複数のサブセットに配置(arrange)することを含み得る。
[0216]ビデオコーダは、走査順序に従って各サブセット中の変換係数の有効性(significance)をコーディングすることと、上記走査順序に従って変換係数のレベルをコーディングすることとを行うように構成され得る。有効性マップをコーディングする(162)ことと、レベルをコーディングする(164)こととは、サブセット上で2つ以上の連続する走査パスにおいて一緒に実行され得る(165)。
[0217]図28は、変換係数のサブセットによる有効性マップ走査と係数レベル走査とのための別の例示的なプロセスを示すフローチャートである。ビデオエンコーダは、最初に、サブセット中の変換係数の有効性(significance)をそれぞれのサブセット中の変換係数の第1の走査においてコーディングする(170)ことによって、連続する走査を実行し得る(165)。
[0218]各サブセット中の係数レベルのコーディング(164)は、それぞれのサブセット中の変換係数の少なくとも第2の走査を含む。第2の走査は、サブセット中の変換係数のレベルのビン1をそれぞれのサブセット中の変換係数の第2の走査においてコーディングする(172)ことと、サブセット中の変換係数のレベルの残りのビンをそれぞれのサブセット中の変換係数の第3の走査においてコーディングする(174)ことと、サブセット中の変換係数のレベルの符号をそれぞれのサブセット中の変換係数の第4の走査においてコーディングする(176)こととを含み得る。
[0219]図29は、変換係数のサブセットによる有効性マップ走査と係数レベル走査とのための別の例示的なプロセスを示すフローチャートである。この例では、変換係数のレベルの符号(sign)のコーディング(176)は、レベルをコーディングする(172、174)前に実行される。
[0220]図30は、複数の領域を使用したエントロピーコーディングのための例示的なプロセスを示すフローチャートである。ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングする方法を提案する。本方法は、図4のビデオエンコーダ20またはビデオデコーダ30など、ビデオコーダによって実行され得る。ビデオコーダは、走査順序に従って複数の変換係数のための有効係数を示す情報をコーディングする(180)ことと、コーディングされた情報を第1の領域と第2の領域とに分割する(182)ことと、コンテキスト適応型バイナリ算術コーディングを使用してコンテキストの第1のセットに従って第1の領域中のコーディングされた情報をエントロピーコーディングする(184)ことと、コンテキスト適応型バイナリ算術コーディングを使用してコンテキストの第2のセットに従って第2の領域中のコーディングされた情報をエントロピーコーディングする(186)ことと、を行うように構成され得る。一例では、走査順序は、逆方向と対角走査パターンとを有する。本方法は3つ以上の領域にも適用され得、各領域はコンテキストのセットを有する。
[0221]第1の領域と第2の領域とは、いくつかの方法で分割され得る。一例では、第1の領域は、複数の変換係数の少なくともDC成分を含んでおり、第2の領域は、第1の領域中にない残りの複数の変換係数を含んでいる。
[0222]別の例では、第1の領域は、x+y<Tによって画定された領域内のすべての変換係数を含んでおり、上式で、xは変換係数の水平位置であり、yは変換係数の垂直位置であり、Tはしきい値である。第1の領域は、DC係数を含んでいることがある。第2の領域は、第1の領域中にない残りの複数の変換係数を含んでいる。
[0223]別の例では、第1の領域は、x<Tおよびy<Tによって画定された領域内のすべての変換係数を含んでおり、上式で、xは変換係数の水平位置であり、yは変換係数の垂直位置であり、Tはしきい値である。第2の領域は、第1の領域中にない残りの複数の変換係数を含んでいる。
[0224]別の例では、第1の領域は、DC係数を含んでおり、第2の領域は、x<Tおよびy<Tによって画定された領域内の(DC係数を除く)すべての変換係数を含んでおり、上式で、xは変換係数の水平位置であり、yは変換係数の垂直位置であり、Tはしきい値であり、第3の領域は、第1の領域または第2の領域中にない残りの複数の変換係数を含んでいる。別の例では、上記で説明した第2の領域および第3の領域は、コンテキストを導出するための同じ方法を使用し得るが、各領域のための異なるコンテキストセットが使用される。
[0225]別の例では、第1の領域は、DC成分と、位置(1,0)および(0,1)における変換係数とを含む。第2の領域は、第1の領域中にない残りの複数の変換係数を含んでいる。
[0226]別の例では、第1の領域は、複数の変換係数のDC成分のみを含んでおり、第2の領域は、残りの複数の変換係数を含んでいる。
[0227]概して、第1の領域中の各変換係数のための第1のコンテキストは、第1の領域中の各変換係数の位置に基づき、第2の領域中の各変換係数のための第2のコンテキストは、各変換係数の因果的ネイバーのコーディングされた情報に基づく。いくつかの例では、第2のコンテキストは、第2の領域中の各変換係数の位置にさらに基づく。別の例では、第2の領域中の各変換係数のための第2のコンテキストは、各変換係数の5つの因果的ネイバーのコーディングされた情報に基づく。
[0228]1つまたは複数の例では、本開示において説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、それらの機能は、コンピュータ可読命令またはコードの形態でソフトウェアを実行する、1つまたは複数のプロセッサなど、ハードウェアベースの処理ユニットによって実行され得る。そのような命令またはコードは、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体などの有形の非一時的媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0229]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROMを備えることができ、あるいは光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイスを含む、任意の他のソリッドステート光学または磁気データ記憶媒体を備えることができ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、有形コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
[0230]命令は、1つまたは複数のデジタル信号プロセッサ(DSP)などの1つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび/またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素中に十分に実装され得る。
[0231]本開示の技法は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆるスマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソールなどを含む、広範囲にわたるデバイスまたは装置によって実行され得る。多くの場合、そのようなデバイスはワイヤレス通信が可能であり得る。さらに、そのような技法は、集積回路(IC)またはICのセット(たとえば、チップセット)によって実装され得る。本開示の技法を実行するように構成されたデバイスは、上述のデバイスのいずれかを含み得、場合によっては、ハードウェアと、ソフトウェアと、ファームウェアとの組合せによって形成され得る、ビデオエンコーダまたはビデオデコーダ、または複合ビデオエンコーダデコーダ、すなわち、ビデオコーデックであり得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明することがあるが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
[0232]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
[0232]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングする方法であって、前記方法は、
走査順序に従って前記複数の変換係数のための有効係数を示す情報をコーディングすることと、
前記コーディングされた情報を少なくとも第1の領域と第2の領域とに分割することと、
コンテキスト導出基準を使用してコンテキストの第1のセットに従って前記第1の領域中の前記コーディングされた情報をエントロピーコーディングすることと、
前記第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って前記第2の領域中の前記コーディングされた情報をエントロピーコーディングすることと、を備える方法。
[2]エントロピーコーディングすることは、コンテキスト適応型バイナリ算術コーディング(CABAC)を使用して実行される、[1]に記載の方法。
[3]前記走査順序は対角走査パターンと逆方向とを有する、[2]に記載の方法。
[4]前記コンテキスト導出基準は、現在の変換係数に対する因果的ネイバー変換係数のレベル情報を含む、[1]に記載の方法。
[5]前記第1の領域は、前記複数の変換係数のうちの少なくともDC成分を含み、前記第2の領域は、前記第1の領域中にない残りの複数の変換係数を含む、[1]に記載の方法。
[6]前記第1の領域は、x+y<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、[5]に記載の方法。
[7]前記しきい値は変換サイズに基づく、[6]に記載の方法。
[8]前記第1の領域は、x<Tおよびy<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、[5]に記載の方法。
[9]前記第1の領域は、前記DC成分と、位置(1,0)および(0,1)における前記変換係数とを含む、[5]に記載の方法。
[10]前記第1の領域は、前記複数の変換係数のうちの前記DC成分のみを含み、前記第2の領域は、前記残りの複数の変換係数を含む、[1]に記載の方法。
[11]前記第1の領域中の各変換係数のためのコンテキストの前記第1のセットは、前記第1の領域中の各変換係数の位置に基づき、前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の因果的ネイバーの前記コーディングされた情報に基づく、[1]に記載の方法。
[12]コンテキストの前記第2のセットは、前記第2の領域中の各変換係数の位置にさらに基づく、[11]に記載の方法。
[13]前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の5つの因果的ネイバーの前記コーディングされたレベル情報に基づく、[12]に記載の方法。
[14]因果的ネイバーが変換ブロックの外に位置する場合、前記因果的ネイバーのための前記コーディングされたレベル情報は0であると仮定される、[13]に記載の方法。
[15]ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするように構成された装置であって、前記装置は、
走査順序に従って前記複数の変換係数のための有効係数を示す情報をコーディングし、
前記コーディングされた情報を少なくとも第1の領域と第2の領域とに分割し、
コンテキスト導出基準を使用してコンテキストの第1のセットに従って前記第1の領域中の前記コーディングされた情報をエントロピーコーディングし、
前記第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って前記第2の領域中の前記コーディングされた情報をエントロピーコーディングする
ように構成されたビデオコーティングプロセッサを備える装置。
[16]前記ビデオコーティングプロセッサは、コンテキスト適応型バイナリ算術コーディング(CABAC)を使用してエントロピーコーディングを実行するように構成された、[15]に記載の装置。
[17]前記走査順序は対角走査パターンと逆方向とを有する、[15]に記載の装置。
[18]前記コンテキスト導出基準は、現在の変換係数に対する因果的ネイバー変換係数のレベル情報を含む、[15]に記載の装置。
[19]前記第1の領域は、前記複数の変換係数のうちの少なくともDC成分を含み、前記第2の領域は、前記第1の領域中にない残りの複数の変換係数を含む、[15]に記載の装置。
[20]前記第1の領域は、x+y<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、[19]に記載の装置。
[21]前記しきい値は変換サイズに基づく、[20]に記載の装置。
[22]前記第1の領域は、x<Tおよびy<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、[19]に記載の装置。
[23]前記第1の領域は、前記DC成分と、位置(1,0)および(0,1)における前記変換係数とを含む、[19]に記載の装置。
[24]前記第1の領域は、前記複数の変換係数のうちの前記DC成分のみを含み、前記第2の領域は、前記残りの複数の変換係数を含む、[15]に記載の装置。
[25]前記第1の領域中の各変換係数のためのコンテキストの前記第1のセットは、前記第1の領域中の各変換係数の位置に基づき、前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の因果的ネイバーの前記コーディングされた情報に基づく、[15]に記載の装置。
[26]コンテキストの前記第2のセットは、前記第2の領域中の各変換係数の位置にさらに基づく、[25]に記載の装置。
[27]前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の5つの因果的ネイバーの前記コーディングされたレベル情報に基づく、[26]に記載の装置。
[28]因果的ネイバーが変換ブロックの外に位置する場合、前記因果的ネイバーのための前記コーディングされたレベル情報は0であると仮定される、[27]に記載の装置。
[29]ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするように構成された装置であって、前記装置は、
走査順序に従って前記複数の変換係数のための有効係数を示す情報をコーディングする手段と、
前記コーディングされた情報を少なくとも第1の領域と第2の領域とに分割する手段と、
コンテキスト導出基準を使用してコンテキストの第1のセットに従って前記第1の領域中の前記コーディングされた情報をエントロピーコーディングする手段と、
前記第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って前記第2の領域中の前記コーディングされた情報をエントロピーコーディングする手段と、を備える、装置。
[30]エントロピーコーディングする前記手段は、コンテキスト適応型バイナリ算術コーディング(CABAC)を使用する、[29]に記載の装置。
[31]前記走査順序は対角走査パターンと逆方向とを有する、[29]に記載の装置。
[32]前記第1の領域は、前記複数の変換係数のうちの少なくともDC成分を含み、前記第2の領域は、前記第1の領域中にない残りの複数の変換係数を含む、[29]に記載の装置。
[33]前記第1の領域は、x+y<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、[32]に記載の装置。
[34]前記第1の領域は、x<Tおよびy<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、[32]に記載の装置。
[35]前記第1の領域は、前記DC成分と、位置(1,0)および(0,1)における前記変換係数とを含む、[32]に記載の装置。
[36]前記第1の領域は、前記複数の変換係数のうちの前記DC成分のみを含み、前記第2の領域は、前記残りの複数の変換係数を含む、[29]に記載の装置。
[37]前記第1の領域中の各変換係数のためのコンテキストの前記第1のセットは、前記第1の領域中の各変換係数の位置に基づき、前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の因果的ネイバーの前記コーディングされた情報に基づく、[29]に記載の装置。
[38]前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の5つの因果的ネイバーの前記コーディングされた情報に基づく、[37]に記載の装置。
[39]実行されたとき、ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするためのデバイスのプロセッサに、
走査順序に従って前記複数の変換係数のための有効係数を示す情報をコーディングすることと、
前記コーディングされた情報を少なくとも第1の領域と第2の領域とに分割することと、
コンテキスト導出基準を使用して第1のコンテキストに従って前記第1の領域中の前記コーディングされた情報をエントロピーコーディングすることと、
前記第1の領域と同じコンテキスト導出基準を使用して第2のコンテキストに従って前記第2の領域中の前記コーディングされた情報をエントロピーコーディングすることと、
を行わせる命令を記憶したコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
[40]前記命令は、プロセッサに、コンテキスト適応型バイナリ算術コーディング(CABAC)を使用してエントロピーコーディングを実行させる、[39]に記載のコンピュータプログラム製品。
[41]前記走査順序は対角走査パターンと逆方向とを有する、[39]に記載のコンピュータプログラム製品。
[42]前記第1の領域は、前記複数の変換係数のうちの少なくともDC成分を含み、前記第2の領域は、前記第1の領域中にない残りの複数の変換係数を含む、[39]に記載のコンピュータプログラム製品。
[43]前記第1の領域は、x+y<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、[42]に記載のコンピュータプログラム製品。
[44]前記第1の領域は、x<Tおよびy<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、[42]に記載のコンピュータプログラム製品。
[45]前記第1の領域は、前記DC成分と、位置(1,0)および(0,1)における前記変換係数とを含む、[42]に記載のコンピュータプログラム製品。
[46]前記第1の領域は、前記複数の変換係数のうちの前記DC成分のみを含み、前記第2の領域は、前記残りの複数の変換係数を含む、[39]に記載のコンピュータプログラム製品。
[47]前記第1の領域中の各変換係数のためのコンテキストの前記第1のセットは、前記第1の領域中の各変換係数の位置に基づき、前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の因果的ネイバーのコーディングされたレベル情報に基づく、[39]に記載のコンピュータプログラム製品。
[48]前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の5つの因果的ネイバーの前記コーディングされたレベル情報に基づく、[47]に記載のコンピュータプログラム製品。

Claims (48)

  1. ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングする方法であって、前記方法は、
    走査順序に従って前記複数の変換係数のための有効係数を示す情報をコーディングすることと、
    前記コーディングされた情報を少なくとも第1の領域と第2の領域とに分割することと、
    コンテキスト導出基準を使用してコンテキストの第1のセットに従って前記第1の領域中の前記コーディングされた情報をエントロピーコーディングすることと、
    前記第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って前記第2の領域中の前記コーディングされた情報をエントロピーコーディングすることと、を備える方法。
  2. エントロピーコーディングすることは、コンテキスト適応型バイナリ算術コーディング(CABAC)を使用して実行される、請求項1に記載の方法。
  3. 前記走査順序は対角走査パターンと逆方向とを有する、請求項2に記載の方法。
  4. 前記コンテキスト導出基準は、現在の変換係数に対する因果的ネイバー変換係数のレベル情報を含む、請求項1に記載の方法。
  5. 前記第1の領域は、前記複数の変換係数のうちの少なくともDC成分を含み、前記第2の領域は、前記第1の領域中にない残りの複数の変換係数を含む、請求項1に記載の方法。
  6. 前記第1の領域は、x+y<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、請求項5に記載の方法。
  7. 前記しきい値は変換サイズに基づく、請求項6に記載の方法。
  8. 前記第1の領域は、x<Tおよびy<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、請求項5に記載の方法。
  9. 前記第1の領域は、前記DC成分と、位置(1,0)および(0,1)における前記変換係数とを含む、請求項5に記載の方法。
  10. 前記第1の領域は、前記複数の変換係数のうちの前記DC成分のみを含み、前記第2の領域は、前記残りの複数の変換係数を含む、請求項1に記載の方法。
  11. 前記第1の領域中の各変換係数のためのコンテキストの前記第1のセットは、前記第1の領域中の各変換係数の位置に基づき、前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の因果的ネイバーの前記コーディングされた情報に基づく、請求項1に記載の方法。
  12. コンテキストの前記第2のセットは、前記第2の領域中の各変換係数の位置にさらに基づく、請求項11に記載の方法。
  13. 前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の5つの因果的ネイバーの前記コーディングされたレベル情報に基づく、請求項12に記載の方法。
  14. 因果的ネイバーが変換ブロックの外に位置する場合、前記因果的ネイバーのための前記コーディングされたレベル情報は0であると仮定される、請求項13に記載の方法。
  15. ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするように構成された装置であって、前記装置は、
    走査順序に従って前記複数の変換係数のための有効係数を示す情報をコーディングし、
    前記コーディングされた情報を少なくとも第1の領域と第2の領域とに分割し、
    コンテキスト導出基準を使用してコンテキストの第1のセットに従って前記第1の領域中の前記コーディングされた情報をエントロピーコーディングし、
    前記第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って前記第2の領域中の前記コーディングされた情報をエントロピーコーディングする
    ように構成されたビデオコーティングプロセッサを備える装置。
  16. 前記ビデオコーティングプロセッサは、コンテキスト適応型バイナリ算術コーディング(CABAC)を使用してエントロピーコーディングを実行するように構成された、請求項15に記載の装置。
  17. 前記走査順序は対角走査パターンと逆方向とを有する、請求項15に記載の装置。
  18. 前記コンテキスト導出基準は、現在の変換係数に対する因果的ネイバー変換係数のレベル情報を含む、請求項15に記載の装置。
  19. 前記第1の領域は、前記複数の変換係数のうちの少なくともDC成分を含み、前記第2の領域は、前記第1の領域中にない残りの複数の変換係数を含む、請求項15に記載の装置。
  20. 前記第1の領域は、x+y<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、請求項19に記載の装置。
  21. 前記しきい値は変換サイズに基づく、請求項20に記載の装置。
  22. 前記第1の領域は、x<Tおよびy<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、請求項19に記載の装置。
  23. 前記第1の領域は、前記DC成分と、位置(1,0)および(0,1)における前記変換係数とを含む、請求項19に記載の装置。
  24. 前記第1の領域は、前記複数の変換係数のうちの前記DC成分のみを含み、前記第2の領域は、前記残りの複数の変換係数を含む、請求項15に記載の装置。
  25. 前記第1の領域中の各変換係数のためのコンテキストの前記第1のセットは、前記第1の領域中の各変換係数の位置に基づき、前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の因果的ネイバーの前記コーディングされた情報に基づく、請求項15に記載の装置。
  26. コンテキストの前記第2のセットは、前記第2の領域中の各変換係数の位置にさらに基づく、請求項25に記載の装置。
  27. 前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の5つの因果的ネイバーの前記コーディングされたレベル情報に基づく、請求項26に記載の装置。
  28. 因果的ネイバーが変換ブロックの外に位置する場合、前記因果的ネイバーのための前記コーディングされたレベル情報は0であると仮定される、請求項27に記載の装置。
  29. ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするように構成された装置であって、前記装置は、
    走査順序に従って前記複数の変換係数のための有効係数を示す情報をコーディングする手段と、
    前記コーディングされた情報を少なくとも第1の領域と第2の領域とに分割する手段と、
    コンテキスト導出基準を使用してコンテキストの第1のセットに従って前記第1の領域中の前記コーディングされた情報をエントロピーコーディングする手段と、
    前記第1の領域と同じコンテキスト導出基準を使用してコンテキストの第2のセットに従って前記第2の領域中の前記コーディングされた情報をエントロピーコーディングする手段と、を備える、装置。
  30. エントロピーコーディングする前記手段は、コンテキスト適応型バイナリ算術コーディング(CABAC)を使用する、請求項29に記載の装置。
  31. 前記走査順序は対角走査パターンと逆方向とを有する、請求項29に記載の装置。
  32. 前記第1の領域は、前記複数の変換係数のうちの少なくともDC成分を含み、前記第2の領域は、前記第1の領域中にない残りの複数の変換係数を含む、請求項29に記載の装置。
  33. 前記第1の領域は、x+y<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、請求項32に記載の装置。
  34. 前記第1の領域は、x<Tおよびy<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、請求項32に記載の装置。
  35. 前記第1の領域は、前記DC成分と、位置(1,0)および(0,1)における前記変換係数とを含む、請求項32に記載の装置。
  36. 前記第1の領域は、前記複数の変換係数のうちの前記DC成分のみを含み、前記第2の領域は、前記残りの複数の変換係数を含む、請求項29に記載の装置。
  37. 前記第1の領域中の各変換係数のためのコンテキストの前記第1のセットは、前記第1の領域中の各変換係数の位置に基づき、前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の因果的ネイバーの前記コーディングされた情報に基づく、請求項29に記載の装置。
  38. 前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の5つの因果的ネイバーの前記コーディングされた情報に基づく、請求項37に記載の装置。
  39. 実行されたとき、ビデオコーディングプロセスにおいて残差ビデオデータに関連する複数の変換係数をコーディングするためのデバイスのプロセッサに、
    走査順序に従って前記複数の変換係数のための有効係数を示す情報をコーディングすることと、
    前記コーディングされた情報を少なくとも第1の領域と第2の領域とに分割することと、
    コンテキスト導出基準を使用して第1のコンテキストに従って前記第1の領域中の前記コーディングされた情報をエントロピーコーディングすることと、
    前記第1の領域と同じコンテキスト導出基準を使用して第2のコンテキストに従って前記第2の領域中の前記コーディングされた情報をエントロピーコーディングすることと、
    を行わせる命令を記憶したコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  40. 前記命令は、プロセッサに、コンテキスト適応型バイナリ算術コーディング(CABAC)を使用してエントロピーコーディングを実行させる、請求項39に記載のコンピュータプログラム製品。
  41. 前記走査順序は対角走査パターンと逆方向とを有する、請求項39に記載のコンピュータプログラム製品。
  42. 前記第1の領域は、前記複数の変換係数のうちの少なくともDC成分を含み、前記第2の領域は、前記第1の領域中にない残りの複数の変換係数を含む、請求項39に記載のコンピュータプログラム製品。
  43. 前記第1の領域は、x+y<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、請求項42に記載のコンピュータプログラム製品。
  44. 前記第1の領域は、x<Tおよびy<Tによって定義された領域内のすべての変換係数を含み、ここにおいて、xは前記変換係数の水平位置であり、yは前記変換係数の垂直位置であり、Tはしきい値である、請求項42に記載のコンピュータプログラム製品。
  45. 前記第1の領域は、前記DC成分と、位置(1,0)および(0,1)における前記変換係数とを含む、請求項42に記載のコンピュータプログラム製品。
  46. 前記第1の領域は、前記複数の変換係数のうちの前記DC成分のみを含み、前記第2の領域は、前記残りの複数の変換係数を含む、請求項39に記載のコンピュータプログラム製品。
  47. 前記第1の領域中の各変換係数のためのコンテキストの前記第1のセットは、前記第1の領域中の各変換係数の位置に基づき、前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の因果的ネイバーのコーディングされたレベル情報に基づく、請求項39に記載のコンピュータプログラム製品。
  48. 前記第2の領域中の各変換係数のためのコンテキストの前記第2のセットは、各変換係数の5つの因果的ネイバーの前記コーディングされたレベル情報に基づく、請求項47に記載のコンピュータプログラム製品。
JP2013557832A 2011-03-08 2012-03-07 ビデオコーディングのための変換係数のコーディング Active JP5864623B2 (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201161450555P 2011-03-08 2011-03-08
US61/450,555 2011-03-08
US201161451485P 2011-03-10 2011-03-10
US201161451496P 2011-03-10 2011-03-10
US61/451,485 2011-03-10
US61/451,496 2011-03-10
US201161452384P 2011-03-14 2011-03-14
US61/452,384 2011-03-14
US201161494855P 2011-06-08 2011-06-08
US61/494,855 2011-06-08
US201161497345P 2011-06-15 2011-06-15
US61/497,345 2011-06-15
US13/413,472 US10499059B2 (en) 2011-03-08 2012-03-06 Coding of transform coefficients for video coding
US13/413,472 2012-03-06
PCT/US2012/028081 WO2012122275A1 (en) 2011-03-08 2012-03-07 Coding of transform coefficients for video coding

Publications (2)

Publication Number Publication Date
JP2014511655A true JP2014511655A (ja) 2014-05-15
JP5864623B2 JP5864623B2 (ja) 2016-02-17

Family

ID=46795578

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2013557836A Active JP5864625B2 (ja) 2011-03-08 2012-03-07 ビデオコーディングのための変換係数のコーディング
JP2013557833A Active JP6324727B2 (ja) 2011-03-08 2012-03-07 ビデオコーディングのための変換係数のコーディング
JP2013557832A Active JP5864623B2 (ja) 2011-03-08 2012-03-07 ビデオコーディングのための変換係数のコーディング
JP2013557835A Active JP5864624B2 (ja) 2011-03-08 2012-03-07 ビデオコーディングのための変換係数のコーディング
JP2018018225A Active JP6599489B2 (ja) 2011-03-08 2018-02-05 ビデオコーディングのための変換係数のコーディング
JP2019182306A Active JP6801066B2 (ja) 2011-03-08 2019-10-02 ビデオコーディングのための変換係数のコーディング

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2013557836A Active JP5864625B2 (ja) 2011-03-08 2012-03-07 ビデオコーディングのための変換係数のコーディング
JP2013557833A Active JP6324727B2 (ja) 2011-03-08 2012-03-07 ビデオコーディングのための変換係数のコーディング

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2013557835A Active JP5864624B2 (ja) 2011-03-08 2012-03-07 ビデオコーディングのための変換係数のコーディング
JP2018018225A Active JP6599489B2 (ja) 2011-03-08 2018-02-05 ビデオコーディングのための変換係数のコーディング
JP2019182306A Active JP6801066B2 (ja) 2011-03-08 2019-10-02 ビデオコーディングのための変換係数のコーディング

Country Status (15)

Country Link
US (7) US9338449B2 (ja)
EP (5) EP2684358A1 (ja)
JP (6) JP5864625B2 (ja)
KR (4) KR101566602B1 (ja)
CN (6) CN108632620B (ja)
AU (4) AU2012225465B2 (ja)
BR (3) BR112013022923A8 (ja)
CA (4) CA2828586C (ja)
IL (4) IL228020A (ja)
MX (1) MX343708B (ja)
MY (7) MY180426A (ja)
RU (4) RU2565365C2 (ja)
SG (4) SG192874A1 (ja)
TW (1) TWI484830B (ja)
WO (4) WO2012122278A1 (ja)

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556563B (zh) * 2010-04-13 2024-08-20 Ge视频压缩有限责任公司 显著性图和变换系数块的编码
CA2857849C (en) * 2010-04-23 2020-02-11 Soo Mi Oh Apparatus and method for encoding a moving picture
US9591320B2 (en) 2010-07-15 2017-03-07 Texas Instruments Incorporated Context and bypass encoding video
US9497472B2 (en) 2010-11-16 2016-11-15 Qualcomm Incorporated Parallel context calculation in video coding
US9042440B2 (en) 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US9380319B2 (en) 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
US9338449B2 (en) 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US10142637B2 (en) 2011-03-08 2018-11-27 Texas Instruments Incorporated Method and apparatus for parallelizing context selection in video processing
CN102685503B (zh) 2011-03-10 2014-06-25 华为技术有限公司 变换系数的编码方法、变换系数的解码方法,和装置
US9379736B2 (en) 2011-06-03 2016-06-28 Qualcomm Incorporated Context-adaptive coding video data
US9167253B2 (en) 2011-06-28 2015-10-20 Qualcomm Incorporated Derivation of the position in scan order of the last significant transform coefficient in video coding
US20130003837A1 (en) * 2011-06-29 2013-01-03 General Instrument Corporation Methods and system for using a scan coding pattern during intra coding
US20130003858A1 (en) * 2011-06-30 2013-01-03 Vivienne Sze Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements
US9392301B2 (en) * 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
JP5768565B2 (ja) * 2011-07-28 2015-08-26 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US20130101047A1 (en) * 2011-10-19 2013-04-25 Sony Corporation Context reduction of significance map coding of 4x4 and 8x8 transform coefficient in hm4.0
KR20130049525A (ko) 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
JP6120490B2 (ja) * 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
FR2982447A1 (fr) * 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US8719261B2 (en) * 2011-12-02 2014-05-06 Verizon Patent And Licensing Inc. Dynamic catalog ranking
US9350996B2 (en) * 2011-12-20 2016-05-24 Google Technology Holdings LLC Method and apparatus for last coefficient indexing for high efficiency video coding
MX370956B (es) 2012-01-20 2020-01-10 Ge Video Compression Llc Codificación de coeficiente de transformada.
US9008184B2 (en) * 2012-01-20 2015-04-14 Blackberry Limited Multiple sign bit hiding within a transform unit
US10284851B2 (en) 2012-01-21 2019-05-07 Google Technology Holdings LLC Method of determining binary codewords for transform coefficients
US9866829B2 (en) 2012-01-22 2018-01-09 Qualcomm Incorporated Coding of syntax elements that correspond to coefficients of a coefficient block in video coding
US9479780B2 (en) * 2012-02-01 2016-10-25 Google Technology Holdings LLC Simplification of significance map coding
PL3910947T3 (pl) * 2012-03-26 2023-12-27 JVC Kenwood Corporation Urządzenie do dekodowania obrazu, sposób dekodowania obrazu i program do dekodowania obrazu
PL3515077T3 (pl) * 2012-04-13 2021-05-17 Jvckenwood Corporation Urządzenie do dekodowania obrazu, sposób dekodowania obrazu, program do dekodowania obrazu, urządzenie do kodowania obrazu, sposób kodowania obrazu i program do kodowania obrazu
US9491463B2 (en) 2012-04-14 2016-11-08 Qualcomm Incorporated Group flag in transform coefficient coding for video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
TWI583182B (zh) * 2012-05-31 2017-05-11 Jvc Kenwood Corp Image decoding apparatus, image decoding method, image decoding program, receiving apparatus, receiving method and receiving program
US9386307B2 (en) 2012-06-14 2016-07-05 Qualcomm Incorporated Grouping of bypass-coded bins for SAO syntax elements
US9350998B2 (en) * 2012-06-29 2016-05-24 Qualcomm Incorporated Coding of significance flags
CN104380740A (zh) * 2012-06-29 2015-02-25 索尼公司 编码装置、编码方法、解码装置和解码方法
US9344742B2 (en) * 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9538174B2 (en) * 2012-08-10 2017-01-03 Mediatek Inc. Method and apparatus for inverse scan of transform coefficients in HEVC
US9538175B2 (en) 2012-09-26 2017-01-03 Qualcomm Incorporated Context derivation for context-adaptive, multi-level significance coding
US9826229B2 (en) 2012-09-29 2017-11-21 Google Technology Holdings LLC Scan pattern determination from base layer pixel information for scalable extension
US9332257B2 (en) 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
JP6763664B2 (ja) 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
US9350988B1 (en) 2012-11-20 2016-05-24 Google Inc. Prediction mode-based block ordering in video coding
WO2014110652A1 (en) * 2013-01-16 2014-07-24 Blackberry Limited Context determination for entropy coding of run-length encoded transform coefficients
US9219915B1 (en) 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
US9681128B1 (en) 2013-01-31 2017-06-13 Google Inc. Adaptive pre-transform scanning patterns for video and image compression
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US9955163B2 (en) * 2013-06-17 2018-04-24 Google Llc Two pass quantization of video data
US9392292B2 (en) 2013-09-27 2016-07-12 Apple Inc. Parallel encoding of bypass binary symbols in CABAC encoder
US9351003B2 (en) 2013-09-27 2016-05-24 Apple Inc. Context re-mapping in CABAC encoder
KR102250088B1 (ko) * 2013-10-24 2021-05-10 삼성전자주식회사 비디오 스트림을 복호화하는 방법 및 장치
KR101530693B1 (ko) * 2013-10-29 2015-06-22 건아정보기술 주식회사 지아이에스 기반의 자동 감시카메라 관제장치
CN106031168B (zh) * 2014-02-21 2018-02-06 美国莱迪思半导体公司 具有减少色彩分辨率的视频流的自适应处理
US10009632B2 (en) * 2014-03-05 2018-06-26 Qualcomm Incorporated Flicker detection and mitigation in video coding
US9930348B2 (en) * 2014-03-14 2018-03-27 Qualcomm Incorporated Coefficient level coding in a video coding process
CN103929642B (zh) * 2014-04-24 2017-04-12 北京航空航天大学 一种hevc变换系数的熵编码上下文模型偏移值快速计算方法
JP6341756B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9781424B2 (en) 2015-01-19 2017-10-03 Google Inc. Efficient context handling in arithmetic coding
US9998739B2 (en) * 2015-03-06 2018-06-12 Qualcomm Incorporated Optimization for encoding video data using non-square partitions
US10334248B2 (en) 2015-05-29 2019-06-25 Qualcomm Incorporated Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design
WO2016200234A1 (ko) * 2015-06-11 2016-12-15 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US11146788B2 (en) 2015-06-12 2021-10-12 Qualcomm Incorporated Grouping palette bypass bins for video coding
FR3038196A1 (fr) * 2015-06-29 2016-12-30 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
KR102230264B1 (ko) * 2015-08-28 2021-03-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US10440399B2 (en) * 2015-11-13 2019-10-08 Qualcomm Incorporated Coding sign information of video data
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US10735729B2 (en) * 2015-12-22 2020-08-04 Realnetworks, Inc. Residual transformation and inverse transformation in video coding systems and methods
CN114143495A (zh) 2016-01-05 2022-03-04 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
EP4266684A3 (en) 2016-02-11 2024-01-24 InterDigital VC Holdings, Inc. Method and device for encoding/decoding an image unit comprising image data represented by a luminance channel and at least one chrominance channel
EP3412028B1 (en) 2016-02-12 2024-04-03 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
SG11201806811TA (en) 2016-02-12 2018-09-27 Huawei Tech Co Ltd Method and apparatus for scan order selection
EP3414902A1 (en) 2016-02-12 2018-12-19 Thomson Licensing A method and device for intra-predictive encoding/decoding a coding unit comprising picture data, said intra-predictive encoding depending on a prediction tree and a transform tree
US10574999B2 (en) * 2016-05-05 2020-02-25 Intel Corporation Method and system of video coding with a multi-pass prediction mode decision pipeline
WO2017192995A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
WO2017209455A2 (ko) * 2016-05-28 2017-12-07 세종대학교 산학협력단 비디오 신호의 부호화 또는 복호화 방법 및 장치
US11736712B2 (en) * 2016-05-28 2023-08-22 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding or decoding video signal
TW201811036A (zh) * 2016-06-07 2018-03-16 聯發科技股份有限公司 一種將係數儲存到逆掃描儲存裝置前確定係數的儲存位置的方法和相關裝置及機器可讀介質
EP3264763A1 (en) * 2016-06-29 2018-01-03 Thomson Licensing Method and apparatus for improved significance flag coding using simple local predictor
CN117412042A (zh) * 2016-07-13 2024-01-16 韩国电子通信研究院 图像编码/解码方法和装置
US10244261B2 (en) * 2017-01-26 2019-03-26 Google Llc Transform coefficient coding using level maps
CN106991391A (zh) * 2017-03-30 2017-07-28 理光图像技术(上海)有限公司 文档处理装置以及文档处理和识别系统
JP2018182444A (ja) * 2017-04-07 2018-11-15 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
CN110622511B (zh) * 2017-04-13 2022-04-15 Lg 电子株式会社 图像编码/解码方法及其设备
US10356411B2 (en) * 2017-05-30 2019-07-16 Google Llc Adaptation of scan order entropy coding
US11477492B2 (en) 2017-08-04 2022-10-18 Google Inc. Adaptation for entropy coding of blocks of image data
WO2019032604A1 (en) 2017-08-08 2019-02-14 Reald Spark, Llc ADJUSTING A DIGITAL REPRESENTATION OF A HEADQUARTERS
US10484695B2 (en) 2017-10-23 2019-11-19 Google Llc Refined entropy coding for level maps
US10382758B2 (en) 2017-12-15 2019-08-13 Google Llc Transform block-level scan order selection for video coding
WO2019117634A1 (ko) * 2017-12-15 2019-06-20 엘지전자 주식회사 2차 변환에 기반한 영상 코딩 방법 및 그 장치
CN115767086A (zh) * 2017-12-21 2023-03-07 Lg电子株式会社 解码和编码设备、存储比特流的介质和数据发送设备
US20190208225A1 (en) * 2018-01-02 2019-07-04 Qualcomm Incorporated Sign prediction in video coding
US10506242B2 (en) 2018-01-30 2019-12-10 Google Llc Efficient context model computation design in transform coefficient coding
US10869060B2 (en) * 2018-01-30 2020-12-15 Google Llc Efficient context model computation design in transform coefficient coding
EP3562156A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for adaptive context modeling in video encoding and decoding
US10645381B2 (en) 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
KR102598576B1 (ko) 2018-07-02 2023-11-06 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 필터링을 위한 장치 및 방법
AU2019315029A1 (en) * 2018-08-03 2021-03-11 V-Nova International Limited Transformations for signal enhancement coding
US11483575B2 (en) * 2018-08-24 2022-10-25 Hfi Innovation Inc. Coding transform coefficients with throughput constraints
US11113846B2 (en) 2018-08-31 2021-09-07 Hulu, LLC Coefficient context modeling in video coding
US11006150B2 (en) * 2018-09-24 2021-05-11 Tencent America LLC Method and apparatus for video coding
US10638146B2 (en) 2018-10-01 2020-04-28 Tencent America LLC Techniques for QP coding for 360 image and video coding
EP3709658A4 (en) * 2018-11-12 2021-03-10 LG Electronics Inc. HIGH-FREQUENCY RESET BASED TRANSFORMATION COEFFICIENT CODING PROCESS AND APPARATUS THEREFOR
US10798397B2 (en) * 2019-01-02 2020-10-06 Tencent America LLC Method and apparatus for video coding
US11523136B2 (en) 2019-01-28 2022-12-06 Hfi Innovation Inc. Methods and apparatuses for coding transform blocks
US11025937B2 (en) 2019-03-16 2021-06-01 Tencent America LLC Method and apparatus for video coding
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
CN117499641A (zh) 2019-05-10 2024-02-02 北京字节跳动网络技术有限公司 用于视频处理的简化二次变换的有条件使用
WO2020228762A1 (en) * 2019-05-14 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Context modeling for residual coding
CN113853791B (zh) * 2019-05-19 2023-11-14 字节跳动有限公司 数字视频中的变换旁路编解码残差块
US11375236B2 (en) * 2019-05-22 2022-06-28 Tencent America LLC Method and apparatus for video coding
CN117354521A (zh) 2019-06-07 2024-01-05 北京字节跳动网络技术有限公司 视频比特流中的简化二次变换的有条件信令
NO344797B1 (en) 2019-06-20 2020-05-04 Pexip AS Early intra coding decision
AU2020294669B2 (en) 2019-06-21 2024-03-28 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for sub-block partitioning mode
WO2021023151A1 (en) 2019-08-03 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Position based mode derivation in reduced secondary transforms for video
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
CN117319649A (zh) * 2019-08-20 2023-12-29 北京字节跳动网络技术有限公司 经变换跳过的块的残差编解码
CN110708552B (zh) * 2019-08-27 2021-12-31 杭州海康威视数字技术股份有限公司 解码方法、编码方法及装置
US11418792B2 (en) * 2020-03-27 2022-08-16 Tencent America LLC Estimating attributes for the classification of adaptive loop filtering based on projection-slice theorem
US20220312043A1 (en) * 2021-03-29 2022-09-29 Qualcomm Incorporated Context modeling for sign prediction for video coding
TW202241131A (zh) * 2021-03-29 2022-10-16 美商高通公司 針對用於視訊譯碼的符號預測的上下文建模
US11876990B2 (en) * 2021-07-13 2024-01-16 Mediatek Inc. Video residual decoding apparatus using storage device to store side information and/or state information for syntax element decoding optimization and associated method
TWI800180B (zh) * 2021-07-13 2023-04-21 財團法人工業技術研究院 特徵資料編碼方法、編碼器、特徵資料解碼方法及解碼器
WO2023235588A1 (en) * 2022-06-02 2023-12-07 Innopeak Technology, Inc. Region-based coefficient coding for video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011128268A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Probability interval partioning encoder and decoder
WO2011128303A2 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding of significance maps and transform coefficient blocks
WO2011133002A2 (ko) * 2010-04-23 2011-10-27 Oh Soo-Mi 영상 부호화 장치 및 방법
WO2012068021A1 (en) * 2010-11-16 2012-05-24 Qualcomm Incorporated Parallel context calculation in video coding

Family Cites Families (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1679903A (en) 1928-01-12 1928-08-07 Chase Appliance Corp Anticreeping device for railway rails
US5295203A (en) 1992-03-26 1994-03-15 General Instrument Corporation Method and apparatus for vector coding of video transform coefficients
JPH06205388A (ja) 1992-12-28 1994-07-22 Canon Inc 画像符号化装置
EP0607484B1 (en) 1993-01-20 1998-09-09 Samsung Electronics Co. Ltd. Method and device for encoding and decoding image data
US5659613A (en) 1994-06-29 1997-08-19 Macrovision Corporation Method and apparatus for copy protection for various recording media using a video finger print
EP1802138A3 (en) 1995-03-15 2008-11-12 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems
KR0178195B1 (ko) 1995-03-28 1999-05-01 배순훈 벡터 양자화 방식을 이용한 영상 신호 부호화 장치
US5838825A (en) 1996-01-17 1998-11-17 Matsushita Electric Industrial Co., Ltd. Apparatus for decompressing image data which has been compressed using a linear transform
US5818877A (en) 1996-03-14 1998-10-06 The Regents Of The University Of California Method for reducing storage requirements for grouped data values
US6301304B1 (en) 1998-06-17 2001-10-09 Lsi Logic Corporation Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders
US6553147B2 (en) 1998-10-05 2003-04-22 Sarnoff Corporation Apparatus and method for data partitioning to improving error resilience
EP1041826A1 (en) 1999-04-01 2000-10-04 Lucent Technologies Inc. Apparatus for coding data and apparatus for decoding block transform coefficients
US6775414B1 (en) 1999-11-19 2004-08-10 Ati International Srl Variable-length code decoder
US6680974B1 (en) 1999-12-02 2004-01-20 Lucent Technologies Inc. Methods and apparatus for context selection of block transform coefficients
US6650707B2 (en) 2001-03-02 2003-11-18 Industrial Technology Research Institute Transcoding apparatus and method
US20020122483A1 (en) 2001-03-02 2002-09-05 Matsushita Electric Industrial Co., Ltd. Encoding circuit and method
WO2002078355A1 (en) 2001-03-23 2002-10-03 Nokia Corporation Variable length coding
US7113646B2 (en) * 2001-06-29 2006-09-26 Equator Technologies, Inc. Decoding of predicted AC coefficient without division
US6856701B2 (en) 2001-09-14 2005-02-15 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding
EP2222084A2 (en) 2001-11-16 2010-08-25 NTT DoCoMo, Inc. Image coding and decoding method
CN101064843B (zh) 2001-11-22 2010-08-18 松下电器产业株式会社 可变长度编码方法
MXPA04000912A (es) 2001-11-22 2004-04-02 Matsushita Electric Ind Co Ltd Metodo de codificacion de longitud variable y metodo de decodificacion de longitud variable.
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7190840B2 (en) 2002-01-07 2007-03-13 Hewlett-Packard Development Company, L.P. Transform coefficient compression using multiple scans
CN1620816A (zh) * 2002-01-22 2005-05-25 诺基亚有限公司 图像/视频编码器和/或解码器中的编码变换系数
JP3866580B2 (ja) 2002-01-30 2007-01-10 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7099387B2 (en) 2002-03-22 2006-08-29 Realnetorks, Inc. Context-adaptive VLC video transform coefficients encoding/decoding methods and apparatuses
JP4090862B2 (ja) 2002-04-26 2008-05-28 松下電器産業株式会社 可変長符号化方法および可変長復号化方法
PT1467491E (pt) 2002-05-02 2007-03-30 Fraunhofer Ges Forschung Codificação aritmética de coeficientes de transformação
US7376280B2 (en) 2002-07-14 2008-05-20 Apple Inc Video encoding and decoding
US6795584B2 (en) * 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
US7483575B2 (en) 2002-10-25 2009-01-27 Sony Corporation Picture encoding apparatus and method, program and recording medium
US6646578B1 (en) 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
US7212681B1 (en) * 2003-01-15 2007-05-01 Cisco Technology, Inc. Extension of two-dimensional variable length coding for image compression
US20050036549A1 (en) 2003-08-12 2005-02-17 Yong He Method and apparatus for selection of scanning mode in dual pass encoding
US7688894B2 (en) 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US7379608B2 (en) 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7522774B2 (en) 2004-03-10 2009-04-21 Sindhara Supermedia, Inc. Methods and apparatuses for compressing digital image data
US7519229B2 (en) * 2004-03-30 2009-04-14 Apple, Inc. Video coding system providing separate coding chains for dynamically selected small-size or full-size playback
US7505043B2 (en) 2004-08-30 2009-03-17 Qualcomm Incorporated Cache efficient rasterization of graphics data
US20060078049A1 (en) 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
NO322043B1 (no) 2004-12-30 2006-08-07 Tandberg Telecom As Fremgangsmate for forenklet entropikoding
US8311119B2 (en) 2004-12-31 2012-11-13 Microsoft Corporation Adaptive coefficient scan order
US7609904B2 (en) 2005-01-12 2009-10-27 Nec Laboratories America, Inc. Transform coding system and method
JP2006211304A (ja) 2005-01-28 2006-08-10 Matsushita Electric Ind Co Ltd 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法、映像符号化プログラムおよび映像復号化プログラム
US20060227865A1 (en) 2005-03-29 2006-10-12 Bhaskar Sherigar Unified architecture for inverse scanning for plurality of scanning scheme
EP1768415A1 (en) 2005-09-27 2007-03-28 Matsushita Electric Industrial Co., Ltd. Adaptive scan order of DCT coefficients and its signaling
CN1719903A (zh) * 2005-06-24 2006-01-11 清华大学 用于图象算术编码中的一种二值化和概率模型选择方法
US8599925B2 (en) 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
US7933337B2 (en) 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
US20070071331A1 (en) 2005-09-24 2007-03-29 Xiteng Liu Image compression by economical quaternary reaching method
WO2007043583A1 (ja) 2005-10-11 2007-04-19 Matsushita Electric Industrial Co., Ltd. 画像符号化装置、画像復号化装置及びこれらの方法
EP1956847B1 (en) 2005-11-08 2018-01-03 Sun Patent Trust Moving picture coding method, moving picture decoding method, and apparatuses of the same
WO2007063472A2 (en) 2005-11-30 2007-06-07 Koninklijke Philips Electronics N.V. Encoding method and apparatus applying coefficient reordering
KR100867995B1 (ko) 2006-01-07 2008-11-10 한국전자통신연구원 동영상 데이터 인코딩/디코딩 방법 및 그 장치
WO2007079782A1 (en) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable picture coding with particular transform coefficient scan path
US7884742B2 (en) 2006-06-08 2011-02-08 Nvidia Corporation System and method for efficient compression of digital data
US8275045B2 (en) 2006-07-12 2012-09-25 Qualcomm Incorporated Video compression using adaptive variable length codes
US7529416B2 (en) 2006-08-18 2009-05-05 Terayon Communication Systems, Inc. Method and apparatus for transferring digital data between circuits
US8599926B2 (en) 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
US8942292B2 (en) 2006-10-13 2015-01-27 Qualcomm Incorporated Efficient significant coefficients coding in scalable video codecs
US7369066B1 (en) 2006-12-21 2008-05-06 Lsi Logic Corporation Efficient 8×8 CABAC residual block transcode system
US8098735B2 (en) 2006-12-21 2012-01-17 Lsi Corporation Efficient 8×8 CABAC residual block decode
WO2008080516A1 (de) 2006-12-27 2008-07-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum kodieren eines transformationskoeffizientenblockes
KR101341111B1 (ko) * 2007-01-18 2013-12-13 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 화질 스케일러블 비디오 데이터 스트림
KR101356733B1 (ko) 2007-03-07 2014-02-05 삼성전자주식회사 컨텍스트 기반 적응적 이진 산술 부호화, 복호화 방법 및장치
US8634462B2 (en) 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
KR101074870B1 (ko) 2007-03-14 2011-10-19 니폰덴신뎅와 가부시키가이샤 부호량 추정 방법, 장치, 그 프로그램 및 기록매체
US8582656B2 (en) 2007-04-13 2013-11-12 Apple Inc. Method and system for video encoding and decoding
US8619874B2 (en) 2007-04-13 2013-12-31 Apple Inc. Method and system for video encoding and decoding
US7885473B2 (en) 2007-04-26 2011-02-08 Texas Instruments Incorporated Method of CABAC coefficient magnitude and sign decoding suitable for use on VLIW data processors
US7813567B2 (en) 2007-04-26 2010-10-12 Texas Instruments Incorporated Method of CABAC significance MAP decoding suitable for use on VLIW data processors
US8150172B2 (en) 2007-05-04 2012-04-03 Qualcomm Incorporated Video coding mode selection using estimated coding costs
WO2008136828A1 (en) 2007-05-04 2008-11-13 Qualcomm Incorporated Video coding mode selection using estimated coding costs
CN101039430B (zh) 2007-05-08 2011-01-12 清华大学 一种视频编码中对残差矩阵的快速扫描方法
US8619853B2 (en) 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US7535387B1 (en) 2007-09-10 2009-05-19 Xilinx, Inc. Methods and systems for implementing context adaptive binary arithmetic coding
CN101389031A (zh) * 2007-09-14 2009-03-18 浙江大学 一种对变换系数的处理方法及装置
US8204327B2 (en) 2007-10-01 2012-06-19 Cisco Technology, Inc. Context adaptive hybrid variable length coding
US8483282B2 (en) * 2007-10-12 2013-07-09 Qualcomm, Incorporated Entropy coding of interleaved sub-blocks of a video block
US20090273796A1 (en) 2008-04-30 2009-11-05 Kodak Graphic Communications Canada Company Peeling imaged media from a substrate
KR101394153B1 (ko) 2007-12-11 2014-05-16 삼성전자주식회사 양자화 방법 및 장치, 역양자화 방법 및 장치
US8891615B2 (en) 2008-01-08 2014-11-18 Qualcomm Incorporated Quantization based on rate-distortion modeling for CABAC coders
US9008171B2 (en) 2008-01-08 2015-04-14 Qualcomm Incorporated Two pass quantization for CABAC coders
US8977064B2 (en) 2008-02-13 2015-03-10 Qualcomm Incorporated Rotational transcoding for JPEG or other coding standards
KR101375668B1 (ko) 2008-03-17 2014-03-18 삼성전자주식회사 변환 계수의 부호화, 복호화 방법 및 장치
US8179974B2 (en) * 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
EP2154894A1 (en) 2008-08-15 2010-02-17 Thomson Licensing Video coding with coding of the locations of significant coefficients in a block of coefficients
US8406307B2 (en) * 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
US7932843B2 (en) 2008-10-17 2011-04-26 Texas Instruments Incorporated Parallel CABAC decoding for video decompression
EP2182732A1 (en) 2008-10-28 2010-05-05 Panasonic Corporation Switching between scans in image coding
AU2009324014A1 (en) 2008-12-03 2011-06-23 Nokia Corporation Switching between DCT coefficient coding modes
US8004431B2 (en) 2008-12-09 2011-08-23 Qualcomm Incorporated Fast parsing of variable-to-fixed-length codes
JPWO2010070897A1 (ja) 2008-12-16 2012-05-24 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
JP2012516626A (ja) 2009-01-27 2012-07-19 トムソン ライセンシング ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP5004986B2 (ja) 2009-03-19 2012-08-22 キヤノン株式会社 スキャン変換装置及び画像符号化装置、並びにそれらの制御方法
JP5302769B2 (ja) 2009-05-14 2013-10-02 キヤノン株式会社 スキャン変換装置及び画像符号化装置及びそれらの制御方法
US9100648B2 (en) 2009-06-07 2015-08-04 Lg Electronics Inc. Method and apparatus for decoding a video signal
KR20100136890A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 컨텍스트 기반의 산술 부호화 장치 및 방법과 산술 복호화 장치 및 방법
US8294603B2 (en) 2009-06-30 2012-10-23 Massachusetts Institute Of Technology System and method for providing high throughput entropy coding using syntax element partitioning
WO2011007478A1 (ja) 2009-07-17 2011-01-20 日本電気株式会社 ウェーブレット変換符号化/復号方法および装置
US8920760B2 (en) 2009-08-27 2014-12-30 Sigma-Aldrich Co. Llc Metal amidoborane compositions and processes for their preparation
US8619866B2 (en) 2009-10-02 2013-12-31 Texas Instruments Incorporated Reducing memory bandwidth for processing digital image data
US8477845B2 (en) 2009-10-16 2013-07-02 Futurewei Technologies, Inc. Predictive adaptive scan ordering for video coding
KR20110045949A (ko) 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
KR101457894B1 (ko) 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
TW201119407A (en) 2009-11-19 2011-06-01 Thomson Licensing Method for coding and method for reconstruction of a block of an image
WO2011087908A1 (en) 2010-01-15 2011-07-21 Thomson Licensing Video coding using compressive sensing
US8588536B2 (en) 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
WO2011126288A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image and method and apparatus for decoding image using adaptive coefficient scan order
US8929440B2 (en) 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
SI3104616T1 (sl) * 2010-07-09 2017-10-30 Samsung Electronics Co., Ltd. Naprava za entropijsko dekodiranje trasformnih koeficientov
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US9591320B2 (en) 2010-07-15 2017-03-07 Texas Instruments Incorporated Context and bypass encoding video
US20120027081A1 (en) 2010-07-30 2012-02-02 Cisco Technology Inc. Method, system, and computer readable medium for implementing run-level coding
US9154801B2 (en) * 2010-09-30 2015-10-06 Texas Instruments Incorporated Method and apparatus for diagonal scan and simplified coding of transform coefficients
KR20230144120A (ko) * 2010-10-14 2023-10-13 인터디지털 브이씨 홀딩스 인코포레이티드 향상된 엔트로피 인코딩 및 디코딩을 위한 방법 및 장치
US8976861B2 (en) 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
US9042440B2 (en) 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US20120163472A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Efficiently coding scanning order information for a video block in video coding
WO2012093969A1 (en) 2011-01-07 2012-07-12 Agency For Science, Technology And Research Method and an apparatus for coding an image
US8687904B2 (en) 2011-01-14 2014-04-01 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus which include arithmetic coding or arithmetic decoding
US8891617B2 (en) 2011-01-18 2014-11-18 Google Inc. Method and system for processing video data
US20120207400A1 (en) 2011-02-10 2012-08-16 Hisao Sasai Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US8953690B2 (en) 2011-02-16 2015-02-10 Google Technology Holdings LLC Method and system for processing video data
US8861599B2 (en) 2011-03-08 2014-10-14 Sony Corporation Context reduction for last transform position coding
US9338449B2 (en) 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
CN102685503B (zh) 2011-03-10 2014-06-25 华为技术有限公司 变换系数的编码方法、变换系数的解码方法,和装置
US8861593B2 (en) 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
US8446301B2 (en) 2011-04-15 2013-05-21 Research In Motion Limited Methods and devices for coding and decoding the position of the last significant coefficient
US9167253B2 (en) 2011-06-28 2015-10-20 Qualcomm Incorporated Derivation of the position in scan order of the last significant transform coefficient in video coding
US9392301B2 (en) 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
MX370956B (es) 2012-01-20 2020-01-10 Ge Video Compression Llc Codificación de coeficiente de transformada.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011128268A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Probability interval partioning encoder and decoder
WO2011128303A2 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding of significance maps and transform coefficient blocks
WO2011133002A2 (ko) * 2010-04-23 2011-10-27 Oh Soo-Mi 영상 부호화 장치 및 방법
WO2012068021A1 (en) * 2010-11-16 2012-05-24 Qualcomm Incorporated Parallel context calculation in video coding

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
CHEUNG AUYEUNG AND WEI LIU: "Parallel processing friendly simplified context selection of significance map", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D260, JPN6015008743, January 2011 (2011-01-01), pages 1 - 6, ISSN: 0003097941 *
HISAO SASAI AND TAKAHIRO NISHI: "Simplified Context modeling for Transform Coefficient Coding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D185, JPN6015008741, January 2011 (2011-01-01), pages 1 - 5, ISSN: 0003097944 *
J. SOLE ET AL.: "Parallel Context Processing for the significance map in high coding efficiency", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D262, JPN6014053341, January 2011 (2011-01-01), pages 1 - 4, ISSN: 0003199126 *
J. SOLE ET AL.: "Unified scans for the significance map and coefficient level coding in high coding efficiency", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-E335, JPN6015024537, March 2011 (2011-03-01), pages 1 - 5, ISSN: 0003199128 *
JOEL SOLE ET AL.: "CE11: Unified scans for the significance map and coefficient level coding in high efficiency", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-F288, JPN6015024539, July 2011 (2011-07-01), pages 1 - 9, ISSN: 0003199129 *
MARTIN WINKEN ET AL.: "Description of video coding technology proposal by Fraunhofer HHI", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-A116, JPN6013050995, April 2010 (2010-04-01), pages 1 - 17, ISSN: 0003097942 *
NGUYEN,T. ET AL: "Reduced-complexity entropy coding of transform coefficient levels using a combination of VLC and PIP", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6014053343, January 2011 (2011-01-01), ISSN: 0002968426 *
SASAI,H. ET AL: "Simplified Context modeling for Transform Coefficient Coding[online]", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6014053336, January 2011 (2011-01-01), ISSN: 0002968422 *
SZE,V.: "Context selection complexity in HEVC CABAC[online]", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6014053339, January 2011 (2011-01-01), ISSN: 0002968424 *
THOMAS DAVIES: "Unified scan processing for high efficiency coefficient coding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D219, JPN6014053347, January 2011 (2011-01-01), pages 1 - 5, ISSN: 0003199124 *
TUNG NGUYEN ET AL.: "Improved Context Modeling for Coding Quantized Transform Coefficients in Video Compression", PROC. OF PICTURE CODING SYMPOSIUM (PCS2010), JPN5014004988, 8 December 2010 (2010-12-08), pages 378 - 381, XP031885183, ISSN: 0003097943, DOI: 10.1109/PCS.2010.5702513 *
YUNFEI ZHENG ET AL.: "CE11: Mode Dependent Coefficient Scanning", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D393, JPN6014053344, January 2011 (2011-01-01), pages 1 - 4, ISSN: 0003199127 *

Also Published As

Publication number Publication date
KR20130127005A (ko) 2013-11-21
RU2013144932A (ru) 2015-04-20
JP2018110415A (ja) 2018-07-12
TWI484830B (zh) 2015-05-11
AU2012225465B2 (en) 2015-11-05
WO2012122284A1 (en) 2012-09-13
EP2684359A1 (en) 2014-01-15
CA2828879C (en) 2016-12-06
CN108632620A (zh) 2018-10-09
JP6599489B2 (ja) 2019-10-30
CN103477638B (zh) 2017-06-30
WO2012122278A1 (en) 2012-09-13
BR112013022914A2 (pt) 2016-12-06
BR112013022914A8 (pt) 2018-02-14
US11405616B2 (en) 2022-08-02
US20120230419A1 (en) 2012-09-13
SG192874A1 (en) 2013-09-30
WO2012122286A1 (en) 2012-09-13
BR112013023035A8 (pt) 2018-02-14
JP6801066B2 (ja) 2020-12-16
CA2828586A1 (en) 2012-09-13
AU2012225463A1 (en) 2013-09-19
BR112013022923A2 (pt) 2016-12-06
MY193568A (en) 2022-10-19
EP2684370A1 (en) 2014-01-15
IL228045A (en) 2016-04-21
RU2013144934A (ru) 2015-04-20
MX2013010243A (es) 2013-11-18
CA2829158C (en) 2017-08-29
RU2562764C2 (ru) 2015-09-10
JP5864623B2 (ja) 2016-02-17
IL228044A0 (en) 2013-09-30
MY166625A (en) 2018-07-17
JP5864625B2 (ja) 2016-02-17
TW201244490A (en) 2012-11-01
US20120230420A1 (en) 2012-09-13
CN103444176B (zh) 2017-05-17
CN103493488B (zh) 2018-11-02
AU2012225542A1 (en) 2013-09-19
RU2013144931A (ru) 2015-04-20
KR20130129464A (ko) 2013-11-28
EP2684360A1 (en) 2014-01-15
AU2012225458B2 (en) 2015-11-12
IL228020A0 (en) 2013-09-30
JP2014509158A (ja) 2014-04-10
CA2828590A1 (en) 2012-09-13
AU2012225465A1 (en) 2013-09-19
WO2012122284A9 (en) 2013-10-03
RU2565502C2 (ru) 2015-10-20
CN103444178B (zh) 2018-05-22
IL228043A0 (en) 2013-09-30
CN108632620B (zh) 2022-04-01
CN103444178A (zh) 2013-12-11
MX343708B (es) 2016-11-17
CA2829158A1 (en) 2012-09-13
US11006114B2 (en) 2021-05-11
JP2014511657A (ja) 2014-05-15
KR101586130B1 (ko) 2016-01-15
CN103444176A (zh) 2013-12-11
MY186923A (en) 2021-08-26
KR101566602B1 (ko) 2015-11-05
MY176024A (en) 2020-07-21
MY166671A (en) 2018-07-18
CA2828879A1 (en) 2012-09-13
CA2828586C (en) 2016-11-08
US10397577B2 (en) 2019-08-27
JP5864624B2 (ja) 2016-02-17
KR101589357B1 (ko) 2016-01-27
JP2020025287A (ja) 2020-02-13
AU2012225542B2 (en) 2016-01-14
WO2012122275A1 (en) 2012-09-13
CN109547794A (zh) 2019-03-29
US9338449B2 (en) 2016-05-10
IL228045A0 (en) 2013-09-30
US20120230417A1 (en) 2012-09-13
RU2565365C2 (ru) 2015-10-20
CN109547794B (zh) 2023-09-15
KR20130129461A (ko) 2013-11-28
RU2571509C2 (ru) 2015-12-20
US20120230418A1 (en) 2012-09-13
US9197890B2 (en) 2015-11-24
BR112013022923A8 (pt) 2018-02-14
KR20130129462A (ko) 2013-11-28
IL228044A (en) 2016-04-21
EP2684358A1 (en) 2014-01-15
AU2012225458A1 (en) 2013-09-19
US20210250586A1 (en) 2021-08-12
US10499059B2 (en) 2019-12-03
EP3059963A1 (en) 2016-08-24
CN103477638A (zh) 2013-12-25
CN103493488A (zh) 2014-01-01
IL228020A (en) 2016-04-21
US20140307777A1 (en) 2014-10-16
JP6324727B2 (ja) 2018-05-16
SG192854A1 (en) 2013-09-30
KR101662375B1 (ko) 2016-10-04
SG192873A1 (en) 2013-09-30
BR112013023035A2 (pt) 2016-12-06
SG192875A1 (en) 2013-09-30
RU2013144925A (ru) 2015-04-20
MY167132A (en) 2018-08-13
US20200053360A1 (en) 2020-02-13
MY180426A (en) 2020-11-28
JP2014511656A (ja) 2014-05-15
CA2828590C (en) 2016-10-04
IL228043A (en) 2017-02-28

Similar Documents

Publication Publication Date Title
JP6599489B2 (ja) ビデオコーディングのための変換係数のコーディング
JP5951772B2 (ja) ビデオコーディングのための変換係数のコーディング
AU2015249109A1 (en) Coding of transform coefficients for video coding

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151224

R150 Certificate of patent or registration of utility model

Ref document number: 5864623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250