JP2020527303A - ビットプレーン符号化 - Google Patents

ビットプレーン符号化 Download PDF

Info

Publication number
JP2020527303A
JP2020527303A JP2020500890A JP2020500890A JP2020527303A JP 2020527303 A JP2020527303 A JP 2020527303A JP 2020500890 A JP2020500890 A JP 2020500890A JP 2020500890 A JP2020500890 A JP 2020500890A JP 2020527303 A JP2020527303 A JP 2020527303A
Authority
JP
Japan
Prior art keywords
coefficient
group
groupset
data stream
significant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020500890A
Other languages
English (en)
Other versions
JP7128580B2 (ja
Inventor
ケイナット,ヨアヒム
リヒター,トーマス
デル アモール,ミゲル アンヘル マルティネス
デル アモール,ミゲル アンヘル マルティネス
フルートス ロペス,マヌエル デ
フルートス ロペス,マヌエル デ
シェール,クリスティアン
トーマ,ヘルベルト
フェッセル,ジークフリート
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2020527303A publication Critical patent/JP2020527303A/ja
Application granted granted Critical
Publication of JP7128580B2 publication Critical patent/JP7128580B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

符号化効率の改善は、符号化ビットプレーンのセットがデータストリームで予測的に通知される係数グループが2つのグループセットにグループ化され、かつ、グループセットに対して、それぞれのグループセットのすべての係数グループの符号化ビットプレーンのセットが空かどうか、すなわち、それぞれのグループセット内のすべての係数が有意でないかどうかを通知するデータストリームで費やされるような方法でビットプレーン符号化を実行することによって達成される。
別の態様によれば、符号化効率の改善は、グループセットの通知に対する代替の符号化オプションとして、第1の態様によるグループセットごとの有意でない通知をビットプレーン符号化に提供することにより達成され、それについて、それぞれのグループセット内のクレームグループの符号化ビットプレーンの符号化予測残差がないことが通知される。

Description

本出願は、静止画像および/またはビデオの符号化のためのビットプレーン画像符号化などのビットプレーン符号化に関する。
ビットプレーン符号化では、符号化されたビットプレーンを利用可能なビットプレーンの総量の一部に制限することにより、必要な符号化量を削減しようとする。
ほとんどの場合、ビットプレーン符号化は、変換係数、すなわち、画像のスペクトル分解変換などの、符号化される実際のデータの変換の係数に対して実行される。
このような変換は、全体の信号エネルギーをより少量のサンプル、すなわち変換係数に既に「凝縮」し、利用可能なビットプレーンの中の最上位ビットプレーン、すなわち、それぞれの変換係数に非ゼロビットを有する最上位ビットプレーンの位置に関する限り、同様の統計を共有する隣接する変換係数をもたらす。
したがって、現在予定されているJPEG XSの現在想定されているバージョンでは、画像を表す変換係数は、そのグループ内の変換係数のビットが最大の符号化ラインインデックスで占められている、GCLIと呼ばれる、最大の、すなわち、最上位のビットプレーンを示す変換係数グループごとにデータストリームが構文要素を費やして、変換係数のグループ単位で符号化される。
代替名は、MSB位置またはビットプレーン数である。
このGCLI値は、隣接する変換係数グループからの空間予測を使用するなど、予測的な方法でデータストリームに符号化される。
次に、そのようなGCLIグループは、SIGグループに順番にグループ化され、GCLIグループのそのようなSIGグループごとに、フラグは、GCLI値に対して符号化された予測残差がSIGグループ内のすべてのGCLIグループですべてゼロである場合を通知するデータストリームで費やされる。
そのようなフラグが、SIGグループ内でGCLIのすべての予測残差がゼロであることを示す場合には、GCLI予測残差を送信する必要はなく、ビットレートは保存される。
しかしながら、例えば、圧縮および/または符号化の複雑さの観点から、ちょうど輪郭を描かれたビットプレーン概念の符号化効率を改善したいという継続的な願望がある。
本発明の目的は、より効率的なビットプレーン符号化概念を提供することである。
この目的は、独立請求項の主題によって達成される。
第1の態様によれば、本出願は、符号化ビットプレーンのセットがデータストリームで予測的に通知される係数グループが2つのグループセットにグループ化されるような方法でビットプレーン符号化が実行される場合には、かつ、グループセットに対して、それぞれのグループセットのすべての係数グループの符号化ビットプレーンのセットが空かどうか、すなわち、それぞれのグループセット内のすべての係数が有意でないかどうかを通知するデータストリームで費やされる場合には、符号化効率の改善が達成され得るという発見に基づいている。
この方法により、それにもかかわらず、特定のグループセット内のすべての係数グループ内のすべての変換係数が有意ではない場合に、特定のグループセット内の係数グループの符号化ビットプレーンのセットを符号化するために非ゼロ予測残差に不要なビットを費やすことを回避することができ、それによって圧縮が改善される傾向がある。
これを超えて、エンコーダに関する限り、変換係数が有意でないかどうかの決定、すなわち、符号化ビットプレーンのセット、すなわち非ゼロビットプレーンがすべて量子化しきい値未満であるかどうかの決定は、各グループセットに対して並行して、すなわち互いに独立して決定することができ、これにより、グループのセットごとに有意でない通知を使用して、並列実装を簡単にレンダリングできる。
本出願の別の態様によれば、上記で説明した第1の態様によるグループセットごとの有意でない通知によるビットプレーン符号化が、本明細書の導入部分で説明した、グループセットに対してそれぞれのグループセット内のクレームグループの符号化ビットプレーンの符号化予測残差がないことを通知することができる、グループセットの通知に関連する符号化オプションの代替として提供される場合には、符号化効率の改善を達成できることが判明した。
これに対して、第2の態様によれば、データストリームは、有意符号化モードが使用されないグループセットの第1のサブセットと、有意符号化モードが使用されるグループセットの第2のサブセットと、を識別する情報を提供する。
グループセットの第1のサブセットは「正常に」符号化される。
すなわち、データストリームは、そのようなグループセットの係数グループの符号化ビットプレーンの予測残差を提供し、有意な場合には、符号化ビットプレーン内のビットはデータストリームで符号化される。
グループセットの第2のサブセットでは、データストリームは有意符号化モードの指示または指定を含む。
言い換えると、この指示または指定は、グループセットの第2のサブセットの処理方法について、または別の言い方をすると、グループセットの第2のサブセットの識別の解釈方法についてデコーダに通知する。
有意符号化モードの第1のモードは、そのようなグループセット内の係数グループの符号化ビットプレーン通知の予測残差がゼロである解釈に対応する。
この目的のために、第1の有意符号化モードタイプに従って、グループセットの第2のサブセットについては、符号化ビットプレーン通知の予測残差通知のみが省略される。
有意符号化モードが第2のモードであることが示されている場合には、第2のサブセットのグループセットは、有意ではない係数のコレクションとして扱われる。
この目的のために、デコーダは、そのようなグループセットの各係数グループについて、その係数が有意でないことを継承する。
この第2の態様によれば、エンコーダは両方の有意符号化モードオプションを切り替える機会を提供され、エンコーダはより高い符号化効率につながる符号化モードを選択するためにこの自由度を活用できる。
しかし、これを超えて、どの有意符号化モードオプションが使用されたかをデコーダに知らせる機会をデータストリームに提供することにより、エンコーダ側の設計に、エンコーダ側の目的の実装により適した有意符号化モードオプションを選択する機会を提供する。
例えば、より高い並列性を実現することに高い関心がある場合、有意でない信号モード、すなわち第2のモードが優先される場合があるが、エンコーダのシングルスレッド実装の場合は第1のモードが優先される場合がある。
すなわち、エンコーダは、エンコーダの実装に適合するように選択された両方のモードタイプのいずれかでのみ動作するように実装することができる。
有利なことに、デコーダの複雑さは、有意符号化モードの両方のモードタイプ間で大きく異ならない。
本出願の有利な態様は、従属請求項の主題である。
本出願の好ましい実施形態は、図面に関して以下で説明される。
現在想定されているJPEG XSのデコーダ動作のブロック図である。 ビットプレーン符号化の対象の一例としてウェーブレット変換、すなわち変換係数を使用して、画像12の変換係数への分解を示す概略図である。 GCLIデルタ符号化による符号化ビットプレーンのセットの予測ベースの符号化を使用した、係数グループ単位の変換係数のビットプレーン符号化を示す概略図である。 ウェーブレット変換のプレシンクトへの細分を示す概略図である。 有意符号化モードを示すために、係数グループから設定されたグループの構成を示す概略図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 RSFを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、CSFのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたPSNRシミュレーション結果を示す図である。 一実施形態によるエンコーダのブロック図である。 一実施形態によるデコーダのブロック図である。 エンコーダがCSF符号化モードを使用する、一実施形態によるエンコーダを示す図である。 図9のエンコーダに適合するデコーダのブロック図である。 RSF符号化モードの使用を示すデータストリームを形成するRSF符号化モードを使用するエンコーダのブロック図である。 CSFおよびRSF使用のいずれか一方を指示として示すデータストリームを処理することができるデコーダのブロック図である。 RSFまたはCSFの使用の指示を含むデータストリームを形成するための一例を説明するための擬似コードを示す図である。
本出願の実施形態の以下の説明は、JPEG XS標準化プロセスの現在の状態、すなわちJPEG XSについて現在議論されているバージョンの簡単な提示から始まり、その結果、最終的に本出願の実施形態になるために、このバージョンをどのように変更できるかについて概説する。
以下、これらの実施形態は、別個に説明されるさらなる実施形態をもたらすために拡張されるが、前述の特定の詳細への個々の参照を含む。
図1は、後述するように本出願の実施形態が適用され得るJPEG XSについて現在想定されている復号プロセスの一例を提供する。
後述する拡張された実施形態から明らかになるように、本出願は、この種の復号プロセスおよび対応する符号化プロセスに限定されない。
それにもかかわらず、図1は、本出願の概念のより良い理解を得る際に当業者を支援する。
図1によると、コードストリーム復号は、ブロック1の構文解析部分、複数のブロック2.1から2.4で構成されるエントロピー復号ステージ、ブロック3の逆量子化、ブロック4の逆ウェーブレット変換、およびブロック5の逆多重成分非相関にグループ化される。
ブロック6では、サンプル値がスケーリングされ、DCオフセットが追加され、それらが公称範囲にクランプされる。
ブロック1では、デコーダはコードストリームの構文を解析し、サンプリンググリッドのレイアウトに関する情報、およびいわゆるスライスとプレシンクトの次元を取得する。
コードストリームのエントロピー符号化されたデータセグメントのサブパケットは、有意な情報、符号情報、MSB位置情報(GCLI情報とも呼ばれる)に復号され、このすべての情報を使用して、ウェーブレット係数データになる。
この操作は、図1のブロック2.1から2.4で実行される。
通常、画像とビデオの圧縮は、エントロピー符号化を実行する前に変換を適用する。
例えば、参考文献[7]はブロックベースの予測を使用し、参考文献[4]、[3]、[5]、[6]はウェーブレット変換を提唱している。
図1の場合はウェーブレットが使用されているが、図1は単なる例であり、ウェーブレット変換の使用に関しても同じことが当てはまる。
このようなウェーブレット変換を図2に示す。
画像をいくつかのサブバンドに分解する。
各サブバンドは、画像12の空間的にダウンサンプリングされたサブバンド固有のスペクトルバンドパスフィルタバージョンを表す。
図2に示すように、水平方向の分解の数は、垂直方向の分解の数と異なってもよい。
各分解ステップでは、前の分解のローパスサブバンドがさらに分解される。
例えば、L5サブバンドは画像のサブサンプリングバージョンを表し、他のサブバンドには詳細情報が含まれる。
周波数変換後に、サブバンドの係数はエントロピー符号化される。
言い換えれば、サブバンドABmのg≧1係数は、A、B∈{L、H}、m∈Nで、係数グループに配置される。
次に、係数グループの最上位の非ゼロビットプレーンが通知され、その後に生データビットが続く。
符号化技術の詳細については、以下で説明する。
図3は、最終的に構文要素になるGCLI符号化の原理を示し、その復号は、例えば図1のブロック2.2に対応する。
したがって、GCLI符号化は最上位ビット位置の符号化に関するものであり、したがって、符号化ビットプレーンの指示に関係する。
これは次のように行われる。1よりも多く、周波数変換の同じサブバンドに属する係数を有するいくつかの係数は、グループに結合され、これは以降、係数グループと呼ばれる。
例えば、図2を参照されたい。そこに描かれているウェーブレット変換10は、画像12の変換の一例である。
繰り返しになるが、ウェーブレット変換は、本出願の実施形態が適用可能な変換の一例にすぎない。
画像12のサンプルまたはピクセル14の値を直接符号化する代わりに、符号化は変換10の変換係数16で実行される。
図3は、係数グループが4つの係数で構成されていることを前提としている。
しかし、その数は単に説明のために選択されたものであり、異なるように選択してもよい。
図2は、例えば、そのような係数グループ18が、すべてが変換10の同じサブバンドに属する空間的に隣接する4つの変換係数16を含むことを示している。
図2は、1つの係数グループ18に含まれる係数16が互いに水平方向に隣接することを示しているが、これも単なる例であり、係数グループ18への係数16のグループ化は異なって行われてもよい。
図3は、左側の符号20の第1の係数グループと符号22の第2の係数グループの各係数のビット表現を示している。
各係数の絶対値のビットは、列に沿って係数ごとに広がる。
したがって、4つの列がそれぞれ符号20と符号22で示されている。
各ビットは特定のビットプレーンに属し、図3の最下位ビットは最下位ビットプレーンに属し、最上位ビットは最上位ビットプレーンに属する。
説明のために、8つの利用可能なビットプレーンを図3に示すが、数は異なってもよい。
変換係数のマグニチュードビット24に加えて、図3は、各係数について、対応するマグニチュードビットの上の符号ビット26を示している。
GCLI符号化について、図3を参照して詳細に説明する。
既に概説したように、係数はサインマグニチュード表現で表される。
それぞれの係数グループの最大係数により、この係数グループのアクティブなビットプレーンの数が決まる。
ビットプレーン自体またはそれ以上のビットプレーン(より大きな数を表すビットプレーン)の少なくとも1つの係数ビット24がゼロでない場合には、ビットプレーンはアクティブと呼ばれる。
アクティブなビットプレーンの数は、いわゆるGCLI値、すなわち最大の符号化ラインインデックスによって与えられる。
例えば、係数グループ20では、GCLIは6であり、第2の係数グループ22では、GCLIは例として7である。
GCLI値が0の場合、アクティブなビットプレーンが存在しないため、完全な係数グループは0になる。
この状況は有意ではないGCLIとして知られており、有意なGCLIはその逆である。
圧縮を実現するために、アクティブなビットプレーンのみがビットストリームに配置される、すなわち、符号化される。
損失のある符号化では、係数グループに対して送信されるビットプレーンの数がGCLI値よりも小さくなるように、ビットプレーンの一部を切り捨てる必要がある場合がある。
この切り捨ては、いわゆるGTLI、すなわち最大のトリミングされたラインインデックスによって指定される。
代替名は切り捨て位置である。ゼロのGTLIは、切り捨てなしに対応する。
1のGTLI値は、係数グループの送信されたビットプレーンの数がGCLI値より1少ないことを意味する。
言い換えれば、GTLIはビットストリームに含まれる最小のビットプレーン位置を定義する。
単純なデッドゾーン量子化方式の場合、送信されたビットプレーンは、切り捨てられたビットプレーンのない係数グループのビットプレーンに等しくなる。
より高度な量子化方式の場合、量子化ビンを変更することにより、計画された切り捨てられたビットの一部の情報を送信されたビットプレーンに「プッシュ」することができる。
詳細については[6]で見出すことができる。
各係数について、残留ビットプレーンの数はGCLI値とGTLI値の差に等しいため、GCLIがGTLI値以下の係数グループがビットストリームに含まれていないことは明らかである。
言い換えれば、これらの係数グループのビットストリームでは(データ)ビット24は伝達されない。それらの係数は有意ではない。
切り捨てと量子化の後に残っているアクティブなビットプレーンは、以下では残留ビットプレーン、あるいは切り捨てられたGCLIと呼ばれる。
さらに、GTLIは以下では切り捨てポイントとも呼ばれる。残留ビットプレーンがゼロの場合、GCLIは有意でない切り捨てGCLIとして知られている。
これらの残留ビットプレーンは、生ビット(raw bits)としてデコーダに送信される。
図1のブロック2.3は、ビットストリームからこれらのビットを導出することを担っている。
しかし、正しい復号を有効にするには、デコーダはすべての係数グループ18のGCLI値を知る必要がある。
デコーダにも通知されるGTLI値と共に、デコーダはビットストリーム内にある生データビットプレーンの数を推測できる。
GCLI値自体は、以前の係数グループのGCLI値との差を表す可変長コードによって通知される。
この以前の係数グループは、原則として、エンコーダが既に以前に復号した任意の係数グループである。
したがって、例えば、水平または垂直の隣接グループにすることができる。
予測からの出力は、2つの係数グループ間の残留ビットプレーンの数の差であり、デルタ残留ビットプレーンが得られる。
例えば、図3では、符号20で示される左側の係数グループが係数グループ22の符号化の順序で先行し、そのGCLIが係数グループ22のGCLIの予測器として機能すると想定している。
詳細について以下で説明する。
GTLI値を下回るGCLI値は、いずれの場合でもその係数がビットストリームに含まれないため、対象ではないことに留意されたい。
その結果、デコーダが、GCLIがGTLIよりも大きいかどうか、またそうであればGCLIの値を推測できるように予測は実行される。
以下で説明する方法は、異なるビットストリームパーツの送信順序に依存しないことに留意されたい。
例えば、最初にすべてのサブバンドのGCLI係数をビットストリームに配置し、次にすべてのサブバンドのデータビットを配置することができる。
あるいは、GCLIとデータビットがデータストリームにインターリーブされてもよい。
図2に示されている周波数変換の係数は、いわゆるプレシンクト(precincts)30に構成されている。これを図4に示す。
プレシンクトは、入力画像12の所定の空間領域32に寄与する異なるサブバンドの係数をグループ化する。
デコーダが信号を回復できるようにするには、すべての係数グループ18のGCLI値を知っている必要がある。
[3]によれば、それらを効率的に通知するための様々な方法がある。
RAWモードでは、GCLI値は予測なしで送信される。
したがって、Fを次に符号化する係数グループとする。
次に、GCLI値を、以下の値を表す固定長コードワードで符号化することができる:
maxf()(GCLI(F)−GTLI(F),0)
水平予測では、符号化されたシンボルは、GCLI値と、同じラインおよび同じウェーブレットサブバンドに属し、GTLIを考慮して以前に符号化されたGCLIの値と、の差である。
この差分値は、以下では残差またはδ値と呼ばれる。
とFを、g>1係数で構成される2つの水平方向に隣接する係数グループとする。Fを現在符号化される係数グループとする。次に、次のように計算された残差を送信することにより、GCLI(F)をデコーダに通知することができる:
Figure 2020527303
デコーダは、次式を計算することによりGCLI(F)を回復する。
Figure 2020527303

Figure 2020527303
水平予測では、通常GTLI(F)=GTLI(F)であることに留意されたい。 さらに、[4]で説明されているように、δは可変長コードとして送信されることに留意されたい。
2つのサブバンドライン間の垂直予測では、結果は、GCLI値と、以前に符号化されたラインの係数の同じサブセットのGCLIとの差になる。
とFを、g>1係数で構成される2つの垂直方向に隣接する係数グループとする。Fを現在符号化される係数グループとする。
次に、GCLI(F)は、水平予測と同じ方法で符号化することができる。
垂直予測はスライス内で制限され、スライスは、所定の連続した行(例えば64行など)のセットである。
この方法では、スライスの第1のプレシンクトを垂直方向に予測することはできない。
垂直予測の代替方法は、上記の予測の代わりに、次の予測式が使用されることである。
δ=max(GCLI(F),GTLI(F))−max(GCLI(F),GTLI(F))
垂直予測の別の代替方法は、いわゆる有界コードを使用することである。
Figure 2020527303
ここで、
Figure 2020527303

Figure 2020527303

Figure 2020527303
であり、
は符号化するGCLIであり、
Figure 2020527303
は基準として使用されるGCLIであり、
はgに適用する切り捨てであり、
Figure 2020527303

Figure 2020527303
に適用された切り捨てである。
このようなコードはδ≧0の特性を有するため、効率的な単進符号化が可能である。
次式に同じ予測方法を適用することもできる。
Figure 2020527303
[1]では、GCLI符号化でエスケープコードを使用して、すべてが所定の切り捨てしきい値よりも小さい複数の係数で構成される係数グループのシーケンスを通知している。
これらの手段により、係数グループごとにコードワードを必要とせずに、複数のゼロ係数グループを1つのエスケープワードで表すことができるため、符号化効率を改善することができる。
この方法には、有意フラグに関してオーバーヘッドを必要としないという利点があるが、エスケープコードを使用しない場合に必要なビットと比較して追加のビットを計算すると、多少複雑になる。
さらに、いくつかの符号化方法では、簡単な方法でエスケープコードを使用することができない。
例えば、図5は、係数グループ18の中で定義された符号化順序38に関してすぐに連続する可能性のある係数グループ18を示しているが、これは必須ではない。
上記のエスケープ符号化によれば、係数グループ18のデータストリームで送信されたGCLI値は、エスケープコードを仮定して、その係数と、一緒にグループセット40を形成するいくつかの後続の係数グループ18の係数とがすべて有意ではないことを通知できる。
どの係数グループ18がグループセット40に属しているかに関する質問は、デフォルトで知られているか、または通知され得る。
例えば、連続するGCLI係数グループ18のGCLI値がわずかに切り捨てられている場合、これらをコードストリームから破棄して、例えばこの方法で符号化効率を向上させることができる。
この空間ゼロラン法では、これは有意でないグループセット40の第1の係数のエスケープ値を符号化することにより行われる。
しかし、先ほど示したように、このような符号化エスケープ値を使用すると符号化の複雑さが増すため、極端に低い複雑さの場合には適していない。
[1]で教示されているいわゆるRSF方法によれば、GCLI値の符号化の負担は、係数グループ18の有意でない切り捨てられたGCLI値は、グループセット40内のすべての基準GCLI値から、0に等しい残差に至るまで予測されることを、図5のグループセット40などのグループセットに通知することによって軽減される。
この目的のために、係数グループ18はグループセット40にグループ化され、データストリームは各グループセット40について、GCLIの予測残差がグループセット40内ですべて0であるかどうかを示すRSFフラグを含み、その場合、当然、データストリームで送信する必要がある予測残差はない。
しかし、RSFは、対応する残差が0でない場合、有意でないGCLIの符号化をスキップしない。
セット40のGCLIの予測残差はゼロではないかもしれないが、切り捨てにより、それぞれのグループセット40内のすべての係数グループ18のすべての係数は有意ではない。
以下に説明する実施形態は、RSFの解釈を修正することにより、コードストリームから有意でない切り捨てられたGCLIを削除する機会を提供し、低複雑度で概説されたRSF方法を補完することを可能にする。
これについては、以下でより詳しく説明する。
[1]で説明されているRSF方式では、GCLI係数は各サブバンド内のグループに配置され、以降はSIGグループと呼ばれる。
例えば、図5の要素40はそのようなSIGグループである。SIGグループのサイズは、8または1より大きいその他の数である。
すなわち、SIGグループ40は、2つ以上の係数グループ18を含んでもよい。
1つのSIGグループ40に含まれる係数グループ18は、概説したように、変換10の1つのサブバンドに属し得るが、これは必須ではない。
サブバンドが8などのSIGグループサイズの倍数でない場合には、最後の係数は不完全なグループとして扱われる可能性があることに留意されたい。
例えば、プレシンクト30のコードストリームの開始時に、一連のフラグが通知される。
各フラグは、プレシンクトの各SIGグループ40に対応している。
フラグが設定されている場合には、そのグループ40に対応するすべてのGCLI残差が0であるため、コードストリームに存在しないことを意味する。
前述のように、SIGグループのGCLIが完全に切り捨てられる(または単に0になる)が、一方で残差が0ではない状況がある。
これは、例えば、GCLIが有意なラインまたは行から垂直に予測される場合に発生する可能性がある。
ここで、例えば0以外の残差が単進符号化のためにより多くの予算を必要とする場合、実際には有利かもしれないが、RSFは残差を通知することを防ぐことに成功しない。
したがって、RSFの代わりに本願の実施形態に従って係数有意フラグ(CSF)が使用され、それにより、RSFの定義をさらに拡張することを目指している。
新しいGCLI符号化方法を導入することにより、CSFはすべてのSIGグループ40にも1つのフラグを割り当てるが、SIGグループ40の係数グループ18のGCLIが切り捨て後にすべて有意でない場合は常に設定される、すなわち、これらの係数グループ18の符号化ビットプレーンのセットは空である。
したがって、RSFの場合と同じ量のフラグが必要である。
以下で説明するように、CSF符号化は、例えばプレシンクト30またはサブバンドごとに選択できるように、両方を代替符号化オプションに従って使用できるという意味で、RSF符号化と組み合わせることができる。
ここでは、データストリーム内の同じフラグは、データストリーム内の追加の信号化に応じてRSFまたはCSFとして解釈される。
Figure 2020527303
表1は、4つの典型的なSIGグループの例と、これらのSIGグループにRSFとCSFがどのように設定されるかを示す。
表1は、CSFメソッドとRSFメソッドの例と比較を示している。
SIGグループ0の場合、切り捨てられたGCLI値はすべて0であるためCSFが選択されるが、RSFフラグは残差が0でないことを示していない。
SIGグループ1の場合、状況は逆である。
SIGグループ2の場合、GCLIと残差の両方が0であるため、CSFが1になり、RSFも1になる。
最後に、SIGグループ3では、どちらも選択されない、すなわち、RSFとCSFはゼロに設定される。
以下では、CSFバリアントについてさらに説明する。
例えば、CSFフラグを使用すると、SIGグループごとに予算を節約できるという影響がある。
単進符号化のアルファベットは、通常、1ビットを残して0の残差値を通知する。
したがって、RSFによって保存される予算は、削除されたすべてのSIGグループで常に同じであり、グループのサイズとまったく同じである。
一方、この方法によって導入される予算オーバーヘッドは、画像全体で一定であり、必要なRSFの量に常に等しくなる。
CSFに関しては、予算のオーバーヘッドはRSFの場合とまったく同じである。
しかし、対照的に、SIGグループごとのピーク予算節約は、RSFと同等以上である。実際、CSFによって除去された残差は0と等しいか異なる場合があるため、予算はグループのサイズ以上になる可能性がある。
RSFは予測に対して透過的に使用できるが、CSFの場合は後処理(エンコーダで)または前処理(デコーダで)であるため、デコーダとエンコーダの予測モジュールはわずかに変更される。
エンコーダで、SIGグループに有意でない切り捨てられたGCLIのみが含まれていることが判明した場合は、その符号化を完全にスキップできる。
しかし、残差によって節約されたビットの量を取得するには、予算の計算でさらに計算する必要がある。
デコーダでは、CSFで削除されたGCLIの逆予測もスキップして、代わりに0に置き換えることができる。
以下では、概説したCSFを使用した画像符号化について詳しく説明する。
このため、次のようにいくつかの関数定義が使用される。
αを符号化する係数グループとする。
GCLI(α):GCLI値係数グループaを返す
PREF(α):係数グループαのGCLI値の予測に使用される係数グループを返す
GTLI(α):係数グループαに適用するGTLI値を返す。
GTLI(α)は、グループαのプレシンクトおよびサブバンドに依存する。
PRED(gα、tα、g、t):基準としてGCLI gを使用して、GCLIgαの予測に対応する残差を返す。GTLIはそれぞれtαおよびtである。
PRED−1(δ、tα、g、t):基準としてGCLI g、残差δを使用して係数グループに対応する逆予測を返す。
GTLIはそれぞれtαおよびtである。
SIZE(s):サブバンドsの1つのラインの係数グループの数。
SIGGRP(α):係数グループαが属するSIGグループのインデックスを返す。
CSF(g):CSFフラグがSIGグループgに関連付けられているかを返す。真はグループが有意でないことを意味する。
RSF(g):RSFフラグがSIGグループgに関連付けられているかを返す。真はグループが有意でないことを意味する。
SIGSIZE(s):SIGグループのサイズであり、サブバンドごとに異なってもよい。
CSFを管理するための擬似コードを以下に示す。
サブバンドのGCLI値の復号は、次のように行われる。
CSFを使用する場合、デコーダは次のように記述できる。
サブバンドsの場合、係数グループaの値のセットGCLI(a)は次のように復号される:
for 0≦i<SIZE(s)
if CSF(SIGGRP(a))#STGフラグが設定されている場合は、GCLIがない
GCLI(ai)←0
else #そうでない場合は、GCLIを復号する
δ’=vlc_decode()#デルタ値を単進復号する
GCLI(a)←PRED−1(δ’,GTLI(a),GCLI(PREF(a)),GTLI(PREF(a)))
end if
end for
サブバンドのGCLI値の符号化は、次のように行われる。
次のように、SIGグループのすべてのGCLIが有意でなくなるGTLIを定義する。
Figure 2020527303
すなわち、グループの最大GCLI値である。
したがって、サブバンドsの係数グループaの符号化は、次のように実行できる。
for 0≦i<SIZE(s)
if GTLI(a)≧GTLIcsf(SIGGRP(a)) #有意でない切り捨てられたGCLIの場合
CSF(SIGGRP(a))←True #フラグを更新するだけで、符号化しない
else #そうでない場合は、符号化する
encode(PRED(GCLI(a),GTLI(a),GCLI(PREF(a)),GTLI(PREF(a))))
CSF(SIGGRP(a))←False
end if
end for
それと比較して、RSFを管理するための擬似コードを参考として以下に示す。
最初に、サブバンドのGCLI値の復号が検査される。
RSFを使用する場合、デコーダは次のように記述できる。
サブバンドsの場合、係数グループ(a)の値のセットGCLI(a)は次のように復号される:
for0≦i<SIZE(s)
if RSF(SIGGRP(a)) #STGフラグが設定されている場合は、GCLIがない δ’←0
else #そうでない場合は、GCLIを復号する δ’=vlc_decode()#デルタ値を単進復号する
end if
GCLI(a)←PRED−1(δ’,GTLI(a),GCLI(PREF(a)),GTLI(PREF(a)))
end for
RSFを使用する場合のサブバンドのGCLI値の符号化は次のとおりである。
次のように、SIGグループのすべての残差が有意でなくなるGTLIを定義する。
Figure 2020527303
したがって、サブバンドsの係数グループaの符号化は、次のように実行できる。
for 0≦i<SIZE(s)
if GTLI(a)≧GTLIrsf(SIGGRP(a)) #有意でない切り捨てられたGCLIの場合
RSF(SIGGRP(a))←True #フラグを更新するだけで、符号化しない
Else #そうでない場合は、符号化する
encode(PRED(GCLI(a),GTLI(a),GCLI(PREF(a)),GTLI(PREF(a))))
RSF(SIGGRP(a))←False
end if
end for
係数フラグと残差有意フラグとの間の切り替えをサポートすることができる。
上記で説明したように、係数有意フラグは、予測残差がゼロでない場合でも、量子化後にゼロになる一連の係数グループ(いわゆるSIGグループ)の存在を示すことができる。
予測残差を表すコードワードをビットストリームに配置することは、sigグループを表す有意情報または有意フラグを対応して設定することで回避でき、したがって符号化効率が向上する。
一方、残差有意フラグは、予測残差がすべてゼロの量子化されたSIGグループの存在を示す。
言い換えると、SIGグループのすべての量子化係数がゼロとは異なる可能性がある予測値と同じ値を有する場合では、SIGグループの対応する有意ビットが適切に設定されている場合に、ゼロ予測残差をビットストリームに配置する必要はない。
このため、すべてのプレシンクト(またはすべてのサブバンド)のビットストリームは、2つの有意フラグのどちらが選択されているかを示す。
これらの手段により、エンコーダはすべてのプレシンクトまたはすべてのサブバンドに最適な代替手段を選択し、以下で説明するように符号化ゲインを提供できる。
図6.1〜図6.32は、上記の符号化フレームワークを使用して、すなわち、RSF符号化、CSF符号化、または両方の符号化モードの切り替えを可能にするバリアントと組み合わせたGCLI符号化を使用して得られたPSNR結果を示している。
図6.1から図6.6は、RGB 444 8ビットの符号化、すなわち、RSF/CSFの切り替え可能性のために様々なbpp(ピクセルあたりのビット)制約で最適化され、RSFのみ、CSFのみ、RSF/CSFスイッチングをそれぞれ比較しながら、4bppのビットレート制約で視覚的に最適化されたPSNR、RSFのみ、CSFのみ、RSF/CSFスイッチングをそれぞれ比較しながら、6bppのビットレート制約で最適化されたPSNR、RSFのみ、CSFのみ、RSF/CSFスイッチングをそれぞれ比較しながら、12bppのビットレート制約で最適化され、RSFのみ、CSFのみ、RSF/CSFスイッチングをそれぞれ比較しながら、4bppのビットレート制約で視覚的に最適化され、RSFのみ、CSFのみ、RSF/CSFスイッチングをそれぞれ比較しながら、12bppのビットレート制約で視覚的に最適化されたPSNRを示す。
同様のシミュレーション結果は−RGB 444 10ビット符号化の場合は図6.7〜図6.10に、YUV 422 10ビット符号化の場合は図6.11〜図6.14に示されている見出しに示されている。
複数生成最大PSNRと平均PSNRの結果は、図6.15〜図6.32に示されている。
すなわち、図6.15〜図6.20のRGB 444 8ビット、図6.21〜図6.26のRGB 444 10ビット、図6.27〜図6.32のYUV 422 10ビットである。
以下では、CSFおよびRSFに関連していくつかの複雑な態様について説明する。
しかし、以前は、図7に関してエンコーダアーキテクチャが提示されている。
エンコーダは、開始点として前述のウェーブレット変換10を使用する方法で符号50を使用して図7に示されている。
ウェーブレット変換10は、図7に示されていない変換器によるウェーブレット変換によって取得されていてもよい。
ウェーブレット変換10を符号化するために、エンコーダ50は、係数グループ18ごとに最大の符号化ラインインデックスを決定するGCLI抽出器52を含む。
エンコーダ50は、例えば、プレシンクトごとに動作し、制約されている特定のビットレートを満たすように動作する。
GCLI抽出器52は、決定されたGCLI値をGCLIバッファ54および実行/GTLIモジュール56に供給する。
モジュール56は最小のGTLIを計算し、有意なグループのすべての係数グループがゼロに切り捨てられる。
詳細については、以下で説明する。
モジュール56は、GCLI値および有意でない有意なグループにつながる最小のGTLIを、GTLI候補値ごとにビット予算を計算する後続の予算コンピュータ58に転送する。
この目的のために、モジュール58は、バッファ60内の前の変換係数ラインのGCLI値に符号化順序で次に作用する変換係数ラインにアクセスし、更新し続ける。
正確な予算は、まだ利用できないかもしれない前のプレシンクトのGTLIに依存するため、モジュール58は、GTLI候補ごとのビット予算の初期近似値のみを計算する。 より正確には、予算コンピュータ58は、現在のプレシンクトの変換係数のラインで動作する。
GCLIバッファ54に接続されたプレシンクト予算更新器62は、プレシンクト予算更新を提供する。
前の予算近似値と実際のビット予算との偏差を修正する。
この目的のために、モジュール62はプレシンクト上で動作し、モジュール64によって次に符号化し、以前のプレシンクトのGTLIが既に利用可能になるようにする。
プレシンクト予算更新およびコンピュータ58によって決定された予算値に基づいて、RAモジュール63はGTLI値を計算してプレシンクトに効果的に適用し、前述のビットレート制約を満たすために次に符号化する。
このGTLI値は、GCLIコーダ64への入力として提供され、さらに、GCLIバッファ54からGCLI値を受信する。
GCLIコーダ64は、レジスタ66を介して、前のラインGCLIバッファ60の形のGCLI値の前のラインおよび前のラインのGTLIにアクセスする。
GCLIコーダ64は、GCLI値をこの点に関する詳細が上記で設定されたもので符号化し、それをバッファ68に出力する。
変換10の係数もバッファ70にバッファされ、バッファ68の符号化GCLI値を介してデータストリームで通知された符号化ビットプレーンにあるそれらのビットは、係数エンコーダ72を介してデータストリームに挿入される。
上述のように、これはビットを生データとしてデータストリームに配置するという形で行うことができる。
パッカー74は、符号化されたGCLIデータと生データビットをデータストリームにパックする。
強調表示されている図7のブロック、すなわち符号56、符号58、および符号64は、2つの異なるタイプの有意フラグ、すなわちRSFとCSFの使用に関係している。
その内容が参照により本明細書に組み込まれる[1]でさらに説明するように、ウェーブレット変換10のウェーブレット係数は、エンコーダ72による後のデータ符号化のために係数バッファ70に格納される。
[1]でも説明したように、GCLI抽出器52はGCLI値を決定し、それをバッファ54に格納する。
2つの異なるsigflag法を組み合わせるには、モジュール56などによって、有意グループごとに次の値を計算する必要がある。
Figure 2020527303

Figure 2020527303
ここで、
・gはGCLI jである。
・tはGCLI gに適用する量子化/切り捨てである。

Figure 2020527303


を予測するために使用される基準GCLI(すなわち、水平または垂直の近傍)である。

Figure 2020527303
はGCLI
Figure 2020527303
に適用する量子化/切り捨てである。
・PREDは、tと
Figure 2020527303
を使用して
Figure 2020527303
から値gを予測する予測関数である。
・ssigは現在処理されている有意グループである。
Figure 2020527303
は[2]で使用される値と同じ値であるため、複雑さについてはこれ以上説明しない。
Figure 2020527303
の計算は、コンパレータ(<=5LUT)およびサブバンドごとに4ビットの1つのレジスタによって可能である。
さらに、GCLI値を1つの有意グループだけ遅延させることにより、初期予算計算が簡素化される。
1つの垂直ウェーブレット分解レベル(3×8サブバンド)の場合、これには3×8×8×4=768ビットが必要である。
ザイリンクスの場合、これは2×48=96LUT、またはアルテラデバイスの2 MLABブロックに対応する。
GCLIコーダには別のわずかな変更が必要である。
残差有意フラグ([1]など)のみを使用する場合、ssig予測残差を符号化する前にバッファリングして、すべてがゼロかどうかを判断する必要がある。
これにより、予測残差を出力するか、有意フラグを使用してSIGグループに有意でないことを通知することができる。
Figure 2020527303
を使用する場合、コーダは、符号化するすべてのGCLI gが選択した量子化/切り捨てパラメータtをすべて下回っているかどうかをさらに確認する必要がある。
しかし、これは簡単であり、追加のバッファリングは必要ない。
係数有意フラグの予算節約の計算は、次のように行われる。
係数有意フラグを使用して有意グループが有意でないと通知されるたびに、図7の予算計算モジュールは、予測残差をビットストリームに配置しないことによって節約されたビット数を追跡する必要がある。
したがって、両方の方法の全体的な予算は次のように計算できる。
・有意フラグなしで予算を計算する
・残差有意フラグの予算節約の計算
・係数有意フラグの予算節約の計算
これは、以下で説明するように、両方の方法を使用することで複雑さが増すのは、追加の予算節約を計算することにあることを意味する。
上記の第1のオプションによる垂直予測が適用されるとする。
この予測方法では、次式が使用される。
Figure 2020527303
(1)
現在のGTLIと基準GTLIのtおよびti−1の両方が等しい場合、式(1)は次のように単純化される。
Figure 2020527303
(2)

予算の節約は
Figure 2020527303
についてのみ発生することがわかっているため、式(1)から次式を得る。
δ=t−max(gi−1,max(ti−1,t))
したがって、予算の節約は、gi−1
Figure 2020527303
、さらにパラメータti−1とtに一意に依存するため、簡単に計算できる。
第2の垂直予測オプションが適用される場合には、次式が使用される。
Figure 2020527303

Figure 2020527303

Figure 2020527303

Figure 2020527303
現在のGTLIと基準GTLIのtおよびti−1の両方が等しい場合、式(1)は次のように単純化される。
Figure 2020527303
(4)
予算の節約は
Figure 2020527303
についてのみ発生することがわかっているため、式(3)から次式を得る。
Figure 2020527303

したがって、予算の節約は、gi−1
Figure 2020527303
、さらにパラメータti−1とtに一意に依存するため、簡単に計算できる。
対応する復号アーキテクチャを図8に示す。
図8のデコーダは、符号80を使用して一般的に示されている。
入力デマルチプレクサ82は、データストリームを受信し、そこから符号化ビットプレーン内の符号化係数ビット、すなわち符号84、GCLI残差86、およびRSFまたはCSF、すなわち符号88であってもよいフラグを導出する。
ビット84はデータバッファ90に格納され、GCLI残差値はGCLIバッファ92に格納され、フラグ88はバッファ94に格納される。
図8に示すように、バッファ92に格納されたGCLI残差値は、単進符号化または生データとして符号化され、それに応じて、生デコーダ96または単進デコーダ98がGCLI残差値を復号するために使用される。
サブバンドGCLIバッファ100は、オプションで、デコーダ96およびデコーダ98にそれぞれアクセス可能であってもよい。
GCLIパッカー102を介して、逆GCLI予測器104は、GCLI残差を受け取り、以前のGCLI106に基づいて、およびRSFフラグに基づいてGCLI値を再構築する。
RSFが適用され、現在のGCLIのRSFフラグが設定されている場合には、逆予測器104は、予測残差、すなわち、とにかくゼロであるGCLI残差について通知される。
次に、以前のGCLI 106に基づいて決定された予測器が現在のGCLIとして使用される。
逆予測器104は、決定されたGCLIを出力し、マルチプレクサは、現在のGCLIに適用されるCSFフラグに応じて、この予測出力またはゼロ置換を選択する。
CSFフラグが設定されている場合には、とにかく対応するSIGグループ内に符号化ビットプレーンはなく、GCLIがそれに応じて設定される、すなわち、現在のGTLIを考慮して、有意でない変換係数の符号化につながるゼロまたは何らかの値になる。
アンパッカーコントローラ110は、マルチプレクサ108の出力を受信し、その出力は次に、前のGCLIとして逆予測器104にもフィードバックされ、今度は現在のGCLIに応じて、データバッファ90から現在の係数グループの符号化ビットプレーンの係数ビットを取り出すアンパッカー112を制御する。
アンパッカー112の出力で、それぞれの変換係数が生じる。
したがって、図8はデコーダのブロック図を示し、特に[1]に加えて、両方の有意フラグタイプのサポートを可能にする拡張機能を示している。
完全を期すために、図8は[1]と比較して追加のGCLIパッカー102を示していることに留意されたい。
プレシンクト(またはサブバンド)が残差有意フラグで符号化されている場合、逆予測器は、GCLIパッカー102から予測残差を読み取るのではなく、単に予測残差をゼロとみなす。
係数有意フラグを使用する場合、逆予測器104はまったく同じ操作を実行することができる。
しかし、この予測の結果を使用する代わりに、値は単純にゼロ値に置き換えられる。
したがって、両方のフラグタイプを処理するために、図8のデコーダは、有意フラグバッファ94の出力および使用される有意フラグのタイプによって制御される4ビットMUX2要素、すなわち符号108を単純に含む。
したがって、デコーダに関する限り、ロジックの増加は無視できる。
本出願の特定の実施形態をJPEG XSの現在想定されているバージョンの拡張または修正として説明した後に、デコーダおよびエンコーダおよびデータストリームのさらなる実施形態を、上述の実施形態の一種の一般化として説明する。
図9は、エンコーダ100を示している。図9のエンコーダは、変換係数16をデータストリーム102に符号化するためのものである。
上述のように、変換係数16は、画像の変換の変換係数であってもよい。
変換係数16は、画像のスペクトル分解の複数の下位部分のうちの1つの下位部分を形成し、エンコーダ100は、下位部分(sub-portion basis)ごとに符号化を実行するように構成されてもよい。
そのような下位部分は、ウェーブレット変換のサブバンドなどのサブバンド、またはプレシンクトに対応する領域32など、画像が細分化される空間領域の対応する空間領域に関連する変換係数のグループであってもよい。
変換係数16は、例えばDCTなどの異なる変換の係数であってもよいことは明らかなことである。
変換係数は係数グループ18にグループ化される。グループ18当たりの係数16の数は、上述のように、1より大きい任意の数であってもよく、図9に示す4に限定されない。
係数16のグループ18へのグループ化は、1つのグループ18に属する係数16が同じサブバンドに属するように行われてもよい。
ウェーブレット変換の場合、1つのグループ18に属する係数16は、例えば、1つのサブバンドの空間的隣接であってもよく、変換係数16がDCT係数の場合、グループ18は、画像の空間的に隣接する領域から取得された異なるDCT変換ブロックに由来する係数16から構成されてもよく、1つのグループの係数は、これらのDCT変換ブロック内の1つの周波数成分または係数に対応する。
特に、DCT変換の場合、画像をブロック単位で同じサイズのDCT変換ブロックに変換することができ、その各係数位置は別々のサブバンドを表す。
例えば、これらのDCT変換ブロックのすべてのDC係数は、DCサブバンド、その右側の係数、別のサブバンドなどを表す。
次に、グループ18は、画像の隣接ブロックから得られたDCT変換ブロックの1つのサブバンドの係数を収集してもよい。
次に、係数グループ16は、グループセット40にグループ化される。
これは、異なるサブバンドの係数を混合しない方法で行うこともできる。
さらに、1つのグループセット40内の係数グループ18の係数16は、すべて同じサブバンドから生じてもよい。
図9のエンコーダ100は、有意符号化モードが使用されないグループセット40の第1のサブセット、すなわちGCLI残差が符号化されるグループセット40と、有意符号化モードが使用されるグループセットの第2のサブセット、すなわちGCLI残差が符号化されないグループセット40と、を識別する情報104をデータストリーム102に挿入する。
上記の説明では、情報104を形成するために、各グループセット40に対して1つのCSFフラグがデータストリーム102に挿入される。
グループセット40の第1のサブセットは、CSFが0であるか設定されていないグループセット40であり、第2のサブセットは、CSFが1であるグループセット40を含む。
現在のグループセット40の情報104を設定するために、エンコーダ100は、グループセット40内のすべての変換係数16が有意でない、すなわち0に量子化されているかどうかをチェックする106。
エンコーダ100は、1つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す切り捨て情報108をデータストリーム102に挿入することができる。
上記のGTLI値は、情報108の一部を形成することができる。
GTLI108は、例えば前述の下位部分の粒度で、すなわち例えばプレシンクトごとに、あるいはサブバンドまたは係数グループ行の単位などの他のレベルで、データストリーム102で送信されてもよい。
側面として、係数グループ18は、図に例示的に示されている以外に、係数行41に対して斜めの方向に沿って互いに隣接する係数16を収集してもよいことに留意されたい。 情報118が予測残差を提供するGCLI値は、データストリーム102に符号化される最上位ビットプレーンを、GTLIに関連するインデックスとして示すことができ、GTLIは、次に、マグニチュードビット24が切り捨てられる最下位ビットプレーンの中の最上位ビットをインデックス付けすることができる。
現在のグループセット40内のすべてのグループ18のすべての係数が0である場合には、このグループセット40のCSFフラグは符号110で設定され、そうでない場合には、符号112に示すように設定されない。
設定されない場合には、エンコーダ100は、隣接する係数グループ18に基づいて符号114でこのセットを予測することにより、例えば、データストリーム102に予測残差を挿入する116ことにより、符号化ビットプレーンのセットをデータストリーム102で通知し、それによりデータストリーム102にGCLIデータ118を形成する。
例えば、符号化ビットプレーンのセットは、インデックス付けにより、すなわち、最大の符号化ラインにインデックス付けすることにより、データストリーム102で通知されてもよい。
GCLI 118がGTLIよりも大きい現在のグループセット40内の係数グループ18について、エンコーダ100は、それぞれの係数グループ18の係数16の対応する係数ビット、すなわちビット24をデータストリーム102に符号化する。
このビット挿入120は、より具体的に言えば、ビットを生ビットとして挿入することなどにより、1のコードレートで行われてもよい。
次にGCLIデータ値は、例えば、上述の単進コードなどの可変長コードとしてデータストリーム102に符号化されてもよい。
符号120で挿入された生ビットは、図9の符号122に示されている。
既に上述したように、データストリーム102内では、生ビット122、GCLIデータ118、およびフラグ104は、インターリーブまたは非インターリーブされてもよい。
図示するように、CSF=1はグループセット40を表す非常に圧縮された方法である。
符号110または符号120のいずれかの後に、同じ方法で別のグループセット40で処理を進めることができる。
図10は、図9のエンコーダに対応するデコーダを示している。
図10のデコーダ200は、データストリーム102から変換係数16を再構成するように動作し、この目的のために、現在のグループセット40のCSFが設定されているかどうかをチェックし、その場合、デコーダ200は、グループセット40内のすべての変換係数16をゼロにする、すなわちゼロに設定するか、この変換係数16にノイズを合成する。
この目的のために、チェック206が、有意符号化モードが現在のグループセット40に使用されることを示している場合には、現在のグループセット40に対して何らかの有意でない処理210が実行される。
しかしながら、そうでない場合には、デコーダ200はグループセット40を通常通り処理する。
すなわち、デコーダ200は214で現在のグループセット40内の各係数グループ18のGCLIを予測し、データストリーム102から取得した予測残差を使用して予測を修正する216。
上述のように、可変長復号は、予測残差118を導出するために使用してもよい。
予測は、現在の係数グループまたは現在のグループ40に垂直に隣接する係数グループ18のGCLIを使用して行うことができる。
すなわち、この例では、現在のセット40内のすべてのグループ18について、予測基準、すなわち、垂直方向に隣接するグループ18は、現在のセット40の外部にある。
あるいは、予測214は、現在の係数グループまたは現在のグループ40に水平方向に隣接する係数グループ18のGCLIを使用して行われてもよい。
すなわち、現在の例では、左端を除く現在のセット40内のほとんどのグループ18について、例えば、予測基準、すなわち水平方向に隣接するグループ18は、現在のセット40内にある。
当然、データストリーム内の各グループ18の予測ソースを通知することは実行可能である。
非予測でさえ可能なモードかもしれない。
予測214の詳細は当然、予測114に転送することもできる。
モード切り替えは、代替として、係数行41またはグループ18の行、サブバンドまたはプレディクト(predincts)30など、グループ18またはセット40以外の粒度でエンコーダによって通知され選択されてもよい。
GCLIがGTLIより大きい、すなわち、符号化ビットプレーンのセットが量子化しきい値を下回っていない各係数グループ18について、符号218でデコーダ200によってチェックされる場合、それぞれの係数グループ18内の係数16の対応する符号化ビットプレーンのビットは、データストリーム102から符号220で読み取られる。
これは、デコーダ200がビットストリーム102からのビットをビットプレーンに挿入するための所定のマッピングルールに従って、データストリーム102、すなわち122のビットをGCLIおよびGTLIによって示されるビットプレーン、すなわちそれらの間で直接読み取りまたは復号する。
図9において、エンコーダ100は、オプションとして、データストリーム102内で、情報104がこの種の有意性指示に関係する、すなわち、例えばRSFではなくCSFに関係するという事実を通知できることがさらに示されている。
この指示は、250でエンコーダ100によってデータストリーム102にオプションで挿入されるものとして示されている。
図11は、CSFの代わりにRSFを使用するように構成されたエンコーダ300を示している。
図11のエンコーダ300は、次のように動作する。
特に、以下の説明は、図9のエンコーダ100の動作との違いに集中している。
図11のエンコーダ300は、符号314でそのグループセット40のすべての係数グループ18のGCLI予測器を決定し、符号316ですべての予測が正確に適合するかどうか、すなわち、グループセット40内のすべての係数グループ18について予測残差はすべて0であるかどうかを決定することにより、現在のグループセット40で動作する。 そうである場合には、エンコーダ300は、データストリーム102の有意情報104内の符号318でRSF=1を設定することによりこれを通知する。
ここで、指示250は、図9の指示250によって示されるように、CSF通知の代わりに、データストリーム102の情報フィールド104でRSF通知が伝えられることを示す。
しかし、すべてのGCLI予測残差が0でない場合には、このグループセット40のRSFフラグは符号220で0に設定され、現在のグループセット40の係数グループ18のGCLI値の予測残差は、符号322でデータストリーム102に、すなわちフィールド118内に挿入される。
RSFが設定されているかどうかに関係なく、切り捨てられていない符号化ビットプレーンが係数グループごとに存在するかどうかがチェックされ、存在する場合には、符号326でデータストリーム102に挿入される。
さらなる実施形態によるエンコーダは、例えば、RSFまたはCSFのいずれのオプションを符号化効率のセンス(sense)に従って優先するかを決定するために、両方のモードに従って、すなわち、図9または図11に従って、そこから選択して動作することができることに留意されたい。
図12は、指示250がCSFまたはRSF符号化の使用を示すかどうかに関係なく、指示250を含むデータストリーム102を扱うことができるデコーダ400を示す。
図10の符号が再利用されているが、情報104のフラグの意味が指示250に依存することを示すために、情報104は「CSF」ではなく「R/CSF」として示されている。
有意でない処理210は、現在のグループセット40に対応するフラグが設定され、CSFモードが指示250によって同時に指示されている場合にのみ、デコーダ400によって実行される。
そうでない場合には、図10と比較した動作モードのさらなる違いは、チェック402が、R/CSFフラグが現在のグループセット40に対して設定され、指示250がRSFモードを示す場合には、予測修正216がデコーダ400によってスキップされるという事実である。そうでない場合には、予測修正216が実行される。
図12に関して、図12のデコーダ400が図10のデコーダとほとんど異ならないことは注目に値することに留意されたい。
RSF符号化とCSF符号化の両方を処理する機能は、運用上のオーバーヘッドがほとんどない。
一方、デコーダ12に供給するためのデータストリーム102を生成するためのエンコーダをインストールしようとするすべての人には、指示250が使用されている場合、図11のRSFオプションまたは図9のCSFオプションから選択する機会が提供される。 この点で、CSFオプションには並列処理機能に関して利点がある可能性があるが、図11のRSFオプションは、例えばFPGAなどの形で、シーケンシャル操作スタイルでエンコーダを実装する場合に有利であることに留意されたい。
特に、RSF設定はステップ322での予測の予測基準ベースに依存するが、CSF設定は、GTLI、すなわち量子化について知る必要がある場合を除き、他の変換係数とは無関係に行うことができる。
図9から図12に関して、データストリーム102は、有意モードが使用されるかどうかの情報またはフラグをエンコーダによって提供されてもよく、それに応じて、情報104およびオプションで使用される通知250は、データストリーム102に存在せず、代わりにすべてのグループセット40が通常モードで処理されてもよいことに留意されたい。
<定義および略語>
これらは、ドキュメントに沿って使用されるいくつかの定義である。
GCLI:最大の符号化ラインインデックス
GCLI係数グループ:1つのGCLI値で表されるウェーブレット係数のグループ
エスケープGCLI:通常の符号化には使用されず、デコーダに特定の条件を通知するために使用することができるGCLI値
有意なGCLI:値がゼロより大きいGCLI
有意でないGCLI:値がゼロであるGCLI
GTLI:最大の切り捨てられたラインインデックス
切り捨てられたGCLI:max(GCLI−GTLI、0)の結果
有意でない切り捨てられたGCLI:値が係数グループのGTLI以下であるGCLI
GCLI残差:GCLI値に適用された予測の結果。これには、基準GCLIおよび対応するGTLI値が必要である。水平予測と垂直予測の2つのバリエーションがある。
プレシンクト:入力画像の特定の空間領域に寄与する種々のサブバンドの係数のグループ。
シナリオ:種々のウェーブレットサブバンドのGTLI値を導出するために使用できるプレシンクトベースで定義された量子化パラメータ。
RSF:非有意フラグ[1]としても知られる残差有意フラグ。
SIGグループ:SIGフラグが割り当てられているGCLI係数グループのグループ。有意グループとしても知られている。
CSF:係数有意フラグ
[参考文献]
[1]EP17162866.2,Decoder for decoding image data from a data stream,encoder for encoding image data into a data stream,and data stream comprising image data and data on greatest coded line index values
[2]intoPIX,“intoPIX Codec Submission for JPEG−XS CfP,Design Description”,wg1m73019
[3]AMBROISE RENAUD;BUYSSCHAERT CHARLES;PELLEGRIN PASCAL;ROUVROY GAEL,“Method and Device for display stream compression”,EP2773122 A1
[4]AMBROISE RENAUD;BUYSSCHAERT CHARLES;PELLEGRIN PASCAL;ROUVROY GAEL,“Method and Device for Display Stream Compression”,US9332258 BB
[5]Jean−Baptiste Lorent,“TICO Lightweight Codec Used in IP Networked or in SDI Infrastructure”,SMPTE RDD 35:2016
[6]Toshiaki Kojima,“LLVC−Low Latency Video Codec for Network Transfer”,SMPTE RDD 34:2015
[7]J.Kim and C.M.Kyung,“A Lossless Embedded Compression Using Significant Bit Truncation for HD Video Coding”,IEEE Transactions on Circuits and Systems for Video Technology,2010
図13は、データストリーム102の擬似コードの例を示している。
この擬似コードでは、指示250は「Rm」と呼ばれるパラメータ内で伝達される。
Rm=1はCSF符号化モードの使用を示し、符号506でテストした量子化しきい値Tを超えないようにするために、符号504で計算されたGCLI予測器の修正502がいずれの場合でも十分小さいような値になるように、符号500で予測残差Δmを総合的に設定することにより、ビット導出のスキップ(skipping)が促される。
データストリームからのGCLI残差読み取りのスキップは、符号508の有意フラグ情報に基づいて、予測フラグZに応じて予測残差、すなわちΔmの読み取りをレンダリングすることによって行われる。
Rmが0または1であるかどうかは、符号508での有意フラグに対する符号510での予測残差読み取り値のこの依存性に影響しない。
Rmが0である場合には、すなわちRSFモードがアクティブである場合には、予測残差Δmは符号512で0に設定される。
符号化ビットプレーンのビット導出は図13には示されていないが、Mが0より大きい変換係数グループに対してのみ行われる。
いくつかの態様について装置の文脈で説明したが、これらの態様は対応する方法の説明も表し、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応することは明らかである。
同様に、方法ステップの文脈で説明される態様は、対応するブロックまたはアイテムまたは対応する装置の機能の説明も表す。
方法ステップの一部またはすべては、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(またはそれを使用して)実行されてもよい。
いくつかの実施形態では、最も重要な方法ステップのうちの1つまたは複数をそのような装置によって実行することができる。
本発明の符号化データストリームは、デジタル記憶媒体に格納することができ、あるいは無線伝送媒体などの伝送媒体またはインターネットなどの有線伝送媒体で伝送することができる。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実現することができる。
この実施態様は、例えば、電子的に読み取り可能な制御信号が格納されている、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリなどの、デジタル記憶媒体を使用して実行することができ、これらは、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協力する(または協力することができる)。
したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。
本発明によるいくつかの実施形態は、本明細書に記載の方法の1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般に、本発明の実施形態は、プログラムコードを備えたコンピュータプログラム製品として実施することができ、プログラムコードは、コンピュータプログラム製品がコンピュータで実行されるときに方法の1つを実行するように動作する。
プログラムコードは、例えば、機械読み取り可能なキャリアに格納されてもよい。
他の実施形態は、機械読み取り可能なキャリアに格納された、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含む。
言い換えれば、したがって、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含み、それが記録されたデータキャリア(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。
データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形および/または非一時的である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。
データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書に記載の方法の1つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。
さらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを受信機に(例えば、電子的または光学的に)転送するように構成された装置またはシステムを含む。
受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。
装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバーを含んでもよい。
いくつかの実施形態では、プログラマブルロジックデバイス(例えば、フィールドプログラマブルゲートアレイ)を使用して、本明細書に記載の方法の機能の一部またはすべてを実行してもよい。
いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の1つを実行するためにマイクロプロセッサと協働してもよい。
一般に、本方法は、任意のハードウェア装置によって実行されることが好ましい。
本明細書で説明する装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実現することができる。
本明細書に記載の装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアで実現されてもよい。
本明細書で説明される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行されてもよい。
本明細書で説明される方法、または本明細書で説明される装置の任意の構成要素は、ハードウェアおよび/またはソフトウェアによって少なくとも部分的に実行されてもよい。
上述の実施形態は、本発明の原理の単なる例示にすぎない。
本明細書に記載の配置および詳細の修正および変更は、当業者には明らかであることを理解されたい。
したがって、本明細書の実施形態の説明および説明として提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図されている。
Figure 2020527303
Figure 2020527303
は[2]で使用される値と同じ値であるため、複雑さについてはこれ以上説明しない。
Figure 2020527303
の計算は、コンパレータ(<=5LUT)およびサブバンドごとに4ビットの1つのレジスタによって可能である。
さらに、GCLI値を1つの有意グループだけ遅延させることにより、初期予算計算が簡素化される。
1つの垂直ウェーブレット分解レベル(3×8サブバンド)の場合、これには3×8×8×4=768ビットが必要である。
ザイリンクスの場合、これは2×48=96LUT、またはアルテラデバイスの2 MLABブロックに対応する。
この予測方法では、次式が使用される。
Figure 2020527303

Figure 2020527303

Figure 2020527303
(1)
現在のGTLIと基準GTLIのtおよびti−1の両方が等しい場合、式(1)は次のように単純化される。
Figure 2020527303

(2)
予算の節約は
Figure 2020527303
についてのみ発生することがわかっているため、式(1)から次式を得る。
δ=t−max(gi−1,max(ti−1,t))
したがって、予算の節約は、gi−1
Figure 2020527303
、さらにパラメータti−1とtに一意に依存するため、簡単に計算できる。

Claims (45)

  1. データストリーム(102)から変換係数(16)を復号するように構成されたデコーダであって、
    前記変換係数は係数グループ(18)にグループ化され、
    前記係数グループ(18)はグループセット(40)にグループ化され、
    前記デコーダは、
    前記データストリーム(102)から有意符号化モードの指示(250)を導出し、
    前記データストリーム(102)から、有意符号化モードが使用されないグループセット(40)の第1のサブセットと、前記有意符号化モードが使用されるグループセット(40)の第2のサブセットと、を識別する情報(104)を導出し、
    前記第1のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、
    第1の以前に復号された係数グループに基づいて、符号化ビットプレーンの第1のセットの第1の予測を導出すること(214)と、
    符号化ビットプレーンの前記第1のセットの修正された予測を取得するために、前記データストリームから導出された第1の予測残差(118)を使用して前記第1の予測を修正すること(216)と、
    前記データストリームからの符号化ビットプレーンの第1のセットの前記修正された予測内の前記それぞれの係数グループのビットを導出すること(220)と、によって符号化ビットプレーンの前記第1のセットを識別し、
    前記第2のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、前記有意符号化モードが第1のモードである場合には、
    第2の以前に復号された係数グループに基づいて、符号化ビットプレーンの第2のセットの第2の予測を導出すること(214)により、符号化ビットプレーンの前記第2のセットを識別し、
    前記データストリームから符号化ビットプレーンの前記第2のセットの前記予測内の前記それぞれの係数グループのビットを導出し(220)、
    前記第2のサブセットの各グループセットについて、前記有意符号化モードが第2のモードである場合には、
    それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを継承する(210)、ように構成される、デコーダ。
  2. 前記変換係数は、画像(12)のスペクトル分解の複数の下位部分のうちの1つの下位部分を形成する、請求項1に記載のデコーダ。
  3. 前記デコーダは、前記データストリームから前記下位部分ごとに前記有意符号化モードを導出するように構成される、請求項2に記載のデコーダ。
  4. 前記下位部分は、前記画像(12)が細分される空間領域の対応する空間領域(32)に関する変換係数のサブバンドまたはグループである、請求項3に記載のデコーダ。
  5. 各係数グループの1つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す切り捨て情報(108)を前記データストリームから導出するように構成され、
    前記第1の予測、前記修正された予測および前記第2の予測は、前記1つまたは複数の切り捨てられた最下位ビットプレーンのセットの最上位の切り捨てられたビットプレーンに対する最上位ビットプレーンインデックスを示す、請求項1から4のいずれか一項に記載のデコーダ。
  6. 前記画像(12)が細分される空間領域の対応する空間領域(32)に関する変換係数の係数グループ行、サブバンド、またはグループの粒度で、前記1つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す前記切り捨て情報(108)を前記データストリームから導出するように構成される、請求項5に記載のデコーダ。
  7. 前記変換係数は、画像(12)のスペクトル分解(10)のスペクトル係数である、請求項1から6のいずれか一項に記載のデコーダ。
  8. 前記変換係数は、DCTまたはウェーブレット係数である、請求項1から7のいずれか一項に記載のデコーダ。
  9. 前記変換係数は、画像(12)のサブバンドへのスペクトル分解(10)のスペクトル係数であり、1つの係数グループ(18)内の変換係数(16)が同じサブバンドに属するような方法で前記係数グループ(18)にグループ化される、請求項1から8のいずれか一項に記載のデコーダ。
  10. 前記データストリームからグループセット(40)ごとに1つのフラグとして前記情報(104)を導出するように構成され、
    前記フラグが第1の状態を想定するグループセット(40)は、グループセットの前記第1のサブセットに属し、
    前記フラグが第2の状態を想定するグループセットは、グループセットの前記第2のサブセットに属する、請求項1から9のいずれか一項に記載のデコーダ。
  11. 符号化率1で前記ビットの前記導出(220)を実行するように構成される、請求項1から10のいずれか一項に記載のデコーダ。
  12. 有意ではない係数をゼロまたは擬似ノイズに設定するように構成される、請求項1から11のいずれか一項に記載のデコーダ。
  13. 変換係数(16)をデータストリーム(102)に符号化するように構成されたエンコーダであって、
    前記変換係数は係数グループ(18)にグループ化され、
    前記係数グループはグループセット(40)にグループ化され、
    前記エンコーダは、
    第1のモードまたは第2のモードである有意符号化モード(250)を前記データストリーム(102)において通知し、
    前記有意符号化モードが使用されないグループセットの第1のサブセットと、前記有意符号化モードが使用されるグループセットの第2のサブセットと、を識別する情報(104)を前記データストリーム(102)に挿入し、
    前記第1のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、
    第1の以前に符号化された係数グループに基づいて、符号化ビットプレーンの前記第1のセットの第1の予測を導出すること(114)と、
    符号化ビットプレーンの前記第1のセットの修正された予測を取得するために、前記第1の予測を修正するための第1の予測残差(118)を前記データストリーム(102)に挿入すること(116)と、
    符号化ビットプレーンの前記第1のセットの前記修正された予測内の前記それぞれの係数グループのビットを前記データストリームに挿入すること(120)と、によって、前記データストリーム内の符号化ビットプレーンの前記第1のセットを識別し、
    前記第2のサブセットの各グループセットの、前記それぞれのグループセットの各係数グループについて、前記有意符号化モードが前記第1のモードである場合には、
    第2の以前に符号化された係数グループに基づいて、符号化ビットプレーンの第2のセットの第2の予測を導出すること(114)により、符号化ビットプレーンの前記第2のセットを識別し、
    符号化ビットプレーンの前記第2のセットの前記予測内のビットを前記データストリームに挿入する(120)ように構成され、
    前記第2のモードである前記有意符号化モードは、前記第2のサブセットの各グループセット、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを通知する、エンコーダ。
  14. 前記変換係数は、画像のスペクトル分解の複数の下位部分のうちの1つの下位部分を形成する、請求項13に記載のエンコーダ。
  15. 前記エンコーダは、前記データストリームにおける通知により、下位部分ごとに少なくとも前記第1および第2のモードの中から前記有意符号化モードを選択して変更するように構成される、請求項14に記載のエンコーダ。
  16. 前記下位部分は、前記画像が細分される空間領域の対応する空間領域に関する変換係数のサブバンドまたはグループである、請求項15に記載のエンコーダ。
  17. 各係数グループの1つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す切り捨て情報を前記データストリームに挿入するように構成され、
    前記第1の予測、前記修正された予測および前記第2の予測は、前記1つまたは複数の切り捨てられた最下位ビットプレーンのセットの最上位の切り捨てられたビットプレーンに対する最上位ビットプレーンインデックスを示す、請求項13から16のいずれか一項に記載のエンコーダ。
  18. 前記画像が細分される空間領域の対応する空間領域に関する変換係数の係数グループ行、サブバンド、またはグループの粒度で、前記1つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す前記切り捨て情報を前記データストリームに挿入するように構成される、請求項17に記載のエンコーダ。
  19. 前記エンコーダは、デフォルトで少なくとも前記第1および第2のモードの中から前記有意符号化モードを選択するように構成されるか、または、
    前記エンコーダは、前記第1および第2のモードを含む符号化モードのセットをテストし、前記符号化モードのセットの中から所定の基準に従って最良の符号化モードを選択することにより、少なくとも前記第1および第2のモードの中から前記有意符号化モードを選択するように構成される、
    請求項13から18のいずれか一項に記載のエンコーダ。
  20. 前記所定の基準は、符号化率および/または符号化歪みに依存する、請求項19に記載のエンコーダ。
  21. 前記変換係数は、画像のスペクトル分解のスペクトル係数である、請求項13から20のいずれか一項に記載のエンコーダ。
  22. 前記変換係数は、DCTまたはウェーブレット係数である、請求項13から21のいずれか一項に記載のエンコーダ。
  23. 前記変換係数は、画像のサブバンドへのスペクトル分解のスペクトル係数であり、1つの係数グループ内の変換係数が同じサブバンドに属するような方法で前記係数グループにグループ化される、請求項13から22のいずれか一項に記載のエンコーダ。
  24. グループセットごとに1つのフラグとして前記情報を前記データストリームに挿入するように構成され、
    前記フラグが第1の状態を想定するグループセットは、グループセットの前記第1のサブセットに属し、
    前記フラグが第2の状態を想定するグループセットは、グループセットの前記第2のサブセットに属する、請求項13から23のいずれか一項に記載のエンコーダ。
  25. 符号化率1で前記ビットの前記挿入を実行するように構成される、請求項13から24のいずれか一項に記載のエンコーダ。
  26. 有意ではない係数は、ゼロまたは擬似ノイズに設定されるように通知される、請求項13から25のいずれか一項に記載のエンコーダ。
  27. データストリーム(102)から変換係数(16)を復号するように構成されたデコーダであって、
    前記変換係数(16)は係数グループ(18)にグループ化され、
    前記係数グループはグループセット(40)にグループ化され、
    前記デコーダは、
    前記データストリーム(102)から、有意符号化モードが使用されないグループセットの第1のサブセットと、前記有意符号化モードが使用されるグループセットの第2のサブセットと、を識別する情報(104)を導出し、
    前記第1のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、
    第1の以前に復号された係数グループに基づいて、符号化ビットプレーンの第1のセットの第1の予測を導出すること(214)と、
    符号化ビットプレーンの前記第1のセットの修正された予測を取得するために、前記データストリームから導出された第1の予測残差(118)を使用して前記第1の予測を修正すること(216)と、
    符号化率1で前記データストリームから、符号化ビットプレーンの第1のセットの前記修正された予測内の前記それぞれの係数グループのビットを導出すること(220)と、によって、符号化ビットプレーンの前記第1のセットを識別し、
    前記第2のサブセットの各グループセットについて、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを継承する(210)ように構成される、デコーダ。
  28. 前記有意符号化モードが適用されるか否かを前記データストリーム(102)から導出し、
    前記有意符号化モードが適用されない場合には、前記データストリームからの前記情報の前記導出をスキップし、前記第2のサブセットが空であると推測するように構成される、請求項27に記載のデコーダ。
  29. 前記変換係数は、画像のスペクトル分解の複数の下位部分のうちの1つの下位部分を形成し、
    前記デコーダは、下位部分ごとに前記有意符号化モードが適用されるか否かを前記データストリームから導出するように構成される、請求項28に記載のデコーダ。
  30. 前記下位部分は、前記画像が細分される空間領域の対応する空間領域に関する変換係数のサブバンドまたはグループである、請求項29に記載のデコーダ。
  31. 各係数グループの1つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す切り捨て情報を前記データストリームから導出するように構成され、
    前記第1の予測および前記修正された予測は、前記1つまたは複数の切り捨てられた最下位ビットプレーンのセットの最上位の切り捨てられたビットプレーンに対する最上位ビットプレーンインデックスを示す、請求項27から30のいずれか一項に記載のデコーダ。
  32. 前記画像が細分される空間領域の対応する空間領域に関する変換係数の係数グループ行、サブバンド、またはグループの粒度で、前記1つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す前記切り捨て情報を前記データストリームから導出するように構成される、請求項31に記載のデコーダ。
  33. 前記変換係数は、画像のスペクトル分解のスペクトル係数である、請求項27から32のいずれか一項に記載のデコーダ。
  34. 前記変換係数は、DCTまたはウェーブレット係数である、請求項27から33のいずれか一項に記載のデコーダ。
  35. 前記変換係数は、画像のサブバンドへのスペクトル分解のスペクトル係数であり、
    1つの係数グループ内の変換係数が同じサブバンドに属するような方法で前記係数グループにグループ化される、請求項27から34のいずれか一項に記載のデコーダ。
  36. グループセットごとに1つのフラグとして前記データストリームから前記情報を導出するように構成され、
    前記フラグが第1の状態を想定するグループセットは、グループセットの前記第1のサブセットに属し、
    前記フラグが第2の状態を想定するグループセットは、グループセットの前記第1のサブセットに属する、請求項27から35のいずれか一項に記載のデコーダ。
  37. 単進VLC符号を使用して前記第1の予測残差の前記導出を実行するように構成される、請求項27から36のいずれか一項に記載のデコーダ。
  38. 有意ではない係数をゼロまたは擬似ノイズに設定するように構成される、請求項27から37のいずれか一項に記載のデコーダ。
  39. 変換係数をデータストリームに符号化するように構成されたエンコーダであって、
    前記変換係数は係数グループにグループ化され、
    前記係数グループはグループセットにグループ化され、
    前記エンコーダは、
    前記有意符号化モードが使用されないグループセットの第1のサブセットと、前記有意符号化モードが使用されるグループセットの第2のサブセットと、を識別する情報を前記データストリームに挿入し、
    前記第1のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、
    第1の以前に復号された係数グループに基づいて、符号化ビットプレーンの第1のセットの第1の予測を導出すること(214)、により符号化ビットプレーンの前記第1のセットを識別し、
    符号化ビットプレーンの前記第1のセットの修正された予測を取得するために、前記第1の予測を修正するための第1の予測残差を前記データストリームに挿入し、
    符号化ビットプレーンの前記第1のセットの前記修正された予測内の前記それぞれの係数グループのビットを符号化率1で前記データストリームに挿入するように構成され、
    前記第2のサブセットの各グループセット、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数は有意でない、エンコーダ。
  40. データストリーム(102)から変換係数(16)を復号するための方法であって、
    前記変換係数は係数グループ(18)にグループ化され、
    前記係数グループ(18)はグループセット(40)にグループ化され、
    前記方法は、
    前記データストリーム(102)から有意符号化モードの指示(250)を導出するステップと、
    前記データストリーム(102)から、有意符号化モードが使用されないグループセット(40)の第1のサブセットと、前記有意符号化モードが使用されるグループセット(40)の第2のサブセットと、を識別する情報(104)を導出するステップと、
    前記第1のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、第1の以前に復号された係数グループに基づいて、符号化ビットプレーンの第1のセットの第1の予測を導出すること(214)と、符号化ビットプレーンの前記第1のセットの修正された予測を取得するために、前記データストリームから導出された第1の予測残差(118)を使用して前記第1の予測を修正すること(216)と、前記データストリームからの符号化ビットプレーンの第1のセットの前記修正された予測内の前記それぞれの係数グループのビットを導出すること(220)と、によって、符号化ビットプレーンの前記第1のセットを識別するステップと、
    前記第2のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、前記有意符号化モードが第1のモードである場合には、第2の以前に復号された係数グループに基づいて、符号化ビットプレーンの第2のセットの第2の予測を導出すること(214)により、符号化ビットプレーンの前記第2のセットを識別するステップと、
    前記データストリームから符号化ビットプレーンの前記第2のセットの前記予測内の前記それぞれの係数グループのビットを導出するステップ(220)と、
    前記第2のサブセットの各グループセットについて、前記有意符号化モードが第2のモードである場合には、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを継承するステップ(210)と、
    を含む、方法。
  41. 変換係数(16)をデータストリーム(102)に符号化するための方法であって、
    前記変換係数は係数グループ(18)にグループ化され、
    前記係数グループはグループセット(40)にグループ化され、
    前記方法は、
    第1のモードまたは第2のモードである有意符号化モード(250)を前記データストリーム(102)において通知するステップと、
    前記有意符号化モードが使用されないグループセットの第1のサブセットと、前記有意符号化モードが使用されるグループセットの第2のサブセットと、を識別する情報(104)を前記データストリーム(102)に挿入するステップと、
    前記第1のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、第1の以前に符号化された係数グループに基づいて、符号化ビットプレーンの第1のセットの第1の予測を導出すること(114)と、符号化ビットプレーンの前記第1のセットの修正された予測を取得するために、前記第1の予測を修正するための第1の予測残差(118)を前記データストリーム(102)に挿入すること(116)と、符号化ビットプレーンの前記第1のセットの前記修正された予測内の前記それぞれの係数グループのビットを前記データストリームに挿入すること(120)と、によって、前記データストリーム内の符号化ビットプレーンの前記第1のセットを識別するステップと、
    前記第2のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、前記有意符号化モードが前記第1のモードである場合には、第2の以前に符号化された係数グループに基づいて、符号化ビットプレーンの第2のセットの第2の予測を導出すること(114)と、符号化ビットプレーンの前記第2のセットの前記予測内のビットを前記データストリームに挿入すること(120)と、によって、符号化ビットプレーンの前記第2のセットを識別するステップと、を含み、
    前記第2のモードである前記有意符号化モードは、前記第2のサブセットの各グループセット、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを通知する、方法。
  42. データストリーム(102)から変換係数(16)を復号するための方法であって、
    前記変換係数(16)は係数グループ(18)にグループ化され、
    前記係数グループはグループセット(40)にグループ化され、
    前記方法は、
    前記データストリーム(102)から、有意符号化モードが使用されないグループセットの第1のサブセットと、前記有意符号化モードが使用されるグループセットの第2のサブセットと、を識別する情報(104)を導出するステップと、
    前記第1のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、第1の以前に復号された係数グループに基づいて、符号化ビットプレーンの第1のセットの第1の予測を導出すること(214)と、符号化ビットプレーンの前記第1のセットの修正された予測を取得するために、前記データストリームから導出された第1の予測残差(118)を使用して前記第1の予測を修正すること(216)と、符号化率1で前記データストリームから、符号化ビットプレーンの第1のセットの前記修正された予測内の前記それぞれの係数グループのビットを導出すること(220)と、によって、符号化ビットプレーンの前記第1のセットを識別するステップと、
    前記第2のサブセットの各グループセットについて、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを継承するステップ(210)と、を含む、方法。
  43. 変換係数をデータストリームに符号化するための方法であって、
    前記変換係数は係数グループにグループ化され、
    前記係数グループはグループセットにグループ化され、
    前記方法は、
    前記有意符号化モードが使用されないグループセットの第1のサブセットと、前記有意符号化モードが使用されるグループセットの第2のサブセットと、を識別する情報を前記データストリームに挿入するステップと、
    前記第1のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、第1の以前に復号された係数グループに基づいて、符号化ビットプレーンの第1のセットの第1の予測を導出することと、符号化されたビットプレーンの前記第1のセットの修正された予測を取得するために、前記第1の予測を修正するための第1の予測残差を前記データストリームに挿入することと、符号化ビットプレーンの前記第1のセットの前記修正された予測内の前記それぞれの係数グループのビットを符号化率1で前記データストリームに挿入することと、によって、符号化ビットプレーンの前記第1のセットを識別するステップと、を含み、
    前記第2のサブセットの各グループセット、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数は有意でない、方法。
  44. 請求項41または請求項43に記載の方法により生成されたデータストリーム。
  45. 請求項40から請求項43のいずれか一項に記載の方法をコンピュータに実行させる場合に、実行するためのプログラムコードを有するコンピュータプログラム。
JP2020500890A 2017-07-10 2018-03-12 ビットプレーン符号化 Active JP7128580B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17180617 2017-07-10
EP17180617.7 2017-07-10
PCT/EP2018/056122 WO2019011484A1 (en) 2017-07-10 2018-03-12 BINARY PLAN CODING

Publications (2)

Publication Number Publication Date
JP2020527303A true JP2020527303A (ja) 2020-09-03
JP7128580B2 JP7128580B2 (ja) 2022-08-31

Family

ID=59366227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020500890A Active JP7128580B2 (ja) 2017-07-10 2018-03-12 ビットプレーン符号化

Country Status (6)

Country Link
US (3) US10743014B2 (ja)
EP (2) EP3652944B1 (ja)
JP (1) JP7128580B2 (ja)
KR (1) KR102364942B1 (ja)
CN (1) CN110915218B (ja)
WO (1) WO2019011484A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188709A1 (en) 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
US10893297B2 (en) * 2018-03-22 2021-01-12 Apical Ltd. Processing image data using tiered bit-layers
US11418788B2 (en) 2019-01-21 2022-08-16 Lg Electronics Inc. Method and apparatus for processing video signal
US11882285B2 (en) 2019-01-23 2024-01-23 Lg Electronics Inc. Video signal processing method and device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012124837A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像復号化装置および方法、画像符号化装置および方法、並びにプログラム
US20140247999A1 (en) * 2013-03-01 2014-09-04 intoPIX SA Method and device for display stream compression
WO2015191535A2 (en) * 2014-06-09 2015-12-17 Qualcomm Incorporated Entropy coding techniques for display stream compression (dsc)
WO2018041379A1 (en) * 2016-08-29 2018-03-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Improvements for greatest common line index (gcli) video coding
WO2018114813A1 (en) * 2016-12-19 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding using a subband dependent prediction adaption for gcli entropy coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
KR100918377B1 (ko) 2006-05-30 2009-09-22 주식회사 메디슨 영상압축 방법
US8582652B2 (en) * 2007-10-30 2013-11-12 General Instrument Corporation Method and apparatus for selecting a coding mode
JP5616439B2 (ja) * 2009-06-16 2014-10-29 コーニンクレッカ フィリップス エヌ ヴェ 信号のスケーラブルビットストリームへの符号化及び斯様なビットストリームの復号化
CN106454373B (zh) 2010-04-13 2019-10-01 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器及编码方法
EP3125555B1 (en) * 2010-08-17 2018-04-18 M&K Holdings Inc. Method for encoding an intra prediction mode
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
EP2773122A1 (en) * 2013-03-01 2014-09-03 intoPIX s.a. Method and device for display stream compression
WO2018041840A1 (en) * 2016-08-29 2018-03-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Improvements for greatest common line index (gcli) video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012124837A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像復号化装置および方法、画像符号化装置および方法、並びにプログラム
US20140247999A1 (en) * 2013-03-01 2014-09-04 intoPIX SA Method and device for display stream compression
WO2015191535A2 (en) * 2014-06-09 2015-12-17 Qualcomm Incorporated Entropy coding techniques for display stream compression (dsc)
WO2018041379A1 (en) * 2016-08-29 2018-03-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Improvements for greatest common line index (gcli) video coding
WO2018114813A1 (en) * 2016-12-19 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding using a subband dependent prediction adaption for gcli entropy coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEXANDRE WILLEME ET AL.: "Quality and Error Robustness Assessment of Low-Latency Lightweight Intra-Frame Codecs for Screen Con", IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS, vol. 6, no. 4, JPN6021011743, December 2016 (2016-12-01), pages 471 - 483, XP011636935, ISSN: 0004476558, DOI: 10.1109/JETCAS.2016.2601166 *
ANTONIN DESCAMPE ET AL.: "JPEG XS, a new standard for visually lossless low-latency lightweight image compression", PROC. SPIE 10396, APPLICATIONS OF DIGITAL IMAGE PROCESSING, vol. 10396, JPN7021001089, September 2017 (2017-09-01), pages 1 - 12, XP060093530, ISSN: 0004476559, DOI: 10.1117/12.2273625 *
THOMAS RICHTER ET AL.: "High Speed, Low-Complexity Image Coding for IP-Transport with JPEG XS", PROC. SPIE 9971, APPLICATIONS OF DIGITAL IMAGE PROCESSING, vol. 9971, JPN7021001088, September 2016 (2016-09-01), pages 1 - 10, ISSN: 0004476557 *

Also Published As

Publication number Publication date
US11438617B2 (en) 2022-09-06
KR20200024318A (ko) 2020-03-06
CN110915218A (zh) 2020-03-24
EP3652944A1 (en) 2020-05-20
JP7128580B2 (ja) 2022-08-31
US20190045206A1 (en) 2019-02-07
EP4114007A1 (en) 2023-01-04
WO2019011484A1 (en) 2019-01-17
US10743014B2 (en) 2020-08-11
US20200404307A1 (en) 2020-12-24
KR102364942B1 (ko) 2022-02-18
CN110915218B (zh) 2022-03-15
US20200374539A1 (en) 2020-11-26
US11457232B2 (en) 2022-09-27
EP3652944B1 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
US11671599B2 (en) Data encoding and decoding
US11463698B2 (en) Selection of the maximum dynamic range of transformed data and the data precision of transform matrices according to the bit depth of input data
US11290751B2 (en) Data encoding and decoding
KR101356733B1 (ko) 컨텍스트 기반 적응적 이진 산술 부호화, 복호화 방법 및장치
JP7245341B2 (ja) 統合変換タイプ通知および変換タイプ依存変換係数レベルコーディング
CN107347155B (zh) 用于编码和解码图像的方法、编码和解码设备
JP7128580B2 (ja) ビットプレーン符号化
EP2624554B1 (en) Dynamic image encoding device, dynamic image encoding method, and computer program for dynamic image encoding
KR102361206B1 (ko) Gcli 엔트로피 코딩을 위한 부대역 의존 예측 적응을 사용하여 인코딩 또는 디코딩하기 위한 방법 및 장치
US10070127B2 (en) Method and apparatus for arithmetic coding and termination
US20190014321A1 (en) Decoder, encoder and methods for coding a sequence of portions of media from/into a data stream using an unary code

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220817

R150 Certificate of patent or registration of utility model

Ref document number: 7128580

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150