JP2022031120A - 映像圧縮および格納システムと映像圧縮および解凍方法 - Google Patents

映像圧縮および格納システムと映像圧縮および解凍方法 Download PDF

Info

Publication number
JP2022031120A
JP2022031120A JP2021077978A JP2021077978A JP2022031120A JP 2022031120 A JP2022031120 A JP 2022031120A JP 2021077978 A JP2021077978 A JP 2021077978A JP 2021077978 A JP2021077978 A JP 2021077978A JP 2022031120 A JP2022031120 A JP 2022031120A
Authority
JP
Japan
Prior art keywords
sample
residual
deflection
reconstructed
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021077978A
Other languages
English (en)
Other versions
JP2022031120A5 (ja
Inventor
ビジャヤラガヴァン ティルマライ
THIRUMALAI Vijayaraghavan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of JP2022031120A publication Critical patent/JP2022031120A/ja
Publication of JP2022031120A5 publication Critical patent/JP2022031120A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】負でない有界再構成誤差を確保できる映像圧縮、格納および解凍システムおよび方法を提供する。【解決手段】本発明の一実施形態による映像圧縮および格納システムのフレーム圧縮方法は、フレームの元の標本の残差にモジュロ加算を適用して、前記元の標本のビット深さと最大許容誤差に基づいて偏向残差を生成すること、前記最大許容誤差に基づいて前記偏向残差を量子化して量子化偏向残差を生成すること、及び前記量子化偏向残差に対応する値を符号化して負でない再構成誤差を有する符号化値を生成することを含む。【選択図】図1

Description

本発明は、映像圧縮および格納システムと映像圧縮および解凍方法に関する。
本出願は、2020年8月7日付で米国特許庁に出願した米国特許出願番号第63/063,004号および第63/062,963号を優先権主張し、ここに引用することによりこの出願の全体内容を本願に含む。
本出願はまた、米国に同日付で提出した「DPCM CODEC WITH HIGHER RECONSTRUCTION QUALITY ON IMPORTANT GRAY LEVELS」という名称の米国特許出願に関連がある。
サイズが小さく、画質に優れ、電力消費が小さいため、液晶表示装置(LCD:liquid crystal displays)、発光ダイオード(LCD:light emitting diode)表示装置などのフラットパネル表示装置は普遍的な装置となっている。
表示パネルの画素は特定の応答時間を有している。画素に供給されて表示されるデータは、画素が反応するよりも速く変化することがある。このため、モーションブラーやゴースト効果などの望ましくない効果が現れることがある。表示映像をより美しくするために、映像補正技術が必要である。オーバードライブアルゴリズムが開発されて映像データを補正することによって、表示画素に発生するモーションブラーを低減している。
背景技術に記載の情報は本発明の理解を深めるためのものであるため、当業者にすでに知られた従来技術に該当しない情報を含むことができる。
米国特許第6324216号明細書 米国特許第8447121号明細書 米国特許第9319684号明細書
本発明が解決しようとする課題は、負でない有界再構成誤差を確保できる映像圧縮、格納および解凍システムおよび方法を提供することである。
本発明の一実施形態による映像圧縮および格納システムにおけるフレーム圧縮方法は、フレームの元の標本の残差(residue)にモジュロ加算(modulo addition)を適用して、前記元の標本のビット深度と最大許容誤差に基づいて偏向残差(biased residue)を生成すること、前記最大許容誤差に基づいて前記偏向残差を量子化して量子化偏向残差(quantized biased residue)を生成すること、及び前記量子化偏向残差に対応する値を符号化して負でない再構成誤差を有する符号化値(encoded value)を生成すること、を含む。
本発明の一実施形態によれば、前記偏向残差を生成することは、以下の式に基づいて前記偏向残差を計算することを含み、前記元の標本は、前記フレームの画素の色値に相当してもよい。
Figure 2022031120000002

(ここで、e’は前記偏向残差を表し、eは前記元の標本の前記残差を表し、bitdepthは前記元の標本のビット深度を表し、δは前記最大許容誤差を表す。)
本発明の一実施形態によれば、前記偏向残差は、-δ≦e’≦2bitdepth-1で表される範囲内にあってもよい。
本発明の一実施形態によれば、前記元の標本を受信すること、及び前記元の標本から前の再構成標本(previous reconstructed sample)の予測(prediction)を引いて前記元の標本の前記残差を生成すること、をさらに含んでもよい。
本発明の一実施形態によれば、前記量子化偏向残差に対応する値は、前記量子化偏向残差に対応する量子化インデックスであってもよい。
本発明の一実施形態によれば、前記偏向残差の量子化は、前記最大許容誤差に1を加えた値と同一の量子化ステップサイズに基づいてもよい。
本発明の一実施形態によれば、前記量子化偏向残差を生成することは、以下の式に基づいて前記量子化偏向残差の量子化インデックスを計算することを含んでもよい。
Figure 2022031120000003

(ここで、I[e’]は量子化インデックスを表し、Ceiling(.)は天井関数を表し、e’は前記偏向残差を表し、δは前記最大許容誤差を表す。)
本発明の一実施形態によれば、前記量子化偏向残差を生成することは、不均一量子化バンドを用いることを含んでもよい。
本発明の一実施形態によれば、前記量子化偏向残差に逆量子化を行って再構成偏向残差(reconstructed biased residue)を生成すること、前記再構成偏向残差に前の再構成標本(previous reconstructed sample)の予測(prediction)を加えて再構成偏向標本(reconstructed biased sample)を生成すること、前記元の標本のビット深度および前記最大許容誤差に基づいて前記再構成偏向標本にモジュロ減算およびクリッピング演算を適用して再構成標本(reconstructed sample)を生成すること、及び前記再構成標本に基づいて次の再構成標本の予測を生成すること、をさらに含んでもよい。
本発明の一実施形態によれば、前記再構成標本生成段階は、下の式に基づいて前記再構成標本を計算することを含んでもよい。
Figure 2022031120000004

(yは前記再構成標本を表し、xは前記再構成偏向標本を表し、bitdepthは前記元の標本のビット深度を表し、δは前記最大許容誤差を表す。)
本発明の一実施形態によれば、前記逆量子化を実行することは、前記最大許容誤差と同一の量子化バンドサイズおよび量子化インデックスに基づいてもよい。
本発明の一実施形態によれば、前記再構成偏向残差生成段階は、以下の式に基づいて前記再構成偏向残差を計算することを含んでもよい。
Figure 2022031120000005

(Q(e’)は前記偏向残差e’に関連する前記再構成偏向残差を表し、I[e’]は量子化インデックスを表し、δは前記最大許容誤差を表す)
本発明の一実施形態によれば、前記量子化偏向残差に対して逆量子化を実行することは、不均一量子化テーブルに基づいてもよい。
本発明の一実施形態によれば、前記符号化値を生成することは、前記量子化偏向残差に対応する値をエントロピー符号化して前記符号化値を生成することを含んでもよい。
本発明の一実施形態によれば、前記フレームの画素の色値のビット深度を減少させることによって、前記フレームを切断(トランケーション)して前記元の標本を生成することをさらに含み、前記フレームは、赤緑青(RGB)フォーマットまたは赤緑青緑(RGBG)フォーマットであってもよい。
本発明の一実施形態による解凍方法は、映像圧縮および格納システムにおいてフレームに対応する格納された映像データを解凍する方法であって、前記フレームの元の標本に対応する符号化値(encoded value)を復号して、量子化偏向残差(quantized biased residue)に対応する復号値(decoded value)を生成すること、前記復号値に逆量子化を行って再構成偏向残差(reconstructed biased residue)を生成すること、前記再構成偏向残差に前の再構成標本(previous reconstructed sample)の予測(prediction)を加えて再構成偏向標本(reconstructed biased sample)を生成すること、及び前記元の標本のビット深度と最大許容誤差に基づいて前記再構成偏向標本にモジュロ減算を適用して再構成標本(reconstructed sample)を生成すること、を含む。
本発明の一実施形態によれば、前記再構成標本に基づいて次の再構成標本の前記予測を生成することをさらに含んでもよい。
本発明の一実施形態によれば、前記再構成標本を生成することは、以下の式に基づいて前記再構成標本を計算することを含んでもよい。
Figure 2022031120000006

(ここで、yは前記再構成標本を表し、xは前記再構成偏向標本を表し、bitdepthは前記元の標本のビット深度を表し、δは前記最大許容誤差を表す。)
本発明の一実施形態によれば、前記復号値は、量子化インデックスであり、前記再構成偏向残差を生成することは、以下の式に基づいて前記再構成偏向残差を計算することを含んでもよい。
Figure 2022031120000007

(ここで、Q(e’)は前記再構成偏向残差を表し、I[e’]は量子化インデックスを表し、e’は前記偏向残差を表し、δは前記最大許容誤差を表す。)
本発明の一実施形態による映像圧縮および格納システムは、プロセッサと、前記プロセッサにローカルな(local to)プロセッサメモリとを含み、前記プロセッサメモリは、命令を格納し、前記プロセッサは、前記命令を実行して、フレームの元の標本の残差(residue)にモジュロ加算(modulo addition)を適用して、前記元の標本のビット深度と最大許容誤差に基づいて偏向残差(biased residue)を生成し、前記最大許容誤差に基づいて前記偏向残差を量子化して量子化偏向残差(quantized biased residue)を生成し、前記量子化偏向残差に対応する値を符号化して格納媒体に格納するための符号化値(encoded value)を生成し、前記格納媒体から前記符号化値を呼び出し、前記符号化値を復号して、量子化偏向残差(quantized biased residue)に対応する復号値(decoded value)を生成し、前記復号値に逆量子化を行って再構成偏向残差(reconstructed biased residue)を生成し、再構成偏向残差に前の再構成標本(previous reconstructed sample)の予測(prediction)を加えて再構成偏向標本(reconstructed biased sample)を生成し、前記元の標本のビット深度と前記最大許容誤差に基づいて前記再構成偏向標本にモジュロ減算を適用して再構成標本(reconstructed sample)を生成し、前記元の標本と前記再構成標本との差は負でない。
こうすることにより、映像圧縮、格納および解凍解除システムおよび方法において負でない有界再構成誤差を確保できる。
本発明の一実施形態による映像圧縮および格納システムを用いるフレーム補正システムの概略図である。 本発明の一実施形態による映像圧縮および格納システムの符号器の概略図である。 本発明の一実施形態による映像圧縮および格納システムの復号器の概略図である。 本発明の一実施形態による符号器の一部を復号器の一部とともに示す概略図である。 図3Aを単純化した図であって、本発明の一実施形態によるエントロピー符号器と復号器の恒等演算(identity operation)を示す。 本発明の一実施形態による量子化器が用いる量子化テーブルを示す。 本発明の一実施形態による量子化器の演算を示す。 本発明の一実施形態による量子化器が用いる均一および不均一量子化テーブルを示す。 本発明の一実施形態による量子化器が用いる均一および不均一量子化テーブルを示す。 本発明の一実施形態による内環(in-loop)写像(mapping)がある符号器の概略ブロック図である。 本発明の一実施形態によるオフライン(offline)/外環(outer-loop)写像がある符号器の概略ブロック図である。 それぞれ本発明の一実施形態による内環写像がある復号器およびオフライン/外環写像がある復号器の概略ブロック図である。 それぞれ本発明の一実施形態による内環写像がある復号器およびオフライン/外環写像がある復号器の概略ブロック図である。 本発明の一実施形態による互いに異なる値の最大誤差δと定数cが与えられた互いに異なる標本値に対して潜在再構成誤差の数値例を示す表である。 本発明の一実施形態による互いに異なる値の最大誤差δと定数cが与えられた互いに異なる標本値に対して潜在再構成誤差の数値例を示す表である。 本発明の一実施形態による0でない標本値の重要性を考慮した互いに異なる標本値に対して潜在再構成誤差の数値例を示す表である。 本発明の一実施形態により負でない再構成誤差が保障されない映像圧縮および格納システムの写像および逆写像関数に基づいて互いに異なる標本値に対する潜在再構成誤差の数値例を示す表である。 本発明の一実施形態により負でない再構成誤差が保障されない映像圧縮および格納システムの写像および逆写像関数に基づいて互いに異なる標本値に対する潜在再構成誤差の数値例を示す表である。
以下、添付した図面を参照して後述する詳細な説明は、データ圧縮システムおよび方法の実施形態に関するものであって、本発明により実現または利用される形態をすべて表現したものではない。以下、添付した図面を参照して、本発明の実施形態について詳細に説明する。しかし、互いに異なる実施形態で実現されるものと同一または均等な機能と構造も本発明の範囲内に含まれる。明細書全体にわたって同一または類似の構成要素については同一の図面符号を付した。
図1は、本発明の一実施形態により映像圧縮および格納システム10を用いるフレーム補正システム1の概略図である。
本発明の一実施形態によれば、映像圧縮および格納システム10は、符号器100と、格納媒体200と、復号器300とを含む。符号器100は、データを符号化(例:圧縮)してサイズを縮小し、格納媒体200は、符号化されたデータを格納し、復号器300は、格納されたデータを復号(例:解凍)してデータを再構成する。4K映像フレームなどのあるデータを格納するには多くのメモリ空間が消費される。ここで、符号器100および復号器300は、空間と費用を節約できるより小さい格納媒体200を使用可能にする。図1に示すように、本発明の一実施形態によれば、映像圧縮および格納システム10がフレーム補正システム1の一部をなすことができ、フレーム補正システム1内にあるオーバードライブシステム20が前フレームを用いて現フレームを補正する(例:ゴースト(ghosting effect)またはぼやけ(blurring)を低減する)。本発明の一実施形態によれば、切断および遅延回路(truncation and delay circuit)30は、(例えば、色相あたり8ビット(bpc)の)フレームを受信し、そのフレームを切断し(つまり、フレームの画素値のbpc数を、例として3bpcに減少させ)、そのフレームを遅延させて切断された前フレームを生成する。映像圧縮および格納システム10は、続いて、前フレームを圧縮し、これを格納して後にオーバードライブシステム20が使用できるようにする。ここで、切断および圧縮は、格納されたフレームの大きさを元(前)のフレームより非常に小さくすることができる。例えば、各色値(color value)が8ビット(または画素あたり24ビット(bpp))で表現されるRGB入力フレームの場合、切断によって3bpc/9bppのフレーム表現になり、符号器100が1.5:1の圧縮を行うと、これを再び2bpc/6bppに減少させることができる。しかし、本発明の実施形態は、RGB入力フレームに限定されず、RGBG(ペンタイル(pentile)副画素(sub-pixel)配列の場合)など適切な入力フレームフォーマットであればいかなるものも使用可能である。例えば、RGBG入力フレームの場合、切断によってフレームの大きさを16bppから6bppに減少させることができ、符号器100が1.5:1の圧縮を行ってその大きさを再び4bppに減少させることができる。また、本発明の実施形態は、前記切断動作を用いることに限定されず、本発明の一実施形態によれば、先に説明した過程において切断および遅延回路30を遅延ブロックに代替し、切断動作を省略可能である。
再構成誤差(reconstruction error)、つまり、映像圧縮および格納システム10が導入する誤差(いずれも量子化誤差である)が単に負でない場合に、オーバードライブシステム20の性能が改善できる。従来の暗号化方式は、通常、平均二乗誤差(MSE:mean square error)またはピーク信号対雑音比(PSNR:peak signal to noise ratio)を適正化するものであり、これは、再構成映像の誤差の極性(polarity)が正でも負でもよいことを意味する。本発明の一実施形態によれば、映像圧縮および格納システム10は、オーバードライブシステム20の性能を改善し、これは、再構成フレームと元のフレームとの差で定義される再構成誤差(つまり、量子化誤差)が常に負でなく(つまり、0以上であり)、設定最大値に限定されるようにすることで可能である。
本願明細書全体にわたり、フレームは、複数の画素を含む映像フレームのデータを意味する。フレームの各画素は、複数の色値(例:赤色、緑色および青色)で表現される。
図2Aは、本発明の一実施形態による映像圧縮および格納システム10の符号器100の概略図である。図2Bは、本発明の一実施形態による映像圧縮および格納システム10の復号器300の概略図である。
図2Aを参照すすると、本発明の一実施形態によれば、符号器100は、元の標本(例:切断されたフレーム)自体ではなく、元の標本の残差(residual)を符号化する予測暗号化方式を使用する。残差(誤差eともいう)は、元の標本と1つ以上の隣接した標本に基づいた予測(例:前の標本の予測)の差と定義する。本発明の一実施形態によれば、標本予測器110は、前の標本の予測を生成し、減算器120は、元の標本と予測標本に基づいて残差値を計算する。算出された残差は、正の値または負の値であってもよい。モジュロ加算器130は、1ビットの符号情報を知らせる費用を低減するために、残差に偏向値(bias value)を加える。量子化器140は、偏向残差値(biased residual value)を量子化して量子化偏向値(quantized biased value)を生成し、相当する量子化インデックスをエントロピー符号器150に伝達して圧縮(例:エントロピー符号化などの無損失圧縮)などがさらに行われるようにする。この圧縮データ(compressed data)(または符号化値(encoded value))を格納媒体200に格納する。後でさらに説明するが、本発明の一実施形態によれば、偏向値は、量子化ステップサイズ(step size)の関数である。
本発明の一実施形態によれば、予測標本を生成するために、逆量子化器160は、量子化器140が行った演算の逆演算を量子化偏向残差に行って再構成偏向残差(reconstructed biased residue)を生成し、加算器170は、前の再構成標本の予測を再構成偏向残差に加えて再構成偏向標本を生成し、モジュロ減算器180は、モジュロ加算器130が加えた値を引いて再構成標本を生成する。本発明の一実施形態によれば、クリッピング(clipping)関数を再構成標本に適用して、与えられたビット深度に対して[0,2bitDepth-1]で表現される所期の動的範囲(desired dynamic range)内に存在させることができる。標本予測器110は、この再構成標本(例:クリッピングされた再構成標本)を用いて次の標本を予測する。
図2Bを参照すると、本発明の一実施形態によれば、復号器300は、格納媒体200から受けた格納された標本を解凍するエントロピー復号器310と、先に説明したものと同一の逆量子化器160と、加算器170と、モジュロ減算器180と、標本予測器110とを含む。エントロピー復号器310を除けば、復号器300の残りの部分は、符号器100と同一であり、同一の方式で構成される。したがって、簡潔さのため、これらに関する詳細な説明は省略する。
復号器300は、元の標本にはアクセスせず、再構成標本にのみアクセスするため、復号器300の標本予測器110は、再構成標本を用いて前の標本の予測を生成する。また、符号器100と復号器300の動作がミラーリングするので、符号器100の標本予測器110も、同一の再構成標本を用いて前の標本の予測を生成し、これによって、符号器100が元の標本にアクセスしなくても復号器300と同期化(in-sync with)可能である。
本発明の一実施形態によれば、符号器100と復号器300は、画素の単一色値に対して動作できる。したがって、複数の符号器100と復号器300が並列に動作して(例えば、同時に動作して)、1画素の様々な色相を処理することができる。
図3Aは、本発明の一実施形態による符号器の一部を復号器の一部とともに示す概略図である。図3Bは、図3Aを単純化した図であって、本発明の一実施形態によるエントロピー符号器と復号器の恒等演算(identity operation)を示す。
本発明の一実施形態によれば、符号器100と復号器300の構成が行う演算は、量子化器140を除けば、すべて無損失演算である。例えば、図3Aに(ブロックAに)示したエントロピー符号器150とエントロピー復号器310の順次演算は恒等演算であるので、図3Bのように省略しても構わない。したがって、復号器300の出力の再構成標本と符号器100の入力の元の標本との差で定義される信号空間での誤差は、残差空間での誤差と均等である。
Error (residual) = R-e’ = Q[e’] - e’ (数式1)
ここで、e’は量子化器140に入力される偏向残差であり、Rは逆量子化器160の出力であり、Q[.]は量子化器140の量子化と逆量子化器160の逆量子化が結合された関数である。
したがって、残差空間での誤差が負でないまま維持されると、信号空間での誤差も負でないはずである。また、残差空間での誤差が有界であれば(bounded)、つまり、R-e’≦δ(ここで、δは最大許容誤差を表す正の整数)であれば、信号空間での誤差もδに限定される。このような関係は、モジュロ加算器130とモジュロ減算器180が存在しても維持される。これとは異なり、従来の変換暗号化(transform coding)(例:HEVC(high efficiency video coding)、JPEG-2000、またはVDC-M(VESA display compression-M))は、負でない再構成誤差を保障するのに適合しないが、これは、変換されたドメイン(transformed domain)での正の誤差が信号空間での負でない再構成誤差を保障しないからである。これは、離散コサイン変換(DCT:discrete cosine transform)などの変換が原本と変換係数との間のL2-norm(またはエネルギー)を格納するものの、L1-normは格納しないからである。
したがって、本発明の一実施形態によれば、モジュロ加算器130および量子化器140は、残差空間での誤差が負でない状態を維持し、有界(つまり、δに制限)であることを保障して、信号空間においても同一に構成される。
量子化器140と逆量子化器160は、量子化バンドサイズと各バンドでの再構成ポイントを適切に調整することによって、負でない有界誤差を保障する。本発明の一実施形態によれば、最大許容誤差(δ)に対して、量子化器140は、δ+1の最大量子化ステップサイズを有する均一または不均一量子化バンドを用い、バンドの右端(right edge)(つまり、最大値)に再構成ポイントを用いる。また、本発明の一実施形態によれば、0の値(value zero)がバンド(例:インデックス1の第1量子化バンド)の右端にあるため、再構成値に0が現れる。これは、残差が0でピークになっていることに起因すると考えられる。
図4Aは、本発明の一実施形態による量子化器140および逆量子化器160が用いる量子化テーブルを示す。図4Bは、本発明の一実施形態による量子化器140および逆量子化器160の演算を示し、入力がe’であり、出力がRである。図4Cおよび図4Dは、それぞれ本発明の一実施形態による量子化器140が用いる均一および不均一量子化テーブルを示す。
図4Aを参照すると、量子化器140は、再構成ポイントが各バンドの右端にある量子化ステップサイズδ+1の均一バンドを用いる。本発明の一実施形態によれば、第1量子化バンドは、右端が0である(つまり、再構成ポイントが0である)。ここで、偏向残差e’は整数である。本発明の一実施形態によれば、後述する数式6と数式8で定義するモジュロ加算および減算パラメータ(適正化(optimized)モジュロ加算および減算パラメータともいう)を用いる場合、バンド数NBは次のように表すことができる。
Figure 2022031120000008
ここで、δは最大許容誤差を表し、Ceiling(.)は天井関数(ceiling function)を表す。ここで、δ+1は最大許容ステップサイズであるので、つまり、より小さいステップサイズを選択することができる。本発明の一実施形態では、非適正化(un-optimized)モジュロ加算および減算パラメータ(つまり、数式6と数式8で定義されないパラメータ)を用いる場合、バンド数NBは次のように表すことができる。
Figure 2022031120000009
本発明の一実施形態によれば、偏向残差を量子化する際、量子化器140は、偏向残差の量子化インデックスを次のように計算する。
Figure 2022031120000010
ここで、数式6と数式8の適正化モジュロ加算および減算パラメータを用いる場合、-δ≦e’≦2bitdepth-1である。それとは異なり、非適正化モジュロ加算および減算パラメータを用いる場合は、-δ≦e’≦2bitdepth-1+δである。
I[e’]は量子化インデックスを表し、Ceiling(.)は天井関数を表し、e’は偏向残差を表し、δは最大許容誤差を表す。
これと同様に、量子化偏向残差に逆量子化を適用することは、再構成偏向残差を次のように計算することを含むことができる。
Figure 2022031120000011
ここで、Q(e’)は再構成偏向残差を表し、I[e’]は量子化インデックスを表し、e’は偏向残差を表す。数式2と数式3は、均一量子化を用いる実施形態に適用する。不均一量子化を用いると、最大ステップサイズがδ+1であってもよい。
図4Bは、δ=2、ビット深度(つまり、色相あたりのビット数)が3である例を示す。ここで、ビット深度は、映像に格納された色情報を意味し、映像の動的範囲に影響を与える。映像のビット深度が大きいほど、格納できる色が多い。最も簡単な映像、1ビットの映像は白黒2種の色だけを示すことができる。これは、1ビットが2つの値、0(白)と1(黒)のうちの1つだけを格納できるからである。ビット深度が大きくなれば動的範囲も大きくなり、これによって、量子化バンドの数も多くなる。
図4Bの例に示すように、1の偏向残差e’は、3の再構成値を生じる。
本発明の一実施形態によれば、モジュロ加算器130は、偏向残差e’を次のように計算する。
Figure 2022031120000012
これは、偏向残差が次のように表現される範囲内にあることを意味する。
Figure 2022031120000013
偏向残差e’の上限は、ある偏向値に対する誤差を低減し、これによって、性能を改善する不均一量子化バンドを許容する。
例えば、δ=2、ビット深度=3の場合、-2≦e’≦7であり、量子化器140は、図4Cに示した均一量子化テーブルと図4Dに示した不均一量子化テーブルを用いることができる。均一バンドサイズが2である図4Cにおいて、4つのバンドともに対して、量子化誤差はδ(つまり、2)によって限定されている。しかし、本発明の実施形態はまた、図4Dに示した量子化表の不均一バンドも許容するが、ここで、第3および第4バンドは、(2ではなく)1によって限定されているより小さい量子化誤差を有する。本発明の一実施形態において、量子化器140は、統計的により重要なバンド(例えば、偏向残差がより多く位置するバンド、またはオーバードライブシステム20の性能により大きな影響を与える値のバンド)のためにより狭いバンドを残しておく。このため、モジュロ加算器の演算によって量子化誤差が小さくなるので、オーバードライブシステム20の性能が改善できる。
モジュロ減算器180は、モジュロ加算器130が残差に加えた偏向値を除去することによって、モジュロ加算器130の反対演算を行うことができる。本発明の一実施形態によれば、入力xに対して、モジュロ減算器180の出力yは次のように表される。
Figure 2022031120000014
先に言及したように、本発明の一実施形態によれば、再構成標本にクリッピング関数を適用して、与えられたビット深度に対して[0,2bitDepth-1]で表される所定の動的範囲内に必ず存在させることができる。8bpcの例において、クリッピング関数は、減算器の出力を[0,7]に制限することができる。
したがって、先に説明したように、適切な量子化バンドサイズと加えられた偏向を用いることによって、映像圧縮および格納システム10は、オーバードライブシステム20の性能を改善できる、再構成映像に対する負でない有界誤差を確保(すなわち、保障)する。
負でない有界再構成誤差を確保すると同時に、本発明の一実施形態によれば、特定のグレーレベル(例えば、0のグレー値)は、0であるか、少なくとも他のグレー値の誤差より小さいことが好ましい。例えば、3の色深度に対して、グレー値は0から7の範囲であってよい。本発明の一実施形態によれば、オーバードライブ補正は、グレー値が7から0に下がるほど重要性(または優先性)が大きくなるようにし、0が最も重要であり得る(最も優先であり得る)。このような例においては、5、6、7のような優先性の低いグレー値に対しては大きい再構成誤差を許容することができる。これは、すべてのグレーレベルを同等扱いにし、再構成誤差が画素標本の振幅(またはグレーレベル)と無関係である従来のコーデックに反する。
本発明の一実施形態によれば、映像圧縮および格納システム10は、重要なグレーレベルに対してはより小さい再構成誤差、他のグレーレベルに対しては負でない再構成誤差を確保する。本発明の一実施形態によれば、符号器100は、元のグレー値を修正して特定のグレーレベルに対してより低い誤差を達成する。これは、他の重要でないグレーレベルに対してより大きな誤差を与えることで可能である。
図5Aは、本発明の一実施形態による内環(in-loop)写像(mapping)がある符号器400の概略ブロック図である。図5Bは、本発明の一実施形態によるオフライン(offline)/外環(outer-loop)写像がある符号器400-1の概略ブロック図である。図6Aおよび図6Bは、それぞれ本発明の一実施形態による内環写像がある復号器500およびオフライン/外環写像がある復号器500-1の概略ブロック図である。
本発明の一実施形態によれば、符号器400/400-1は、符号化に先立ち、元の標本のグレー値xを写像値(mapped value)(写像標本ともいう)f(.)で写像する写像器(mapper)(例:グレー値写像回路)202を含み、写像器202の逆演算g(.)を行う逆写像器(inverse mapper)(例:グレー値逆写像回路)204をさらに含む。したがって、符号器400/400-1は、信号空間においてではなく、写像された空間で元の標本を符号化する。ここで、写像された空間の動的範囲は、元の空間と同一である。言い換えれば、写像された空間と元の空間のビット深度は同一である。
本発明の一実施形態によれば、図5Aに示した内環方式の場合、符号器400は、加算器170の前で元の標本に動作する第1写像器202と、標本予測器110上で動作する第2写像器203とを含み、モジュロ減算器180の出力上で動作する逆写像器204をさらに含む。本実施形態において、逆写像器204は、モジュロ減算器180が生成した写像再構成標本(mapped reconstructed sample)に逆写像演算を行って非写像再構成標本(unmapped reconstructed sample)を生成し、標本予測器110は、これを用いて非写像前の再構成標本の予測を生成する。第2写像器203は、この値を写像前の再構成標本(mapped previous reconstructed sample)で写像して減算器120に送り、減算器120は、写像標本から写像前の再構成標本を引く。
本発明の一実施形態によれば、図5Bに示したオフライン/外環方式の場合、逆写像器204は、標本予測器110の入力上で動作せず、これによって、標本予測器110の出力上で動作する第2写像器203を必要としない。このような実施形態において、写像動作は、完全に符号器ループの外側で行われる。このような外環方式は、既存のコーデックで用いやすいが、これは、写像器202および逆写像器204の動作がコーデックの外部で行われるからである。また、外環方式は、内環方式に比べてより複雑でないが、これは、実行する演算(operations/calculations)の数が少ないからである。しかし、内環方式を用いると、高い性能をえることができる。
図6Aおよび図6Bに示すように、内環写像方式の復号器500は、写像器203と逆写像器204をすべて用い、外環写像方式の復号器500-1は、単一の逆写像器204(写像器不要)を用いる。
2つの方式において、写像器202、203と逆写像器204を除けば、符号器400/400-1は、符号器100と同一の構成を有する同一の成分を含む。これと同様に、インライン、オフラインの2つの方式でいずれも、写像器203と逆写像器204を除けば、復号器500/500-1は、復号器300と同一の構成を有する同一の成分を含む。そのため、符号器100および復号器300と共通である符号器400/400-1および復号器500/500-1の構成要素については、簡潔さのため、繰り返し説明しない。モジュロ加算器130、量子化器140、逆量子化器160およびモジュロ減算器180が負でない有界再構成誤差を保障するが、符号器400、400-1および復号器500、500-1はこれに限定されない。例えば、(例えば、オーバードライブシステム20が)負の再構成誤差を許容する場合、任意の適切なモジュロ加算器、量子化器、逆量子化器およびモジュロ減算器が使用可能である。
本発明の一実施形態によれば、0のグレーレベルが重要な場合(例:0の再構成誤差が所望される場合)、写像器202の写像関数f(.)は次のように表される。
Figure 2022031120000015
ここで、δは再構成標本と元の標本との間の最大正誤差を表し、cはδより小さい(つまり、c<δ)一定の負でない整数であり、maxValは与えられたビット深度(または色相あたりのビット)に対する、写像器の入力標本(例:元の標本)xの最大値であり、次のように表すことができる。
Figure 2022031120000016
また、逆写像器204の逆写像関数g(.)は次のように表すことができる。
Figure 2022031120000017
ここで、x’は逆写像器204に対する入力(例えば、モジュロ減算器180が出力する写像再構成標本)を表し、Clip(0,maxVal,x’-δ+c)は出力値x’-δ+cを最小値0と最大値maxValに限定するクリッピング関数である。言い換えれば、クリッピング関数は、0より小さいすべてのx’-δ+c値に対して0を算出し、maxValより大きいすべてのx’-δ+c値に対してmaxValを算出し、その他の場合にはx’-δ+cを算出する。
後に説明するが、定数c=0の時、元の標本値0では再構成誤差はないが、最大誤差δを超える他の元の標本値では誤差が大きくなる可能性がある。
図7Aおよび図7Bは、本発明の一実施形態による互いに異なる値の最大誤差δと定数cが与えられた互いに異なる標本値に対して潜在再構成誤差の数値例を示す表である。図7Aおよび図7Bに示した表にて、値x’は(図5Aの)符号器400のインライン方式におけるモジュロ減算器180の可能な出力を表し、yは逆写像器204の出力における再構成標本を示す。
図7Aにおいて、ビット深度は3であり(つまり、元の標本値は0~7の範囲であり)、最大誤差δ=1であり、定数c=0であると仮定する。この表において、各値xに対する値x’は予測再構成標本(predicted reconstructed sample)に応じて1つ以上の可能性を有することができる。例えば、x=3、f(x)=4の場合、可能なシナリオの数は次の通りである。1)標本予測器110が3の値を予測すれば、残差e’は1(=4-3)であり、量子化インデックス=1、逆量子化器160の出力(R)=2、モジュロ減算器180の出力(x’)=5(=3+2)、となり、これにより再構成値y=4となる。2)標本予測器110が2の値を予測すれば、残差e’=2(=4-2)、量子化インデックス=1、R=2、x’=4(=2+2)、となり、これにより再構成値y=3となる。3)標本予測器110が5の値を予測すれば、残差e’=-1(=4-5)、量子化インデックス=0、R=0、x’=5(=0+5)、となり、これにより再び再構成値y=4となる。
図7Aから明らかなように、定数c=0、元の標本0(例:統計的に、最も重要な標本値)に対する再構成誤差は0である。しかし、元の標本5(例:優先性の低い標本)に対する誤差は、最大希望誤差δである1より大きい2に達する可能性がある。
図7Bにて、ビット深度は3であり、最大誤差δ=2であり、定数c=1であると仮定する。ここで、定数cは0より大きく、元の標本0に対して可能性がある再構成誤差が0であるとは保障できないが、元の標本0に対する最大誤差は他の元の標本値に対する最大誤差以下である。
本発明の一実施形態によれば、グレーレベルi>0が重要な場合、写像器202の写像関数f(.)は次のように表される。
Figure 2022031120000018
逆写像器204の逆写像関数g(.)は次のように表される。
Figure 2022031120000019
図8は、本発明の一実施形態による0でない標本値の重要性を考慮した互いに異なる標本値に対して潜在再構成誤差の数値例を示す表である。
図8の例において、ビット深度は3であり、最大誤差δ=1であり、定数c=0であると仮定する。本実施形態において、元の標本4は、オーバードライブシステム20に対して統計的により重要であり、この標本に対する再構成誤差は0である。しかし、これは、元の標本3および5に対して最大誤差を所望の最大誤差より大きくすることで可能であった。
図7A、図7Bおよび図8の表において、符号器400/400-1および復号器500/500-1は、負でない再構成誤差を保障する。しかし、負の再構成誤差が許容され(例えば、適切なモジュロ加算器/減算器および量子化器/逆量子化器を用いるが、必ずしも符号器400/400-1および復号器500/500-1である必要はない実施形態)、最も重要な元の値が0である例において、関数f(.)およびg(.)を代替する写像関数F(.)および逆写像関数G(.)は次のように表すことができる。
Figure 2022031120000020
このような例において、写像関数F(.)および逆写像関数G(.)は、代替的に、次のように表されてもよい。
Figure 2022031120000021
図9Aは、本発明の一実施形態による数式9~10の写像および逆写像関数に基づいた互いに異なる標本値に対する潜在再構成誤差の数値例を示す表である。図9Bは、本発明の一実施形態による数式11~12の写像および逆写像関数に基づいた互いに異なる標本値に対する潜在再構成誤差の数値例を示す表である。図9Aおよび図9Bの表にて、ビット深度は3であり、最大誤差δ=1であると仮定する。ここで、元の標本0は、オーバードライブシステム20の観点で最も重要であり、この標本に対する再構成誤差は、両表にていずれも0である。
一般に、DSCおよびDPCMのような従来の映像/ビデオ暗号器は、特定のグレー値に対して特別な重要性を付与しない。したがって、再構成誤差の大きさは、通常、グレー値とは無関係である。また、HEVC、JPEG-2000、VDC-Mなどのコーデックに用いられる変換暗号化は負でない誤差を満たすのに適していないが、これは、従来技術において量子化が変換係数に適用され、変換されたドメインでの正の誤差が信号空間においても正の誤差になることを意味しないからである。
これとは異なり、本発明の実施形態によれば、映像格納および圧縮システムが特定のグレー値に高い優先性を付与し、そのようなグレー値に対して低い再構成誤差を示す。これは、元の映像を他の空間に画素ごとに(pixel-wise)写像し、写像された空間で映像を圧縮することによって得られる。重要なグレーレベルに対して低い誤差を維持するとともに、本発明の一実施形態によれば、映像格納および圧縮システムの符号器および復号器は、再構成映像に対する負でない誤差を保障し、これによって、対応するオーバードライブシステムの性能が改善できる。
符号器100/400/400-1および復号器300/500/500-1の構成要素が行う動作または演算は、「処理回路」または「処理器」または「プロセッサ」で実現できる。「処理回路」は、ハードウェア、ファームウエア、ソフトウェアまたはこれらの組み合わせを用いて実現することができる。処理回路は、例えば、特定用途向け集積回路(ASIC)、汎用または専用中央処理装置(CPU)、デジタル信号処理器(DSP)、グラフィック処理装置(GPU)、FPGAなどのプログラム可能な論理装置を含むことができる。処理回路におけるそれぞれの関数は、その機能を行う有線ハードウェアまたは非一時的な(non-transitory)格納媒体に格納された命令を行うCPUなどの汎用ハードウェアで行われる。処理回路は、1つの印刷配線基板(PWB:printed wiring board)に形成されるか、互いに接続されたPWBに分散配置される。処理回路は、他の処理回路を含むことができるが、例えば、PWB上で互いに接続されたFPGAとCPUを含むことができる。
「第1」、「第2」、「第3」などの用語を様々な元素、成分、領域、層、部分などに使用するが、これらはこのような修飾語によって限定されない。このような用語は、ある元素、成分、領域、層、部分を他の元素、成分、領域、層、部分と区別するために使用するものであり、本発明の趣旨と範囲を逸脱しない。
ここで使用された用語は特定の実施形態を説明する目的で使用するだけであり、本発明を制限しようとするものではない。ここで、数を特に言及しなければ、単数または複数の場合をすべて含む。ある特徴、ステップ、動作、部分、成分などを「含む」という表現は、当該部分以外に他の特徴、ステップ、動作、部分、成分なども含み得ることを意味する。「および/または」という表現は、挙げられたものの1つまたは2以上のすべての組み合わせを含む。また、本発明の実施形態を説明する際に使用する「できる」という表現は、「本発明の1つ以上の実施形態」に適用可能であることを意味する。「例示的な」という用語は、例または図面を表す。
「使用」、「利用」などは、これと類似する他の表現とともに、似た意味で使用できる。
「X、Y、Zの少なくとも1つ」および「X、Y、Zを含むグループの中から選択された少なくとも1つ」という表現は、Xのみ、Yのみ、Zのみ、X、Y、Zの2以上の組み合わせ、例えば、XYZ、XYY、YZ、ZZなどを表す。
以上、具体的な実施形態を挙げて詳細に説明したが、ここで説明した実施形態は、本発明の範囲を記載したものに限定するためのものではない。当業者であれば、上述した結合および動作の構造および方法を、以下の特許請求の範囲およびその均等物に表現された発明の原理および範囲を大きく逸脱することなく変更または修正することが可能であることが分かる。
1:フレーム補正システム
10:映像圧縮および格納システム
20:オーバードライブシステム
30:切断および遅延回路
100、400、400-1:符号器
110:標本予測器
120:減算器
130:モジュロ加算器
140:量子化器
150:エントロピー符号器
160:逆量子化器
170:加算器
180:モジュロ減算器
200:格納媒体
203、203:写像器
204:逆写像器
300、500、500-1:復号器
310:エントロピー復号器

Claims (20)

  1. フレームの元の標本の残差にモジュロ加算を適用して、前記元の標本のビット深度と最大許容誤差に基づいて偏向残差を生成すること、
    前記最大許容誤差に基づいて前記偏向残差を量子化して量子化偏向残差を生成すること、及び
    前記量子化偏向残差に対応する値を符号化して負でない再構成誤差を有する符号化値を生成すること、
    を含む映像圧縮および格納システムのフレーム圧縮方法。
  2. 前記偏向残差を生成することは、下記式に基づいて前記偏向残差を計算することを含み、
    前記元の標本は、前記フレームの画素の色値に相当する、請求項1に記載のフレーム圧縮方法。
    Figure 2022031120000022

    (e’は前記偏向残差を表し、eは前記元の標本の前記残差を表し、bitdepthは前記元の標本のビット深度を表し、δは前記最大許容誤差を表す。)
  3. 前記偏向残差は、-δ≦e’≦2bitdepth-1で表される範囲内にある、請求項2に記載のフレーム圧縮方法。
  4. 前記元の標本を受信すること、及び
    前記元の標本から前の再構成標本の予測を引いて前記元の標本の前記残差を生成すること、
    をさらに含む、請求項1に記載のフレーム圧縮方法。
  5. 前記量子化偏向残差に対応する値は、前記量子化偏向残差に対応する量子化インデックスである、請求項1に記載のフレーム圧縮方法。
  6. 前記偏向残差の量子化は、前記最大許容誤差に1を加えた値と同一の量子化ステップサイズに基づく、請求項1に記載のフレーム圧縮方法。
  7. 前記量子化偏向残差を生成することは、下記式に基づいて前記量子化偏向残差の量子化インデックスを計算することを含む、請求項1に記載のフレーム圧縮方法。
    Figure 2022031120000023

    (I[e’]は量子化インデックスを表し、Ceiling(.)は天井関数を表し、e’は前記偏向残差を表し、δは前記最大許容誤差を表す。)
  8. 前記量子化偏向残差を生成することは、不均一量子化バンドを用いることを含む、請求項1に記載のフレーム圧縮方法。
  9. 前記量子化偏向残差に逆量子化を行って再構成偏向残差を生成すること、
    前記再構成偏向残差に前の再構成標本の予測を加えて再構成偏向標本を生成すること、
    前記元の標本のビット深度および前記最大許容誤差に基づいて前記再構成偏向標本にモジュロ減算およびクリッピング演算を適用して再構成標本を生成すること、及び
    前記再構成標本に基づいて次の再構成標本の予測を生成すること、をさらに含む、請求項1に記載のフレーム圧縮方法。
  10. 前記再構成標本生成段階は、下記式に基づいて、前記再構成標本を計算することを含む、請求項9に記載のフレーム圧縮方法。
    Figure 2022031120000024

    (yは前記再構成標本を表し、xは前記再構成偏向標本を表し、bitdepthは前記元の標本のビット深度を表し、δは前記最大許容誤差を表す。)
  11. 前記逆量子化の実行は、前記最大許容誤差と同一の量子化バンドサイズおよび量子化インデックスに基づく、請求項9に記載のフレーム圧縮方法。
  12. 前記再構成偏向残差を生成することは、下記式に基づいて、前記再構成偏向残差を計算することを含む、請求項9に記載のフレーム圧縮方法。
    Figure 2022031120000025

    (Q(e’)は前記偏向残差e’に関連する前記再構成偏向残差を表し、I[e’]は量子化インデックスを表し、δは前記最大許容誤差を表す。)
  13. 前記量子化偏向残差に対する逆量子化の実行は、不均一量子化テーブルに基づく、請求項9に記載のフレーム圧縮方法。
  14. 前記符号化値を生成することは、
    前記量子化偏向残差に対応する値をエントロピー符号化して前記符号化値を生成することを含む、請求項1に記載のフレーム圧縮方法。
  15. 前記フレームの画素の値のビット深度を減少させることによって、前記フレームを切断して前記元の標本を生成することをさらに含み、
    前記フレームは、赤緑青(RGB)フォーマットまたは赤緑青緑(RGBG)フォーマットである、請求項1に記載のフレーム圧縮方法。
  16. 映像圧縮および格納システムにおいてフレームに対応する格納された映像データを解凍する方法であって、
    前記フレームの元の標本に対応する符号化値を復号して、量子化偏向残差に対応する復号値を生成すること、
    前記復号値に逆量子化を行って再構成偏向残差を生成すること、
    前記再構成偏向残差に前の再構成標本の予測を加えて再構成偏向標本を生成することと、及び
    前記元の標本のビット深度と最大許容誤差に基づいて前記再構成偏向標本にモジュロ減算を適用して再構成標本を生成すること、を含む解凍方法。
  17. 前記再構成標本に基づいて次の再構成標本の前記予測を生成することをさらに含む、請求項16に記載の解凍方法。
  18. 前記再構成標本を生成することは、下記式に基づいて、前記再構成標本を計算することを含む、請求項16に記載の解凍方法。
    Figure 2022031120000026

    (yは前記再構成標本を表し、xは前記再構成偏向標本を表し、bitdepthは前記元の標本のビット深度を表し、δは前記最大許容誤差を表す。)
  19. 前記復号値は、量子化インデックスであり、
    前記再構成偏向残差を生成することは、下記式に基づいて、前記再構成偏向残差を計算することを含む、請求項16に記載の解凍方法。
    Figure 2022031120000027

    (Q(e’)は前記再構成偏向残差を表し、I[e’]は量子化インデックスを表し、e’は前記偏向残差を表し、δは前記最大許容誤差を表す。)
  20. プロセッサと、
    前記プロセッサにローカルなプロセッサメモリと
    を含み、
    前記プロセッサメモリは、命令を格納し、
    前記プロセッサは、前記命令を実行して、
    フレームの元の標本の残差にモジュロ加算を適用して、前記元の標本のビット深度と最大許容誤差に基づいて偏向残差を生成し、
    前記最大許容誤差に基づいて前記偏向残差を量子化して量子化偏向残差を生成し、
    前記量子化偏向残差に対応する値を符号化して格納媒体に格納するための符号化値を生成し、
    前記格納媒体から前記符号化値を呼び出し、
    前記符号化値を復号して、量子化偏向残差に対応する復号値を生成し、
    前記復号値に逆量子化を行って再構成偏向残差を生成し、
    前記再構成偏向残差に前の再構成標本の予測を加えて再構成偏向標本を生成し、
    前記元の標本のビット深度と前記最大許容誤差に基づいて前記再構成偏向標本にモジュロ減算を適用して再構成標本を生成し、
    前記元の標本と前記再構成標本との差は負でない、
    映像圧縮および格納システム。
JP2021077978A 2020-08-07 2021-04-30 映像圧縮および格納システムと映像圧縮および解凍方法 Pending JP2022031120A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063062963P 2020-08-07 2020-08-07
US202063063004P 2020-08-07 2020-08-07
US63/063,004 2020-08-07
US63/062,963 2020-08-07
US17/070,898 2020-10-14
US17/070,898 US11509897B2 (en) 2020-08-07 2020-10-14 Compression with positive reconstruction error

Publications (2)

Publication Number Publication Date
JP2022031120A true JP2022031120A (ja) 2022-02-18
JP2022031120A5 JP2022031120A5 (ja) 2024-05-10

Family

ID=75690149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021077978A Pending JP2022031120A (ja) 2020-08-07 2021-04-30 映像圧縮および格納システムと映像圧縮および解凍方法

Country Status (6)

Country Link
US (2) US11509897B2 (ja)
EP (1) EP3952309A1 (ja)
JP (1) JP2022031120A (ja)
KR (1) KR20220019221A (ja)
CN (1) CN114071151A (ja)
TW (1) TW202207707A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2617286B (en) * 2021-10-25 2024-04-03 V Nova Int Ltd Enhancement decoding implementation and method
GB2607123B (en) * 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2619307A1 (de) * 1976-04-30 1977-11-10 Inst Mat I Mekh Akademii Nauk Multipliziereinrichtung
US6226327B1 (en) 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
GB2295753B (en) 1992-09-17 1996-10-16 Sony Uk Ltd Data coding
WO2002037859A2 (en) 2000-11-03 2002-05-10 Compression Science Video data compression system
US7026960B2 (en) * 2001-11-27 2006-04-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key data
US7181071B2 (en) 2001-11-27 2007-02-20 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key value data of orientation interpolator node
JP3756875B2 (ja) 2001-11-27 2006-03-15 三星電子株式会社 データ符号化及び復号化方法、並びに装置
JP3814592B2 (ja) * 2003-06-27 2006-08-30 キヤノン株式会社 撮像装置及びその制御方法
KR100703778B1 (ko) 2005-04-29 2007-04-06 삼성전자주식회사 고속 fgs를 지원하는 비디오 코딩 방법 및 장치
US8447121B2 (en) 2005-09-14 2013-05-21 Microsoft Corporation Efficient integrated digital video transcoding
US20090067495A1 (en) 2007-09-11 2009-03-12 The Hong Kong University Of Science And Technology Rate distortion optimization for inter mode generation for error resilient video coding
US8352530B2 (en) * 2008-12-08 2013-01-08 International Business Machines Corporation Residue calculation with built-in correction in a floating point unit positioned at different levels using correction values provided by multiplexer
US20100278232A1 (en) * 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
KR101873356B1 (ko) 2009-10-05 2018-07-02 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 삽입된 양자화 파라미터 조정을 위한 방법 및 장치
EP2490216B1 (en) * 2009-10-14 2019-04-24 III Holdings 12, LLC Layered speech coding
KR101798079B1 (ko) 2010-05-10 2017-11-16 삼성전자주식회사 픽셀값의 차분을 이용하여 영상 프레임을 부호화하는 방법 및 이를 위한 장치
US8885701B2 (en) 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
GB2484969B (en) 2010-10-29 2013-11-20 Canon Kk Improved reference frame for video encoding and decoding
WO2012148883A1 (en) 2011-04-25 2012-11-01 Dolby Laboratories Licensing Corporation Non-linear vdr residual quantizer
US10390046B2 (en) 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
EP2618309A1 (en) 2012-01-19 2013-07-24 Siemens Aktiengesellschaft Methods and devices for pixel-prediction for compression of visual data
US9712185B2 (en) * 2012-05-19 2017-07-18 Olsen Ip Reserve, Llc System and method for improved fractional binary to fractional residue converter and multipler
US9319684B2 (en) 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
US9756346B2 (en) * 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
EP2912491B1 (en) * 2012-10-26 2019-04-10 Molecubes Calibration of monolithic crystal-based detectors
AU2013206815A1 (en) 2013-07-11 2015-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
CN111179946B (zh) * 2013-09-13 2023-10-13 三星电子株式会社 无损编码方法和无损解码方法
US20150264404A1 (en) 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
WO2015176280A1 (en) * 2014-05-22 2015-11-26 Microsoft Technology Licensing, Llc Re-encoding image sets using frequency-domain differences
US9628803B2 (en) 2014-11-25 2017-04-18 Blackberry Limited Perceptual image and video coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
GB2551199B (en) 2016-06-10 2019-12-18 Advanced Risc Mach Ltd Video data processing system
US10694200B2 (en) * 2017-01-23 2020-06-23 Samsung Display Co., Ltd. System and method for lightweight high quality image compression for display screens
US11922136B2 (en) * 2018-02-23 2024-03-05 The George Washington University Residue arithmetic nanophotonic system
DE102018112215B3 (de) 2018-04-30 2019-07-25 Basler Ag Quantisiererbestimmung, computerlesbares Medium und Vorrichtung, die mindestens zwei Quantisierer implementiert
US10911751B2 (en) 2018-09-14 2021-02-02 Tencent America LLC Method and apparatus for video coding
US11051017B2 (en) * 2018-12-20 2021-06-29 Qualcomm Incorporated Adaptive loop filter (ALF) index signaling
US10645386B1 (en) 2019-01-03 2020-05-05 Sony Corporation Embedded codec circuitry for multiple reconstruction points based quantization
CN109712583B (zh) 2019-02-14 2021-01-01 惠州市华星光电技术有限公司 显示装置的过驱动表的调整方法
EP3764286A1 (fr) * 2019-07-10 2021-01-13 STMicroelectronics (Rousset) SAS Procédé et outil informatique de détermination de fonctions de transferts entre des paires de couches successives d'un réseau de neurones
US11272187B2 (en) * 2019-08-13 2022-03-08 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
TW202207707A (zh) 2022-02-16
KR20220019221A (ko) 2022-02-16
US20220046243A1 (en) 2022-02-10
EP3952309A1 (en) 2022-02-09
US11509897B2 (en) 2022-11-22
US20220256159A1 (en) 2022-08-11
CN114071151A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US11523124B2 (en) Coded-block-flag coding and derivation
Peng et al. Overview of screen content video coding: Technologies, standards, and beyond
US9826250B1 (en) Transform-domain intra prediction
US20070189626A1 (en) Video encoding/decoding method and apparatus
US10757428B2 (en) Luma and chroma reshaping of HDR video encoding
US20170347094A1 (en) Block size adaptive directional intra prediction
US11627321B2 (en) Adaptive coding of prediction modes using probability distributions
JP2022031120A (ja) 映像圧縮および格納システムと映像圧縮および解凍方法
US9756346B2 (en) Edge-selective intra coding
KR20010043394A (ko) 정보 스트림 디코더에서 메모리 자원 이용을 증가시키는방법 및 장치
KR102175662B1 (ko) 디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들
US9781447B1 (en) Correlation based inter-plane prediction encoding and decoding
KR20170068396A (ko) 비디오 인코더. 비디오 디코더 및 비디오 디스플레이 시스템
WO2021206137A1 (ja) 符号化装置、復号装置、及びプログラム
US11936898B2 (en) DPCM codec with higher reconstruction quality on important gray levels
Kim et al. Fixed-ratio compression of an RGBW image and its hardware implementation
JP2022031120A5 (ja) 映像圧縮および格納システムと映像圧縮および格納システムのフレーム圧縮方法
US10609411B1 (en) Cross color prediction for image/video compression
JP2008271039A (ja) 画像符号化装置及び画像復号化装置
WO2022130663A1 (ja) 復号装置、プログラム、及び復号方法
KR20220119316A (ko) 부호화 방법 및 부호기
JP2018525901A (ja) ディスプレイストリーム圧縮における変換モード用ブロックサイズの変更
Le Dauphin et al. Prediction-guided quantization for video tone mapping
KR102398232B1 (ko) 참조 영상 필터링을 통한 비디오 신호 복호화 방법 및 장치
WO2024081011A1 (en) Filter coefficient derivation simplification for cross-component prediction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240430

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240430