JP2019522448A - 画像を圧縮する方法および装置技術分野 - Google Patents
画像を圧縮する方法および装置技術分野 Download PDFInfo
- Publication number
- JP2019522448A JP2019522448A JP2019514149A JP2019514149A JP2019522448A JP 2019522448 A JP2019522448 A JP 2019522448A JP 2019514149 A JP2019514149 A JP 2019514149A JP 2019514149 A JP2019514149 A JP 2019514149A JP 2019522448 A JP2019522448 A JP 2019522448A
- Authority
- JP
- Japan
- Prior art keywords
- magnitude
- encoding
- significance
- bitstream
- bits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/93—Run-length coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
・圧縮効率
・品質スケーラビリティ
・解像度スケーラビリティ
・関心領域アクセシビリティ
・並列計算
・反復エンコーディングせずに最適化されたレート制御
・視覚的に関連する最適化対象を標的にする能力
・誤り耐性
・圧縮ドメイン(すなわち非常に少ないメモリ)転置およびフリッピング操作
・コードブロック、プレシンクトまたはJ2Kパケットレベルで情報を再シーケンス化する能力
・JPIPを介したイメージ(映像および動画を含む)の効率的かつ応答型のリモート
・インタラクティブ
・ブラウジング。
・大量のイメージソースからの任意領域の効率的なオンデマンドでのレンダリング。
・非線形トーンカーブおよび/またはカスタム浮動小数点マッピングを使用することによる、高ダイナミックレンジ圧縮。
・豊富なメタデータアノテーション。
・ハイパースペクトル立体コンテンツの効率的圧縮。
既存のJPEG 2000ブロック符号化アルゴリズムは、符号化パスのシーケンスに亘り各コードブロック内のサブバンドサンプルを処理する。これを簡単に復習しておくことが、次の章での、異なる、しかしながら関連する符号化パス構造のFASTブロック符号化アルゴリズムを説明するために、助けとなる。
Cleanup(p=P−1):ビットプレーンpにおける、全サンプルの有意性、プラス有意サンプルのサインを符号化する。
SigProp(p=P−2):プレーンpにおいて、既知の有意サンプルの非有意近傍にアクセスし、それらの有意性(およびサイン)を符号化する。MagRef(p=P−2):プレーンp+1に対して既に有意であったサンプルにアクセスし、Mp[n]の最下位ビットを符号化する。
Cleanup(p=P−2):ビットプレーンpにおける、有意性が未だ確立されていない全サンプルの有意性(およびサイン)を符号化する。
SigProp(p=P−3):…
MagRef(p=P−3):…
Cleanup(p=P−3):…
…
Cleanup(p=0):…
なお、エンコーダは、最終コードストリームに含まれる情報から、末尾における任意数の符号化パスを落としてもよい。実際には、エンコーダは、それらが落とされることを妥当に予測することができるならば、そもそもこのような符号化パスを生成する必要はない。
本発明の本実施形態に基づくFASTブロック符号化アルゴリズムの鍵となる要素
符号化パス構造
―――――――――――――――
1実際、JPEG 2000未加工符号語セグメントにおけるビットスタッフィングは、FF80h〜FFFFhの範囲のビッグエンディアン16進値を有するバイト対の発現を回避するが、ブロック符号化アルゴリズムは、一般的には、FF90h〜FFFFhの範囲であるマーカー符号を回避すればよい。
―――――――――――――――
1.再び、符号ビットがリトルエンディアンビット順で未加工ビットストリームのバイトに詰められる一方で、JPEG 2000符号化器は、ビッグエンディアンビット詰め順を使用する。
2.高さ3または高さ4のストライプについては、各ストライプ列に関連付けられた有意性ビットがまず放出され、次のストライプ列へ進む前に、関連付けられたサインビットが続く。
3.高さ2のストライプについては、ストライプ列の各対に関連付けられた有意性ビットがまず放出され、ストライプ列の次の対へ進む前に、関連付けられたサインビットが続く。
4.高さ1のストライプ列については、4つのストライプ列(4サンプル)の各グループに関連付けられた有意性ビットがまず放出され、4つのストライプ列の次のグループへ進む前に、関連付けられたサインビットが続く。
Cleanup Passの概要
1.各変形例は、デュアルビットストリーム構造またはトリプルビットストリーム構造のいずれかを有する。デュアルビットストリーム構造は、圧縮の観点から、構想的により簡単であるが非常にわずかしか効率的でない。しかしながら、トリプルビットストリーム構造は、ソフトウエアおよびハードウエア最適化のためにより多くのオプションを提供するため、一般的に好まれる。デュアルビットストリーム構造は、1ビットストリーム内でVLCおよびMagSgnビットをインターリーブし、一方、トリプルビットストリーム構造は、分離したVLCおよびMagSgnビットストリームを提供する。
2.他の際立った特徴は、各有意サンプルについてのマグニチュード情報が1ビットストリーム(MagSgnビットストリーム)内に統合されているか、または、VLCビットストリームとMagSgnビットストリームとの間で分散されているかである。分散アプローチは、統計的冗長性を利用する機会を提供するのが若干少ないが、サンプル毎の依存性を低減または除去することにより、ソフトウエアデコーディングスループットを向上させ、ハードウエアデコーディングクロックレートを上昇させる。分散アプローチは、MagSgnビットストリームに関連付けられた最悪の事態データ速度も低減し、このことは、ハードウエア実施のためにより良好である。
Cleanupパスにおけるデュアルまたはトリプルのビットストリーム
A.前方へ延伸する適合的に符号化されたビットストリームと、
B.符号語セグメントの端部から後方へ延伸する未加工ビットストリームと、
C.いくつかの変形例において、符号語セグメントの開始から前方へ延伸する第2未加工ビットストリームと、に分割されている。
1.MagSgnビットストリームは、高いビットレートでビットストリームのうちの最大のものである傾向があるため、これを符号語セグメントの開始から前方へ延伸させることのいくつかの利点があり、生成されたバイトを各コードブロックの端部に再配置するために必要な労力を最小化する。
2.VLCビットストリームおよび適合的に符号化されたビットストリームの組み合わせられたサイズを確定的に抑制することができる。
a.有意サンプルのための全てのマグニチュード関連ビットがMagSgnビットストリームのみに見出される統合されたマグニチュード情報により、この抑制を、Smax<1020バイトを満たすように表すことができ、VLCビットストリーム内で採用される符号についての適切な選択の対象であり得、L=10ビットのインターフェース位置確定語(ILW)を用いて2つの前方伸長ビットストリーム間の境界を信号伝達することができるようになる。
b.VLCビットストリームとMagSgnビットストリームとの間の符号化されたマグニチュード情報を分散させる変形例について、VLCおよび適合的に符号化されたビットストリームの組み合わせられたサイズは上昇し、抑制を、Smax<2040バイトを満たすように表すことができ、VLCビットストリームと共に採用される符号のための適した選択の対象であり得る。これにより、L=11ビットインターフェース位置確定語(ILW)を用いて2つの前方伸長ビットストリーム間の境界を信号伝達することができる。
3.CBR用途におけるバッファーアンダーフローを回避するために2つの前方伸長セグメント間に追加バイトをスタッフィングする必要があるならば、多重符号語セグメントがコードストリームバッファへ放出された後でも、最後に生成された2つのバイトを読み取るだけで、スタッフィングの場所を簡単に見出すことができる。
(V&7FFFh)>7F8Fh
を見出すと、次に、Vの最上位ビットを、新しく生成されるバイトを放出する前にリセットし、その後、除去されたばかりのビットが次のバイトの最下位ビットとなるように放出未加工(emit−rraw)へ送られる。
―――――――――――――――
2ソフトウエア実施のために、全てのビットスタッフィング手順を、効率的にベクトル化することができ、その結果、個々のバイト指向の試験は必要無い。
―――――――――――――――
デコーダは、バイトを(逆向きに)未加工ビットストリームから読むため、同じ条件を監視してスタッフィングビットを除去する。
(V&7F80h)≠0
である。
MQ適応型算術符号化
MEL適合型符号化アルゴリズム
表1:MEL符号化状態機械
R≧Tである間、1(「hit」)を放出し、RからTが引かれる。
0(「miss」)を放出し、Rの最下位ビットからE個のビットが続く。
Initialize k=0
Foreach j=0,1,…
Set R←RAZC[j]
While R≧TMEL[k]
Emit“1” (“hit”)
Update R←R-TMEL[k]
Update k←min{k+1,12}
Emit“0” (“miss”)
Emit EMEL[k] LSB’s of R
Update k←max{k-1,0}
Cleanupパスグループおよび走査パターン
1.線形(または1×4)グループは、単一走査ライン内において水平に隣接する4つのサンプルからなる。コードブロック幅が4分割されない場合、各走査ライン内の最後のグループにゼロ値のサンプルがパディングされる。
2.正方形(または2×2)グループは、連続する2つのコードブロック行の1つのストライプから続く2つの列からなる。幅または高さが2分割されないコードブロックには、簡単化のため、同じく、単に0がパディングされている。
有意性符号化
線形グループのグループ有意性コンテキスト
であり、一方他の全ての走査ラインについては、
である。
正方形グループのためのグループ有意性コンテキスト
または
グループ有意性パターンの可変長符号化
表2:AZCコンテキストにおける初期ゼロのランの符号化と個々のビットのその他の各サンプルの有意性への割り当てとに互換性を有する、VLC符号語長さの単純集合。
表3:1×4グループ構造のためのVLC符号語長さの最適化された集合
表4:コードブロックにおけるグループの初期行内の2×2正方形グループのためのVLC符号語長さの最適化された集合
マグニチュード指数
また、サンプルは、Mp[n]≠0である場合は、有意であると考えられる。ビットプレーンpにおけるサンプルのための「マグニチュード指数」Ep[n]は、以下のように定義される。
ただし、Nは自然数(非負整数)の集合である。以下の表は、この定義を説明するのに役立つはずである。
マグニチュードおよびサイン符号化:前書き
連結されたマグニチュードおよびサイン符号化
ただし、EW[n]は、左側の近傍のマグニチュード指数(左側の近傍が無い場合は0)であり、EN[n]は、上記近傍のマグニチュード指数(前の走査ラインが無い場合は0)であり、ENW[n]およびENE[n]は、前の走査ラインにおける、位置nの左上側と右上側との近傍(このような近傍が無い場合は0)に対応する。上付き文字W、NW、N、およびNEは、コンパス方位を示すことを意図している。コードブロックにおける第1ラインのために、以下を使用する。
ただし、EWW[n]は、2つ左側のサンプルのマグニチュード指数(何も無ければ0)である。これらの近傍構成を図16に示す。
ただし、定数koffは4に設定されている。値3および5は、ほぼ効果的であることが分かったが、計算においてわずかに効率的でなかった。
Uステップ
Rステップ
ただし
ただし、E−1≧0である。アンサインド予測残差がu>0であれば、デコーダは、E−1=k+uおよび2E−2≦M−1<2E−1が確実であり得るため、M−1の最下位E−2=k+u−1ビットは、その値を特定するために十分であり、デコーダは、潜在的な(implicit)最上位1を加減して、これらのmビットからM−1を回復する。u=0である場合、デコーダは、E−1≦k+uであることのみを認識しているため、0≦M−1<2k+uであり、これは、m=k+uビットが放出される理由である。
マグニチュード符号化のための密接に関連する代替案
ライスマッピング
マグニチュードおよびサイン符号化のための代替ビット配置
・ケース1:u[n]>κ[n]。表6にまとめたこのケースでは、エンコーダは、1(コンマ)が続くu[n]個のゼロを放出し、M[n]のサインX[n]、そして、M[n]−1のκ[n]+u[n]−1=E[n]−2最下位ビットが続く。2E−2≦M−1<2E−1が分かっているため、このことが可能である。これは、u[n]>0である場合にセクション0によって放出されたのと全く同じコードである。
・ケース2:κ[n]≧u[n]>0。この場合、エンコーダは、1(コンマ)が続くu[n]−1個のゼロを放出し、そして、(d[n]=0で表される)単一のゼロが続き、M[n]のサインX[n]、そして、M[n]−1のκ[n]+u[n]−1=E[n]−2最下位ビットが続く。表6を参照。
・ケース3:u[n]=0、およびp[n]<κ[n]、ただし、p[n]=κ[n]−(E[n]−1)である。この場合、2k−p−1≦M−1<2k−pである。エンコーダは、1(コンマ)が続くp[n]個のゼロを放出し、そして、(d[n]=1で表される)単一の1が続き、M[n]のサインX[n]、そして、M[n]−1のκ[n]−p[n]−1=E[n]−2最下位ビットが続く。表6を参照。
・ケース4:u[n]=0、およびp[n]=κ[n]。この場合E[n]−1=M[n]−1=0。エンコーダは、1(コンマ)が続くκ[n]個のゼロを放出し、そして、M[n]のサインX[n]が続く。表6を参照。
表6:代替ビット配置の4つのケース。表は、各ケースについての条件、放出されるビット、およびその配置を示す。「NA」は、適用不可を意味し、そのフィールドについてはビットが放出される必要がないことを示す。
・l[n]=κ[n]であれば、これは、ケース4であり、M[n]のサインビットX[n]を読み出すことによりデコーディングを進めることができ、M[n]−1=0である。
・l[n]>κ[n]であれば、これはケース1であり、ここでl[n]=u[n]であり、M[n]のサインビットX[n]およびM[n]−1のκ[n]+l[n]−1=E[n]−2LSBをビットストリームから読み取ることによりデコーディングを進めることができる。次に、デコーダは、M[n]−1の潜在的なMSBを追加する必要があるだろう。潜在的なMSBは2E−2であると分かっているため伝送されていない。
・l[n]<κ[n]であれば、これはケース2またはケース3のいずれかであり得る。デコーダは、コンマの後のビット、d[n]を調査することによりこのケースを特定することができる。ケース2については、d[n]=0であり、ケース3については、d[n]=1である。ケースに応じて、デコーダは以下のように進める。
○l[n]=u[n]−1であるケース2(d[n]=0)については、デコーダは、次に、M[n]のサインビットX[n]とM[n]−1のκ[n]+l[n]=E[n]−2LSBとをビットストリームから読み取る。次に、デコーダは、M[n]−1の潜在的なMSBを追加する必要があるだろう。潜在的なMSBは2E−2であると分かっているため伝送されていない。
○l[n]=p[n]であるケース3(d[n]=1)については、デコーダは、次に、M[n]のサインビットX[n]とM[n]−1のκ[n]−l[n]−1=E[n]−2LSBとをビットストリームから読み取る。次に、デコーダは、M[n]−1の潜在的なMSBを追加する必要があるだろう。潜在的なMSBは2E−2であると分かっているため伝送されていない。
表7:デコーダがこのセクションの代替ビット配置の4つのケースを特定する方法。この表は、各ケースについての条件、ビットストリームから読み取られるビットの数、および潜在的なMSBの存在を示す。
線因果コンテキスト
このアプローチでは、予測因子が全くなければ、最初の走査ライン上のマグニチュードが残る。
分散されたマグニチュードおよびサイン符号化
非初期グループ行についての分散Mag−Sign符号化
を対応するマグニチュード指数Eg[n]マイナス1のために形成する。すなわち
である。
のように定義し、グループgにおける各有意サンプルのために放出されるマグニチュードビットの数を以下のように定義する。
表8:非初期グループ行のための、アンサインド残差ugを符号化するために用いられるuコード。ここで、lpおよびlsは、プレフィックスおよびサフィックスの長さを表し、lp+lsは全体の符号語の長さを表すが、プレフィックスおよびサフィックスのビットは、実際にはグループ対毎にインターリーブされている。
有意性ビットおよびUコードビットのペア毎のインターリーブ
初期グループ行のための分散されたMag−Sign符号化
を満たす任意の境界であり、これを以下で説明する。
ただし、
また、MagSgnビットストリームは、走査順に各有意サンプルにアクセスすることにより形成され、まずサインビットを、次にMg−1のmg[n]個の最下位ビットを放出する。
表9:コードブロックにおけるグループの初期行内において、アンサインド残差ugを符号化するために使用されるBuコード。ここで、lpおよびlsはプレフィックスおよびサフィックスの長さを表し、lp+lsは全体の符号語長さを表すが、プレフィックスおよびサフィックスビットは、グループ対毎に実際にはインターリーブされる。
Magnitude Refinement (MagRef)パス
Significance Propagation(SigProp)パス
ベクトル化可能性
並行/平行処理
―――――――――――――――
3上述の通り、MagRef符号化パスについて、これが厳密に当てはまるのは、RESTARTモードスイッチが使用される場合のみであり、このことは非常に推奨され、オーバーヘッドは取るに足らないものである。多くの場合、エンコーダは、全体のコードブロックを収容するためにサブバンドデータの十分なラインをバッファする。
―――――――――――――――
しかしながら、ブロックエンコーダにとっては、サンプルの最初のラインが現れ始めると同時に、Cleanupパスをすぐに処理することも可能である。当然、SigPropおよびMagRef符号化パスは、4ラインストライプで動作するため、それらの処理は、サンプルデータの全ストライプが利用可能になってからしか開始できないが、これとは別に、全ての符号化パスは、比較的困難を伴わずに並行して処理されてもよい。
局所依存
Post−Compression R−D Optimizationによるエンコーディング
FASTブロック符号化器でのPCRD−optの使用
―――――――――――――――
4この観察は、標準的なJPEG 2000ブロック符号化アルゴリズムが全BYPASSモードにおいて動作する場合には事実であり、ここで、全てのSigPropおよびMagRef符号化パスは、未加工ビットを放出し、適合型符号化は、Cleanupパスにおいてのみ使用される。
―――――――――――――――
符号化パスの選択的な生成
1.エンコード処理中に粗いビットプレーンを破棄することは、PCRD−opt段階を乗り切ることが期待されない細かい符号化パスを破棄することよりも「リスクがある」。コードブロックのために最初に生成されるビットプレーンが、多すぎるビットの生成という結果になる場合、PCRD−opt段階は、コードブロックのためのコンテンツを全く含むことができない可能性がある。よって、より粗いビットプレーンを破棄するという決定に関連付けられた最悪の場合の歪の影響は、より細かいビットプレーンを破棄することに関連付けられたその影響よりも大きい。
2.より粗いビットプレーンは、一般的には、少なくともソフトウエア実施においては、より細かいビットプレーンよりも消費する計算のリソースが少なく、そのため、実施のためには、必要とするよりも多くの細かいビットプレーンではなく、必要とするよりも多くの粗いビットプレーンを生成して失敗する方が、望ましい。実際、粗いビットプレーンが全くスキップされなくても、FASTブロックエンコーダはJPEG 2000よりも依然としてはるかに速い。
3.高いスループットハードウエア実施は、決定論的な方法で、何らかの任意のコードブロックのために生成されることになる符号化パスの総数を固定する必要がある可能性がある。このことは、適合型アルゴリズムがより簡単に実施されるソフトウエア環境よりもより大きい課題を提供する。
4.低いエンドツーエンドレイテンシを有する一定のビットレート圧縮データストリームを必要とする用途は、符号化パスまたはビットプレーンを選択的に生成するアルゴリズムにとって最大の課題である。下手な決定が結果として大きい歪みとなることの尤度は、PCRD−optアルゴリズムが厳格なビット予算に合うように強制される場合に、特に、コードブロックの小さいセットに対して通常行われるのだがこの強制が行われる場合に、大幅に増加する。
長さベースのビットプレーン/符号化パス選択アルゴリズム
であるCleanupパスを有する限り、PCRD−optアルゴリズムが、Lmax未満の全長を有するフレームkgenのためにコードストリームを生成することが確実に可能となる。実際、たとえこの制約がなくても、PCRD−optアルゴリズムは、長さの制約Lmaxを満たすために、1つまたは複数のコードブロックを完全に破棄することは常に可能である。しかしながら、このことは、コードブロックが破棄されている場合は、品質の大幅な低下を被る可能性があり、これは単に、十分に粗いビットプレーンに関連付けられた符号化パスはブロックエンコーダによって生成されなかったからである。
低レイテンシ用途のための符号化パス選択アルゴリズム
ここで、Δβは、量子化ステップサイズ、Nbは、コードブロックb内にあるサンプル位置のセットを表し、||Nb||は、コードブロックエリアを表す。厳格な等式よりもむしろを記載する。なぜなら、多くの用途において、log2(x)演算は、正確に計算されるよりむしろ近似されることになるからである。例えば、xについての浮動小数点表示におけるビットの一部または全ては、log2(x)の不動点近似として再解釈されてもよい。cβ[b]の効率的計算は、||Nb||・Δβによる割り算をアルゴリズムの外側に動かすことを含む可能性があり、この場合、それは、固定オフセットとなる。
ここで、VVはサブバンドサンプルの単一「v−set」(垂直セット)を表し、同じ垂直解像度を有する各サブバンドからのコードブロックの1行を構成する。関連するJPEG 2000プレシンクト区画の影響を考慮すると、任意のv−setへ寄与するサブバンドは異なる画像成分に属していてもよいが、同じ垂直サンプリングレート5を有し、同じ垂直コードブロックサイズを有するべきである。
―――――――――――――――
5垂直解像度は、ここでは、(最高垂直解像度を有する画像成分から)画像ラインがウェーブレット変換へプッシュされるにつれてサブバンドラインが現れるレートを意味する。丸め効果とは別に、サブバンドの垂直解像度は、サブバンドにおけるラインの数であり、画像の高さにより割られる。
―――――――――――――――
したがって、gvは、vにより索引付けされたv−set内で見出されるコードブロックの面積−重み付け平均複雑性と理解される。
コードストリームシンタックスおよびトランスコーディング
JPEG 2000コードストリームシンタックスの変更
表10:SXcodフィールドの構造
―――――――――――――――
6厳密には、プレシンクトが7つを上回るサブバンドを有する場合、完全に空の初期パケットの存在を信号で知らせるために、追加の0バイトが必要とされる可能性があるが、これは、パート2Arbitrary Decomposition Style(ADS)特性が使用される場合のみ可能である。
―――――――――――――――
これを考慮し、MIXEDモードにおける何らかのプレシンクトの第1パケットのZLPビットは、FASTブロック符号化アルゴリズムが使用されるならば、1と再定義され、それ以外の場合は0と再定義される。次に、パケット構文解析(段階2デコーディング)の全ての他の観点は、第1パケットのZLPビットが1であった場合、BYPASSおよびBBモードがそれぞれ1および01であったかのように、第1パケットが「ゼロ長」パケットであり得ず、プレシンクトのパケットが構文解析されること以外は、変更されないままである。
FASTビットストリームへのSTDビットストリームのトランスコーディング
STDビットストリームへのFASTビットストリームのトランスコーディング
圧縮パフォーマンスの表示
DEF: kdu_compress −i <image> −o im.jpx −rate <rate>
BYP: kdu_compress −I <image> −o im.jpx −rate <rate>
Cmodes=BYPASS|BYPASSS_E1|BYPASS_E2
FAST: kdu_compress −I <image> −o im.jpx −rate <rate>
Cmodes=BYPASS|BYPASSS_E1|BYPASS_E2Ctyp=FAST
統合されたマグニチュード符号化による初期実験
表11:AZCグループ有意性シンボルのためのMQおよびMEL符号化技術、線形1×4グループ、統合されたマグニチュード符号化およびデュアルビットストリームCleanupパスによる、JPEG 2000の変形例(DEFおよびBYP)とFASTブロック符号化アルゴリズムとの間の圧縮効率比較、結果は3ビットレートのPSNR(dB)で報告される。ここでの結果は、PCRD最適化対象としてのMSE(等価的にPSNR)により得られる。
―――――――――――――――
7KakaduのいわゆるSpeed−Packの変形例に含まれるSTDブロック符号化アルゴリズムおよびBYPブロック符号化アルゴリズムの双方のより速い実施(約1.5倍速い)があるが、そこで使用される同じ技術を、FASTブロック符号化器をさらに速くするためにも適用可能である。
―――――――――――――――
最近の4コアのCPUにおける60fpsでの4K 4:4:4映像のリアルタイムデコーディングを達成するためには若干の困難が予測される。
分散マグニチュード符号化による実験
表13:統合および分散マグニチュード符号化を含むFASTブロック符号化器の変形例間の圧縮効率の比較。「CONS1×4」行は、表11において報告された、MEL符号化、線形1×4グループ、統合マグニチュード符号化およびデュアルビットストリームCleanupパスを伴う変形例に対応する。「DIST1×4」行は、MEL符号化、線形1×4グループ、分散マグニチュード符号化およびトリプルビットストリームCleanupパスを伴う変形例に対応する。「DIST2×2」構成は、正方形2×2グループが採用されることを除き、同じである。結果は、PCRD最適化対象としてのMSE(等価的にPSNR)により得られる、3ビットレートでのPSNR(dB)において報告される。
表14:Kakaduのデフォルトビジュアル最適化(CSF重要性)が全てのこれらのテストにおいて有効化されていること以外は表4と同じ実験の結果。結果として、PSNR値は低く、評価された異なる構成を比較するために使用され得ること以外は必ずしも全てがそれほど意味があるわけではない。
a.まず、好ましい実施形態において、具体的サブセットのグループ(AZCグループとして知られる)の有意性は、その独自のビットストリームを生成する適合型符号化エンジンを用いて符号化される。
b.他の有意性情報は、有意サンプルのためのマグニチュードおよびサイン情報が符号化される前に、グループベースで符号化される。
c.デュアルビットストリーム実施形態において、有意性情報は、コードブロックサンプルの一本のライン全体について、これらのサンプルについてのマグニチュードおよびサイン情報が符号化される前に符号化され、その後、次のラインが処理されるなどする。
d.トリプルビットストリーム実施形態において、有意性エンコーディングおよびデコーディングは、マグニチュードおよびサイン符号化処理から完全に分離され、その結果、有意性は、任意の順でエンコードされ得る一方で、デコーダは、最終のマグニチュードおよびサイン情報と並行してまたはそれより前に任意の所望のマージンによって有意性情報を回復することができる。
JPEG−XSへの応用
高い解像度の映像キャプチャへの応用
a)トランスコーディングは、変換されたドメインにおいて生じ得る。
b)トランスコーディングは、圧縮自体に損失のあるものであっても、本質的に損失が無い。
c)トランスコーディングを、必要性が生じると、コードブロック毎であっても、選択的に行うことができる。
エネルギー効率的画像/映像レンダリングへの応用
クラウドベースの映像サービスへの応用
JPEG−XS要件の対応
低レイテンシのためのウェーブレット変換およびプレシンクト
―――――――――――――――
8http://www.kakadusoftware.comを参照。
―――――――――――――――
1. Mallat: Clevels=2 Cprecincts={8,8192},{4,8192},{2,8192}
2. DFS: Clevels=3 Cprecincts={8,8192},{4,8192},{2,8192} Cdecomp=B(−:−:−),B(−:−:−),H(−)
―――――――――――――――
9高いビットレートにおいて、量子化ステップサイズが小さくなるにつれて、JPEG 2000Part−1の可逆5/3変換に関連付けられた整数丸め操作の効果は、量子化エラーを十分に増幅する傾向があり、その結果、パフォーマンスが不可逆変換により達成されるパフォーマンスよりも顕著に劣る。
―――――――――――――――
不可逆の5/3変換は、JPEG 2000Part−2任意変換カーネル(ATK)特性を介して収容される。特に、JPEG 2000のKakadu実施は、以下のオプションにより長い間この機能をサポートしている。Kextension:I2=SYMKreversible:I2=noKsteps:I2={2,0,0,0}、{2,−1,0,0}Kcoeffs:I2=−0.5,−0.5,0.25,0.25
―――――――――――――――
10具体的に、最もゆっくりと進行する空間寸法を有するPCRLシーケンスを参照し、次に、構成要素寸法(すなわち、構成要素インターリービング)を参照し、最も迅速に進行する解像度および品質層が続く。
―――――――――――――――
上記条件について、パケットプログレッションシーケンスは以下のように拡張され得る。ただし、括弧内の数は、各プレシンクト内で放出されるコードブロックの高さを示す。
表15:再構築された出力ラインと必要とされるソースラインとの間の関係を誘発する遅延
ハードウエアリソースの検討
―――――――――――――――
11例えば、Taubmanand Marcellin, JPEG2000: Image Compression Fundamentals, Standards and Practice,Springer, 2002の17章を参照。
―――――――――――――――
サブバンドサンプルを格納するために必要とされる全ての他のメモリは、以下で説明するように、コードブロック自体と関連付けられていてもよい。最高精度の用途の他は、これら2ラインバッファの各々におけるサンプル当たり16ビットを提供すれば十分である。
VLC表
コードブロックサンプルバッファメモリ
―――――――――――――――
12エンコーダは、多重Cleanupパスを生成してレート制御機構により多くのオプションを付与してもよい。
―――――――――――――――
SigPropおよびMagRef符号化パスはそれほど早くは開始しないが、これらは双方とも次に細かいビットプレーンにおいてのみ動作し、そのため、エンコーダにとっては、サブバンドサンプルのただ1つの完全なラインと、サンプル当たり1つのマグニチュードビットと1つのサインビットのみを保持するプラス3つの追加のラインのためのストレージを提供するだけ十分である。
ビットのためのストレージを提供さえすればよい。ただし、Wはコードブロックの幅である。
マグニチュード指数メモリ
パス間状態情報
符号化されたビットのためのストレージ
有意性符号化のための演算
MQ算術符号化器
MEL適合符号化器
マグニチュード符号化のための演算
ビットスタッフィング
処理遅延の簡単な検討
Claims (106)
- ブロック符号化処理によって複数の画像サンプルを複数のコードブロックの形にする画像圧縮の方法であって、前記ブロック符号化処理は、
1つのサンプルセットについての有意性情報を、走査順における前のサンプルの有意性にのみ依存する符号(code)を用いて符号化するステップと、
1つのサンプルセットについてのマグニチュードおよびサイン情報を、前記走査順における前のマグニチュードおよび有意性情報にのみ依存する符号を用いて符号化するステップと、
各サンプルセットに関連付けられた有意性ビットが符号化表現(符号語セグメント)においてまとまって発現するように、前記有意性およびマグニチュード符号ビットをサンプルのセット毎に配置するステップと、
前記コードブロックにおける各サンプルセットについて、前記符号化および前記符号ビット配置ステップを繰り返すステップと、を含む方法。 - 請求項1に記載の方法において、
前記ブロック符号化処理は、1つのサンプルセットが1グループのサンプルを含むように、前記コードブロックの前記サンプルを複数のグループに収集するステップを含み、
前記有意性符号化ステップは、前記複数グループのサンプルに対して適用される、方法。 - 請求項2に記載の方法において、
各グループは、4つのサンプルを含む、方法。 - 請求項1、2、または3に記載の方法において、
複数のグループ有意性信号を、前記コードブロック内の複数の特定のグループのために、適合型符号を用いて符号化して、各このようなグループが有意サンプルをいくつか有しているか、または、有意サンプルを全く有していないかを通信する、方法。 - 請求項1から4のいずれか1項に記載の方法において、
前記ブロック符号化処理は、複数のビットストリームを含む単一符号語セグメントを生成するステップを含む、方法。 - 請求項5に記載の方法であって、
前記単一符号語セグメントを、前方伸長ビットストリームおよび後方伸長ビットストリーム(デュアルビットストリーム)によって生成することで、前記個々のビットストリームの長さを別々に通信する必要がない、方法。 - 請求項5に記載の方法において、
前記単一符号語セグメントを、2つの前方伸長ビットストリームと1つの後方伸長ビットストリームとからなる3つのビットストリーム(トリプルビットストリーム)により生成し、
前記2つの前方伸長ビットストリーム間のインターフェースと、前記符号語セグメントの全体の長さとを明確に特定する、方法。 - 請求項1から7のいずれか1項に記載の方法において、
グループ有意性シンボルの適合型符号化により生成されるビットを、前記コードブロックの符号語セグメント内でそれら自身のビットストリーム(適合的に符号化されたビットストリーム)に割り当てる、方法。 - 請求項1から8のいずれか1項に記載の方法において、
グループ有意性信号を、適合型算術符号化エンジンを用いて符号化する、方法。 - 請求項1から8のいずれか1項に記載の方法において、
グループ有意性信号を、適合型ランレングス符号化エンジンを用いて符号化する、方法。 - 請求項1から10のいずれか1項に記載の方法において、
1つのサンプルセットについての有意性を符号化する前記ステップは、コンテキストに基づき、1つのサンプルセットの前記コンテキストは、走査ライン順において前記コードブロックにおける前の複数のサンプルセットのために既に符号化された有意性情報にのみ依存している、方法。 - 請求項11に記載の方法において、
コンテキストに基づいて有意性符号化する前記ステップは、可変長符号を利用し、
単一符号語は、それ以外の場合は全体に非有意と分からない各サンプルセットについて放出される、方法。 - 請求項12に記載の方法において、
コンテキストに基づく有意性符号化により生成される前記ビットを、前記適合的に符号化されたビットストリームから分離したビットストリーム(未加工ビットストリーム)内に配置する、方法。 - 請求項1から13のいずれか1項に記載の方法において、
マグニチュード情報を符号化する前記ステップは、マグニチュードコンテキストに基づき、各サンプルについての前記マグニチュードコンテキストは、その近傍の前記マグニチュード指数から形成される、方法。 - 請求項14に記載の方法において、
前記マグニチュードコンテキストは、以前に符号化されたサンプルマグニチュードの前記マグニチュード指数から形成される、方法。 - 請求項11から15のいずれか1項に記載の方法において、
コードブロックの有意サンプルについてのマグニチュードおよびサイン情報をエンコードするために使用される前記ビットは、前記コンテキストに基づく有意性符号ビットと同じビットストリーム(未加工ビットストリーム)内に配置されているが、1つのサンプルセットについての前記有意性ビットが同じサンプルセットについての前記マグニチュードおよびサインビットよりも前に発現するように分離されている、方法。 - 請求項11から15のいずれか1項に記載の方法において、
マグニチュードおよびサイン情報をエンコードするために使用される前記ビットは、前記コンテキストに基づく有意性符号ビットから分離したビットストリーム(未加工ビットストリーム)内に配置されている、方法。 - 請求項11から15のいずれか1項に記載の方法において、
有意サンプルについてのマグニチュードおよびサイン情報は、可変長符号化部と非符号化部とに分離され、ただし、前記可変長符号化部により生成される前記ビットは、前記コンテキストに基づく有意性符号ビットと同じビットストリーム(VLCビットストリーム)内に配置され、一方、前記非符号化部は、分離したビットストリーム(未加工ビットストリーム)内に配置されている、方法。 - 請求項1から18のいずれか1項に記載の方法において、
マグニチュードおよびサイン情報を符号化する前記ステップは、各有意サンプルについての前記未加工ビットストリームに含まれる必要があるマグニチュード情報のビットの数を符号化するステップを含む、方法。 - 請求項19に記載の方法において、
各有意サンプルについての前記未加工ビットストリームに含まれる必要があるマグニチュード情報のビットの数を符号化する前記ステップは、マグニチュードコンテキストに基づき、該マグニチュードコンテキストは、近傍サンプルの前記マグニチュード指数から形成される、方法。 - 請求項20に記載の方法において、
前記マグニチュードコンテキストは、前記近傍サンプルマグニチュード指数の合計から形成される、方法。 - 請求項21に記載の方法において、
使用される前記近傍サンプルは、前記コードブロックの前記第1ラインにおける2つの先行する近傍と前記コードブロックにおける全ての他のラインについての4つの近傍(左、左上、上、および右上)である、方法。 - 請求項19から22のいずれか1項に記載の方法において、
有意サンプルの前記マグニチュードは、2部分に、つまり、1部は前記マグニチュード指数のために、もう1部は前記サインおよびマグニチュードビットのためにエンコードされる、方法。 - 請求項23に記載の方法において、
前記マグニチュード指数部分は、前記サインおよびマグニチュードビット部分をデコードすることなく、前記マグニチュード指数を明らかにしてデコードされるように配置されている、方法。 - 請求項23または請求項24に記載の方法において、
前記符号の前記マグニチュード指数部分は、コンマ符号によってエンコードされ、
前記コンマ符号は、
イベントの発生によって、U=max(0,E−1−G)をエンコードするために使用され、ただし、UはGよりも大きく、Eは前記有意サンプルの前記マグニチュード指数であり、Gは前記マグニチュード符号化コンテキストから生成される予測因子であり、
イベントの発生によって、0が続くU−1をエンコードするために使用され、ただし、GはU以上であり、Uが0を上回り、
イベントの発生によって、1が続くP=G−(E1)をエンコードするために使用され、ただし、Uが0でありPがG未満であり、
イベントの発生によって、Gをエンコードするために使用され、ただし、Uは0であり、PがGに等しく、全てのエンコードされたビットは、未加工ビットストリームへ放出される、方法。 - 請求項20、21または22に記載の方法において、
前記マグニチュード符号化コンテキストは、予測因子Gに変換され、
コンマ符号は、U=max(0、E−1−G)をエンコードするために使用され、ただし、Eは前記有意サンプルの前記マグニチュード指数であり、
その後、Uが0を上回っている場合は、前記サインおよびU+G−1最下位マグニチュードビットが放出され、それ以外は、前記サインおよびU+Gマグニチュードビットが放出され、ただし、全てのビットは未加工ビットストリームへ放出される、方法。 - 請求項20、21または22に記載の方法において、
前記マグニチュード符号化コンテキストは、予測因子Gに変換され、
コンテキスト依存型ライスマッピングは、前記サインド予測残差E−1−Gに適用されてRを形成し、
コンマ符号は、Rをエンコードするために使用され、
その後、Eが2を上回る場合は前記サインおよびE−2最下位マグニチュードビットが放出され、それ以外は前記サインビットのみが放出され、ただし、全てのビットが未加工ビットストリームへ放出される、方法。 - 請求項19または20に記載の方法において、
有意サンプルについて前記未加工ビットストリームに含まれる必要のあるマグニチュードビットの前記数を符号化する前記ステップを、グルーブベースで行い、グループにおける各有意サンプルについて含むことになる十分な数のビットは、前記グループにおける全ての有意サンプルに適用するマグニチュードビットの予測数および予測残差の合計として符号化される、方法。 - 請求項28に記載の方法において、
グループにおける有意サンプルについてのマグニチュードビットの前記予測数を、既に符号化されたマグニチュード情報を有する他のグループに属するサンプルの前記マグニチュード指数値を用いて決定する、方法。 - 請求項29および19に記載の方法において、
グループにおける有意サンプルについてのマグニチュードビットを特定するために使用される前記予測残差は、可変長符号を用いて符号化され、そのビットは、同じグループにおける有意サンプルを符号化するために使用される前記可変長符号のビットの後に放出される、方法。 - 請求項30に係る方法において、
前記予測残差および有意性符号語ビットは、同じビットストリーム内においてインターリーブされる、方法。 - 請求項31に記載の方法において、
残差および有意性符号語ビットの前記インターリーブは、連続的グループの各対についての前記有意性符号語に、同じグループについての前記予測残差符号語が続き、それらが有意サンプルを含む場合には、連続的グループの次の対についての前記有意性符号語が続くというように行われる、方法。 - 請求項1から32のいずれか1項に記載の方法において、
画像圧縮の前記方法は、JPEG 2000フォーマットに準拠し、
請求項1から32のいずれか1項に記載の前記ブロック符号化処理を、通常のJPEG 2000ブロック符号化処理の代わりに用いる、方法。 - 請求項1から33のいずれか1項に記載の方法において、
有意性およびマグニチュード符号化(Cleanupパス)の前記ステップは、あるマグニチュードビットプレーンに関連してコードブロック内において量子化されたサブバンドサンプルを通信する符号語セグメント(Cleanup セグメント)を生成する、方法。 - 請求項34に記載の方法において、
付加的な符号語セグメント(SigPropセグメント)を生成し、該付加的な符号語セグメントは、前記Cleanupパスにおいて非有意として符号化された、コードブロック内のいくつかのサンプルの有意性を、次のより細かい(より高精度の)マグニチュードビットプレーンに関連して、このより細かいビットプレーンに関連してのみ有意である複数のサンプルについての前記サイン情報と共に表す。 - 請求項34に記載の方法において、
さらなる符号語セグメント(MagRefセグメント)を生成し、該さらなる符号語セグメントは、前記より細かい(より高精度の)ビットプレーンに関して、前記Cleanupパスにおいて有意として符号化されるサンプルについて、最下位マグニチュードビットを保持する、方法。 - 請求項5から22のいずれか1項に記載の方法において、
ビットストリームにビットスタッフィング手順を行う、方法。 - 請求項1から37のいずれか1項に記載の方法において、
各コードブロックについてSignificance Propagation符号化パスを実施するステップを含む、方法。 - 請求項38に記載の方法において、
前記Significance Propagationパスは、有意性およびサインビットを未加工符号語セグメントへ放出する、方法。 - 請求項39に記載の方法において、
1つのサンプルセットに関連付けられた前記有意性ビットはまとめて放出され、このサンプルセットについての任意のサインビットが続き、次のサンプルセットについての前記有意性ビットが続くというように放出される、方法。 - 請求項40に記載の方法において、
有意性およびサインビットについての前記インターリーブパターンを決定する前記サンプルセットは、4サンプルからなる、方法。 - 請求項1から41のいずれか1項に記載の方法において、
各コードブロックのためにMagnitude Refinement符号化パスを実施するステップを含む、方法。 - 請求項42に記載の方法において、
前記Magnitude Refinementパスは、未加工符号語セグメントへレファインメントビットを放出する、方法。 - 複数の画像サンプルを複数のコードブロックの形にする画像圧縮の方法において、
ブロック符号化処理を含み、該ブロック符号化処理は、
1つのサンプルセットについての有意性情報を符号化するステップと、
続いて、前記サンプルセットについてマグニチュードおよびサイン情報を符号化するステップと、
その他のサンプルセットのために、前記符号化および続く符号化ステップを、前記複数のコードブロックにおける全ての複数のサンプルセットについて有意性、サイン、およびマグニチュード情報が符号化されるまで繰り返すステップとを含む、方法。 - 請求項44に記載の方法において、
前記ブロック符号化処理は、1つのサンプルセットが1グループのサンプルを含むように、前記コードブロックの前記サンプルを複数のグループになるように集めるステップを含み、
前記符号化および続く符号化ステップは、前記複数グループのサンプルに適用される、方法。 - 請求項45に記載の方法において、
各グループは、4つのサンプルを含む、方法。 - 請求項45または請求項46に記載の方法において、
前記ブロック符号化処理は、前記グループのサブセットを、その独自のビットストリームを生成する適合型符号化エンジンを用いて符号化するステップをさらに含む、方法。 - 請求項47に記載の方法において、
前記その独自のビットストリームを生成する適合型符号化エンジンは、算術符号化エンジンである、方法。 - 請求項47に記載の方法において、
前記その独自のビットストリームを生成する適合型符号化エンジンは、適合型ランレングス符号化エンジンである、方法。 - 請求項47、48または49に記載の方法において、
前記適合型符号化エンジンによって符号化されなかった前記残留有意性情報を符号化して未加工ビットストリームを提供する、方法。 - 請求項50に記載の方法において、
前記ブロック符号化処理は、複数のビットストリームを含む単一符号語セグメントを生成するステップを含む、方法。 - 請求項51に記載の方法において、
前記符号語セグメントは、2つの部分を有し、そのうち、第1部分は、前記符号化エンジンにより生成される前記ビットストリームを含み、第2部分は未加工ビットストリームを含む、方法。 - 請求項52に記載の方法において、
前記符号語セグメントは3つの部分を有し、そうのうち、一部分は前記適合型符号化エンジンにより生成される前記ビットストリームを含み、第2部分は、前記第1部分内においてエンコードされない有意性情報を保持する前記未加工ビットストリームを含み、第3部分は、他の2つの部分内においてエンコードされないマグニチュードおよびサイン情報を保持する第2未加工ビットストリームを含む、方法。 - 請求項44から50のいずれか1項に記載の方法において、
前記ブロック符号化処理は、有意性、サイン、およびマグニチュード情報を含む単一符号語セグメントを生成するステップを含み、前記単一符号語セグメントは複数の部分を有し、各部分は異なる符号化処理によって符号化される、方法。 - 請求項44〜54のいずれか1項に記載の方法において、
有意性情報を符号化するステップは、コンテキストに基づき、1つのサンプルセットの前記コンテキストは、前記コードブロックにおける複数のサンプルセットのために既に符号化された前記有意性情報にのみ依存する、方法。 - 請求項55に記載の方法において、
有意性情報を符号化する前記ステップは、可変長符号化を利用し、
単一符号語は、それ以外の場合は全体に非有意と分からない各サンプルセットについて放出される、方法。 - 請求項44〜56のいずれか1項に記載の方法において、
マグニチュードおよびサイン情報を符号化する前記ステップは、各有意サンプルについての前記未加工ビットストリームに含まれる必要があるマグニチュード情報のビットの数を符号化するステップを含む、方法。 - 請求項57に記載の方法において、
各有意サンプルについての前記未加工ビットストリームに含まれる必要があるマグニチュード情報のビットの数を符号化する前記ステップは、マグニチュードコンテキストに基づき、該マグニチュードコンテキストは、近傍サンプルの前記マグニチュード指数から形成される、方法。 - 請求項58に記載の方法において、
前記マグニチュードコンテキストは、前記近傍サンプルマグニチュード指数の合計から形成される、方法。 - 請求項59に記載の方法において、
使用される前記近傍サンプルは、前記コードブロックの前記第1ラインにおける2つの先行する近傍と前記コードブロックにおける全ての他のラインについての4つの近傍(左、左上、上、および右上)である、方法。 - 請求項57〜60のいずれか1項に記載の方法において、
有意サンプルの前記マグニチュードは、2部分に、つまり、1部は前記マグニチュード指数のために、もう1部は前記サインおよびマグニチュードビットのためにエンコードされる、方法。 - 請求項61に記載の方法において、
前記マグニチュード指数部分は、前記サインおよびマグニチュードビット部分をデコードすることなく、前記マグニチュード指数を明らかにしてデコードされるように配置されている、方法。 - 請求項61または62に記載の方法において、
前記符号の前記マグニチュード指数部分は、コンマ符号によってエンコードされ、
前記コンマ符号は、
イベントの発生によって、U=max(0,E−1−G)をエンコードするために使用され、ただし、UはGよりも大きく、Eは前記有意サンプルの前記マグニチュード指数であり、Gは前記マグニチュード符号化コンテキストから生成される予測因子であり、
イベントの発生によって、0が続くU−1をエンコードするために使用され、ただし、GはU以上であり、Uが0を上回り、
イベントの発生によって、1が続くP=G−(E1)をエンコードするために使用され、ただし、Uが0でありPがG未満であり、
イベントの発生によって、Gをエンコードするために使用され、ただし、Uは0であり、PがGに等しく、全てのエンコードされたビットは、未加工ビットストリームへ放出される、方法。 - 請求項58、59、または60に記載の方法において、
前記マグニチュード符号化コンテキストは、予測因子Gに変換され、
コンマ符号は、U=max(0、E−1−G)をエンコードするために使用され、ただし、Eは前記有意サンプルの前記マグニチュード指数であり、
その後、Uが0を上回っている場合は前記サインおよびU+G−1最下位マグニチュードビットが放出され、それ以外は、前記サインおよびU+Gマグニチュードビットが放出され、ただし、全てのビットは未加工ビットストリームへ放出される、方法。 - 請求項58、59、または60に記載の方法において、
前記マグニチュード符号化コンテキストは、予測因子Gに変換され、
コンテキスト依存型ライスマッピングは、前記サインド予測残差E−1−Gに適用されてRを形成し、
コンマ符号は、Rをエンコードするために使用され、
その後、Eが2を上回る場合は前記サインおよびE−2最下位マグニチュードビットが放出され、それ以外は前記サインビットのみが放出され、ただし、全てのビットが未加工ビットストリームへ放出される、方法。 - 請求項57に記載の方法において、
有意サンプルについて前記未加工ビットストリームに含まれる必要のあるマグニチュードビットの前記数を符号化する前記ステップを、グルーブベースで行い、グループにおける各有意サンプルについて含むことになる十分な数のビットは、前記グループにおける全ての有意サンプルに適用するマグニチュードビットの予測数および予測残差の合計として符号化される、方法。 - 請求項66に記載の方法において、
グループにおける有意サンプルについてのマグニチュードビットの前記予測数を、既に符号化されたマグニチュード情報を有する他のグループに属するサンプルの前記マグニチュード指数値を用いて決定する、方法。 - 請求項65および請求項56に記載の方法において、
グループにおける有意サンプルについてのマグニチュードビットを特定するために使用される前記予測残差は、可変長符号を用いて符号化され、そのビットは、同じグループにおける有意サンプルを符号化するために使用される前記可変長符号のビットの後に放出される、方法。 - 請求項68に記載の方法において、
前記予測残差および有意性符号語ビットは、同じビットストリーム内においてインターリーブされる、方法。 - 請求項69に記載の方法において、
残差および有意性符号語ビットの前記インターリーブは、連続的グループの各対についての前記有意性符号語に、同じグループについての前記予測残差符号語が続き、それらが有意サンプルを含む場合には、連続的グループの次の対についての前記有意性符号語が続くというように行われる、方法。 - 請求項51、52、53、59、38または60に記載の方法において、
ビットストリームにビットスタッフィング手順を行う、方法。 - 請求項44〜63のいずれか1項に記載の方法において、
各コードブロックについてSignificance Propagation符号化パスを実施するステップを含む、方法。 - 請求項72に記載の方法において、
前記Significance Propagationパスは、有意性およびサインビットを未加工符号語セグメントへ放出する、方法。 - 請求項73に記載の方法において、
1つのサンプルセットに関連付けられた前記有意性ビットはまとめて放出され、このサンプルセットについての任意のサインビットが続き、次のサンプルセットについての前記有意性ビットが続くというように放出される、方法。 - 請求項74に記載の方法において、
有意性およびサインビットについての前記インターリーブパターンを決定する前記サンプルセットは、4サンプルからなる、方法。 - 請求項44〜75のいずれか1項に記載の方法において、
各コードブロックのためにMagnitude Refinement符号化パスを実施するステップを含む、方法。 - 請求項76に記載の方法において、
前記Magnitude Refinementパスは、未加工符号語セグメントへレファインメントビットを放出する、方法。 - 請求項1から77のいずれか1項に記載の方法において、
画像圧縮の前記方法は、JPEG 2000フォーマットに準拠し、
請求項1から77のいずれか1項に記載の前記ブロック符号化処理を、通常のJPEG 2000ブロック符号化処理の代わりに用いる、方法。 - 請求項1から78のいずれか1項に記載の画像処理方法を実施するように構成されたエンコーディング装置。
- エンコーディング装置であって、
1つのサンプルセットについての有意性情報を符号化し、続いて、前記1つのサンプルセットについてのマグニチュードおよびサイン情報を符号化し、他のサンプルセットのために前記符号化および続く符号化ステップを、コードブロックにおける全ての前記複数のサンプルセットについて有意性、サイン、およびマグニチュード情報が符号化されるまで繰り返すように構成されたブロック符号化器を備える、エンコーディング装置。 - 請求項1〜78のいずれか1項に記載の方法を実施するようにコンピュータを制御するインストラクションを含む、コンピュータプログラム。
- 請求項81に記載のコンピュータプログラムを提供する、不揮発性コンピュータ可読媒体。
- 請求項82に記載のコンピュータプログラムを含む、データ信号。
- 標準的なJPEG 2000ブロックビットストリームを請求項1から78のいずれか1項に記載の方法によって生成されるようなブロックビットストリームに変換するステップを含む、トランスコーディング処理。
- 標準的なJPEG 2000ブロックビットストリームを請求項1から78のいずれか1項に記載の方法によって生成されるようなブロックビットストリームに変換するように構成された、トランスコーディング装置。
- 請求項1から78のいずれか1項に記載の方法によって生成されるようなブロックビットストリームを標準的なJPEG 2000ブロックビットストリームに変換するステップを含む、トランスコーディング処理。
- 請求項1から78のいずれか1項に記載の方法によって生成されるようなブロックビットストリームを標準的なJPEG 2000ブロックビットストリームに変換するように構成された、トランスコーディング装置。
- 請求項84または請求項86に記載のトランスコーディング処理を実施するようにコンピュータを制御するインストラクションを含む、コンピュータプログラム。
- 請求項88に記載のコンピュータプログラムを提供する不揮発性コンピュータ可読媒体。
- 請求項88に記載のコンピュータプログラムを含む、データ信号。
- JPEG 2000規格に準拠した画像圧縮の方法において、
画像サンプルをブロック符号化処理によってコードブロックの形にし、改善策はブロック符号化処理においてCleanupパスを実施することを含み、これは、全ての対応する先行のJPEG 2000符号化パスによってエンコードされる情報と共に、対応のJPEG 2000Cleanupパスによってエンコードされる情報をエンコードする、方法。 - 請求項91に記載の方法において、
前記画像における各コードブロックのために、複数のCleanupパス、複数のSignificance Propagationパス、および複数のMagnitude Refinementパスを生成し、コードブロックのための各Cleanupパスは、個別のビットプレーンに関連付けられ、各Significance PropagationおよびMagnitude RefinementパスはCleanupパスのレファインメントを表し、
そして、圧縮後レート歪み最適化処理によって、各コードブロックのための最終の圧縮された結果に含まれることになる特定のCleanupパスと、そのCleanupパスに関連付けられた任意のSignificance PropagationパスまたはMagnitude Refinementパスを含むかどうかとを選択する、方法。 - 請求項92に記載の方法において、
コードブロックのために符号化パスが生成される前記ビットプレーンのセットは、類似の画像を圧縮する場合、類似のコードブロックから含有のために選択された前記ビットプレーンに基づいて、前記圧縮後レート歪み最適化手順により決定される、方法。 - 請求項93に記載の方法において、
圧縮される前記画像は、映像シーケンスに属し、
前記類似画像は前記映像シーケンスから以前に圧縮されたフレームに対応し、前記類似コードブロックは、前記類似フレームの同じサブバンド内に同様に位置するブロックに対応する、方法。 - 請求項93または請求項94に記載の方法において、
符号化パスが生成される前記ビットプレーンは、前記イメージの予測された圧縮可能性に関する複雑性の基準にさらに依存している、方法。 - 請求項95に記載の方法において、
前記複雑性は、前記類似コードブロックおよび画像だけでなく、圧縮されている前記コードブロックおよび前記画像について評価され、複雑性における差異は、符号化パスが生成される前記ビットプレーンのセットを調整するために使用される、方法。 - 請求項95または請求項96に記載の方法において、
複雑性の基準は、コードブロック内においてサブバンドサンプルマグニチュードを蓄積し、前記結果の近似的な対数を取り出すことにより、導出される、方法。 - 請求項96または請求項97に記載の方法において、
複雑性の前記基準は、複数のビットプレーンの各々においてコードブロックにおいて見出される有意サンプルの数をカウントすることに基づく圧縮可能性推定から導出される、方法。 - 請求項96または請求項97に基づく方法において、
複雑性の前記基準は、コードブロックにおいて見出される前記サブバンドサンプルの確率密度関数のためのパラメトリックモデルに基づく圧縮可能性推定から導出され、このようなモデルのための前記パラメータは、コードブロックのサンプル値から計算される要約統計値から形成される、方法。 - 請求項92から99のいずれか1項に記載の方法において、
前記ブロック符号化処理は、請求項1から78のいずれか1項に記載の方法に基づく、方法。 - 請求項92から100のいずれか1項に記載の方法を実施するように構成された、エンコーディング装置。
- 複数の画像サンプルを複数のコードブロックの形にする画像圧縮の方法において、
ブロック符号化処理を含み、該ブロック符号化処理は、情報を含む単一符号語セグメントを生成するステップを含み、前記単一符号語セグメントは、複数の部分を含み、各部分は、異なる符号化処理によって符号化される、方法。 - 請求項102に記載の方法において、
前記情報は、有意性、サイン、およびマグニチュード情報を含む、方法。 - 請求項102または103に記載の方法を実施するようにコンピュータを制御するインストラクションを含む、コンピュータプログラム。
- 請求項104に記載のコンピュータプログラムを提供する不揮発性コンピュータ可読媒体。
- 請求項104に記載のコンピュータプログラムを含む、データ信号。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2016901947A AU2016901947A0 (en) | 2016-05-23 | A method and apparatus for image compression | |
AU2016901947 | 2016-05-23 | ||
AU2016902956A AU2016902956A0 (en) | 2016-07-27 | A method and apparatus for image compression | |
AU2016902956 | 2016-07-27 | ||
AU2016903093 | 2016-08-05 | ||
AU2016903093A AU2016903093A0 (en) | 2016-08-05 | A method and apparatus for image compression | |
AU2016904209 | 2016-10-17 | ||
AU2016904209A AU2016904209A0 (en) | 2016-10-17 | A method and apparatus for image compression | |
AU2017900628A AU2017900628A0 (en) | 2017-02-24 | A method and apparatus for image compression | |
AU2017900628 | 2017-02-24 | ||
PCT/AU2017/050484 WO2017201574A1 (en) | 2016-05-23 | 2017-05-23 | A method and apparatus for image compression |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019522448A true JP2019522448A (ja) | 2019-08-08 |
JP2019522448A5 JP2019522448A5 (ja) | 2020-07-02 |
JP7037554B2 JP7037554B2 (ja) | 2022-03-16 |
Family
ID=60410966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019514149A Active JP7037554B2 (ja) | 2016-05-23 | 2017-05-23 | 画像を圧縮する方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10951897B2 (ja) |
EP (1) | EP3466077A4 (ja) |
JP (1) | JP7037554B2 (ja) |
AU (1) | AU2017268705B2 (ja) |
WO (1) | WO2017201574A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023146164A1 (ko) * | 2022-01-27 | 2023-08-03 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7037554B2 (ja) | 2016-05-23 | 2022-03-16 | カカドゥ アール アンド ディー ピーティーワイ リミテッド | 画像を圧縮する方法および装置 |
CN115967800A (zh) * | 2018-03-29 | 2023-04-14 | 弗劳恩霍夫应用研究促进协会 | 依赖性量化 |
US11265550B2 (en) * | 2018-04-04 | 2022-03-01 | Kakadu R & D Pty Ltd | Further improved method and apparatus for image compression |
KR20230170824A (ko) * | 2018-09-24 | 2023-12-19 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 종속 스칼라 양자화를 사용하거나 이와 조합하는 데에 적합한 변환 계수의 효율적인 코딩 |
WO2020073098A1 (en) * | 2018-10-12 | 2020-04-16 | Kakadu R & D Pty Ltd | A method and apparatus for image compression |
US10873747B2 (en) * | 2018-11-18 | 2020-12-22 | Sony Corporation | Residual mapping method for image/video compression |
US10880354B2 (en) | 2018-11-28 | 2020-12-29 | Netflix, Inc. | Techniques for encoding a media title while constraining quality variations |
US10841356B2 (en) * | 2018-11-28 | 2020-11-17 | Netflix, Inc. | Techniques for encoding a media title while constraining bitrate variations |
CN110430430B (zh) * | 2019-08-08 | 2021-07-06 | 浙江芯昇电子技术有限公司 | 图像处理方法及装置、存储介质、电子装置 |
CN113992980B (zh) * | 2020-07-09 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 攻击码流的生成方法、装置及设备 |
CN112215840A (zh) * | 2020-10-30 | 2021-01-12 | 上海商汤临港智能科技有限公司 | 图像检测、行驶控制方法、装置、电子设备及存储介质 |
WO2023049292A1 (en) * | 2021-09-22 | 2023-03-30 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for decoder-side intra mode derivation |
CN113727102B (zh) * | 2021-11-01 | 2022-01-04 | 基石酷联微电子技术(北京)有限公司 | 一种低延时有损图像编码器和解码器 |
US11544879B1 (en) | 2022-07-29 | 2023-01-03 | Illuscio, Inc. | Systems and methods for encoding hyperspectral data with variable band resolutions |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003008906A (ja) * | 2001-06-26 | 2003-01-10 | Mitsubishi Electric Corp | ビットモデリングの処理方法及びそれを用いる処理回路 |
JP2003008445A (ja) * | 2001-03-30 | 2003-01-10 | Ricoh Co Ltd | コンテキストモデルによるラン・スキップカウントに基づくメモリアクセス及びスキッピング |
JP2005110185A (ja) * | 2003-09-08 | 2005-04-21 | Sony Corp | 画像符号化装置及び方法 |
JP2005117582A (ja) * | 2003-10-10 | 2005-04-28 | Sony Corp | 符号化装置及び方法、復号化装置及び方法並びにプログラム |
JP2005150842A (ja) * | 2003-11-11 | 2005-06-09 | Canon Inc | 画像データ符号化装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2005167611A (ja) * | 2003-12-02 | 2005-06-23 | Sony Corp | 画像符号化装置及び方法 |
JP2010093669A (ja) * | 2008-10-10 | 2010-04-22 | Sony Corp | 情報処理装置および方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6778709B1 (en) * | 1999-03-12 | 2004-08-17 | Hewlett-Packard Development Company, L.P. | Embedded block coding with optimized truncation |
US6678419B1 (en) * | 1999-03-26 | 2004-01-13 | Microsoft Corporation | Reordering wavelet coefficients for improved encoding |
US6549674B1 (en) | 2000-10-12 | 2003-04-15 | Picsurf, Inc. | Image compression based on tiled wavelet-like transform using edge and non-edge filters |
WO2004047010A1 (en) * | 2002-11-15 | 2004-06-03 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Methods for decoding corrupt jpeg2000 codestreams |
US9106913B2 (en) | 2011-03-08 | 2015-08-11 | Qualcomm Incorporated | Coding of transform coefficients for video coding |
JP7037554B2 (ja) | 2016-05-23 | 2022-03-16 | カカドゥ アール アンド ディー ピーティーワイ リミテッド | 画像を圧縮する方法および装置 |
-
2017
- 2017-05-23 JP JP2019514149A patent/JP7037554B2/ja active Active
- 2017-05-23 WO PCT/AU2017/050484 patent/WO2017201574A1/en unknown
- 2017-05-23 EP EP17801834.7A patent/EP3466077A4/en active Pending
- 2017-05-23 US US16/303,323 patent/US10951897B2/en active Active
- 2017-05-23 AU AU2017268705A patent/AU2017268705B2/en active Active
-
2021
- 2021-03-15 US US17/201,463 patent/US11470322B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003008445A (ja) * | 2001-03-30 | 2003-01-10 | Ricoh Co Ltd | コンテキストモデルによるラン・スキップカウントに基づくメモリアクセス及びスキッピング |
JP2003008906A (ja) * | 2001-06-26 | 2003-01-10 | Mitsubishi Electric Corp | ビットモデリングの処理方法及びそれを用いる処理回路 |
JP2005110185A (ja) * | 2003-09-08 | 2005-04-21 | Sony Corp | 画像符号化装置及び方法 |
JP2005117582A (ja) * | 2003-10-10 | 2005-04-28 | Sony Corp | 符号化装置及び方法、復号化装置及び方法並びにプログラム |
JP2005150842A (ja) * | 2003-11-11 | 2005-06-09 | Canon Inc | 画像データ符号化装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2005167611A (ja) * | 2003-12-02 | 2005-06-23 | Sony Corp | 画像符号化装置及び方法 |
JP2010093669A (ja) * | 2008-10-10 | 2010-04-22 | Sony Corp | 情報処理装置および方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023146164A1 (ko) * | 2022-01-27 | 2023-08-03 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
Also Published As
Publication number | Publication date |
---|---|
WO2017201574A1 (en) | 2017-11-30 |
JP7037554B2 (ja) | 2022-03-16 |
US10951897B2 (en) | 2021-03-16 |
US11470322B2 (en) | 2022-10-11 |
AU2017268705B2 (en) | 2022-05-19 |
US20210258581A1 (en) | 2021-08-19 |
AU2017268705A1 (en) | 2018-12-06 |
US20190222845A1 (en) | 2019-07-18 |
EP3466077A1 (en) | 2019-04-10 |
EP3466077A4 (en) | 2020-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7037554B2 (ja) | 画像を圧縮する方法および装置 | |
US7321695B2 (en) | Encoder rate control | |
US6229927B1 (en) | Reversible embedded wavelet system implementation | |
KR102342660B1 (ko) | 디스플레이 스트림 압축을 위한 서브스트림 멀티플렉싱 | |
KR101041973B1 (ko) | 플래그 부호화 방법, 플래그 복호화 방법, 및 상기 방법을이용한 장치 | |
CN113796014A (zh) | 对点云编码的属性进行编码的方法 | |
JP7477178B2 (ja) | 画像圧縮のための方法及び装置 | |
KR100317792B1 (ko) | 가역임베디드웨이블릿을이용한데이터압축/복원장치및방법 | |
Taubman et al. | FBCOT: a fast block coding option for JPEG 2000 | |
KR102257754B1 (ko) | 영상의 부호화/복호화 방법 및 이를 이용하는 장치 | |
Taubman et al. | High throughput JPEG 2000 (HTJ2K): Algorithm, performance and potential | |
Taubman et al. | High throughput JPEG 2000 for video content production and delivery over IP networks | |
CN116508319A (zh) | 神经图像压缩中的逐块熵编码方法 | |
JP2007527651A (ja) | Jpeg2000圧縮画像トランスコーディング方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7037554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |