JP2020145667A - 画像圧縮のためのハイブリッドパレット−dpcm符号化 - Google Patents

画像圧縮のためのハイブリッドパレット−dpcm符号化 Download PDF

Info

Publication number
JP2020145667A
JP2020145667A JP2019187651A JP2019187651A JP2020145667A JP 2020145667 A JP2020145667 A JP 2020145667A JP 2019187651 A JP2019187651 A JP 2019187651A JP 2019187651 A JP2019187651 A JP 2019187651A JP 2020145667 A JP2020145667 A JP 2020145667A
Authority
JP
Japan
Prior art keywords
palette
index
block
escape
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019187651A
Other languages
English (en)
Inventor
ゴーラム サーヴァー モハメッド
Golam Sarwer Mohammed
ゴーラム サーヴァー モハメッド
タバタバイ アリ
Ali Tabatabai
タバタバイ アリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2020145667A publication Critical patent/JP2020145667A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】パレット符号化とDPCM符号化とを組み合わせることによって、画像符号化処理を最適化する。【解決手段】DPCM(差分パルス符号変調)コーデックにおいて、ハイブリッドパレット−DPCM符号化の実装によって、画像ブロック内の最も主要な色のためのパレットと、パレットに基づいたインデックスブロックとを生成する。更に、パレットにない画素には、DPCM符号化が利用される。パレット符号化とDPCM符号化とを組み合わせることによって、画像符号化処理を最適化する。【選択図】図1

Description

本発明は、ビデオ符号化に関する。特に、本発明は、画像圧縮に関する。
ビデオ符号化は、量子化、差分パルス符号変調(DPCM)、エントロピ符号化、及び改良を含む。エントロピ符号化は、可逆データ圧縮方式であり、各固定長入力記号を、対応する可変長で接頭辞が無い出力コードワードに置き換えることによって、データを圧縮する。
ハイブリッドパレット−DPCM符号化の実装によって、画像ブロック内の最も主要な色のためのパレットと、パレットに基づいたインデックスブロックとを生成する。更に、パレットにない画素には、DPCM符号化が利用される。パレット符号化とDPCM符号化とを組み合わせることによって、画像符号化処理が最適化される。
一態様では、装置の非一時的メモリにプログラムされる方法は、画像ブロックのためのパレットを生成するステップと、前記画像ブロックのためのインデックスブロックを生成するステップと、前記パレット及び前記インデックスブロックを送信するステップと、差分パルス符号変調を用いて、エスケープ画素を符号化するステップと、を含む。前記パレットを生成するステップは、Nのパレットサイズに対して、前記画像ブロック内のN個の最も一般的な色を決定し、前記N個の最も一般的な色の各色にインデックスを割り当てることを含む。前記N個の最も一般的な色を決定することは、各色の画素数を数えることを含む。前記インデックスブロックは、前記画像ブロックと同じサイズであり、更に、前記インデックスブロックを生成するステップは、インデックスを前記パレットから前記インデックスブロック内に配置して、画素値を表すことを含み、N+1のインデックスが、前記エスケープ画素の位置に配置される。前記エスケープ画素を符号化するステップは、前記エスケープ画素を量子化し、前記差分パルス符号変調を前記エスケープ画素に適用し、前記エスケープ画素をエントロピ符号化することを含む。前記パレット及び前記インデックスブロックを送信するステップ及び前記エスケープ画素を符号化するステップは、パレットサイズと、エントロピ符号化されたインデックスアレイと、前記パレットのためのビットと、前記エスケープ画素のための差分パルス符号変調ビットとを含むビットストリームを生成する。前記方法は、更に、前記パレット及び前記インデックスブロックを復号し、逆差分パルス符号変調を用いて、前記エスケープ画素を復号し、復号された前記パレット、前記インデックスブロック及び前記エスケープ画素を組み合わせて、復号画像を生成することを含む。
別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、画像ブロックのためのパレットを生成するステップと、前記画像ブロックのためのインデックスブロックを生成するステップと、前記パレット及び前記インデックスブロックを送信するステップと、差分パルス符号変調を用いて、エスケープ画素を符号化するステップと、を行うためのものである、非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を備える。前記パレットを生成するステップは、Nのパレットサイズに対して、前記画像ブロック内のN個の最も一般的な色を決定し、前記N個の最も一般的な色の各色にインデックスを割り当てることを含む。前記N個の最も一般的な色を決定することは、各色の画素数を数えることを含む。前記インデックスブロックは、前記画像ブロックと同じサイズであり、更に、前記インデックスブロックを生成するステップは、インデックスを前記パレットから前記インデックスブロック内に配置して、画素値を表すことを含み、N+1のインデックスが、前記エスケープ画素の位置に配置される。前記エスケープ画素を符号化するステップは、前記エスケープ画素を量子化し、前記差分パルス符号変調を前記エスケープ画素に適用し、前記エスケープ画素をエントロピ符号化することを含む。前記パレット及び前記インデックスブロックを送信するステップ及び前記エスケープ画素を符号化するステップは、パレットサイズと、エントロピ符号化されたインデックスアレイと、前記パレットのためのビットと、前記エスケープ画素のための差分パルス符号変調ビットとを含むビットストリームを生成する。前記アプリケーションは、更に、前記パレット及び前記インデックスブロックを復号し、逆差分パルス符号変調を用いて、前記エスケープ画素を復号し、復号された前記パレット、前記インデックスブロック及び前記エスケープ画素を組み合わせて、復号画像を生成するためのものである。
別の態様では、システムは、画像ブロックのためのパレットを生成するステップと、前記画像ブロックのためのインデックスブロックを生成するステップと、前記パレット及び前記インデックスブロックを送信するステップと、差分パルス符号変調を用いて、エスケープ画素を符号化するステップとを行うように構成される第1の計算装置と、前記パレット及び前記インデックスブロックを復号し、逆差分パルス符号変調を用いて、前記エスケープ画素を復号し、復号された前記パレット、前記インデックスブロック及び前記エスケープ画素を組み合わせて、復号画像を生成するように構成される第2の計算装置と、を備える。前記パレットを生成するステップは、Nのパレットサイズに対して、前記画像ブロック内のN個の最も一般的な色を決定し、前記N個の最も一般的な色の各色にインデックスを割り当てることを含む。前記N個の最も一般的な色を決定することは、各色の画素数を数えることを含む。前記インデックスブロックは、前記画像ブロックと同じサイズであり、更に、前記インデックスブロックを生成するステップは、インデックスを前記パレットから前記インデックスブロック内に配置して、画素値を表すことを含み、N+1のインデックスが、前記エスケープ画素の位置に配置される。前記エスケープ画素を符号化するステップは、前記エスケープ画素を量子化し、前記差分パルス符号変調を前記エスケープ画素に適用し、前記エスケープ画素をエントロピ符号化することを含む。前記パレット及び前記インデックスブロックを送信するステップ及び前記エスケープ画素を符号化するステップは、パレットサイズと、エントロピ符号化されたインデックスアレイと、前記パレットのためのビットと、前記エスケープ画素のための差分パルス符号変調ビットとを含むビットストリームを生成する。
いくつかの実施形態によるエンコーダ側のハイブリッドパレット−DPCMコーダ/デコーダ(「コーデック」)のフロー図である。 いくつかの実施形態によるパレット及びインデックスブロックの生成及びシグナリングの図である。 いくつかの実施形態によるハイブリッドパレット−DPCM符号化を実施するコーデックの図である。 いくつかの実施形態によるエンコーダ側のハイブリッドパレット−DPCMコーデックのフロー図である。 いくつかの実施形態によるYUV422色ベクトルを示す図である。 いくつかの実施形態によるパレットの生成の図である。 いくつかの実施形態による例示的なパレットサイズ及びビットストリームを示す図である。 いくつかの実施形態によるインデックスアレイのエントロピ符号化の図である。 いくつかの実施形態によるカラーパレットのためのビットのエントロピ符号化の図である。 いくつかの実施形態によるDPCM符号化を強調表示したビットストリームの図である。 いくつかの実施形態によるハイブリッドパレット−DPCM符号化を実行するように構成される例示的な計算装置のブロック図である。 いくつかの実施形態による装置のネットワークの図である。
パレットと差分パルス符号変調(DPCM)とを組み合わせることによって、画像圧縮を最適化することができる。
図1は、いくつかの実施形態によるエンコーダ側のハイブリッドパレット−DPCMコーダ/デコーダ(「コーデック」)のフロー図を示す。M×N画像ブロックが受信される(例えば、16×2)。ステップ100では、画像ブロックを分析して、ブロックの色数を決定することによって、パレットが生成され、シグナリングされる。ブロックの色数の決定は、ヒストグラムデータ又は事前分析情報に基づくことができる。パレットは、主要な色を含むように生成される。例えば、サイズが2のパレットの場合、ブロックに最もよく現れる画素の2色が、パレットにある。パレットは、色にインデックス付けする(例えば、最も多い画素の色=インデックス0、2番目に多い画素の色=インデックス1)。ステップ102では、インデックスボックスが生成され、シグナリングされる。インデックスボックスは、パレットを用いる画像ブロックにどの色があるかを示す。例えば、インデックスボックスは、最も一般的な色画素がある位置に0、2番目に一般的な色画素がある位置に1、その他の色の位置に2を用いる(その他の色の画素は、エスケープ画素と呼ばれる)。図2及び本明細書では、更に、パレット及びインデックスブロックがどのように生成されるかを説明する。
インデックスブロックを生成した後、エスケープ画素及び非エスケープ画素に対して、異なるステップが行われる。エスケープ画素は、パレットにない画素であり、したがって、非エスケープ画素は、パレットにある。非エスケープ画素、すなわち、パレットにある画素は、パレットビットストリームにおいて送信される。
ステップ104で、エスケープ画素が量子化され、次に、ステップ106で、DPCMが実行され、ステップ108で、エントロピ符号化を利用して、エスケープ画素を符号化する。符号化されたエスケープ画素は、DPCMビットストリームである。いくつかの実施形態では、量子化、DPCM及びエントロピ符号化は、従来の実装である。
いくつかの実施形態では、より少ない又は追加のステップが実行される。いくつかの実施形態では、ステップの順序は変更される。
図2は、いくつかの実施形態によるパレット及びインデックスブロックの生成及びシグナリングの図を示す。例示するように、16×2ブロック200の場合、パレットサイズPは、2である。パレットサイズが2の16×2ブロック200について説明するが、ブロックのサイズ及びパレットサイズは、他のサイズとすることができる。ステップ100でパレット202を生成するために、2つの最も主要な色(P=2なので)が決定される。主要な色は、各色の画素数を数えることによって決定され、最高数が主要なものである。例えば、図2に示すように、主要な色は、ダークグレー(17画素)及び白(8画素)であり、一方、ライトグレーなどの他の画素は、1〜3画素ずつである。最も主要な色には、インデックス0が割り当てられ、2番目に主要な色には、インデックス1が割り当てられる。この例では、ダークグレーがインデックス0であり、白がインデックス1である。
ステップ102では、インデックスブロック204が生成され、シグナリングされる。いくつかの実施形態では、インデックスブロック204は、画像ブロック200と同じサイズである。例えば、画像ブロック200が16×2である場合、インデックスブロック204は、16×2である。インデックスブロック204を生成するとき、ダークグレーの画素は0で表され、白の画素は1で表される。別の色のどの画素も、2で表され、これは、その画素がパレットにない(例えば、それらがエスケープ画素206である)ことを意味する。
インデックス/値が2である画素(例えば、エスケープ画素)のみが、量子化ステップ(104)、DPCMステップ(106)及びエントロピ符号化ステップ(108)を経る。いずれの従来の量子化、DPCM及びエントロピ符号化の実装も、利用することができる。
各図はグレースケールで示されているが、本明細書で説明する方法/システムは、全ての色について実施することができることが明らかである。
図3は、いくつかの実施形態によるハイブリッドパレット−DPCM符号化を実施するコーデックの図を示す。エンコーダ側300で、パレット202及びインデックスブロック204が、元のブロック200から、2つの主要な色のみを用いて、生成される。2つの主要な色を有するパレット202及びインデックスブロック204は、デコーダ310に送信される。いくつかの実施形態では、パレット202及びインデックスブロック204をデコーダ310に送信することは、パレット202及びインデックスブロック204をエントロピ符号化することを含む。エスケープ画素206が、DPCM符号化され、その後、デコーダ310に送信される。そして、デコーダ310は、パレット/インデックスブロック情報及びDPCM情報に基づいて、符号化されたデータを復号する。デコーダ310は、まず、インデックスブロック及びパレット情報を用いて、ブロックを再構成し、次に、エスケープ画素206が、DPCMブロックから再構成される。
図4は、いくつかの実施形態によるエンコーダ側のハイブリッドパレット−DPCMコーデックのフロー図を示す。パレットビットストリームからの非エスケープ画素の場合、ステップ400で、パレット及びインデックスブロックが復号される。DPCMビットストリームからのエスケープ画素の場合、ステップ402で、データがエントロピ復号され、ステップ404で、逆DPCMが適用され、逆量子化406が適用されて、復号されたエスケープ画素を検索する。復号されたパレット及びインデックスブロックは、エスケープ画素と組み合わされて、ステップ408で、M×Nブロックを生成し、これは、復号画像ブロックである。復号されたパレット、インデックスブロック及びエスケープ画素を組み合わせることは、インデックスを、パレット値及びDPCM復号されたエスケープ画素に置き換えることを含む。いくつかの実施形態では、より少ない又は追加のステップが実行される。いくつかの実施形態では、ステップの順序は変更される。
図5は、いくつかの実施形態によるYUV422色ベクトルを示す。YUV444の場合、各色ベクトルは、3成分(Y,U,V)を有する。しかしながら、YUV422の場合、全てのY画素が、対応するU値及びV値を有するわけではない。図示のように、輝度の白色部分は、Y値、U値及びV値を有するが、輝度のグレー部分のみは、有効なYを有する一方、U及びVは、ダミー値である。図示の各数は、1つの色ベクトルを表す。例えば、(Y0,U0,V0)は、1つの色ベクトルである。(Y1,ダミーU,ダミーV)は、別の色ベクトルである。
1つの色ベクトルのrefCに用いられる例示的なデータ構造は、以下の通りである。
lumaOnly=1である色ベクトルの場合、輝度値のみが、全ての計算のために考慮される。
図6は、いくつかの実施形態によるパレットの生成の図を示す。カラーパレットは、複数の色ベクトルを有する。各ベクトルは、全ての3成分を有する。インデックス生成の際、lumaOnly=1である場合、輝度値のみが比較され、それ以外の場合では、全てのYUV値が比較される。
図示のように、例示的な4×2YUV422ブロック600の場合、YUV成分が、色ベクトルアレイ602に配置される。色ベクトルアレイ602では、ダミー値が、UV成分のいくつかのために用いられる。色ベクトルアレイ602に基づいて、3色ベクトルのカラーパレット604が生成される。例えば、色ベクトル110,512,100は、最も一般的な色ベクトル(110,dum,dumベクトルを含むときは、4色ベクトル)であるので、その色ベクトルは、インデックス0である。色ベクトル512,512,100は、2番目に一般的な色ベクトル(2色ベクトル)であるので、それは、インデックス1である。インデックス2は、色ベクトル1000,0,0(1色ベクトル)である。次に、色ベクトルアレイ602及びパレット604に基づいて、インデックスアレイ606が生成される。インデックスアレイ606は、色ベクトルを有する色ベクトルアレイ602を有する代わりに、パレット604に基づいたインデックス0、1、2及び3を含む。インデックス3は、パレット604の一部ではないので、エスケープ画素である。
図7は、いくつかの実施形態による例示的なパレットサイズ及びビットストリームを示す。パレットサイズ(P)は、0〜Nの任意の数とすることができる(例えば、N=4)。P=0は、パレットに色が無いことを意味し、ブロックの全てのサンプルは、エスケープ画素としてみなされ、非エスケープ画素であるサンプルは無い。エンコーダは、パレットサイズの値をデコーダにシグナリングする。パレットの符号長=1+log2(N)であり、ここで、Nは、Pの最大許容値であり、この例では、N=4である。
ビットストリームは、パレットサイズと、インデックスアレイのためのエントロピ符号化されたビット(Pが0ではない場合)と、カラーパレットのためのビット(Pが0ではない場合)と、エスケープ画素のためのDPCM符号化ビットとを含む。
図8は、いくつかの実施形態によるインデックスアレイのエントロピ符号化の図を示す。インデックス値(i)=0→Pである(ここで、Pは、パレットサイズである)。図8は、パレットサイズに基づいて、差分インデックス値、コードワード及び符号長を示す。いくつかの実施形態では、最後のインデックス値は、パレットにないエスケープ画素を示す。例えば、パレットサイズ=2の場合、インデックス値2は、エスケープ画素を示す。
図9は、いくつかの実施形態によるカラーパレットのためのビットのエントロピ符号化の図を示す。パレット内の色ベクトル(YUV)毎に、輝度ビット数:輝度ビット深さを示す。ある特別な場合には、(U=V=midvalue(1<<input bit depth))の場合、1ビットであり、それ以外の場合では、1ビットを用いて、値U及びVが中間値ではないこと、及びUビット数:入力ビット深さ、及びVビット数:入力ビット深さをシグナリングする。
図10は、いくつかの実施形態によるDPCM符号化を強調表示したビットストリームの図を示す。本明細書で説明するように、エスケープ画素は、DPCMを用いて、符号化される。具体的には、量子化、DPCM及びエントロピ符号化が、エスケープ画素に適用される。
図11は、いくつかの実施形態によるハイブリッドパレット−DPCM符号化を実行するように構成される例示的な計算装置のブロック図を示す。計算装置1100を用いて、画像及びビデオなどの情報を、取得、記憶、計算、処理、通信、及び/又は表示することができる。計算装置1100は、符号化及び/又は復号化などのハイブリッドパレット−DPCM符号化の態様のいずれかを実装することができる。一般に、計算装置1100を実現するのに適したハードウェア構造は、ネットワークインタフェース1102、メモリ1104、プロセッサ1106、入出力装置1108、バス1110、及び記憶装置1112を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ1104は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置1112は、ハードドライブ、CDROM、CDRW、DVD、DVDRW、高精細ディスク/ドライブ、超高精細ドライブ、フラッシュメモリカード、又は他の任意の記憶装置を含むことができる。計算装置1100は、1つ又はそれ以上のネットワークインタフェース1102を含むことができる。ネットワークインタフェースの一例は、イーサネット又は他の種類のLANに接続されるネットワークカードを含む。入出力装置1108は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他のデバイスのうちの1つ又はそれ以上を含むことができる。ハイブリッドパレット−DPCM符号化を実行するのに用いられるハイブリッドパレット−DPCM符号化アプリケーション1130は、記憶装置1112及びメモリ1104に記憶され、アプリケーションが通常処理されるように処理される可能性が高い。計算装置1100は、図11に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、ハイブリッドパレット−DPCM符号化ハードウェア1120が含まれる。図11の計算装置1100は、ハイブリッドパレット−DPCM符号化のためのアプリケーション1130及びハードウェア1120を含むが、ハイブリッドパレット−DPCM符号化は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組み合わせとして、計算装置上で実現することができる。例えば、いくつかの実施形態では、ハイブリッドパレット−DPCM符号化アプリケーション1130は、メモリ内にプログラムされ、プロセッサを用いて実行される。別の実施例では、いくつかの実施形態において、ハイブリッドパレット−DPCM符号化ハードウェア1120は、ハイブリッドパレット−DPCM符号化を実行するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。
いくつかの実施形態では、ハイブリッドパレット−DPCM符号化アプリケーション1130は、いくつかのアプリケーション及び/又はモジュールを含む。いくつかの実施形態では、モジュールは、1つ又はそれ以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。
いくつかの実施形態では、ハイブリッドパレット−DPCM符号化ハードウェア1120は、レンズなどのカメラコンポーネント、イメージセンサ、及び/又は他の任意のカメラコンポーネントを含む。
好適な計算装置の実施例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話/携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター/プレーヤー(例えば、DVDライター/プレーヤー、高精細ディスクライター/プレーヤー、超高精細ディスクライター/プレーヤー)、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー(例えば、スマートウォッチ)、車両(例えば、スマートカー)、又は他の任意の好適な計算装置を含む。
図12は、いくつかの実施形態による装置のネットワークの図を示す。ビデオ/画像コンテンツが、1つ又はそれ以上のエンコーダ装置1200で符号化される。符号化されたコンテンツは、ネットワーク1202(例えば、インターネット、セルラネットワーク又は他の任意のネットワーク)を介して、1つ又はそれ以上のデコーダ装置1204に送信/ストリーミングされる。いくつかの実施形態では、コンテンツは、ネットワークを介さず、1つ又はそれ以上のデコーダ装置1204に直接送信される。装置のネットワークの1つ又はそれ以上の装置(例えば、エンコーダ装置、デコーダ装置)は、本明細書で説明するハイブリッドパレット−DPCM符号化の実装を行うように構成される。1つ又はそれ以上のエンコーダ装置1200及び1つ又はそれ以上のデコーダ装置1204は、サーバ、パーソナルコンピュータ、スマートフォン、テレビジョン、ゲームシステム、車両などの任意の装置、又は本明細書で説明する装置のいずれか、又は本明細書で説明する装置の任意の組み合わせとすることができる。
本明細書で説明するハイブリッドパレット−DPCM符号化を利用するために、デジタルカメラ/カムコーダなどの装置を用いて、コンテンツを取得する。ハイブリッドパレット−DPCM符号化は、ユーザの援助によって又はユーザが関与することなく自動的に実行されて、コンテンツを効率的に符号化、送信、及び復号することができる。
動作時、ハイブリッドパレット−DPCM符号化は、最も主要な色画素にパレット符号化を用い、その他の色画素にDPCM符号化を用いることによって、コンテンツをより効率的に符号化及び復号する。
画像圧縮のためのハイブリッドパレット−DPCM符号化のいくつかの実施形態
1.装置の非一時的メモリにプログラムされる方法であって、
画像ブロックのためのパレットを生成するステップと、
前記画像ブロックのためのインデックスブロックを生成するステップと、
前記パレット及び前記インデックスブロックを送信するステップと、
差分パルス符号変調を用いて、エスケープ画素を符号化するステップと、
を含む方法。
2.前記パレットを生成するステップは、Nのパレットサイズに対して、前記画像ブロック内のN個の最も一般的な色を決定し、前記N個の最も一般的な色の各色にインデックスを割り当てることを含む、第1項に記載の方法。
3.前記N個の最も一般的な色を決定することは、各色の画素数を数えることを含む、第2項に記載の方法。
4.前記インデックスブロックは、前記画像ブロックと同じサイズであり、更に、前記インデックスブロックを生成するステップは、インデックスを前記パレットから前記インデックスブロック内に配置して、画素値を表すことを含み、N+1のインデックスが、前記エスケープ画素の位置に配置される、第2項に記載の方法。
5.前記エスケープ画素を符号化するステップは、前記エスケープ画素を量子化し、前記差分パルス符号変調を前記エスケープ画素に適用し、前記エスケープ画素をエントロピ符号化することを含む、第1項に記載の方法。
6.前記パレット及び前記インデックスブロックを送信するステップ及び前記エスケープ画素を符号化するステップは、パレットサイズと、エントロピ符号化されたインデックスアレイと、前記パレットのためのビットと、前記エスケープ画素のための差分パルス符号変調ビットとを含むビットストリームを生成する、第1項に記載の方法。
7.更に、前記パレット及び前記インデックスブロックを復号し、逆差分パルス符号変調を用いて、前記エスケープ画素を復号し、復号された前記パレット、前記インデックスブロック及び前記エスケープ画素を組み合わせて、復号画像を生成することを含む、第1項に記載の方法。
8.アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
画像ブロックのためのパレットを生成するステップと、
前記画像ブロックのためのインデックスブロックを生成するステップと、
前記パレット及び前記インデックスブロックを送信するステップと、
差分パルス符号変調を用いて、エスケープ画素を符号化するステップと、を行うためのものである、
非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を備える装置。
9.前記パレットを生成するステップは、Nのパレットサイズに対して、前記画像ブロック内のN個の最も一般的な色を決定し、前記N個の最も一般的な色の各色にインデックスを割り当てることを含む、第8項に記載の装置。
10.前記N個の最も一般的な色を決定することは、各色の画素数を数えることを含む、第9項に記載の装置。
11.前記インデックスブロックは、前記画像ブロックと同じサイズであり、更に、前記インデックスブロックを生成するステップは、インデックスを前記パレットから前記インデックスブロック内に配置して、画素値を表すことを含み、N+1のインデックスが、前記エスケープ画素の位置に配置される、第9項に記載の装置。
12.前記エスケープ画素を符号化するステップは、前記エスケープ画素を量子化し、前記差分パルス符号変調を前記エスケープ画素に適用し、前記エスケープ画素をエントロピ符号化することを含む、第8項に記載の装置。
13.前記パレット及び前記インデックスブロックを送信するステップ及び前記エスケープ画素を符号化するステップは、パレットサイズと、エントロピ符号化されたインデックスアレイと、前記パレットのためのビットと、前記エスケープ画素のための差分パルス符号変調ビットとを含むビットストリームを生成する、第8項に記載の装置。
14.前記アプリケーションは、更に、前記パレット及び前記インデックスブロックを復号し、逆差分パルス符号変調を用いて、前記エスケープ画素を復号し、復号された前記パレット、前記インデックスブロック及び前記エスケープ画素を組み合わせて、復号画像を生成するためのものである、第8項に記載の装置。
15.画像ブロックのためのパレットを生成するステップと、
前記画像ブロックのためのインデックスブロックを生成するステップと、
前記パレット及び前記インデックスブロックを送信するステップと、
差分パルス符号変調を用いて、エスケープ画素を符号化するステップと、
を行うように構成される第1の計算装置と、
前記パレット及び前記インデックスブロックを復号し、逆差分パルス符号変調を用いて、前記エスケープ画素を復号し、復号された前記パレット、前記インデックスブロック及び前記エスケープ画素を組み合わせて、復号画像を生成する、
ように構成される第2の計算装置と、
を備えるシステム。
16.前記パレットを生成するステップは、Nのパレットサイズに対して、前記画像ブロック内のN個の最も一般的な色を決定し、前記N個の最も一般的な色の各色にインデックスを割り当てることを含む、第15項に記載のシステム。
17.前記N個の最も一般的な色を決定することは、各色の画素数を数えることを含む、第16項に記載のシステム。
18.前記インデックスブロックは、前記画像ブロックと同じサイズであり、更に、前記インデックスブロックを生成するステップは、インデックスを前記パレットから前記インデックスブロック内に配置して、画素値を表すことを含み、N+1のインデックスが、前記エスケープ画素の位置に配置される、第16項に記載のシステム。
19.前記エスケープ画素を符号化するステップは、前記エスケープ画素を量子化し、前記差分パルス符号変調を前記エスケープ画素に適用し、前記エスケープ画素をエントロピ符号化することを含む、第15項に記載のシステム。
20.前記パレット及び前記インデックスブロックを送信するステップ及び前記エスケープ画素を符号化するステップは、パレットサイズと、エントロピ符号化されたインデックスアレイと、前記パレットのためのビットと、前記エスケープ画素のための差分パルス符号変調ビットとを含むビットストリームを生成する、第15項に記載のシステム。
本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。
200 画像ブロック
202 パレット
204 インデックスブロック
206 エスケープ画素
300 エンコーダ
310 デコーダ
600 4×2YUV422ブロック
602 色ベクトルアレイ
604 カラーパレット
606 インデックスアレイ
1100 計算装置
1102 ネットワークインタフェース
1104 メモリ
1106 プロセッサ
1108 入出力装置
1110 バス
1112 記憶装置
1120 ハイブリッドパレット−DPCM符号化ハードウェア
1130 ハイブリッドパレット−DPCM符号化アプリケーション
1200 エンコーダ装置
1202 ネットワーク
1204 デコーダ装置

Claims (20)

  1. 装置の非一時的メモリにプログラムされる方法であって、
    画像ブロックのためのパレットを生成するステップと、
    前記画像ブロックのためのインデックスブロックを生成するステップと、
    前記パレット及び前記インデックスブロックを送信するステップと、
    差分パルス符号変調を用いて、エスケープ画素を符号化するステップと、
    を含むことを特徴とする方法。
  2. 前記パレットを生成するステップは、Nのパレットサイズに対して、前記画像ブロック内のN個の最も一般的な色を決定し、前記N個の最も一般的な色の各色にインデックスを割り当てることを含むことを特徴とする、請求項1に記載の方法。
  3. 前記N個の最も一般的な色を決定することは、各色の画素数を数えることを含むことを特徴とする、請求項2に記載の方法。
  4. 前記インデックスブロックは、前記画像ブロックと同じサイズであり、更に、前記インデックスブロックを生成するステップは、インデックスを前記パレットから前記インデックスブロック内に配置して、画素値を表すことを含み、N+1のインデックスが、前記エスケープ画素の位置に配置されることを特徴とする、請求項2に記載の方法。
  5. 前記エスケープ画素を符号化するステップは、前記エスケープ画素を量子化し、前記差分パルス符号変調を前記エスケープ画素に適用し、前記エスケープ画素をエントロピ符号化することを含むことを特徴とする、請求項1に記載の方法。
  6. 前記パレット及び前記インデックスブロックを送信するステップ及び前記エスケープ画素を符号化するステップは、パレットサイズと、エントロピ符号化されたインデックスアレイと、前記パレットのためのビットと、前記エスケープ画素のための差分パルス符号変調ビットとを含むビットストリームを生成することを特徴とする、請求項1に記載の方法。
  7. 更に、前記パレット及び前記インデックスブロックを復号し、逆差分パルス符号変調を用いて、前記エスケープ画素を復号し、復号された前記パレット、前記インデックスブロック及び前記エスケープ画素を組み合わせて、復号画像を生成することを含むことを特徴とする、請求項1に記載の方法。
  8. アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
    画像ブロックのためのパレットを生成するステップと、
    前記画像ブロックのためのインデックスブロックを生成するステップと、
    前記パレット及び前記インデックスブロックを送信するステップと、
    差分パルス符号変調を用いて、エスケープ画素を符号化するステップと、を行うためのものである、
    非一時的メモリと、
    前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
    を備えることを特徴とする装置。
  9. 前記パレットを生成するステップは、Nのパレットサイズに対して、前記画像ブロック内のN個の最も一般的な色を決定し、前記N個の最も一般的な色の各色にインデックスを割り当てることを含むことを特徴とする、請求項8に記載の装置。
  10. 前記N個の最も一般的な色を決定することは、各色の画素数を数えることを含むことを特徴とする、請求項9に記載の装置。
  11. 前記インデックスブロックは、前記画像ブロックと同じサイズであり、更に、前記インデックスブロックを生成するステップは、インデックスを前記パレットから前記インデックスブロック内に配置して、画素値を表すことを含み、N+1のインデックスが、前記エスケープ画素の位置に配置されることを特徴とする、請求項9に記載の装置。
  12. 前記エスケープ画素を符号化するステップは、前記エスケープ画素を量子化し、前記差分パルス符号変調を前記エスケープ画素に適用し、前記エスケープ画素をエントロピ符号化することを含むことを特徴とする、請求項8に記載の装置。
  13. 前記パレット及び前記インデックスブロックを送信するステップ及び前記エスケープ画素を符号化するステップは、パレットサイズと、エントロピ符号化されたインデックスアレイと、前記パレットのためのビットと、前記エスケープ画素のための差分パルス符号変調ビットとを含むビットストリームを生成することを特徴とする、請求項8に記載の装置。
  14. 前記アプリケーションは、更に、前記パレット及び前記インデックスブロックを復号し、逆差分パルス符号変調を用いて、前記エスケープ画素を復号し、復号された前記パレット、前記インデックスブロック及び前記エスケープ画素を組み合わせて、復号画像を生成するためのものであることを特徴とする、請求項8に記載の装置。
  15. 画像ブロックのためのパレットを生成するステップと、
    前記画像ブロックのためのインデックスブロックを生成するステップと、
    前記パレット及び前記インデックスブロックを送信するステップと、
    差分パルス符号変調を用いて、エスケープ画素を符号化するステップと、
    を行うように構成される第1の計算装置と、
    前記パレット及び前記インデックスブロックを復号し、逆差分パルス符号変調を用いて、前記エスケープ画素を復号し、復号された前記パレット、前記インデックスブロック及び前記エスケープ画素を組み合わせて、復号画像を生成する、
    ように構成される第2の計算装置と、
    を備えることを特徴とするシステム。
  16. 前記パレットを生成するステップは、Nのパレットサイズに対して、前記画像ブロック内のN個の最も一般的な色を決定し、前記N個の最も一般的な色の各色にインデックスを割り当てることを含むことを特徴とする、請求項15に記載のシステム。
  17. 前記N個の最も一般的な色を決定することは、各色の画素数を数えることを含むことを特徴とする、請求項16に記載のシステム。
  18. 前記インデックスブロックは、前記画像ブロックと同じサイズであり、更に、前記インデックスブロックを生成するステップは、インデックスを前記パレットから前記インデックスブロック内に配置して、画素値を表すことを含み、N+1のインデックスが、前記エスケープ画素の位置に配置されることを特徴とする、請求項16に記載のシステム。
  19. 前記エスケープ画素を符号化するステップは、前記エスケープ画素を量子化し、前記差分パルス符号変調を前記エスケープ画素に適用し、前記エスケープ画素をエントロピ符号化することを含むことを特徴とする、請求項15に記載のシステム。
  20. 前記パレット及び前記インデックスブロックを送信するステップ及び前記エスケープ画素を符号化するステップは、パレットサイズと、エントロピ符号化されたインデックスアレイと、前記パレットのためのビットと、前記エスケープ画素のための差分パルス符号変調ビットとを含むビットストリームを生成することを特徴とする、請求項15に記載のシステム。
JP2019187651A 2019-03-08 2019-10-11 画像圧縮のためのハイブリッドパレット−dpcm符号化 Pending JP2020145667A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/297,522 US11503311B2 (en) 2019-03-08 2019-03-08 Hybrid palette-DPCM coding for image compression
US16/297,522 2019-03-08

Publications (1)

Publication Number Publication Date
JP2020145667A true JP2020145667A (ja) 2020-09-10

Family

ID=72336824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019187651A Pending JP2020145667A (ja) 2019-03-08 2019-10-11 画像圧縮のためのハイブリッドパレット−dpcm符号化

Country Status (4)

Country Link
US (1) US11503311B2 (ja)
JP (1) JP2020145667A (ja)
KR (1) KR102267206B1 (ja)
CN (1) CN111669598B (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525204A (ja) * 2014-06-27 2017-08-31 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 改良されたパレットテーブル及びインデックスマップ符号化方法を用いた先進的スクリーンコンテンツ符号化
JP2018530962A (ja) * 2015-09-14 2018-10-18 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングのためのパレット予測子初期化およびマージ
JP2018532319A (ja) * 2015-09-18 2018-11-01 クゥアルコム・インコーポレイテッドQualcomm Incorporated パレットモードビデオコーディングにおけるエスケープピクセルシグナリング値の制限

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406314B2 (en) 2007-11-28 2013-03-26 Sharp Laboratories Of America, Inc. Two-dimensional DPCM with PCM escape mode
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
GB2516426B (en) * 2013-07-17 2015-10-07 Gurulogic Microsystems Oy Encoder, decoder and method of operation using interpolation
KR101897378B1 (ko) 2013-12-10 2018-09-10 캐논 가부시끼가이샤 팔레트 코딩 모드에서 팔레트를 인코딩 또는 디코딩하기 위한 방법 및 장치
EP3087738B1 (en) 2013-12-27 2019-10-02 MediaTek Inc. Method and apparatus for palette coding with cross block prediction
PL3117617T3 (pl) 2014-03-14 2022-08-22 Vid Scale, Inc. Kodowanie palety przeznaczone do kodowania zawartości ekranu
WO2015136693A1 (ja) * 2014-03-14 2015-09-17 富士通株式会社 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法
WO2015143351A1 (en) 2014-03-21 2015-09-24 Futurewei Technologies, Inc. Advanced screen content coding with improved color table and index map coding methods
US10291940B2 (en) * 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
US10136141B2 (en) 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
CN105323583B (zh) * 2014-06-13 2019-11-15 财团法人工业技术研究院 编码方法、解码方法、编解码系统、编码器与解码器
US9860560B2 (en) 2014-07-02 2018-01-02 Qualcomm Incorporated Method for palette mode coding
CN107431817B (zh) 2015-01-29 2020-03-24 Vid拓展公司 用于调色板译码的方法及装置
EP3251352A1 (en) 2015-01-29 2017-12-06 VID SCALE, Inc. Escape color coding for palette coding mode
EP3308540B1 (en) * 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
US20170099490A1 (en) * 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525204A (ja) * 2014-06-27 2017-08-31 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 改良されたパレットテーブル及びインデックスマップ符号化方法を用いた先進的スクリーンコンテンツ符号化
JP2018530962A (ja) * 2015-09-14 2018-10-18 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングのためのパレット予測子初期化およびマージ
JP2018532319A (ja) * 2015-09-18 2018-11-01 クゥアルコム・インコーポレイテッドQualcomm Incorporated パレットモードビデオコーディングにおけるエスケープピクセルシグナリング値の制限

Also Published As

Publication number Publication date
US20200288154A1 (en) 2020-09-10
KR20200107746A (ko) 2020-09-16
CN111669598B (zh) 2023-01-03
KR102267206B1 (ko) 2021-06-22
CN111669598A (zh) 2020-09-15
US11503311B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
US11140401B2 (en) Coded-block-flag coding and derivation
CN109348226B (zh) 一种图片文件处理方法及智能终端
US20110292247A1 (en) Image compression method with random access capability
US8285062B2 (en) Method for improving the performance of embedded graphics coding
CN103875245A (zh) 分层信号解码和信号重构
US10645386B1 (en) Embedded codec circuitry for multiple reconstruction points based quantization
US20130235231A1 (en) Vector embedded graphics coding
US11004237B2 (en) Palette coding for color compression of point clouds
JP2024520151A (ja) 特徴データ符号化および復号方法および装置
US10609411B1 (en) Cross color prediction for image/video compression
US20230396810A1 (en) Hierarchical audio/video or picture compression method and apparatus
EP2471253A2 (en) Joint scalar embedded graphics coding for color images
CN111669590B (zh) 基于子块的熵译码的方法、设备和系统
US10873747B2 (en) Residual mapping method for image/video compression
KR102267206B1 (ko) 이미지 압축을 위한 하이브리드 팔레트-dpcm 코딩
JP2024512914A (ja) マシンビジョンのためのビデオ符号化のための方法および装置
WO2021168624A1 (zh) 视频图像编码方法、设备及可移动平台
US10666985B1 (en) Sub-block based entropy coding for image coding
CN115150370B (zh) 一种图像处理的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102