JP2016076924A - ビデオ符号化のパルス符号変調、および、パレット符号化の方法 - Google Patents

ビデオ符号化のパルス符号変調、および、パレット符号化の方法 Download PDF

Info

Publication number
JP2016076924A
JP2016076924A JP2015187091A JP2015187091A JP2016076924A JP 2016076924 A JP2016076924 A JP 2016076924A JP 2015187091 A JP2015187091 A JP 2015187091A JP 2015187091 A JP2015187091 A JP 2015187091A JP 2016076924 A JP2016076924 A JP 2016076924A
Authority
JP
Japan
Prior art keywords
palette
current
pallet
size
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015187091A
Other languages
English (en)
Other versions
JP6316785B2 (ja
Inventor
杉 劉
Shan Liu
杉 劉
ジュンサン キム
Jungsun Kim
ジュンサン キム
子徳 莊
Tzu-Der Chuang
子徳 莊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of JP2016076924A publication Critical patent/JP2016076924A/ja
Application granted granted Critical
Publication of JP6316785B2 publication Critical patent/JP6316785B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】パレット符号化を用いた映像データのブロックを符号化する方法を提供する。【解決手段】パレット転置フラグは、最大インデックス値又はパレットサイズに基づいて、条件付きでシグナリングされる。最大インデックス値又はパレットサイズがスレショルドサイズ以上である場合、パレット転置フラグは、エンコーダー側でシグナリングされるか、又は、デコーダー側で解析される。そうでなければ、パレット転置フラグは、シグナリング又は解析されない。別の実施態様において、最後のパレット及び最後のパレットサイズは、条件付きで、現在のパレットサイズを有する現在のパレットにより更新される。たとえば、現在の符号化ユニットがパルス符号変調（ＰＣＭ）モードを用いて符号化されるか、又は、現在のパレットサイズがゼロの場合、現在のパレットサイズを有する現在のパレットによる最後のパレット及び最後のパレットサイズの更新が省略される。【選択図】 図２

Description

本発明は、映像データのパルス符号変調（ＰＣＭ）、および、パレット符号化に関するものであって、特に、ゼロに等しいパレットサイズを有するケース、または、パレット符号化ブロック（たとえば、符号化ユニット、ＣＵ）中で、全画素がエスケープ画素になるケースに関連するパレットシグナリングにおける余剰を克服する効果的な符号化方法を開示する。
高効率ビデオ符号化（ＨＥＶＣ）は、近年発展している新しい符号化基準である。高効率ビデオ符号化（ＨＥＶＣ）システムにおいて、Ｈ.２６４/ＡＶＣの固定サイズのマクロブロックは、符号化ユニット（ＣＵ）というフレキシブルなブロックにより代替される。ＣＵ中の画素は、同じ符号化パラメータを共有して、符号化効率を改善する。ＣＵは最大ＣＵ（ＬＣＵ）から始まり、ＨＥＶＣの符号化ツリーユニット（ＣＴＵ）とも称される。符号化ユニットの概念に加え、予測単位（ＰＵ）の概念もＨＥＶＣに導入される。一旦、ＣＵ階層ツリーの分割が行われると、各リーフＣＵは、予測タイプ、および、ＰＵ分割にしたがって、さらに、ひとつ以上の予測単位（ＰＵ）に分割される。スクリーンコンテント符号化のいくつかの符号化ツールが発展している。本発明に関連するパレット符号化ツールを、以下に簡潔に記載する。
パレット符号化においては、限られた数の値を有する所定のビデオブロック（たとえば、ＣＵ）を表すパレットが用いられる。パレット符号化に用いられる主なコンポーネンツは、以下である。
１．パレット表。パレット表が用いられて、パレット中の各パレットカラーをパレットインデックスにマップ(map)する。
２．カラーインデックスマップ。パレット表の定義により、現在のブロック中の各画素値がインデックスにマップされる。ブロックにマップされたインデックスは、カラーインデックスマップと称される。カラーインデックスマップはインデックスマップとも称される。
３．パレット予測器。デコーダに、パレットインデックスから画素値を再構成させるため、パレット表が、デコーダにシグナリングされなければならない。パレット表のシグナリングに必要なデータを減少させるため、予測符号化(predictive coding)がパレット表に適用される。特に、前のパレット表が用いられて、現在のブロックのパレットを予測するか、または、現在のブロックにより共有される。
復号と解析プロセスは以下で簡潔に記述される。画素値がパレットインデックスから再構成される前、パレット表が再構成されなければならない。エンコーダー側でのパレット表のシグナリングプロセスは以下に記述される。
１．まず、‘パレット共有フラグ’をシグナリングする。パレット共有フラグは、現在のブロックが、前の符号化ブロックからのパレットを共有するかどうかを示す。パレット共有フラグが１に等しいとき、現在のブロックは、前の符号化ブロックのパレットを共有する。つまり、この場合、パレット予測器は、現在のパレットとして用いられる。パレット共有フラグが０に等しい場合、パレットが共有されないことを示す。現在のブロックのパレットは、ステップ２で記述されるようにシグナリングされなければならなず、現在のパレットは、前のパレットに基づいて、予測的に符号化される。
２．現在のブロックのパレットは、前のパレットを予測器として予測される。現在のパレットの符号化された情報は以下のように記述される。
ａ．‘再利用フラグ’をシグナリングする。再利用フラグは、パレット予測器の素子が現在のパレット中で用いられるかどうかを示し、“１”は“再利用”を示し、“０”は“再利用されない”を示す。再利用フラグは、パレット予測において、これらの素子が再利用されることを識別することができる。
ｂ．‘非予測素子の数量’をシグナリングする。現在のパレット中で予測されない素子にとって、素子はシグナリングされなければならない。非予測素子の数量は、シグナリングされる現在のパレット中の素子の総数を示す。
ｃ．各非予測素子の値をシグナリングする。非予測素子の数量がシグナリングされた後、これらの非予測素子の値がシグナリングされる。
上述の工程は、現在のパレットのパレットのシグナリングを描写し、よって、デコーダがパレットを再構築することができる。
パレットがシグナリングされた後、カラーインデックスマップが以下のようにシグナリングされる。まず、ブロックのインデックス（すなわち、カラーインデックスマップ）が、水平ラスター走査順序、垂直ラスター順序、水平横断走査順序、または、垂直横断順序にしたがって処理される。その後、走査順序のインデックスがランレングス符号化(run-length coded)され、走査順序のインデックスの各位置において、フラグが、まず、送信されて、予測モードを、‘コピー上記モード(copy above mode)’または‘コピーインデックスモード(copy index mode)’として示す。
１．‘コピー上記モード’。この実行モードは、走査順序で、現在の位置から開始されるインデックスが、連続Ｎインデックス（現在の位置にあるインデックスを含む）のこれらのインデックスと同じであることを示す。Ｎは‘実行回数’と称される。まず、‘コピー上記モード’がモードフラグを用いてシグナリングされ、且つ、続いて、‘実行回数’が続く。
２．‘コピーインデックスモード’（“新しい実行モード”とも称される）。この実行モードは、走査順序で、現在の位置から始まるインデックスが、連続Ｎインデックス（現在の位置中でインデックスを含む）の導かれた非−ESCAPEインデックスと同じであることを示す。‘コピーインデックスモード’が、まず、モードフラグを用いてシグナリングされ、且つ、続いて、インデックス、および、‘実行数’が続く。インデックスがESCAPEである場合、‘コピーインデックスモード’が、まず、モードフラグを用いてシグナリングされ、且つ、続いて、インデックス、および、画素値が続く。
図１Ａから図１Ｃは、スクリーンコンテント符号化テストモデル２．０（ＳＣＭ−２．０）によるパレットインデックスマップ、および、パレットインデックスマップ符号化の例を示す図である。図１Ａは、パレットカラーのパレットインデックス０から３、および、エスケープサンプルのパレットインデックス４を有するパレットインデックスマップを示す図である。エスケープサンプルに対応するインデックスは、この開示において、エスケープインデックスEscape indexと称される。図１Ｂは、ＳＣＭ−２．０によるパレットインデックスマップ符号化を示す図で、“コピーインデックスモード（copy-index mode）”は、３、１、２、および、６に対応する“パレット実行（palette runs）”により、第一列中のインデックスの４群（１１０、１２０、１３０、および、１４０）に適用される。図１Ｃは、第二列のパレットインデックスマップ符号化の例を示す図で、“コピー上記モード（copy-above mode）”は第一群のサンプル（１５０）に適用され、“コピーインデックスモード”は、８、１、および、３に対応する実行により、次の二群（１６０と１７０）に適用される。
現存のパレット符号化によると、各エスケープ画素は、“コピーインデックスモード”を用いてシグナリングされ、モードフラグ、インデックス、および、画素値が送信される。パレットサイズが０に等しい、および、全画素が、パレット符号化ブロック（たとえば、ＣＵ）中のエスケープ画素であるとき、値は、モードフラグ、インデックス、および、画素値を用いて個々にシグナリングされる。この場合、プロセスは、ＡＶＣとＨＥＶＣで、ＰＣＭ（パルス符号変調）モードを用いたものとほぼ同じで、重複を導入し、よって、符号化の視点から、効率的ではない。よって、パレットモードが有効であるとき、符号化方法を発展させて、余剰を除去し、符号化効率を改善することが望まれる。さらにブロック中の全サンプルが、エスケープサンプルであるケースにとって効率的な符号化を開発することが望まれる。
ビデオ符号化におけるパレット符号化を用いた映像データのブロックを符号化する符号化効率を改善する方法が開示される。
本発明の一実施態様によると、パレット転置フラグは、条件付きで、最大インデックス値、または、パレットサイズに基づいてシグナリングされる。最大インデックス値、または、パレットサイズが、スレショルドサイズ以上である場合、パレット転置フラグがエンコーダー側でシグナリングされるか、または、パレット転置フラグがデコーダー側で解析される。そうでなければ、パレット転置フラグは、エンコーダ中でシグナリングされない、または、デコーダ中で解析されない。
最大インデックス値、または、パレットサイズは、ひとつ以上のその他の構文要素に基づいて導出されるか、または、構文表中で、明示的にシグナリングされる。たとえば、パレット転置フラグは、最大インデックス値、または、パレットサイズの後、構文表の位置でシグナリングされる。パレットサイズが導出されるとき、パレットサイズは、前もって用いられたパレットにより予測されるパレット入力の数を示す構文要素、および、シグナリングされたパレット入力の数を示す構文要素に基づいて決定される。パレットサイズが導出されるとき、パレットサイズは、パレット共有フラグ、前もって用いられたパレットにより予測されるパレット入力の数、および、シグナリングされたパレット入力の数の構文シグナリングの後に決定される。
パレット転置フラグが使用可能でない場合、パレット転置がないのに対応して、パレット転置フラグは０と推定される。スレショルドサイズは、０、１、または、２に等しい。パレットサイズが０に等しい場合、最後のパレット、および、最後のパレットサイズは、現在のパレットサイズを有する現在のパレットにより更新されない。
別の実施態様において、最後のパレット、および、最後のパレットサイズは、条件付きで、現在のパレットサイズを有する現在のパレットにより更新される。たとえば、現在の符号化ユニットが、パルス符号変調（ＰＣＭ）モードを用いて符号化されるか、または、現在のパレットサイズがゼロである場合、現在のパレットサイズを有する現在のパレットによる更新は省略される。
さらに別の実施態様において、パレットサイズが０に等しい場合、現在の符号化ユニットは、パルス符号変調（ＰＣＭ）モードを用いて符号化される。この場合、イントラコード符号化ユニットに対応するパルス符号変調（ＰＣＭ）モードに関連する任意の構文要素が省略される。
さらにまた別の実施態様において、パレット共有フラグのシグナリング、または、解析は、パレットサイズに従う。たとえば、現在のパレットサイズが、前のパレットサイズ以上である場合、共有フラグがシグナリング、または、解析される。パレット共有フラグが使用可能でない場合、パレット共有がないことに対応して、パレット共有フラグはゼロに推定される。
さらにまた別の実施態様において、パレット共有フラグがパレット共有がないことを示す場合のみ、パレット転置フラグがエンコーダー側でシグナリングされるか、または、デコーダー側で解析される。パレット共有フラグが使用可能でない場合、パレット共有がないことに対応して、パレット共有フラグは０に推定される。
効率が向上し、無意味なデータの更新が行われない。
図１Ａは、スクリーンコンテント符号化テストモデル２．０（ＳＣＭ−２．０）によるパレットインデックスマップを示す図である。 図１Ｂは、ＳＣＭ−２．０によるパレットインデックスマップ符号化を示す図である。 図１Ｃは、パレットインデックスマップ符号化の例を示す図である。 図２は、本発明の実施態様による符号化効率が改善されたパレット符号化による符号化システムのフローチャートで、パレット転置フラグは、最大インデックス値、または、パレットサイズに基づいて、条件付きでシグナリングされる。 図３は、本発明の実施態様による符号化効率が改善されたパレット符号化による符号化システムのフローチャートで、最後のパレット、および、最後のパレットサイズは、条件付きで、現在のパレットサイズを有する現在のパレットにより更新される。
本明細書は、本発明を具体的に指摘するとともに発明の権利を明確に請求する特許請求の範囲をもって結論とするものであるが、本発明は、以下の特定の実施例の説明を添付の図面と併せ読むことによってより深い理解がなされると考えられる。
本発明の一実施態様によると、現在の符号化ブロックのパレットサイズは明示的にシグナリングされる。よって、構文要素“palette_size”は、パレット符号化プロセスの最初でシグナリングされる。パレット符号化が用いられ、且つ、パレットサイズが０に等しいとき、ＰＣＭモードが起動される。表１は、本発明の実施態様を組み込んだpalette_coding()構文設計の例を示す。注記(1.a)に示されるように、palette_sizeの構文要素は、palette_coding()構文の最初に位置する。それが、注記(1.b)に示されるように、パレットサイズがチェックされて、０であるか判断する。パレットサイズが０である場合、注記(1.c)から注記(1.e)の構文ラインが含まれて、現在のブロックにＰＣＭ信号をシグナリングする。
Figure 2016076924
表２は、現在の基準によるcoding_unit()構文表を説明し、関連する構文ラインがリストされ、注記(2.a)から(2.k)として示される。これらの構文ラインはイントラＣＵの関連するＰＣＭモードである。エスケープサンプルのパレット符号化はＰＣＭモードと同等であるので、別のＰＣＭモードの必要がない。よって、本発明の一実施態様によると、Intra ＣＵの注記(2.a)から(2.k)により示されるＰＣＭモードに関連する構文ラインが除去される。
Figure 2016076924
一実施態様において、パレットサイズ,palette_transpose_min_sizeが正の整数より小さいとき、パレットが転置されるかどうかを特定する構文フラグ“palette_transpose_flag”のシグナリングが消去される。たとえば、この正の整数は１か２である。シグナリングされないとき、“palette_transpose_flag”が０になると推定される（すなわち、オフ）。つまり、この場合、パレットは転置されない。表３は、本発明の実施態様を組み込んだpalette_coding()の構文設計の例を示す。注記(3.a)に示されるように、パレットサイズが、パレット転置（すなわち、palette_transpose_min_size）を組み込んでいる最小サイズより大きいとき、注記(3.b)に示されるように、構文要素,palette_transpose_flagが組み込まれている。
Figure 2016076924
別の実施態様において、現在のパレットサイズが前のパレットサイズより小さい場合、現在の符号化ブロックのパレットが、前もって用いられたパレットから共有されるかどうかを特定する構文フラグ“palette_share_flag”のシグナリングが消去される。構文フラグがシグナリングされないとき、“palette_share_flag”は０（すなわち、オフ)になると推定される。表４は、本発明の実施態様を組み込んだpalette_coding()の構文設計の例を示す。注記(4.a)に示されるように、パレットサイズが、パレット共有（すなわち、previousPaletteSize）を許可する前のパレットサイズに等しい、または、それ以上であるとき、注記(4.b)に示されるように、構文要素,palette_share_flagが組み込まれる。
Figure 2016076924
さらに別の実施態様において、現在のパレットの符号化ブロックのシグナリングされたパレット入力の数がシグナリングされず、現在のパレットの符号化ブロックのシグナリングされたパレット入力の数は以下のように生成される：
num_signalled_palette_entries = palette_size - numPredPreviousPalette,
式中、numPredPreviousPaletteは、前のパレットにより予測されるパレット素子の数に対応する。
別の実施態様において、palette_share_flagのシグナリング後に、palette_transpose_flagがシグナリングされる。さらに、palette_share_flagが０（すなわち、パレット共有がオフ）のときだけ、palette_transpose_flagがシグナリングされる。さらに、現在のパレットの符号化符号化ブロック(coded coding block)のパレットが前のパレットと共有されるとき、前の走査モードや方向から継承されるので、走査モードや方向はシグナリングされない。
ＰＣＭが起動される、または、palette_sizeが０に等しいとき、パレット表更新は無意味になるので、最後に符号化されたパレット表、および、最後に符号化されたパレットサイズの更新は省略される。表５は、本発明の実施態様を組み込んだpalette_coding()構文設計の例を示す。注記(5.a)に示されるように、パレットサイズがゼロより大きい場合（すなわち、palette_size > 0）のみ、注記(5.b)と注記(5.c)間で示されるようなパレット表更新プロセスが実行される。
Figure 2016076924
本発明の別の実施態様において、palette_sizeは、明示的にシグナリングされない。代わりに、表６に示されるように、palette_share_flag,previous_palette_entry_flag、および、num_signalled_palette_entriesの構文シグナリング後、palette_sizeが生成される。表６に示されるように、注記(6.a)に示されるように、パレット共有フラグ（すなわち、palette_share_flag）が、パレットが、前のパレットから共有されることを示す場合、注記(6.b)に示されるように、パレットサイズが、前のパレットサイズ(palette_size = previousPaletteSize)として生成される。パレットがシェアされない場合、パレットサイズが、注記(6.e)に示されるように、palette_size = numPredPreviousPalette + num_signalled_palette_entriesとして生成される。この生成されたpalette_sizeの位置は、注記(6.c)に示されるようなprevious_palette_entry_flag、および、注記(6.d)に示されるようなnum_signalled_palette_entriesの後である。palette_sizeが０に等しいとき、ＰＣＭモードが起動される。ＰＣＭモードが起動される場合、palette_escape_val_present_flagのシグナリングが省略される。表７は、本発明の実施態様を組み込んだパレット符号化構文表の例を示す図である。表７の注記(7.a)から注記(7.b)からの構文ラインは、現在のブロックのＰＣＭシグナリングに対応する。さらに、パレットサイズが０より大きいとき、注記(7.c)に示されるように、palette_escape_val_present_flagは、シグナリングだけ行われる。表２に示されるように、イントラモードとそのシグナリングに関連するＰＣＭモードが省略される。
Figure 2016076924
Figure 2016076924
palette_size、または、indexMaxが、正の整数palette_transpose_min_size以上であるときだけ、構文フラグ“palette_transpose_flagのシグナリングも送信され、正の整数は、１、２、または、０である。palette_transpose_flagがシグナリングされないとき、“palette_transpose_flag”は０（すなわち、オフ）に推定され、それは、パレットが転置されないことを意味する。表８は、本発明の実施態様を組み込んだパレット符号化構文表の例を示す。構文要素indexMaxは、現在のブロックの最大パレットインデックスに対応し、indexMaxは、パレットサイズに関連する。注記(8.a)に示されるように、現在のブロックが、任意のエスケープサンプルを有する場合、注記(8.b)に示されるように、indexMaxは、パレットサイズに等しい。現在のブロックがエスケープサンプルを有さない場合、indexMaxは、注記(8.c)に示されるように、（パレットサイズ−１）に等しい。注記(8.d)に示されるように、palette_size、または、indexMaxが、正の整数以上であるとき、注記(8.e)に示されるように、palette_transpose_flagがシグナリングされる。表５に示されるように、ＰＣＭが起動される、または、palette_sizeが０に等しいとき、最後に符号化されたパレット表、および、最後に符号化されたパレットサイズの更新が省略され、無意味なデータの更新が行われない。
Figure 2016076924
palette_size、または、indexMaxが、正の整数palette_transpose_min_size以上であるかどうかに基づいて、構文フラグ“palette_transpose_flag”のシグナリングが、条件付きで、送信される。palette_sizeが決定される位置の後で、構文フラグ“palette_transpose_flag”の位置が移動する。正の整数は、１、２、または、０である。構文フラグ“palette_transpose_flag”がシグナリングされないとき、“palette_transpose_flag”は０（すなわち、オフ）に推定される。つまり、パレットは転置されない。
表５に示されるように、palette_sizeが０に等しいとき、最後に符号化されたパレット表、および、最後に符号化されたパレットサイズの更新が省略され、無意味なデータの更新が行われない。
図２は、本発明の実施態様による符号化効率が改善されたパレット符号化による符号化システムのフローチャートで、パレット転置フラグは、最大インデックス値、または、パレットサイズに基づいて、条件付きで、シグナリングされる。ステップ２１０において、システムは、現在の符号化ユニットに関連する入力データを受信する。符号化において、現在の符号化ユニットに関連する入力データは、符号化される現在の符号化ユニットのビデオサンプルに対応する。復号において、現在の符号化ユニットに関連する入力データは、現在の符号化ユニットに関連する符号化データに対応する。現在の符号化ユニットに関連する入力データは、メモリ（たとえば、コンピュータメモリ、バッファ（ＲＡＭ、または、ＤＲＡＭ）、または、別の媒体）、または、プロセッサから回収される。ステップ２２０において、現在のパレットの最大インデックス値、または、パレットサイズが決定される。ステップ２３０において、最大インデックス値、または、パレットサイズが、スレショルドサイズ以上である場合、パレット転置フラグが、エンコーダー側でシグナリングされるか、または、デコーダー側で解析される。その後、ステップ２４０において、現在の符号化ユニットは、現在のパレットにしたがって、パレット符号化を用いて符号化、または、復号され、現在のパレットが転置かどうかが、パレット転置フラグにより示される。
図３は、本発明の実施態様による符号化効率が改善されたパレット符号化による符号化システムのフローチャートで、最後のパレット、および、最後のパレットサイズは、条件付きで、現在のパレットサイズを有する現在のパレットにより更新される。ステップ３１０において、システムは、現在の符号化ユニットに関連する入力データを受信する。符号化において、現在の符号化ユニットに関連する入力データは、符号化される現在の符号化ユニットのビデオサンプルに対応する。復号において、現在の符号化ユニットに関連する入力データは、現在の符号化ユニットに関連する符号化データに対応する。現在の符号化ユニットに関連する入力データは、メモリ（たとえば、コンピュータメモリ、バッファ（ＲＡＭ、または、ＤＲＡＭ）、または、別の媒体）、または、プロセッサから回収される。その後、ステップ３２０において、現在の符号化ユニットが、現在のパレットサイズを有する現在のパレットにしたがって、パレット符号化を用いて符号化、または、復号化される。ステップ３３０において、最後のパレット、および、最後のパレットサイズは、条件付きで、現在のパレットサイズを有する現在のパレットにより更新される。ステップ３４０において、最後のパレット、および、最後のパレットサイズが、次の符号化ユニットのパレット符号化、または、パレット復号化に適用される。
上記のフローチャートは例として提供されて、本発明の実施態様を説明する。当業者は、本発明の精神を逸脱しない状況下で、個々のステップを修正したり、ステップを分割や組み合わせることにより本発明を実施することができる。
上の記述が提示されて、当業者に、特定のアプリケーションとその要求のコンテキストに記述される通り、本発明を行うことができる。当業者なら、記述された具体例への各種修正が理解でき、ここで定義される一般原則は別の実施例にも応用できる。よって、本発明は、記述される特定の実施例に制限することを目的としておらず、原理と新規特徴と一致する最大範囲に一致する。上述の記述において、本発明の十分な理解を提供するため、各種特定の詳細が説明される。当業者なら、本発明が行えることが理解できる。
上述の本発明の具体例は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の具体例は、画像圧縮チップに整合される回路、または、画像圧縮ソフトウェアに整合されるプログラムコードで、上述の処理を実行する。本発明の具体例は、デジタルシグナルプロセッサ（ＤＳＰ）で実行されるプログラムコードで、上述の処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実行される複数の機能を含む。これらのプロセッサは、本発明により具体化される特定の方法を定義する機械読み取り可能ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明による特定のタスクを実行するように設定される。ソフトウェアコード、または、ファームウェアコードは、異なるプログラミング言語、および、異なるフォーマット、または、スタイルで開発される。ソフトウェアコードは、さらに、異なるターゲットプラットフォームにコンパイルされる。しかし、本発明によるタスクを実行するソフトウェアコードの異なるコードフォーマット、スタイル、および、言語、および、設定コードのその他の手段は、本発明の精神を逸脱しない。
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

Claims (17)

  1. ビデオ符号化システムのパレット符号化を用いた映像データのブロックの符号化方法であって、前記方法は、
    現在の符号化ユニットに関連する入力データを受信する工程と、
    現在のパレットの最大インデックス値、または、パレットサイズを決定する工程と、
    前記最大インデックス値、または、前記パレットサイズが、スレショルドサイズ以上である場合、エンコーダー側でパレット転置フラグをシグナリングするか、または、前記パレット転置フラグをデコーダー側で解析する工程と、
    前記現在のパレットにしたがって、パレット符号化を用いて、前記現在の符号化ユニットを符号化、または、復号化し、前記現在のパレットが転置されるかどうかが、前記パレット転置フラグにより示される工程と、
    を有することを特徴とする方法。
  2. 前記最大インデックス値、または、前記パレットサイズは、ひとつ以上のその他の構文要素に基づいて導出されるか、または、構文表中で明示的にシグナリングされることを特徴とする請求項１に記載の方法。
  3. 前記パレット転置フラグは、前記最大インデックス値、または、前記パレットサイズの後、構文表の位置でシグナリングされることを特徴とする請求項２に記載の方法。
  4. 前記パレットサイズが導出されるとき、前記パレットサイズは、前もって用いられたパレットにより予測されるパレット入力の第一数に対応する第一構文要素、および、シグナリングされたパレット入力の第二数に対応する第二構文要素に基づいて決定されることを特徴とする請求項２に記載の方法。
  5. 前記パレットサイズが導出されるとき、前記パレットサイズは、パレット共有フラグ、前もって用いられたパレットにより予測されるパレット入力の第一数、および、シグナリングされたパレット入力の第二数の構文シグナリングの後に決定されることを特徴とする請求項２に記載の方法。
  6. 前記パレット転置フラグが使用可能でない場合、パレット転置がないのに対応して、前記パレット転置フラグは０に推定されることを特徴とする請求項１に記載の方法。
  7. 前記スレショルドサイズは、０、１、または、２であることを特徴とする請求項１に記載の方法。
  8. 前記パレットサイズが０に等しい場合、最後のパレット、および、最後のパレットサイズは、現在のパレットサイズを有する前記現在のパレットにより更新されないことを特徴とする請求項１に記載の方法。
  9. ビデオ符号化システムのパレット符号化を用いた映像データのブロックの符号化方法であって、前記方法は、
    現在の符号化ユニットに関連する入力データを受信する工程と、
    現在のパレットサイズを有する前記現在のパレットにしたがって、パレット符号化を用いて、前記現在の符号化ユニットを符号化、または、復号化する工程と、
    前記現在のパレットサイズを有する前記現在のパレットにより、条件付きで、最後のパレット、および、最後のパレットサイズを更新する工程と、
    前記最後のパレット、および、前記最後のパレットサイズを、次の符号化ユニットのパレット符号化、または、パレット復号化に適用する工程と、
    を有することを特徴とする方法。
  10. 前記現在の符号化ユニットがパルス符号変調（ＰＣＭ）モードを用いて符号化されるか、または、現在のパレットサイズがゼロの場合、前記現在のパレットサイズを有する前記現在のパレットにより、前記最後のパレット、および、前記最後のパレットサイズを更新する前記工程は省略されることを特徴とする請求項９に記載の方法。
  11. ビデオ符号化システムのパレット符号化を用いた映像データのブロックの符号化方法であって、前記方法は、
    現在の符号化ユニットに関連する入力データを受信する工程と、
    現在のパレットのパレットサイズを決定する工程と、
    前記パレットサイズが０に等しい場合、パルス符号変調（ＰＣＭ）モードを用いて、前記現在の符号化ユニットを符号化、または、復号化する工程と、
    を有することを特徴とする方法。
  12. イントラコード符号化ユニットに対応する前記パルス符号変調（ＰＣＭ）モードに関連する任意の構文要素が省略されることを特徴とする請求項１１に記載の方法。
  13. ビデオ符号化システムのパレット符号化を用いた映像データのブロックの符号化方法、前記方法は、
    現在の符号化ユニットに関連する入力データを受信する工程と、
    現在のパレットのパレットサイズを決定する工程と、
    パレット共有フラグのシグナリング、または、解析は、前記パレットサイズに従い、前記パレット共有フラグが、前記現在の符号化ユニットの前もって用いられたパレットを共有するかどうかを示す工程と、
    前記パレット共有フラグがパレット共有を示す場合、前もって用いられたパレットを現在のパレットとして用い、前記パレット共有フラグが、パレット共有がないことを示す場合、前記前もって用いられたパレットと異なる少なくともひとつの入力により、前記現在のパレットを生成する工程と、
    前記現在のパレットにしたがって、パレット符号化を用いて、前記現在の符号化ユニットを符号化、または、復号化する工程と、
    を有することを特徴とする方法。
  14. 現在のパレットサイズが前のパレットサイズ以上である場合、前記パレット共有フラグがシグナリングされるか、または、解析されることを特徴とする請求項１３に記載の方法。
  15. 前記パレット共有フラグが使用可能でない場合、パレット共有がないことに対応して、前記パレット共有フラグが０に推定されることを特徴とする請求項１３に記載の方法。
  16. ビデオ符号化システムのパレット符号化を用いた映像データのブロックの符号化方法であって、前記方法は、
    現在の符号化ユニットに関連する入力データを受信する工程と、
    パレット共有フラグを決定し、前記パレット共有フラグが、前記現在の符号化ユニットの前もって用いられたパレットを共有するかどうかを示す工程と、
    前記パレット共有フラグが、パレット共有がないことを示す場合、パレット転置フラグをエンコーダー側でシグナリングするか、または、前記パレット転置フラグをデコーダー側で解析する工程と、
    現在のパレットにしたがって、パレット符号化を用いて、前記現在の符号化ユニットを符号化、または、復号化し、前記現在のパレットが転置されるかどうかが、前記パレット転置フラグにより示される工程と、
    を有することを特徴とする方法。
  17. 前記パレット共有フラグが使用可能でない場合、パレット共有がないことに対応して、前記パレット共有フラグが０に推定されることを特徴とする請求項１６に記載の方法。
JP2015187091A 2014-10-07 2015-09-24 ビデオ符号化のパルス符号変調、および、パレット符号化の方法 Active JP6316785B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462060810P 2014-10-07 2014-10-07
US62/060,810 2014-10-07
US14/821,100 US9596479B2 (en) 2014-10-07 2015-08-07 Method of pulse-code modulation and palette coding for video coding
US14/821,100 2015-08-07

Publications (2)

Publication Number Publication Date
JP2016076924A true JP2016076924A (ja) 2016-05-12
JP6316785B2 JP6316785B2 (ja) 2018-04-25

Family

ID=54185843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015187091A Active JP6316785B2 (ja) 2014-10-07 2015-09-24 ビデオ符号化のパルス符号変調、および、パレット符号化の方法

Country Status (5)

Country Link
US (1) US9596479B2 (ja)
EP (1) EP3007442B1 (ja)
JP (1) JP6316785B2 (ja)
KR (1) KR101737221B1 (ja)
CN (1) CN105491383B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10009632B2 (en) * 2014-03-05 2018-06-26 Qualcomm Incorporated Flicker detection and mitigation in video coding
WO2015176685A1 (en) * 2014-05-23 2015-11-26 Mediatek Inc. Methods for palette size signaling and conditional palette escape flag signaling
WO2016070845A1 (en) * 2014-11-06 2016-05-12 Mediatek Inc. Method for sub-block based palette coding
WO2016127889A1 (en) * 2015-02-13 2016-08-18 Mediatek Inc. Method and apparatus for palette index coding in video and image compression
MY183484A (en) * 2015-06-03 2021-02-20 Mediatek Inc Method and apparatus for resource sharing between intra block copy mode and inter prediction mode in video coding systems
US10097842B2 (en) * 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
US11012701B2 (en) * 2019-02-22 2021-05-18 Tencent America LLC Residual coding for transform skip mode and block differential pulse-code modulation
BR112021016235A2 (pt) * 2019-02-24 2021-10-13 Beijing Bytedance Network Technology Co., Ltd. Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador, meio de gravação não transitório legível por computador e método para armazenar um bitstream de um vídeo
US10924750B2 (en) * 2019-03-01 2021-02-16 Alibaba Group Holding Limited Palette size constraint in palette mode for video compression system
US11202101B2 (en) * 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
JP7359936B2 (ja) 2019-07-20 2023-10-11 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の条件依存符号化
BR112022004606A2 (pt) 2019-09-12 2022-05-31 Bytedance Inc Método de processamento de vídeo, aparelho para processar dados de vídeo e meios de armazenamento e de gravação não transitórios legíveis por computador
CN115211119A (zh) * 2020-01-03 2022-10-18 抖音视界有限公司 视频编码中的调色板尺寸信令

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016022537A1 (en) * 2014-08-04 2016-02-11 Qualcomm Incorporated Palette mode encoding and decoding design

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3902968B2 (ja) * 2002-03-26 2007-04-11 キヤノン株式会社 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
US20040013297A1 (en) 2002-07-18 2004-01-22 Roger Lo Method for performing color gamut compression
DE102006002886A1 (de) 2006-01-20 2007-07-26 Oce Printing Systems Gmbh Verfahren, Computerprogrammprodukt und Vorrichtung zur Erzeugung und Verarbeitung von Dokumentendaten mit indizierten Farbmanagementressourcen
AU2006246497B2 (en) * 2006-11-30 2010-02-11 Canon Kabushiki Kaisha Method and apparatus for hybrid image compression
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US11259020B2 (en) * 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
GB2521606A (en) * 2013-12-20 2015-07-01 Canon Kk Method and apparatus for transition encoding in video coding and decoding
US10009632B2 (en) * 2014-03-05 2018-06-26 Qualcomm Incorporated Flicker detection and mitigation in video coding
US9826242B2 (en) * 2014-03-14 2017-11-21 Qualcomm Incorporated Palette-based video coding
US10362336B2 (en) * 2014-03-25 2019-07-23 Qualcomm Incorporated Palette predictor signaling with run length code for video coding
US9654806B2 (en) * 2014-03-26 2017-05-16 Qualcomm Incorporated Determining palette size, palette entries and filtering of palette coded blocks in video coding
US10382749B2 (en) * 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
US11323733B2 (en) * 2014-05-23 2022-05-03 Qualcomm Incorporated Predictor palette initialization in palette-based video coding
US10291940B2 (en) * 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding
US9544607B2 (en) * 2014-08-25 2017-01-10 Hfi Innovation Inc. Method of palette index signaling for image and video coding
US9877029B2 (en) * 2014-10-07 2018-01-23 Qualcomm Incorporated Palette index binarization for palette-based video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016022537A1 (en) * 2014-08-04 2016-02-11 Qualcomm Incorporated Palette mode encoding and decoding design

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAJAN JOSHI ET AL., HIGH EFFICIENCY VIDEO CODING (HEVC) SCREEN CONTENT CODING: DRAFT 1, JPN6016040108, 27 September 2014 (2014-09-27), pages pp.52-54,100-101 *

Also Published As

Publication number Publication date
JP6316785B2 (ja) 2018-04-25
EP3007442B1 (en) 2018-08-08
CN105491383A (zh) 2016-04-13
EP3007442A1 (en) 2016-04-13
CN105491383B (zh) 2018-12-11
KR20160041779A (ko) 2016-04-18
KR101737221B1 (ko) 2017-05-17
US9596479B2 (en) 2017-03-14
US20160100184A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
JP6316785B2 (ja) ビデオ符号化のパルス符号変調、および、パレット符号化の方法
JP6689338B2 (ja) パレットサイズシグナリング、および、条件付きのパレットエスケープフラグシグナリングの方法及び装置
JP6149076B2 (ja) イメージ、および、ビデオ符号化のパレットインデックスシグナリングの方法および装置
US10972723B2 (en) Method and apparatus for palette table prediction
EP3108658B1 (en) Method of color index coding with palette stuffing
JP6352452B2 (ja) ビデオ符号化における構文の２値化とコンテキスト適応型符号化の方法と装置
JP6310152B2 (ja) パレットテーブル予測とシグナリングの方法と装置
JP2017525271A (ja) インデックスマップ符号化の予測器としてエスケープ画素を処理する方法
WO2016115728A1 (en) Improved escape value coding methods
WO2016044974A1 (en) Palette table signalling

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180328

R150 Certificate of patent or registration of utility model

Ref document number: 6316785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250