JP2018530221A - ビデオ符号化における適応インター予測の方法と装置 - Google Patents

ビデオ符号化における適応インター予測の方法と装置 Download PDF

Info

Publication number
JP2018530221A
JP2018530221A JP2018512175A JP2018512175A JP2018530221A JP 2018530221 A JP2018530221 A JP 2018530221A JP 2018512175 A JP2018512175 A JP 2018512175A JP 2018512175 A JP2018512175 A JP 2018512175A JP 2018530221 A JP2018530221 A JP 2018530221A
Authority
JP
Japan
Prior art keywords
inter prediction
current block
prediction process
motion compensation
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018512175A
Other languages
English (en)
Other versions
JP6634151B2 (ja
JP2018530221A5 (ja
Inventor
チンイェー チェン
チンイェー チェン
チーウェイ ス
チーウェイ ス
ハン フアン
ハン フアン
ユウェン フアン
ユウェン フアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of JP2018530221A publication Critical patent/JP2018530221A/ja
Publication of JP2018530221A5 publication Critical patent/JP2018530221A5/ja
Application granted granted Critical
Publication of JP6634151B2 publication Critical patent/JP6634151B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

適応インター予測を用いたビデオ符号化の方法と装置が開示される。選択されたインター予測プロセスが決定され、選択されたインター予測プロセスは、カレントブロックの隣接再構築画素 (NRP)を含む第一画素データに基づいて複数のインター予測フィルターから、インター予測フィルターをカレントブロックに選択する。選択されたインター予測プロセスは、さらに、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素 (EMCP)に基づいて決定される。NRPとEMCP間のひずみが用いられて、選択されたインター予測フィルターを決定する。ひずみは、NRPとEMCP間の絶対差、または、自乗差の合計を用いて、計算される。
【選択図】図5

Description

本出願は、2015年9月6日に出願されたPCT/CN2015/088952号の優先権を主張するものであり、参照によりその全体が本願に組み込まれる。
本発明は、ビデオデータのビデオ符号化に関するものであって、特に、符号化効率を改善する、ビデオ符号化における適応インター予測に関するものである。
ビデオデータは、保存するための多くの保存空間、および、送信するための広帯域幅を必要とする。高い解像度、および、高いフレームレートの成長に伴い、ビデオデータが非圧縮形式で保存、または、送信される場合、ストレージ、または、伝送帯域幅に対する要求は非常に高い。これにより、ビデオデータは、通常、ビデオ符号化技術を用いて、圧縮されたフォーマットで保存、または、送信される。符号化効率は、最新のビデオ圧縮フォーマット、たとえば、H.264/AVC、および、新たなHEVC (高効率ビデオコーディング)標準を用いて、大幅に改善されている。
図1は、ループプロセシングを組み込んだ適応インター/イントラビデオ符号化システムを示す図である。インター予測において、動き推定 (ME)/動き補償 (MC)112が用いられて、一ピクチャ、または、複数のピクチャから、ビデオデータに基づいて、予測データを提供する。スイッチ114は、イントラ予測110、または、インター予測データを選択するとともに、選択された予測データが加算器116に供給されて、残差と称する、予測誤差を生成する。その後、予測誤差は、変換 (T)118、そのあと、量子化 (Q)120により処理される。変換、および、量子化された残差は、その後、圧縮ビデオデータに対応するビデオビットストリーム中に含まれるエントロピーエンコーダ122により符号化される。インター予測モードが用いられるとき、リファレンス画像、または、複数のピクチャは、エンコーダ側で再構築されなければならない。それゆえに、変換、および、量子化された残差は、逆量子化 (IQ)124と逆変換 (IT)126により処理されて、残差をリカバーする。その後、残差は、再構築 (REC)128で、予測データ136に戻して、ビデオデータを再構築する。再構築ビデオデータは、リファレンス画像バッファ134に保存されるとともに、ほかのフレームの予測に用いられる。しかし、ビデオデータが、リファレンス画像バッファに保存される前に、ループフィルター130 (たとえば、非ブロック化フィルター、および/または、サンプル適応オフセット、SAO) が再構築ビデオデータに適用される。
図2は、図1のエンコーダシステムの対応するビデオデコーダのシステムブロック図である。エンコーダは、ローカルデコーダも含み、ビデオデータを再構築するので、あるデコーダコンポーネンツは、エントロピーデコーダ210を除いて、エンコーダですでに使用されている。さらに、動き補償220だけがデコーダ側に必要とされる。スイッチ146は、イントラ予測、または、インター予測を選択するとともに、選択された予測データが、リカバーされた残差と結合される再構築 (REC)128に供給される。圧縮された残差に、エントロピーデコーディングを実行する以外に、エントロピーデコーディング210は、さらに、サイド情報のエントロピーデコーディングの責任を負うとともに、サイド情報を対応するブロックに提供する。たとえば、イントラモード情報がイントラ予測110に提供され、インターモード情報が動き補償220に提供され、ループフィルター情報がループフィルター130に提供され、残差は、逆量子化124に提供される。残差は、IQ124、IT126、および、後続の再構築プロセスにより処理されて、ビデオデータを再構築する。さらに、REC128からの再構築ビデオデータは、図2に示されるIQ124、および、IT126を含む一連の処理を経て、符号化アーチファクトを受ける。再構築ビデオデータは、さらに、ループフィルター130により処理される。
高効率ビデオコーディング(HEVC)システムにおいて、H.264/AVCの固定サイズマクロブロックは、符号化ユニット(CU)と称されるフレキシブルブロックにより代替される。CU中の画素は、同じ符号化パラメータを共有して、符号化効率を改善する。CUは、HEVC中で、符号化ツリーユニット(CTU)とも称される最大CU(LCU)から開始される。各CUは、2N×2Nの四角ブロックであり、且つ、所定の最小サイズに到達するまで、再帰的に四個の小さいCUに分割する。CU階層木の分割が行われると、各リーフCUは、予測タイプとPU分割にしたがって、さらに、一つ以上の予測ユニット(PU)に分割される。さらに、変換符号化の基本ユニットは、変換ユニット (TU)と称される四角サイズである。
HEVCにおいて、イントラ、および、インター予測が各ブロック(すなわち、PU)に適用される。イントラ予測モードは、空間的隣接再構築画素を用いて、方位予測を生成する。一方、インター予測モードは、一時的な再構築参照フレームを用いて、動き補償予測を生成する。変換、量子化、および、エントロピーコーディングを用いて、予測残差が符号化される。さらに正確な予測が、小さい予測残差につながり、次に、圧縮されたデータ (すなわち、高い圧縮比)を生む。
インター予測は、フレーム間の画素の相互関係を調査するとともに、シーンが変化しない、または、動きが並進する場合、効率がよくなる。このような場合、動き推定は、一時的に隣接するフレームで、同様の画素値を有する同様のブロックを容易に見つける。HEVCにおけるインター予測において、インター予測は、単方向予測、または、双方向予測である。単方向予測において、カレントブロックは、前に符号化されたピクチャで、一参照ブロックにより予測される。双方向予測において、カレントブロックは、前に符号化された二個のピクチャで、二個の参照ブロックにより予測される。二個の参照ブロックからの予測が平均化されて、双方向予測で、最終予測を生成する。
多くのビデオ符号化標準において、分数の動きベクトルもサポートされる。たとえば、HEVC標準において、分数の動き補償は、それぞれ、ルマ素子の所定の8タップ補間フィルター、および、クロマ素子の所定の4タップ補間フィルターを用いて実施される。しかし、HEVCにおけるインター予測のプロセスは固定である。たとえば、双方向予測の重み付け係数(すなわち、0.5と0.5)、または、分数の動き補償のフィルター係数は固定である。これにより、従来のインター予測は、ブロックの局所特性に適合しない、よって、インター予測の圧縮効率をさらに改善するため、適応インター予測方法を発展させることが必要である。
本発明は、適応インター予測を用いたビデオ符号化の方法と装置を提供する。
適応インター予測を用いたビデオ符号化の方法と装置が開示される。本発明によると、選択されたインター予測プロセスが決定され、選択されたインター予測プロセスは、カレントブロックの隣接再構築画素を含む第一画素データに基づいて、複数のインター予測フィルターから、インター予測フィルターをカレントブロックに選択する。その後、カレントブロックは、選択されたインター予測プロセスを用いて符号化、または、復号される。第一画素データは、さらに、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素を有する。カレントブロックの隣接再構築画素と動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、インター予測フィルターを決定する。ひずみは、カレントブロックの隣接再構築画素と動き補償参照ブロック周辺の外部動き補償画素間の絶対差、または、自乗差の合計を用いて計算される。第一画素データは、カレントブロックの動き情報、および、カレントブロックの隣接再構築画素の動き情報に基づいて選択される。カレントブロックの隣接再構築画素は、カレントブロックの上部境界で、隣接する画素の一つ以上のロウ、または、カラムを有する。カレントブロックの隣接再構築画素は、サブサンプリングを用いて選択される。
一実施形態において、複数のインター予測フィルターは、異なる数量のフィルタータップ、異なるフィルター係数、または、両方を有する。選択されたインター予測プロセスは、複数のインター予測フィルターをサポートするインター予測プロセス、双方向予測の複数組の重み付け係数をサポートするインター予測プロセス、または、複数のインター予測フィルターと複数組の重み付け係数両方をサポートするインター予測プロセスを含む一群のインター予測プロセス間の選択により決定される。この群のインター予測プロセスに関連する情報は、ビデオビットストリームの配列レベル、ピクチャレベル、または、スライスレベルでシグナリングされる。この群のインター予測プロセスは、スライスタイプ、予測モード、または、動き情報にしたがって決定される。選択されたインター予測プロセスの情報は、明示的に、エンコーダからデコーダにシグナリングされる。選択されたインター予測プロセスを用いて有効にするか、無効にするかは、ビデオビットストリームの配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルでシグナリングされる。
別の実施形態において、選択されたインター予測プロセスが決定され、選択されたインター予測プロセスは、複数組の重み付け係数から、一組の重み付け係数を、双方向予測のカレントブロックに選択させ、その後、カレントブロックは、選択されたインター予測プロセスを用いて、符号化、または、復号される。複数組の重み付け係数は、 [0.5, 0.5], [0.25, 0.75], [0.75, 0.25], [0.375, 0.625]および [0.625, 0.375]を有する。複数組の重み付け係数の場合において、カレントブロックの隣接再構築画素とカレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、一組の重み付け係数を決定する。第一動き情報に関する第一予測と第二動き情報に関する第二予測は、たった一度だけ、カレントブロックの隣接再構築画素の各画素に生成される。第一予測と第二予測に関連する合計と差が、カレントブロックの隣接再構築画素の各画素に決定される。その後、重み付け係数[0.5, 0.5], [0.625, 0.375], [0.375, 0.625], [0.75, 0. 25]および [0. 25, 0. 75] に関するひずみは、それぞれ、D0 = (X<<3) - Q, D1 = D0 - R, D2 = D0 + R, D3 = D1 - Rおよび D4 = D2 + Rとして計算され、Xは、カレントブロックの隣接再構築画素の再構築値を示す。
変換、量子化、および、ループプロセシングを用いた適応インター/イントラビデオ符号化システムを示す図である。
変換、量子化、および、ループプロセシングを用いた適応インター/イントラビデオ復号化システムを示す図である。
本発明の一実施形態によるカレントブロックの隣接再構築画素とカレントブロックに対応する動き補償参照ブロックの拡張動き補償画素間のひずみに基づいた、選択されたインター予測プロセスにより、インター予測方法を選択することによる適応インター予測を示す図である。
本発明の一実施形態によるカレントブロックの隣接再構築画素とカレントブロックに対応する動き補償参照ブロックの拡張動き補償画素間のひずみに基づいた、選択されたインター予測プロセスにより、三候補間で補間フィルターを選択することによる適応インター予測を示す図である。
本発明の一実施形態による適応インター予測を用いたビデオ符号化システムのフローチャートである。
以下の記述は、本発明を実行する最高の予定モードである。この記述は、本発明の一般概念を説明するためのものであり、範囲の限定を意図するものではない。本発明は、付加される請求項を基準とすることにより最適に決定される。
前述されたように、従来のインター予測は、予想以上に静的で、且つ、基本ビデオ中の局所特性に適合しない。したがって、本発明の一実施形態において、カレントブロックと隣接再構築画素間の相互関係が用いられて、インター予測の局所的適応を達成する。本方法は、適応インター予測と称される。
一実施形態において、二個以上のインター予測プロセスが用いられ、且つ、カレントブロック周辺の隣接再構築画素が、選択されたインター予測プロセスに用いられて、補間フィルター、および/または、カレントブロックの一組の重み付け係数に対応するインター予測方法を選択する。二個以上のインター予測プロセスは、双方向の異なる補間フィルター(インター予測フィルターとも称される)をサポートするインター予測プロセス、および/または、異なる組の重み付け係数をサポートするインター予測プロセスに対応する。異なる補間フィルターは、異なる数量のフィルタータップ、および/または、異なるフィルター係数に対応する。
一実施形態において、異なるインター予測フィルター間の選択は、カレントブロック周辺の隣接再構築画素 (NRP) に基づく。異なるインター予測フィルター間の選択は、さらに、カレントブロック周辺の隣接再構築画素の外部動き補償画素に基づく。隣接再構築画素は、カレントブロックと隣接再構築画素の動き情報に基づいて選択される。たとえば、カレントブロックの動き情報が、左側のCUと同じであるが、前のCUと異なる場合、カレントブロックと隣接再構築画素の動き情報間の動作比較に基づいて、カレントブロックの左境界の隣接再構築画素だけが選択されて、複数のフィルターから、インター予測フィルターを決定する。前述の実施形態において、異なるインター予測フィルター間の選択が暗黙に引き出される。しかし、別の実施形態において、異なるインター予測フィルター間の選択は、明示的にシグナリングされる。
図3は、本発明の一実施形態による選択されたインター予測プロセスにより、インター予測方法を選択する例を示す図である。図3において、隣接再構築画素 (NRP)は、カレントブロック310の上部境界上方のN個の上方隣接ロウ312、および、カレントブロック310の左境界の左側のN個の左側隣接カラム (すなわち、垂直線)314を有する。一例において、カレントブロック310の隣接再構築画素は、サブサンプリングを用いて選択される。拡張動き補償予測または画素(EMCP)は、動き補償参照ブロック320の上部境界上方のN個の上方隣接ロウ322、および、動き補償参照ブロック320の左境界の左側のN個の左側隣接カラム (すなわち、垂直線)324を有する。動き補償参照ブロック320は、カレントブロック310と動きベクトル330の位置に従って識別される。動きベクトルは、整数精度、または、分数画素改造度を有する。したがって、整数動き補償、または、分数動き補償が用いられる。
従来のインター予測と比較すると、複数の候補中から、一つのインター予測方法を選択するため、上述の実施形態は、NRPとEMCPに関連する追加動き補償を実行することが必要である。
Nは、1、または、それより大きい整数である。図3に示されるNRPとEMCPの配置は、一実施形態による例を説明する目的であり、且つ、本発明を制限するものとして解釈される。たとえば、上部隣接ラインの数量は、左側隣接ラインと異なっていてもよい。
図4は、本発明の一実施形態による適応インター予測プロセスの例を示す図である。この例において、三種の補間フィルターがビデオ符号化システムに用いられる。図4に示されるように、適応インター予測プロセスは、最初に、これらの三個の補間フィルターを用いて、カレントブロック(410)周辺の隣接再構築画素 (412) に動き補償を実行して、外部動き補償参照ブロック (420a、420b、420c)周辺の動き補償画素 (422a、422b、422c)を生成する。その後、隣接再構築画素 (412) と外部動き補償画素 (422a、422b、422c)間のひずみが、これらの三種の補間フィルターに計算される。最小のひずみを有する補間フィルターが用いられて、カレントブロックの予測を生成する。単方位予測において、適応インター予測は、異なる補間フィルターから、一フィルターを適応的に選択することにより達成される。上述のように、整数動き補償、または、分数動き補償が用いられる。
別の実施形態において、双方向予測にとって、適応インター予測は、二予測間で、異なる組の重み付け係数、たとえば、 [0.5, 0.5], [0.25, 0.75], [0.75, 0.25], [0.375, 0.625]、または、 [0.625, 0.375]をサポートすることにより実行される。この実施形態において、一組の重み付け係数は、カレントブロックの隣接再構築画素、および/または、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素に基づいて選択される。たとえば、隣接再構築画素と外部動き補償画素間のひずみにしたがって、一組の重み付け係数が選択されて、カレントブロックを符号化、または、復号する。しかし、従来の双方向予測において、重み付け係数[0.5, 0.5] が常に用いられる。
別の実施形態において、異なる補間フィルターのように、二予測の異なる重み付け係数も、双方向予測で用いられる。
さらに別の実施形態において、異なるインター予測方法が結合されて、別のインター予測方法を生成する。たとえば、特定組の重み付け係数と特定の補間フィルターのユニークな組み合わせがインター予測方法となるように、異なる組の重み付け係数は可変補間フィルターと組み合わされる。サポートされる一組の重み付け係数とサポートされる補間フィルターからのインター予測プロセスの選択は、カレントブロックの隣接再構築画素、および/または、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素に基づく。
さらに別の実施形態において、隣接再構築画素と外部動き補償画素間のひずみは、絶対差の合計、二乗誤差の合計などとして測定される。
さらに別の実施形態において、適応重み付け係数を有する双方向予測において、一組の候補重み付け係数の効率のよいひずみ計算が開示される。また、隣接再構築画素に、追加動き補償を行う必要がある。Xは、隣接再構築画素の再構築値を示す:
1) 動き補償を実行するとともに、二個の対応する動きベクトルに関連する隣接再構築画素の予測P0とP1を得る。
2) Q = (P0+P1)<<2
3) R = P0-P1
4) 重み付け係数 [0.5, 0.5]のひずみは、D0 = (X<<3) - Qとして計算される。
5) 重み付け係数 [0.625, 0.375]のひずみは、D1 = D0 - Rとして計算される。
6) 重み付け係数 [0.375, 0.625]のひずみは、D2 = D0 + Rとして計算される。
7) 重み付け係数 [0.75, 0.25]のひずみは、D3 = D1 - Rとして計算される。
8) 重み付け係数 [0.25, 0.75] のひずみは、D4 = D2 + Rとして計算される。
上述の説明の表現は、簡単な表記法P0、P1、QとRを用い、隣接再構築画素中の画素位置のインデックスが減少する。ひずみD0からD4が、隣接再構築画素中の個々の画素のひずみの合計として計算される。上述のように、工程1で、たったひとつの動き補償が、各隣接する再構築画素に実行され、その後、全組の候補重み付け係数のひずみは、以下のステップで生成される。とくに、二予測の合計に関連する可変Qが、工程2で計算される。さらに、二予測の差異に関連する可変Rが工程3で計算される。各種組の重み付け係数に関連するひずみは、別の組の重み付け係数のQ、R、および/または、前に計算されたひずみに基づいて、効率よく計算される。
別の実施形態において、異なる適応インター予測プロセス間のサポートされる適応インター予測プロセスの選択は、配列レベル、ピクチャレベル、または、スライスレベルでシグナリングされる。サポートされる適応インター予測プロセスの選択は、スライスタイプ、予測モード、または、動き情報に基づく。さらに、適応インター予測を有効にするかどうかが、配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルでシグナリングされる。
さらに別の実施形態において、適応重み付け係数を有する双方向予測の選択は、配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルで、デコーダに明示的にシグナリングされる。
図5は、本発明の一実施形態による適応インター予測を用いたビデオ符号化システムのフローチャートである。エンコーダ側で、入力データは、符号化される画素データに対応する。デコーダ側で、入力データは、カレントブロックを含む符号化データ、および、その他の関連するデータに関連する。この方法によると、工程510において、カレントピクチャのカレントブロックに関連する入力データを受信する。工程520において、選択されたインター予測プロセスを決定し、選択されたインター予測プロセスは、カレントブロックの隣接再構築画素を含む第一画素データに基づいて、複数のインター予測フィルターから、インター予測フィルターを、カレントブロックに選択する。工程530において、選択されたインター予測プロセスを用いて、カレントブロックを符号化、または、復号する。
示されるフローチャートは、本発明によるビデオ符号化の例を説明することを目的としている。当業者は、各工程を修正、複数の工程を再設定、工程を分割することができ、あるいは、本発明の精神を逸脱しない範囲で、工程を組み合わせて、本発明を実施することができる。この開示において、特定の構文解析、および、意味論が用いられて、例を説明し、本発明の実施形態を実施している。当業者は、本発明の精神を逸脱しない条件下で、構文解析と意味論を、同等の構文解析と意味論で代替することにより、本発明を実施することができる。
上の記述が提供されて、当業者は、特定のアプリケーション、および、その要求の状況中に提供されるように本発明を実施することができる。記述される当業者なら、実施形態の各種修正を理解することができ、且つ、ここで定義される一般原則はその他の実施形態に用いられる。よって、本発明は、示される特定の実施形態に制限することを目的としていないが、ここで開示される原理と新規特徴と一致する広い範囲が与えられる。上述の詳細な記述において、各種特定の詳細が説明されて、本発明の完全な理解を提供する。それでもなお、理解できることは、当業者なら、本発明が実施できることである。
上記の本発明の実施形態は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実施される。たとえば、本発明の一実施形態は、ビデオ圧縮チップに整合される一つ以上の回路、または、ビデオ圧縮ソフトウェアに整合されて、ここで記述される処理を実行するプログラムコードである。本発明の一実施形態は、さらに、デジタルシグナルプロセッサ (DSP)で実行され、ここで開示される処理を実行するプログラムコードである。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ (FPGA)により実行される多数の機能を含む。これらのプロセッサが設置されて、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明にしたがって、特定のタスクを実行する。ソフトウェアコード、または、ファームウェアコードは、異なるプログミング言語、および、異なるフォーマット、または、スタイルで発展している。ソフトウェアコードは、さらに、異なるターゲットプラットフォームにコンパイルされる。しかし、ソフトウェアコードの異なるコードフォーマット、スタイル、および、言語、および、コードを設定して、本発明にしたがってタスクを実行するその他の手段は、本発明の精神と範囲を逸脱しない。
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の思想を脱しない範囲内で各種の変形を加えることができる。

Claims (24)

  1. ビデオ符号化のインター予測の方法であって、前記方法は、
    カレントピクチャ中、カレントブロックに関連する入力データを受信する工程と、
    選択されたインター予測プロセスを決定し、前記カレントブロックの隣接再構築画素を有する第一画素データに基づいて、前記選択されたインター予測プロセスは、複数のインター予測フィルターから、インター予測フィルターを前記カレントブロックに選択する工程と、
    前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化、または、復号する工程と、
    を有することを特徴とする方法。
  2. 前記第一画素データは、さらに、前記カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素を有することを特徴とする請求項1に記載の方法。
  3. 前記カレントブロックの前記隣接再構築画素と前記動き補償参照ブロック周辺の前記外部動き補償画素間のひずみが用いられて、インター予測フィルターを決定することを特徴とする請求項2に記載の方法。
  4. 前記ひずみは、前記カレントブロックの前記隣接再構築画素と前記動き補償参照ブロック周辺の前記外部動き補償画素間の絶対差の合計を用いて計算されることを特徴とする請求項3に記載の方法。
  5. 前記ひずみは、前記カレントブロックの前記隣接再構築画素と前記動き補償参照ブロック周辺の前記外部動き補償画素間の自乗差の合計を用いて計算されることを特徴とする請求項3に記載の方法。
  6. 前記第一画素データは、前記カレントブロックの動き情報と前記隣接再構築画素の動き情報に基づいて選択されることを特徴とする請求項1に記載の方法。
  7. 前記カレントブロックの前記隣接再構築画素は、前記カレントブロックの上部境界上方の隣接画素の一つ以上のロウを有することを特徴とする請求項1に記載の方法。
  8. 前記カレントブロックの前記隣接再構築画素は、前記カレントブロックの左境界の左に隣接する画素の一つ以上のカラムを有することを特徴とする請求項1に記載の方法。
  9. 前記カレントブロックの前記隣接再構築画素は、サブサンプリングを用いて選択されることを特徴とする請求項1に記載の方法。
  10. 前記複数のインター予測フィルターは、異なる数量のフィルタータップ、異なるフィルター係数、または、両方を有することを特徴とする請求項1に記載の方法。
  11. 前記選択されたインター予測プロセスは、複数のインター予測フィルターをサポートするインター予測プロセス、双方向予測の複数組の重み付け係数をサポートするインター予測プロセス、または、複数のインター予測フィルターと複数組の重み付け係数両方をサポートするインター予測プロセスを含む一群のインター予測プロセス間の選択により決定されることを特徴とする請求項1に記載の方法。
  12. 前記一群のインター予測プロセスに関連する情報は、ビデオビットストリームの配列レベル、ピクチャレベル、または、スライスレベルでシグナリングされることを特徴とする請求項11に記載の方法。
  13. 前記一群のインター予測プロセスは、スライスタイプ、予測モード、または、 動き情報にしたがって決定されることを特徴とする請求項11に記載の方法。
  14. 前記選択されたインター予測プロセスの情報は、明示的に、エンコーダからデコーダにシグナリングされることを特徴とする請求項11に記載の方法。
  15. 選択されたインター予測プロセスを用いて有効にするか、無効にするかは、ビデオビットストリームの配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルでシグナリングされることを特徴とする請求項1に記載の方法。
  16. ビデオ符号化のインター予測の方法であって、前記方法は、
    カレントピクチャで、カレントブロックに関連する入力データを受信する工程と、
    選択されたインター予測プロセスを決定し、前記選択されたインター予測プロセスは、複数組の重み付け係数から、一組の重み付け係数を、双方向の前記カレントブロックに選択する工程、および、
    前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化、または、復号する工程、
    を有することを特徴とする方法。
  17. 複数組の重み付け係数は、 [0.5, 0.5], [0.25, 0.75], [0.75, 0.25], [0.375, 0.625]および [0.625, 0.375]を有することを特徴とする請求項16に記載の方法。
  18. 前記カレントブロックの隣接再構築画素と前記カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、前記組の重み付け係数を決定し、第一動き情報に関連する第一予測、および、第二動き情報に関する第二予測は、前記カレントブロックの前記隣接再構築画素の各画素にただ一度だけ生成され、前記第一予測と前記第二予測に関連する合計と差が、前記カレントブロックの前記隣接再構築画素の各画素に決定されることを特徴とする請求項17に記載の方法。
  19. 前記複数の重み付け係数[0.5, 0.5], [0.625, 0.375], [0.375, 0.625], [0. 75, 0.25]および [0.25, 0. 75] に関連する前記ひずみは、それぞれ、D0 = (X<<3) - Q, D1 = D0 - R, D2 = D0 + R, D3 = D1 - Rおよび D4 = D2 + R として計算され、Xは、前記カレントブロックの前記隣接再構築画素の再構築値を示すことを特徴とする請求項18に記載の方法。
  20. 前記選択されたインター予測プロセスは、前記カレントブロックの隣接再構築画素を含む第一画素データに基づいて決定されることを特徴とする請求項16に記載の方法。
  21. 前記選択されたインター予測プロセスは、前記カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素を有する第一画素データに基づいて決定されることを特徴とする請求項16に記載の方法。
  22. 前記組の重み付け係数の選択は、配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルで、デコーダに明示的にシグナリングされることを特徴とする請求項16に記載の方法。
  23. ビデオ符号化におけるインター予測の装置であって、前記装置は、一つ以上の電子回路、または、プロセッサを有し、
    カレントピクチャで、カレントブロックに関連する入力データを受信し、
    選択されたインター予測プロセスを決定し、前記カレントブロックの隣接再構築画素を含む第一画素データに基づいて、前記選択されたインター予測プロセスは、複数のインター予測フィルターから、インター予測フィルターを前記カレントブロックに選択し、
    前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化、または、復号する、
    ことを特徴とする装置。
  24. ビデオ符号化におけるインター予測の装置であって、前記装置は、一つ以上の電子回路、または、プロセッサを有し、
    カレントピクチャで、カレントブロックに関連する入力データを受信し、
    選択されたインター予測プロセスを決定し、前記選択されたインター予測プロセスは、複数組の重み付け係数から、一組の重み付け係数を、双方向の前記カレントブロックに選択し、
    前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化、または、復号する、
    ことを特徴とする装置。
JP2018512175A 2015-09-06 2016-09-05 ビデオ符号化における適応インター予測の方法と装置 Active JP6634151B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2015/088952 2015-09-06
PCT/CN2015/088952 WO2017035831A1 (en) 2015-09-06 2015-09-06 Adaptive inter prediction
PCT/CN2016/097996 WO2017036417A1 (en) 2015-09-06 2016-09-05 Method and apparatus of adaptive inter prediction in video coding

Publications (3)

Publication Number Publication Date
JP2018530221A true JP2018530221A (ja) 2018-10-11
JP2018530221A5 JP2018530221A5 (ja) 2019-09-12
JP6634151B2 JP6634151B2 (ja) 2020-01-22

Family

ID=58186479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018512175A Active JP6634151B2 (ja) 2015-09-06 2016-09-05 ビデオ符号化における適応インター予測の方法と装置

Country Status (8)

Country Link
US (1) US10979707B2 (ja)
EP (1) EP3338448B1 (ja)
JP (1) JP6634151B2 (ja)
CN (2) CN108028931B (ja)
ES (1) ES2962642T3 (ja)
MX (1) MX2018002725A (ja)
MY (1) MY184006A (ja)
WO (2) WO2017035831A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805631B2 (en) * 2016-09-23 2020-10-13 Lg Electronics Inc. Method and apparatus for performing prediction using template-based weight
US10880570B2 (en) 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
CN116193109A (zh) * 2017-01-16 2023-05-30 世宗大学校产学协力团 影像编码/解码方法
EP3692716A1 (en) * 2017-10-05 2020-08-12 InterDigital VC Holdings, Inc. Method and apparatus for adaptive illumination compensation in video encoding and decoding
US20190110052A1 (en) * 2017-10-06 2019-04-11 Futurewei Technologies, Inc. Bidirectional intra prediction
CN110121073B (zh) * 2018-02-06 2021-07-09 浙江大学 一种双向帧间预测方法及装置
CN110324623B (zh) * 2018-03-30 2021-09-07 华为技术有限公司 一种双向帧间预测方法及装置
JP7293263B2 (ja) * 2018-06-29 2023-06-19 ホアウェイ・テクノロジーズ・カンパニー・リミテッド イントラ予測のためのデバイスおよび方法
CN110868601B (zh) * 2018-08-28 2024-03-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN111436230A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 仿射预测的带宽控制方法
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
WO2020111982A1 (en) * 2018-11-26 2020-06-04 Huawei Technologies Co., Ltd. Method of intra predicting a block of a picture
PT3881549T (pt) * 2018-12-21 2024-05-20 Huawei Tech Co Ltd Método e aparelho de restrições ao nível do bloco dependente do modo e do tamanho
CN111510726B (zh) * 2019-01-30 2023-01-24 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
CN113452998B (zh) * 2020-03-25 2022-05-31 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007377A (ja) * 2002-04-18 2004-01-08 Toshiba Corp 動画像符号化/復号化方法及び装置
JP2005533467A (ja) * 2002-07-15 2005-11-04 トムソン ライセンシング ビデオ復号化における参照ピクチャの適応重み付け

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US8406301B2 (en) * 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7515637B2 (en) * 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
KR101536794B1 (ko) * 2007-12-20 2015-07-14 퀄컴 인코포레이티드 후광현상이 줄어든 영상보간 장치 및 방법
EP2106136A1 (en) * 2008-03-28 2009-09-30 Sony Corporation Motion compensated temporal interpolation for frame rate conversion of video signals
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Nttドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
WO2010049917A2 (en) * 2008-10-31 2010-05-06 France Telecom Image prediction method and system
CN101631242A (zh) * 2009-07-30 2010-01-20 上海交通大学 视频加权预测系统及其编码解码方法
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
EP2627086A1 (en) 2012-02-10 2013-08-14 Thomson Licensing Method and device for encoding a block of an image and corresponding reconstructing method and device
CN103747269B (zh) * 2013-09-30 2017-09-19 北京大学深圳研究生院 一种滤波器插值方法及滤波器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007377A (ja) * 2002-04-18 2004-01-08 Toshiba Corp 動画像符号化/復号化方法及び装置
JP2005533467A (ja) * 2002-07-15 2005-11-04 トムソン ライセンシング ビデオ復号化における参照ピクチャの適応重み付け

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AKIRA FUJIBAYASHI ET AL.: "TE12: Performance of Partition Based Illumination Compensation (PBIC)", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-C041, JPN6019016855, October 2010 (2010-10-01), pages 1 - 12, ISSN: 0004170553 *
BYEONGMOON JEON ET AL.: "Description of video coding technology proposal by LG Electronics", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-A110_r1, JPN6019016849, April 2010 (2010-04-01), pages 1 - 6, ISSN: 0004170552 *
C. W. SEO, J. K. HAN AND J.LIM: "Pixel Based Illumination Compensation", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-F417, JPN6019016844, July 2011 (2011-07-01), pages 1 - 8, ISSN: 0004030747 *
PENG YIN ET AL.: "Localized Weighted Prediction for Video Coding", IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS 2005), vol. 5, JPN6014017862, May 2005 (2005-05-01), pages 4365 - 4368, XP010816640, ISSN: 0004170551, DOI: 10.1109/ISCAS.2005.1465598 *

Also Published As

Publication number Publication date
WO2017036417A1 (en) 2017-03-09
EP3338448A4 (en) 2019-01-30
BR112018004469A2 (pt) 2018-09-25
US10979707B2 (en) 2021-04-13
CN108028931A (zh) 2018-05-11
JP6634151B2 (ja) 2020-01-22
ES2962642T3 (es) 2024-03-20
BR112018004469A8 (pt) 2023-02-07
EP3338448B1 (en) 2023-08-23
CN114143538A (zh) 2022-03-04
MX2018002725A (es) 2018-04-13
EP3338448A1 (en) 2018-06-27
WO2017035831A1 (en) 2017-03-09
MY184006A (en) 2021-03-17
US20190045183A1 (en) 2019-02-07
CN108028931B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
JP6634151B2 (ja) ビデオ符号化における適応インター予測の方法と装置
US11297326B2 (en) Method and apparatus for predicting motion information of picture block, encoder, and decoder
US9866848B2 (en) Method and apparatus for line buffer reduction for video processing
US10911757B2 (en) Methods and apparatuses of processing pictures in an image or video coding system
US10701360B2 (en) Method and device for determining the value of a quantization parameter
WO2018061588A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
US10582203B2 (en) Method and apparatus for transform coefficient coding of non-square blocks
CN109996081B (zh) 图像预测方法、装置以及编解码器
KR102435500B1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
US20130188720A1 (en) Video coding using parallel motion estimation
US20120063515A1 (en) Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
JP2013543713A (ja) ビデオ符号化のための適応動きベクトル解像度信号伝達
US8565558B2 (en) Method and system for interpolating fractional video pixels
JP2021527343A (ja) 符号化ビデオビットストリーム中に含まれているデータの量を低減するためのパラメータセット中のパラメータ値情報をシグナリングすること
AU2016316317B2 (en) Method and apparatus of prediction offset derived based on neighbouring area in video coding
US11087500B2 (en) Image encoding/decoding method and apparatus
US10805611B2 (en) Method and apparatus of constrained sequence header
CN113395520A (zh) 解码预测方法、装置及计算机存储介质
US20230095946A1 (en) Block Vector Difference Signaling for Intra Block Copy
BR112018004469B1 (pt) Método de inter-predição para codificação de vídeo e aparelho para inter-predição em codificação de vídeo

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20190725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191213

R150 Certificate of patent or registration of utility model

Ref document number: 6634151

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250