JP2020522180A - 少なくとも1つの画像を表すデータストリームを符号化及び復号する方法及びデバイス - Google Patents

少なくとも1つの画像を表すデータストリームを符号化及び復号する方法及びデバイス Download PDF

Info

Publication number
JP2020522180A
JP2020522180A JP2019565805A JP2019565805A JP2020522180A JP 2020522180 A JP2020522180 A JP 2020522180A JP 2019565805 A JP2019565805 A JP 2019565805A JP 2019565805 A JP2019565805 A JP 2019565805A JP 2020522180 A JP2020522180 A JP 2020522180A
Authority
JP
Japan
Prior art keywords
block
pixel
current
prediction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019565805A
Other languages
English (en)
Other versions
JP7274427B2 (ja
Inventor
アンリ,フェリクス
アブドリ,モフセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2020522180A publication Critical patent/JP2020522180A/ja
Application granted granted Critical
Publication of JP7274427B2 publication Critical patent/JP7274427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、ブロックに分けられた少なくとも1つの画像を表す符号化済みデータを含む信号を符号化する方法及びデバイス並びに復号する方法及びデバイスに関する。この信号は、訂正ブロックと呼ばれる1つのブロックを表す情報を含む。信号内の符号化対象画像の少なくとも1つの現在のブロックについて、現在のブロックの少なくとも第1ピクセルが、この第1ピクセルについて画像内の既に復元されたブロックの少なくとも1つのピクセルから得られた予測値(E20)に基づいて符号化される。この予測は、上記訂正ブロックのピクセルの少なくとも1つの値を用いて訂正されたものである(E21)。また、現在のブロックの少なくとも1つの現在のピクセルが、この現在のピクセルについて現在のブロック内の少なくとも1つの既に訂正されたピクセルから得られた予測値(E20)に基づいて符号化される。この予測は、上記訂正ブロックのピクセルの少なくとも1つの値を用いて訂正されたものである(E21)。これにより、現在のブロックの予測ブロックが提供される。この信号は、現在のブロック及び予測ブロックから計算される残差ブロックを表す少なくとも1つの情報Resqbをも含む。【選択図】図2

Description

本発明の分野は、画像又は画像シーケンス、特にビデオストリームの符号化及び復号である。
より具体的には、本発明は画像のブロック単位表現を用いて、画像又は画像シーケンスを圧縮することに関する。
本発明は、現在又は将来の符号化器において(JPEG、MPEG、H.264、HEVC及び他の規格、並びにそれらの改訂版の下で)行われる画像又はビデオの符号化及びそれに対応する復号に特に適用することができる。
デジタル画像及び画像シーケンスは、大量のメモリ空間を占有する。これにより、これらの画像を送信する際、その送信に用いられるネットワークにおける輻輳の問題を回避するために、これらの画像を圧縮することが必要となる。実際、ネットワーク上で利用できるビットレートは一般に限りがある。
既に数多くのビデオデータ圧縮技法が知られている。これらの技法には、HEVC圧縮規格(非特許文献1)が含まれる。この規格は、現在の画像のピクセルの、同じ画像に属する別のピクセルに応じた予測(イントラ予測)、又は先行する画像若しくは後続の画像に属する別のピクセルに応じた予測(インター予測)を行うことを提案するものである。
より具体的には、イントラ予測は、画像内の空間的冗長性を利用する。このために、画像はピクセルのブロックに分けられる。そして、ピクセルのブロックは、現在の画像においてそれまでに符号化又は復号されているブロックに対応する既に再構築された情報を用いて、画像内のブロックのスキャン順序に従い、予測される。
従来、現在のブロックの符号化は、予測ブロックと呼ばれる、現在のブロックの予測と、現在のブロックと予測ブロックとの差に対応する予測残差すなわち「残差ブロック」とを用いて行われる。得られた残差ブロックは、その後、例えば、DCT(離散コサイン変換)タイプの変換により変換される。変換後の残差ブロックの係数は、その後、量子化され、エントロピー符号化によって符号化され、復号器に送信される。復号器は、この残差ブロックを予測ブロックに加えることによって現在の画像を再構築することができる。
復号は画像単位で行われ、各画像につきブロック単位で行われる。ブロックごとに、ストリームの対応する要素が読み出される。残差ブロックの係数の逆量子化及び逆変換が行われる。その後、ブロックの予測が計算されて予測ブロックが得られ、復号された残差ブロックに予測(すなわち、予測ブロック)を加えることにより、現在のブロックが再構築される。
従来、現在のブロックのイントラ予測は、画像においてそれまでに再構築されたブロック内の参照ピクセルを用いて行われる。そのような状況を図1に示す。同図において、現在のブロックXのピクセル(X(i,j)i=0,1,2,3 and j=0,1,2,3)の予測に用いられる参照ピクセルは、一般に、現在のブロックの真上のラインに位置するピクセル(T(−1,i)i=−1,0,1,2,3によって示されるピクセル)と、現在のブロックの左側の列に位置するピクセル(T(i,−1)i=−1,0,1,2,3によって示されるピクセル)とに対応する。
例えば、HEVC規格は、このような参照ピクセルを用いた35個のイントラ予測モードを定めている。これらの予測モードにおいては、現在のブロックの予測ブロックの構築に際しこれらの参照ピクセルを用いる方法が異なっている。
このようなイントラ予測によれば、予測ブロックの第1行及び第1列に位置するピクセルは、参照ピクセルに直に隣接しているため、非常に良好に予測されることが分かる。実際、ピクセルが空間的に互いに接近しているほど、それらのピクセルが含む情報の相関の程度は大きくなる。
これに対し、予測ブロック内の右下に位置するピクセル、すなわち、参照ピクセルから離れたピクセル、例えば、図1に示すピクセルX(3,3)は、正確に予測されない。このようなピクセルは、その後、高エネルギーの予測残差をもたらすため、それらのピクセルを符号化するには、より高いビットレートが必要となる。
Matthias Wien, "High Efficiency Video Coding, Coding Tools and Specification", Signals and Communication Technology, 2015
したがって、画像データ又はビデオデータの圧縮を改善する、現在のブロックを予測するための予測ブロックを構築する新規な手法が求められる。
本発明は、従来技術を改良したものである。本発明は、複数のブロックに分けられた少なくとも1つの画像を表す符号化済みデータストリームを復号する方法に関する。復号する方法は、画像の少なくとも1つの現在のブロック(カレントブロック)につき、以下のステップ、すなわち、
−符号化済みデータストリームから、訂正ブロックと呼ばれるブロックを表す少なくとも1つの情報と、残差ブロックとを復号するステップと、
−復号された情報から訂正ブロックを求めるステップと、
−現在のブロックから予測ブロックを求めるステップであって、
○現在のブロックの少なくとも1つの第1ピクセルについて、
・上記第1のピクセルの予測値を、画像内の既に再構築されたブロックの少なくとも1つのピクセルから得るステップと、
・第1ピクセルについて得られた予測値に、訂正ブロックのピクセルの少なくとも1つの値を加えることにより、上記第1のピクセルを訂正するステップと、
○現在のブロック内の、第1ピクセルとは異なる少なくとも1つの現在のピクセルについて、
・上記現在のピクセルの予測値を、現在のブロック内の少なくとも1つの既に訂正されたピクセルから得るステップと、
・現在のピクセルについて得られた予測値に、上記訂正ブロックのピクセルの少なくとも1つの値を加えることにより、上記現在のピクセルを訂正するステップと
を含む、予測ブロックを求めるステップと、
−予測ブロック及び復号された残差ブロックに基づいて上記現在のブロックを再構築するステップと
を含む。
これに関連して、本発明は、少なくとも1つの画像を符号化済みデータストリームの形式に符号化する方法であって、この画像は複数のブロックに分けられており、符号化する方法は、符号化対象である画像の少なくとも1つの現在のブロックについて、以下のステップ、すなわち、
−現在のブロックの予測ブロックを求めるステップであって、
○現在のブロックの少なくとも1つの第1ピクセルについて、
・上記第1ピクセルの予測値を、画像内の既に再構築されたブロックの少なくとも1つのピクセルに基づいて得るステップと、
・上記第1ピクセルについて得られた予測値に、訂正ブロックと呼ばれるブロックのピクセルの少なくとも1つの値を加えることにより、上記第1ピクセルを訂正するステップと、
○現在のブロック内の、第1ピクセルとは異なる少なくとも1つの現在のピクセルについて、
・上記現在のピクセルの予測値を、現在のブロック内の少なくとも1つの既に訂正されたピクセルから得るステップと、
・現在のピクセルについて得られた予測値に、上記訂正ブロックのピクセルの少なくとも1つの値を加えることによって、上記現在のピクセルを訂正するステップと
を含む、予測ブロックを求めるステップと、
−上記訂正ブロックを表す少なくとも1つの情報をデータストリーム内に符号化するステップと、
−上記現在のブロック及び上記求められた予測ブロックから残差ブロックを計算するステップと、
−上記残差ブロックをデータストリーム内に符号化するステップと
を含む方法に関する。
したがって、本発明によれば、現在のブロック内の現在のピクセルの予測が向上する。したがって、さらに言えば、既に訂正された現在のブロック内のピクセルによって現在のブロック内の現在のピクセルを予測することができる。したがって、特に、現在のブロックの参照ピクセル、すなわち、現在のブロックの真上に位置しているピクセル及び現在のブロックの左に位置しているピクセルに対応する参照ピクセルから空間的に離れた現在のピクセルについて、この現在のピクセルにより近い現在のブロック内のピクセルから当該現在のピクセルを予測することができる。ピクセルの予測が改善されるため、現在のブロックと予測ブロックとの予測残差は、より小さくなり、現在のブロックの符号化コストが低減される。
本発明によれば、現在のブロックの符号化残差が、データストリームにおいて送信され、予測ブロックに加算されて、現在のブロックが再構築され、したがって、圧縮性能が向上する。
本発明の別の特定の実施形態によれば、訂正ブロックは、所定の残差データを含む。
本発明の別の特定の実施形態によれば、訂正ブロックは、所定のデータブロックの集合に属し、この訂正ブロックを表す上記少なくとも1つの情報により、集合内のブロックからこの訂正ブロックを特定することが可能となる。本発明のこの特定の実施形態によれば、残差データブロックの辞書が符号化器及び復号器にとって利用可能である。符号化又は復号される現在のブロックについて、訂正ブロックは、この辞書のブロックから選択される。例えば、現在のブロックを符号化するために最良のビットレート/歪みのトレードオフを提供する辞書のブロックが、現在のブロックの訂正ブロックとして選択される。
本発明の別の特定の実施形態によれば、現在のピクセルの予測値は、現在のピクセルの上に位置しているピクセルと、現在のピクセルの左に位置しているピクセルと、現在のピクセルの左上に位置しているピクセルとに適用される局所的予測関数に応じて、現在のブロック内の少なくとも1つの既に訂正されたピクセルから得られる。本発明のこの特定の実施形態によれば、現在のピクセルは、このピクセルの基礎となる局所的な近傍から予測される。したがって、現在のピクセルと、この現在のピクセルを予測するために用いられる参照ピクセルとの相関は、従来のイントラ予測方法を用いたものよりも高い。
本発明の別の特定の実施形態によれば、局所的予測関数を表す情報が、符号化済みデータストリーム内に符号化されるか、又は、符号化済みデータストリームから復号される。この特定の実施形態によれば、現在のブロックのピクセルを予測するために、種々の局所的予測関数を用いることができる。したがって、現在のブロックのピクセルを予測する最も効率的な局所的予測関数を選択し、復号器に伝えることが可能である。
本発明の別の特定の実施形態によれば、符号化済みデータストリームは、現在のブロックについて、この現在のブロックが、画像内の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、又は、現在のブロックが、現在のブロック内の少なくとも1つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのかを示す情報を含む。この特定の実施形態によれば、データストリームは、現在のブロックが、例えば、既存の圧縮規格において知られているような方向イントラ予測モードに従って符号化されているのか、又は、上述した特定の実施形態のうちの任意の1つの新規のイントラ予測モードに従って符号化されているのかを示す情報を含む。したがって、画像内の各ブロックについて、ビットレート、歪みの観点で最良のイントラ予測モードを選ぶことができる。
本発明は、複数のブロックに分けられた少なくとも1つの画像を表す符号化済みデータを含む信号にも関する。そのような信号は、画像内の少なくとも1つの現在のブロックについて、訂正ブロックと呼ばれるブロックを表す少なくとも1つの情報であって、現在のブロック内の少なくとも1つの第1ピクセルが、訂正ブロックのピクセルの少なくとも1つの値と、画像内の既に再構築されたブロックの少なくとも1つのピクセルから上記第1ピクセルについて得られる予測値とから符号化され、現在のブロック内の少なくとも1つの現在のピクセルが、訂正ブロックのピクセルの少なくとも1つの値と、現在のブロック内の少なくとも1つの既に訂正されたピクセルから上記現在のピクセルについて得られる予測値とから符号化され、現在のブロックの予測ブロックが得られる、少なくとも1つの情報を含む。この信号は、現在のブロック及び予測ブロックから計算された残差ブロックを表す少なくとも1つの情報をも含む。
本発明の1つの特定の実施形態によれば、この信号は、現在のブロックについて、現在のブロックが、画像内の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、又は、現在のブロックが、現在のブロックの少なくとも1つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのかを示す情報を更に含む。
また、本発明は、本明細書において上記で規定された特定の実施形態のうちのいずれか1つによる、復号方法を実施するように構成される復号デバイスに関する。この復号デバイスは、当然、本発明による復号方法に関連する複数の特徴を含むことができる。したがって、この復号デバイスの特徴及び利点は、復号方法の特徴及び利点と同じであり、更に詳細には説明しない。
本発明の1つの特定の実施形態によれば、そのような復号デバイスは端末内に設けられる。
また、本発明は、本明細書において上記で規定された特定の実施形態のうちのいずれか1つによる、符号化方法を実施するように構成される符号化デバイスに関する。この符号化デバイスは、当然、本発明による符号化方法に関連する複数の特徴を含むことができる。したがって、この符号化デバイスの特徴及び利点は、符号化方法の特徴及び利点と同じであり、更に詳細には説明しない。
本発明の1つの特定の実施形態によれば、そのような符号化デバイスは端末又はサーバに設けられる。
本発明による、復号方法及び符号化方法はそれぞれ、特に、有線の形式、又はソフトウェアの形において様々な方法で実現することができる。
本発明の1つの特定の実施形態によれば、復号方法及び符号化方法はそれぞれ、コンピュータプログラムによって実現される。また、本発明はコンピュータプログラムにも関連し、このプログラムは、このプログラムがプロセッサによって実行されるときに、本明細書において上記で説明された特定の実施形態のうちのいずれか1つによる復号の方法及び符号化の方法を実施する命令を含む。そのようなプログラムは、プログラミング言語であればどのようなものでも用いることができる。そのプログラムは、通信ネットワークからダウンロードすることができ、及び/又はコンピュータ可読媒体又は担体上に記録することができる。
このプログラムは、プログラミング言語であればどのようなものでも用いることができ、ソースコードの形態とすることもできるし、オブジェクトコードの形態とすることもできるし、部分的にコンパイルされた形態又は他の望ましいあらゆる形態等のソースコードとオブジェクトコードとの間の中間のコードの形態とすることもできる。
本発明は、コンピュータによって読み出し可能であるとともに上述したようなプログラムの命令を含む情報担体又は媒体を提供することも目的とする。上述したこの情報担体は、プログラムを記憶することが可能なエンティティ又はデバイスであればどのようなものであってもよい。例えば、この担体又は媒体は、ROM、例えばCD ROM若しくはマイクロ電子回路ROM、又は、更に磁気記録手段、例えばフロッピーディスク若しくはハードディスクドライブ等の記憶手段を含むことができる。さらに、情報媒体は、電気ケーブル若しくは光ケーブルを介して、無線によって、又は他の手段によって伝えることができる電気信号又は光信号等の伝達可能媒体に対応することができる。本発明によるプログラムは、特に、インターネットタイプのネットワークからダウンロードすることができる。
あるいは、記録媒体は、プログラムが組み込まれている集積回路とすることができ、この回路は、当該方法を実行すること又はこの実行において用いられることに適合したものである。
本発明の他の特徴及び利点は、例示的であって網羅的ではない簡単な例として与えられる幾つかの特定の実施形態の以下の説明と、添付図面とからより明らかになる。
現在のブロックのピクセルを予測する従来技術による参照ピクセルの位置を示す図である。 本発明の1つの特定の実施形態による予測ブロックを求める方法を示す図である。 本発明の1つの特定の実施形態による、現在のブロックのピクセルを予測するのに用いられる参照ピクセルの位置の例を示す図である。 本発明の1つの特定の実施形態による符号化方法のステップを示す図である。 本発明の1つの特定の実施形態による復号方法のステップを示す図である。 本発明の特定の実施形態のうちの任意の1つによる符号化方法を実施する符号化デバイスの簡略化した構造を示す図である。 本発明の特定の実施形態のうちの任意の1つによる復号方法を実施する復号デバイスの簡略化した構造を示す図である。 本発明の1つの特定の実施形態による、画像の少なくとも1つのブロックを表す符号化データを含む信号の一例を示す図である。 本発明の別の実施形態による、画像の少なくとも1つのブロックを表す符号化データを含む信号の一例を示す図である。
[1.基本的原理]
本発明の基本的原理は、ブロックの予測にこれまで用いられている参照ピクセルから離れて位置している、画像における符号化対象ブロック内のピクセルの予測を改善することを目的としている。
この目的を達成するため、これらのピクセルの予測は、残差データブロックによって既に訂正された現在のブロック自体のピクセルを用いてなされる。この残差データブロックは、予測による従来の符号化方法で知られている符号化残差ブロックとは異なる。本発明によれば、訂正ブロックとも呼ばれる残差データブロックは、現在のブロックのピクセル値を訂正するために用いられる残差データを含む。これは、現在のブロック内の次のピクセルを予測するのに役立つ。実際、現在のブロックのピクセルは、現在のブロックの後続のピクセルを予測するのに役立つものであって、かつ、それ自体、画像内の現在のブロックの既に訂正されたピクセル及び/又は画像内の既に再構築されたブロックのピクセルによって予測されたものであるが、それらについての予測残差はまだ計算されておらず、あるいは、符号化ないし復号もされていない。本発明によれば、現在のブロック内のピクセルは、まだ再構築されていない、すなわち、符号化ないし復号された予測残差によってまだ再構築されていないものの、符号化器及び復号器が利用可能な訂正ブロックによって訂正された、同じく現在のブロックに属する他のピクセルによって予測される。
本明細書において、「ピクセル値」という用語は、ピクセルについて符号化される画像の成分の値を意味するものと理解される。例えば、符号化される画像が、2つのクロミナンス成分U及びVを伴うルミナンス成分Yの形で表される場合、本予測方法は、各成分に適用することもできるし、それらの成分のうちの1つにのみ適用することもできる。本発明がYUV表現に限定されないことは明らかであり、画像の他の表現(RGB、YCbCr等)にも同様に適用することができる。
まず、本発明による現在のブロックの予測ブロックを求める実施態様を説明する。次に、本発明の1つの特定の実施形態による画像シーケンスの符号化方法及びデータストリームの復号方法、並びに、対応する符号化デバイス及び復号デバイスを説明する。これらの符号化及び復号では、画像の現在のブロックを予測する予測ブロックを上記のように求める。
[2.本発明の1つの特定の実施形態による現在のブロックを予測する予測ブロックの決定]
図2に、符号化対象画像の現在のブロックXを予測するのに役立つ予測ブロックbpredの決定を示す。
ステップE20において、図3に太線で示す現在のブロックXの各ピクセルXにつき、ピクセルXの予測値が求められる。これを行うために、局所的予測関数(あるいはローカル予測関数)H(A,B,C,)が用いられる。かかる関数H(A,B,C,)は、ピクセルA、B、Cの値からピクセルXの予測値Pを計算する。本明細書において説明される本発明の特定の実施形態によれば、ピクセルA、B、Cは、それぞれピクセルXの左に位置しているピクセル、ピクセルXの上に位置しているピクセル、及びピクセルXの左上に位置しているピクセルに対応する。
局所的予測関数H(A,B,C,)は、例えば、以下の形式を有する。
あるいは、他のタイプの局所的予測関数、例えば、H(A,B,C,)=(A+B+C)/3を用いることもできる。
局所的予測関数H(A,B,C,)は、符号化器及び復号器が知っている場合もあれば、符号化されたデータストリーム内の画像又は画像シーケンスの符号化されたデータにおいて送ることもできる。
現在のブロックXにおけるピクセルXの位置に応じて、局所的予測関数は、画像の既に再構築されたブロックに属し、及び/又は、現在のブロックXに属するピクセルA、B、Cを用いる。
例えば、図3のピクセルXの場合、予測値はピクセルA、B及びCから求められる。すなわち、もっぱら、画像の既に再構築されたブロックに属する参照ピクセル、より具体的には、現在のブロックの上、左、及び左上に位置しているブロックに属する参照ピクセルによって求められる。
図3のピクセルXの場合、予測値は、ピクセルA、B及びCから求められる。すなわち、画像の既に再構築されたブロックに属する参照ピクセルと、現在のブロックに属するピクセルとによって求められる。
図3のピクセルXの場合、予測値は、ピクセルA、B及びCから求められる。すなわち、もっぱら、現在のブロックに属するピクセルによって求められる。
一般に、図1に関する表記を用いると、現在のブロックXのピクセルX(lin,col)について、予測値G(lin,col)は、以下の式によって得られる。なお、linは、ブロックXの左上隅を基準としたピクセルXの行インデックスを表し、colは、ブロックXの左上隅を基準としたピクセルXの列インデックスを表す。
ただし、T(lin,col)は、既に再構築されたブロックに属するピクセルであり、Hは局所的予測関数であり、P(x,y)は、現在のブロックXに属するとともに以下で説明する訂正ブロックVによって既に訂正されたピクセルX(x,y)の予測値である。
ステップE20の結果、現在のピクセルX(lin,col)の予測値G(lin,col)が得られる。
ステップE21において、予測値G(lin,col)は、ピクセルX(lin,col)の訂正ブロックVの値によって訂正される。訂正ブロックVは、例えば、ピクセル値が8ビットで表される場合、−255〜+255の値を含む残差データブロックである。
本発明の1つの特定の実施形態によれば、訂正ブロックVは、所定の残差データブロックの集合すなわち辞書{Vk=0...Nに属する。ただし、Nは当該集合のブロック数である。
一例として、かかる辞書は、残差の値の全ての可能な組み合わせの部分集合を含む。この部分集合は、例えば、一群の画像から学習によって選択され、及び/又は、符号化されたデータストリームとともに送られる。
例えば、この例では、画像のピクセルは、8ビットで符号化され、訂正ブロックの各ピクセルは、それ自体が8ビットで表される予測値を負又は正に訂正できることが考えられる。訂正ブロックのそのようなピクセルは、9ビットの動的範囲を有しなければならない。したがって、例えば、8×8ピクセルのサイズの訂正ブロックの場合、可能なブロックの数は29×64個である。その場合、残差の値の全ての可能な組み合わせの中から選ばれる訂正ブロックを特定するには、大量の情報を符号化することが必要となる。加えて、最良の訂正ブロックの検索は、非常に多くの計算コストを要する。
実際には、例えば、32個〜512個の訂正ブロックを含む辞書サイズが、最適な圧縮、すなわち、削減された情報送信について高品質利得を得ることを可能にする。しかし、そのような訂正ブロックが、現在のブロックのピクセルの訂正を行うのに真に有用なブロックを表すものとなるように、辞書のブロックを適切に選ぶことが必要である。
ここに記載の例によれば、辞書{Vk=0...Nは、全ての可能な訂正ブロックを含む、すなわち、可能な残差の値の全ての組み合わせを含む訂正ブロックの膨大な集合の中の訂正ブロックの部分集合として構築される。第1の変形形態によれば、この辞書{Vk=0...Nを構築するために、Linde, Y.;Buzo, A.;Gray, R.著(1980)「An Algorithm for Vector Quantizer Design」IEEE Transactions on Communications. 28: 84. doi:10.1109/TCOM.1980.1094577に記載されているようなリンデ・ブゾー・グレイ(Linde-Buzo-Gray)アルゴリズム(すなわち、LBGアルゴリズム)を用いた従来の構築技法が用いられる。この技法は、訂正されるピクセルブロックを学習するシーケンスと、例えば、ランダムに選ばれた初期辞書とを用いる。この技法は、続いて、以下の2つのステップを反復する。
− 学習シーケンスの各ブロックについて、所定の基準、例えば、学習シーケンスの現在のブロックのピクセルの予測中に訂正ブロックを用いることによって生成される歪みの観点から、辞書の最良の訂正ブロックとされるものを求める第1のステップ。学習ブロックはクラスに分割され、各クラスは、辞書の訂正ブロックに関連した学習ブロックの集合である。
− 各クラスについて、このクラスの所定の基準を改善するような新たな訂正ブロックが求められる。このクラスに関連した辞書ブロックは、その後、この新たなブロックに置き換えられる。
当業者に知られている、量子化辞書を構築する他の方法が可能であり、例えば、Allen Gersho及びRobert M. Grayによって「Vector Quantization and Signal Compression」The Springer International Series in Engineering and Computer Science Series Volume 159 Springer USに記載の「ペアワイズ最近傍(Pairwise Nearest Neighbor)」手法等がある。
訂正ブロックVは、現在のブロックのサイズと同一のサイズを有することが好ましい。
本発明の1つの特定の実施形態では、現在のブロックの全てのピクセルに同じ訂正ブロックが用いられる。
ステップE21において、訂正ブロックV(lin,col)の値が、ピクセルX(lin,col)について得られた予測値G(lin,col)に加算され、ピクセルX(lin,col)の訂正された予測値P(lin,col)が得られる。すなわち、P(lin,col)=G(lin,col)+V(lin,col)である。
ステップE22において、現在のブロックの全てのピクセルが予測されたか否かが確認される。当てはまる場合(図2の「Y」)、各ピクセルX(lin,col)について、訂正された予測値P(lin,col)を含む訂正ブロックVに関連した予測ブロックbpredが、現在のブロックを符号化又は再構築するのに利用可能である。当てはまらない場合(図2の「N」)、処理は、現在のブロックの次のピクセルについてステップE20及びE21を繰り返すことによる次のピクセルの予測に進む。
[3.符号化方法]
図4に、本発明の1つの特定の実施形態による、符号化されたデータストリームSTRの形で符号化されることになる画像シーケンスI、I、...、INbを符号化する方法のステップを示す。この符号化方法は、例えば、図6に関して説明するような符号化デバイスによって実施される。
画像シーケンスI,I、...、INbは、符号化方法の入力として提供される。ただし、Nbは、符号化対象シーケンスの画像数である。この符号化方法は、入力として与えられた画像シーケンスを表す符号化データストリームSTRを出力する。
既知の方法では、画像シーケンスI、I、...、INbの符号化は、事前に設定され復号器に知られている符号化順序に従って画像ごとに行われる。例えば、画像は、時間順序I、I、...、INbで符号化することもできれば、他の任意の順序、例えばI、I、I、...、INbに従って符号化することもできる。
ステップE0において、画像シーケンスI、I、...、INbの符号化対象画像Iがブロック、例えば、32×32ピクセル若しくは64×64ピクセルのサイズ又はそれよりも大きなサイズのブロックに分けられる。そのようなブロックは、例えば、16×16、8×8、4×4、16×8、8×16等のサイズの正方形又は長方形のサブブロックに分けることができる。
ステップE0ではさらに、画像I(1≦j≦Nb)の符号化対象のブロック又はサブブロックXが、画像Iの所定のスキャン方向に従って選択される。
ここでは、ブロックXは、イントラ符号化モードに従って符号化されるものと仮定する。ブロックXは、利用可能なイントラ符号化モードの中で従来のイントラ符号化モードによって、例えば、G.-J. Sullivan、J.-R. Ohm、W.-J. Han、T. Wiegand著「Overview of the High Efficiency Video Coding (HEVC) Standard」IEEE Transactions on Circuits and Systems for Video Technology, December 2012に記載のHEVC規格に定められたイントラ符号化モードに従って、又は、図2及び図3に関して上記で説明したような予測を用いたイントラ符号化によって符号化することができるものと仮定する。ここで説明する符号化方法は、もちろん、現在のブロックXを符号化するのに利用可能な他のイントラ予測モードにも適用でき、もっぱらHEVC規格に記載のイントラ符号化モードに限定されるわけではない。
ここで説明する特定の実施形態によれば、ブロックXの最良のイントラ符号化モードは、各イントラ符号化モードに関連したビットレート、歪みコストによって選択される。
ステップE10において、ブロックXを符号化する最良の従来のイントラモードが決定される。従来のイントラ予測は、既に再構築されたピクセルT(lin,col)によって、現在のブロックのピクセルX(lin,col)の集合を予測することにある。ただし、linは、図1に示したように、ブロックXの左上隅を基準としたピクセルの行の画像内のインデックスを表し、colは、ブロックXの左上隅を基準としたピクセルの列の画像内のインデックスを表す。既に再構築されたピクセルT(lin,col)は、関数集合{F}から選ばれた補間関数によって補間される。ここで、mの値は0〜M−1の範囲にあり、Mは各ピクセルX(lin,col)のイントラモードの数である。予測される値P(lin,col)は、P(lin,col)=F(T,lin,col)によって与えられる。mはイントラ予測モードのインデックスである。
したがって、HEVC規格によれば、モードM=1は、各予測されたピクセルP(lin,col)に、既に再構築されたピクセルT(lin,col)の平均値を割り当てることにある。m>1のインデックスを有するモードは、既に再構築されたピクセルT(lin,col)からの33個の異なる方向における方向補間である。
ステップE10にて、従来のイントラ予測モードm(m=0〜M−1)の中で最良の可能な予測が決定される。
これを行うために、0〜M−1の範囲にある各予測モードmについて、以下のサブステップが行われる。
− サブステップE101にて、対応する予測関数を現在のブロックXの各ピクセルに適用することにより、予測ブロックPすなわちP(lin,col)=F(T,lin,col)が構築される。
− サブステップE102にて、現在のブロックXの各ピクセルについて、モードmの現在のブロックXの予測残差Resが、Res(lin,col)=X(lin,col)−P(lin,col)により計算される。
− 従来と同様、サブステップE103にて、予測残差が、例えば、DCT変換によって変換され、量子化され、量子化された係数Res が得られ、イントラ予測モードmに関連した符号化コストRが、量子化された係数Res と、イントラ予測モードmを伝送するコストとから推定される。
− サブステップE104にて、予測残差Resrec が、量子化された係数Res の逆量子化及び逆変換により再構築される。
− サブステップE105にて、現在のブロックXrec が、Xrec =Resrec +Pにより再構築される。
− サブステップE106にて、現在のブロックXと、イントラ予測モードmに関連した再構築された現在のブロックXrec との間の歪みDが、D=Dist(X,Xrec )によって計算される。イントラ予測モードmに関連したビットレート、歪みコストが、J=R+λ×Dによって計算される。ただし、Distは、誤差関数、例えば二次誤差関数を表す。
サブステップE107にて、0〜M−1の予測モードmに関連した全てのビットレート、歪みコストJの中で最小のビットレート/歪みコストJを与える予測モジュールnが、最良の従来のイントラ予測モードとして選択される。予測モードnと、残差Res に関連した符号化された情報と、再構築された現在のブロックXrec とは、その後の処理のために記憶される。
ステップE11において、図2及び図3に関して説明したようなイントラ予測モードを符号化するコストが、最良の従来のイントラ予測モードとその後に比較するために求められる。より明瞭にするために、図2及び図3に関して説明したようなイントラ予測モードを、「訂正済み予測を用いるモード」と呼ぶ。
ステップE11にて、訂正済み予測モードによるビットレート、歪みコストが最小の、現在のブロックXの符号化を提供する訂正ブロックVが求められる。これを行うために、kが0〜N−1の範囲を有する訂正ブロックの集合の各訂正ブロックVについて、以下のサブステップが行われる。
− サブステップE111にて、訂正ブロックVに関連した予測ブロックPが、図2に関して説明したステップ20〜22を実施することによって構築される。
− サブステップE112にて、訂正ブロックVの現在のブロックXの予測残差Resが、現在のブロックXの各ピクセルについて、Res(lin,col)=X(lin,col)−P(lin,col)により計算される。
− サブステップE113にて、予測残差が、例えばDCT変換によって変換され、量子化されて、量子化された係数Res が得られ、訂正ブロックVに関連した符号化コストRが、量子化された係数と、訂正ブロックVを伝送するコストとから推定される。例えば、訂正ブロックVは、訂正ブロックの集合中の訂正ブロックVのインデックスを符号化することによって復号器に伝送される。
− サブステップE114にて、予測残差Resrec が、量子化された係数Res の逆量子化及び逆変換により再構築される。
− サブステップE115にて、現在のブロックXrecが、Xrec =Resrec +Pにより再構築される。
− サブステップE116にて、現在のブロックXと、訂正ブロックVに関連した再構築された現在のブロックXrec との間の歪みDが、D=Dist(X,Xrec )により計算され、訂正ブロックVに関連したビットレート、歪みコストが、J=R+λ×Dにより計算される。ただし、Distは、誤差関数、例えば二次誤差関数である。
サブステップE117にて、kが0〜N−1の範囲の値である訂正ブロックVに関連した最小のビットレート、歪みコストJを提供する訂正ブロックVが、最良の訂正ブロックとして選択される。訂正ブロックVのインデックス及び予測残差Resに関連した符号化された情報は、その後の処理のために記憶される。
ステップE12にて、ステップE10及びステップE11においてそれぞれ得られた2つの予測モードのビットレート、歪みコストJ及びJが比較され、現在のブロックXが、最小のビットレート、歪みコストを提供するイントラ予測モードに従って符号化される。
ステップE12では、図8A及び図8Bに示すように、イントラ予測モードのタイプを示す情報(TY)が、データストリームSTR内で符号化される。この情報は、現在のブロックXが、従来のイントラ予測モード、すなわち、画像の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されるのか、あるいは、現在のブロックXが、訂正済み予測を用いるモード、すなわち、現在のブロックXの少なくとも1つの既に訂正されたピクセルを用いる予測モードに従って符号化されるのかを表す。
ステップE12にて、現在のブロックXを符号化する最良のイントラ予測モードが従来のイントラ予測モードnであると判断された場合、ステップE13において、予測モードnが、符号化されたデータストリームSTR内に符号化され、この予測モードnについて得られた量子化された係数Res が、エントロピー符号化モジュール、例えば、D. Marpe、H. Schwarz、T. Wiegand著「Context-based adaptive binary arithmetic coding in the H.264/AVC video compression standard」IEEE Transactions on Circuits and Systems for Video Technology (Volume:13, Issue: 7 ), pages 620 - 636, July 2003に記載のCABAC符号化器によって、符号化されたデータストリームSTR内に符号化される。
ステップE12にて、現在のブロックXを符号化する最良のイントラ予測モードが、訂正ブロックVを用いる、訂正済み予測を用いるモードであると判断された場合、ステップE13では、訂正ブロックVを表す情報、例えば、訂正ブロックの辞書における訂正ブロックVのインデックス「b」が、符号化されたデータストリームSTR内に符号化される。このインデックスは、例えば、固定長又は可変長を有する符号によって符号化される。次に、ステップE113にて訂正ブロックVについて得られた量子化された係数Res が、エントロピー符号化モジュール、例えば、CABAC符号化器によって、符号化されたデータストリームSTR内に符号化される。訂正済み予測を用いるモードに従った現在のブロックXの符号化から得られる信号の1つの例を図8Aに示す。
本発明の1つの特定の実施形態によれば、図8Bに示すように、訂正済み予測を用いるモードで用いられる局所的予測関数H(A,B,C,)を表す情報が、符号化データストリームSTR内に符号化される。本発明のこの特定の実施形態によれば、そのような情報は、画像レベルにおいて符号化することができる。したがって、画像の全てのブロックが、訂正済み予測を用いるモードに従って符号化される場合、それらのブロックには、同じ局所的予測関数が用いられる。あるいは、そのような情報は、ブロックレベルにおいて符号化することもでき、したがって、局所的予測関数を各ブロックに合わせたものとすることができ、最良のビットレート、歪みコストを提供する局所的予測関数を選択することができる。
ステップE14において、符号化対象画像Iの全てのブロックが符号化されていることを確認する。確認されなかった場合(N)、符号化方法は、符号化対象画像の所定のスキャンに従って次のブロックの選択に進むことにより、ステップE10に戻る。
画像の全てのブロックが処理されると、ステップE15において、画像の再構築されたブロックXrecから画像I recが再構成され、画像のシーケンスの後続の画像の符号化時に参照として後に使用されることになる参照画像のリスト内に保存される。符号化方法は、その後、ステップE0に戻り、符号化順序に従って画像シーケンス内の後続の画像を処理する。
[4.復号方法]
図5に、本発明の1つの特定の実施形態による、復号対象画像I、I、...、INbのシーケンスを表す符号化データストリームSTRの復号方法のステップを示す。
例えば、データストリームSTRは、図4を参照しながら述べた符号化方法により生成されている。データストリームSTRは、図7を参照しながら説明する復号デバイスDECの入力として与えられる。
復号方法は、画像ごとにストリームの復号を行い、各画像は、ブロックごとに復号される。
再構築対象画像のブロックXにつき、ステップE50において、ブロックXに対応するデータストリームSTRのデータが、エントロピー復号モジュールによって復号されて、現在のブロックXの符号化モードに関するシンタックス要素が提供され、また、現在のブロックXの予測残差Res の係数が提供される。
本発明の1つの特定の実施形態によれば、復号されたシンタックス要素は、特に、現在のブロックXが、従来のイントラ予測モード、すなわち、画像の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、あるいは、現在のブロックXが、訂正済み予測モード、すなわち、現在のブロックXの少なくとも1つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのかを表す情報(TY)を含む。
ここで、現在のブロックXは、訂正済み予測を用いるモードに従って符号化されているものとする。
ステップE50にて復号されたシンタックス要素は、復号器DECにおいて利用可能である訂正ブロックの辞書に属する訂正ブロックVを表す情報「b」も含む。
ステップE501において、復号された情報「b」から訂正ブロックVが決定される。訂正ブロックVは、復号器DECにおいて利用可能な辞書の訂正ブロックの中で特定される。例えば、そのような訂正ブロックは、復号器DECのメモリに記憶されている。
ステップE51では、ブロックXの予測残差の係数が、逆量子化され、次に、逆変換されて、復号された予測残差Res recが与えられる。
ステップE52では、訂正ブロックVに関連した予測ブロックPが、図2に関して説明したステップ20〜22を実施することによって構築される。
本発明の1つの特定の実施形態によれば、ステップE50にて復号された復号シンタックス要素は、訂正済み予測を用いるモードで用いられる局所的予測関数H(A,B,C,)を表す情報も含む。この情報は、画像シンタックス要素のレベルにおいて復号することもできるし、現在のブロックXについて復号することもできる。局所的予測関数H(A,B,C,)を表すこの情報は、符号化器及び復号器に知られている予測関数のリストの中からの関数のインデックスとすることができる。本発明のこの特定の実施形態によれば、符号化データストリームSTRの復号された局所的予測関数H(A,B,C,)は、ステップE52にて、図2に関して説明した予測ブロックを求める方法によって用いられる。
ステップE53では、訂正ブロックVに関連した予測ブロックPに、符号化データストリームSTRから復号された現在のブロックXに関連した予測残差Res recを加算することにより、現在のブロックXrecが再構築される。
ステップE54では、復号対象画像の全てのブロックが復号及び再構築されたことが確認される。確認されなかった場合(N)、復号方法は、ステップE50から再開し、復号対象画像の所定のスキャンに従って次のブロックの選択を行う。
画像内の全てのブロックが処理されると(Y)、ステップE55では、画像I recが、再構築されたブロックXrecから再構築され、画像シーケンスにおける後続の画像の復号時に参照としてその後に用いられる参照画像のリストに保存される。
上記で説明した符号化方法及び復号方法は、H.266規格、HEVC/H.265規格、AVC/H.264規格を用いるデバイス等の標準的なビデオ符号化器・復号器に組み込むこともできるし、任意のタイプの独自開発のビデオ符号化器・復号器に組み込むこともできる。本発明による符号化方法及び復号方法は、ブロック単位の予測符号化を用いる全てのタイプの固定画像符号化器・復号器、及び、より一般的には信号符号化器・復号器にも適用される。
空間ブロック単位符号化(画像のイントラ符号化)の場合における符号化方法及び復号方法を上記において説明してきた。これらの方法は、他のタイプの符号化モード、例えば、幾つかのブロックのみを空間予測によって符号化することができるインター符号化モードに従って符号化される画像の場合に容易に適用される。
[5.符号化デバイス]
図6に、本発明の特定の実施形態のうちのいずれか1つによる、符号化方法を実施する符号化デバイスCODの簡略化した構造を示す。
本発明の1つの特定の実施形態によれば、符号化方法のステップは、コンピュータプログラム命令によって実施される。これを行うために、符号化デバイスCODは、コンピュータの従来のアーキテクチャを有し、特に、メモリMEMと、例えば、プロセッサPROCを備えており、メモリMEMに記憶されるコンピュータプログラムPGによって管理される処理ユニットUTとを備える。コンピュータプログラムPGは、当該プログラムがプロセッサPROCによって実行されると、本明細書において上記で説明されたような符号化方法のステップを実施する命令を含む。
まず、コンピュータプログラムPGのコード命令が、例えば、メモリRAMの中にロードされ、その後、プロセッサPROCによって実行される。処理ユニットUTのプロセッサPROCは特に、コンピュータプログラムPGの命令に従って本明細書において上記で説明された符号化方法のステップを実施する。
本発明の別の特定の実施形態によれば、符号化方法は機能モジュールによって実施される。これを行うために、符号化デバイスCODは、
− 符号化対象画像の現在のブロックの予測ブロックを求める予測モジュールPREDであって、
○現在のブロックの少なくとも1つの第1ピクセルにつき、
・画像の既に再構築されたブロックの少なくとも1つのピクセルから上記第1ピクセルの予測値を得ることと、
・上記第1ピクセルについて得られた予測値に、訂正ブロックと呼ばれるブロックのピクセルの少なくとも1つの値を加えることにより、第1ピクセルを訂正することと、
○現在のブロックの少なくとも1つのピクセルにつき、
・現在のブロックの少なくとも1つの既に訂正されたピクセルから上記現在のブロックの予測値を得ることと、
・現在のピクセルについて得られた予測値に、上記現在のブロックのピクセルの少なくとも1つの値を加えることにより、上記現在のピクセルを訂正することと
をも行う予測モジュールPREDと、
− 上記訂正ブロックを表す少なくとも1つの情報と、上記現在のブロック及び上記求められた予測ブロックから計算された残差ブロックとを符号化データストリーム内に符号化する符号化モジュールCDと
を更に備える。
処理ユニットUTは、現在のブロック及び求められた予測ブロックから残差ブロックを計算する。
処理ユニットUTは、符号化方法のステップを実施するために、本明細書において上記で説明された複数の機能モジュール及びメモリMEMと協働する。
本明細書において上記で説明された複数の機能モジュールは、ハードウェアの形及び/又はソフトウェアの形をとることができる。ソフトウェアの形の場合、そのような機能モジュールは、プロセッサと、メモリと、コード命令がプロセッサによって実行されるときにモジュールに対応する機能を実施するプログラムコード命令とを含むことができる。ハードウェアの形の場合、そのような機能モジュールは、例えば、網羅的ではないが、マイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路及び論理ユニット配線等の任意のタイプの適合した符号化回路によって実現することができる。
[6.復号デバイス]
図7に、本発明の特定の実施形態のうちのいずれか1つによる、復号方法を実施する復号デバイスDECの簡略化した構造を示す。
本発明の1つの特定の実施形態によれば、復号デバイスDECは、コンピュータの従来のアーキテクチャを有し、特に、メモリMEM0と、例えば、プロセッサPROC0を備えており、メモリMEM0内に記憶されるコンピュータプログラムPG0によって管理される処理ユニットUT0とを備える。コンピュータプログラムPG0は、当該プログラムがプロセッサPROC0によって実行されると、本明細書において上記で説明された復号方法のステップを実施する命令を含む。
まず、コンピュータプログラムPG0のコード命令は、例えば、メモリRAMの中にロードされ、その後、プロセッサPROC0によって実行される。処理ユニットUT0のプロセッサPROC0は特に、コンピュータプログラムPG0の命令に従って、本明細書において上記で説明された復号方法のステップを実施する。
本発明の別の特定の実施形態によれば、復号方法は機能モジュールによって実現される。これを行うために、復号デバイスDECは、
− 再構築される画像の少なくとも1つの現在のブロックにつき、符号化データストリームから、訂正ブロックと呼ばれるブロックを表す少なくとも1つの情報と、残差ブロックとを復号する復号モジュールDCと、
− 復号された情報から訂正ブロックを求める決定モジュールDETと、
− 現在のブロックの予測ブロックを求める予測モジュールPRED0であって、
○現在のブロックの少なくとも1つの第1ピクセルにつき、
・画像の既に再構築されたブロックの少なくとも1つのピクセルから上記第1ピクセルの予測値を得ることと、
・上記第1ピクセルについて得られた予測値に、訂正ブロックのピクセルの少なくとも1つの値を加えることにより、第1ピクセルを訂正することと、
○第1ピクセルとは異なる、現在のブロックの少なくとも1つの現在のピクセルにつき、
・現在のブロックの少なくとも1つの既に訂正されたピクセルから上記現在のピクセルの予測値を得ることと、
○現在のピクセルについて得られた予測値に、訂正ブロックのピクセルの少なくとも1つの値を加えることにより、上記現在のピクセルを訂正することと
を行う予測モジュールPRED0と、
− 予測ブロック及び残差ブロックから上記現在のブロックを再構築する再構築モジュールRECと
を更に備える。
処理ユニットUT0は、復号方法のステップを実施するために、本明細書において上記で説明された複数の機能モジュール及びメモリMEM0と協働する。
本明細書において上記で説明された複数の機能モジュールは、ハードウェア及び/又はソフトウェアの形をとることができる。ソフトウェアの形の場合、そのような機能モジュールは、プロセッサと、メモリと、コード命令がプロセッサによって実行されるときにモジュールに対応する機能を実施するプログラムコード命令とを含むことができる。ハードウェアの形の場合、そのような機能モジュールは、例えば、網羅的ではないが、マイクロプロセッサ、デジタルシグナルプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)及び論理ユニット配線等の任意のタイプの適合した復号回路によって実現することができる。

Claims (13)

  1. 少なくとも1つの画像を表す符号化済みデータストリームを復号する方法であって、前記画像は複数のブロックに分けられており、
    現在のブロックと呼ばれる前記画像内の少なくとも1つのブロックにつき、
    前記符号化済みデータストリームから、訂正ブロックと呼ばれるブロックを表す少なくとも1つの情報と、残差ブロックとを復号するステップ(E50)と、
    復号された前記情報から前記訂正ブロックを求めるステップと、
    前記現在のブロックを予測するための予測ブロックを求めるステップ(E52)であって、
    前記現在のブロック内の少なくとも1つの第1ピクセルにつき、
    前記第1ピクセルの予測値を、前記画像において既に再構築されたブロック内の少なくとも1つのピクセルから得るステップ(E20)と、
    前記第1ピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも1つの値を加えることにより、前記第1ピクセルを訂正するステップ(E21)と、
    前記現在のブロック内の、前記第1ピクセルとは異なる少なくとも1つの現在のピクセルにつき、
    前記現在のピクセルの予測値を、前記現在のブロック内の少なくとも1つの既に訂正されたピクセルから得るステップ(E20)と、
    前記現在のピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも1つの値を加えることにより、前記現在のピクセルを訂正するステップ(E21)と
    を含むステップ(E52)と、
    前記予測ブロックと復号された前記残差ブロックとから前記現在のブロックを再構築するステップ(E53)と
    を含む方法。
  2. 少なくとも1つの画像を符号化済みデータストリームの形式に符号化する方法であって、前記画像は複数のブロックに分けられており、
    現在のブロックと呼ばれる、符号化対象である前記画像内の少なくとも1つのブロックにつき、
    前記現在のブロックを予測するための予測ブロックを求めるステップ(E111)であって、
    前記現在のブロックの少なくとも1つの第1ピクセルにつき、
    前記第1ピクセルの予測値を、前記画像内の既に再構築されたブロックの少なくとも1つのピクセルから得るステップ(E20)と、
    前記第1ピクセルについて得られた予測値に、訂正ブロックと呼ばれるブロックのピクセルの少なくとも1つの値を加えることにより、前記第1ピクセルを訂正するステップ(E21)と、
    前記現在のブロック内の、前記第1ピクセルとは異なる少なくとも1つの現在のピクセルにつき、
    前記現在のピクセルの予測値を、前記現在のブロック内の少なくとも1つの既に訂正されたピクセルから得るステップ(E20)と、
    前記現在のピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも1つの値を加えることにより、前記現在のピクセルを訂正するステップ(E21)と
    を含むステップ(E111)と、
    前記訂正ブロックを表す少なくとも1つの情報を前記データストリーム内に符号化するステップ(E13)と、
    前記現在のブロックと求められた前記予測ブロックとから残差ブロックを計算するステップと、
    前記残差ブロックを前記データストリーム内に符号化するステップと
    を含む方法。
  3. 前記訂正ブロックは所定の残差データを含むものである、請求項1又は2に記載の方法。
  4. 前記訂正ブロックは所定のデータブロックの集合に属し、
    前記訂正ブロックを表す前記少なくとも1つの情報により、前記集合内の複数のブロックから前記訂正ブロックを特定することが可能である、
    請求項1〜3のいずれか1項に記載の方法。
  5. 前記現在のピクセルの予測値は、前記現在のピクセルの上に位置するピクセルと、前記現在のピクセルの左に位置するピクセルと、前記現在のピクセルの左上に位置するピクセルとに適用される局所的予測関数に応じて、前記現在のブロック内の少なくとも1つの既に訂正されたピクセルから得られるものである、請求項1〜4のいずれか1項に記載の方法。
  6. 前記局所的予測関数を表す情報は、前記符号化済みデータストリーム内に符号化されるか、又は、前記符号化済みデータストリームから復号されるものである、請求項5に記載の方法。
  7. 前記符号化済みデータストリームは、前記現在のブロックにつき、
    当該現在のブロックが、前記画像内の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、又は、
    当該現在のブロックが、当該現在のブロック内の少なくとも1つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのかを示す情報を含む、請求項1〜6のいずれか1項に記載の方法。
  8. 少なくとも1つの画像を表す符号化済みデータストリームを復号する復号デバイス(DEC)であって、前記画像は複数のブロックに分けられており、
    現在のブロックと呼ばれる前記画像内の少なくとも1つのブロックにつき、
    前記符号化済みデータストリームから、訂正ブロックと呼ばれるブロックを表す少なくとも1つの情報と、残差ブロックとを復号する復号モジュール(DC)と、
    復号された前記情報から前記訂正ブロックを求める決定モジュール(DET)と、
    前記現在のブロックを予測するための予測ブロックを求める予測モジュール(PRED0)であって、
    前記現在のブロック内の少なくとも1つの第1ピクセルにつき、
    前記第1ピクセルの予測値を、前記画像内の既に再構築されたブロックの少なくとも1つのピクセルから得るステップと、
    前記第1ピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも1つの値を加えることにより、前記第1ピクセルを訂正するステップと、
    前記現在のブロック内の、前記第1ピクセルとは異なる少なくとも1つの現在のピクセルにつき、
    前記現在のピクセルの予測値を、前記現在のブロック内の少なくとも1つの既に訂正されたピクセルから得るステップと、
    前記現在のピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも1つの値を加えることにより、前記現在のピクセルを訂正するステップと
    を行う予測モジュールと、
    前記予測ブロックと復号された前記残差ブロックとに基づいて前記現在のブロックを再構築する再構築モジュール(REC)と
    を備える復号デバイス。
  9. 少なくとも1つの画像を符号化済みデータストリームの形式に符号化するデバイス(COD)であって、前記画像は複数のブロックに分けられており、
    現在のブロックと呼ばれる、符号化対象である前記画像内の少なくとも1つのブロックにつき、
    前記現在のブロックを予測するための予測ブロックを求める予測モジュール(PRED)であって、
    前記現在のブロック内の少なくとも1つの第1ピクセルにつき、
    前記第1ピクセルの予測値を、前記画像内の既に再構築されたブロックの少なくとも1つのピクセルに基づいて得るステップと、
    前記第1ピクセルについて得られた予測値に、訂正ブロックと呼ばれるブロックのピクセルの少なくとも1つの値を加えることにより、前記第1ピクセルを訂正するステップと、
    前記現在のブロック内の少なくとも1つの現在のピクセルにつき、
    前記現在のピクセルの予測値を、前記現在のブロック内の少なくとも1つの既に訂正されたピクセルから得るステップと、
    前記現在のピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも1つの値を加えることにより、前記現在のピクセルを訂正するステップと
    を行う予測モジュールと、
    前記訂正ブロックを表す少なくとも1つの情報と、前記現在のブロックと求められた前記予測ブロックとから計算される残差ブロックとを前記データストリーム内に符号化する符号化モジュール(CD)と
    を備えるデバイス。
  10. プロセッサによって実行されると、請求項1及び3〜7のいずれか1項に記載の復号する方法を実施する命令を有するコンピュータプログラム。
  11. プロセッサによって実行されると、請求項2〜7のいずれか1項に記載の符号化する方法を実施する命令を有するコンピュータプログラム。
  12. 少なくとも1つの画像を表す符号化済みデータを含む信号であって、前記画像は複数のブロックに分けられており、
    現在のブロックと呼ばれる前記画像内の少なくとも1つのブロックにつき、
    訂正ブロックと呼ばれるブロックを表す少なくとも1つの情報(b)であって、前記現在のブロック内の少なくとも1つの第1ピクセルが、前記訂正ブロックのピクセルの少なくとも1つの値と、前記画像内の既に再構築されたブロックの少なくとも1つのピクセルから前記第1ピクセルについて得られる予測値とから符号化されており、前記現在のブロック内の少なくとも1つの現在のピクセルが、前記訂正ブロックのピクセルの少なくとも1つの値と、前記現在のブロック内の少なくとも1つの既に訂正されたピクセルから前記現在のピクセルについて得られる予測値とから符号化されており、前記現在のブロックの予測ブロックが得られる、少なくとも1つの情報と、
    前記現在のブロックと前記予測ブロックとから計算される残差ブロックを表す少なくとも1つの情報(Res )と
    を含む信号。
  13. 前記現在のブロックにつき、
    当該現在のブロックが、前記画像内の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、又は、
    当該現在のブロックが、当該現在のブロック内の少なくとも1つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのか
    を示す情報(TY)を更に含む請求項12に記載の信号。
JP2019565805A 2017-05-29 2018-05-18 少なくとも1つの画像を表すデータストリームを符号化及び復号する方法及びデバイス Active JP7274427B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1754688 2017-05-29
FR1754688A FR3066873A1 (fr) 2017-05-29 2017-05-29 Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
PCT/FR2018/051210 WO2018220311A1 (fr) 2017-05-29 2018-05-18 Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image

Publications (2)

Publication Number Publication Date
JP2020522180A true JP2020522180A (ja) 2020-07-27
JP7274427B2 JP7274427B2 (ja) 2023-05-16

Family

ID=59297119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019565805A Active JP7274427B2 (ja) 2017-05-29 2018-05-18 少なくとも1つの画像を表すデータストリームを符号化及び復号する方法及びデバイス

Country Status (9)

Country Link
US (2) US11245924B2 (ja)
EP (2) EP3941045A1 (ja)
JP (1) JP7274427B2 (ja)
KR (1) KR102532484B1 (ja)
CN (2) CN117544784A (ja)
BR (1) BR112019025108A2 (ja)
ES (1) ES2902766T3 (ja)
FR (1) FR3066873A1 (ja)
WO (1) WO2018220311A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3066873A1 (fr) * 2017-05-29 2018-11-30 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
FR3092719A1 (fr) * 2019-02-07 2020-08-14 Orange Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image.

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071827A (ja) * 2007-09-14 2009-04-02 Samsung Electronics Co Ltd カラー基盤でもって予測値を補正する方法及び装置、それを利用したイメージ圧縮/復元方法及び装置
US20110274173A1 (en) * 2004-06-28 2011-11-10 Google Inc. Video compression and encoding method
WO2012035640A1 (ja) * 2010-09-16 2012-03-22 株式会社 東芝 動画像符号化方法及び動画像復号化方法
WO2013009896A1 (en) * 2011-07-12 2013-01-17 Huawei Technologies Co. Ltd. Pixel-based intra prediction for coding in hevc
WO2013067435A1 (en) * 2011-11-04 2013-05-10 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
WO2014050971A1 (ja) * 2012-09-28 2014-04-03 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
WO2014197691A1 (en) * 2013-06-05 2014-12-11 Qualcomm Incorporated Residual differential pulse code modulation (dpcm) extensions and harmonization with transform skip, rotation, and scans

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005002233A1 (en) * 2003-06-27 2005-01-06 Koninklijke Philips Electronics N.V. Method of encoding for handheld apparatuses
US7707213B2 (en) * 2007-02-21 2010-04-27 Donald Martin Monro Hierarchical update scheme for extremum location
US7707214B2 (en) * 2007-02-21 2010-04-27 Donald Martin Monro Hierarchical update scheme for extremum location with indirect addressing
KR101364195B1 (ko) * 2008-06-26 2014-02-21 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
FR2958489A1 (fr) * 2010-04-02 2011-10-07 Thomson Licensing Procede de codage et procede de reconstruction d'un bloc d'une sequence d'images
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
KR101979379B1 (ko) * 2011-08-25 2019-05-17 삼성전자주식회사 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치
CN110868588B (zh) * 2012-01-18 2023-09-15 韩国电子通信研究院 视频解码装置、视频编码装置和计算机可读记录介质
CN103650498B (zh) * 2012-06-04 2018-01-05 太阳专利托管公司 运动图像解码方法及运动图像解码装置
JP6315911B2 (ja) * 2013-07-09 2018-04-25 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
FR3012714A1 (fr) * 2013-10-25 2015-05-01 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
AU2014201583A1 (en) * 2014-03-14 2015-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data using a block dictionary
FR3024933A1 (fr) * 2014-08-12 2016-02-19 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
WO2016182266A1 (ko) * 2015-05-12 2016-11-17 삼성전자 주식회사 영상의 부호화, 복호화 방법 및 장치
KR20170108367A (ko) * 2016-03-17 2017-09-27 세종대학교산학협력단 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
FR3066873A1 (fr) * 2017-05-29 2018-11-30 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274173A1 (en) * 2004-06-28 2011-11-10 Google Inc. Video compression and encoding method
JP2009071827A (ja) * 2007-09-14 2009-04-02 Samsung Electronics Co Ltd カラー基盤でもって予測値を補正する方法及び装置、それを利用したイメージ圧縮/復元方法及び装置
WO2012035640A1 (ja) * 2010-09-16 2012-03-22 株式会社 東芝 動画像符号化方法及び動画像復号化方法
WO2013009896A1 (en) * 2011-07-12 2013-01-17 Huawei Technologies Co. Ltd. Pixel-based intra prediction for coding in hevc
WO2013067435A1 (en) * 2011-11-04 2013-05-10 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
WO2014050971A1 (ja) * 2012-09-28 2014-04-03 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
WO2014197691A1 (en) * 2013-06-05 2014-12-11 Qualcomm Incorporated Residual differential pulse code modulation (dpcm) extensions and harmonization with transform skip, rotation, and scans

Also Published As

Publication number Publication date
FR3066873A1 (fr) 2018-11-30
US11245924B2 (en) 2022-02-08
US20220116658A1 (en) 2022-04-14
BR112019025108A2 (pt) 2020-06-23
KR20200013660A (ko) 2020-02-07
JP7274427B2 (ja) 2023-05-16
US20200084471A1 (en) 2020-03-12
KR102532484B1 (ko) 2023-05-16
US11736721B2 (en) 2023-08-22
EP3632103B1 (fr) 2021-10-13
CN110710204A (zh) 2020-01-17
WO2018220311A1 (fr) 2018-12-06
ES2902766T3 (es) 2022-03-29
EP3632103A1 (fr) 2020-04-08
CN117544784A (zh) 2024-02-09
CN110710204B (zh) 2023-12-12
EP3941045A1 (fr) 2022-01-19

Similar Documents

Publication Publication Date Title
KR102294733B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
TWI759389B (zh) 用於視訊寫碼之低複雜度符號預測
KR100930263B1 (ko) 반복적 인코딩 알고리즘을 이용한 비디오 압축 방법 및 그시스템
JP6158802B2 (ja) 復号装置および復号方法
WO2018061588A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
JP6164600B2 (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
EP3448038B1 (en) Decoding method for intra predicting a block by first predicting the pixels at the boundary
KR102222536B1 (ko) 인트라 예측 방법 및 그 장치
TW201733353A (zh) 從用於視訊寫碼之固定濾波器預測濾波器係數
WO2010137324A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP7047777B2 (ja) 画像データ符号化及び復号化
EP2034742A2 (en) Video coding method and device
US11736721B2 (en) Methods and devices for coding and decoding a data stream representative of at least one image
JP2023542029A (ja) 低ビット精度のニューラルネットワーク(nn)に基づくクロスコンポーネント予測のための方法、機器、及びコンピュータプログラム
Martins et al. Statistical motion learning for improved transform domain Wyner–Ziv video coding
JP6708211B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
CN112740691A (zh) 用于编码和解码表示至少一个图像的数据流的方法和设备
JP2023542332A (ja) 倍率を有するdnnに基づくクロスコンポーネント予測のためのコンテンツ適応型オンライントレーニング
CN113678378B (zh) 视频解码方法、视频解码器及非易失性计算机可读介质
KR102327323B1 (ko) 적어도 하나의 이미지를 나타내는 데이터 스트림을 인코딩하고 디코딩하는 방법 및 장치
Milicevic et al. RD optimization and skip prediction for H. 264/AVC standard
JP5194082B2 (ja) 画像符号化装置
CN116998153A (zh) 基于多个预测模式的交叉通道预测
Mazataud et al. New error containment schemes for H. 264 decoders

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230314

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230501

R150 Certificate of patent or registration of utility model

Ref document number: 7274427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150