JP2019520005A - デジタル画像のイントラコーディング方法および対応するデコーディング方法 - Google Patents

デジタル画像のイントラコーディング方法および対応するデコーディング方法 Download PDF

Info

Publication number
JP2019520005A
JP2019520005A JP2018568769A JP2018568769A JP2019520005A JP 2019520005 A JP2019520005 A JP 2019520005A JP 2018568769 A JP2018568769 A JP 2018568769A JP 2018568769 A JP2018568769 A JP 2018568769A JP 2019520005 A JP2019520005 A JP 2019520005A
Authority
JP
Japan
Prior art keywords
category
prediction mode
categories
modes
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018568769A
Other languages
English (en)
Other versions
JP7059207B2 (ja
Inventor
ユング,ジョエル
アンリ,フェリクス
ムートン,シャルレーヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B Com SAS
Original Assignee
B Com SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B Com SAS filed Critical B Com SAS
Publication of JP2019520005A publication Critical patent/JP2019520005A/ja
Application granted granted Critical
Publication of JP7059207B2 publication Critical patent/JP7059207B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、少なくとも1つの画像を表わすコーディングされたデータフローのデコーディング方法において、前記画像がブロックにカットされており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードの集合が利用可能である方法であって、前記方法は以下のステップ:− 集合から少なくとも2つの予測モードカテゴリを獲得するステップ(E10)と;− 少なくとも1つの第1の既定の消去基準にしたがって、少なくとも1つのカテゴリを消去するステップ(E11)と;− 少なくとも1つの消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するステップ(E12)と;− カレントブロックについて、更新されたカテゴリのモードの中から1つの予測モードを識別する情報をデータフローからデコーディングするステップ(D20)と;を含む方法に関する。【選択図】図7

Description

本発明の分野は、画像または画像シーケンス、特に映像フローのコーディングおよびデコーディングの分野である。
より厳密には、本発明は、画像ブロックによる表現を用いた画像または画像シーケンスの圧縮に関する。
本発明は特に、現在のコーダ(JPEG、MPEG、H.264、HEVCなどおよびそれらの修正版)または将来のコーダにおいて実施される画像または映像コーディング、および対応するデコーディングに適用可能である。
デジタル画像およびデジタル画像シーケンスはメモリの観点から見て多大なスペースを占有し、そのため、これらの画像を伝送する場合には、この伝送のために使用されるネットワーク上での輻輳の問題を回避するべくこれらの画像を圧縮する必要がある。実際、このネットワーク上で使用可能なレートは概して制限されている。
既に、映像データの圧縮技術として多くのものが知られている。それらのうち、圧縮規格HEVC(「High Efficiency Video Coding、Coding Tools and Specification」、Matthias Wien、Signals and Communication Technology、2015)は、同じ画像に属する(イントラ予測)または先行するまたは後続する画像に属する(インター予測)他の画素との関係におけるカレント画像の画素の予測を使用することを提案している。
より厳密には、イントラ予測は、1つの画像の内部の空間的冗長性を活用する。このたに、画像は、画素ブロックにカットされる。画素ブロックはこのとき、画像内のブロックの行程の順序にしたがってカレント画像内の先にコーディング/デコーディングされたブロックに対応する既に再構築された情報を用いて予測される。
その上、従来、カレントブロックのコーディングは、予測済みブロックと呼ばれるカレントブロックの予測、およびカレントブロックと予測済みブロックとの間の差異に対応する予測残余つまり「残余ブロック」を用いて実現される。得られた残余ブロックはこのとき、例えばDCTタイプの変換(離散コサイン変換)を用いて変換される。変換された残余ブロックの係数は、その後量子化され、次にエントロピーコーディングによりコーディングされ、デコーダに伝送され、このデコーダはこの残余ブロックを予測済みブロックに追加することによってカレントブロックを再構築することができる。
デコーディングは、画像毎に行なわれ、各画像について、ブロック毎に行なわれる。各ブロックについて、ストリームの対応する要素が読取られる。残余ブロックの係数の逆量子化および逆変換が実施される。その後、予測済みブロックを得るためにブロックの予測が計算され、カレントブロックは、デコーディング済みの残余ブロックに対して予測(予測済みブロック)を追加することによって再構築される。
HEVC規格においては、イントラ予測の35のモードにしたがってカレントブロックのイントラ予測を実施することが可能である。カレントブロックを予測するために選択されたイントラ予測モードをコーディングする目的で、HEVC規格は、以下の2つの予測モードリストを定義している:
− カレントブロックにとって最も確率の高い3つのイントラ予測モードを含む、MPM(英語で「Most Probable Mode」の略)リストと呼ばれる第1のリスト。このようなMPMリストは、カレントブロックの隣接ブロックのコーディングの際に予め選択された予測モードから定義される;
− 残りの32個の他のイントラ予測モード、すなわちMPMリスト内に含まれないイントラ予測モードを含む、非MPMリストと呼ばれる第2のリスト。
カレントブロックを予測するためにどのMPMリストまたは非MPMリストが使用されるかを表わすために、デコーダに対し1つの指標が伝送される。カレントブロックがMPMリストのイントラ予測モードによりコーディングされる場合、MPMリスト内で選択された予測モードの指標が、エントロピーコーディングによりデコーダに伝送される。カレントブロックが非MPMリストのイントラ予測モードによってコーディングされる場合、非MPMリスト内で選択されたイントラ予測モードの指標が、5ビットにわたる固定長のコードによってコーディングされる。
非MPMリストは、イントラ予測モードを多数含んでおり、したがって、このリストの予測モードの指標のコーディングコストは高い。
「Novel Adaptive Algorithm for Intra Prediction with Compromised Modes Skipping and Signaling Processes in HEVC」、L−L.Wang、W−C Siu、IEEE、2013なる文書は、一方ではイントラ予測モードのシグナリングコストを削減すること、他方では予測モードの選択の複雑性を削減することを目的として、カレントブロックを予測するために使用されるイントラ予測モードの数を削減することのできるコーディング方法について記載している。このような方法は、利用可能な35個のイントラ予測モードから3つのカテゴリ、すなわち1つのモードを含む第1のカテゴリ、19個のモードを含む第2のカテゴリ、そして35個のモードを含む第3のカテゴリを作成する。このような方法は、各々のカレントブロックについて、カレントブロックの基準画素の分散の値に応じて適応されたカテゴリを選択する。カレントブロックの基準画素は、カレントブロックの上方に位置する行およびカレントブロックの右側に位置する列の画素に対応する。カレントブロックは次に、リストの予測モードのうちの1つによって予測される。選択されたカテゴリ中で、レート歪み基準に応じて最良の予測モードが選択される。この予測モードは、カテゴリ、そして次にこのカテゴリ内のモードを識別する情報を用いてシグナリングされる。
このような方法は、一部のケースでは全てのイントラ予測モードがテストされるわけではないため、カレントブロックの予測の計算時間を削減することができる。同様に、このような方法は、一部のケースではレートの削減を可能にすることができる。実際、選択されたカテゴリが1つの予測子しか有していないカテゴリである場合には、シグナリングすべきものは何も無い。
第2または第3のカテゴリが選択された場合、シグナリングは当初利用可能である予測モード集合に基づいて想定されることから、レートは削減されない。
本発明は、状況を改善しようとするものである。
本発明の目的は特に、先行技術のこれらの欠点を緩和することにある。
より厳密には、本発明の目的は、予測品質を損なうことなく、複数の候補モードの中からカレントブロックのために選択された予測モードのシグナリングコストを減少させることに寄与する解決法を提案することにある。
これらの目的ならびに後で明らかになる目的は、少なくとも1つの画像を表わすコーディングされたデータフローのデコーディング方法において、前記画像がブロックにカットされており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードの集合が利用可能である方法であって、前記方法は以下のステップ:
− 集合から少なくとも2つの予測モードカテゴリを獲得するステップと;
− 少なくとも1つの第1の既定の消去基準にしたがって、少なくとも1つのカテゴリを消去するステップと;
− 少なくとも1つの消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するステップと;
− カレントブロックについて、更新されたカテゴリのモードの中から1つの予測モードを識別する情報をデータフローからデコーディングするステップと;
を含む方法を用いて達成される。
本発明では、デコーダは、カレントブロックに適応していない予測モードのカテゴリを消去し、消去済みカテゴリと共通の予測モードを残りのカテゴリから削除する。デコーダは、未消去で更新済みのカテゴリについての知識を用いて、カレントブロックのためにエンコーダが選択した予測モードをシグナリングするコーディングされたデータをデータフロー内で解釈する。
初期カテゴリに基づいて選択された予測モードをシグナリングする先行技術とは異なり、カレントブロックのために選択された予測モードのシグナリングは、更新された予測モードカテゴリに特異的でかつ適応されている。こうして、予測モードのシグナリングのコストは最適化される。
本発明は同様に、コーディングされたデータフローの形での画像のコーディング方法において、前記画像がブロックに分割されており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードの集合が利用可能である方法であって、前記方法は以下のステップ:
− 集合から少なくとも2つの予測モードカテゴリを獲得するステップと;
− 少なくとも1つの第1の既定の消去基準にしたがって、少なくとも1つのカテゴリを消去するステップと;
− 少なくとも1つの消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するステップと;
− 更新されたカテゴリのうちの1つの中で1つの予測モードを選択するステップと;
− 選択された予測モードを識別する情報を更新されたカテゴリに応じてコーディングし、コーディングされたデータフローの中にコーディングされた情報を挿入するステップと;
を含む方法にも関する。
以下で言及するさまざまな実施形態または特徴は、独立した形で、または互いに組合せた形で、上記に定義したデコーディング方法および/またはコーディング方法の特徴に追加することができる。
本発明の一態様によると、獲得ステップには、メモリ内で前記カテゴリの識別情報を読取るステップが含まれる。
予測モードカテゴリは、予め定められている。利点は、使用が簡単であることおよび計算リソースのニーズが限定されることにある。
本発明の別の態様によると、獲得ステップには、既に処理されたブロックのコンテンツの少なくとも1つの特性を解析するステップと、少なくとも1つの予測モードグループ化基準から、解析された少なくとも1つの特性に応じて、カテゴリを作成するステップとが含まれる。
カテゴリは、既に処理されたコンテンツに応じて動的に作成される。利点は、獲得したカテゴリが画像のコンテンツに適応されたものであるということにある。
本発明の別の態様によると、方法は、獲得したカテゴリについて、このカテゴリを代表する1つの予測モードを決定するステップを含み、カテゴリの消去ステップには、代表的予測モードを消去すること
が含まれ、カテゴリの消去が、このカテゴリを代表する予測モードの消去によって開始される。
利点は、ただ1つの動作でカテゴリ全体が消去されることにある。
本発明のさらにもう1つの態様によると、獲得したカテゴリについて、カテゴリの消去ステップには、その予測モードを連続的に消去することとカテゴリ内の消去済み予測モードの数を既定の閾値と比較することとが含まれ、カテゴリの消去が、消去済みモードの数が閾値を上回った場合に開始される。
利点は、消去の決断を下す前に、カテゴリのモードが個別にテストされるということにある。
本発明の別の態様によると、方法は、獲得したカテゴリについて、前記カテゴリが1つの予測モードグループ化基準に結び付けられることから、コンテンツのうちの1つの特性を提供することを目的とする既に処理された隣接ブロックのコンテンツを解析するステップを含み、特性とグループ化基準が互いに相容性の無いものである場合に、消去ステップはカテゴリを消去する。
利点は、処理すべきコンテンツにカテゴリが適応されていないことを立証できた時点で直ちにこのカテゴリ全体を消去できるということにある。
本発明は同様に、上記に定義した特定の実施形態のいずれか1つに係るデコーディング方法を使用するために適応されたデコーディング装置にも関する。このデコーディング装置は、当然のことながら、本発明に係るデコーディング方法に関連するさまざまな特徴を含むことができるものであろう。したがって、このデコーディング装置の特徴および利点は、デコーディング方法のものと同じであり、さらに長々と詳述されない。
本発明の特定の一実施形態によると、このようなデコーディング装置は、端末内に含まれる。
本発明は同様に、上記に定義した特定の実施形態のいずれか1つに係るコーディング方法を使用するために適応されたコーディング装置にも関する。このコーディング装置は、当然のことながら、本発明に係るコーディング方法に関連するさまざまな特徴を含むことができるものであろう。したがって、このコーディング装置の特徴および利点は、コーディング方法のものと同じであり、さらに長々と詳述されない。
本発明の特定の一実施形態によると、このようなコーディング装置は、端末またはサーバ内に含まれる。このような端末機器またはサーバは、本発明に係るコーディング装置およびデコーディング装置を含むことができる。
本発明に係るデコーディング方法およびコーディング方法はそれぞれ、さまざまな形で、特に有線の形態またはソフトウェアの形態で実施され得る。
本発明の特定の一実施形態によると、デコーディング方法およびコーディング方法はそれぞれ、このプログラムがプロセッサによって実行された場合に、上述の方法のステップを実施するための命令を含むコンピュータプログラムによって実施される。
これらのプログラムは、任意のプログラミング言語を使用することができる。これらのプログラムは、通信ネットワークからダウンロード可能および/またはコンピュータ可読媒体上に記録可能である。
最後に、本発明は、上述のような、コーディング方法を実施するコンピュータプログラムおよびデコーディング方法を実施するコンピュータプログラムをそれぞれ記憶する、場合によっては取外し可能な本発明に係るデジタル画像のコーディング装置およびデジタル画像デコーディング装置に統合されたまたは統合されていないプロセッサ可読記憶媒体に関する。
本発明の他の利点および特徴は、例示的で非限定的な単なる一例として示されている本発明の特定の実施形態についての以下の説明、および添付図面を読んだ時点で、より明白になるものであろう。
本発明の第1の実施形態に係る予測モードカテゴリの獲得、消去および更新ステップを概略的に提示している。 本発明の第1の実施形態に係る予測モードカテゴリの獲得、消去および更新ステップを概略的に提示している。 共通モードを含む予測モードカテゴリを概略的に提示する。 本発明により実施される予測モードカテゴリの例を示す。 本発明により実施される予測モードカテゴリの例を示す。 本発明により実施される予測モードカテゴリの例を示す。 本発明により実施される予測モードカテゴリの例を示す。 本発明により実施される予測モードカテゴリの例を示す。 本発明により実施される予測モードカテゴリの例を示す。 本発明により実施される予測モードカテゴリの例を示す。 本発明の一実施形態において実施されるカテゴリの一例を示す。 本発明に係る画像のコーディング方法のステップを概略的に提示する。 本発明に係る画像のデコーディング方法のステップを概略的に示す。 本発明に係るコーディング装置のハードウェア構造の一例を概略的に提示する。 本発明に係るデコーディング装置のハードウェア構造の一例を概略的に提示する。
一般的原理
本発明は、コーディングすべき画像の画素ブロックを予測するために使用される予測モードのシグナリングのコストを改善することを目的とする。
現在の圧縮規格は、コーディングすべきブロックの画素の可能なかぎり最も近い予測を提供する目的で1ブロックをコーディングするために多数の予測モードを提案している。こうして、量子化された予測残余は小さく、さらにはゼロであり、このため予測残余のコーディングコストを削減することが可能になっている。しかしながら、予測モードのシグナリングのコストは、可能な予測モードの数と共に増大する。
ところで、共有する画像のコンテンツのうちの1つ以上の特徴をベースとして予測モードをカテゴリにグループ化し、同じカテゴリの予測モードがカレントブロックを予測するために適応されていないという事実を想定することが可能であると思われる。
本発明の一般的原理は、デジタル画像のカレントブロックのコーディングまたはデコーディングのための競合する予測モードの初期集合内における予測モードカテゴリの立証、およびカテゴリ全体の消去に基づいている。未消去の1カテゴリのモードおよび消去済みカテゴリに共通のモードは、削除される。この原理は、コーダにもデコーダにも同様に適用される。
このようにして、1つのブロックのコーディングのために利用可能である予測モードの数は削減され、デコーダは同じカテゴリを忠実に構築できることから、シグナリングは、カレントブロックの予測のために利用可能な削減された数のモードに基づいて行なわれ得る。
本発明は、ここでは、HEVC規格において定義されているイントラ予測モードに対する適用の枠内で説明される。本発明は、他の圧縮規格および他の予測モードにも容易に適用される。
HEVC規格は、35個のイントラ予測モードを定義しているということが喚起される:
− 1つのPLANARモード(モード0)、このモードは、基準画素から予測子ブロック(または予測されたブロック)の画素を線形的に内挿することからなり;基準画素は、先に再構築された隣接ブロックから構築される。
− 1つのDCモード(モード1)、このモードは、基準画素の平均に対応する同じ値を予測子ブロックの画素に割当てることからなる。
− 図4Aによって示されている33個の角度的モードA2〜A34。このようなモードは、33個の結び付けられた方向のうちの1つにおけるカレントブロックの基準画素の延長によって、予測子ブロックを形成する。
図1に関連して、図6に関連して説明される本発明に係るコーディング方法および図7に関連して説明される本発明に係るデコーディング方法において実施される、本発明に係るカテゴリの獲得ステップE10、カテゴリの消去ステップE11およびカテゴリの更新ステップE12について説明する。
初期集合からの少なくとも2つの予測モードカテゴリの獲得
ステップE10の間に、コーダまたはデコーダは、利用可能な予測モードの初期集合から形成された予測モードカテゴリを獲得する。図3によって示されているように、カテゴリは共通の予測モードを有し得る。
これらのカテゴリは、予測モードのうちの1つ以上のグループ化基準CRを用いて形成されたものである。グループ化基準は、有利には、1ブロックのコンテンツのうちの1つの特性のうちの1つの値または値範囲に結び付けられる。換言すると、予測モードは、同じカテゴリの予測モードがそれらに結び付けられた特性値を有するブロックを予測するのに最も適応されたものとみなされ得るような形で、少なくとも1つの共通の特性に基づいてグループ化される。
カテゴリは、コーディングおよびデコーディングの予備段階において構築されており、設定されている場合がある。この場合、カテゴリの獲得ステップE10は、メモリMEM,MEM0においてこれらのカテゴリを表わす情報を読取るサブステップE101を含む。例えば、この情報は、カテゴリ識別子を連結する1つのワードであり、このカテゴリが含んでいる予測モードの識別子を記憶するメモリ空間に対して1つのカテゴリ識別子が結び付けられる。
既に処理された画像のコンテンツの特性解析の不在下では、コーダそして対称物としてのデコーダは、一貫して、例えばコーディングプロファイルに結び付けられた第1のカテゴリ化プロファイルに対応する既定のカテゴリを獲得する。
画像のコンテンツの特性を自らに提供する既に処理されたブロックのコンテンツの解析の結果をストリーミングで入手した時点で、コーダそして対称物としてのデコーダは、この解析に由来する特性の特定の値または値範囲に結び付けられたグループ化基準を用いて、カテゴリを動的に作成することができる。
この場合、ステップE10は、既に処理されたブロックのコンテンツの特性CCを獲得するサブステップE102と、これらの特性の少なくとも1つの関数である少なくとも1つのグループ化基準CRに基づいて、少なくとも1つのカテゴリを作成するサブステップE103を含む。
ステップE10は、サブステップE101のみ、サブステップE102、E103のみ、または全てのサブステップを実施し得、動的に構成されたカテゴリが予め作成されたカテゴリを補完することになる、ということが分かる。
例えば、予測モードは、画像のコンテンツのうちの1つの物理的特性に結び付けられた1つの基準にしたがってグループ化される。図4Bに関連して、考慮対象の物理的特性は、予測モードの配向であり、互いに近い配向を有する予測モードは、垂直角度モードA26(V)とその隣接モードを含む垂直カテゴリと呼ばれる第1のカテゴリCV、および水平角度モードA10(H)とその隣接モードを含む水平カテゴリと呼ばれる第2のカテゴリCHにグループ化される。
これらのカテゴリは、カテゴリCHについてむしろ水平であるかまたはカテゴリCVについてむしろ垂直である明白な方向を1つの画像の1ブロックが有することを予測するために適切である。これは例えば、高い建物のある都市シーンを表わす画像の場合にあてはまる。
有利には、カレントブロックについて、消去ステップE11は、ブロックの1つの主配向に基づく消去基準に基づいて、2つのカテゴリのうちの1つを消去するであろう。
図4Cに関連して、1つのカテゴリの作成のために考慮される物理的特性の他の一例を考慮する。コンテンツ内でコーダが、実シーン上のテキストまたはロゴのオーバーレイに対応する、多くの場合非常に均質なゾーンによって分離された水平または垂直の方向での明白かつ地と対照をなす輪郭の存在を検出した、と仮定する。したがって、コーディング中の画像のコンテンツは、実シーン上への仮想要素の重畳を含む。コーダは、「スクリーンコンテンツ」と呼ばれるこのタイプのシーンに適応されたモードをグループ化する第1のカテゴリを作成する。例えばこのカテゴリCSCの中に、コーダは、DMM(英語で「Depth Modeling Mode」の略)モード、IBC(英語で「Intra Block Copy」の略)モード、水平角度モードA10(H)、垂直角度モードA26(V)を含み入れる。コーダは、水平モードと垂直モードを含めた、先に言及された角度モード集合を含む第2のカテゴリCAを作成する。
図4Dに関連して、コーダは、E10において、角度予測モードから3つのカテゴリを獲得する。カテゴリCA1は、モードA26(V)およびA10(H)を含み、カテゴリCA2はモードA2、A6、A14、A22を含み、カテゴリCA3は他の全てを含む。カテゴリCA1は、1つの方向のコーディングのために極くわずかな精細度しか許容せず、カテゴリCA2はそれをわずかに多く許容し、カテゴリCA3は最も精確である。これら3つのカテゴリが、1つのブロックのコンテンツの方向を表現するのに必要とされる精細度に適応できるようにする、ということが分かる。
これらのカテゴリは、予備段階で作成され、設定されているものである。これらのカテゴリには共通のモードは無い。
このカテゴリ集合の重視される利用分野は、他のものと競合させられるコーディングツールとしてのその利用である。したがって、このカテゴリ集合は、例えばレート歪み基準にしたがってそれが最良の結果をもたらすと思われる場合に選択されるであろう。特に、所与の1ゾーンが単一の方向(垂直および水平)を含み、別のゾーンがはるかに精細な方向(対角線における精細度)方向を有し得る画像について、カテゴリ集合がうまく機能するものと予想することができる。
本発明の一実施形態によると、カテゴリを作成するサブステップE103では、既に処理された隣接ブロックについて使用された予測モードの統計的解析(E102)に基づくグループ化基準が考慮に入れられる(因果コンテキスト)。有利には、最も頻繁に使用されるモードは、第1のカテゴリの中に入れられる。第2のカテゴリは、初期集合の全てのモードを含む。
図4Eによって示されているもう1つの実施形態によると、好ましくは最も確率の高い因果記述子との関係において、カレント画像の既に処理されたブロックに対して予測されたモードについての「機械学習」タイプの学習によって、他のカテゴリが動的に作成される。「機械学習」つまりMLの技術は、当業者にとって公知であり、例えば、1997年にマグローヒルより刊行されたTom Mitchellによる「Machine Learning」という題の著書の中で説明されている。
この技術は、学習段階の後に、カレントゾーンのためのモード選択に関する確率を発出することを可能にする。MLは、複数の要素を含む公知の方法であり、ここでは詳述しない。したがって、各モードの出現確率の度合に応じて他の3つのカテゴリを作成することを想像することができる。例えば、1つ以上の閾値で得られた出現確率を比較し、第1の閾値を上回る出現確率を有するものを第1のカテゴリ内にグループ化し、次に第1の閾値より低い第2の閾値を上回る出現確率を有するものを第2のカテゴリ内にグループ化し、第2の閾値よりも低い第3の閾値を上回る出現確率を有するものを第3のカテゴリ内にグループ化することができる。
こうして、図4Eに関連して表示された以下のカテゴリが作成される:
・ カテゴリ1 C1’:A2 A8 A9 A10 A11
・ カテゴリ2 C2’:A10 A3 A4 A11 A12 A16
・ カテゴリ3 C3’:他の角度モードの集合An
学習は、例えば、各コーディングユニット(英語の「coding unit」)で、または各画像で、またはGoP(英語で「Group of Pictures」の略)タイプの各画像群で、規則的に可変的な頻度で反復される。
有利には、動的に作成されたこれら3つのカテゴリに対して、予測モードDC、A10(H)、A26(V)およびPLを含む、デフォルトと呼ばれる第1の既定のカテゴリC0’を追加する。このカテゴリは、E10においてコーダおよびデコーダによって獲得される。こうして、学習MLに由来する不良な予測を緩和することが可能になる。
図4Fおよび4Gに関連して、カテゴリは同様に、階層的に構築されることもできる。
任意のツリー構造を採用することができる(2進、3進、不規則など)。この構造は、階層レベル別に一種のMPMをシミュレートする。
例えば、2分法によりカテゴリを構築する。最も確率の高い2個のモードMPM1およびMPM2として、水平モードA10と垂直モードA26を定義する。これらは第1の階層レベルのカテゴリCH1を形成する。2つ跳びでそれらの隣接モードMPM1−2、MPM1+2、MPM2−2およびMPM2−2をとることで、第2の階層カテゴリCH2を導出する。先のカテゴリのモードのうちの1つ跳びの隣接モードMPM1−1、MPM1+1、MPM2−1、MPM2+1をとることにより、レベル3のカテゴリCH3を作成する。カテゴリCH1は、予測モードをわずかしか含まず、角度方向に関して低い精度しかもたらさないのに対して、カテゴリCH3は、より大きな配向精細度を提供する。
カテゴリの消去
本発明は、カテゴリを消去するさまざまな方法を網羅する。
図1に関連して説明された本発明の一実施形態によると、消去ステップE11は、1つのカテゴリを代表する1つのモードを決定するサブステップE111を含む。
角度モード集合の場合、代表は中央値または平均であり得る。したがって角度予測子は、順序付けされ、それらを呼称する1つの番号を有する。したがって平均は、カテゴリの中央角度を意味する。
一変形形態によると、1つのカテゴリを代表する予測モードは、それが初期予測モード集合の一部でないという意味において、補足的予測モードである。例えば、それは、今度は予測子自体についての平均、すなわち予測またはこれらの値の他のあらゆる機能を行なうために使用される画素の値を計算することによって、得ることができる。例えば図4Bに関連して、カテゴリCVについての代表RVとして垂直モードが、そしてカテゴリCHについての代表RHとして水平モードが選択される。
ステップE11は、さらに、消去基準にしたがって代表を消去するサブステップE112を含む。代表はテストされ、少なくとも1つの予測子消去基準に応じて消去されるかまたはされない。
ステップE113は、代表が消去された時点で直ちにカテゴリ全体を消去することからなる。
図2により示されている一変形形態によると、代表が指定されることはなく、サブステップE114の間に1つのカテゴリの予測モードが1つずつ試験され、これらは、標準的モード消去基準により消去される。
図4Eの実施例において、カテゴリCA0〜CA3は、不均質である。したがって、これらのカテゴリについて代表は定義しない。モードは、場合によって消去の決断を下すため、個別に検討される。モードの消去基準は、例えば以下のような規則に対応する:すなわち、「Anは、その隣接ブロックが、モードAn、An−1またはAn+1を選択しなかった場合、消去される」。
したがって、各カテゴリの一定数のモードが消去されるものと仮定する。そのとき、例えばカテゴリのモードの50%が消去されると仮定するならば、カテゴリ全体の消去基準が適用される。この場合、そのカテゴリの全てのモードが消去される。詳細には、これらの同じモードは、それらが存在する他のカテゴリからも消滅する。逆の場合(50%未満の場合)、カテゴリは保存され、カテゴリの全てのモードも保存される(消去されると仮定されたものさえも)。
E115では、カテゴリ内の消去済みモードの割合が既定の閾値THを上回った場合に、そのカテゴリは消去される。
さらに別の実施形態によると、1つのカテゴリは、そのカテゴリを構成するのに用いられたグループ化基準CRが、既に処理された隣接ブロックのコンテンツの少なくとも1つの物理的特性と相容れない場合、包括的に消去される。例えば、図4CのカテゴリCSCは、深度画像に由来するか、または例えばコンピュータスクリーンタイプの自然でないコンテンツ(英語で「スクリーンコンテンツ」)を含むか、またはオーバーレイ(英語で「overlay」)を含むブロックのために使用される確率が高い予測モードをグループ化する。反対に、このカテゴリは、コンテンツが顕著な角度特性を有することを既に処理された隣接ブロックの解析が示している画像のゾーンならびにテクチャードゾーンに属するカレントブロックには適応されていない。このとき、カテゴリCSCは、その予測モード全てと共に消去される。
ここで、カレントブロックのコンテンツの配向の物理的特性に基づくカテゴリCA1〜CA3を表わしている図4Dの実施例を再度取り上げる。非常に均質なゾーン内にあることを、既に処理された隣接ブロックのコンテンツの解析が示している場合には、そのとき、高い角度精細度は求められない。したがって、カテゴリCA3を消去することができる。
同様に、既に処理済みの隣接ブロックに適用された、例えばSobelタイプの勾配技法が鮮明な水平または垂直方向を全く出現させない場合、モードグループ化基準が処理すべきコンテンツと相容れないカテゴリCA1は消去される。
未消去カテゴリの更新
作成されたカテゴリが共通の予測モードを有し得るということが分かった。
本発明によると、所与の予測モードが第1および第2のカテゴリに属する場合、第1のカテゴリ内のこのモードの消去は、E12における第2のカテゴリからのその消去を暗に意味する、という点が指摘されるであろう。
図3に関連して、カテゴリC1の消去は、第2のカテゴリC2がもはや2つの予測モードしか含まないことを暗に意味している。
第1の実施形態の説明
図5に示されているこの実施例において、予測モードカテゴリは予め定められている。換言すると、これらのカテゴリの作成は、エンコーディングの予備段階において実現されている。したがって、ステップE10は、例えばコーダにとってアクセス可能なメモリ内に記憶されている予測モードにアクセスする目的でこれらのカテゴリを表わす情報を読取りに行くことからなる。
図5が示す以下の形で構成された5つのカテゴリを考慮する:
− カテゴリC11は、予測モードDMM、IBC、H(A10)、H−1(A9)、H+1(A11)、V(A26)、V−1(A25)、V+1(A27)を含む;
− カテゴリC21は、角度予測モードA34...A27を含む;
− カテゴリC31は、角度予測モードA25...A11を含む;
− カテゴリC41は、角度予測モードA9...A2を含む;
− カテゴリC51は、DC、H、V、PLを含む。
一部の角度モードと同様、一部の予測モードは複数のカテゴリに共通であることが確認される。
予め決定され設定されたこれらのカテゴリは、コーダおよびデコーダが知っているものである。
角度モードのみで構成されるカテゴリ2、3および4について、T12において、これらのカテゴリ各々の中央角度モードに対応する1つの代表を決定する。例えば、カテゴリC2’’で中央値はモードA30.5である。これは、カテゴリC2’’の一部でない補足的角度モードであるという点が指摘されるであろう。
不均質タイプの予測モードで構成される他のカテゴリC11およびC51については、代表を決定しない。
E11では、1つ以上のカテゴリを消去することになる。この実施例において、採用される戦略は、無用である確率が高い角度予測モードを消去することからなる。空間的と同時に時間的にも隣接して既に処理されたブロックにより使用された予測モードの統計的解析に基づく、統計的消去基準と呼ばれる消去基準が用いられる。
例えば、カテゴリC21、C31およびC41については、以下の規則の形で表現される1つの消去基準を用いて代表をテストする:「モードAnは、既に処理されたその隣接ブロックのいずれも、An、An−1およびAn+1を含む群のモードのうちの1つを選択しなかった場合、消去される」。
この基準が、カテゴリC2’’およびC3’’の代表の消去、ひいてはこれらのカテゴリの消去を導くと仮定する。
E12では、未消去カテゴリが消去済みカテゴリと共通して有している予測モードを削除することによって、未消去カテゴリを更新する。こうして、カテゴリ1の角度モードA11(H+1)、A25(V−1)、A26(V)およびA27(V+1)を削除することになる。
更新されたカテゴリは、以下の通りである:
− カテゴリC11:DMM、IBC、H(A10)、H−1(A9)、V(A26);
− カテゴリC41:A9...A2;および
− カテゴリC51:DC、H、V、PL。
当初38個であったモードであるが、残っているモードは全部で15個しかないということが観察される。
この実施例においては、カテゴリC21、C31、C41のみが代表を有し、潜在的に消去可能であるということが指摘されるであろう。これは、無用の角度モードを最大限に消去しながらも、他のモードを消去しないことが望まれる具体的ケースに対応している。
コーダは、次に残りの15個の中から従来の方法で1つの予測モードを選択する。従来、この選択は、コーディングのレートおよび品質を最適化するモードを選定するようにさせるレート歪み基準すなわちRDO(英語のRate Distorsion Oの略)基準に基づいて行なわれる。
選択されたモードは、ビットストリーム中でシグナリングされる。このモードがその後シグナリングされる。
選択された予測モードをシグナリングする公知の方法がいくつか存在する。第1の選択肢によると、この予測モードは、15個のモードとの関係において指標付けされ、その指標がシグナリングされる。第2の選択肢によると、残りの3つのうちこの予測モードが属するカテゴリがシグナリングされ、その後、カテゴリ内のその位置または指標がシグナリングされる。
第2の実施形態の説明
第1の実施形態の場合と同じ予め定められたカテゴリを考慮する。
カテゴリC1’’は、オーバーレイタイプまたはスクリーンコンテンツタイプの人工的コンテンツを含むブロックを予測するために適切であると仮定された予測モードをグループ化する。
カテゴリ消去ステップE11の間に、このカテゴリ1が処理すべきブロックのコンテンツに適応されていない場合、このカテゴリを消去することになる。
このカテゴリについては、カレントブロックに隣接する既に処理された構造解析に基づく消去基準が使用される。例えば、Sobelタイプのフィルタリングにより、輪郭検出が行なわれ、その後、1989年にPrentice Hallにより刊行された「Fundamentals of Digital Image Processing」という題のAK Jainの著書の第4および5章に記載されているように、これらの輪郭の方向が決定される。隣接ブロックがこのカテゴリの対象であるタイプのコンテンツを含まないことが判明した場合、このカテゴリは消去される。
均質であるかまたは軽度に劣化したゾーンに、それ自体がより適応されているカテゴリC5’’に対して、類似の機能を適用できると考えられる、ということが分かる。
第3の実施形態の説明
この実施例(図示せず)において、予測モードDC、H、V、PLを含むデフォルトの第1のカテゴリC12が設定される。
ステップE10は、3つのカテゴリの動的作成ステップE103を含む。このために、ステップE10では、E102で機械学習(ML)技術が使用される。3つのカテゴリは、各モードの出現確率を考慮に入れて作成される。
カテゴリは、例えば以下のものであり得る:
− カテゴリC12:DC、H、V、PL;
− カテゴリC22:A2 A8 A9;
− カテゴリC32:A10 A3 A4 A11 A12 A16;
− カテゴリC42:他のAnの集合
このように形成されたカテゴリは不均質である。したがって代表を定義することはしない。
E11では、各カテゴリの各モードを検討して、このモードを消去すべきか否かの決断が下される。モードの第1の消去基準は、例えば、以下の規則の形で表現される:Anは、その隣接ブロックがモードAn、An−1またはAn+1を選択しなかった場合、消去されるであろう。
例えばカテゴリのモードの50%が第1の基準によって消去される場合、次にカテゴリ全体の第2の消去基準が適用される。この場合、カテゴリの全てのモードが消去される。
E12では、消去済みモードが、残りのカテゴリから削除される。
詳細には、これらの同じモードは、それらが存在する他のカテゴリから消滅する。
逆の場合(50%未満)、カテゴリは保存され、このカテゴリのモード集合も保存される(消去されたと仮定されるものも)。
例えば、カテゴリ4および2のモードの50%が消去された場合、カテゴリ1の3個のモードおよびカテゴリ3の6個のモードのみが、使用可能な集合の中に存続する。これにより、MLに由来する場合によって不良な予測を緩和することができる。
本発明に係るコーディング方法の実施例の説明
図6は、本発明の特定の一実施形態に係るコーディングされたデータフローSTRの形でコーディングすべき画像シーケンスI1、I2、...、INをコーディングする方法のステップを提示している。例えば、このようなコーディング方法は、図8に関連して説明されるようなコーディング装置によって実施される。コーディングすべき画像シーケンスI1、I2、...、INが、コーディング方法の入力側で供給される。コーディング方法は、入力側で供給された画像シーケンスを表わすコーディングされたデータフローSTRまたはビットストリームを出力側において送出する。
公知の要領で、画像シーケンスI1、I2、...、INのコーディングは、デコーダが知っている予め確立されたコーディング順序にしたがって、画像毎に行なわれる。例えば、画像は、時間的順序I1、I2、...、INでまたは例えばI1、I3、I2、...、INなどの他の順序にしたがってコーディングされ得る。
ステップE0の際に、画像シーケンスI1、I2、...、INのコーディングすべき画像Ikは、最大サイズのブロックにカットされる。最大サイズの各ブロックを、さらに小さいブロックに再度カットすることができる。例えば、最大サイズのブロックは、32×32画素サイズのものである。このような最大サイズのブロックは、例えば16×16、8×8、4×4、16×8、8×16...といったサイズの方形または矩形のサブブロックに再分割することができる。その後、ステップE0の際に、画像Ikのコーディングすべきブロックbcが、既定の画像Ikの行程の方向にしたがって選択される。
ステップE10の際に、カレントブロックbcをコーディングするための少なくとも2つの予測モードカテゴリが獲得される。ステップE11の間に、少なくとも1つの消去基準にしたがってカテゴリが消去され、E12では、未消去のカテゴリは、消去済みカテゴリと共通のモードを削除することによって更新される。
これらのステップは、図4A〜4Gに関連して本発明のさまざまな実施形態にしたがって以上で説明されている。
ステップE13の際に、更新されたカテゴリの予測モードの中から、カレントブロックbcをコーディングするための1つの予測モードが選択され、例えばカレントブロックについてのレート/歪みの最良の妥協点を提供する予測モードが選択される。
ステップE14の際に、選択された予測モードを識別する情報が、カレントブロックbcのために、コーディングされたデータフローSTR内でコーディングされる。例えば、このような情報は、固定長または可変長のコードによってコーディングされた指標idxの形で、ストリーム内でコーディングされる。
一変形実施形態によると、選択された予測モードが属するカテゴリを表わす情報がコーディングされ、次に、このカテゴリ内の予測モードの位置を表わす情報がコーディングされる。
本発明によると、カテゴリは、コーダおよびデコーダによって対称的に獲得、消去および更新されることから、コーダは、有利には、初期集合の予測モードの数に応じてではなくむしろ更新されたカテゴリの予測モードの数に応じて選択された予測モードをシグナリングするためのコードを選択することができる。したがってシグナリングは、よりコストの低いものとなる。
ステップE15の際に、カレントブロックbcから、およびステップE13の際に選択された予測モードに結び付けられた予測子ブロックPから、予測残余RESが計算される。予測残余RESは、コーディングすべきカレントブロックbcと予測子ブロックPとの間の差異によって得られる。
ステップE16の際に、公知の要領で、予測残余RESは次に、例えば変換DCTによって変換され、量子化される。こうして、量子化された変換済み残余係数が得られる。
ステップE17の際に、量子化された変換済み残余係数は、その後、コーディングされたデータフローSTRの形で、D.Marpe、H.Schwarz、T.Wiegand、「Context−based adaptive binary arithmetic coding in the H.264/AVC video compression standard」IEEE Transactions on Circuits and Systems for Video Technology (Volume:13、Issue:7)、pages 620〜636、July 2003に記載のCABACコーダなどのエントロピーコーディングモジュールによってコーディングされる。ステップE18の際に、量子化された変換済み係数に対して逆量子化および逆変換を適用することによって、予測残余RES’が再構築される。ステップE19の際に、ステップE13の際に選択された予測モードに結び付けられた予測子ブロックPに対して再構築された予測残余RES’を付加することにより、画素ブロックRECが再構築される。
ステップE20の際に、コーディングすべき画像の全てのブロックがコーディングされたか否かが確認される。コーディングされていない場合、コーディング方法はステップE10に戻り、コーディングすべき画像の既定の行程にしたがって後続ブロックに進む。
画像の全てのブロックが処理された場合には、ステップE21の際に、画像の再構築されたブロックRECから画像Ik recが再構築され、画像シーケンスの後続画像のコーディングの際に基準として後日使用されるように基準画像リスト内にセーブされる。
デコーディング方法
図7は、本発明の特定の実施形態にしたがってデコーディングすべき画像シーケンスI1、I2、...、INを表わすコーディングされたデータフローSTRのデコーディング方法のステップを提示する。
例えば、データフローSTRは、図1に関連して提示されたコーディング方法を介して生成されている。データフローSTRは、図9に関連して説明されているように、デコーディング装置DECの入力側で供給される。
デコーディング方法は、画像毎にフローのデコーディングに着手する。デコーディングすべき各画像について、デコーディング方法は、ブロック毎に画像のデコーディングに着手する。
ステップD0の際に、画像シーケンスI1、I2、...、INのデコーディングすべき画像Ikは、最大サイズのブロックにカットされる。最大サイズの各ブロックを、さらに小さいブロックに再度カットすることができる。例えば、最大サイズのブロックは、32×32の画素サイズのものである。このような最大サイズのブロックは、例えば16×16、8×8、4×4、16×8、8×16...といったサイズの方形または矩形のサブブロックに再分割することができる。その後、画像Ikのデコーディングすべきブロックbcが、既定の画像Ikの行程の方向にしたがって選択される。
再構築すべき画像のブロックbcについて、ステップE10の際に、予測モードのカテゴリが獲得される。E11では、少なくとも1つの消去基準に基づいてカテゴリが消去され、E12では、消去済みカテゴリと共通の予測モードを削除することによって、未消去カテゴリが更新される。これらのステップE10〜E12は、データフローSTRのコーディングの際に使用された実施形態と同一の特定の実施形態にしたがって実現される。これらのステップは、図1および2に関連して本発明のさまざまな実施形態にしたがって以上で説明されたサブステップ集合を含む。
ステップD20の際に、ブロックbcに対応するデータフローSTRのデータは、一方では、カレントブロックbcのコーディングモード(または予測モード)に関連する構文要素、他方では、カレントブロックbcの予測残余係数群を提供するために、エントロピーデコーディングモジュールによってデコーディングされる。デコーディングされた構文要素は特に、カレントブロックbcについて、本発明にしたがって更新された予測モードカテゴリの予測モードの中のうちの1つの予測モードを識別する予測モード情報を含む。例えば、更新されたカテゴリが、それを構成する予測モードと同様に、順序付けされていると仮定すると、このような情報は、残りの予測モードにより形成される順序付けされたリストの指標idxの形で、ストリームでコーディングされる。一変形形態によると、予測モード情報は、カテゴリ識別子および識別されたカテゴリ内の位置の指標idxの形でコーディングされる。
ステップD21の際に、ブロックbcの予測残余係数は逆量子化を受け、その後、デコーディングされた予測残余RES’を送出するために逆変換を受ける。
ステップD22の際に、カレントブロックbcは、デコーディングされた予測モードに結び付けられた予測子ブロックP、およびコーディングされたデータフローSTRからデコーディングされたカレントブロックbcに結び付けられた予測残余RES’から再構築される。予測子ブロックPは、ステップE10の際に先に計算されたものである。したがって、カレントブロックbcについての再構築されたブロックRECは、デコーディングされた予測残余RES’に対して予測子ブロックPを加えることによって得られる。
ステップD23の際に、デコーディングすべき画像の全てのブロックがデコーディングされ再構築されたか否かが確認される。デコーディングされていない場合、デコーディング方法はステップE10に戻り、デコーディングすべき画像の既定の行程にしたがって後続ブロックに進む。
画像の全てのブロックが処理された場合には、ステップD24の際に、再構築されたブロックRECから画像Ik recが再構築され、画像シーケンスの後続画像のデコーディングの際に基準として後日使用されるように基準画像リスト内にセーブされる。
先に説明したコーディングおよびデコーディング方法は、H.266、HEVC/H.265、AVC/H.264などの標準的映像コーダ/デコーダまたは、あらゆるタイプのプロプライエタリ映像コーダ/デコーダの中に統合され得る。本発明に係るコーディングおよびデコーディング方法は、同様に、利用可能な複数の予測モードを用いた予測コーディングを利用する固定画像およびさらに一般的には信号のあらゆるタイプのコーダ/デコーダにも適用される。
コーディングおよびデコーディング方法は、先に、空間的ブロックコーディング(イントラコーディング)の場合において説明されている。これらの方法は、例えばインターのような他のタイプのコーディングモードにしたがったブロックのコーディングの場合にも容易に適用される。こうして、構築された予測モードのリストは、さまざまなタイプのコーディングモード(イントラ、インター、インターレイヤ、...)を含み得る。
コーディング装置
図8は、本発明の特定の実施形態のいずれか1つに記載のコーディング方法を実施するために適応されたコーディング装置100の簡略化された構造を提示する。コーディング装置100は、コーディングされたデータフローの形で少なくとも1つの画像をコーディングするように適応されており、前記画像は、ブロックにカットされ、カレントブロックと呼ばれる前記画像のブロックを予測するために少なくとも2つの予測モードが利用可能である。
コーディング装置100は特に、
− 前記カレントブロックを予測するために利用可能な予測モード集合の中から少なくとも2つの予測モードカテゴリを獲得し、ここで利用可能な予測モードには1つの予測子ブロックが結び付けられており、
− 少なくとも1つの消去基準にしたがって少なくとも1つのカテゴリを消去し、
− 消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新し、
− 更新済みカテゴリの中から、カレントブロックをコーディングするための予測モードを選択し、
− 更新済みカテゴリ内の前記選択された予測モードを前記カレントブロックについて識別する情報を、データフロー内でコーディングする、
ように構成されている。
本発明の特定の一実施形態によると、コーディング方法のステップは、コンピュータプログラム命令によって実施される。このために、コーディング装置100は、コンピュータの従来のアーキテクチャを有し、特に、メモリMEM、例えば、マイクロプロセッサPROCを備えメモリMEM内に記憶されたコンピュータプログラムPGによって制御される処理ユニットUTを含む。コンピュータプログラムPGは、プログラムがプロセッサPROCによって実行された時点で、上述したようなコーディング方法のステップを実施するための命令を含んでいる。
初期化時点で、コンピュータプログラムPGのコード命令は、例えばメモリRAM内にロードされた後、プロセッサPROCによって実行される。処理ユニットUTのプロセッサPROCは、特に、コンピュータプログラムPGの命令にしたがって、上述のコーディング方法のステップを実施する。
本発明の別の特定の実施形態によると、コーディング方法は、機能的モジュールによって実施される。このために、コーディング装置CODはさらに以下のものを含んでいる:
− 前記カレントブロックを予測するために利用可能な予測モード集合の中から少なくとも2つの予測モードカテゴリを獲得するための獲得モジュールOBTであって、利用可能な予測モードには1つの予測子ブロックが結び付けられている獲得モジュール、
− 少なくとも1つの消去基準にしたがって少なくとも1つのカテゴリを消去するための消去モジュールELIM、
− 消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するための更新モジュールMAJ、
− 更新済みカテゴリの中から、カレントブロックをコーディングするための予測モードを選択するための選択モジュールSEL、
− 更新済みカテゴリ内の前記選択された予測モードを前記カレントブロックについて識別する情報を、データフロー内でコーディングするためのコーディングモジュールCOD。
処理ユニットUTは、上述のさまざまな機能的モジュールおよびメモリMEMと協働して、コーディング方法のステップを実施する。
上述のさまざまな機能的モジュールは、ハードウェアおよび/またはソフトウェアの形態をとることができる。ソフトウェアの形態では、このような機能的モジュールは、プロセッサ、メモリ、およびプロセッサによって実行された場合にモジュールに対応する機能を実施するためのプログラムコード命令を含むことができる。ハードウェアの形態では、このような機能的モジュールは、例えば非限定的にマイクロプロセッサ、信号処理プロセッサ(英語のDigital Signal Processorを略してDSP)、特定用途向け集積回路(英語のApplication Specific Integrated Circuitを略してASICs)、英語のField Programmable Gate Arraysを略してFPGA回路、論理ユニット配線などの、適応されたあらゆるタイプのエンコーディング回路によって実施され得る。
有利には、このような装置100はユーザ端末機器ETに統合することができる。このとき、装置100は、少なくとも端末ETの以下のモジュールと協働するように配設されている:すなわち、
− 特に予測モードカテゴリが記憶されているメモリMEM1;
− 例えば有線ネットワークまたは無線ネットワークなどの遠隔通信ネットワーク内で1つ以上のデコーダに向けてコーディング済みデータフローSTRを伝送するデータ送受信モジュールE/R1。
デコーディング装置
図9は、本発明の特定の実施形態のいずれか1つに記載のデコーディング方法を実施するために適応されたデコーディング装置200の簡略化された構造を提示する。デコーディング装置200は、少なくとも1つの画像を表わすコーディングされたデータフローをデコーディングするように適応されており、前記画像は、ブロックにカットされ、画像のカレントブロックと呼ばれるブロックを予測するために少なくとも2つの予測モードが利用可能である。デコーディング装置200は特に、
− 前記カレントブロックを予測するために利用可能な予測モード集合の中から少なくとも2つの予測モードカテゴリを獲得し、ここで利用可能な予測モードには1つの予測子ブロックが結び付けられており、
− 少なくとも1つの消去基準にしたがって少なくとも1つのカテゴリを消去し、
− 消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新し、
− 更新済みカテゴリの中から、カレントブロックをコーディングするための予測モードを選択し、
− 更新済みカテゴリの中から1つの予測モードを前記カレントブロックについて識別する情報を、コーディングされたデータフローからデコーディングし、
− 識別された前記予測モードに結び付けられた予測子ブロックから前記カレントブロックを再構築する、
ように構成されている。
本発明の特定の一実施形態によると、デコーディング装置200は、コンピュータの従来のアーキテクチャを有し、特に、メモリMEM0、例えばマイクロプロセッサPROC0を備えメモリMEM0内に記憶されたコンピュータプログラムPG0によって制御される処理ユニットUT0を含む。コンピュータプログラムPG0は、プログラムがプロセッサPROC0によって実行された時点で、上述のデコーディング方法のステップを実施するための命令を含んでいる。
初期化時点で、コンピュータプログラムPG0のコード命令は、例えばメモリRAM内にロードされた後、プロセッサPROC0によって実行される。処理ユニットUT0のプロセッサPROC0は、特に、コンピュータプログラムPG0の命令にしたがって、上述のデコーディング方法のステップを実施する。
本発明の別の特定の実施形態によると、デコーディング方法は、機能的モジュールによって実施される。このために、デコーディング装置200はさらに以下のものを含んでいる:
− 前記カレントブロックを予測するために利用可能な予測モード集合の中から少なくとも2つの予測モードカテゴリを獲得するための獲得モジュールOBT0であって、利用可能な予測モードには1つの予測子ブロックが結び付けられている獲得モジュール、
− 少なくとも1つの消去基準にしたがって少なくとも1つのカテゴリを消去するための消去モジュールELIM0、
− 消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するための更新モジュールMAJ0、
− 更新済みカテゴリの中のうちの1つの予測モードを前記カレントブロックについて識別する情報を、コーディングされたデータフローからデコーディングするためのデコーディングモジュールDC、
− 前記識別された予測モードに結び付けられた予測子ブロックから前記カレントブロックを再構築するための再構築モジュールRC。
処理ユニットUT0は、上述のさまざまな機能的モジュールおよびメモリMEM0と協働して、デコーディング方法のステップを実施する。
上述のさまざまな機能的モジュールは、ハードウェアおよび/またはソフトウェアの形態をとることができる。ソフトウェアの形態では、このような機能的モジュールは、プロセッサ、メモリ、およびプロセッサによって実行された場合にモジュールに対応する機能を実施するためのプログラムコード命令を含むことができる。ハードウェアの形態では、このような機能的モジュールは、例えば非限定的にマイクロプロセッサ、信号処理プロセッサ(英語のDigital Signal Processorを略してDSP)、特定用途向け集積回路(英語のApplication Specific Integrated Circuitを略してASICs)、英語のField Programmable Gate Arraysを略してFPGA回路、論理ユニット配線などの、適応されたあらゆるタイプのエンコーディング回路によって実施され得る。
有利には、このような装置200は端末機器ETに統合することができる。このとき、装置200は、少なくとも端末ETの以下のモジュールと協働するように配設されている:すなわち、
− 特に予測モードカテゴリが記憶されているメモリMEM2;
− 例えば1つのコーダに由来して有線ネットワークまたは無線ネットワークなどの遠隔通信ネットワークからビットストリームSTRを受取るデータ送受信モジュールE/R2。
当然のことながら、上述の実施形態は、全く限定的でなく純粋に一例として示されたものであり、当業者であれば、本発明の枠から逸脱することなく多くの修正を容易に加えることができる。
100 コーディング装置
200 デコーディング装置

Claims (11)

  1. 少なくとも1つの画像(Ik)を表わすコーディングされたデータフロー(STR)のデコーディング方法において、前記画像がブロック(bc)にカットされており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードの集合が利用可能である方法であって、前記方法は以下のステップ:
    − フローのコーダと類似の方法で、集合から少なくとも2つの予測モードカテゴリを獲得するステップ(E10)と;
    − 少なくとも1つの第1の既定の消去基準にしたがって、少なくとも1つのカテゴリを消去するステップ(E11)と;
    − 少なくとも1つの消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するステップ(E12)と;
    − カレントブロックについて、更新されたカテゴリのモードの中から1つの予測モードを識別する情報をデータフローからデコーディングするステップ(D20)と;
    を含むことを特徴とする方法。
  2. コーディングされたデータフローの形での画像のコーディング方法において、前記画像がブロックに分割されており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モード1つの集合が利用可能である方法であって、前記方法は以下のステップ:
    − フローのデコーダと類似の方法で、集合から少なくとも2つの予測モードカテゴリを獲得するステップ(E10)と;
    − 少なくとも1つの第1の既定の消去基準にしたがって、少なくとも1つのカテゴリを消去するステップ(E11)と;
    − 少なくとも1つの消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するステップ(E12)と;
    − 更新されたカテゴリのうちの1つの中で1つの予測モードを選択するステップ(E13)と;
    − 更新されたカテゴリの予測モードの中から選択された予測モードを識別する情報をコーディング(E14)し、コーディングされたデータフロー中にコーディングされた情報を挿入するステップと;
    を含むことを特徴とする方法。
  3. 獲得ステップには、メモリ内で前記カテゴリの識別情報を読取るステップ(E101)が含まれることを特徴とする、請求項1または2に記載の方法。
  4. 獲得ステップには、既に処理されたブロックのコンテンツの少なくとも1つの特性を解析するステップ(E102)と、少なくとも1つの予測モードグループ化基準から、解析された少なくとも1つの特性に応じて、カテゴリを作成するステップ(E103)とが含まれることを特徴とする、請求項1〜3のいずれか1つに記載の方法。
  5. 獲得したカテゴリについて、このカテゴリを代表する1つの予測モードを決定するステップ(E121)を含むこと、およびカテゴリの消去ステップには、代表的予測モードを消去すること(E122)が含まれ、カテゴリの消去が、このカテゴリを代表する予測モードの消去によって開始されることを特徴とする、請求項1〜4のいずれか1つに記載の方法。
  6. 獲得したカテゴリについて、カテゴリの消去ステップ(E11)には、その予測モードを連続的に消去することとカテゴリ内の消去済み予測モードの数を既定の閾値と比較することとが含まれ、カテゴリの消去が、消去済みモードの数が閾値を上回った場合に開始されることを特徴とする、請求項1〜4のいずれか1つに記載の方法。
  7. 獲得したカテゴリについて、前記カテゴリが1つの予測モードグループ化基準に結び付けられることから、コンテンツの1つの特性を提供することを目的とする既に処理された隣接ブロックのコンテンツを解析するステップを含むこと、および特性とグループ化基準が互いに相容性の無いものである場合に、消去ステップがカテゴリを消去することを特徴とする、請求項1〜4のいずれか1つに記載の方法。
  8. 少なくとも1つの画像を表わすコーディングされたデータフロー(STR)のデコーディング装置(200)において、前記画像がブロックにカットされており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードの集合が利用可能である装置であって、前記装置が、
    − フローのコーダと類似の方法で、集合から少なくとも2つの予測モードカテゴリを獲得し;
    − 少なくとも1つの第1の既定の消去基準にしたがって、少なくとも1つのカテゴリを消去し;
    − 少なくとも1つの消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新し;
    − カレントブロックについて、更新されたカテゴリのモードの中から1つの予測モードを識別する情報をデータフローからデコーディングする;
    ように構成されていることを特徴とする装置。
  9. コーディングされたデータフローの形での画像のコーディング装置(100)において、前記画像がブロックにカットされており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードのうちの1つの集合が利用可能である装置であって、前記装置が、
    − フローのデコーダと類似の方法で、集合から少なくとも2つの予測モードカテゴリを獲得し;
    − 少なくとも1つの第1の既定の消去基準にしたがって、少なくとも1つのカテゴリを消去し;
    − 少なくとも1つの消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新し;
    − 更新されたカテゴリのうちの1つの中で1つの予測モードを選択し;
    − 更新されたカテゴリの予測モードの中から選択された予測モードを識別する情報をコーディングし、コーディングされたデータフロー中にコーディングされた情報を挿入する;
    ように構成されていることを特徴とする装置。
  10. 請求項9に記載のコーディングされたデータフローへと少なくとも1つの画像をコーディングする装置(100)と、請求項8に記載のコーディングされたデータフローをデコーディングする装置(200)とを含む端末機器(ET)。
  11. プロセッサによって実行された場合に、請求項1〜7のいずれか1つに記載の方法を実施するための命令を含むコンピュータプログラム。
JP2018568769A 2016-06-29 2017-06-19 デジタル画像のイントラコーディング方法および対応するデコーディング方法 Active JP7059207B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1656137A FR3053555A1 (fr) 2016-06-29 2016-06-29 Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal et programmes d'ordinateurs associes
FR1656137 2016-06-29
PCT/FR2017/051608 WO2018002474A1 (fr) 2016-06-29 2017-06-19 Procédé de codage intra d'une image numérique et procédé de décodage correspondant

Publications (2)

Publication Number Publication Date
JP2019520005A true JP2019520005A (ja) 2019-07-11
JP7059207B2 JP7059207B2 (ja) 2022-04-25

Family

ID=56842910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018568769A Active JP7059207B2 (ja) 2016-06-29 2017-06-19 デジタル画像のイントラコーディング方法および対応するデコーディング方法

Country Status (7)

Country Link
US (1) US10812814B2 (ja)
EP (1) EP3479572A1 (ja)
JP (1) JP7059207B2 (ja)
KR (1) KR102415261B1 (ja)
CN (1) CN109417618A (ja)
FR (1) FR3053555A1 (ja)
WO (1) WO2018002474A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210250579A1 (en) * 2018-06-20 2021-08-12 Realnetworks, Inc. Intra-picture prediction in video coding systems and methods
FR3098073B1 (fr) * 2019-06-25 2021-09-24 Fond B Com Procédé de codage et de décodage d’une image d’une séquence vidéo et dispositif associé
CN111614960B (zh) * 2020-05-25 2022-09-02 绍兴文理学院 按图像内容特征进行帧级划分的快速编解码方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176073A (ja) * 2003-12-12 2005-06-30 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2006186972A (ja) * 2004-12-03 2006-07-13 Matsushita Electric Ind Co Ltd イントラ予測装置
JP2007189276A (ja) * 2006-01-11 2007-07-26 Victor Co Of Japan Ltd 画像圧縮装置及び画像圧縮プログラム
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体
JP2014187535A (ja) * 2013-03-22 2014-10-02 Fujitsu Ltd 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2016509433A (ja) * 2013-02-06 2016-03-24 クゥアルコム・インコーポレイテッドQualcomm Incorporated 縮小された記憶域を伴うイントラ予測モード決定

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
JP5396600B2 (ja) * 2008-07-01 2014-01-22 オランジュ 改善された予測を実施する画像符号化方法および装置と、対応する復号化方法および装置と、信号およびコンピュータ・プログラム
US8295623B2 (en) * 2008-10-14 2012-10-23 France Telecom Encoding and decoding with elimination of one or more predetermined predictors
HUE051313T2 (hu) * 2009-10-01 2021-03-01 Sk Telecom Co Ltd Eljárás és készülék képek változtatható méretû makroblokkok használatával történõ kódolására/dekódolására
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US20120243606A1 (en) * 2010-09-24 2012-09-27 Nokia Corporation Methods, apparatuses and computer programs for video coding
EP3453174A1 (en) * 2016-05-06 2019-03-13 VID SCALE, Inc. Method and system for decoder-side intra mode derivation for block-based video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176073A (ja) * 2003-12-12 2005-06-30 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2006186972A (ja) * 2004-12-03 2006-07-13 Matsushita Electric Ind Co Ltd イントラ予測装置
JP2007189276A (ja) * 2006-01-11 2007-07-26 Victor Co Of Japan Ltd 画像圧縮装置及び画像圧縮プログラム
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体
JP2016509433A (ja) * 2013-02-06 2016-03-24 クゥアルコム・インコーポレイテッドQualcomm Incorporated 縮小された記憶域を伴うイントラ予測モード決定
JP2014187535A (ja) * 2013-03-22 2014-10-02 Fujitsu Ltd 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JABALLAH, SAMI ET AL.: "Clustering-based fast intra prediction mode algorithm for HEVC", 2015 23RD EUROPEAN SIGNAL PROCESSING CONFERENCE (EUSIPCO), JPN6021023203, 28 December 2015 (2015-12-28), pages 1850 - 1854, ISSN: 0004531964 *
LI, GUICHUN ET AL.: "Using MPS to encode extended UDI mode numbers for robustness", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 5TH M, vol. JCTVC-E113 (version 4), JPN6021023205, 21 March 2011 (2011-03-21), pages 1 - 4, ISSN: 0004531963 *

Also Published As

Publication number Publication date
FR3053555A1 (fr) 2018-01-05
US20190174138A1 (en) 2019-06-06
US10812814B2 (en) 2020-10-20
KR20190022495A (ko) 2019-03-06
KR102415261B1 (ko) 2022-06-30
EP3479572A1 (fr) 2019-05-08
WO2018002474A1 (fr) 2018-01-04
CN109417618A (zh) 2019-03-01
JP7059207B2 (ja) 2022-04-25

Similar Documents

Publication Publication Date Title
CN111466115B (zh) 用于逐块图片编码的帧内预测模式概念
US11159789B2 (en) Generative adversarial network based intra prediction for video coding
US8285064B2 (en) Method for processing images and the corresponding electronic device
US10965938B2 (en) Method and apparatus for encoding a video
US20200053368A1 (en) Method and apparatus for encoding a video
JP2019520005A (ja) デジタル画像のイントラコーディング方法および対応するデコーディング方法
US20210218977A1 (en) Methods and systems of exponential partitioning
KR20190090867A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
García Aranda et al. Logarithmical hopping encoding: a low computational complexity algorithm for image compression
CN110476422A (zh) 图像编码装置、图像编码方法和图像编码程序、图像解码装置、图像解码方法和图像解码程序
US10827179B2 (en) Method for coding and decoding image parameters, device for coding and decoding image parameters and computer programs corresponding thereto
RU2270530C2 (ru) Способ и устройство для запоминания и обработки видеоинформации следующих по времени друг за другом изображений
US10045022B2 (en) Adaptive content dependent intra prediction mode coding
WO2015068051A2 (en) Method for encoding and decoding a media signal and apparatus using the same
US11350134B2 (en) Encoding apparatus, image interpolating apparatus and encoding program
US10805638B2 (en) Method for coding a digital image, decoding method, devices, terminal equipment and related computer programs
JP2024510433A (ja) ビデオ圧縮のための時間的構造ベースの条件付き畳み込みニューラルネットワーク
GB2368248A (en) Image compression using iterative intraframe predictive coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210914

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20210915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220413

R150 Certificate of patent or registration of utility model

Ref document number: 7059207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150