JP2019533348A - 基準サンプルが欠落している場合、イントラ予測を改善する方法 - Google Patents

基準サンプルが欠落している場合、イントラ予測を改善する方法 Download PDF

Info

Publication number
JP2019533348A
JP2019533348A JP2019515624A JP2019515624A JP2019533348A JP 2019533348 A JP2019533348 A JP 2019533348A JP 2019515624 A JP2019515624 A JP 2019515624A JP 2019515624 A JP2019515624 A JP 2019515624A JP 2019533348 A JP2019533348 A JP 2019533348A
Authority
JP
Japan
Prior art keywords
prediction unit
direction mode
available
reference samples
filling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019515624A
Other languages
English (en)
Other versions
JP2019533348A5 (ja
JP7365234B2 (ja
Inventor
ラケイプ,ファビアン
ギャルピン,フランク
ポワリエ,タンギ
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド, インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2019533348A publication Critical patent/JP2019533348A/ja
Publication of JP2019533348A5 publication Critical patent/JP2019533348A5/ja
Priority to JP2023174089A priority Critical patent/JP2023175946A/ja
Application granted granted Critical
Publication of JP7365234B2 publication Critical patent/JP7365234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

フレーム内予測の方法は、従来のパディングプロセスに起因して、本発明を使用しない場合には無駄になる幾つかのイントラ方向モードの回復を可能にする。方向モードは、無駄である方向モードのカウンターパート方向モードを使用しての使用に利用可能なサンプルを有すると判断されたユニットの部分からのサンプリングで、予測ユニット内のピクセルロケーションを埋めることによって回復される。特定の方向モードを所与として、特定の予測ユニット又はその一部で基準サンプルが欠落していると判断される場合、予測ユニットの別の部分に沿った基準サンプルが利用可能であるかどうかについて判断される。別の部分とは、特定の方向モードの逆端部における予測ユニットの側である。そのような基準サンプルが利用可能であると判断される場合、基準サンプルが利用可能ではないことにより無駄になる特定の方向モードをそれらのカウンターパート方向モードで置換することにより、イントラ方向モードの数を拡張することが可能である。【選択図】図4

Description

発明の分野
本発明は、デジタルビデオ圧縮に関し、より詳細には、イントラ予測に必要な近傍基準サンプルがない場合、イントラ予測を改善する方法に関する。
発明の背景
デジタルビデオ圧縮技術には、幾つかの技術規格及び競合する技法が豊富にある。例えば、以下の例示的な技法がある。
・ITU−T、高効率ビデオ符号化(HEVC)、推奨ITU−T H.265|国際規格ISO/IEC23008−2として2014年に公開されたH.265及びMPEG−Hパート2としても知られる高効率ビデオ符号化(HEVC)、
・ITU−T、Rec.H264|ISO/IEC14496−10AVC(MPEG−4)として2002年に公開されたH.264又はMPEG−4パート10としても知られる高度動画圧縮符号化(AVC)、並びに
・「A VP9 Bitstream Overview draft-grange-vp9-bitstream-00」という名称であり、2013年2月18日にIETF Network Working Groupに対して行われたA.Grangeらによる提出(XP015090122)において記載された、Googleパートナーシップによって現在開発中のオープンビデオ圧縮フォーマットであると言えるVP9。
各デジタルビデオ圧縮技法は、一般にイントラ予測と表現されるフレーム内予測の使用を含む。イントラ予測は、現在利用可能な、前に復号若しくは再構築されたサンプル、又は復号/再構築されたサンプルが利用不可能な場合、パディングされたサンプルのいずれかである基準サンプルの近傍形状を埋め、次に、使用中のイントラ予測方向モードに従って近傍形状内でこれらの基準サンプルを伝播させることを含むものとしてかなり一般的な表現で説明することができる。そのような予測プロセスでは、イントラ予測方向モードは近傍ピクセルを伝播して、予測ユニット(PU)としても知られている現在ブロックを予測する。
イントラフレーム予測は、現在ブロックの周囲の前に復号されたサンプル(ピクセル)に依拠するため、近傍からの幾つかのサンプルは、基準サンプルとしての使用に利用可能ではないことがある。そのようなサンプルの不在又は利用不可能性は、特に、画像の境界、四分木構造、及びブロックのスキャン順序によって生じ得る。一般に、ピクセルパディングが実行されて、サンプルが利用可能ではないブロックロケーションを埋める。例えば、HEVCにおいて、予期される基準サンプルが利用可能ではない場合、予測プロセスは、予期される基準サンプルが欠落しているか、又は利用不可能なロケーションに、利用可能な最も近い基準サンプルの値をコピーすることによって続けられる。基準ピクセルゾーン全体が前に復号されたピクセル及びパディングされたピクセルで埋められるため、このようにして、全てのイントラ方向モードが利用可能である。
図1の左の画像に示されるように、基準サンプルの側部全体が欠落している場合、全ての基準サンプルは同じ値を有する定めにある。そしてこれは、無駄な方向モードを有するイントラ予測プロセスに繋がる。
図1は、左側のピクセルが欠落しているブロック(すなわち、予測ユニットPU)での予測の段階を示す。この場合、それらの全てのピクセルには、図1の右側に示されるように、左下から右上にL字形に基準ピクセルをスキャンする際に利用可能な最初のピクセルの値が割り当てられる。HEVC規格の場合、図1に示されている2〜9の範囲の方向モードは、利用される全ての基準ピクセルが同じ値を有するため、実質的に無駄になる。モード2〜9でも同じように、図1に示される方向モード27〜34は、上の近傍が利用可能ではない場合、実質的に無駄になる。
予測プロセスにおいて、万が一、任意の上記識別した方向モードを利用する場合、現在ブロック(又はPU)内の全てのピクセルには同じ基準値が割り当てられることになるため、これらのピクセルに割り当てられた値が、1組の基準ピクセルからの平均値ではなく、その代わり、図1に示されるようにパディングされた値であることを除き、ある意味で実質的にDCモードの使用と同様である。それにも関わらず、これらの方向モードのいずれの適用も同じ結果、すなわち、いずれも無駄になり、正確なイントラ予測には役に立たないという結果に繋がる。
発明の概要
本明細書に開示される方法の教示を利用することにより、従来のパディングプロセスに起因して、普通ならば無駄になる幾つかのイントラ方向モードを回復させることが可能である。本発明の一態様によれば、方向モードは、使用できるサンプルを有すると判断されたユニットの部分からのサンプルで、予測ユニット内のピクセルロケーションを埋めることによって回復する。特定の場合、基準サンプルはそれでもなお欠落しているか、又は使用できないことがあるが、本方法の原理によるパディングは、考慮されるイントラ方向モードに対応するよりよいピクセル値を利用する。
基準サンプルが、特定の方向モードを所与として、特定の予測ユニット又はその一部の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、予測ユニットの別の部分に沿った基準サンプル(ピクセル)が利用可能であるかどうかについて判断され、ここで、別の部分とは、特定の方向モードの逆端部における予測ユニットの側である。そのような基準サンプルが利用可能であると判断される場合、無駄になる(基準サンプルが利用可能ではないことにより)特定の方向モードを逆向きのカウンターパート方向モードで置換することにより、イントラ方向モードの数を拡張することが可能である。
別の実施形態では、特定の方向モードからその逆向きのカウンターパート方向モードに切り替える必要性を推測するために、側部全体の基準サンプルの不在を検出することにより、追加のシンタックス等からのデータオーバーヘッドの増大を回避することが可能である。
別の実施形態では、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法が提供され、上記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、上記フレーム内予測は、特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することを含む。1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、本方法は、1つ又は複数の基準サンプルが予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う、判断することを更に含む。1つ又は複数の基準サンプルが特定の方向モードの逆端部において利用可能であると判断される場合、本方法は、特定の方向モードを特定の方向モードの逆向きのカウンターパート方向モードで置換することと、カウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋めることとを更に含む。
別の実施形態では、デジタルビデオ画像を圧縮する装置であって、上記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、本装置は、複数の命令を記憶するメモリと、メモリに結合され、フレーム内予測の動作を含む上記ビデオ画像圧縮を実行するように構成されるプロセッサとを含む、装置が提供される。プロセッサは、特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することにより、上記フレーム内予測を実行するように構成される。1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う、判断すること。1つ又は複数の基準サンプルが特定の方向モードの逆端部において利用可能であると判断される場合、特定の方向モードを特定の方向モードの逆向きのカウンターパート方向モードで置換すること及びカウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋めること。
別の実施形態では、1つ又は複数の実行可能な命令が記憶された非一時的コンピュータ可読媒体であって、実行可能な命令は、プロセッサによって実行されると、プロセッサに、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行させ、上記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含む、非一時的コンピュータ可読媒体が提供される。フレーム内予測は、特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することを含む。1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う、判断すること。1つ又は複数の基準サンプルが特定の方向モードの逆端部において利用可能であると判断される場合、特定の方向モードを特定の方向モードの逆向きのカウンターパート方向モードで置換すること及びカウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋めること。
別の実施形態では、メモリ及びプロセッサを含む、ビデオ画像ブロックを送信する装置が提供される。プロセッサは、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行するように構成され、上記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含む。フレーム内予測は、特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することを含む。1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う、判断すること。1つ又は複数の基準サンプルが特定の方向モードの逆端部において利用可能であると判断される場合、特定の方向モードを特定の方向モードの逆向きのカウンターパート方向モードで置換すること及びカウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋めること。
本方法が、基準サンプルが欠落しているか、又は使用に利用不可能であり、予測ユニットの最良の伝播方向モードが、利用不可能なサンプルの従来のパディングによってカバーされない場合、従来技術による技法を超えてイントラ予測を改善することが当業者には理解されよう。
図面の簡単な説明
本発明の教示は、添付図面と併せて以下の詳細な説明を考慮することによって容易に理解することができる。
特定の基準サンプルが欠落しているか、又は予測での使用に利用不可能である現在予測ユニット(PU)又はブロックを示す。 本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。 本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。 本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。 本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。 本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。
図面が、本発明の概念を示すことを目的としており、必ずしも、本発明を示すための唯一の可能な構成ではないことを理解されたい。理解を促進するために、可能な場合、図に共通の同一要素を示すために、同一参照番号が使用されている。
詳細な説明
本明細書に開示される趣旨は、基準サンプルが欠落しているか、又は利用不可能な場合、デジタルビデオ圧縮でのフレーム内予測を改善する方法を記載する。本発明は時折、特定のデジタルビデオ圧縮技法の状況内で主に説明され得るが、本発明による方法の特定の実施形態は、本発明の趣旨の範囲を限定するものとして扱われるべきではない。本発明の概念が、有利なことに、デジタルビデオ画像を圧縮するための略あらゆるフレーム内予測の改善に適用可能なことが当業者には理解され、本明細書における教示によって情報が与えられよう。
「基準サンプル」及び「基準ピクセル」なる用語は、意味に限定されずに同義で使用されることが意図される。一貫性及び理解の容易さのために、「基準サンプル」なる用語のみが、以下の説明において専ら使用される。
上述したように、基準サンプルの側部全体が欠落し、ひいては、図1の左側に示されるように、使用に利用不可能であることは希ではない。この側の全ての基準サンプルは同じ値を有する。この場合、予測ユニットにおけるそれらの全てのピクセルには、図1の右側に示されるように、左下から右上にL字形に基準ピクセルをスキャンする際に最初の基準ピクセルの値が割り当てられる。そしてこれは、図1における方向モード2〜9を事実上、無駄にし、予測ユニットの予測プロセスの有効性及び正確性を弱める。
フレーム内予測プロセスの正確性及び有効性は、図1に関連して説明した従来のパディングプロセスに起因して、本明細書を用いない場合には無駄になる幾つかのイントラ方向モードを回復することが可能であるため、本明細書に開示される方法の教示に従って改善する。幾つかのイントラ方向モードの回復は、特定の方向モードで、予測ユニットの別の部分−上記別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う−に沿って、使用に利用可能な基準サンプルが存在するかどうかを判断し、次に、無駄になる(基準サンプルが利用不可能なことにより)特定の方向モードを逆向きのカウンターパート方向モードで置換することによって実現される。
方法が、まず、特定の方向モードを所与として、特定の予測ユニット又はその一部の基準サンプルが利用不可能であるかどうか、又は欠落しているかどうかを判断することを含むことができることが意図される。図1(及び後続図)に示される予測ユニットの例では、この初期判断は、基準サンプルが全て予測ユニットの左側に沿って欠落しているか、又は利用不可能であることを識別する。これらの欠落した基準サンプルは、例えば、イントラ方向モード2〜9に沿って実行されるスキャンにおいて使用される。しかし、基準サンプルは欠落しており、利用不可能であるため、上記識別された方向モード2〜9は事実上、無駄になり、それにより、フレーム内予測プロセスの正確性及び有効性を損なう。
HEVCの場合、予測ユニットの左側部分及び上側部分に沿って図に示される基準サンプルL字形が、s=2b+1として定義されるサイズsを有することが当業者には理解され、式中、bは現在予測ユニットのサイズを示す。予測ユニットはイントラモードでは正方形であるため、予測ユニットのサイズは一般に、同じ高さ及び幅である。これらの寸法を所与として、当分野における従来の充填技術に反して、現在予測ユニットのピクセルの全てが、これらの方向モードを使用して正確な基準サンプルで埋めることができるわけではないことを理解することができる。より一般には、多数の基準サンプルが予測ユニットの左上で利用可能である場合であっても、図2に示されるこれらの新しい方向の幾つかは、有意味なサンプルで予測ユニット全体をカバーすることができないであろう。例えば、予測ユニットを横切る実線及びユニットの右側にある左向きの矢印により図2に示されるように、HEVCの方向モード6とは逆向きのモードは、有効予測のために全てのピクセルをカバーすることができるわけではなく、実線の傾斜線の下の予測ユニットの問題となっているエリアをカバーしないまま残す。
実行可能な基準サンプルが欠落しているか、又は利用不可能であることが分かると、予測ユニットの別の部分に沿って1つ又は複数の基準サンプルが利用可能であるかどうかについての更なる判断をなすことができる。特に、この判断は、特定の方向モードの逆端部における予測ユニットの側にフォーカスされる。換言すれば、元の方向モードがモード2〜9であった場合、この判断は、サンプルが方向モード2〜9の逆又は遠端部にあると言える予測ユニットの上縁部に沿った実行可能な基準サンプルの利用可能性を探る−ここでも、これらの方向モードの近端部には実行可能な基準サンプルがないことを理解されたい。
そのような基準サンプルが、元の方向モードの逆端部で利用可能であると判断される場合、方法は、基準サンプルが不在又は利用可能ではないことにより無駄になる元の特定の方向モードを元の特定の方向モードとは逆向きのカウンターパート方向モードで置換することにより、イントラ方向モードの数を拡張することによって進む。このようにして、カウンターパート方向モードにより、新たに決定された利用可能な基準サンプルをフレーム内予測プロセスで使用することが可能になる。図4に示されるように、例えば、方向モード6は、予測ユニットの右側に示されている逆向きのカウンターパート方向モードで置換される。これにより、予測プロセスは、予測ユニットの上縁部に沿って存在する基準サンプルを使用して進むことができる。
このようにして、本方法は、基準サンプルが欠落しているか、又は使用に利用不可能であり、予測ユニットの最良の伝播方向モードが、利用不可能なサンプルの従来のパディングによってカバーされない場合、従来技術による技法を超えてフレーム内予測を改善する。改善は、元の方向モードの逆端部で見つけられる、欠落した又は利用不可能なサンプルよりも良好な基準サンプルの使用から実現される。
関連する利用可能なサンプル値を用いた予測ブロック(すなわち、予測ユニット)の充填動作を実行する幾つかの実施形態が意図され、以下に開示される。
図4は、上述した方法により埋められた予測ユニットを示す。予測ユニットの左縁部に沿って使用するための基準サンプルは利用可能でなかった。開示される方法の原理によれば、ユニットの右側に示されているカウンターパート方向モードが、事実上無駄になる元の方向モードの代わりになった−すなわち、置換した。予測ユニットの未充填エリアから予測ユニットの充填エリアを分ける、カウンターパート方向モードと平行する外挿された実線が示されている。実験の実施から、利用可能な全ての基準ピクセルが、外挿された実線の上のエリアにおいてカウンターパート方向モードの考慮される方向に沿って伝播した場合、残っている未充填領域を最後の基準サンプルの値で埋めることにより、方法を強化することができることが分かった。この基準サンプルの値は、未充填領域を区切る外挿線の遠端部における枠として示されている。予測ユニットが、利用可能な基準サンプルの値で完全に埋められると、フレーム内予測プロセスを進めることができる。
図5は、上述した方法により埋められた予測ユニットを示す。予測ユニットの左縁部に沿って使用するための基準サンプルは利用可能でなかった。開示される方法の原理によれば、ユニットの右側に示されているカウンターパート方向モードは、欠落している基準サンプルによって事実上、無駄になる元の方向モードを置換した。予測ユニットの未充填エリアから予測ユニットの充填エリアを分ける、カウンターパート方向モードと平行する外挿された実線が示されている。実験の実施から、利用可能な全ての基準ピクセルが、外挿された実線の上のエリアにおいてカウンターパート方向モードの考慮される方向に沿って伝播した場合、外挿線の法線方向において生じるサンプル値の変化を考慮に入れるサンプル値で残りの未充填領域を埋めることにより、方法を強化することができることが分かった。図5に示されるように、外挿線の下のエリアへの予測ユニットのピクセルに割り当てられる値は、計算され、外挿線に直交して示されている方向に沿った陰影の連続した減少を反映する。外挿線の下のエリアが埋められるにつれて、ピクセルのサンプル値は、法線方向に沿って観測される変化に従って変更される。サンプル値が外挿によって計算されるか、又は幾つかの他の形態のモデリングによって計算されるかに関係なく、外挿線の下のピクセル値は、利用可能な基準サンプルに基づく。予測ユニットが、利用可能な基準サンプルの値で完全に埋められると、フレーム内予測プロセスを進めることができる。
図6は、上述した方法により埋められた予測ユニットを示す。予測ユニットの左縁部に沿って使用するための基準サンプルは利用可能でなかった。開示される方法の原理によれば、ユニットの右側に示されているカウンターパート方向モードは、欠落している基準サンプルによって事実上、無駄になる元の方向モードを置換した。予測ユニットの未充填エリアから予測ユニットの充填エリアを分ける、カウンターパート方向モードと平行する外挿された実線が示されている。実験の実施から、利用可能な全ての基準ピクセルが、外挿された実線の上のエリアにおいてカウンターパート方向モードの考慮される方向に沿って伝播した場合、カウンターパート方向モードを使用して外挿線の上のエリアを埋める際に使用される利用可能な基準サンプルの平均として導出される同じサンプル値で残りの未充填領域を埋めることにより、方法を強化することができることが分かった。これは、線の下のエリアにDC様モードを使用することに対応する。予測ユニットが利用可能な基準サンプルの値で完全に埋められる場合、フレーム内予測プロセスを進めることができる。
図7は、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法700の一実施形態を示す。方法は、開始ブロック701において開始され、ブロック710に進み、特定の方向モードを所与として、予測ユニット又はその一部の1つ又は複数の基準サンプルが利用不可能であるかどうか、又は欠落しているかどうかを判断する。これらのサンプルが利用不可能な場合、制御はブロック720に進み、予測ユニットの別の部分に沿って1つ又は複数の基準サンプルが利用可能であるかどうかを判断し、ここで、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う。これらのサンプルが利用可能な場合、制御は開始ブロック701に戻る。ブロック720において、予測ユニットの別の部分に沿って1つ又は複数の基準サンプルが利用可能であると判断される場合、制御はブロック730に進み、特定の方向モードとは逆向きのカウンターパート方向モードで特定の方向モードを置換する。予測ユニットの別の部分に沿って1つ又は複数の基準サンプルが利用可能であると判断されない場合、制御は開始ブロック701に戻る。ブロック730後、制御はブロック740に進み、カウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋める。
図8は、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する装置800の一実施形態を示す。装置800は、ビデオ画像データを含む少なくとも1つの入力を受信し、出力ポートも利用可能であり得るメモリ820と信号通信するプロセッサ810を含む。プロセッサ810は、少なくとも1つの出力ポートを含むこともできる。プロセッサ810は、図7の方法を実行するように構成される。
特定の方向モードからその逆向きのカウンターパート方向モードに切り替える必要性を推測するために、側部全体の基準サンプルの不在を検出することにより、追加のシンタックス等からのデータオーバーヘッドの増大を回避することが可能である。
図に示される様々な要素の機能は、専用ハードウェア及び適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアの使用を通して提供することができる。プロセッサによって提供される場合、機能は、1つの専用プロセッサにより、1つの共有プロセッサにより、又は幾つかを共有することができる複数の個々のプロセッサにより提供することができる。さらに、「プロセッサ」又は「コントローラ」なる用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを専ら指すものとして解釈されるべきではなく、限定ではなく、デジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶する読み取り専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、及び不揮発性記憶装置を暗黙的に含むことができる。さらに、本発明の原理、態様、及び実施形態並びにその具体例を記載した本明細書における全ての文章は、その構造的均等物及び機能的均等物の両方を包含するものである。さらに、そのような均等物は、現在既知の均等物及び将来開発される均等物(すなわち、構造に関係なく、同じ機能を実行する、開発されるあらゆる要素)の両方を含むものである。
したがって、例えば、本明細書に提示されるブロック図が、本発明の原理を実施する例示的なシステム構成要素及び/又は回路の概念図を表すことが当業者には理解されよう。同様に、任意のフローチャート、流れ図、状態遷移図、疑似コード等が、コンピュータ可読媒体において実質的に表し得、したがって、コンピュータ又はプロセッサが明示的に示されるかどうかに関係なく、そのようなコンピュータ又はプロセッサによって実行し得る様々なプロセスを表すことが理解されよう。
基準サンプルが欠落しているか、又は利用可能ではない場合、デジタルビデオ圧縮においてフレーム内予測を改善する方法の様々な実施形態を説明したが、上記教示に鑑みて当業者により方法の変更及び変形を行うことができることに留意する。したがって、開示される本発明の特定の実施形態に変更を行うことが可能であり、変更が本発明の範囲内であることを理解されたい。上記は本発明の様々な実施形態に関するが、本発明の基本範囲から逸脱せずに、本発明の他の更なる実施形態を考案し得る。

Claims (12)

  1. フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法であって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、前記フレーム内予測は、
    特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
    1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、前記予測ユニットの前記別の部分は、前記特定の方向モードの逆端部における前記予測ユニットの側に沿う、判断することと、
    1つ又は複数の基準サンプルが前記特定の方向モードの前記逆端部において利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
    前記カウンターパート方向モードを使用して前記利用可能な基準サンプルで前記予測ユニットを埋めることと、
    を含む、方法。
  2. 前記埋めることは、
    前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域で使用された最後の基準サンプルと略同一である基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
    を更に含む、請求項1に記載の方法。
  3. 前記埋めることは、
    前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記カウンターパート方向モードの法線方向に沿って生じる前記基準サンプルの変化の関数として決定される、計算された基準サンプルで、前記1つの連続領域外の前記予測ユニットの領域を埋めること
    を更に含む、請求項1に記載の方法。
  4. 前記埋めることは、
    前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域を埋めるのに使用された前記利用可能な基準サンプルの平均として値が計算される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
    を更に含む、請求項1に記載の方法。
  5. 前記埋めることは、
    前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記デジタルビデオ画像と共にデータとして値が送信される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
    を更に含む、請求項1に記載の方法。
  6. デジタルビデオ画像を圧縮する装置であって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、前記装置は、
    複数の命令を記憶するメモリと、
    前記メモリに結合され、フレーム内予測の動作を含む前記ビデオ画像圧縮を実行するように構成されるプロセッサと、
    を含み、前記プロセッサは、
    特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
    1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、前記予測ユニットの前記別の部分は、前記特定の方向モードの逆端部における前記予測ユニットの側に沿う、判断することと、
    1つ又は複数の基準サンプルが前記特定の方向モードの前記逆端部において利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
    前記カウンターパート方向モードを使用して前記利用可能な基準サンプルで前記予測ユニットを埋めることと、
    を行うことにより、前記フレーム内予測を実行するように構成される、装置。
  7. 前記埋めることは、
    前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域で使用された最後の基準サンプルと略同一である基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
    を更に含む、請求項6に記載の装置。
  8. 前記埋めることは、
    前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記カウンターパート方向モードの法線方向に沿って生じる前記基準サンプルの変化の関数として決定される、計算された基準サンプルで、前記1つの連続領域外の前記予測ユニットの領域を埋めること
    を更に含む、請求項6に記載の装置。
  9. 前記埋めることは、
    前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域を埋めるのに使用された前記利用可能な基準サンプルの平均として値が計算される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
    を更に含む、請求項6に記載の装置。
  10. 前記埋めることは、
    前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記デジタルビデオ画像と共にデータとして値が送信される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
    を更に含む、請求項6に記載の装置。
  11. 1つ又は複数の実行可能な命令が記憶された非一時的コンピュータ可読媒体であって、前記実行可能な命令は、プロセッサによって実行されると、前記プロセッサに、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行させ、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、前記フレーム内予測は、
    特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
    1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、前記予測ユニットの前記別の部分は、前記特定の方向モードの逆端部における前記予測ユニットの側に沿う、判断することと、
    1つ又は複数の基準サンプルが前記特定の方向モードの前記逆端部において利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
    前記カウンターパート方向モードを使用して前記利用可能な基準サンプルで前記予測ユニットを埋めることと、
    を含む、非一時的コンピュータ可読媒体。
  12. ビデオ画像ブロックを送信する装置であって、
    メモリと、
    フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行するように構成されるプロセッサであって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含む、プロセッサと、
    を含み、前記フレーム内予測は、
    特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
    1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、前記予測ユニットの前記別の部分は、前記特定の方向モードの逆端部における前記予測ユニットの側に沿う、判断することと、
    1つ又は複数の基準サンプルが前記特定の方向モードの前記逆端部において利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
    前記カウンターパート方向モードを使用して前記利用可能な基準サンプルで前記予測ユニットを埋めることと、
    を含む、装置。
JP2019515624A 2016-09-27 2017-09-18 基準サンプルが欠落している場合、イントラ予測を改善する方法 Active JP7365234B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023174089A JP2023175946A (ja) 2016-09-27 2023-10-06 基準サンプルが欠落している場合、イントラ予測を改善する方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16306238.3 2016-09-27
EP16306238.3A EP3300362A1 (en) 2016-09-27 2016-09-27 Method for improved intra prediction when reference samples are missing
PCT/EP2017/073494 WO2018059992A1 (en) 2016-09-27 2017-09-18 Method for improved intra prediction when reference samples are missing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023174089A Division JP2023175946A (ja) 2016-09-27 2023-10-06 基準サンプルが欠落している場合、イントラ予測を改善する方法

Publications (3)

Publication Number Publication Date
JP2019533348A true JP2019533348A (ja) 2019-11-14
JP2019533348A5 JP2019533348A5 (ja) 2020-11-05
JP7365234B2 JP7365234B2 (ja) 2023-10-19

Family

ID=57130321

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019515624A Active JP7365234B2 (ja) 2016-09-27 2017-09-18 基準サンプルが欠落している場合、イントラ予測を改善する方法
JP2023174089A Pending JP2023175946A (ja) 2016-09-27 2023-10-06 基準サンプルが欠落している場合、イントラ予測を改善する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023174089A Pending JP2023175946A (ja) 2016-09-27 2023-10-06 基準サンプルが欠落している場合、イントラ予測を改善する方法

Country Status (6)

Country Link
US (3) US10834387B2 (ja)
EP (2) EP3300362A1 (ja)
JP (2) JP7365234B2 (ja)
KR (3) KR20240052895A (ja)
CN (2) CN116647674A (ja)
WO (1) WO2018059992A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11363279B2 (en) * 2019-04-15 2022-06-14 Tencent America LLC Method and apparatus in video coding with flexible coding order
WO2022103240A1 (ko) * 2020-11-16 2022-05-19 현대자동차주식회사 크로마 인트라 방향성 예측모드를 적응적으로 결정하는 영상 부호화 및 복호화 방법
US20240007645A1 (en) * 2020-11-23 2024-01-04 Hyundai Motor Company Video encoding and decoding method using adaptive reference pixel selection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014503155A (ja) * 2011-01-14 2014-02-06 ▲ホア▼▲ウェイ▼技術有限公司 符号化又は復号化における予測方法、及び予測器
JP2014512129A (ja) * 2011-04-01 2014-05-19 アイベックス・ピイティ・ホールディングス・カンパニー・リミテッド イントラ予測モードにおける映像復号化方法
KR20160101041A (ko) * 2014-02-12 2016-08-24 주식회사 칩스앤미디어 동영상 처리 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030231795A1 (en) * 2002-06-12 2003-12-18 Nokia Corporation Spatial prediction based intra-coding
US7289674B2 (en) * 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
CN100464579C (zh) * 2006-07-13 2009-02-25 北京中星微电子有限公司 一种对数字视频图像中物体边沿的处理方法及装置
KR20160093106A (ko) * 2010-04-23 2016-08-05 엠앤케이홀딩스 주식회사 영상 복호화 장치
EP2388999B1 (en) * 2010-05-17 2021-02-24 Lg Electronics Inc. New intra prediction modes
KR101781874B1 (ko) * 2010-05-25 2017-09-26 엘지전자 주식회사 신규한 평면 예측 모드
CN107277522B (zh) 2010-12-08 2020-05-19 Lg 电子株式会社 内预测方法及使用该方法的编码装置和解码装置
WO2013067942A1 (zh) * 2011-11-08 2013-05-16 华为技术有限公司 一种帧内预测方法和装置
US9807385B2 (en) * 2012-01-19 2017-10-31 Futurewei Technologies, Inc. Simplification of mode dependent intra smoothing
US20130271565A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions
CA2939431C (en) 2014-03-04 2020-09-22 Microsoft Techology Licensing, Llc Block flipping and skip mode in intra block copy prediction
AU2014216056A1 (en) * 2014-08-25 2016-03-10 Canon Kabushiki Kaisha Method, apparatus and system for predicting a block of video samples
WO2016053154A1 (en) * 2014-09-30 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Encoding and decoding a video frame in separate processing units
CN107148778A (zh) * 2014-10-31 2017-09-08 联发科技股份有限公司 用于视频编码的改进的定向帧内预测方法
US10460513B2 (en) * 2016-09-22 2019-10-29 Advanced Micro Devices, Inc. Combined world-space pipeline shader stages
US10554977B2 (en) * 2017-02-10 2020-02-04 Intel Corporation Method and system of high throughput arithmetic entropy coding for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014503155A (ja) * 2011-01-14 2014-02-06 ▲ホア▼▲ウェイ▼技術有限公司 符号化又は復号化における予測方法、及び予測器
JP2014512129A (ja) * 2011-04-01 2014-05-19 アイベックス・ピイティ・ホールディングス・カンパニー・リミテッド イントラ予測モードにおける映像復号化方法
KR20160101041A (ko) * 2014-02-12 2016-08-24 주식회사 칩스앤미디어 동영상 처리 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIN, YONGBING ET AL.: "CE4 Subset2: Report of Intra Coding Improvements for Slice Boundary Blocks", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 5TH M, vol. JCTVC-E283 (version 2), JPN6021039910, 16 March 2011 (2011-03-16), ISSN: 0004857109 *

Also Published As

Publication number Publication date
JP7365234B2 (ja) 2023-10-19
KR102658747B1 (ko) 2024-04-19
US11863739B2 (en) 2024-01-02
US10834387B2 (en) 2020-11-10
JP2023175946A (ja) 2023-12-12
US20190273918A1 (en) 2019-09-05
KR20190053257A (ko) 2019-05-17
EP3300362A1 (en) 2018-03-28
KR20220155402A (ko) 2022-11-22
US20220312000A1 (en) 2022-09-29
WO2018059992A1 (en) 2018-04-05
KR20240052895A (ko) 2024-04-23
CN116647674A (zh) 2023-08-25
US20200413041A1 (en) 2020-12-31
US11363254B2 (en) 2022-06-14
EP3520398A1 (en) 2019-08-07
CN109804623A (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
KR102465419B1 (ko) 비디오 코딩을 위한 방법 및 장치
US11863739B2 (en) Method for improved intra prediction when reference samples are missing
JP6165893B2 (ja) 3d−avcにおける隣接ブロックベースの視差ベクトル導出
JP7262881B2 (ja) ビデオコーディングのための方法およびコンピュータプログラム
KR20210091321A (ko) 비디오 코딩을 위한 방법 및 장치
EP2976882A1 (en) Disparity vector derivation in 3d video coding for skip and direct modes
KR20200118896A (ko) 비디오 코딩을 위한 방법 및 장치
KR102630792B1 (ko) 비디오 코딩에서 이웃 블록 가용성을 위한 방법 및 장치
JP7238150B2 (ja) イントラピクチャブロック補償のための予測候補リストサイズシグナリングのための方法および装置
KR102511621B1 (ko) 비디오 코딩을 위한 방법 및 장치
KR20210049929A (ko) 비디오 코딩 방법 및 장치
KR20200140373A (ko) 비디오 코딩을 위한 방법 및 장치
JP7265288B2 (ja) ビデオ復号のための方法、ビデオデコーダ、およびコンピュータプログラム、ならびにビデオ符号化のための方法
KR20210091316A (ko) 인트라 픽처 블록 보상을 위한 통합 블록 벡터 예측
JP7427790B2 (ja) コンテンツ適応セグメント化予測
US20240163424A1 (en) Method for improved intra prediction when reference samples are missing
JP2024045681A (ja) ビデオコーディングのための方法、装置及びプログラム
KR20160061456A (ko) 주관적 화질 기반의 고속 부호화 모드 결정 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231006

R150 Certificate of patent or registration of utility model

Ref document number: 7365234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150