JP2021119691A - 画像復号装置、画像復号方法及びプログラム - Google Patents

画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
JP2021119691A
JP2021119691A JP2021072860A JP2021072860A JP2021119691A JP 2021119691 A JP2021119691 A JP 2021119691A JP 2021072860 A JP2021072860 A JP 2021072860A JP 2021072860 A JP2021072860 A JP 2021072860A JP 2021119691 A JP2021119691 A JP 2021119691A
Authority
JP
Japan
Prior art keywords
color difference
prediction method
block
inter
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021072860A
Other languages
English (en)
Other versions
JP6985546B2 (ja
Inventor
圭 河村
Kei Kawamura
圭 河村
恭平 海野
Kyohei UNNO
恭平 海野
整 内藤
Hitoshi Naito
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2021072860A priority Critical patent/JP6985546B2/ja
Publication of JP2021119691A publication Critical patent/JP2021119691A/ja
Priority to JP2021190759A priority patent/JP7399928B2/ja
Application granted granted Critical
Publication of JP6985546B2 publication Critical patent/JP6985546B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】一定の符号化性能低下を許容する一方で、色差成分がＣＣＬＭ方式で符号化されている場合に、輝度成分の復号タイミングに対する色差成分の復号タイミングの遅延の最悪値を削減する装置、方法及びプログラムを提供する。【解決手段】画像復号装置２００において、エントロピー復号部２０１は、符号化データを復号して輝度ブロック分割情報及び色差ブロック分割情報を取得するブロック構造復号部と、輝度ブロック分割情報及び色差ブロック分割情報に基づいて成分間線形予測方式を適用することができるか否かについて判定するように構成されている判定部と、判定結果に応じて色差イントラ予測方式を復号するように構成されている色差イントラ予測方式復号部と、を備える。【選択図】図４

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。
従来、イントラ予測又はインター予測、予測残差信号の変換・量子化、エントロピー符号化を用いた画像符号化方式が提案されている（例えば、非特許文献１参照）。
以下、次世代動画像符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）における符号化ブロックの分割方式及びイントラ予測のうちの色差イントラ予測方式について述べる（非特許文献２参照）。
図８に示すように、両方式における符号化ブロックは、四分木、二分木及び三分木を用いて再帰的に分割されるように構成されている。ここで、輝度成分と色差成分との間で、同一の分割パターンを選択してもよいし異なる分割パターンを選択してもよい。
色差イントラ予測方式には、輝度イントラ予測方式と同様の色成分内予測方式に加えて、再構成した輝度成分から色差成分を線形予測するＣＣＬＭ（成分間線形予測：Ｃｒｏｓｓ-Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）方式がある。かかるＣＣＬＭ方式において、輝度成分と色差成分とでは、４:２:０色形式の場合にサンプル数が異なるため、図９に示すように、色差画素に対応する輝度画素を平滑化によって導出する。符号化ブロックの分割により得られたブロック構造及び決定されたイントラ予測方式は、それぞれエントロピー符号化される。
ＩＴＵ-Ｔ Ｈ.２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ５）
特願２０１４-００１３４３
しかしながら、次世代動画像符号化方式であるＶＶＣでは、符号化ブロックサイズ及び変換ブロックサイズが最新動画像符号化方式ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）よりも拡張されているため、色差成分がＣＣＬＭ方式で符号化されている場合に、輝度成分の復号タイミングに対する色差成分の復号タイミングの遅延がブロックサイズに比例して増大するというという問題点があった。
そこで、本発明は、上述の課題に鑑みてなされたものであり、一定の符号化性能低下を許容する一方で、色差成分がＣＣＬＭ方式で符号化されている場合に、輝度成分の復号タイミングに対する色差成分の復号タイミングの遅延の最悪値を削減することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
本発明の第１の特徴は、符号化データを復号するように構成されている画像復号装置であって、前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されているブロック構造復号部と、前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定するように構成されている判定部と、前記判定結果に応じて、色差イントラ予測方式を復号するように構成されている色差イントラ予測方式復号部とを備え、前記判定部は、前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、前記ブロックサイズが前記閾値以下である場合には、予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ前記輝度成分における分割パターンと前記色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定するように構成されており、それ以外の場合に、前記成分間線形予測方式を適用することができないと判定するように構成されていることを特徴とする。
本発明の第２の特徴は、符号化データを復号する画像復号方法であって、前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得する工程Ａと、前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定する工程Ｂと、前記判定結果に応じて、色差イントラ予測方式を復号する工程Ｃとを備え、前記工程Ｂにおいて、前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定し、前記ブロックサイズが前記閾値以下である場合には、予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ前記輝度成分における分割パターンと前記色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定し、それ以外の場合に、前記成分間線形予測方式を適用することができないと判定することを要旨とする。
本発明の第３の特徴は、コンピュータを、符号化データを復号するように構成されている画像復号装置として機能させるプログラムであって、前記画像復号装置は、前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されているブロック構造復号部と、前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定するように構成されている判定部と、前記判定結果に応じて、色差イントラ予測方式を復号するように構成されている色差イントラ予測方式復号部とを備え、前記判定部は、前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、前記ブロックサイズが前記閾値以下である場合には、予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ前記輝度成分における分割パターンと前記色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定するように構成されており、それ以外の場合に、前記成分間線形予測方式を適用することができないと判定するように構成されていることを要旨とする。
本発明によれば、一定の符号化性能低下を許容する一方で、色差成分がＣＣＬＭ方式で符号化されている場合に、輝度成分の復号タイミングに対する色差成分の復号タイミングの遅延の最悪値を削減することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
一実施形態に係る画像処理システム１の構成の一例を示す図である。 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００のエントロピー符号化部１０４の一部の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００のエントロピー復号部２０１の一部の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００のエントロピー復号部２０１の動作の一例を示すフローチャートである。 第４実施形態について説明するための図である。 従来技術を説明するための図である。 従来技術を説明するための図である。
以下、本発明の実施の形態について図面を参照しながら、説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理システム１の機能ブロックの一例を示す図である。画像処理システム１は、動画像を符号化して符号化データを生成する画像符号化装置１００と、画像符号化装置１００により生成された符号化データを復号する画像復号装置２００とを備える。画像符号化装置１００と画像復号装置２００との間では、上述の符号化データが、例えば、伝送路を介して送受信される。
＜画像符号化装置１００＞
図２は、画像符号化装置１００の機能ブロックの一例を示す図である。図２に示すように、画像符号化装置１００は、インター予測部１０１と、イントラ予測部１０２と、変換・量子化部１０３と、エントロピー符号化部１０４と、逆変換・逆量子化部１０５と、減算部１０６と、加算部１０７と、インループフィルタ部１０８と、フレームバッファ１０９と、ブロック分割部１１０と、ブロック統合部１１１とを備える。
ブロック分割部１１０は、入力画像の画面全体を同一正方形に分割し、更に四分木等により再帰的に分割した画像（分割画像）を出力するように構成されている。
インター予測部１０１は、ブロック分割部１１０によって入力された分割画像及びフレームバッファ１０９から入力されるフィルタ後局所復号画像（後述）を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。
イントラ予測部１０２は、ブロック分割部１１０によって入力された分割画像、フィルタ前局所復号画像及び図示しない制御部により決定された色差イントラ予測方式を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。
変換・量子化部１０３は、減算部１０６から入力される残差信号に対して直交変換処理を行い、かかる直交変換処理により得られる変換係数に対して量子化処理を行い、かかる量子化処理により得られる量子化されたレベル値を出力するように構成されている。
エントロピー符号化部１０４は、変換・量子化部１０３から入力される量子化されたレベル値及びサイド情報（図示しない制御部により決定された、画素値の再構成に必要な予測モードや動きベクトル等の関連情報）をエントロピー符号化して符号化データとして出力するように構成されている。
また、後述するように、エントロピー符号化部１０４は、色差イントラ予測方式についてもエントロピー符号化して符号化データとして出力するように構成されている。
逆変換・逆量子化部１０５は、変換・量子化部１０３から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた変換係数に対して逆直交変換処理を行い、かかる逆直交変換処理により得られる逆直交変換された残差信号を出力するように構成されている。
減算部１０６は、ブロック分割部１１０によって入力された分割画像とイントラ予測画像或いはインター予測画像との差分である残差信号を出力するように構成されている。
加算部１０７は、逆変換・逆量子化部１０５から入力される逆直交変換された残差信号とイントラ予測画像或いはインター予測画像とを加算して得られる分割画像を出力するように構成されている。
ブロック統合部１１１は、加算部１０７から入力される分割画像を統合することで得られたフィルタ前局所復号画像を出力するように構成されている。
インループフィルタ部１０８は、ブロック統合部１１１から入力されるフィルタ前局所復号画像に対して、デブロッキングフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。
フレームバッファ１０９は、フィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部１０１に供給する。
以下、図３を参照して、本実施形態に係る画像符号化装置１００のエントロピー符号化部１０４について説明する。図３は、本実施形態に係る画像符号化装置１００のエントロピー符号化部１０４の一部の機能ブロックの一例を示す図である。
図３に示すように、本実施形態に係る画像符号化装置１００のインループフィルタ部１０８は、ブロック構造符号化部１０４Ａと、判定部１０４Ｂと、色差イントラ予測方式符号化部１０４Ｃとを備える。
ブロック構造符号化部１０４Ａは、図示しない制御部により決定された輝度ブロック分割情報及び色差ブロック分割情報をブロック構造として符号化して、ブロック構造（輝度ブロック分割情報及び色差ブロック分割情報）を出力するように構成されている。
ここで、輝度ブロック分割情報及び色差ブロック分割情報には、それぞれ輝度成分における分割パターンに係る情報及び色差成分における分割パターンに係る情報が含まれている。
判定部１０４Ｂは、ブロック構造符号化部１０４Ａから入力されたブロック構造に基づいて、成分間線形予測方式が適用できるかどうかについて判定し、かかる判定結果を出力するように構成されている。なお、かかる判定は、シーケンス単位ではなくブロック単位で行われる。
色差イントラ予測方式符号化部１０４Ｃは、判定部１０４Ｂによる判定結果及び図示しない制御部により決定された色差イントラ予測方式を入力とし、かかる判定結果に基づく符号化テーブルを用いて色差イントラ予測方式を符号化して符号化データとして出力する。
ここで、かかる符号化テーブルについては、非特許文献２において定義されている。
＜画像復号装置２００＞
図４は、本実施形態に係る画像復号装置２００のブロック図である。図３に示すように、本実施形態に係る画像復号装置２００は、エントロピー復号部２０１と、逆変換・逆量子化部２０２と、インター予測部２０３と、イントラ予測部２０４と、加算部２０５と、インループフィルタ部２０６と、フレームバッファ２０７と、ブロック統合部２０８とを備える。
エントロピー復号部２０１は、符号化データをエントロピー復号し、量子化されたレベル値や、サイド情報を出力するように構成されている。
逆変換・逆量子化部２０２は、エントロピー復号部２０１から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた結果に対して逆直交変換処理を行って残差信号として出力するように構成されている。
インター予測部２０３は、フレームバッファ２０７から入力されるフィルタ後局所復号画像を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。
イントラ予測部２０４は、加算部２０５から入力されるフィルタ前局所復号画像を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。ここで、フィルタ前局所復号画像とは、残差信号と予測画像とを合算した信号のことである
加算部２０５は、逆変換・逆量子化部２０２から入力される残差信号と予測画像（インター予測部２０３から入力されるインター予測画像或いはイントラ予測部２０４から入力されるイントラ予測画像）とを加算して得られる分割画像を出力するように構成されている。
ここで、予測画像とは、インター予測部２０３から入力されるインター予測画像及びイントラ予測部２０４から入力されるイントラ予測画像のうち、エントロピー復号により得られた予測方法により算出された予測画像のことである。
ブロック統合部２０８は、加算部２０５から入力される分割画像を統合することで得られたフィルタ前局所復号画像を出力するように構成されている。
インループフィルタ部２０６は、ブロック統合部２０８から入力されるフィルタ前局所復号画像に対してデブロックフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。
フレームバッファ２０７は、インループフィルタ２０６から入力されるフィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部２０３に供給するとともに、復号済み画像として出力するように構成されている。
以下、図５を参照して、本実施形態に係る画像復号装置２００のエントロピー復号部２０１について説明する。図５は、本実施形態に係る画像復号装置２００のエントロピー復号部２０１の一部の機能ブロックの一例を示す図である。
図５に示すように、本実施形態に係る画像復号装置２００のエントロピー復号部２０１は、ブロック構造復号部２０１Ａと、判定部２０１Ｂと、色差イントラ予測方式復号部２０１Ｃとを備える。
ブロック構造復号部２０１Ａは、画像符号化装置１００によって出力された符号化データを復号して、輝度ブロック分割情報及び色差ブロック分割情報を含むブロック構造を取得するように構成されている。
判定部２０１Ｂは、輝度ブロック分割情報及び色差ブロック分割情報に基づいて、ＣＣＬＭ方式を適用することができるか否かについて判定するように構成されている。
色差イントラ予測方式復号部２０１Ｃは、かかる判定結果に応じて、色差イントラ予測方式を復号するように構成されている。具体的には、色差イントラ予測方式復号部２０１Ｃは、かかる判定結果に基づく復号テーブルを用いて色差イントラ予測方式を復号するように構成されている。
ここで、かかる復号テーブルについては、非特許文献２において定義されている。
以下、図６を参照して、本実施形態に係るエントロピー復号部２０１の動作の一例について説明する。
図６に示すように、ステップＳ１０１において、エントロピー復号部２０１は、符号化データを復号して、輝度ブロック分割情報及び色差ブロック分割情報を取得する。
ステップＳ１０２において、エントロピー復号部２０１は、輝度ブロック分割情報及び色差ブロック分割情報に基づいて、ＣＣＬＭ方式を適用することができるか否かについて判定する。
ステップＳ１０３において、エントロピー復号部２０１は、かかる判定結果に応じて、色差イントラ予測方式を復号する。
本実施形態に係る画像処理システム１によれば、ＣＣＬＭ方式を適用可能な符号化ブロックの分割パターンとサイズに制約を導入し、輝度成分の復号タイミングに対する色差成分の復号タイミングの遅延量の最大値を制限することができる。
例えば、ＣＣＬＭ方式を適用可能な最大ブロックサイズを定義し、かかる最大ブロックサイズになるまでは四分木構造で分割されている場合のみ、ＣＣＬＭ方式を選択できることとする。このように、シーケンス単位ではなくブロック単位で、ＣＣＬＭ方式を適用することができるか否かについて判定を行う。
（第２実施形態）
以下、本発明の第２実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。
本実施形態において、判定部１０４Ｂ/２０１Ｂは、輝度ブロック分割情報及び色差ブロック分割情報に基づいて、輝度成分における分割パターンと色差成分における分割パターンとが一致している場合に、ＣＣＬＭ方式を適用することができると判定するように構成されている。
一方、判定部１０４Ｂ/２０１Ｂは、輝度ブロック分割情報及び色差ブロック分割情報に基づいて、輝度成分における分割パターンと色差成分における分割パターンとが一致していない場合に、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
（第３実施形態）
以下、本発明の第３実施形態に係る画像処理システム１について、上述の第１実施形態及び第２実施形態に係る画像処理システム１との相違点に着目して説明する。
本実施形態において、ブロック構造符号化部１０４Ａは、図示しない制御部により決定された輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを入力としてフロック構造として符号化して出力するように構成されている。
また、ブロック構造復号部２０１Ａは、画像符号化装置１００によって出力された符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されている。
判定部１０４Ｂ/２０１Ｂは、上述のブロックサイズが予め定めた閾値よりも大きい場合に、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
一方、判定部１０４Ｂ/２０１Ｂは、上述のブロックサイズが予め定めた閾値以下である場合に、予め定めたブロックサイズにおける判定結果を用いるように構成されている。
例えば、輝度ブロック及び対応する色差ブロックのブロックサイズの閾値は、それぞれ３２×３２画素及び１６×１６画素である。
また、例えば、輝度成分と色差成分との間で同一の分割パターン（ｓｉｎｇｌｅ ｔｒｅｅ）の場合に、輝度ブロックサイズの閾値は、３２×６４画素若しくは６４×３２画素であり、異なる分割パターン（ｄｕａｌ ｔｒｅｅ）の場合に、輝度ブロックサイズの閾値は、３２×３２画素を選択してもよい。なお、対応する色差ブロックのブロックサイズの閾値は、それぞれ１６×３２画素、３２×１６画素、１６×１６画素となる。これは、輝度成分の分割パターンによらず、３２×３２画素ブロック２個の遅延を許容することを意味する。
（第４実施形態）
以下、図７を参照して、本発明の第４実施形態に係る画像処理システム１について、上述の第３実施形態に係る画像処理システム１との相違点に着目して説明する。
本実施形態において、判定部１０４Ｂ/２０１Ｂは、上述のブロックサイズが予め定めた閾値よりも大きい場合に、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
一方、判定部１０４Ｂ/２０１Ｂは、上述のブロックサイズが予め定めた閾値以下である場合には、図７に示す判定条件によって、上述の判定を行うように構成されている。
すなわち、かかる場合には、判定部１０４Ｂ/２０１Ｂは、予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ輝度成分における分割パターンと色差成分における分割パターンとが一致している場合に、ＣＣＬＭ方式を適用することができると判定し、それ以外の場合には、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
図７に示す判定条件は、符号化ブロックが分割されるごとに適用され、判定部１０４Ｂ/２０１Ｂは、ＣＣＬＭ方式を適用することができるか否かについて判定する。
また、図７に示す分割レベルは、ブロックサイズと関係しており、かかる分割レベルの数値が大きくなるほどブロックサイズは小さくなる。
図７の例では、判定部１０４Ｂ/２０１Ｂは、分割レベルが２である場合で且つ輝度分割形状及び色差分割形状のいずれも四文木である場合にのみ、ＣＣＬＭ方式を適用することができると判定する。ただし、分割レベルが３以上である場合には、分割レベルが２である場合の判定結果が継承される。
なお、図７の例において、判定部１０４Ｂ/２０１Ｂは、分割レベルが１である場合（上述のブロックサイズが予め定めた閾値以下である場合）、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
１…画像処理システム
１００…画像符号化装置
１０１、２０３…インター予測部
１０２、２０４…イントラ予測部
１０３…変換・量子化部
１０４…エントロピー符号化部
１０４Ａ…ブロック構造符号化部
１０４Ｂ、２０１Ｂ…判定部
１０４Ｃ…色差イントラ予測方式符号化部
１０５、２０２…逆変換・逆量子化部
１０６…減算部
１０７、２０５…加算部
１０８、２０６…インループフィルタ部
１０９、２０７…フレームバッファ
１１０…ブロック分割部
１１１、２０８…ブロック統合部
２００…画像復号装置
２０１…エントロピー復号部
２０１Ａ…ブロック構造復号部
２０１Ｃ…色差イントラ予測方式復号部

Claims (3)

  1. 符号化データを復号するように構成されている画像復号装置であって、
    前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されているブロック構造復号部と、
    前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定するように構成されている判定部と、
    前記判定結果に応じて、色差イントラ予測方式を復号するように構成されている色差イントラ予測方式復号部とを備え、
    前記判定部は、
    前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、
    前記ブロックサイズが前記閾値以下である場合には、
    予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ前記輝度成分における分割パターンと前記色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定するように構成されており、
    それ以外の場合に、前記成分間線形予測方式を適用することができないと判定するように構成されていることを特徴とする画像復号装置。
  2. 符号化データを復号する画像復号方法であって、
    前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得する工程Ａと、
    前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定する工程Ｂと、
    前記判定結果に応じて、色差イントラ予測方式を復号する工程Ｃとを備え、
    前記工程Ｂにおいて、
    前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定し、
    前記ブロックサイズが前記閾値以下である場合には、
    予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ前記輝度成分における分割パターンと前記色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定し、
    それ以外の場合に、前記成分間線形予測方式を適用することができないと判定することを特徴とする画像復号方法。
  3. コンピュータを、符号化データを復号するように構成されている画像復号装置として機能させるプログラムであって、
    前記画像復号装置は、
    前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されているブロック構造復号部と、
    前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定するように構成されている判定部と、
    前記判定結果に応じて、色差イントラ予測方式を復号するように構成されている色差イントラ予測方式復号部とを備え、
    前記判定部は、
    前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、
    前記ブロックサイズが前記閾値以下である場合には、
    予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ前記輝度成分における分割パターンと前記色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定するように構成されており、
    それ以外の場合に、前記成分間線形予測方式を適用することができないと判定するように構成されていることを特徴とするプログラム。
JP2021072860A 2019-06-24 2021-04-22 画像復号装置、画像復号方法及びプログラム Active JP6985546B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021072860A JP6985546B2 (ja) 2019-06-24 2021-04-22 画像復号装置、画像復号方法及びプログラム
JP2021190759A JP7399928B2 (ja) 2019-06-24 2021-11-25 画像復号装置、画像復号方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019116785A JP6899053B2 (ja) 2019-06-24 2019-06-24 画像復号装置、画像復号方法及びプログラム
JP2021072860A JP6985546B2 (ja) 2019-06-24 2021-04-22 画像復号装置、画像復号方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019116785A Division JP6899053B2 (ja) 2019-06-24 2019-06-24 画像復号装置、画像復号方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021190759A Division JP7399928B2 (ja) 2019-06-24 2021-11-25 画像復号装置、画像復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021119691A true JP2021119691A (ja) 2021-08-12
JP6985546B2 JP6985546B2 (ja) 2021-12-22

Family

ID=73995479

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019116785A Active JP6899053B2 (ja) 2019-06-24 2019-06-24 画像復号装置、画像復号方法及びプログラム
JP2021072860A Active JP6985546B2 (ja) 2019-06-24 2021-04-22 画像復号装置、画像復号方法及びプログラム
JP2021190759A Active JP7399928B2 (ja) 2019-06-24 2021-11-25 画像復号装置、画像復号方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019116785A Active JP6899053B2 (ja) 2019-06-24 2019-06-24 画像復号装置、画像復号方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021190759A Active JP7399928B2 (ja) 2019-06-24 2021-11-25 画像復号装置、画像復号方法及びプログラム

Country Status (5)

Country Link
US (1) US20220417530A1 (ja)
EP (1) EP3989544A4 (ja)
JP (3) JP6899053B2 (ja)
CN (1) CN113950837A (ja)
WO (1) WO2020262012A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6899053B2 (ja) * 2019-06-24 2021-07-07 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN112991381B (zh) * 2021-03-15 2022-08-02 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422772B2 (en) * 2008-06-10 2013-04-16 Panasonic Corporation Decoding device, decoding method, and receiving device
EP2528331B1 (en) * 2010-01-19 2021-05-05 Renesas Electronics Corporation Moving image encoding method, moving image decoding method, and moving image decoding device
MX2013000525A (es) * 2010-07-15 2013-03-22 Mitsubishi Electric Corp Dispositivo codificador de imagen movil, dispositivo descodificador de imagen movil, metodo de codificacion de imagen movil y metodo de descodificacion de imagen movil.
JP2014001343A (ja) 2012-06-20 2014-01-09 Prime Polymer Co Ltd プロピレン樹脂組成物
JP6504604B2 (ja) * 2015-08-25 2019-04-24 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2017050744A (ja) * 2015-09-02 2017-03-09 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
CN114866774A (zh) * 2016-05-27 2022-08-05 松下电器（美国）知识产权公司 编码装置及解码装置
WO2018021374A1 (ja) * 2016-07-29 2018-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JP2020031252A (ja) * 2016-12-22 2020-02-27 シャープ株式会社 画像復号装置及び画像符号化装置
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
TW201842781A (zh) * 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201921924A (zh) * 2017-08-07 2019-06-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
CN111866510A (zh) * 2019-04-30 2020-10-30 华为技术有限公司 视频序列的帧内预测方法及装置
JP6899053B2 (ja) * 2019-06-24 2021-07-07 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
EDOUARD FRANCOIS, ET AL.: "AHG16/non-CE3: Study of CCLM restrictions in case of separate luma/chroma tree", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENE, vol. JVET-N0390r1, JPN6020028512, March 2019 (2019-03-01), pages 1 - 7, ISSN: 0004546402 *
FANGDONG CHEN AND LI WANG: "CE3-related: Size restriction for CCLM", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENE, vol. JVET-N0164-v3, JPN6020028514, March 2019 (2019-03-01), pages 1 - 6, ISSN: 0004546403 *
HAN HUANG AND SHAWMIN LEI: "Guided Cross-Component Prediction for RGB Video Coding", 2018 DATA COMPRESSION CONFERENCE, JPN6020028518, 2018, pages 80 - 86, XP033376045, ISSN: 0004546406, DOI: 10.1109/DCC.2018.00016 *
KEI KAWAMURA, ET AL.: "CE2-3 related: On CCLM restriction for 32x32 luma latency", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTH, vol. JVET-O0611, JPN6020028520, 26 June 2019 (2019-06-26), pages 1 - 5, ISSN: 0004546405 *
TUNG NGUYEN, ET AL.: "Extended Cross-Component Prediction in HEVC", 2015 PICTURE CODING SYMPOSIUM (PCS), JPN6020028516, 2015, pages 164 - 168, XP033184726, ISSN: 0004546404, DOI: 10.1109/PCS.2015.7170068 *

Also Published As

Publication number Publication date
EP3989544A4 (en) 2023-06-14
EP3989544A1 (en) 2022-04-27
JP6899053B2 (ja) 2021-07-07
JP7399928B2 (ja) 2023-12-18
JP2021002813A (ja) 2021-01-07
JP6985546B2 (ja) 2021-12-22
WO2020262012A1 (ja) 2020-12-30
CN113950837A (zh) 2022-01-18
US20220417530A1 (en) 2022-12-29
JP2022043053A (ja) 2022-03-15

Similar Documents

Publication Publication Date Title
JP7051773B2 (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
KR102165340B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
US11523136B2 (en) Methods and apparatuses for coding transform blocks
JP6356346B2 (ja) イントラブロックコピーのためのデブロックフィルタ処理
EP3056006B1 (en) Sign coding for blocks with transform skipped
US9591312B2 (en) Memory bandwidth reduction for motion compensation in video coding
EP3453172A1 (en) Methods and apparatuses of video data processing with conditionally quantization parameter information signaling
EP3056000B1 (en) Sign coding for blocks with transform skipped
US11863782B2 (en) Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
JP2015508251A (ja) ビデオコーディングにおけるデブロッキングフィルタパラメータのシグナリング
JP6985546B2 (ja) 画像復号装置、画像復号方法及びプログラム
US20240291979A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium
WO2021054037A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2021131463A1 (ja) 画像復号装置、画像復号方法及びプログラム
US20240056585A1 (en) Coding method, encoder, and decoder
WO2022070470A1 (ja) 画像復号装置、画像復号方法及びプログラム
JP2021164003A (ja) 画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210422

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211125

R150 Certificate of patent or registration of utility model

Ref document number: 6985546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150