JP2023027401A - 復号装置、プログラム、及び復号方法 - Google Patents

復号装置、プログラム、及び復号方法 Download PDF

Info

Publication number
JP2023027401A
JP2023027401A JP2022209560A JP2022209560A JP2023027401A JP 2023027401 A JP2023027401 A JP 2023027401A JP 2022209560 A JP2022209560 A JP 2022209560A JP 2022209560 A JP2022209560 A JP 2022209560A JP 2023027401 A JP2023027401 A JP 2023027401A
Authority
JP
Japan
Prior art keywords
color space
unit
block
component
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022209560A
Other languages
English (en)
Other versions
JP7404497B2 (ja
Inventor
俊輔 岩村
Shunsuke Iwamura
慎平 根本
Shimpei Nemoto
敦郎 市ヶ谷
Atsuro Ichigaya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Publication of JP2023027401A publication Critical patent/JP2023027401A/ja
Priority to JP2023210439A priority Critical patent/JP2024019542A/ja
Application granted granted Critical
Publication of JP7404497B2 publication Critical patent/JP7404497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

【課題】色差残差スケーリングを適切に適用することで符号化効率を改善する。【解決手段】復号方法は、ビットストリームを復号することで、ブロックの色成分ごとの変換係数と、前記ブロックが非ゼロの変換係数を含むか否かを色成分ごとに示す第１フラグと、予測残差の色空間を前記原画像の色空間から他の色空間に変換する色空間変換を用いて前記ブロックが符号化されているか否かを示す第２フラグとを出力するステップと、前記色空間変換を用いて前記ブロックが符号化されていることを前記第２フラグが示す場合、前記変換係数から復元された前記予測残差に対して色空間逆変換を行うステップと、色差成分の前記第１フラグと、前記第２フラグとに基づいて、前記色差成分の前記予測残差を、前記色差成分に対応する輝度成分に基づいてスケーリングする色差残差スケーリングを行うか否かを決定するステップとを有する。【選択図】図４

Description

特許法第３０条第２項適用申請有り ・日本時間６月２３日付け電子メール，“Ａｓｋ ｆｏｒ ｃｒｏｓｓｃｈｅｃｋ ｏｆ ＪＶＥＴ－Ｓ０２１７（ｏｎ ｔｏｐ ｏｆ ＪＶＥＴ－０２３４ ｓｏｆｔｗａｒｅ）Ｄｅａｒ Ｘｉａｏｙｕ” ・岩村 俊輔，外２名，“ＪＶＥＴ－Ｓ０２１７－ｖ２ Ｏｎ ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ ｆｏｒ ＡＣＴ”，［ｏｎｌｉｎｅ］，令和２年６月２３日，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ），インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１０３３９＞ ・Ｘｉａｏｙｕ Ｘｉｕ，外５名，“ＪＶＥＴ－Ｓ０２３４－ｖ３ Ｍｉｓｍａｔｃｈ ｂｅｔｗｅｅｎ ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ａｎｄ ｒｅｆｅｒｅｎｃｅ ｓｏｆｔｗａｒｅ ｏｎ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ ｓｃａｌｉｎｇ ｗｈｅｎ ＡＣＴ ｉｓ ｅｎａｂｌｅｄ”，［ｏｎｌｉｎｅ］，令和２年６月２４日，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ），インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１０３５６＞ ・Ｂ．Ｂｒｏｓｓ，外４名，“ＪＶＥＴ－Ｓ２００１ ｖｅｒｓｉｏｎ ７ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ １０）”，［ｏｎｌｉｎｅ］，令和２年７月１日，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ），インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝１０３９９＞
本発明は、復号装置、プログラム、及び復号方法に関する。
非特許文献１には、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）におけるＲＧＢ４：４：４映像の符号化に用いる色空間変換（ＡＣＴ：Ａｄａｐｔｉｖｅ Ｃｏｌｏｕｒ Ｔｒａｎｓｆｏｒｍ）が規定されている。色空間変換は、ＲＧＢ色空間の予測残差をＹＣｇＣｏ色空間へ変換することで予測残差の色成分間相関を除去し、符号化効率を改善する技術である。
符号化装置は、ＹＣｇＣｏ色空間へ変換した予測残差に対して色成分（Ｙ，Ｃｇ，Ｃｏ成分）ごとに直交変換を行い、変換係数を量子化及びエントロピー符号化してストリーム出力する。復号装置側では、伝送された変換係数をエントロピー復号し、逆量子化・逆直交変換することにより得られたＹＣｇＣｏ色空間の予測残差に対して色空間逆変換（逆ＡＣＴ）を行うことによりＲＧＢ色空間の予測残差に変換し、予測残差を予測画像と合成することで復号画像を得る。
ところで、ＶＶＣでは、色差成分の予測残差を対応する輝度成分に応じてスケーリングする色差残差スケーリング（ＣＲＳ：Ｃｈｒｏｍａ Ｒｅｓｉｄｕａｌ Ｓｃａｌｉｎｇ）と呼ばれる技術が採用されている。
復号装置は、色差残差スケーリングの計算量削減のため、色差残差スケーリングを適用するか否かを、色差成分の非ゼロの変換係数が伝送されているか否かを示す有意係数フラグ（ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ及びｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ）に基づいて制御している。具体的には、復号装置は、色差成分の非ゼロの変換係数が伝送されていることを有意係数フラグが示す場合に限り、色差残差スケーリングを行う。
ＪＶＥＴ－Ｒ２００１ "Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｄｒａｆｔ ９"
色空間変換が適用される場合、復号装置に伝送される変換係数はＹＣｇＣｏ色空間であり、ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇはＣｇ成分の非ゼロの変換係数が存在する場合にＴＲＵＥ（“１”）に設定され、ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇはＣｏ成分の非ゼロの変換係数が存在する場合にＴＲＵＥ（“１”）に設定される。
Ｙ，Ｃｇ，Ｃｏのいずれかの色成分に非ゼロの変換係数が存在する場合、復号装置において、それらのエネルギーが色空間逆変換によりＲＧＢ色空間の各色成分に分散するため、ＲＧＢ色空間のすべての色成分において予測残差が生じる可能性が高い。
しかしながら、非特許文献１において、復号装置は、ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ及びｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇに基づく色差残差スケーリングのオン・オフ制御を行っている。このため、復号装置は、色差成分の有意係数フラグがＦＡＬＳＥ（“０”）である場合には、色空間逆変換により予測残差がＲＧＢのすべての色成分で発生する場合であっても、色差残差スケーリングを行わない。このため、色差残差スケーリングが正しく適用されず、符号化効率が低下してしまう問題がある。
そこで、本発明は、色差残差スケーリングを適切に適用することで符号化効率を改善する復号装置、プログラム、及び復号方法を提供することを目的とする。
第１の態様に係る復号装置は、複数の色成分により構成される原画像を分割して得たブロックに対する復号処理を行う復号装置であって、ビットストリームを復号することで、前記ブロックの色成分ごとの変換係数と、前記ブロックが非ゼロの変換係数を含むか否かを色成分ごとに示す第１フラグと、予測残差の色空間を前記原画像の色空間から他の色空間に変換する色空間変換を用いて前記ブロックが符号化されているか否かを示す第２フラグとを出力するエントロピー復号部と、色成分ごとに前記変換係数から前記予測残差を復元する逆量子化・逆変換部と、前記色空間変換を用いて前記ブロックが符号化されていることを前記第２フラグが示す場合、前記予測残差に対して色空間逆変換を行う色空間逆変換部と、色差成分の前記予測残差を、前記色差成分に対応する輝度成分に基づいてスケーリングする色差残差スケーリングを行うスケーリング部と、を備え、前記スケーリング部は、前記色差成分の前記第１フラグと、前記第２フラグとに基づいて、前記色差残差スケーリングを行うか否かを決定することを要旨とする。
第２の態様に係るプログラムは、コンピュータを第１の態様に係る復号装置として機能させることを要旨とする。
第３の態様に係る復号方法は、複数の色成分により構成される原画像を分割して得たブロックに対する復号処理を行う復号方法であって、ビットストリームを復号することで、前記ブロックの色成分ごとの変換係数と、前記ブロックが非ゼロの変換係数を含むか否かを色成分ごとに示す第１フラグと、予測残差の色空間を前記原画像の色空間から他の色空間に変換する色空間変換を用いて前記ブロックが符号化されているか否かを示す第２フラグとを出力するステップと、前記色空間変換を用いて前記ブロックが符号化されていることを前記第２フラグが示す場合、前記変換係数から復元された前記予測残差に対して色空間逆変換を行うステップと、色差成分の前記第１フラグと、前記第２フラグとに基づいて、前記色差成分の前記予測残差を、前記色差成分に対応する輝度成分に基づいてスケーリングする色差残差スケーリングを行うか否かを決定するステップと、を有することを要旨とする。
本発明によれば、色差残差スケーリングを適切に適用することで符号化効率を改善する復号装置、プログラム、及び復号方法を提供できる。
実施形態に係る符号化装置の構成を示す図である。 実施形態に係る輝度マッピング処理における入力画素値と出力画素値との関係の一例を表すグラフである。 実施形態に係る復号装置の構成を示す図である。 実施形態に係る色差残差スケーリングのオン・オフ制御を示す図である。
図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
＜符号化装置の構成＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。
図１に示すように、符号化装置１は、ブロック分割部１００と、輝度マッピング部１０１と、残差生成部１０２と、スケーリング部１０３と、色空間変換部１０４と、変換・量子化部１２０と、エントロピー符号化部１０７と、逆量子化・逆変換部１３０と、色空間逆変換部１１０と、スケーリング部１１１と、合成部１１２と、輝度逆マッピング部１１３と、ループ内フィルタ１１４と、メモリ１１５と、予測部１４０とを有する。
ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを残差生成部１０２に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化処理を行う単位（すなわち、符号化対象ブロック）であり、且つ復号装置が復号処理を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。
入力画像は、ＲＧＢ信号であって、クロマフォーマットが４：４：４であってもよい。ＲＧＢ色空間は、第１色空間の一例である。「Ｇ」成分は第１色成分に相当し、「Ｂ」成分は第２色成分に相当し、「Ｒ」成分は第３色成分に相当する。ブロック分割部１００は、画像を構成するＲ成分、Ｇ成分、及びＢ成分のそれぞれに対してブロック分割を行うことで、色成分ごとのブロックを出力する。以下の符号化装置の説明において、各色成分を区別しないときは単に符号化対象ブロックと呼ぶ。
輝度マッピング部１０１は、ブロック分割部１００が出力する輝度成分の符号化対象ブロック内の各画素値をマッピングテーブルに基づいてマッピング処理をすることで、マッピングされた新たな輝度成分の符号化対象ブロックを生成及び出力する。
図２は、本実施形態に係る輝度マッピング処理における入力画素値と出力画素値との関係の一例を表すグラフである。図２において、横軸は入力信号の値であり、縦軸は出力信号の値である。
図２に示すように、マッピングテーブルは、１つ又は複数のスライスに対して設定されるテーブルであって、マッピング処理前の入力信号とマッピング処理後の出力信号との関係を表すための係数テーブルである。具体的には、マッピングテーブルには、マッピング前の入力信号（マッピング対象の画素値）が取りうる最小値から最大値までを予め規定する数（Ｎ）に分割した各バンドに対して、割り当てる変換後の出力信号の画素値の数を示す値が格納されている。
例えば、１０ｂｉｔの画像信号のマッピング処理においてバンドの数Ｎを１６とした場合を例に挙げてマッピングテーブルについて説明する。マッピング前の入力信号が取りうる最小値０から最大値１０２３までを、等分割した各バンドに対応する入力信号として割り当てる。例えば１番目のバンドは入力画素値０乃至６３に対応する。また、２番目のバンドは入力画素値の６４乃至１２７に対応する。同様にして１６番目のバンドまで入力信号が割り当てられている。
各バンドはマッピングテーブルの各係数の位置に対応する。マッピングテーブルに格納される係数は各バンドに割り当てられている出力画素値の数を意味する。例えばマッピングテーブルｌｍｃｓＣＷ＝｛３９，４０，５５，７０，８０，９０，９７，９７，１０４，８３，５７，５５，４９，４４，３４，３０｝である場合、１番目のバンドに対応する出力画素値は０乃至３８であり、２番目のバンドに対応する出力画素値は３９乃至７８である。３番目から１６番目のバンドについても同様に割り当てられる。マッピングテーブル内のあるバンドに対応する値が大きい場合、当該バンドに割り当てられる出力画素値の数が多くなり、逆に小さい場合には、当該バンドに割り当てられる出力画素値の数が少なくなる。
マッピングテーブルは、１つ又は複数のスライスの原画像の輝度信号の値の出現頻度に応じて符号化装置１で設定してもよいし、予めシステムで規定した複数のマッピングテーブルの中から符号化装置１で選択してもよいし、予めシステムで規定したマッピングテーブルを用いてもよい。なお、マッピングテーブルは、マッピング後の出力信号が取りうる最小値から最大値までを予め規定する数に分割した各バンドに対して、割り当てる変換前の入力信号の画素値の数を示す値が格納されていてもよいし、マッピングテーブル内の値を量子化して保持してもよく、マッピング前後の入力信号と出力信号との関係を示していれば上記の例には限らない。
また、符号化装置１で輝度信号の値の出現頻度に応じてマッピングテーブルを設定した場合や複数のマッピングテーブルの中から選択した場合には、符号化装置１は、なんらかの手段で復号装置２にマッピングテーブルの情報を伝送する。例えば、符号化装置１は、テーブルの値の情報をエントロピー符号化し、ストリーム出力してもよい。また、映像のフォーマット情報（例えば映像信号における光信号と電気信号との関係を表すパラメータなど）を基に符号化装置１と復号装置２とで予め用意されたマッピングテーブルを切り替えて用いてもよい。
残差生成部１０２は、ブロック分割部１００が出力する符号化対象ブロックと、符号化対象ブロックを予測部１４０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、残差生成部１０２は、色成分ごとに、符号化対象ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を出力する。すなわち、残差生成部１０２は、各色成分の符号化対象ブロックと、各色成分の予測ブロックとの差分により各色成分の予測残差を生成する。
スケーリング部１０３は、残差生成部１０２が出力する色差成分の予測残差に対して色差残差スケーリングを行う。色差残差スケーリングは、色差成分の予測残差を対応する輝度成分に応じてスケーリングする処理である。なお、輝度マッピング部１０１が輝度マッピングを行わない場合、色差残差スケーリングは無効になる。
色差残差スケーリングは、符号化対象ブロックの上側及び／又は左側の復号済み隣接輝度画素値の平均値に依存する。スケーリング部１０３は、復号済み隣接輝度画素値の平均値ａｖｇＹｒからインデックスＹＩｄｘを求め、スケーリング係数ＣＳｃａｌｅＩｎｖをｃＳｃａｌｅＩｎｖ［ＹＩｄｘ］により求める。ここで、ｃＳｃａｌｅＩｎｖ［］はルックアップテーブルである。スケーリング部１０３は、輝度マッピングが画素値ごとに行われるのに対して、色差成分の符号化対象ブロックの全体に対して色差残差スケーリングを行う。具体的には、スケーリング部１０３は、色差成分の予測残差をＣＲｅｓとした場合、スケーリング後の色差成分の予測残差ＣＲｅｓＳｃａｌｅを、ＣＲｅｓ＊ＣＳｃａｌｅ、すなわち、ＣＲｅｓ／ＣＳｃａｌｅＩｎｖにより算出及び出力する。
色空間変換部１０４は、各色成分の予測残差に対して色空間変換を行い、色空間変換後の予測残差を出力する。例えば、色空間変換部１０４は、符号化対象ブロックの予測残差のＲ成分、Ｇ成分、及びＢ成分について下記のような変換計算を行うことでＹＣｇＣｏ色空間の予測残差を生成する。
Ｃｏ＝Ｒ－Ｂ
ｔ＝Ｂ＋（Ｃｏ＞＞１）
Ｃｇ＝Ｇ－ｔ
Ｙ＝ｔ＋（Ｃｇ＞＞１）
但し、「＞＞」は右シフト演算を表す。また、「Ｙ」成分は第１色成分に相当し、「Ｃｇ」成分は第２色成分に相当し、「Ｃｏ」成分は第３色成分に相当する。このようなＹＣｇＣｏ色空間は、第２色空間の一例である。
なお、色空間変換部１０４における色空間変換は各色成分に対する加算・減算・乗算・除算・シフト処理などにより新たな色成分により構成される予測残差を生成すればよい。また、色空間変換は、すべての色成分に影響を及ぼす変換である必要はない。例えば、色空間変換部１０４は、第１色成分を変更せずに維持し、第２色成分と第３色成分との平均値を新たな第２色成分とし、第２色成分と第３色成分との差分を新たな第３色成分とする、という色空間変換を適用してもよい。
変換・量子化部１２０は、色成分ごとに、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１０５と、量子化部１０６とを有する。
変換部１０５は、予測残差（色空間変換の適用の有無にかかわらず予測残差と呼ぶ）に対して変換処理を行って変換係数を算出し、算出した変換係数を出力する。具体的には、変換部１０５は、各色成分の予測残差に対してブロック単位で変換処理を行うことで各色成分の変換係数を生成する。変換処理は、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）やＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、離散ウェーブレット変換などの周波数変換であればよい。また、変換部１０５は、変換処理に関する情報をエントロピー符号化部１０７に出力する。
変換処理には、変換処理を行わない変換スキップを含む。変換スキップは、水平のみ変換処理を適用する変換や垂直のみ変換処理を適用する変換も含む。また、変換部１０５は、変換処理により得られた変換係数に対してさらに変換処理を適用する二次変換処理を行ってもよい。二次変換処理は、変換係数の一部の領域のみに適用してもよい。
量子化部１０６は、変換部１０５が出力する変換係数を量子化パラメータ及びスケーリングリストを用いて量子化し、量子化した変換係数を出力する。また、量子化部１０６は、量子化処理に関する情報（具体的には、量子化処理で用いた量子化パラメータ及びスケーリングリストの情報）を、エントロピー符号化部１０７及び逆量子化部１０８に出力する。
エントロピー符号化部１０７は、量子化部１０６が出力する量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行ってビットストリーム（符号化データ）を生成し、ビットストリームを復号側に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等を用いることができる。また、エントロピー符号化部１０７は、変換部１０５からの変換処理に関する情報をビットストリームに含めて復号側にシグナリングしたり、予測部１４０からの予測処理に関する情報をビットストリームに含めて復号側にシグナリングしたりする。
また、エントロピー符号化部１０７は、第１色成分（ＲＧＢ色空間における「Ｇ」成分、ＹＣｇＣｏ色空間における「Ｙ」成分）、第２色成分（ＲＧＢ色空間における「Ｂ」成分、ＹＣｇＣｏ色空間における「Ｃｇ」成分）、第３色成分（ＲＧＢ色空間における「Ｒ」成分、ＹＣｇＣｏ色空間における「Ｃｏ」成分）のそれぞれについて、符号化対象ブロックが非ゼロの変換係数を含むか否かを示す有意係数フラグをビットストリームに含めて復号側にシグナリングする。有意係数フラグは、第１フラグの一例である。
例えば、エントロピー符号化部１０７は、ＹＣｇＣｏ色空間における「Ｙ」成分の符号化対象ブロックが非ゼロの変換係数を含む場合は有意係数フラグ（ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ）をＴＲＵＥ（“１”）に設定し、ＹＣｇＣｏ色空間における「Ｙ」成分の符号化対象ブロックが非ゼロの変換係数を含まない場合は有意係数フラグ（ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ）をＦＡＬＳＥ（“０”）に設定する。
エントロピー符号化部１０７は、ＹＣｇＣｏ色空間における「Ｃｇ」成分の符号化対象ブロックが非ゼロの変換係数を含む場合は有意係数フラグ（ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ）をＴＲＵＥ（“１”）に設定し、ＹＣｇＣｏ色空間における「Ｃｇ」成分の符号化対象ブロックが非ゼロの変換係数を含まない場合は有意係数フラグ（ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ）をＦＡＬＳＥ（“０”）に設定する。
エントロピー符号化部１０７は、ＹＣｇＣｏ色空間における「Ｃｏ」成分の符号化対象ブロックが非ゼロの変換係数を含む場合は有意係数フラグ（ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ）をＴＲＵＥ（“１”）に設定し、ＹＣｇＣｏ色空間における「Ｃｏ」成分の符号化対象ブロックが非ゼロの変換係数を含まない場合は有意係数フラグ（ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ）をＦＡＬＳＥ（“０”）に設定する。
さらに、エントロピー符号化部１０７は、色空間変換の適用有無を示す色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を符号化対象ブロックごとにビットストリームに含めて復号側にシグナリングする。このような色空間変換フラグを色空間変換適用フラグとも呼ぶ。色空間変換適用フラグは、第２フラグの一例である。
色空間変換適用フラグがＴＲＵＥ（“１”）の場合、対応する符号化対象ブロックに色空間変換が適用されることを示す。色空間変換適用フラグがＦＡＬＳＥ（“０”）の場合、対応する符号化対象ブロックに色空間変換が適用されないことを示す。なお、エントロピー符号化部１０７は、色空間変換適用フラグの代わりに色空間変換非適用フラグを用いてもよい。その場合には、色空間変換非適用フラグがＴＲＵＥ（“１”）の場合、対応する符号化対象ブロックに色空間変換が適用されないことを示す。色空間変換非適用フラグがＦＡＬＳＥ（“０”）の場合、対応する符号化対象ブロックに色空間変換が適用されることを示す。
逆量子化・逆変換部１３０は、色成分ごとに、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１３０は、逆量子化部１０８と、逆変換部１０９とを有する。
逆量子化部１０８は、量子化部１０６が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１０８は、量子化部１０６が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及びスケーリングリストを用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１０９に出力する。
逆変換部１０９は、変換部１０５が行う変換処理に対応する逆変換処理を行う。例えば、変換部１０５が離散コサイン変換を行った場合、逆変換部１０９は逆離散コサイン変換を行う。逆変換部１０９は、逆量子化部１０８が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を出力する。
色空間逆変換部１１０は、色空間変換部１０４が行う色空間変換の逆処理である色空間逆変換を行い、色空間逆変換後の予測残差を出力する。具体的には、色空間逆変換部１１０は、復元後の予測残差のＹ成分、Ｃｇ成分、Ｃｏ成分を用いて下記のような逆変換計算を行うことにより、ＹＣｇＣｏ色空間からＲＧＢ色空間への逆変換を行う。
ｔ＝Ｙ－（Ｃｇ＞＞１）
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ－（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ
スケーリング部１１１は、スケーリング部１０３が行う色差残差スケーリングに対応する逆処理（逆スケーリング処理）を行う。具体的には、スケーリング部１１１は、スケーリング部１０３によるスケーリング後の色差成分の予測残差ＣＲｅｓＳｃａｌｅに基づいて、スケーリング部１０３によるスケーリング前の予測残差ＣＲｅｓを、ＣＲｅｓＳｃａｌｅ／ＣＳｃａｌｅ、すなわち、ＣＲｅｓＳｃａｌｅ×ＣＳｃａｌｅＩｎｖにより算出及び出力する。
本実施形態において、スケーリング部１１１は、色差成分の有意係数フラグ（ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ、ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ）及び色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて、色差残差スケーリングのオン・オフ制御を行う。このような色差残差スケーリングのオン・オフ制御の詳細については後述する。
合成部１１２は、復元された予測残差を、予測部１４０が出力する予測ブロックと画素単位で合成する。合成部１１２は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復元（再構成）し、復元済みブロックを出力する。なお、復元済みブロックは、再構成ブロックと呼ばれることもある。
輝度逆マッピング部１１３は、復元済みブロックに対して、輝度マッピング部１０１が行う輝度マッピング処理に対応する逆マッピング処理を行う。
ループ内フィルタ１１４は、復元済みブロックに対してフィルタ処理を行い、フィルタ処理後の復元済みブロックをメモリ１１５に出力する。ループ内フィルタ１１４は、デブロッキングフィルタ及びサンプルアダプティブオフセット（ＳＡＯ）等を含む。
メモリ１１５は、ループ内フィルタ１１４が出力するフィルタ処理後の復元済みブロックを記憶し、復元済みブロックをフレーム単位で復元済み画像として蓄積する。
予測部１４０は、色成分ごとに、ブロック単位で予測処理を行う。予測部１４０は、符号化対象ブロックに対するイントラ予測及びインター予測などの予測処理を施すことにより、色成分ごとの予測ブロックを生成する。予測部１４０は、イントラ予測部１１６と、インター予測部１１７と、輝度マッピング部１１８と、切替部１１９とを有する。
イントラ予測部１１６は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１１６は、符号化対象ブロックの周辺にある復元済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを出力する。イントラ予測部１１６は、複数のイントラ予測モードの中から、符号化対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。
インター予測部１１７は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１１７は、メモリ１１５に記憶された復元済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを出力する。ここで、インター予測部１１７は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１１７は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１０７に出力する。
輝度マッピング部１１８は、インター予測部１１７が出力するインター予測ブロックに対して、輝度マッピング部１０１と同様な輝度マッピング処理を行う。
切替部１１９は、インター予測ブロックとイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを残差生成部１０２及び合成部１１２に出力する。
＜復号装置の構成＞
次に、本実施形態に係る復号装置について、符号化装置１との相違点を主として説明する。図３は、本実施形態に係る復号装置２の構成を示す図である。
図３に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２２０と、色空間逆変換部２０３と、合成部２０４と、輝度逆マッピング部２０５と、ループ内フィルタ２０６と、メモリ２０７と、予測部２３０と、スケーリング部２１２と、合成部２１３と、ループ内フィルタ２１４と、メモリ２１５と、予測部２４０とを有する。
エントロピー復号部２００は、ビットストリーム（入力符号化データ）を復号し、復号対象ブロックに対応する量子化変換係数を取得し、取得した量子化変換係数を逆量子化・逆変換部２２０に出力する。また、エントロピー復号部２００は、変換処理及び量子化処理に関する情報と、予測処理に関する情報とを取得し、変換処理及び量子化処理に関する情報を逆量子化・逆変換部２２０に出力し、予測処理に関する情報を予測部２３０及び予測部２４０に出力する。
また、エントロピー復号部２００は、第１色成分（ＲＧＢ色空間における「Ｇ」成分、ＹＣｇＣｏ色空間における「Ｙ」成分）、第２色成分（ＲＧＢ色空間における「Ｂ」成分、ＹＣｇＣｏ色空間における「Ｃｇ」成分）、第３色成分（ＲＧＢ色空間における「Ｒ」成分、ＹＣｇＣｏ色空間における「Ｃｏ」成分）のそれぞれについて、復号対象ブロックが非ゼロの変換係数を含むか否かを示す有意係数フラグを取得する。さらに、エントロピー復号部２００は、色空間変換の適用有無を示す色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を復号対象ブロックごとに取得する。
逆量子化・逆変換部２２０は、色成分ごとに、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２２０は、逆量子化部２０１と、逆変換部２０２とを有する。
逆量子化部２０１は、符号化装置１の量子化部１０６が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２０１は、エントロピー復号部２００が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及びスケーリングリストを用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２０２に出力する。
逆変換部２０２は、符号化装置１の変換部１０５が行う変換処理に対応する逆変換処理を行う。逆変換部２０２は、逆量子化部２０１が出力する変換係数に対して逆変換処理を行って予測残差を復元及び出力する。
色空間逆変換部２０３は、色空間変換を用いて復号対象ブロックが符号化されていることを色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が示す場合、復元された予測残差に対して、符号化装置１の色空間変換部１０４が行う色空間変換の逆処理である色空間逆変換処理を行う。具体的には、色空間逆変換部２０３は、復元された予測残差のＹ成分、Ｃｇ成分、Ｃｏ成分を用いて下記のような逆変換計算を行う。
ｔ＝Ｙ－（Ｃｇ＞＞１）
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ－（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ
合成部２０４は、第１色成分（ＲＧＢ色空間における「Ｇ」成分、ＹＣｇＣｏ色空間における「Ｙ」成分）の予測残差を、予測部２３０が出力する第１色成分の予測ブロックと画素単位で合成することにより元のブロックを復号（再構成）し、第１色成分の復元済みブロックを出力する。以下において、第１色成分を輝度成分と呼ぶ。
輝度逆マッピング部２０５は、輝度成分の復元済みブロックに対して、符号化装置１の輝度マッピング部１０１が行う輝度マッピング処理に対応する逆マッピング処理を行う。
ループ内フィルタ２０６は、輝度成分の復元済みブロックに対してフィルタ処理を行い、フィルタ処理後の復元済みブロックをメモリ２０７に出力する。ループ内フィルタ２０６は、デブロッキングフィルタ及びサンプルアダプティブオフセット（ＳＡＯ）等を含む。
メモリ２０７は、ループ内フィルタ２０６が出力するフィルタ処理後の復元済みブロックを記憶し、復元済みブロックをフレーム単位で復元済み画像として蓄積する。
予測部２３０は、輝度成分について、ブロック単位で予測処理を行う。予測部２３０は、イントラ予測部２０８と、インター予測部２０９と、輝度マッピング部２１０と、切替部２１１とを有する。
イントラ予測部２０８は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２０８は、復号対象ブロックの周辺にある復元済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを出力する。イントラ予測部２０８は、複数のイントラ予測モードの中から、符号化装置１からシグナリングされたイントラ予測モードを用いて復号対象ブロックを予測する。
インター予測部２０９は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２０９は、メモリ２０７に記憶された復元済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、復号対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを出力する。ここで、インター予測部２０９は、複数の参照画像を用いるインター予測や、１つの参照画像を用いるインター予測の中から、符号化装置１からシグナリングされたインター予測方法を用いてインター予測を行う。
輝度マッピング部２１０は、インター予測部２０９が出力するインター予測ブロックに対して、符号化装置１の輝度マッピング部１０１と同様な輝度マッピング処理を行う。
切替部２１１は、インター予測ブロックとイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２０４に出力する。
他方、スケーリング部２１２は、符号化装置１のスケーリング部１１１と同様に、色差成分（第２色成分、第３色成分）の予測残差を、当該色差成分に対応する輝度成分（第１色成分）に基づいてスケーリングする色差残差スケーリングを行う。具体的には、スケーリング部２１２は、色差成分の予測残差ＣＲｅｓＳｃａｌｅに基づいて、色差成分の予測残差ＣＲｅｓを、ＣＲｅｓＳｃａｌｅ／ＣＳｃａｌｅ、すなわち、ＣＲｅｓＳｃａｌｅ×ＣＳｃａｌｅＩｎｖにより算出及び出力する。
本実施形態において、スケーリング部２１２は、エントロピー復号部２００が取得した色差成分の有意係数フラグ（ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ、ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ）及び色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて、色差残差スケーリングのオン・オフ制御を行う。このような色差残差スケーリングのオン・オフ制御の詳細については後述する。
合成部２１３は、色差成分の予測残差を、予測部２４０が出力する色差成分の予測ブロックと画素単位で合成することにより元のブロックを復号（再構成）し、色差成分の復元済みブロックを出力する。
ループ内フィルタ２１４は、色差成分の復元済みブロックに対してフィルタ処理を行い、フィルタ処理後の復元済みブロックをメモリ２１５に出力する。ループ内フィルタ２１４は、デブロッキングフィルタ及びサンプルアダプティブオフセット（ＳＡＯ）等を含む。
メモリ２１５は、ループ内フィルタ２１４が出力するフィルタ処理後の復元済みブロックを記憶し、復元済みブロックをフレーム単位で復元済み画像として蓄積する。
予測部２４０は、色差成分について、ブロック単位で予測処理を行う。予測部２４０は、イントラ予測部２１６と、インター予測部２１７と、切替部２１８とを有する。
イントラ予測部２１６は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２１６は、復号対象ブロックの周辺にある復元済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを出力する。イントラ予測部２１６は、複数のイントラ予測モードの中から、符号化装置１からシグナリングされたイントラ予測モードを用いて復号対象ブロックを予測する。
インター予測部２１７は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２１７は、メモリ２１５に記憶された復元済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、復号対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを出力する。ここで、インター予測部２１７は、複数の参照画像を用いるインター予測や、１つの参照画像を用いるインター予測の中から、符号化装置１からシグナリングされたインター予測方法を用いてインター予測を行う。
切替部２１８は、インター予測ブロックとイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２１３に出力する。
＜色差残差スケーリングのオン・オフ制御＞
次に、本実施形態に係る色差残差スケーリングのオン・オフ制御について説明する。
上述のように、色空間変換が適用される場合、復号装置２に伝送される変換係数はＹＣｇＣｏ色空間であり、ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇはＣｇ成分の非ゼロの変換係数が存在する場合にＴＲＵＥ（“１”）に設定され、ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇはＣｏ成分の非ゼロの変換係数が存在する場合にＴＲＵＥ（“１”）に設定される。
Ｙ，Ｃｇ，Ｃｏのいずれかの色成分に非ゼロの変換係数が存在する場合、復号装置２において、それらのエネルギーが、色空間逆変換部２０３の色空間逆変換処理によりＲＧＢ色空間の各色成分に分散するため、ＲＧＢ色空間のすべての色成分において予測残差が生じる可能性が高い。
本実施形態においては、復号装置２のスケーリング部２１２は、ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ及びｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇだけではなく、色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）も考慮して、色差残差スケーリングのオン・オフ制御を行う。具体的には、スケーリング部２１２は、色差成分の有意係数フラグ（ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ、ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ）にかかわらず、色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）がＴＲＵＥ（“１”）である場合には、色差残差スケーリングを行う。これにより、色差残差スケーリングが正しく適用され、符号化効率を改善できる。
すなわち、本実施形態に係る復号装置２は、複数の色成分により構成される原画像を分割して得た復号対象ブロックに対する復号処理を行う装置であって、エントロピー復号部２００と、逆量子化・逆変換部２２０と、色空間逆変換部２０３と、スケーリング部２１２とを有する。
第１に、エントロピー復号部２００は、ビットストリームを復号することで、復号対象ブロックの色成分ごとの変換係数と、復号対象ブロックが非ゼロの変換係数を含むか否かを色成分ごとに示す有意係数フラグ（ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ、ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ）と、予測残差の色空間を原画像の色空間から他の色空間に変換する色空間変換を用いて復号対象ブロックが符号化されているか否かを示す色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）とを出力する。以下において、第２色成分及び第３色成分を特に区別せずに、ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ及びｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇのそれぞれを単に「ｔｕＣｂｆＣｈｒｏｍａフラグ」と呼ぶ。
第２に、逆量子化・逆変換部２２０は、色成分ごとに変換係数から予測残差を復元する。
第３に、色空間逆変換部２０３は、色空間変換を用いて復号対象ブロックが符号化されていることを色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が示す場合、復元された予測残差に対して色空間逆変換を行う。
第４に、スケーリング部２１２は、色差成分の予測残差を、当該色差成分に対応する輝度成分に基づいてスケーリングする色差残差スケーリングを行う。ここで、スケーリング部２１２は、ｔｕＣｂｆＣｈｒｏｍａフラグと、色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）とに基づいて、色差残差スケーリングを行うか否かを決定する。
図４は、本実施形態に係る色差残差スケーリングのオン・オフ制御を示す図である。
図４に示すように、スケーリング部２１２は、色空間変換を用いて復号対象ブロックが符号化されていることを色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が示す場合、すなわち、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ＴＲＵＥ（“１”）である場合（ステップＳ１：ＹＥＳ）、色差残差スケーリングを行うと決定する（ステップＳ２）。この場合、スケーリング部２１２及び合成部２１３は、色差残差スケーリングを伴う色差ブロック再構成処理を行う（ステップＳ３）。
また、スケーリング部２１２は、色差成分の復号対象ブロックが非ゼロの変換係数を含むことをｔｕＣｂｆＣｈｒｏｍａフラグが示す場合、すなわち、ｔｕＣｂｆＣｈｒｏｍａフラグ＝ＴＲＵＥ（“１”）である場合（ステップＳ１：ＹＥＳ）、色差残差スケーリングを行うと決定する（ステップＳ２）。この場合、スケーリング部２１２及び合成部２１３は、色差残差スケーリングを伴う色差ブロック再構成処理を行う（ステップＳ３）。
これに対し、スケーリング部２１２は、色差成分の復号対象ブロックが非ゼロの変換係数を含まないことをｔｕＣｂｆＣｈｒｏｍａフラグが示し、且つ、色空間変換を用いて復号対象ブロックが符号化されていないことを色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が示す場合、すなわち、ｔｕＣｂｆＣｈｒｏｍａフラグ＝ＦＡＬＳＥ（“０”）且つｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ＦＡＬＳＥ（“０”）である場合（ステップＳ１：ＮＯ）、色差残差スケーリングを行わないと決定する（ステップＳ４）。この場合、スケーリング部２１２及び合成部２１３は、色差残差スケーリングを伴わない色差ブロック再構成処理を行う（ステップＳ５）。
このように、本実施形態に係るスケーリング部２１２は、色差成分の有意係数フラグ（ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ、ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ）にかかわらず、色空間変換適用フラグ（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）がＴＲＵＥ（“１”）である場合には、色差残差スケーリングを行う。これにより、色差残差スケーリングが正しく適用され、符号化効率を改善できる。
＜その他の実施形態＞
符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。
以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
１ ：符号化装置
２ ：復号装置
１００ ：ブロック分割部
１０１ ：輝度マッピング部
１０２ ：残差生成部
１０３ ：スケーリング部
１０４ ：色空間変換部
１０５ ：変換部
１０６ ：量子化部
１０７ ：エントロピー符号化部
１０８ ：逆量子化部
１０９ ：逆変換部
１１０ ：色空間逆変換部
１１１ ：スケーリング部
１１２ ：合成部
１１３ ：輝度逆マッピング部
１１４ ：ループ内フィルタ
１１５ ：メモリ
１１６ ：イントラ予測部
１１７ ：インター予測部
１１８ ：輝度マッピング部
１１９ ：切替部
１２０ ：変換・量子化部
１３０ ：逆量子化・逆変換部
１４０ ：予測部
２００ ：エントロピー復号部
２０１ ：逆量子化部
２０２ ：逆変換部
２０３ ：色空間逆変換部
２０４ ：合成部
２０５ ：輝度逆マッピング部
２０６ ：ループ内フィルタ
２０７ ：メモリ
２０８ ：イントラ予測部
２０９ ：インター予測部
２１０ ：輝度マッピング部
２１１ ：切替部
２１２ ：スケーリング部
２１３ ：合成部
２１４ ：ループ内フィルタ
２１５ ：メモリ
２１６ ：イントラ予測部
２１７ ：インター予測部
２１８ ：切替部
２２０ ：逆量子化・逆変換部
２３０ ：予測部
２４０ ：予測部

Claims (5)

  1. 複数の色成分により構成される原画像を分割して得たブロックに対する復号処理を行う復号装置であって、
    ビットストリームを復号することで、前記ブロックの色成分ごとの変換係数と、前記ブロックが非ゼロの変換係数を含むか否かを色成分ごとに示す第１フラグと、予測残差の色空間を前記原画像の色空間から他の色空間に変換する色空間変換を用いて前記ブロックが符号化されているか否かを示す第２フラグとを出力するエントロピー復号部と、
    色成分ごとに前記変換係数から前記予測残差を復元する逆量子化・逆変換部と、
    前記色空間変換を用いて前記ブロックが符号化されていることを前記第２フラグが示す場合、前記予測残差に対して色空間逆変換を行う色空間逆変換部と、
    色差成分の前記予測残差を、前記色差成分に対応する輝度成分に基づいてスケーリングする色差残差スケーリングを行うスケーリング部と、を備え、
    前記スケーリング部は、前記色差成分のブロックが非ゼロの変換係数を含まないことを前記第１フラグが示し、且つ、前記色空間変換を用いて前記ブロックが符号化されていないことを前記第２フラグが示す場合、前記色差残差スケーリングを行わないと決定することを特徴とする復号装置。
  2. 前記スケーリング部は、前記色空間変換を用いて前記ブロックが符号化されていることを前記第２フラグが示す場合、前記色差残差スケーリングを行うと決定することを特徴とする請求項１に記載の復号装置。
  3. 前記スケーリング部は、前記色差成分の前記ブロックが非ゼロの変換係数を含むことを前記第１フラグが示す場合、前記色差残差スケーリングを行うと決定することを特徴とする請求項１又は２に記載の復号装置。
  4. コンピュータを請求項１乃至３のいずれか１項に記載の復号装置として機能させることを特徴とするプログラム。
  5. 複数の色成分により構成される原画像を分割して得たブロックに対する復号処理を行う復号方法であって、
    ビットストリームを復号することで、前記ブロックの色成分ごとの変換係数と、前記ブロックが非ゼロの変換係数を含むか否かを色成分ごとに示す第１フラグと、予測残差の色空間を前記原画像の色空間から他の色空間に変換する色空間変換を用いて前記ブロックが符号化されているか否かを示す第２フラグとを出力するステップと、
    前記色空間変換を用いて前記ブロックが符号化されていることを前記第２フラグが示す場合、前記変換係数から復元された前記予測残差に対して色空間逆変換を行うステップと、
    色差成分の前記第１フラグと、前記第２フラグとに基づいて、前記色差成分の前記予測残差を、前記色差成分に対応する輝度成分に基づいてスケーリングする色差残差スケーリングを行うか否かを決定するステップと、を有し、
    前記決定するステップは、前記色差成分のブロックが非ゼロの変換係数を含まないことを前記第１フラグが示し、且つ、前記色空間変換を用いて前記ブロックが符号化されていないことを前記第２フラグが示す場合、前記色差残差スケーリングを行わないと決定するステップを含むことを特徴とする復号方法。
JP2022209560A 2020-12-17 2022-12-27 復号装置、プログラム、及び復号方法 Active JP7404497B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023210439A JP2024019542A (ja) 2020-12-17 2023-12-13 復号装置、プログラム、及び復号方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020209556 2020-12-17
JP2020209556 2020-12-17
JP2021205158A JP7391932B2 (ja) 2020-12-17 2021-12-17 復号装置、プログラム、及び復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021205158A Division JP7391932B2 (ja) 2020-12-17 2021-12-17 復号装置、プログラム、及び復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023210439A Division JP2024019542A (ja) 2020-12-17 2023-12-13 復号装置、プログラム、及び復号方法

Publications (2)

Publication Number Publication Date
JP2023027401A true JP2023027401A (ja) 2023-03-01
JP7404497B2 JP7404497B2 (ja) 2023-12-25

Family

ID=82059376

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021205158A Active JP7391932B2 (ja) 2020-12-17 2021-12-17 復号装置、プログラム、及び復号方法
JP2022209560A Active JP7404497B2 (ja) 2020-12-17 2022-12-27 復号装置、プログラム、及び復号方法
JP2023210439A Pending JP2024019542A (ja) 2020-12-17 2023-12-13 復号装置、プログラム、及び復号方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021205158A Active JP7391932B2 (ja) 2020-12-17 2021-12-17 復号装置、プログラム、及び復号方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023210439A Pending JP2024019542A (ja) 2020-12-17 2023-12-13 復号装置、プログラム、及び復号方法

Country Status (5)

Country Link
US (2) US11677965B2 (ja)
JP (3) JP7391932B2 (ja)
KR (2) KR102505364B1 (ja)
MX (1) MX2022003464A (ja)
WO (1) WO2022130663A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240019638A (ko) * 2022-08-04 2024-02-14 삼성전자주식회사 크로마 성분 예측을 수행하는 ai에 기반한 비디오 복호화 장치 및 방법, 및 비디오 부호화 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3127330A4 (en) * 2014-05-05 2017-12-13 MediaTek Singapore Pte Ltd. Method and apparatus for determining residue transform tree representation
CN116095314A (zh) * 2017-06-29 2023-05-09 杜比实验室特许公司 整合的图像整形和视频编码
US11516512B2 (en) * 2019-03-04 2022-11-29 Alibaba Group Holding Limited Method and system for processing video content
US20200288159A1 (en) * 2019-03-08 2020-09-10 Qualcomm Incorporated Combined residual coding in video coding
KR20220140871A (ko) * 2019-09-23 2022-10-18 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 4:4:4 크로마 포맷의 비디오 코딩 방법 및 장치
KR20240059003A (ko) 2020-06-12 2024-05-07 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 4:4:4 색 포맷의 비디오 코딩 방법 및 장치

Also Published As

Publication number Publication date
KR102505364B1 (ko) 2023-02-28
US20220217367A1 (en) 2022-07-07
WO2022130663A1 (ja) 2022-06-23
KR20220088682A (ko) 2022-06-28
JP7391932B2 (ja) 2023-12-05
US11936885B2 (en) 2024-03-19
JP2022096655A (ja) 2022-06-29
KR20230034427A (ko) 2023-03-09
JP2024019542A (ja) 2024-02-09
JP7404497B2 (ja) 2023-12-25
US11677965B2 (en) 2023-06-13
US20230269383A1 (en) 2023-08-24
MX2022003464A (es) 2022-10-21

Similar Documents

Publication Publication Date Title
KR102165340B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
JP6588523B2 (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
WO2018061588A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
WO2010001999A1 (ja) 動画像符号化／復号化方法及び装置
JP2011160469A (ja) 単一符号化モードを利用した映像符号化／復号化方法及び装置
KR101362755B1 (ko) 센서영상 부호화 및 복호화장치와 그 방법
JP7142180B2 (ja) 符号化装置、復号装置、及びプログラム
JP2024019542A (ja) 復号装置、プログラム、及び復号方法
JP7219030B2 (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム
JP2007266861A (ja) 画像符号化装置
US20240195992A1 (en) Decoding device, program, and decoding method
JP7343702B2 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
JP7444599B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7142187B2 (ja) 符号化装置、復号装置、及びプログラム
WO2021251400A1 (ja) 復号装置及びプログラム
WO2021132404A1 (ja) 符号化装置、復号装置、及びプログラム
WO2021100450A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2022093657A (ja) 符号化装置、復号装置、及びプログラム
JP2021093634A (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231213

R150 Certificate of patent or registration of utility model

Ref document number: 7404497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150