CN115176476A - 图像处理装置、比特流生成方法、系数数据生成方法以及量化系数生成方法 - Google Patents

图像处理装置、比特流生成方法、系数数据生成方法以及量化系数生成方法 Download PDF

Info

Publication number
CN115176476A
CN115176476A CN202080083747.1A CN202080083747A CN115176476A CN 115176476 A CN115176476 A CN 115176476A CN 202080083747 A CN202080083747 A CN 202080083747A CN 115176476 A CN115176476 A CN 115176476A
Authority
CN
China
Prior art keywords
transform
flag
unit
mode
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080083747.1A
Other languages
English (en)
Inventor
筑波健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115176476A publication Critical patent/CN115176476A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开内容涉及能够抑制编码效率的降低的图像处理装置、比特流生成方法、系数数据生成方法以及量化系数生成方法。本公开内容在对图像进行编码时：生成变换跳过标志，该变换跳过标志是针对每个分量指示是否跳过将图像与图像的预测图像之间的残差变换成系数数据的变换处理的标志信息；对所生成的变换跳过标志进行编码；生成变换跳过标志的编码数据；以及生成包括所生成的变换跳过标志的编码数据的比特流。本公开内容可以应用于例如图像处理装置、图像编码装置、图像解码装置、发送装置、接收装置、发送/接收装置、信息处理装置、成像装置、再现装置、比特流生成方法、系数数据生成方法、量化系数生成方法等。

Description

图像处理装置、比特流生成方法、系数数据生成方法以及量化 系数生成方法
技术领域
本公开内容涉及图像处理装置、比特流生成方法、系数数据生成方法以及量化系数生成方法，并且具体地涉及能够抑制编码效率降低的图像处理装置、比特流生成方法、系数数据生成方法以及量化系数生成方法。
背景技术
通常，已经提出了在图像编码中通过跳过(省略)将图像与其预测图像之间的残差变换成系数数据的变换处理来执行编码的方法(例如，非专利文献1)。
引文列表
非专利文献
非专利文献1：Benjamin Bross，Jianle Chen，Shan Liu，“通用视频编码(草案5)”，JVET-N1001-v10，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第14次会议：瑞士，日内瓦，2019 年3月19日至2019年3月27日。
发明内容
本发明要解决的问题
然而，在非专利文献1中描述的方法的情况下，这种变换跳过模式仅被应用于亮度分量(亮度变换跳过)。也就是说，该变换跳过模式不能应用于色度分量。因此，存在降低编码效率的可能性。
本公开内容是鉴于这种情况而进行的，其目的在于使得能够抑制编码效率的降低。
问题的解决方案
根据本技术的一方面的图像处理装置是这样的图像处理装置，该图像处理装置包括：标志生成单元，其生成变换跳过标志，变换跳过标志是针对每个分量指示在对图像进行编码时是否跳过将图像与图像的预测图像之间的残差变换成系数数据的变换处理的标志信息；标志编码单元，其对由标志生成单元生成的变换跳过标志进行编码，并且生成变换跳过标志的编码数据；以及比特流生成单元，其生成包括由标志编码单元生成的变换跳过标志的编码数据的比特流。
根据本技术的一方面的比特流生成方法是这样的比特流生成方法，该方法包括：生成变换跳过标志，变换跳过标志是针对每个分量指示在对图像进行编码时是否跳过将图像与图像的预测图像之间的残差变换成系数数据的变换处理的标志信息；对所生成的变换跳过标志进行编码，并且生成变换跳过标志的编码数据；以及生成包括所生成的变换跳过标志的编码数据的比特流。
根据本技术的另一方面的图像处理装置是这样的图像处理装置，该图像处理装置包括：量化参数校正单元，当在对图像进行编码时与分量标识符对应的变换跳过标志指示用于跳过变换处理的变换跳过的情况下，所述量化参数校正单元对要应用于与该分量标识符对应的处理目标变换块的量化参数进行校正，所述变换处理用于将图像与图像的预测图像之间的残差变换成变换系数；以及量化单元，其通过使用已由量化参数校正单元校正的量化参数来执行对与分量标识符对应的处理目标变换块的量化。
根据本技术的另一方面的量化系数生成方法是这样的量化系数生成方法，包括：在对图像进行编码时与分量标识符对应的变换跳过标志指示用于跳过变换处理的变换跳过的情况下，对要应用于与分量标识符对应的处理目标变换块的量化参数进行校正，所述变换处理用于将图像与图像的预测图像之间的残差变换成变换系数；以及通过使用已校正的量化参数来执行对与分量标识符对应的处理目标变换块的量化，并且生成与分量标识符对应的量化系数。
根据本技术的又一方面的图像处理装置是这样的图像处理装置，该图像处理装置包括：标志解码单元，其对与分量标识符对应的变换跳过标志的编码数据进行解码，并且获得与分量标识符对应的变换跳过标志；模式控制单元，其基于由标志解码单元获得的与分量标识符对应的变换跳过标志，控制与分量标识符对应的系数数据的编码数据的解码模式是被设置成TS残差解码模式还是被设置成非TS残差解码模式，TS残差解码模式是用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的情况的模式，非TS残差解码模式是用于不跳过逆变换处理的情况的模式；以及系数数据解码单元，其根据由模式控制单元设置的解码模式对与分量标识符对应的系数数据的编码数据进行解码，并且生成与分量标识符对应的系数数据。
根据本技术的又一方面的系数数据生成方法是这样的系数数据生成方法，该方法包括：对与分量标识符对应的变换跳过标志的编码数据进行解码，并且获得与分量标识符对应的变换跳过标志；基于所获得的与分量标识符对应的变换跳过标志来控制与分量标识符对应的系数数据的编码数据的解码模式是被设置成TS残差解码模式还是被设置成非TS残差解码模式，TS残差解码模式是用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的情况的模式，非TS残差解码模式是用于不跳过逆变换处理的情况的模式；以及根据所设置的解码模式对与分量标识符对应的系数数据的编码数据进行解码，并且生成与分量标识符对应的系数数据。
根据本技术的又一方面的图像处理装置是这样的图像处理装置，该图像处理装置包括：量化参数校正单元，当在与分量标识符对应的变换跳过标志指示用于跳过逆变换处理的变换跳过的情况下，所述量化参数校正单元对要应用于与分量标识符对应的处理目标变换块的量化参数进行校正，逆变换处理用于将系数数据变换成图像与预测图像之间的残差；以及逆量化单元，其通过使用由量化参数校正单元校正的量化参数来执行对与分量标识符对应的处理目标变换块的逆量化。
根据本技术的又一方面的系数数据生成方法是这样的系数数据生成方法，该方法包括：在与分量标识符对应的变换跳过标志指示用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的变换跳过的情况下，对要应用于与分量标识符对应的处理目标变换块的量化参数进行校正；以及通过使用已校正的量化参数来执行对与分量标识符对应的处理目标变换块的逆量化，并且生成与分量标识符对应的系数数据。
在根据本技术的一方面的图像处理装置和比特流生成方法中：生成变换跳过标志，变换跳过标志是针对每个分量指示在对图像进行编码时是否跳过变换处理的标志信息，所述变换处理将图像与图像的预测图像之间的残差变换成系数数据；对所生成的变换跳过标志进行编码，生成变换跳过标志的编码数据；以及生成包括所生成的变换跳过标志的编码数据的比特流。
在根据本技术的另一方面的图像处理装置和量化系数生成方法中：在对图像进行编码时与分量标识符对应的变换跳过标志指示用于跳过变换处理的变换跳过的情况下，对要应用于与分量标识符对应的处理目标变换块的量化参数进行校正，变换处理用于将图像与图像的预测图像之间的残差变换成变换系数；以及通过使用已校正的量化参数来执行对与分量标识符对应的处理目标变换块的量化；并且生成与分量标识符对应的量化系数。
在根据本技术的又一方面的图像处理装置和系数数据生成方法中：对与分量标识符对应的变换跳过标志的编码数据进行解码，获得与分量标识符对应的变换跳过标志；基于所获得的与分量标识符对应的变换跳过标志，控制与分量标识符对应的系数数据的编码数据的解码模式是被设置成 TS残差解码模式还是被设置成非TS残差解码模式，TS残差解码模式是用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的情况的模式，非TS残差解码模式是用于不跳过逆变换处理的情况的模式；根据所设置的解码模式对与分量标识符对应的系数数据的编码数据进行解码，并且生成与分量标识符对应的系数数据。
在根据本技术的又一方面的图像处理装置和系数数据生成方法中，在与分量标识符对应的变换跳过标志指示用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的变换跳过的情况下，对要应用于与分量标识符对应的处理目标变换块的量化参数进行校正；通过使用已校正的量化参数来执行对与分量标识符对应的处理目标变换块的逆量化，并且生成与分量标识符对应的系数数据。
附图说明
图1是描述变换跳过的扩展的图。
图2是示出图像编码装置的主要配置示例的框图。
图3是示出编码单元的主要配置示例的框图。
图4是示出图像编码处理的流程的示例的流程图。
图5是描述编码处理的流程的示例的流程图。
图6是示出图像解码装置的主要配置示例的框图。
图7是示出解码单元的主要配置示例的框图。
图8是示出图像解码处理的流程的示例的流程图。
图9是示出解码处理的流程的示例的流程图。
图10是示出TU的语法的示例的图。
图11是示出变换模式信息的语法的示例的图。
图12是示出TS残差编码模式的语法的示例的图。
图13是示出变换模式信息的语义的示例的图。
图14是示出变换模式信息的语法的另一示例的图。
图15是示出序列参数集的语法的示例的图。
图16是示出TU的语法的示例的图。
图17是示出序列参数集的语义的示例的图。
图18是示出序列参数集的语法的示例的图。
图19是示出TU的语法的示例的图。
图20是示出序列参数集的语义的示例的图。
图21是示出量化单元的主要配置示例的框图。
图22是示出量化处理的流程的示例的流程图。
图23是示出逆量化单元的主要配置示例的框图。
图24是示出逆量化处理的流程的示例的流程图。
图25是示出量化参数的语法的示例的图。
图26是示出上下文变量的语法的示例的图。
图27是示出上下文变量的语法的示例的图。
图28是描述符号编码模式的切换的图。
图29是示出计算机的主要配置示例的框图。
具体实施方式
在下文中，将描述用于执行本公开内容的模式(在下文中称为实施方式)。注意，将按照以下顺序进行描述。
1.支持技术内容和技术术语的文献等
2.变换跳过
3.第一实施方式(变换跳过的扩展)
4.第二实施方式(量化参数的校正)
5.第三实施方式(上下文变量的共享)
6.第四实施方式(符号码的编码-解码模式的控制)
7.附录
<1.支持技术内容和技术术语的文献等>
本技术中公开的范围不仅包括实施方式中描述的内容，而且还包括在提交时已知的以下非专利文献中描述的内容。
非专利文献1：(如上所述)
非专利文献2：Takeshi Tsukuba，Masaru Ikeda，Yoichi Yagasaki， TeruhikoSuzuki，“CE8:Chroma Transform Skip(CE8-3.2)”， JVET-O0081-v2，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第15次会议：瑞典，哥德堡，2019年7月3日至 2019年7月12日
非专利文献3：Tung Nguyen，Benjamin Bross，Heiko Schwarz，Detlev Marpe,Thomas Wiegand，“Non-CE8:Minimum Allowed QP for Transform Skip Mode”，JVET-O0405-v1，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第15次会议：瑞典，哥德堡，2019 年7月3日至2019年7月12日
非专利文献4：Jianle Chen，Yan Ye，Seung Hwan Kim，“Algorithm descriptionfor Versatile Video Coding and Test Model 6(VTM 6)”， JVET-O2002-v2，ITU-T SG16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第15次会议：瑞典，哥德堡，2019年7月3日至 2019年7月12日
非专利文献5：Takeshi Tsukuba，Masaru Ikeda，Yoichi Yagasaki， TeruhikoSuzuki，“CE8-2.1:Transform Skip for Chroma with limiting maximum number ofcontext-coded bin in TS residual coding”，JVET-P0058-v1，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第16次会议：瑞士，日内瓦，2019年10月1日至 2019年10月11日
非专利文献6：Gordon Clare，Felix Henry，Takeshi Tsukuba，Masaru Ikeda，Yoich Yagasaki，Teruhiko Suzuki，“CE8-4.1:BDPCM and Transform skip for Chroma”，JVET-P0059-v1，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第16次会议：瑞士，日内瓦，2019 年10月1日至2019年10月11日
非专利文献7：ITU的电信标准化部门(国际电信联盟)，“Advanced video codingfor generic audiovisual services”，H.264，2017年4月
非专利文献8：ITU的电信标准化部门(国际电信联盟)，“High efficiency videocoding”，H.265，2016年12月
也就是说，以上提及的非专利文献中描述的内容也是用于确定支持要求的基础。例如，即使在实施方式中没有直接描述上述非专利文献中描述的四叉树块结构和四叉树加二叉树(QTBT)块结构的情况下，它们也在本技术的公开内容的范围内，并且被认为满足权利要求的支持要求。此外，例如，即使在实施方式中没有直接描述诸如解析、语法和语义的技术术语的情况下，这些技术术语也在本技术的公开内容的范围内，并且被认为满足权利要求的支持要求。
此外，在本说明书中，除非另有指定，否则在说明书中用作图像(图片)的部分区域或者处理单元的“块”(不是指示处理单元的块)指示图片中的任何部分区域，并且不限制其大小、形状、特性等。例如，“块”包括任何部分区域(处理单元)，例如在上述非专利文献中描述的变换块 (TB)、变换单元(TU)、预测块(PB)、预测单元(PU)、最小编码单元 (SCU)、编码单元(CU)、最大编码单元(LCU)、编码树块(CTB)、编码树单元(CTU)、变换块、子块、宏块、图块或切片。
此外，在指定这种块的大小时，不仅可以直接指定块大小，而且可以间接指定块大小。例如，可以使用标识大小的标识信息来指定块大小。此外，例如，块大小可以通过与参考块(例如，LCU、SCU等)的大小的比率或差异来指定。例如，在将用于指定块大小的信息作为语法元素等进行传输的情况下，可以使用如上所述的用于间接指定大小的信息作为该信息。以这种方式，可以减少信息的信息量，并且可以提高编码效率。此外，块大小的指定还包括块大小的范围的指定(例如，可允许块大小的范围的指定等)。
此外，在本说明书中，编码不仅包括将图像变换成比特流的全部处理，而且还包括所述处理的一部分。例如，编码不仅包括包含预测处理、正交变换、量化、算术编码等的处理，而且还包括整体上包含量化和算术编码的处理，包含预测处理、量化和算术编码的处理等。类似地，解码不仅包括将比特流变换成图像的全部处理，而且包括所述处理的一部分。例如，处理不仅包括包含逆算术解码、逆量化、逆正交变换、预测处理等的处理，而且还包括包含逆算术解码和逆量化的处理，包含逆算术解码、逆量化和预测处理的处理等。
<2.变换跳过>
<亮度分量的变换跳过>
通常，在对静止图像和运动图像进行编码时，输入到编码装置的图像通常是具有亮度分量和颜色分量(其可以包括色度分量)的彩色图像。在这样的图像编码中，例如，如非专利文献1中所述，已经考虑了针对亮度分量通过跳过(省略)将图像与其预测图像之间的残差变换成系数数据的变换处理来执行编码的方法。
然而，这种变换跳过模式不能应用于颜色分量。因此，在其中变换跳过有效的屏幕内容等中，颜色分量的编码效率可能会降低。
<变换跳过标志的扩展>
因此，扩展了变换跳过，使得可以针对每个分量(每个亮度分量和每个颜色分量)设置变换跳过，并且不仅可以针对亮度分量还可以针对颜色分量来执行变换跳过。例如，在上述非专利文献中描述的图像编码和解码方法的情况下，跳过的设置可以由变换跳过标志(transform_skip_flag)来指示。此外，分量可以由分量标识符(cIdx)来指示。因此，例如，如在图1的表格的顶行中描述的方法1中，与分量标识符的值相关联地设置变换跳过标志的值。
例如，图像处理装置包括：标志生成单元，其生成变换跳过标志，该变换跳过标志是针对每个分量指示在对图像进行编码时是否跳过将图像与图像的预测图像之间的残差变换成系数数据的变换处理的标志信息；标志编码单元，其对由标志生成单元生成的变换跳过标志进行编码，并且生成变换跳过标志的编码数据；以及比特流生成单元，其生成包括由标志编码单元生成的变换跳过标志的编码数据的比特流。
此外，例如，在生成比特流时，生成变换跳过标志，该变换跳过标志是针对每个分量指示在对图像进行编码时是否跳过将图像与图像的预测图像之间的残差变换成系数数据的变换处理的标志信息，对所生成的变换跳过标志进行编码，生成变换跳过标志的编码数据，并且生成包括所生成的变换跳过标志的编码数据的比特流。
以这种方式，可以将针对每个分量的变换跳过的设置提供给解码侧。因此，在变换跳过被应用于颜色分量的情况下，解码侧可以正确地对比特流进行解码。因此，与变换跳过可以仅应用于亮度分量的情况相比，可以抑制编码效率的降低。
然后，可以在解码侧获取变换跳过标志。
例如，图像处理装置可以包括标志解码单元，该标志解码单元对与分量标识符相对应的变换跳过标志的编码数据进行解码，并且获得与分量标识符相对应的变换跳过标志。
此外，例如，在生成系数数据时，可以对与分量标识符相对应的变换跳过标志的编码数据进行解码，以获得与分量标识符相对应的变换跳过标志。
以这种方式，在解码时，可以应用由变换跳过标志指示的针对每个分量的变换跳过的设置。因此，可以对应用了变换跳过的颜色分量的比特流进行正确地解码。因此，与变换跳过仅可以应用于亮度分量的情况相比，可以抑制编码效率的降低。
此外，在对图像进行编码时，可以基于通过上述变换跳过标志针对每个分量的变换跳过的设置来控制颜色分量的变换处理。也就是说，变换跳过可以应用于颜色分量的变换处理。以这种方式，与变换跳过仅可以应用于亮度分量的情况相比，可以抑制编码效率的降低。
类似地，在对图像的编码数据进行解码时，可以基于通过上述变换跳过标志针对每个分量的变换跳过的设置来控制将颜色分量的系数数据变换成图像与预测图像之间的残差的逆变换处理。也就是说，变换跳过可以应用于颜色分量的逆变换处理。以这种方式，可以对应用了变换跳过的颜色分量的比特流进行正确地解码。因此，与变换跳过仅可以应用于亮度分量的情况相比，可以抑制编码效率的降低。
注意，如上所述，通过针对每个分量设置变换跳过，可以独立于亮度分量而针对颜色分量设置变换跳过。因此，可以根据变换跳过对于颜色分量是否有效来设置针对颜色分量的变换跳过。以这种方式，与将针对亮度分量的变换跳过的设置应用于颜色分量的情况相比，可以抑制编码效率的降低。
<编码模式的控制>
此外，在非专利文献1中描述的方法的情况下，根据变换跳过的存在或不存在来控制亮度分量的系数数据的编码模式(解码模式)。例如，在执行变换跳过的情况下，在针对已执行变换跳过的系数数据而被优化的 TS残差编码模式下对亮度分量的系数数据进行编码(在针对经变换跳过的系数数据而被优化的TS残差解码模式下对亮度分量的系数数据的编码数据进行解码)。另一方面，在不执行变换跳过的情况下，在针对已执行变换处理的系数数据而被优化的非TS残差编码模式下对亮度分量的系数数据进行编码(在针对已执行变换处理的系数数据而被优化的非TS残差解码模式下对亮度分量的系数数据的编码数据进行解码)。
然而，由于变换跳过不应用于色度分量，因此还没有执行编码模式(解码模式)的这样的控制。因此，在如上所述将变换跳过应用于颜色分量的情况下，与执行编码模式(解码模式)的这样的控制的情况相比，编码效率可能降低。
因此，在如上述方法1中那样将变换跳过应用于颜色分量的情况下，也可以应用编码模式(解码模式)的这样的控制。例如，如在从图1中的表格的顶部起第二行中描述的方法1-1中，在将变换跳过应用于分量的标识符的每个值的情况下，TS残差编码模式(TS残差解码模式)可以被应用为编码模式(解码模式)，并且在不应用变换跳过的情况下(在非变换跳过的情况下)，非TS残差编码模式(非TS残差解码模式)可以被应用为编码模式(解码模式)。
例如，基于与分量标识符相对应的变换跳过标志，可以控制与分量标识符相对应的系数数据的编码模式是被设置为TS残差编码模式还是被设置为非TS残差编码模式，TS残差编码模式是用于跳过变换处理的情况的模式，非TS残差编码模式是用于不跳过变换处理的情况的模式，并且与分量标识符相对应的系数数据可以通过如上所述设置的编码模式被编码，并且生成系数数据的编码数据。
此外，例如，基于与分量标识符相对应的变换跳过标志，可以控制与分量标识符相对应的系数数据的编码数据的解码模式是被设置为TS残差解码模式还是被设置为非TS残差解码模式，TS残差解码模式是用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的情况的模式，非TS残差解码模式是用于不跳过逆变换处理的情况的模式，以通过如上所述设置的解码模式来对与分量标识符相对应的系数数据的编码数据进行解码，并且生成与分量标识符相对应的系数数据。
以这种方式，由于可以应用根据变换跳过的设置的编码模式(解码模式)，因此与在单一编码模式(解码模式)下执行编码(解码)的情况相比，可以抑制编码效率的降低。
<变换跳过残差编码使用标志>
可以应用指示在TS残差编码模式(TS残差解码模式)与非TS残差编码模式(非TS残差解码模式)之间的选择的标志。例如，可以如在从图1中表格的顶部起第三行中描述的方法1-1-1中那样应用指示编码模式的选择设置的残差编码模式选择标志(也称为变换跳过残差编码使用标志)。
例如，在编码时，可以生成作为指示是应用TS残差编码模式还是非 TS残差编码模式的标志信息的变换跳过残差编码使用标志，可以对变换跳过残差编码使用标志进行编码，并且可以生成包括变换跳过残差编码使用标志的编码数据的比特流。
此外，在解码时，可以对变换跳过残差编码使用标志的编码数据进行解码，以生成与分量标识符相对应的变换跳过残差编码使用标志，并且可以基于与分量标识符相对应的变换跳过残差编码使用标志来控制与分量标识符相对应的系数数据的编码数据的解码模式是被设置为TS残差解码模式还是被设置为非TS残差解码模式。
例如，可以以序列参数等的高级别设置这样的变换跳过残差编码使用标志。以这种方式，即使不支持变换跳过的编码器或解码器也可以基于该标志正确地执行编码和解码。因此，可以抑制编码效率的降低。换句话说，可以省略编码器和解码器中的TS残差编码模式(TS残差解码模式)的实现方式，并且可以抑制电路规模的增加。
<变换跳过残差编码使用特定模式标志>
可以应用指示在特定模式下是应用TS残差编码模式(TS残差解码模式)还是应用非TS残差编码模式(非TS残差解码模式)的标志。例如，如在从图1中表格的顶部起第四行中描述的方法1-1-2中，可以应用在特定模式下启用对编码模式的选择的标志(也称为变换跳过残差编码使用特定模式标志)。
例如，在编码时，可以生成作为指示在特定模式下是应用TS残差编码模式还是非TS残差编码模式的标志信息的变换跳过残差编码使用特定模式标志，可以对变换跳过残差编码使用特定模式标志进行编码，并且可以生成包括变换跳过残差编码使用特定模式标志的编码数据的比特流。
此外，在解码时，可以对变换跳过残差编码使用特定模式标志的编码数据进行解码，可以生成与分量标识符相对应的变换跳过残差编码使用特定模式标志，并且可以基于与分量标识符相对应的变换跳过残差编码使用特定模式标志来控制与分量标识符相对应的系数数据的编码数据的解码模式是被设置为TS残差解码模式还是被设置为非TS残差解码模式。
例如，可以以诸如序列参数的高级别设置这样的变换跳过残差编码使用特定模式标志。这使得能够在特定模式下在TS残差解码模式与非TS 残差解码模式之间切换。
注意，稍后将在第一实施方式中描述前述方法1、方法1-1、方法1-1-1 和方法1-1-2。
<量化参数的校正>
非专利文献3提出了如下方法：所述方法用于在亮度变换跳过的情况下，将应用于亮度变换块的量化参数QP裁剪为QP＝4或QP＝ QpPrimeTsMin(最小TSQP)，作为对抗当在应用了亮度变换跳过的亮度变换块中的量化参数QP<4时峰值信噪比(PSNR)降低的可能性的对策。
在变换跳过被应用于颜色分量的情况下，尽管类似地存在PSNR减小的可能性，但是通常变换跳过不被应用于颜色分量，并且自然没有考虑这一点。
因此，例如，如在从图1中表格的顶部起第五行中描述的方法1-2中，在分量标识符的每个值中的变换跳过的情况下，可以校正量化参数。也就是说，在应用变换跳过的情况下，可以校正量化参数。然后，可以对每个分量执行这样的控制。
例如，图像处理装置可以包括：量化参数校正单元，当在与分量标识符相对应的变换跳过标志指示在对图像进行编码时的变换跳过的情况下，量化参数校正单元对要应用于与分量标识符相对应的处理目标变换块的量化参数进行校正；以及量化单元，其通过使用由量化参数校正单元校正的量化参数来执行对与分量标识符相对应的处理目标变换块的量化。
例如，在量化系数生成方法中，在与分量标识符相对应的变换跳过标志指示在对图像进行编码时的变换跳过的情况下，可以对要应用于与分量标识符相对应的处理目标变换块的量化参数进行校正，可以通过使用校正后的量化参数来执行与分量标识符相对应的处理目标变换块的量化，并且可以生成与分量标识符相对应的量化系数。
例如，图像处理装置可以包括：量化参数校正单元，当在与分量标识符相对应的变换跳过标志指示变换跳过的情况下，量化参数校正单元对要应用于与分量标识符相对应的处理目标变换块的量化参数进行校正；以及逆量化单元，其通过使用由量化参数校正单元进行校正的量化参数来执行与分量标识符相对应的处理目标变换块的逆量化。
例如，在系数数据生成方法中，在与分量标识符相对应的变换跳过标志指示变换跳过的情况下，可以对要应用于与分量标识符相对应的处理目标变换块的量化参数进行校正，并且可以通过使用校正后的量化参数来执行与分量标识符相对应的处理目标变换块的逆量化，并且生成与分量标识符相对应的系数数据。
以这种方式，可以在编码器和/或解码器中或者在两者中抑制PSNR 的减小。
注意，例如，在编码中，在与分量标识符相对应的变换跳过标志指示变换跳过的情况下，可以将针对变换跳过的最小量化参数和与分量标识符相对应的量化参数中具有较大值的一个量化参数设置为要应用于与分量标识符相对应的处理目标变换块的量化参数，并且在与分量标识符相对应的变换跳过标志指示其中不执行变换跳过的非变换跳过的情况下，可以将与分量标识符相对应的量化参数设置为要应用于与分量标识符相对应的处理目标变换块的量化参数。
此外，例如，在解码中，在与分量标识符相对应的变换跳过标志指示变换跳过的情况下，可以将针对变换跳过的最小量化参数和与分量标识符相对应的量化参数中具有较大值的一个量化参数设置为要应用于与分量标识符相对应的处理目标变换块的量化参数，并且在与分量标识符相对应的变换跳过标志指示其中不执行变换跳过的非变换跳过的情况下，可以将与分量标识符相对应的量化参数设置为要应用于与分量标识符相对应的处理目标变换块的量化参数。
以这种方式，可以在编码器和/或解码器中或在两者中抑制PSNR的减小。
注意，例如，在解码中，可以对与分量标识符相对应的变换跳过标志的编码数据进行解码，并且在与分量标识符相对应的变换跳过标志指示变换跳过的情况下，可以校正要应用于与分量标识符相对应的处理目标变换块的量化参数。
以这种方式，可以基于与已编码分量标识符相对应的变换跳过标志来控制量化参数的校正。
稍后将在第二实施方式中描述上述方法1-2。
<上下文变量的共享>
此外，如上所述，在对颜色分量引入变换跳过并且通过TS残差编码模式对应用了变换跳过的颜色分量的变换块进行编码的情况下，如果彼此独立的上下文变量被用于亮度分量和颜色分量，则需要新添加用于颜色分量的上下文变量，并且存在用于保存上下文变量的存储器容量增加并且硬件成本增加的可能性。
因此，例如，如在从图1中表格的顶部起第六行中描述的方法1-3中，在变换跳过的情况下，可以在亮度分量与颜色分量之间共享与每个语法的仓(bin)行中的每个binIdx相对应的上下文变量。
例如，在编码中跳过变换处理的情况下，可以在系数数据的亮度分量的编码与色度分量的编码之间共享上下文变量。
此外，例如，在解码中跳过逆变换处理的情况下，可以在系数数据的亮度分量的已编码数据的解码与色度分量的已编码数据的解码之间共享上下文变量。
以这种方式，可以抑制用于保存上下文变量的存储器大小的增加。因此，可以抑制硬件成本的增加。
稍后将在第三实施方式中描述上述方法1-3。
<符号码的编码-解码模式的控制>
此外，例如，如在从图1中表格的顶部起第七行中描述的方法1-4中，可以根据与分量标识符相对应的变换跳过标志来切换符号码的编码和解码方法。
例如，如在从图1中表格的顶部起的第八级中描述的方法1-4-1中，在不执行变换跳过的情况下，旁路编码-解码可以应用于符号码的编码-解码。
此外，例如，如在从图1中表格的顶部起第九行中描述的方法1-4-2 中，在变换跳过的情况下，如果剩余上下文编码仓的数量等于或大于阈值，则上下文编码-解码可以应用于符号码的编码-解码，否则，旁路编码-解码可以应用于符号码的编码-解码。
以这种方式，可以抑制编码效率的降低。
稍后将在第四实施方式中描述前述方法1-4、方法1-4-1和方法1-4-2。
<3.第一实施方式>
<3-1.图像编码装置>
上述本技术可以应用于任意装置、装置、系统等。例如，上述本技术可以应用于对图像数据进行编码的图像编码装置。
图2是示出作为应用本技术的图像处理装置的一个方面的图像编码装置的配置的示例的框图。图2所示的图像编码装置100是对运动图像的图像数据进行编码的装置。例如，图像编码装置100实现在至少一个上述非专利文献中描述的技术，并且通过符合任何文献中描述的标准的方法对运动图像的图像数据进行编码。
注意，虽然图2示出了主要元件例如处理单元和数据流，但是图2中示出的元件不一定包括所有元件。也就是说，在图像编码装置100中，可以存在未在图2中示出为块的处理单元，并且可以存在未在图2中示出为箭头等的处理或数据流。这同样适用于描述图像编码装置100中的处理单元等的其他附图。
如图2所示，图像编码装置100包括控制单元101、重排缓冲器111、运算单元112、正交变换单元113、量化单元114、编码单元115和累积缓冲器116。此外，图像编码装置100包括逆量化单元117、逆正交变换单元118、运算单元119、环路内滤波单元120、帧存储器121、预测单元122 和速率控制单元123。
<控制单元>
控制单元101基于外部或预先指定的处理单元的块大小将由重排缓冲器111保存的运动图像数据划分成处理单元的块(CU、PU、变换块等)。此外，控制单元101基于例如率失真优化(RDO)来确定要供应给每个块的编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波信息Finfo等)。例如，控制单元101可以设置变换跳过标志等。
稍后将描述这些编码参数的细节。当确定如上所述的编码参数时，控制单元101将编码参数供应给每个块。具体地，编码参数如下。
头信息Hinfo被供应给每个块。预测模式信息Pinfo被供应给编码单元115和预测单元122。变换信息Tinfo被供应给编码单元115、正交变换单元113、量化单元114、逆量化单元117和逆正交变换单元118。滤波信息Finfo被供应给环路内滤波单元120。
<重排缓冲器>
运动图像数据的每个字段(输入图像)以再现顺序(显示顺序)被输入至图像编码装置100。重排缓冲器111以其再现顺序(显示顺序)获取并保存(存储)每个输入图像。重排缓冲器111基于控制单元101的控制，以编码顺序(解码顺序)对输入图像进行重排，或者将输入图像划分成处理单元的块。重排缓冲器111将每个处理后的输入图像供应给运算单元112。
<运算单元>
运算单元112从与重排缓冲器111供应的处理单元的块相对应的图像中减去预测单元122供应的预测图像P，以得到预测残差D，并且将预测残差D供应给正交变换单元113。
<正交变换单元>
正交变换单元113使用从运算单元112供应的预测残差以及从控制单元101供应的变换信息Tinfo作为输入，并且基于变换信息Tinfo对预测残差执行正交变换，以得到变换系数Coeff。正交变换单元113将获得的变换系数供应给量化单元114。
<量化单元>
量化单元114使用从正交变换单元113供应的变换系数以及从控制单元101供应的变换信息Tinfo作为输入，并且基于变换信息Tinfo来缩放 (量化)变换系数。注意，量化速率由速率控制单元123控制。量化单元 114将通过这样的量化获得的量化变换系数(也称为量化变换系数水平) level供应给编码单元115和逆量化单元117。
<编码单元>
编码单元115使用从量化单元114供应的量化变换系数水平、从控制单元101供应的各种编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波信息Finfo等)、从环路内滤波单元120供应的关于滤波器的信息(例如滤波器系数)以及从预测单元122供应的关于最佳预测模式的信息作为输入。
编码单元115例如对量化变换系数水平执行熵编码(无损编码)例如基于上下文的自适应二进制算术码(CABAC)或基于上下文的自适应可变长度码(CAVLC)，以生成位串(已编码数据)。
此外，编码单元115从量化变换系数水平得到残差信息Rinfo，对残差信息Rinfo进行编码，并且生成位串。
此外，编码单元115将从环路内滤波单元120供应的关于滤波器的信息包括到滤波信息Finfo中，并且将从预测单元122供应的关于最佳预测模式的信息包括到预测模式信息Pinfo中。然后，编码单元115对上述各种编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波信息Finfo等)进行编码，以生成位串。
此外，编码单元115对如上所述生成的各种类型的信息的位串进行复用，以生成已编码数据。编码单元115将已编码数据供应给累积缓冲器 116。
<累积缓冲器>
累积缓冲器116临时保存由编码单元115获得的已编码数据。累积缓冲器116在预定定时处将保存的已编码数据作为例如比特流等输出至图像编码装置100的外部。例如，已编码数据经由任意记录介质、任意传输介质、任意信息处理装置等被发送至解码侧。也就是说，累积缓冲器116也是发送已编码数据(比特流)的传输单元。
<逆量化单元>
逆量化单元117执行与逆量化相关的处理。例如，逆量化单元117使用从量化单元114供应的量化变换系数水平level以及从控制单元101供应的变换信息Tinfo作为输入，并且基于变换信息Tinfo对量化变换系数水平的值进行缩放(逆量化)。注意，逆量化是在量化单元114中执行的量化的逆处理。逆量化单元117将通过这样的逆量化而获得的变换系数Coeff_IQ供应给逆正交变换单元118。注意，由于逆量化单元117类似于解码侧的逆量化单元(稍后描述)，因此可以将针对解码侧给出的描述(稍后描述)应用于逆量化单元117。
<逆正交变换单元>
逆正交变换单元118执行与逆正交变换相关的处理。例如，逆正交变换单元118使用从逆量化单元117供应的变换系数以及从控制单元101供应的变换信息Tinfo作为输入，并且基于变换信息Tinfo对变换系数执行逆正交变换以得到预测残差D'。注意，该逆正交变换是由正交变换单元 113执行的正交变换的逆处理。逆正交变换单元118将通过这样的逆正交变换而获得的预测残差供应给运算单元119。注意，由于逆正交变换单元 118类似于解码侧的逆正交变换单元(稍后描述)，因此可以将针对解码侧给出的描述(稍后描述)应用于逆正交变换单元118。
<运算单元>
运算单元119使用从逆正交变换单元118供应的预测残差D'和从预测单元122供应的预测图像P作为输入。运算单元119将预测残差和与预测残差相对应的预测图像相加，以得到局部已解码图像。运算单元119将得到的局部已解码图像供应给环路内滤波单元120和帧存储器121。
<环路内滤波单元>
环路内滤波单元120执行与环路内滤波处理相关的处理。例如，环路内滤波单元120使用从运算单元119供应的局部已解码图像、从控制单元 101供应的滤波信息Finfo以及从重排缓冲器111供应的输入图像(原始图像)作为输入。注意，输入至环路内滤波单元120的信息是任意的，并且可以输入除了这些信息之外的信息。例如，可以根据需要将预测模式、运动信息、代码量目标值、量化参数QP、图片类型、块(CU、CTU等) 的信息等输入至环路内滤波单元120。
环路内滤波单元120基于滤波信息Finfo适当地对局部已解码图像执行滤波处理。环路内滤波单元120还根据需要获取输入图像(原始图像) 和其他输入信息用于滤波处理。
例如，如非专利文献1中所述，环路内滤波单元120可以按双边滤波器、去块滤波器(DBF)、自适应偏移滤波器(采样自适应偏移(SAO)) 和自适应环路滤波器(ALF)的顺序应用这四个环路内滤波器。注意，应用哪个滤波器以及以何种顺序应用滤波器是任意的，并且可以适当地选择。
当然，由环路内滤波单元120执行的滤波处理是任意的，并且不限于上述示例。例如，环路内滤波单元120可以应用维纳滤波器等。
环路内滤波单元120将经过滤波处理的局部已解码图像供应给帧存储器121。注意，例如，在将关于滤波器的信息(例如，滤波器系数)发送至解码侧的情况下，环路内滤波单元120将关于滤波器的信息供应给编码单元115。
<帧存储器>
帧存储器121执行关于与图像有关的数据的存储的处理。例如，帧存储器121将从运算单元119供应的局部已解码图像或从环路内滤波单元 120供应的经过滤波处理的局部已解码图像作为输入，并且保存(存储) 局部已解码图像。此外，帧存储器121使用局部已解码图像以每个图片单位重建并保存已解码图像(将已解码图像存储在帧存储器121中的缓冲器中)。帧存储器121响应于来自预测单元122的请求将已解码图像(或其一部分)供应给预测单元122。
<预测单元>
预测单元122执行与预测图像的生成相关的处理。例如，预测单元 122使用从控制单元101供应的预测模式信息Pinfo、从重排缓冲器111供应的输入图像(原始图像)以及从帧存储器121读取的已解码图像(或其一部分)作为输入。预测单元122使用预测模式信息Pinfo和输入图像(原始图像)执行预测处理例如帧间预测或帧内预测，参考已解码图像作为参考图像来执行预测，基于预测结果来执行运动补偿处理，并且生成预测图像。预测单元122将生成的预测图像供应给运算单元112和运算单元119。此外，预测单元122根据需要将关于通过上述处理而选择的预测模式(即，最佳预测模式)的信息供应给编码单元115。
<速率控制单元>
速率控制单元123执行与速率控制相关的处理。例如，速率控制单元 123基于累积在累积缓冲器116中的已编码数据的代码量来控制量化单元 114的量化操作的速率，使得不会发生上溢或下溢。
<编码单元>
图3是示出图2中的编码单元115的主要配置示例的框图。如图3所示，编码单元115包括变换模式信息编码单元150、控制单元151、选择单元152、TS残差编码单元153、非TS残差编码单元154和选择单元155。
变换模式信息编码单元150执行与变换模式信息(transform_mode) 的编码相关的处理。该变换模式信息是关于由正交变换单元113进行的变换处理的模式的信息。例如，变换模式信息可以包括变换跳过标志 (transform_skip_flag[xTbY][yTbY][cIdx])、与初级变换相关的标识符 (mts_idx[xTbY][yTbY][cIdx])等。
例如，变换模式信息编码单元150可以获取从控制单元101供应的变换模式信息。此外，变换模式信息编码单元150可以对获取的变换模式信息进行编码，并且生成变换模式信息的已编码数据。此外，变换模式信息编码单元150可以将生成的变换模式信息的已编码数据供应给累积缓冲器116(也就是说，可以将已编码数据供应给解码侧)。
控制单元151执行与编码模式的控制相关的处理。例如，控制单元 151可以获取从控制单元101供应的变换模式信息 ((transform_skip_flag[xTbY][yTbY][cIdx])、mts_idx[xTbY][yTbY][cIdx] 等)和分量标识符(cIdx)。此外，控制单元151可以通过基于与分量标识符相对应的变换跳过标志来控制选择单元152或选择单元155的选择，在TS残差编码模式与非TS残差编码模式之间切换作为系数数据(量化系数)的编码模式。例如，在应用变换跳过的情况下，控制单元151将选择单元152和选择单元155连接至TS残差编码单元153。此外，例如，在不应用变换跳过的情况下(在执行变换处理的情况下)，控制单元151 将选择单元152和选择单元155连接至非TS残差编码单元154。
选择单元152执行与系数数据(量化系数)的供应目的地的选择相关的处理。例如，选择单元152可以获取从量化单元114供应的量化系数。此外，在控制单元151的控制下，选择单元152可以将获取的量化系数供应给TS残差编码单元153或非TS残差编码单元154(由控制单元151指定那个)。例如，在应用变换跳过的情况下，选择单元152将量化系数供应给TS残差编码单元153。此外，例如，在不应用变换跳过的情况下(在执行变换处理的情况下)，选择单元152将量化系数供应给非TS残差编码单元154。
TS残差编码单元153执行与TS残差编码模式相关的处理。例如，TS 残差编码单元153可以获取从选择单元152供应的量化系数。此外，TS 残差编码单元153可以在TS残差编码模式下对获取的量化系数进行编码。 TS残差编码模式是用于跳过变换处理的情况的编码模式。例如，针对跳过变换处理的系数数据来优化在TS残差编码模式下的编码，例如，从系数数据的DC分量朝向高频分量执行扫描，或者最后系数的位置信息不被发送至解码侧。在非专利文献4等中描述了TS残差编码模式的更具体的技术。TS残差编码单元153可以以这种方式对量化系数进行编码，并且生成量化系数的已编码数据。TS残差编码单元153可以将以这种方式生成的已编码数据供应给选择单元155。
非TS残差编码单元154执行与非TS残差编码模式相关的处理。例如，非TS残差编码单元154可以获取从选择单元152供应的量化系数。此外，非TS残差编码单元154可以在非TS残差编码模式对获取的量化系数进行编码。非TS残差编码模式是用于执行变换处理的情况的编码模式。例如，针对已经执行了变换处理的系数数据来优化非TS残差编码模式下的编码，使得从系数数据的最后一个系数朝向DC分量执行扫描，或者最后一个系数的位置信息被发送至解码侧。在非专利文献4等中描述了非TS残差编码模式的更具体的技术。非TS残差编码单元154可以以这种方式对量化系数进行编码，并且生成量化系数的已编码数据。非TS残差编码单元154可以将以这种方式生成的已编码数据供应给选择单元 155。
选择单元155执行与已编码数据的供应源的选择相关的处理。例如，选择单元155可以获取从TS残差编码单元153或非TS残差编码单元154 (由控制单元151指定的那个)供应的已编码数据。例如，在应用变换跳过的情况下，选择单元155获取从TS残差编码单元153供应的已编码数据。此外，例如，在不应用变换跳过的情况下(在执行变换处理的情况下)，选择单元155获取从非TS残差编码单元154供应的已编码数据。选择单元155可以将以这种方式获取的已编码数据供应给累积缓冲器116(即，可以将已编码数据供应给解码侧)。
<相应分量的变换跳过>
图像编码装置100可以对具有亮度分量和颜色分量的彩色图像进行编码。然后，图像编码装置100可以不仅针对亮度分量而且针对颜色分量通过跳过(省略)将图像与其预测图像之间的残差变换为系数数据的变换处理来执行编码。
例如，控制单元101可以设置指示针对每个分量是否应用变换跳过的变换跳过标志(transform_skip_flag)。分量可以由分量标识符(cIdx)来指示。也就是说，控制单元101可以与分量标识符的值相关联地设置变换跳过标志的值。
也就是说，控制单元101可以生成变换跳过标志 (transform_skip_flag[xTbY][yTbY][cIdx])，该变换跳过标志针对每个分量 (cIdx)指示是否跳过将待编码图像与其预测图像之间的残差变换成系数数据的变换处理。此外，编码单元115的变换模式信息编码单元150可以对控制单元101生成的变换跳过标志进行编码，并且生成变换跳过标志的已编码数据。此外，累积缓冲器116可以生成包括由变换模式信息编码单元150生成的变换跳过标志的已编码数据的比特流，并且将该比特流输出至图像编码装置100的外部。
以这种方式，例如，控制单元101可以针对颜色分量设置变换跳过标志，并且还可以将变换跳过应用于颜色分量。此外，图像编码装置100可以向解码侧提供所生成的变换跳过标志(即，针对每个分量的变换跳过的设置)。因此，在将变换跳过应用于颜色分量的情况下，解码侧可以正确地对比特流进行解码。因此，与变换跳过仅可以应用于亮度分量的情况相比，可以抑制编码效率的降低。
此外，图像编码装置100可以基于通过上述变换跳过标志针对每个分量的变换跳过的设置来控制颜色分量的变换处理。例如，正交变换单元113 可以基于控制单元101生成的变换跳过标志来控制针对每个分量的变换跳过。以这种方式，例如，正交变换单元113可以将变换跳过应用于颜色分量的变换处理。
注意，如上所述，通过针对每个分量设置变换跳过，控制单元101可以独立于亮度分量而针对颜色分量中的每一个来设置变换跳过。因此，控制单元101可以根据针对颜色分量的变换跳过是否有效来设置针对颜色分量的变换跳过。因此，正交变换单元113可以独立于亮度分量对颜色分量执行变换跳过。以这种方式，与将针对亮度分量的变换跳过的设置应用于颜色分量的情况相比，可以抑制编码效率的降低。
<编码模式的控制>
此外，编码单元115可以基于与分量标识符相对应的变换跳过标志来控制与分量标识符相对应的系数数据的编码模式。例如，编码单元115的控制单元151、选择单元152和选择单元155可以基于变换跳过标志来控制是设置TS残差编码模式还是非TS残差编码模式。例如，TS残差编码单元153和非TS残差编码单元154可以通过如上所述设置的编码模式对与分量标识符对应的系数数据进行编码，并且生成系数数据的已编码数据。
也就是说，准备具有不同特性的多个编码模式作为候选，并且编码单元115基于与分量标识符相对应的变换跳过标志从多个准备的候选中选择并应用编码模式。也就是说，编码单元115在选择的编码模式下对系数数据进行编码。以这种方式，编码单元115可以应用在具有彼此不同的特性的编码模式中具有更适合于设置变换跳过的特性的编码模式，并且因此与在单一编码模式下执行编码的情况相比，可以抑制编码效率的降低。
<图像编码处理的流程>
接下来，将描述由如上所述的由图像编码装置100执行的每个处理的流程。首先，将参照图4的流程图描述图像编码处理的流程的示例。
当图像编码处理开始时，在步骤S101中，控制单元101控制重排缓冲器111将输入运动图像数据的帧的顺序从显示顺序重排为编码顺序。
在步骤S102中，控制单元101针对由重排缓冲器111保存的输入图像来设置处理单元(执行块划分)。
在步骤S103中，控制单元101针对由重排缓冲器111保存的输入图像来确定(设置)编码参数。
在步骤S104中，控制单元101生成与分量标识符(cIdx)相对应的变换块的变换模式信息(transform_mode)。
在步骤S105中，预测单元122执行预测处理，并且生成最佳预测模式下的预测图像等。例如，在预测处理中，预测单元122执行帧内预测以生成最佳帧内预测模式下的预测图像等，执行帧间预测以生成最佳帧间预测模式下的预测图像等，并且基于成本函数值等从预测图像中选择最佳预测模式。
在步骤S106中，运算单元112计算输入图像与在步骤S105中通过预测处理选择的最佳模式下的预测图像之间的差。也就是说，运算单元112 生成输入图像与预测图像之间的预测残差D。以这种方式获得的预测残差 D具有比原始图像数据更小的数据量。因此，与按原样对图像进行编码的情况相比，可以压缩数据量。
在步骤S107中，正交变换单元113根据在步骤S104中生成的变换模式信息，对通过步骤S106的处理生成的预测残差D执行正交变换处理，并且得到变换系数Coeff。
在步骤S108中，量化单元114通过使用由控制单元101计算的量化参数等来对通过步骤S107的处理获得的变换系数Coeff进行量化，并且得到量化变换系数水平level。
在步骤S109中，逆量化单元117利用与步骤S108中的量化特性相对应的特性，对通过步骤S108的处理生成的量化变换系数水平level进行逆量化，以得到变换系数Coeff_IQ。
在步骤S110中，逆正交变换单元118通过与步骤S107的正交变换处理相对应的方法，根据在步骤S104中生成的变换模式信息，对通过S109 的处理获得的变换系数Coeff_IQ进行逆正交变换，并且得到预测残差D'。注意，由于逆正交变换处理类似于在解码侧执行的逆正交变换处理(稍后描述)，因此可以将在解码侧执行的描述(稍后描述)应用于步骤S110中的逆正交变换处理。
在步骤S111中，运算单元119将通过步骤S105的预测处理获得的预测图像与通过步骤S110的处理得到的预测残差D'相加，从而生成局部解码的已解码图像。
在步骤S112中，环路内滤波单元120对通过步骤S111的处理被本地解码并得到的已解码图像执行环路内滤波处理。
在步骤S113中，帧存储器121存储通过步骤S111的处理被本地解码并得到的已解码图像以及在步骤S112中被本地解码并经历滤波处理的已解码图像。
在步骤S114中，编码单元115对通过步骤S108的处理获得的量化变换系数水平level和在步骤S104中生成的变换模式信息进行编码。例如，编码单元115通过算术编码等对作为关于图像的信息的量化的变换系数水平level进行编码，以生成已编码数据。此外，此时，编码单元115对各种编码参数(头信息Hinfo、预测模式信息Pinfo和变换信息Tinfo)进行编码。此外，编码单元115从量化变换系数水平level得到残差信息RInfo，并且对残差信息RInfo进行编码。
在步骤S115中，累积缓冲器116累积以这种方式获得的已编码数据，并且将已编码数据例如作为比特流输出至图像编码装置100的外部。例如，比特流经由传输路径或记录介质被发送至解码侧。
在步骤S116中，速率控制单元123根据需要执行速率控制。
当步骤S116的处理结束时，图像编码处理结束。
<编码处理的流程>
接下来，将参照图5的流程图描述在图4的步骤S114中执行的编码处理的流程的示例。
当编码处理开始时，在步骤S151中，编码单元115的变换模式信息编码单元150对与分量标识符cIdx相对应的变换块的变换模式信息 (transform_mode)进行编码。
在步骤S152中，控制单元151通过以下式(1)得到Condition1。也就是说，控制单元151通过使用与分量相对应的变换跳过标志 (transform_skip_flag[cIdx])来生成Condition1。注意，在变换跳过标志 (trsnform_skip_flag[cIdx])中，存在还写入处理目标块的坐标(xTbY， yTbY)的情况(例如，trsnform_skip_flag[xTbY][yTbY][cIdx])，但是为了方便在此处省略其描述。在下文中，将适当地省略描述。
Condition1＝(transform_skip_flag[cIdx]＝＝″IS_SKIP″) …(1)
在步骤S153中，控制单元151确定该Condition1是否为真。在 Condition1为真的情况下，与分量相对应的变换跳过标志 (transform_skip_flag[cIdx])为真(IS_SKIP)。因此，选择单元152和选择单元155在控制单元151的控制下连接至TS残差编码单元153。因此，处理进行到步骤S154。
在步骤S154中，TS残差编码单元153在TS残差编码模式下对量化系数进行编码，以生成已编码数据。当生成已编码数据时，编码处理结束。
此外，在步骤S153中，在Condition1为假的情况下，与分量相对应的变换跳过标志(transform_skip_flag[cIdx])为假。因此，选择单元152 和选择单元155在控制单元151的控制下连接至非TS残差编码单元154。因此，处理进行到步骤S155。
在步骤S155中，非TS残差编码单元154在非TS残差编码模式下对量化系数进行编码，以生成已编码数据。当生成已编码数据时，编码处理结束。
通过执行如上所述的每个处理，图像编码装置100还可以将TS残差编码模式应用于颜色分量，并且可以抑制编码效率的降低。
注意，在以上描述中，已经描述了通过变换跳过标志 (transform_skip_flag)来提供是否执行变换跳过的通知，但是其并不限于此，并且模式的通知可以被提供为与初级变换相关的标识符mts_idx的一种模式。标识符mts_idx是指示初级变换的水平方向和竖直方向上的变换类型的标识符。在这种情况下，控制单元151可以如下面的式(2)中那样得到Condition1。
Condition1＝(mts_idx[cIdx]＝＝″IS_SKIP″) …(2)
<3-2.图像解码装置>
图6是示出作为应用了本技术的图像处理装置的一个方面的图像解码装置的配置的示例的框图。图6所示的图像解码装置200是对已编码数据进行解码的装置，已编码数据中对图像与其预测图像之间的预测残差进行了编码，例如AVC或HEVC。例如，图像解码装置200实现上述非专利文献中描述的技术，并且可以通过符合这些非专利文献中的任何一个中描述的标准的方法来对通过对运动图像的图像数据进行编码而获得的已编码数据来进行解码。例如，图像解码装置200可以对由上述图像编码装置100生成的已编码数据(比特流)进行解码。
注意，虽然图6示出了主要元件例如处理单元和数据流，但是图6中示出的元件不一定包括所有元件。也就是说，在图像解码装置200中，可能存在未在图6中示出为块的处理单元，或者可能存在未在图6中示出为箭头等的处理或数据流。这同样适用于描述图像解码装置200中的处理单元等的其他附图。
在图6中，图像解码装置200包括累积缓冲器211、解码单元212、逆量化单元213、逆正交变换单元214、运算单元215、环路内滤波单元 216、重排缓冲器217、帧存储器218和预测单元219。注意，预测单元 219包括帧内预测单元和帧间预测单元(未示出)。
<累积缓冲器>
累积缓冲器211获取并保存(存储)输入至图像解码装置200的比特流。累积缓冲器211在预定定时处或在满足预定条件的情况下等提取累积比特流中包括的已编码数据，并且将已编码数据供应给解码单元212。
<解码单元>
解码单元212执行与图像解码相关的处理。例如，解码单元212使用从累积缓冲器211供应的已编码数据作为输入，根据语法表的定义对来自比特串的每个语法元素的语法值执行熵解码(无损解码)以得到参数。
从语法元素的语法值得到的参数和语法元素包括例如头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo、滤波信息Finfo等。也就是说，解码单元212从比特流中解析(分析和获取)这些信息。将在下面描述这些信息。
<头信息Hinfo>
头信息Hinfo例如包括诸如视频参数集(VPS)/序列参数集(SPS)/ 图片参数集(PPS)/图片头(PH)/切片头(SH)的头信息。头信息Hinfo 例如包括定义以下各项的信息：图像大小(水平宽度PicWidth和竖直宽度PicHeight)、位深度(亮度bitDepthY和色度bitDepthC)、色度阵列类型ChromaArrayType、CU大小的最大值MaxCUSize和最小值MinCUSize、四叉树分割(也称为四叉树划分)的最大深度MaxQTDepth和最小深度MinQTDepth、二叉树分割(二叉树划分)的最大深度MaxBTDepth和最小深度MinBTDepth、变换跳过块的最大值MaxTSSize(也称为最大变换跳过块大小)、每个编码工具的开关标志(也称为有效标志)等。
例如，作为头部信息Hinfo中包括的编码工具的开关标志，存在与下面的变换和量化处理相关的开关标志。注意，编码工具的开关标志也可以被解释为指示与编码工具相关的语法是否存在于已编码数据中的标志。此外，在开关标志的值为1(真)的情况下，指示可以使用编码工具，并且在开关标志的值为0(假)的情况下，指示不能使用编码工具。注意，可以调换对标志值的解释。
分量间预测使能标志(ccp_enabled_flag)：是指示是否可以使用分量间预测(跨分量预测(CCP)，也称为CC预测)的标志信息。例如，在标志信息为“1”(真)的情况下，指示可以使用标志信息，并且在标志信息为“0”(假)的情况下，指示不能使用标志信息。
注意，该CCP也被称为分量间线性预测(CCLM或CCLMP)。
<预测模式信息Pinfo>
预测模式信息Pinfo例如包括诸如处理目标PB(预测块)的大小信息 PBSize(预测块大小)、帧内预测模式信息IPinfo和运动预测信息MVinfo 的信息。
帧内预测模式信息IPinfo例如包括JCTVC-W1005，7.3.8.5编码单元语法中的prev_intra_luma_pred_flag、mpm_idx和rem_intra_pred_mode、从该语法得到的亮度帧内预测模式IntraPredModeY等。
此外，帧内预测模式信息IPinfo例如包括分量间预测标志(ccp_flag (cclmp_flag))、多类线性预测模式标志(mclm_flag)、色度样本位置类型标识符(chroma_sample_loc_type_idx)、色度MPM标识符 (chroma_mpm_idx)、从这些语法得到的亮度帧内预测模式(IntraPredModeC)等。
分量间预测标志(ccp_flag(cclmp_flag))是指示是否应用分量间线性预测的标志信息。例如，当ccp_flag＝＝1时，指示应用了分量间预测，并且当ccp_flag＝＝0时，指示不应用分量间预测。
多类线性预测模式标志(mclm_flag)是关于线性预测模式的信息(线性预测模式信息)。更具体地，多类线性预测模式标志(mclm_flag)是指示是否设置多类线性预测模式的标志信息。例如，在“0”的情况下，指示一类模式(单类模式)(例如，CCLMP)，并且在“1”的情况下，指示二类模式(多类模式)(例如，MCLMP)。
色度样本位置类型标识符(chroma_sample_loc_type_idx)是标识色度分量的像素位置的类型(也称为色度样本位置类型)的标识符。
注意，该色度样本位置类型标识符(chroma_sample_loc_type_idx)作为关于色度分量的像素位置的信息(chroma_sample_loc_info())(存储在信息中)被发送。
色度MPM标识符(chroma_mpm_idx)是指示色度帧内预测模式候选列表(intraPredModeCandListC)中的哪个预测模式候选被指定为色度帧内预测模式的标识符。
运动预测信息MVinfo例如包括诸如merge_idx、merge_flag、 inter_pred_idc、ref_idx_LX、mvp_lX_flag、X＝{0,1}和mvd的信息(例如，参见JCTVC-W1005，7.3.8.6预测单元语法)。
当然，包括在预测模式信息Pinfo中的信息是任意的，并且可以包括除了这些信息之外的信息。
<变换信息Tinfo>
变换信息Tinfo例如包括以下信息。当然，包括在变换信息Tinfo中的信息是任意的，并且可以包括除了这些信息之外的信息。
处理目标变换块的水平宽度尺寸TBWSize和竖直宽度TBHSize(或者以2为底的每个TBWSize、TBHSize的对数值log2TBWSize、 log2TBHSize)。变换跳过标志(ts_flag)：是指示是否跳过(逆)初级变换和(逆)次级变换的标志。
扫描标识符(scanIdx)
量化参数(qp)
量化矩阵(scaling_matrix(例如，JCTVC-W1005，7.3.4缩放列表数据语法))
<残差信息Rinfo>
残差信息Rinfo(例如，参见JCTVC-W1005的7.3.8.11残差编码语法) 例如包括以下语法。
cbf(coded_block_flag)：残差数据存在/不存在标志；
last_sig_coeff_x_pos：最后的非零系数X坐标；
last_sig_coeff_y_pos：最后的非零系数Y坐标；
coded_sub_block_flag：子块非零系数存在/不存在标志；
sig_coeff_flag：非零系数存在/不存在标志；
gr1_flag：指示非零系数的水平是否大于1的标志(也被称为GR1标志)；
gr2_flag：指示非零系数的水平是否大于2的标志(也被称为GR2标志)；
sign_flag：指示非零系数为正或负的符号(也被称为符号码)；
coeff_abs_level_remaining：非零系数的残差水平(也被称为非零系数残差水平)；
等等。
当然，包括在残差信息Rinfo中的信息是任意的，并且可以包括除了这些信息之外的信息。
<滤波信息Finfo>
滤波信息Finfo例如包括与下面描述的每个滤波处理相关的控制信息。
关于去块滤波器(DBF)的控制信息
关于像素自适应偏移(SAO)的控制信息
关于自适应环路滤波器(ALF)的控制信息
关于其他线性和非线性滤波器的控制信息
更具体地，例如，包括用于指定应用了每个滤波器的图片和图片中的区域的信息、以CU为单位的滤波器开/关控制信息、关于切片和图块的边界的滤波器开/关控制信息等。当然，包括在滤波信息Finfo中的信息是任意的，并且可以包括除了这些信息之外的信息。
返回到解码单元212的描述，解码单元212参考残差信息Rinfo得到每个变换块中的每个系数位置处的量化变换系数水平level。解码单元212 将量化变换系数水平供应给逆量化单元213。
此外，解码单元212将经解析的头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo和滤波信息Finfo供应给每个块。具体如下。
头信息Hinfo被供应给逆量化单元213、逆正交变换单元214、预测单元219和环路内滤波单元216。预测模式信息Pinfo被供应给逆量化单元213和预测单元219。变换信息Tinfo被供应给逆量化单元213和逆正交变换单元214。滤波信息Finfo被供应给环路内滤波单元216。
当然，上述示例是一个示例，并且本技术不限于该示例。例如，每个编码参数可以被供应给任意的处理单元。此外，可以将其他信息供应给任意的处理单元。
<逆量化单元>
逆量化单元213执行与逆量化相关的处理。例如，逆量化单元213使用从解码单元212供应的量化变换系数水平level和变换信息Tinfo作为输入，基于变换信息Tinfo对量化的变换系数水平的值进行缩放(逆量化)，并且得到逆量化之后的变换系数Coeff_IQ。
注意，该逆量化作为由量化单元114进行的量化的逆处理而被执行。此外，该逆量化是与由逆量化单元117进行的逆量化类似的处理。也就是说，逆量化单元117执行与逆量化单元213的处理类似的处理(逆量化)。
逆量化单元213将得到的变换系数Coeff_IQ供应给逆正交变换单元 214。
<逆正交变换单元>
逆正交变换单元214执行与逆正交变换相关的处理。例如，逆正交变换单元214使用从逆量化单元213供应的变换系数Coeff_IQ以及从解码单元212供应的变换信息Tinfo作为输入，并且基于变换信息Tinfo对变换系数执行逆正交变换处理(逆变换处理)以得到预测残差D'。
注意，该逆正交变换作为由正交变换单元113进行的正交变换的逆处理而被执行。此外，该逆正交变换是与由逆正交变换单元118进行的逆正交变换类似的处理。也就是说，逆正交变换单元118执行与逆正交变换单元214的处理类似的处理(逆正交变换)。
逆正交变换单元214将得到的预测残差D'供应给运算单元215。
<运算单元>
运算单元215执行与关于图像的信息的相加相关的处理。例如，运算单元215使用从逆正交变换单元214供应的预测残差以及从预测单元219 供应的预测图像作为输入。运算单元215将预测残差和与预测残差相对应的预测图像(预测信号)相加，以得到局部已解码图像。
运算单元215将得到的局部已解码图像供应给环路内滤波单元216和帧存储器218。
<环路内滤波单元>
环路内滤波单元216执行与环路内滤波处理相关的处理。例如，环路内滤波单元216使用从运算单元215供应的局部已解码图像以及从解码单元212供应的滤波信息Finfo作为输入。注意，输入至环路内滤波单元216 的信息是任意的，并且可以输入除了这些信息之外的信息。
环路内滤波单元216基于滤波信息Finfo适当地对局部已解码图像执行滤波处理。
例如，环路内滤波单元216按双边滤波器、去块滤波器(DBF)、自适应偏移滤波器(采样自适应偏移(SAO))和自适应环路滤波器(ALF) 的顺序应用这四个环路内滤波器。注意，应用哪个滤波器以及以何种顺序应用滤波器是任意的，并且可以被适当地选择。
环路内滤波单元216执行与在编码侧(例如，图像编码装置100的环路内滤波单元120)执行的滤波处理相对应的滤波处理。当然，由环路内滤波单元216执行的滤波处理是任意的，并且不限于以上示例。例如，环路内滤波单元216可以应用维纳滤波器等。
环路内滤波单元216将经过滤波处理的局部已解码图像供应给重排缓冲器217和帧存储器218。
<重排缓冲器>
重排缓冲器217接收从环路内滤波单元216供应的局部已解码图像作为输入，并且保存(存储)局部已解码图像。重排缓冲器217使用局部已解码图像以每个图片单位重建已解码图像，并且保存(存储在缓冲器中) 已解码图像。重排缓冲器217将获得的已解码图像从解码顺序重排为再现顺序。重排缓冲器217将经重排的已解码图像的组作为运动图像数据输出至图像解码装置200的外部。
<帧存储器>
帧存储器218执行关于与图像相关的数据的存储的处理。例如，帧存储器218使用从运算单元215供应的局部已解码图像作为输入，以每个图片单位重建已解码图像，并且将已解码图像存储在帧存储器218的缓冲器中。
此外，帧存储器218使用从环路内滤波单元216供应的经历环路内滤波处理的局部已解码图像作为输入，以每个图片单位重建已解码图像，并且将已解码图像存储在帧存储器218的缓冲器中。帧存储器218适当地将存储的已解码图像(或其一部分)作为参考图像供应给预测单元219。
注意，帧存储器218可以存储与已解码图像的生成相关的头信息 Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波信息Finfo等。
<编码单元>
图7是示出图6中的解码单元212的主要配置示例的框图。如图7所示，解码单元212包括变换模式信息解码单元250、控制单元251、选择单元252、TS残差解码单元253、非TS残差解码单元254和选择单元255。
变换模式信息解码单元250执行与变换模式信息(transform_mode) 的编码数据的解码相关的处理。该变换模式信息是关于由逆正交变换单元 214进行的逆变换处理的模式的信息。例如，变换模式信息可以包括变换跳过标志(transform_skip_flag[xTbY][yTbY][cIdx])、与初级变换相关的标识符(mts_idx[xTbY][yTbY][cIdx])等。
例如，变换模式信息解码单元250可以获取从累积缓冲器211供应的编码数据。此外，变换模式信息解码单元250可以对所获取的编码数据进行解码并且生成变换模式信息和分量标识符(cIdx)。此外，变换模式信息编码单元150可以将所生成的变换模式信息等供应给控制单元251。
控制单元251执行与解码模式的控制相关的处理。例如，控制单元 251可以获取从变换模式信息解码单元250供应的变换模式信息 ((transform_skip_flag[xTbY][yTbY][cIdx])、mts_idx[xTbY][yTbY][cIdx] 等)和分量标识符(cIdx)。此外，控制单元251可以通过基于与分量标识符对应的变换跳过标志来控制选择单元252或选择单元255的选择，在作为系数数据的编码数据的解码模式的TS残差解码模式与非TS残差解码模式之间切换。例如，在应用变换跳过的情况下，控制单元251将选择单元252和选择单元255连接至TS残差解码单元253。此外，例如，在不应用变换跳过的情况下(在执行变换处理的情况下)，控制单元251将选择单元252和选择单元255连接至非TS残差解码单元254。
选择单元252执行与系数数据(量化系数)的编码数据的供应目的地的选择相关的处理。例如，选择单元252可以获取从累积缓冲器211供应的编码数据。此外，在控制单元251的控制下，选择单元252可以将所获取的编码数据供应给TS残差解码单元253或非TS残差解码单元254(由控制单元251指定的那个残差解码单元)。例如，在应用变换跳过的情况下，选择单元252将编码数据供应给TS残差解码单元253。此外，例如，在不应用变换跳过的情况下(在执行变换处理的情况下)，选择单元252 将编码数据供应给非TS残差解码单元254。
TS残差解码单元253执行与TS残差解码模式相关的处理。例如，TS 残差解码单元253可以获取从选择单元252供应的编码数据。此外，TS 残差解码单元253可以在TS残差解码模式下对所获取的编码数据进行解码。TS残差解码模式是用于跳过变换处理的情况的解码模式。例如，TS 残差解码模式下的解码对应于TS残差编码模式下的编码，并且针对从其跳过变换处理的系数数据的编码数据而被优化。在非专利文献4等中描述了TS残差解码模式的更具体的方法。TS残差解码单元253可以以这种方式对编码数据进行解码并生成量化系数。TS残差解码单元253可以将以这种方式生成的量化系数供应给选择单元255。
非TS残差解码单元254执行与非TS残差解码模式相关的处理。例如，非TS残差解码单元254可以获取从选择单元252供应的编码数据。此外，非TS残差解码单元254可以在非TS残差解码模式下对所获取的编码数据进行解码。非TS残差解码模式是针对执行变换处理的情况的解码模式。例如，非TS残差解码模式下的解码对应于非TS残差编码模式下的编码，并且针对已经对其执行了变换处理的系数数据的编码数据而被优化。在非专利文献4等中描述了非TS残差解码模式的更具体的方法。非TS残差解码单元254可以以这种方式对编码数据进行解码并生成量化系数。非TS残差解码单元254可以将以这种方式生成的量化系数供应给选择单元255。
选择单元255执行与量化系数的供应源的选择相关的处理。例如，选择单元255可以获取从TS残差解码单元253或非TS残差解码单元254 (由控制单元251指定的那个残差解码单元)供应的量化系数。例如，在应用变换跳过的情况下，选择单元255获取从TS残差解码单元253供应的量化系数。此外，例如，在不应用变换跳过的情况下(在执行变换处理的情况下)，选择单元255获取从非TS残差解码单元254供应的编码数据。选择单元255可以将所获取的量化系数供应给逆量化单元213。
<各分量的变换跳过>
图像解码装置200可以对具有亮度分量和颜色分量的彩色图像的编码数据进行解码。然后，图像解码装置200可以不仅针对亮度分量而且还针对颜色分量，跳过(省略)将通过对编码数据进行解码而生成的系数数据转换成图像与其预测图像之间的残差的逆变换处理。
例如，变换模式信息解码单元250可以对与分量标识符对应的变换跳过标志的编码数据进行解码，以获得与分量标识符对应的变换跳过标志。
以这种方式，当进行解码时，可以应用由变换跳过标志针对每个分量指示的变换跳过的设置。因此，可以正确地解码应用了变换跳过的颜色分量的比特流。因此，与仅将变换跳过应用于亮度分量的情况相比，可以抑制编码效率的降低。
此外，在对图像的编码数据进行解码时，可以基于由上述变换跳过标志针对每个分量的变换跳过的设置来控制颜色分量的逆变换处理。也就是说，变换跳过可以被应用于颜色分量的逆变换处理。以这种方式，可以正确地解码应用了变换跳过的颜色分量的比特流。因此，与仅将变换跳过应用于亮度分量的情况相比，可以抑制编码效率的降低。
注意，如上所述，通过针对每个分量设置变换跳过，可以独立于亮度分量针对颜色分量设置变换跳过。因此，可以根据变换跳过对于颜色分量是否有效来针对颜色分量设置变换跳过。以这种方式，与将针对亮度分量的变换跳过的设置应用于颜色分量的情况相比，可以抑制编码效率的降低。
<编码模式的控制>
此外，在如上述方法1中那样对颜色分量应用变换跳过的情况下，也可以应用这种解码模式的控制。例如，在对分量的标识符的每个值应用变换跳过的情况下，可以应用TS残差解码模式作为解码模式，并且在不应用变换跳过的情况下，可以应用非TS残差解码模式作为解码模式。
例如，基于与分量标识符对应的变换跳过标志，可以控制与分量标识符对应的系数数据的编码数据的解码模式是被设置为TS残差解码模式还是被设置为非TS残差解码模式，并且可以通过如上所述设置的解码模式对与分量标识符对应的系数数据的编码数据进行解码以生成与分量标识符对应的系数数据，其中，TS残差解码模式是用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的情况的模式，非TS残差解码模式是用于不跳过逆变换处理的情况的模式。
以此方式，由于可以应用根据变换跳过的设置的解码模式，因此与在单解码模式下执行解码的情况相比，可以抑制编码效率的降低。
<图像解码处理的流程>
接下来，将描述由具有如上所述的配置的图像解码装置200执行的每个处理的流程。首先，将参照图8的流程图来描述图像解码处理的流程的示例。
当开始图像解码处理时，在步骤S401中，累积缓冲器211获取并保存(累积)从图像解码装置200的外部供应的比特流。
在步骤S202中，解码单元212从比特流中提取编码数据并对其进行解码以获得经量化的变换系数水平level。此外，解码单元212通过该解码从比特流解析(分析并获取)各种编码参数。
在步骤S203中，逆量化单元213对通过步骤S202的处理获得的经量化的变换系数水平level执行逆量化以获得变换系数Coeff_IQ，所述逆量化是在编码侧执行的量化的逆处理。
在步骤S204中，在步骤S203的控制下，逆正交变换单元214对在步骤S203中获得的变换系数Coeff_IQ执行逆正交变换处理以获得预测残差 D'，所述逆正交变换处理是在编码侧执行的正交变换处理的逆处理。
在步骤S205中，预测单元219基于在步骤S202中解析的信息，通过编码侧指定的预测方法执行预测处理，并通过参考存储在帧存储器218等中的参考图像来生成预测图像P。
在步骤S206中，操作单元215将在步骤S204中获得的预测残差D' 和在步骤S205中获得的预测图像P相加以得到局部解码图像Rlocal。
在步骤S207中，环内滤波单元216对通过步骤S206的处理获得的局部解码图像Rlocal执行环内滤波处理。
在步骤S208中，重排缓冲器217使用通过步骤S207的处理获得的经滤波处理的局部解码图像Rlocal得到解码图像R，并将一组解码图像R的顺序从解码顺序重新排列成再现顺序。按再现顺序重新排列的这组解码图像R作为运动图像被输出至图像解码装置200的外部。
此外，在步骤S209中，帧存储器218存储通过步骤S206的处理获得的局部解码图像Rlocal或通过步骤S207的处理获得的滤波处理之后的局部解码图像Rlocal中的至少一者。
当步骤S209的处理结束时，图像解码处理结束。
<解码处理的流程>
接下来，将参照图9的流程图来描述在图8的步骤S202中执行的解码处理的流程的示例。
当开始解码处理时，在步骤S251中，解码单元212的变换模式信息解码单元250对与分量标识符cIdx对应的变换块的变换模式信息 (transform_mode)进行解码。
在步骤S252中，控制单元251通过上述式(1)得到Condition1。也就是说，控制单元251通过使用与分量对应的变换跳过标志 (transform_skip_flag[cIdx])来生成Condition1。
在步骤S253中，控制单元251确定该Condition1是否为真。在 Condition1为真的情况下，与该分量对应的变换跳过标志 (transform_skip_flag[cIdx])为真(IS_SKIP)。因此，选择单元252和选择单元255在控制单元251的控制下连接至TS残差解码单元253。因此，处理进行至步骤S254。
在步骤S254中，TS残差解码单元253在TS残差解码模式下对编码数据进行解码以生成量化系数。当生成量化系数时，解码处理结束。
此外，在步骤S253中，在Condition1为假的情况下，与该分量对应的变换跳过标志(transform_skip_flag[cIdx])为假。因此，选择单元252 和选择单元255在控制单元251的控制下连接至非TS残差解码单元254。因此，处理进行至步骤S255。
在步骤S255中，非TS残差解码单元254在非TS残差解码模式下对编码数据进行编码以生成量化系数。当生成量化系数时，解码处理结束。
通过执行如上所述的每个处理，图像解码装置200可以将TS残差解码模式也应用于颜色分量，并且可以抑制编码效率的降低。
注意，在上面的描述中，已经描述了通过变换跳过标志 (transform_skip_flag)提供是否执行变换跳过的通知，但不限于此，并且可以将模式的通知提供为与初级变换相关的标识符mts_idx的一种模式。标识符mts_idx是指示初级变换的水平方向和竖直方向上的变换类型的标识符。在这种情况下，控制单元251可以得到如上述式(2)中的Condition1。
<3-3.语法语义>
图10示出了这种情况下变换单元(TU)的语法的示例。在图10的示例的情况下，得到与各分量对应的变换模式信息(transform_mode(…， 0)，transform_mode(…，0)，transform_mode(…，2))，并且针对每个分量(tu_cbf_luma，tu_cbf_cb，tu_cbf_cr)确定是否应用变换跳过 (residual_comding(…，cIdx)或residual_ts_coding(…，cIdx))。
图11示出了变换模式信息的语法的示例。在图11的示例的情况下，每个分量的变换跳过标志(transform_skip_flag[x0][y0][cIdx])和每个分量的初级变换的变换类型的标识符(mts_idx[x0][y0][cIdx])被设置为每个分量的变换模式信息(transform_mode(…，cIdx))。在这种情况下，用于生成这些信息的各个分量的条件是相同的。条件的内容是任意的。例如，在序列参数集(SPS)中设置的变换跳过的使能标志 (sps_transform_skip_enabled_flag)等被用于条件。
图12示出了变换跳过(residual_ts_coding(…，cIdx))的语法的示例。如图12所示，针对每个分量(cIdx)执行变换跳过的设置。此外，图13中的A示出了变换模式信息的变换跳过标志(transform_skip_flag[x0][y0][cIdx])的语义的示例。此外，图13中的B 示出了初级变换的变换类型的标识符(mts_idx[x0][y0][cIdx])的语义的示例。以这种方式，针对每个分量设置关于变换跳过的信息。因此，如上所述，可以将变换跳过应用于颜色分量，并且可以抑制编码效率的降低。
注意，在变换模式信息的语法中，各分量的用于生成每个分量的变换跳过标志(transform_skip_flag[x0][y0][cIdx])的条件和用于生成每个分量的初级变换的变换类型的标识符(mts_idx[x0][y0][cIdx])的条件可以如图 14中的示例那样彼此不同。通过以这种方式针对每个分量准备条件，可以抑制确定条件的冗余，并且可以抑制处理负荷的增加。
<3-4.变换跳过残差编码使用标志>
注意，可以应用指示在TS残差编码模式(TS残差解码模式)与非 TS残差编码模式(非TS残差解码模式)之间的选择的变换跳过残差编码使用标志。
图15中示出了序列参数集(SPS)的语法的示例。例如，控制单元 101可以在该序列参数集中设置变换跳过残差编码使用标志 sps_ts_residual_coding_use_flag。
sps_ts_residual_coding_use_flag是在序列参数集级别提供的变换跳过残差编码使用标志通知。在该标志的值为“1”的情况下，这指示在变换跳过时应用TS残差编码模式。此外，在该标志的值为“0”的情况下，这指示在变换跳过时应用非TS残差编码模式。
图16示出了这种情况下TU的语法的示例。在图16的示例的情况下，该变换跳过残差编码使用标志被用作用于确定是否应用变换跳过的条件。图17示出了sps_ts_residual_coding_use_flag的语义。此外，在这种情况下，使用例如下式(3)来得到Condition1。
Condition1＝(transform_skip_flag[cIdx]＝＝″IS_SKIP″&& sps_ts_residual_coding_use_flag＝＝1) …(3)
注意，在使用初级变换的变换类型的标识符的情况下，如下式(4) 中那样得到变换类型。
Condition1＝(mts_idx[cIdx]＝″IS_SKIP″&& sps_ts_residual_coding_use_flag＝＝1 …(4)
通过使用这样的高级别标志，即使不支持变换跳过的编码器或解码器也可以基于该标志正确地执行编码和解码。因此，可以抑制编码效率的降低。换句话说，可以省略编码器和解码器中的TS残差编码模式(TS残差解码模式)的实现，并且可以抑制电路规模的增加。
注意，用于设置变换跳过残差编码使用标志的数据单元是任意的，并且可以是除序列参数集外的数据单元。例如，可以在CU级、切片级、图片级等提供变换跳过残差编码使用标志的通知。随着数据单元的粒度变得更精细，模式切换的自由度增加，并且改善编码效率的空间得以提高。
<3-5.变换跳过残差编码使用特定模式标志>
此外，可以应用指示在特定模式下是应用TS残差编码模式(TS残差解码模式)还是应用非TS残差编码模式(非TS残差解码模式)的标志。
图18中示出了序列参数集(SPS)的语法的示例。例如，控制单元 101可以在该序列参数集中设置变换跳过残差编码使用特定模式标志 sps_ts_residual_coding_use_for_bdpcm_flag。
该sps_ts_residual_coding_use_for_bdpcm_flag是在序列参数集级别提供的标志通知，并且是指示在基于块的差分脉冲编码调制(BDPCM)中启用编码模式的选择的标志信息。在该标志的值为“1”的情况下，这指示在BDPCM的情况下应用TS残差编码模式。此外，在该标志的值为“0”的情况下，这指示在BDPCM的情况下应用非TS残差编码模式。
图19示出了这种情况下TU的语法的示例。在图19的示例的情况下，该变换跳过残差编码使用特定模式标志被用作用于确定是否应用变换跳过的条件。图20示出了sps_ts_residual_coding_use_for_bdpcm_flag的语义。此外，在这种情况下，使用例如下式(5)来得到Condition1。
Condition1＝(transform_skip_flag[cIdx]＝＝″IS_SKIP″&&！(int ra_bdpcm_flag&& sps_ts_residual_coding_use_for_bdpcm_flag＝＝0)) …(5)
注意，在使用初级变换的变换类型的标识符的情况下，如下式(6) 中那样得到变换类型。
Condition1＝(mts_idx[cIdx]＝＝″IS_SKIP″&&！(intra_bdpcm_flag&& sps_ts_residual_coding_use_for_bdpcm_flag＝＝0)) …(6)
通过使用这样的高级别标志，可以在BDPCM中切换TS残差编码模式和非TS残差编码模式。
注意，用于设置变换跳过残差编码使用特定模式标志的数据单元是任意的，并且可以是除序列参数集外的数据单元。例如，可以在CU级、切片级、图片级等提供变换跳过残差编码使用特定模式标志的通知。随着数据单元的粒度变得更精细，模式切换的自由度增加，并且改善编码效率的空间得以提高。
<4.第二实施方式>
<4-1.量化中的量化参数的校正>
在分量标识符的每个值中，可以在变换跳过的情况下对量化参数进行校正。也就是说，在应用变换跳过的情况下，可以对量化参数进行校正。然后，可以针对每个分量执行这样的控制。
<量化单元>
同样在这种情况下，图像编码装置100与图2的示例类似。图21是示出这种情况下量化单元114的主要配置示例的框图。如图21所示，在这种情况下，量化单元114包括QP校正单元311和量化处理单元312。
QP校正单元311执行与量化参数的校正有关的处理。例如，QP校正单元311参考与分量标识符cIdx对应的变换跳过标志、联合色度编码模式信息TuResMode、与分量标识符cIdx对应的CU级别的QP(Qp′)以及变换跳过的最小值QP(QpPrimeTsMin)，得到要应用于与分量标识符cIdx对应的处理目标变换块的量化参数Qp。量化参数的类型包括Qp′y、Qp′cb、Qp′cr和Qp′cbcr。此外，由参数集提供对变换跳过的最小量化参数 QpPrimeTsMin的通知。
注意，联合色度编码模式是这样的模式：在所述模式下，仅传送色度分量(Cb，Cr)之一，根据所传送的色度分量得到另一色度分量并且不传送所述另一色度分量。例如，仅编码和传送Cr的残差，根据Cr的残差得到Cb的残差并且不传送Cb的残差。联合色度编码模式信息TuResMode 是与这样的联合色度编码模式相关的信息。
QP校正单元311将校正后的量化参数(经校正的QP(qP))供应给量化处理单元312。
量化处理单元312使用从QP校正单元311供应的量化参数(校正 QP(qP))对系数数据(变换系数)进行量化以生成量化系数。量化处理单元312将所生成的量化系数供应给编码单元115和逆量化单元117。
<量化处理的流程>
将参照图22的流程图来描述在图4的步骤S108中执行的这种情况下的量化处理的流程的示例。当量化处理开始时，在步骤S301中，量化单元114的QP校正单元311通过下式(7)得到Condition2。也就是说，QP 校正单元311使用与分量对应的变换跳过标志(transform_skip_flag[cIdx]) 生成Condition2。
Condition2＝(transform_skip_flag[cIdx]＝＝″IS_SKIP″) …(7)
注意，在使用初级变换的变换类型的标识符的情况下，如下式(8) 那样得到变换类型。
Condition2＝(mts_idx[cIdx]＝＝″IS_SKIP″) …(8)
在步骤S302中，QP校正单元311确定Condition2是否为真。在 Condition2为真的情况下，也就是说，在与分量对应的变换跳过标志 (transform_skip_flag[cIdx])为真(IS_SKIP)的情况下，处理进行至步骤 S303。
在步骤S303中，QP校正单元311对量化参数QP进行校正。在这种情况下，例如，QP校正单元311将变换跳过的最小量化参数 (QpPrimeTsMin)和CU级量化参数QP'x中具有较大值的一者设置为要应用于与分量标识符对应的处理目标变换块的量化参数(校正QP(qP))。当步骤S303的处理结束时，处理进行至步骤S305。
此外，在确定Condition2为假的情况下，处理进行至步骤S304。在这种情况下，例如，QP校正单元311将CU级量化参数QP'x设置为要应用于与分量标识符对应的处理目标变换块的量化参数(校正QP(qP))。当步骤S304的处理结束时，处理进行至步骤S305。
在步骤S305中，量化处理单元312通过使用在步骤S303或步骤S304 中更新的量化参数对变换系数进行量化。当步骤S305的处理结束时，量化处理结束，并且处理返回至图4。
这使得可以抑制PSNR的降低。
<4-2.逆量化中的量化参数的校正>
在逆量化中，类似地，可以在分量标识符的每个值中的变换跳过的情况下对量化参数进行校正。也就是说，在应用变换跳过的情况下，可以对量化参数进行校正。然后，可以针对每个分量执行这样的控制。
<逆量化单元>
同样在这种情况下，图像解码装置200与图6的示例类似。图23是示出这种情况下逆量化单元213的主要配置示例的框图。如图23所示，在这种情况下，逆量化单元213包括QP校正单元411和逆量化处理单元 412。
QP校正单元411执行与量化参数的校正有关的处理。例如，QP校正单元411参考与分量标识符cIdx对应的变换跳过标志、联合色度编码模式信息TuResMode、与分量标识符cIdx对应的CU级别的QP(Qp')以及变换跳过的最小值QP(QpPrimeTsMin)，得到要应用于与分量标识符cIdx对应的处理目标变换块的量化参数Qp。量化参数的类型包括Qp'y、Qp'cb、Qp'cr和Qp'cbcr。此外，由参数集提供对变换跳过的最小量化参数 QpPrimeTsMin的通知。
QP校正单元411将校正后的量化参数(经校正的QP(qP))供应给逆量化处理单元412。
逆量化处理单元412使用从QP校正单元411供应的量化参数(校正 QP(qP))对量化系数执行逆量化以生成系数数据(变换系数)。逆量化处理单元412将所生成的系数数据供应给逆正交变换单元214。
<逆量化处理的流程>
将参照图24的流程图来描述在图8的步骤S203中执行的这种情况下的逆量化处理的流程的示例。当逆量化处理开始时，在步骤S401中，逆量化单元213的QP校正单元411通过上述式(7)得到Condition2。也就是说，QP校正单元411使用与分量对应的变换跳过标志(transform_skip_flag[cIdx])生成Condition2。如第一实施方式中所描述的，通过由变换模式信息解码单元250进行解码来获得变换跳过标志。
在步骤S402中，QP校正单元411确定Condition2是否为真。在 Condition2为真的情况下，也就是说，在与分量对应的变换跳过标志 (transform_skip_flag[cIdx])为真(IS_SKIP)的情况下，处理进行至步骤 S403。
在步骤S403中，QP校正单元411对量化参数QP进行校正。在这种情况下，例如，QP校正单元411将变换跳过的最小量化参数 (QpPrimeTsMin)和CU级量化参数QP'x中具有较大值的一者设置为要应于与分量标识符对应的处理目标变换块的量化参数(校正QP(qP))。当步骤S403的处理结束时，处理进行至步骤S405。
此外，在确定Condition2为假的情况下，处理进行至步骤S404。在这种情况下，例如，QP校正单元411将CU级量化参数QP'x设置为要应用于与分量标识符对应的处理目标变换块的量化参数(校正QP(qP))。当步骤S404的处理结束时，处理进行至步骤S405。
在步骤S405中，逆量化处理单元412通过使用在步骤S403或步骤 S404中更新的量化参数对量化系数进行逆量化。当步骤S405的处理结束时，逆量化处理结束，并且处理返回至图8。
这使得可以抑制PSNR的降低。
<4-3.语法>
图25示出了这种情况下的量化参数的语法的示例。如上所述，通过使用变换跳过标志transform_skip_flag针对每个分量校正量化参数qP。
<5.第三实施方式>
<上下文变量的共享>
在如上所述应用变换跳过的情况下，可以在亮度分量与颜色分量之间共享与每种语法的仓列中的每个binIdx对应的上下文变量。
例如，在进行编码时跳过变换处理的情况下，可以在系数数据的亮度分量的编码与色度分量的编码之间共享上下文变量。
此外，例如，在进行解码时跳过逆变换处理的情况下，可以在系数数据的亮度分量的编码数据的解码与色度分量的编码数据的解码之间共享上下文变量。
图26中示出了这种情况下的关于上下文变量的语法的示例。如图26 中的示例那样，在应用变换跳过的情况下，可以通过用于亮度分量和颜色分量的通用方法得到上下文变量。
此外，图27中示出了关于上下文变量的语法的另一示例。如图27中的示例那样，在应用变换跳过的情况下，可以通过对于亮度分量和颜色分量彼此独立的方法得到上下文变量。
如上所述，通过在亮度分量与颜色分量之间共享与每种语法的仓行中的每个binIdx对应的上下文变量，可以抑制用于保存上下文变量的存储器的大小的增加。因此，可以抑制硬件成本的增加。
<6.第四实施方式>
<符号码的编码-解码模式的控制>
此外，可以根据与分量标识符对应的变换跳过标志来切换符号码的编码及解码方法。图28示出了这种情况下的语法的示例。
如图28中示出的表中binIdx＝0的列中所示，例如，在不执行变换跳过的情况下，可以将旁路编码-解码应用于符号码的编码和解码。此外，例如，在变换跳过的情况下，如果剩余上下文编码仓的数量等于或大于阈值，则可以将上下文编码和解码应用于符号码的编码和解码，如果剩余上下文编码仓的数量不等于或大于阈值，则可以将旁路编码-解码应用于符号码的编码和解码((MaxCcbs>0)？(0...5):旁路)。
以这种方式，能够抑制编码效率的降低。
<7.附录>
<计算机>
上面描述的一系列处理可以由硬件执行或者可以由软件执行。在由软件执行这一系列处理的情况下，在计算机中安装构成该软件的程序。此处，计算机包括与专用硬件结合的计算机、例如可以通过安装各种程序来执行各种功能的通用个人计算机等。
图29是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在图29所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904互连。
输入输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入输出接口910。
输入单元911包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中，CPU 901经由输入输出接口910和总线 904将例如存储在存储单元913中的程序加载到RAM 903中并执行该程序，以执行上述一系列处理。RAM903还适当地存储CPU 901执行各种处理所需的数据等。
例如，可以通过将由计算机执行的程序记录在作为封装介质等的可移除介质921中来对其进行应用。在这种情况下，可以通过将可移除介质 921附接至驱动器915来经由输入输出接口910将程序安装在存储单元 913中。
此外，可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供该程序。在这种情况下，可以通过通信单元914接收程序并将其安装在存储单元913中。
另外，可以将该程序预先安装在ROM 902或存储单元913中。
<信息和处理的单元>
其中设置了上述各种信息的数据单元以及各种处理所针对的数据单元是任意的并且不限于上述示例。例如，可以在每个变换单元(TU)、变换块(TB)、预测单元(PU)、预测块(PB)、编码单元(CU)、最大编码单元(LCU)、子块、块、图块、切片、图片、序列或分量中设置这些信息和处理，或者可以以这些数据单元中的数据为目标。当然，可以针对每个信息或处理设置该数据单元，而不必统一所有信息或处理的数据单元。注意，这些信息的存储位置是任意的，并且可以被存储在上述数据单元的报头、参数集等中。此外，它可以存储在多个地方。
<控制信息>
可以从编码侧向解码侧传送在上述每个实施方式中描述的与本技术有关的控制信息。例如，可以传送控制上述本技术的应用是否被允许(或禁止)的控制信息(例如，enabled_flag)。此外，例如，可以传送指示应用了上述本技术的对象(或未应用本技术的对象)的控制信息(例如， present_flag)。例如，可以传送指定应用本技术(或者允许或禁止应用本技术)的块大小(上限或下限，或上限和下限两者)、帧、分量、层等的控制信息。
<本技术的适用目标>
本技术可以应用于任何图像编码和解码方法。也就是说，只要与上述本技术不矛盾，与图像编码和解码有关的各种处理例如变换(逆变换)、量化(逆量化)、编码(解码)和预测的规范是任意的，并且不限于上述示例。此外，可以省略这些处理中的一些处理，只要它们不与上述本技术矛盾即可。
此外，本技术可以应用于对包括多个视点(视图)的图像的多视点图像进行编码和解码的多视点图像编码-解码系统。在这种情况下，仅需要将本技术应用于每个视点(视图)的编码和解码。
此外，本技术可以应用于分层图像编码(可缩放编码)和解码系统，该系统对层状(分层的)分层图像进行编码和解码，以便具有针对预定参数的可缩放性功能。在这种情况下，仅需要将本技术应用于每个分层(层) 的编码和解码。
此外，在上述描述中，已经将图像编码装置100和图像解码装置200 被描述为本技术的应用示例，但是本技术可以应用于任何配置。
例如，本技术可以应用于各种电子装置例如卫星广播、诸如有线电视的有线广播、因特网上的分发以及通过蜂窝通信向终端的分发中的发射机或接收机(例如，电视接收机或移动电话)，或者应用于在诸如光盘、磁盘和闪速存储器的介质上记录图像或从存储介质再现图像的装置(例如，硬盘记录器和摄像机)。
此外，例如，本技术还可以被实现为装置的部分配置，例如作为系统大规模集成(LSI)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者通过另外向单元添加其他功能而获得的集合(例如，视频集合)。
此外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以被实现为由多个装置经由网络共享和协作处理的云计算。例如，本技术可以在云服务中实现，云服务向诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)装置的任意终端提供与图像(运动图像)相关的服务。
注意，在本说明书中，系统意指多个部件(装置、模块(零件)等) 的集合，并且所有部件是否在同一壳体中并不重要。因此，容置在单独的壳体中并经由网络连接的多个装置，以及多个模块容置在一个壳体中的一个装置均是系统。
<本技术适用的领域及应用>
注意，应用本技术的系统、装置、处理单元等可以用于任何领域，例如交通、医疗、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、气象、自然监测等。而且，它的使用是任意的。
例如，本技术可以应用于用于提供供欣赏的内容等的系统和装置。此外，例如，本技术还可以应用于用于交通例如交通状况管理和自主驾驶控制的系统和装置。此外，例如，本技术也可以应用于用于安全性的系统和装置。此外，例如，本技术可以应用于用于机器等的自动控制的系统和装置。此外，例如，本技术还可以应用于提供给农业和畜牧业使用的系统和装置。此外，本技术还可以应用于例如监测自然状态例如火山、森林、海洋、野生动物等的系统和装置。此外，例如，本技术也可以应用于用于体育运动的系统和装置。
<其他>
注意，在本说明书中，“标志”是用于标识多个状态的信息，并且不仅包括用于标识真(1)或假(0)的两个状态的信息，而且还包括可以标识三个或更多个状态的信息。因此，这个“标志”可以取的值可以是，例如，1和0两个值，或者是3个或更多的值。也就是说，构成该“标志”的比特数是任意的，并且可以是1个比特或多个比特。此外，标识信息(包括标志)被假定不仅包括比特流中的标识信息，而且包括标识信息相对于比特流中的某个参考信息的差异信息，并且因此，在本说明书中，“标志”和“标识信息”不仅包括其信息，而且包括相对于参考信息的差异信息。
此外，可以以任何形式来传送或记录与编码数据(比特流)相关的各种类型的信息(元数据等)，只要该信息与编码数据相关联即可。此处，术语“相关联”意指例如在对一个数据进行处理时可以使用(链接)另一个数据。也就是说，彼此相关联的数据可以被整合为一个数据或者可以是单独的数据。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传送与编码数据(图像)相关联的信息。此外，例如，可以在与编码数据(图像)的记录介质不同的记录介质(或同一记录介质的另一记录区域)中记录与编码数据(图像)相关联的信息。注意，这种“关联”可以是数据的一部分，而不是整个数据。例如，图像和与图像对应的信息可以以任意单元例如多个帧、一个帧或帧内的一部分相互关联。
注意，在本说明书中，术语例如“组合”、“多路复用”、“添加”、“集成”、“包括”、“存储”、“插入”和“插入”意指将多项组合成一项，例如将编码数据和元数据组合成一个数据，并且意指上述“关联”的一种方法。
此外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下，各种修改是可能的。
例如，可以将描述为一个装置(或处理单元)的配置划分并配置为多个装置(或处理单元)。相反，可以将以上描述为多个装置(或处理单元) 的配置组合并配置为一个装置(或处理单元)。此外，当然，可以将除上述那些配置之外的配置添加至每个装置(或每个处理单元)的配置。此外，如果整个系统的配置和操作基本上相同，则可以将某一装置(或处理单元) 的配置的一部分包括在另一装置(或另一处理单元)的配置中。
此外，例如，可以在任意装置中执行上述程序。在这种情况下，如果装置具有必要的功能(功能块等)并且能够获取必要的信息就足够了。
此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享并执行。此外，在一个步骤中包括多个处理的情况下，多个处理可以由一个装置执行，或者可以由多个装置共享并执行。换句话说，一个步骤中包括的多个处理可以作为多个步骤的处理来执行。相反，描述为多个步骤的处理可以作为一个步骤共同执行。
此外，例如，在由计算机执行的程序中，描述该程序的步骤的处理可以按照本说明书中描述的顺序以时间序列来执行，或者可以在必要的定时处例如进行调用时并行地或单独地执行。也就是说，只要不发生矛盾，可以以不同于上述顺序的顺序执行各步骤中的处理。此外，用于描述该程序的步骤中的处理可以与另一程序中的处理并行执行，或者可以与另一程序中的处理组合执行。
此外，例如，只要没有矛盾，与本技术相关的多个技术可以作为单个主体独立地实现。当然，也可以组合使用和实现任意多个本技术。例如，在任何实施方式中描述的本技术的部分或全部可以与在其他实施方式中描述的本技术的部分或全部组合实现。此外，可以通过与上面未描述的另一技术一起使用来实现上述本技术中的任何本技术的部分或全部。
注意，本技术可以具有如下配置。
(1)一种图像处理装置，包括：
标志生成单元，其生成变换跳过标志，所述变换跳过标志是针对每个分量指示在对图像进行编码时是否跳过将所述图像与所述图像的预测图像之间的残差变换成系数数据的变换处理的标志信息；
标志编码单元，其对由所述标志生成单元生成的所述变换跳过标志进行编码并且生成所述变换跳过标志的编码数据；以及
比特流生成单元，其生成包括由所述标志编码单元生成的所述变换跳过标志的编码数据的比特流。
(2)根据(1)所述的图像处理装置，还包括：
模式控制单元，其基于由所述标志生成单元生成的与分量标识符对应的所述变换跳过标志，控制与所述分量标识符对应的系数数据的编码模式是被设置成TS残差编码模式还是被设置成非TS残差编码模式，所述TS 残差编码模式是用于跳过所述变换处理的情况的模式，所述非TS残差编码模式是用于不跳过所述变换处理的情况的模式；以及
系数数据编码单元，其按照由所述模式控制单元设置的所述编码模式对与所述分量标识符对应的系数数据进行编码，并且生成所述系数数据的编码数据，
其中，所述比特流生成单元生成包括由所述标志编码单元生成的所述变换跳过标志的编码数据以及由所述系数数据编码单元生成的所述系数数据的编码数据的比特流。
(3)根据(2)所述的图像处理装置，其中，
在跳过所述变换处理的情况下，所述系数数据编码单元在所述系数数据的亮度分量的编码与色度分量的编码之间共享上下文变量。
(4)根据(2)或(3)所述的图像处理装置，其中，
所述系数数据编码单元应用根据由所述标志生成单元生成的所述变换跳过标志的符号码的编码方法。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，
所述标志生成单元还生成变换跳过残差编码使用标志，所述变换跳过残差编码使用标志是指示是应用TS残差编码模式还是应用非TS残差编码模式的标志信息，所述TS残差编码模式是用于跳过所述变换处理的情况的模式，所述非TS残差编码模式是用于不跳过所述变换处理的情况的模式，
所述标志编码单元还对由所述标志生成单元生成的所述变换跳过残差编码使用标志进行编码，并且生成所述变换跳过残差编码使用标志的编码数据，并且
所述比特流生成单元生成还包括由所述标志编码单元生成的所述变换跳过残差编码使用标志的编码数据的所述比特流。
(6)根据(1)至(5)中任一项所述的图像处理装置，其中，
所述标志生成单元还生成变换跳过残差编码使用特定模式标志，所述变换跳过残差编码使用特定模式标志是指示在特定模式下是应用TS残差编码模式还是应用非TS残差编码模式的标志信息，所述TS残差编码模式是用于跳过所述变换处理的情况的模式，所述非TS残差编码模式是用于不跳过所述变换处理的情况的模式，
所述标志编码单元还对由所述标志生成单元生成的所述变换跳过残差编码使用特定模式标志进行编码，并且生成所述变换跳过残差编码使用特定模式标志的编码数据，并且
所述比特流生成单元生成还包括由所述标志编码单元生成的所述变换跳过残差编码使用特定模式标志的编码数据的所述比特流。
(7)一种比特流生成方法，包括：
生成变换跳过标志，所述变换跳过标志是针对每个分量指示在对图像进行编码时是否跳过将所述图像与所述图像的预测图像之间的残差变换成系数数据的变换处理的标志信息；
对所生成的所述变换跳过标志进行编码，并且生成所述变换跳过标志的编码数据；以及
生成包括所生成的所述变换跳过标志的编码数据的比特流。
(8)一种图像处理装置，包括：
量化参数校正单元，当在对图像进行编码时与分量标识符对应的变换跳过标志指示用于跳过变换处理的变换跳过的情况下，所述量化参数校正单元对要应用于与所述分量标识符对应的处理目标变换块的量化参数进行校正，所述变换处理用于将所述图像与所述图像的预测图像之间的残差变换成变换系数；以及
量化单元，其通过使用已由所述量化参数校正单元校正的所述量化参数来执行对与所述分量标识符对应的处理目标变换块的量化。
(9)根据(8)所述的图像处理装置，其中，
所述量化参数校正单元
在与所述分量标识符对应的所述变换跳过标志指示所述变换跳过的情况下，将针对所述变换跳过的最小量化参数和与所述分量标识符对应的量化参数中的具有较大值的一者设置为要应用于与所述分量标识符对应的所述处理目标变换块的量化参数，以及
在与所述分量标识符对应的所述变换跳过标志指示不执行所述变换跳过的非变换跳过的情况下，将与所述分量标识符对应的所述量化参数设置为要应用于与所述分量标识符对应的所述处理目标变换块的量化参数。
(10)一种量化系数生成方法，包括：
在对图像进行编码时与分量标识符对应的变换跳过标志指示用于跳过变换处理的变换跳过的情况下，对要应用于与所述分量标识符对应的处理目标变换块的量化参数进行校正，所述变换处理用于将所述图像与所述图像的预测图像之间的残差变换成变换系数；以及
通过使用已校正的所述量化参数来执行对与所述分量标识符对应的处理目标变换块的量化，并且生成与所述分量标识符对应的量化系数。
(11)一种图像处理装置，包括：
标志解码单元，其对与分量标识符对应的变换跳过标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过标志；
模式控制单元，其基于由所述标志解码单元获得的与所述分量标识符对应的所述变换跳过标志，控制与所述分量标识符对应的系数数据的编码数据的解码模式是被设置成TS残差解码模式还是被设置成非TS残差解码模式，所述TS残差解码模式是用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的情况的模式，所述非TS残差解码模式是用于不跳过所述逆变换处理的情况的模式；以及
系数数据解码单元，其根据由所述模式控制单元设置的所述解码模式对与所述分量标识符对应的所述系数数据的所述编码数据进行解码，并且生成与所述分量标识符对应的所述系数数据。
(12)根据(11)所述的图像处理装置，其中，
在跳过所述逆变换处理的情况下，所述系数数据解码单元在所述系数数据的亮度分量的编码数据的解码与色度分量的编码数据的解码之间共享上下文变量。
(13)根据(11)或(12)所述的图像处理装置，其中，
所述系数数据解码单元应用根据由所述标志解码单元获得的与所述分量标识符对应的所述变换跳过标志的符号码的解码方法。
(14)根据(11)至(13)中任一项所述的图像处理装置，其中，
所述标志解码单元还对变换跳过残差编码使用标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过残差编码使用标志，所述变换跳过残差编码使用标志是指示在所述逆变换处理被跳过的情况下是应用所述TS残差解码模式还是应用所述非TS残差解码模式的标志信息，并且
所述模式控制单元还基于由所述标志解码单元生成的与所述分量标识符对应的所述变换跳过残差编码使用标志，控制与所述分量标识符对应的所述系数数据的所述编码数据的解码模式是被设置成所述TS残差解码模式还是被设置成所述非TS残差解码模式。
(15)根据(11)至(14)中任一项所述的图像处理装置，其中，
所述标志解码单元还对变换跳过残差编码使用特定模式标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过残差编码使用特定模式标志，所述变换跳过残差编码使用特定模式标志是指示在特定模式下是应用所述TS残差解码模式还是所述非TS残差解码模式的标志信息；并且
所述模式控制单元还基于由所述标志解码单元生成的与所述分量标识符对应的所述变换跳过残差编码使用特定模式标志，控制与所述分量标识符对应的所述系数数据的所述编码数据的解码模式是被设置成所述TS 残差解码模式还是被设置成所述非TS残差解码模式。
(16)一种系数数据生成方法，包括：
对与分量标识符对应的变换跳过标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过标志；
基于所获得的与所述分量标识符对应的所述变换跳过标志来控制与所述分量标识符对应的系数数据的编码数据的解码模式是被设置成TS残差解码模式还是被设置成非TS残差解码模式，所述TS残差解码模式是用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的情况的模式，所述非TS残差解码模式是用于不跳过所述逆变换处理的情况的模式；以及
根据所设置的所述解码模式对与所述分量标识符对应的所述系数数据的所述编码数据进行解码，并且生成与所述分量标识符对应的所述系数数据。
(17)一种图像处理装置，包括：
量化参数校正单元，当在与分量标识符对应的变换跳过标志指示用于跳过逆变换处理的变换跳过的情况下，所述量化参数校正单元对要应用于与所述分量标识符对应的处理目标变换块的量化参数进行校正，所述逆变换处理用于将系数数据变换成图像与预测图像之间的残差；以及
逆量化单元，其通过使用已由所述量化参数校正单元校正的所述量化参数来执行对与所述分量标识符对应的处理目标变换块的逆量化。
(18)根据(17)所述的图像处理装置，其中，
所述量化参数校正单元
在与所述分量标识符对应的所述变换跳过标志指示所述变换跳过的情况下，将针对变换跳过的最小量化参数和与所述分量标识符对应的量化参数中的具有较大值的一者设置为要应用于与所述分量标识符对应的所述处理目标变换块的所述量化参数，以及
在与所述分量标识符对应的所述变换跳过标志指示不执行所述变换跳过的非变换跳过的情况下，将与所述分量标识符对应的所述量化参数设置为要应用于与所述分量标识符对应的所述处理目标变换块的所述量化参数。
(19)根据(17)或(18)所述的图像处理装置，还包括：
标志解码单元，其对与所述分量标识符对应的所述变换跳过标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过标志，
其中，在由所述标志解码单元获得的与所述分量标识符对应的所述变换跳过标志指示所述变换跳过的情况下，所述量化参数校正单元对要应用于与所述分量标识符对应的所述处理目标变换块的所述量化参数进行校正。
(20)一种系数数据生成方法，包括：
在与分量标识符对应的变换跳过标志指示用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的变换跳过的情况下，对要应用于与所述分量标识符对应的处理目标变换块的量化参数进行校正；以及
通过使用已校正的所述量化参数来执行对与所述分量标识符对应的处理目标变换块的逆量化，并且生成与所述分量标识符对应的所述系数数据。
附图标记列表
100 图像编码装置
101 控制单元
114 量化单元
115 编码单元
150 变换模式信息编码单元
151 控制单元
152 选择单元
153 TS残差编码单元
154 非TS残差编码单元
155 选择单元
200 图像解码装置
212 解码单元
213 逆量化单元
250 变换模式信息解码单元
251 控制单元
252 选择单元
253 TS残差解码单元
254 非TS残差解码单元
255 选择单元
311 QP校正单元
312 量化处理单元
411 QP校正单元
412 逆量化处理单元。

Claims (20)

1.一种图像处理装置，包括：
标志生成单元，其生成变换跳过标志，所述变换跳过标志是针对每个分量指示在对图像进行编码时是否跳过将所述图像与所述图像的预测图像之间的残差变换成系数数据的变换处理的标志信息；
标志编码单元，其对由所述标志生成单元生成的所述变换跳过标志进行编码并且生成所述变换跳过标志的编码数据；以及
比特流生成单元，其生成包括由所述标志编码单元生成的所述变换跳过标志的编码数据的比特流。
2.根据权利要求1所述的图像处理装置，还包括：
模式控制单元，其基于由所述标志生成单元生成的与分量标识符对应的所述变换跳过标志，控制与所述分量标识符对应的系数数据的编码模式是被设置成TS残差编码模式还是被设置成非TS残差编码模式，所述TS残差编码模式是用于跳过所述变换处理的情况的模式，所述非TS残差编码模式是用于不跳过所述变换处理的情况的模式；以及
系数数据编码单元，其按照由所述模式控制单元设置的所述编码模式对与所述分量标识符对应的系数数据进行编码，并且生成所述系数数据的编码数据，
其中，所述比特流生成单元生成包括由所述标志编码单元生成的所述变换跳过标志的编码数据以及由所述系数数据编码单元生成的所述系数数据的编码数据的比特流。
3.根据权利要求2所述的图像处理装置，其中，
在跳过所述变换处理的情况下，所述系数数据编码单元在所述系数数据的亮度分量的编码与色度分量的编码之间共享上下文变量。
4.根据权利要求2所述的图像处理装置，其中，
所述系数数据编码单元应用根据由所述标志生成单元生成的所述变换跳过标志的符号码的编码方法。
5.根据权利要求1所述的图像处理装置，其中，
所述标志生成单元还生成变换跳过残差编码使用标志，所述变换跳过残差编码使用标志是指示是应用TS残差编码模式还是应用非TS残差编码模式的标志信息，所述TS残差编码模式是用于跳过所述变换处理的情况的模式，所述非TS残差编码模式是用于不跳过所述变换处理的情况的模式，
所述标志编码单元还对由所述标志生成单元生成的所述变换跳过残差编码使用标志进行编码，并且生成所述变换跳过残差编码使用标志的编码数据，并且
所述比特流生成单元生成还包括由所述标志编码单元生成的所述变换跳过残差编码使用标志的编码数据的所述比特流。
6.根据权利要求1所述的图像处理装置，其中，
所述标志生成单元还生成变换跳过残差编码使用特定模式标志，所述变换跳过残差编码使用特定模式标志是指示在特定模式下是应用TS残差编码模式还是应用非TS残差编码模式的标志信息，所述TS残差编码模式是用于跳过所述变换处理的情况的模式，所述非TS残差编码模式是用于不跳过所述变换处理的情况的模式，
所述标志编码单元还对由所述标志生成单元生成的所述变换跳过残差编码使用特定模式标志进行编码，并且生成所述变换跳过残差编码使用特定模式标志的编码数据，并且
所述比特流生成单元生成还包括由所述标志编码单元生成的所述变换跳过残差编码使用特定模式标志的编码数据的所述比特流。
7.一种比特流生成方法，包括：
生成变换跳过标志，所述变换跳过标志是针对每个分量指示在对图像进行编码时是否跳过将所述图像与所述图像的预测图像之间的残差变换成系数数据的变换处理的标志信息；
对所生成的所述变换跳过标志进行编码，并且生成所述变换跳过标志的编码数据；以及
生成包括所生成的所述变换跳过标志的编码数据的比特流。
8.一种图像处理装置，包括：
量化参数校正单元，当在对图像进行编码时与分量标识符对应的变换跳过标志指示用于跳过变换处理的变换跳过的情况下，所述量化参数校正单元对要应用于与所述分量标识符对应的处理目标变换块的量化参数进行校正，所述变换处理用于将所述图像与所述图像的预测图像之间的残差变换成变换系数；以及
量化单元，其通过使用已由所述量化参数校正单元校正的所述量化参数来执行对与所述分量标识符对应的所述处理目标变换块的量化。
9.根据权利要求8所述的图像处理装置，其中，
所述量化参数校正单元
在与所述分量标识符对应的所述变换跳过标志指示所述变换跳过的情况下，将针对所述变换跳过的最小量化参数和与所述分量标识符对应的量化参数中的具有较大值的一者设置为要应用于与所述分量标识符对应的所述处理目标变换块的量化参数，以及
在与所述分量标识符对应的所述变换跳过标志指示不执行所述变换跳过的非变换跳过的情况下，将与所述分量标识符对应的所述量化参数设置为要应用于与所述分量标识符对应的所述处理目标变换块的量化参数。
10.一种量化系数生成方法，包括：
在对图像进行编码时与分量标识符对应的变换跳过标志指示用于跳过变换处理的变换跳过的情况下，对要应用于与所述分量标识符对应的处理目标变换块的量化参数进行校正，所述变换处理用于将所述图像与所述图像的预测图像之间的残差变换成变换系数；以及
通过使用已校正的所述量化参数来执行对与所述分量标识符对应的处理目标变换块的量化，并且生成与所述分量标识符对应的量化系数。
11.一种图像处理装置，包括：
标志解码单元，其对与分量标识符对应的变换跳过标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过标志；
模式控制单元，其基于由所述标志解码单元获得的与所述分量标识符对应的所述变换跳过标志，控制与所述分量标识符对应的系数数据的编码数据的解码模式是被设置成TS残差解码模式还是被设置成非TS残差解码模式，所述TS残差解码模式是用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的情况的模式，所述非TS残差解码模式是用于不跳过所述逆变换处理的情况的模式；以及
系数数据解码单元，其根据由所述模式控制单元设置的所述解码模式对与所述分量标识符对应的所述系数数据的所述编码数据进行解码，并且生成与所述分量标识符对应的所述系数数据。
12.根据权利要求11所述的图像处理装置，其中，
在跳过所述逆变换处理的情况下，所述系数数据解码单元在所述系数数据的亮度分量的编码数据的解码与色度分量的编码数据的解码之间共享上下文变量。
13.根据权利要求11所述的图像处理装置，其中，
所述系数数据解码单元应用根据由所述标志解码单元获得的与所述分量标识符对应的所述变换跳过标志的符号码的解码方法。
14.根据权利要求11所述的图像处理装置，其中，
所述标志解码单元还对变换跳过残差编码使用标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过残差编码使用标志，所述变换跳过残差编码使用标志是指示在所述逆变换处理被跳过的情况下是应用所述TS残差解码模式还是应用所述非TS残差解码模式的标志信息，并且
所述模式控制单元还基于由所述标志解码单元生成的与所述分量标识符对应的所述变换跳过残差编码使用标志，控制与所述分量标识符对应的所述系数数据的所述编码数据的解码模式是被设置成所述TS残差解码模式还是被设置成所述非TS残差解码模式。
15.根据权利要求11所述的图像处理装置，其中，
所述标志解码单元还对变换跳过残差编码使用特定模式标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过残差编码使用特定模式标志，所述变换跳过残差编码使用特定模式标志是指示在特定模式下是应用所述TS残差解码模式还是所述非TS残差解码模式的标志信息；并且
所述模式控制单元还基于由所述标志解码单元生成的与所述分量标识符对应的所述变换跳过残差编码使用特定模式标志，控制与所述分量标识符对应的所述系数数据的所述编码数据的解码模式是被设置成所述TS残差解码模式还是被设置成所述非TS残差解码模式。
16.一种系数数据生成方法，包括：
对与分量标识符对应的变换跳过标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过标志；
基于所获得的与所述分量标识符对应的所述变换跳过标志来控制与所述分量标识符对应的系数数据的编码数据的解码模式是被设置成TS残差解码模式还是被设置成非TS残差解码模式，所述TS残差解码模式是用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的情况的模式，所述非TS残差解码模式是用于不跳过所述逆变换处理的情况的模式；以及
根据所设置的所述解码模式对与所述分量标识符对应的所述系数数据的所述编码数据进行解码，并且生成与所述分量标识符对应的所述系数数据。
17.一种图像处理装置，包括：
量化参数校正单元，当在与分量标识符对应的变换跳过标志指示用于跳过逆变换处理的变换跳过的情况下，所述量化参数校正单元对要应用于与所述分量标识符对应的处理目标变换块的量化参数进行校正，所述逆变换处理用于将系数数据变换成图像与预测图像之间的残差；以及
逆量化单元，其通过使用已由所述量化参数校正单元校正的所述量化参数来执行对与所述分量标识符对应的处理目标变换块的逆量化。
18.根据权利要求17所述的图像处理装置，其中，
所述量化参数校正单元
在与所述分量标识符对应的所述变换跳过标志指示所述变换跳过的情况下，将针对变换跳过的最小量化参数和与所述分量标识符对应的量化参数中的具有较大值的一者设置为要应用于与所述分量标识符对应的所述处理目标变换块的所述量化参数，以及
在与所述分量标识符对应的所述变换跳过标志指示不执行所述变换跳过的非变换跳过的情况下，将与所述分量标识符对应的所述量化参数设置为要应用于与所述分量标识符对应的所述处理目标变换块的所述量化参数。
19.根据权利要求17所述的图像处理装置，还包括：
标志解码单元，其对与所述分量标识符对应的所述变换跳过标志的编码数据进行解码，并且获得与所述分量标识符对应的所述变换跳过标志，
其中，在由所述标志解码单元获得的与所述分量标识符对应的所述变换跳过标志指示所述变换跳过的情况下，所述量化参数校正单元对要应用于与所述分量标识符对应的所述处理目标变换块的所述量化参数进行校正。
20.一种系数数据生成方法，包括：
在与分量标识符对应的变换跳过标志指示用于跳过将系数数据变换成图像与预测图像之间的残差的逆变换处理的变换跳过的情况下，对要应用于与所述分量标识符对应的处理目标变换块的量化参数进行校正；以及
通过使用已校正的所述量化参数来执行对与所述分量标识符对应的处理目标变换块的逆量化，并且生成与所述分量标识符对应的所述系数数据。
CN202080083747.1A 2019-12-11 2020-11-27 图像处理装置、比特流生成方法、系数数据生成方法以及量化系数生成方法 Pending CN115176476A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-223601 2019-12-11
JP2019223601 2019-12-11
PCT/JP2020/044151 WO2021117500A1 (ja) 2019-12-11 2020-11-27 画像処理装置、ビットストリーム生成方法、係数データ生成方法、および量子化係数生成方法

Publications (1)

Publication Number Publication Date
CN115176476A true CN115176476A (zh) 2022-10-11

Family

ID=76330176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080083747.1A Pending CN115176476A (zh) 2019-12-11 2020-11-27 图像处理装置、比特流生成方法、系数数据生成方法以及量化系数生成方法

Country Status (11)

Country Link
US (1) US20230007265A1 (zh)
EP (1) EP4060995A1 (zh)
JP (1) JPWO2021117500A1 (zh)
KR (1) KR20220112754A (zh)
CN (1) CN115176476A (zh)
AU (1) AU2020400536A1 (zh)
BR (1) BR112022010886A2 (zh)
CA (1) CA3156543A1 (zh)
MX (1) MX2022006718A (zh)
TW (1) TW202127875A (zh)
WO (1) WO2021117500A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7001668B2 (ja) * 2019-12-26 2022-01-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
JP4610195B2 (ja) * 2001-12-17 2011-01-12 マイクロソフト コーポレーション スキップマクロブロックコード化
EP1427216A1 (en) * 2002-07-02 2004-06-09 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
EP2018070A1 (en) * 2007-07-17 2009-01-21 Thomson Licensing Method for processing images and the corresponding electronic device
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
NO330107B1 (no) * 2009-07-09 2011-02-21 Tandberg Telecom As Datamaskinimplementert tidlig dropping
TW201136319A (en) * 2009-08-06 2011-10-16 Panasonic Corp Encoding method, decoding method, encoding device and decoding device
US20110249743A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
CN109905710B (zh) * 2012-06-12 2021-12-21 太阳专利托管公司 动态图像编码方法及装置、动态图像解码方法及装置
KR102397673B1 (ko) * 2016-05-13 2022-05-16 소니그룹주식회사 화상 처리 장치 및 방법
US10728552B2 (en) * 2016-09-30 2020-07-28 Sony Corporation Image processing apparatus and method
RU2020115837A (ru) * 2017-11-24 2021-11-15 Сони Корпорейшн Устройство и способ обработки изображения

Also Published As

Publication number Publication date
AU2020400536A1 (en) 2022-06-16
JPWO2021117500A1 (zh) 2021-06-17
MX2022006718A (es) 2022-07-12
TW202127875A (zh) 2021-07-16
US20230007265A1 (en) 2023-01-05
BR112022010886A2 (pt) 2022-08-23
WO2021117500A1 (ja) 2021-06-17
KR20220112754A (ko) 2022-08-11
CA3156543A1 (en) 2021-06-17
EP4060995A1 (en) 2022-09-21

Similar Documents

Publication Publication Date Title
WO2021125309A1 (ja) 画像処理装置および方法
CN111713104B (zh) 图像处理装置和方法
WO2021039650A1 (ja) 画像処理装置および方法
US20240171746A1 (en) Image processing device and method
CN111699685B (zh) 图像处理设备和方法
US20230007265A1 (en) Image processing device, bit stream generation method, coefficient data generation method, and quantization coefficient generation method
EP4351143A1 (en) Image processing device and method
JP7494858B2 (ja) 画像処理装置および方法
JP2022038979A (ja) 画像処理装置および方法
US20230045106A1 (en) Image processing apparatus and method
US20220286681A1 (en) Image processing device and method
US20240163437A1 (en) Image processing device and method
US20220394256A1 (en) Image processing device and method
US20220021899A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20221011

WD01 Invention patent application deemed withdrawn after publication