CN110100438A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN110100438A
CN110100438A CN201780079777.3A CN201780079777A CN110100438A CN 110100438 A CN110100438 A CN 110100438A CN 201780079777 A CN201780079777 A CN 201780079777A CN 110100438 A CN110100438 A CN 110100438A
Authority
CN
China
Prior art keywords
transformation
coloration
primary
mark
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780079777.3A
Other languages
English (en)
Other versions
CN110100438B (zh
Inventor
筑波健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110100438A publication Critical patent/CN110100438A/zh
Application granted granted Critical
Publication of CN110100438B publication Critical patent/CN110100438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开内容涉及图像处理装置及方法，其可以抑制编码效率的降低。根据本发明，通过使用基于关于亮度的逆正交变换的信息得到的关于色度的逆正交变换的信息来执行色差的逆正交变换。例如，关于正交变换的信息包括自适应初级变换标志，自适应初级变换标志指示是否将自适应地选择多个不同的正交变换中的任何一个变换并且用作初级变换的自适应初级变换应用于要处理的变换块中。本公开内容可以应用于例如图像处理装置、图像编码装置、图像解码装置等。

Description

图像处理装置和方法
技术领域
本公开内容涉及图像处理装置和方法，尤其涉及可以抑制编码效率劣化的图像处理装置和方法。
背景技术
在现有技术中，描述了针对亮度的每个变换单元(TU)的在水平方向上的初级变换PThor(也被称为初级水平变换)和在竖直方向上的初级变换PTver(也被称为初级竖直变换)中的每一个从多个不同的正交变换中自适应地选择初级变换的自适应初级变换(自适应多核变换或AMT)(例如，参考非专利文献1)。
引用列表
非专利文献
非专利文献1：Jianle Chen，Elena Alshina，Gary J.Sullivan，Jens-Rainer和Jill Boyce,“Algorithm Description of Joint Exploration Test Model”JVET-D1001_v3，Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC29/WG 11第四次会议：成都，中国，2016年10月15日至21日
发明内容
技术问题
然而，在非专利文献1中，尽管自适应初级变换仅可以应用于亮度(Y)，但其不应用于色度(Cb和Cr)。因此，存在与亮度相比色度的初级变换的编码效率劣化得更多的问题。
本公开内容考虑了上述情况并且意在抑制编码效率的劣化。
问题的技术方案
本技术的第一方面的图像处理装置是一种图像处理装置，包括：逆正交变换单元，被配置成使用基于关于亮度的逆正交变换的信息得到的关于色度的逆正交变换的信息来执行色度的逆正交变换。
关于逆正交变换的信息可以包括自适应初级变换标志，该自适应初级变换标志指示是否要应用从多个不同逆正交变换中自适应地选择一个变换并且使用所选择的变换作为逆初级变换的自适应逆初级变换。
色度的自适应初级变换标志的值可以被设置为亮度的自适应初级变换标志的值。
关于逆正交变换的信息可以包括初级变换标识符，该初级变换标识符指示哪个逆初级变换将被应用于竖直方向上和水平方向上的逆初级变换。
在色度的自适应初级变换标志为真的情况下，色度的初级变换标识符的值可以被设置为亮度的初级变换标识符的值，并且在色度的自适应初级变换标志为假的情况下，色度的初级变换标识符的值可以被设置为预定值。
逆正交变换单元可以执行逆初级变换作为逆正交变换。
逆正交变换单元可以执行作为水平方向上的逆初级变换的逆初级水平变换和作为竖直方向上的逆初级变换的逆初级竖直变换作为逆正交变换。
在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的自适应初级变换标志的值可以被设置为亮度的自适应初级变换标志的值。
在要处理的变换块所属的编码块的预测类型是帧间预测的情况下或者在预测类型是预测模式是帧内块复制的帧内预测的情况下，色度的自适应初级变换标志的值可以被设置为亮度的自适应初级变换标志的值。
在要处理的变换块所属的编码块的预测类型是帧间预测的情况下或者在预测类型是亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的自适应初级变换标志的值可以被设置为亮度的自适应初级变换标志的值。
在指示是否基于亮度的自适应初级变换标志来推断色度的自适应初级变换标志的色度自适应初级变换信息推断标志为真的情况下，色度的自适应初级变换标志的值可以被设置为亮度的自适应初级变换标志的值。
在要处理的色度的变换块的短边的大小大于或等于预定阈值的情况下，色度的自适应初级变换标志的值可以被设置为亮度的自适应初级变换标志的值。
逆正交变换单元可以被配置成执行作为水平方向上的逆初级变换的逆初级水平变换和作为竖直方向上的逆初级变换的逆初级竖直变换作为逆正交变换，在要处理的色度的变换块的图片宽度的大小大于预定阈值的情况下，可以基于水平变换集和初级水平变换指定标志来设置逆初级水平变换的变换类型，以及在要处理的色度的变换块的图片高度的大小大于预定阈值的情况下，可以基于竖直变换集和初级竖直变换指定标志来设置逆初级竖直变换的变换类型。
关于逆正交变换的信息可以包括指示是否要跳过逆正交变换处理的变换跳过标志。
色度的变换跳过标志的值可以被设置为亮度的变换跳过标志的值。
关于逆正交变换的信息可以包括指示要应用哪个逆次级变换的次级变换标识符。
色度的次级变换标识符的值可以被设置为亮度的次级变换标识符的值。
本技术的第一方面的图像处理方法是一种图像处理方法，包括：使用基于关于亮度的逆正交变换的信息得到的关于色度的逆正交变换的信息来执行色度的逆正交变换。
本技术的第二方面的图像处理装置是一种图像处理装置，包括：正交变换单元，被配置成使用基于关于亮度的正交变换的信息得到的关于色度的正交变换的信息来执行色度的正交变换。
本技术的第二方面的图像处理方法是一种图像处理方法，包括：使用基于关于亮度的正交变换的信息得到的关于色度的正交变换的信息来执行色度的正交变换。
在本技术的第一方面的图像处理装置和方法中，使用基于关于亮度的逆正交变换的信息得到的关于色度的逆正交变换的信息来执行色度的逆正交变换。
在本技术的第二方面的图像处理装置和方法中，使用基于关于亮度的正交变换的信息得到的关于色度的正交变换的信息来执行色度的正交变换。
发明的有益效果
根据本公开内容，可以对图像进行处理。特别是，可以抑制编码效率的劣化。
附图说明
[图1]图1是示出变换集和所选择的正交变换之间的对应关系的图。
[图2]图2是示出正交变换的类型与要使用的函数之间的对应关系的图。
[图3]图3是示出变换集与预测模式之间的对应关系的图。
[图4]图4是示出变换单元的语法和语义的示例的图。
[图5]图5是示出residual_coding的语法的示例的图。
[图6]图6是示出使用亮度值得到的色度的参数的示例的图。
[图7]图7是示出色度的自适应初级变换标志的得到方法的示例的图。
[图8]图8是示出CU、PU和TU的形状的图。
[图9]图9是示出图像解码装置的主要配置的示例的框图。
[图10]图10是示出逆变换单元的主要配置的示例的框图。
[图11]图11是示出色度自适应初级变换信息得到单元的主要配置的示例的框图。
[图12]图12是描述图像解码处理的流程的示例的流程图。
[图13]图13是描述初级变换信息解码处理的流程的示例的流程图。
[图14]图14是描述逆变换处理的流程的示例的流程图。
[图15]图15是描述色度自适应初级变换信息得到处理的流程的示例的流程图。
[图16]图16是描述逆初级变换选择处理的流程的示例的流程图。
[图17]图17是描述色度自适应初级变换信息得到处理的流程的示例的流程图。
[图18]图18是描述色度自适应初级变换信息得到处理的流程的示例的流程图。
[图19]图19是描述色度自适应初级变换信息得到处理的流程的示例的流程图。
[图20]图20是示出变换单元的语法和语义的示例的图。
[图21]图21是示出residual_coding的语法的示例的图。
[图22]图22是描述色度自适应初级变换信息推断标志解码处理的流程的示例的流程图。
[图23]图23是描述色度自适应初级变换信息得到处理的流程的示例的流程图。
[图24]图24是描述色度自适应初级变换信息得到处理的流程的示例的流程图。
[图25]图25是描述初级水平变换类型得到处理的流程的示例的流程图。
[图26]图26是描述初级竖直变换类型得到处理的流程的示例的流程图。
[图27]图27是示出用于色度的变换跳过标志的得到方法的示例的图。
[图28]图28是示出residual_coding的语法的示例的图。
[图29]图29是描述变换跳过标志得到处理的流程的示例的流程图。
[图30]图30是示出residual_coding的语法的示例的图。
[图31]图31是描述变换跳过标志得到处理的流程的示例的流程图。
[图32]图32是示出residual_coding的语法的示例的图。
[图33]图33是描述变换跳过标志得到处理的流程的示例的流程图。
[图34]图34是示出residual_coding的语法的示例的图。
[图35]图35是描述变换跳过标志得到处理的流程的示例的流程图。
[图36]图36是示出变换单元的语法和语义的示例的图。
[图37]图37是示出residual_coding的语法的示例的图。
[图38]图38是描述变换跳过标志得到处理的流程的示例的流程图。
[图39]图39是示出色度的次级变换标识符得到方法的示例的图。
[图40]图40是示出变换单元的语法的示例的图。
[图41]图41是示出变换单元的语法的示例的图。
[图42]图42是描述色度的次级变换标识符得到处理的流程的示例的流程图。
[图43]图43是示出变换单元的语法的示例的图。
[图44]图44是描述色度的次级变换标识符得到处理的流程的示例的流程图。
[图45]图45是示出变换单元的语法的示例的图。
[图46]图46是描述色度的次级变换标识符得到处理的流程的示例的流程图。
[图47]图47是示出变换单元的语法的示例的图。
[图48]图48是描述色度的次级变换标识符得到处理的流程的示例的流程图。
[图49]图49是示出变换单元的语法的示例的图。
[图50]图50是描述色度的次级变换标识符得到处理的流程的示例的流程图。
[图51]图51是示出图像编码装置的主要配置的示例的框图。
[图52]图52是示出变换单元的主要配置的示例的框图。
[图53]图53是示出色度自适应初级变换信息得到单元的主要配置的示例的框图。
[图54]图54是描述图像解码处理的流程的示例的流程图。
[图55]图55是描述变换处理的流程的示例的流程图。
[图56]图56是描述初级变换选择处理的流程的示例的流程图。
[图57]图57是描述初级变换信息编码处理的流程的示例的流程图。
[图58]图58是描述色度自适应初级变换信息推断标志编码处理的流程的示例的流程图。
[图59]图59是描述变换跳过标志编码处理的流程的示例的流程图。
[图60]图60是描述变换跳过标志编码处理的流程的示例的流程图。
[图61]图61是描述变换跳过标志编码处理的流程的示例的流程图。
[图62]图62是描述变换跳过标志编码处理的流程的示例的流程图。
[图63]图63是描述变换跳过标志编码处理的流程的示例的流程图。
[图64]图64是描述色度的次级变换标识符编码处理的流程的示例的流程图。
[图65]图65是描述色度的次级变换标识符编码处理的流程的示例的流程图。
[图66]图66是描述色度的次级变换标识符编码处理的流程的示例的流程图。
[图67]图67是描述色度的次级变换标识符编码处理的流程的示例的流程图。
[图68]图68是描述色度的次级变换标识符编码处理的流程的示例的流程图。
[图69]图69是示出计算机的主要配置示例的框图。
[图70]图70是示出电视装置的示意性配置的示例的框图。
[图71]图71是示出移动电话的示意性配置的示例的框图。
[图72]图72是示出记录/再现装置的示意性配置的示例的框图。
[图73]图73是示出成像装置的示意性配置的示例的框图。
[图74]图74是示出视频装置的示意性配置的一个示例的框图。
[图75]图75是示出视频处理器的示意性配置的一个示例的框图。
[图76]图76是示出视频处理器的示意性配置的另一示例的框图。
[图77]图77是示出网络系统的示意性配置的一个示例的框图。
具体实施方式
下面将描述用于实现本公开内容的示例性实施方式(以下将称为实施方式)。注意，将按以下顺序提供描述。
1.色度的正交变换
2.第一实施方式(图像解码装置，apt_flag和pt_idx)
3.第二实施方式(图像解码装置和ts_flag)
4.第三实施方式(图像解码装置和st_idx)
5.第四实施方式(图像编码装置，apt_flag和pt_idx)
6.第五实施方式(图像编码装置和ts_flag)
7.第六实施方式(图像编码装置和st_idx)
8.其他
<1.色度的正交变换>
<初级变换>
在非专利文献1(Joint Exploration Test Model 4(JEM 4))中描述的测试模型中，为了提高4K高分辨率图像等的编码效率，编码树单元(CTU)的最大大小从128×128扩展到256×256。此外，作为块划分的结构，除了现有技术的四叉树分割之外，还引入了水平/竖直方向上的二叉树，因此，除了方形变换块之外，还引入了矩形变换块。
此外，在JEM 4中，公开了针对亮度的每个变换块的在水平方向上的初级变换PThor(也被称为初级水平变换)和在竖直方向上的初级变换PTver(也被称为初级竖直变换)的每一个从多个不同的正交变换自适应地选择初级变换的自适应初级变换(自适应多核变换(AMT))。
更具体地，在指示是否以亮度的变换块(也被称为亮度变换块)为单元执行亮度的自适应初级变换的自适应初级变换标志apt_flag为0(假)的情况下，使用模式信息来(唯一地)决定离散余弦变换(DCT)-II或离散正弦变换(DST)-VII作为应用于水平初级变换和竖直初级变换的正交变换。
另一方面，在例如如图1所示的表(LUT_TrSetToTrTypIdx)中亮度的自适应初级变换标志apt_flag为1(真)的情况下，从四个候选(变换集标识符＝0到3)中选择包括用作水平方向(x方向)和竖直方向(y方向)中的每一个的初级变换的候选的正交变换的变换集TrSet。图1所示的DST-VII、DCT-VIII等指示正交变换的类型，并且图2的表中所示的每个功能用于它们。
注意，在图2的表中，定义了与各个类型的正交变换对应的标识符(变换类型标识符TrTypeIdx)。例如，如果一种类型的正交变换(变换类型)是DCT-II，则将0分配为变换类型标识符TrTypeIdx的值。
变换集TransformSet的选择(决定)根据要处理的变换块所属的编码单元(CU；也称为编码的单元)的预测类型而变化。例如，如果预测类型是帧内预测，则如图3的表(LUT_IntraModeToTrSet)所示，基于帧内预测模式(IntraPredMode)进行选择。例如，选择设置用于指定与每个方向的变换集(TrSetH或TrSetV)相对应的变换集TrSet的变换集标识符TrSetIdx，如下面的表达式(1)和(2)所示。
TrSetH＝LUT_IntraModeToTrSet[IntraPredMode][H(＝0)]…(1)
TrSetV＝LUT_IntraModeToTrSet[IntraPredMode][V(＝1)]…(2)
这里，TrSetH表示初级水平变换PThor的变换集(也称为初级水平变换集)，TrSetV表示初级竖直变换PTver的变换集(也称为初级竖直变换集)。另外，查找表LUT_IntraModeToTrSet表示图3的对应表。查找表LUT_IntraModeToTrSet[][]的第一数组具有帧内预测模式IntraPredMode作为参数，并且第二数组具有{H＝0，V＝1}作为参数。
在帧内预测模式编号18(IntraPredMode＝＝18)的情况下，选择图1的表(LUT_TrSetToTrTypeIdx)中指示的变换集标识符TrSetIdx＝2的变换集作为初级水平变换集TrSetH，并且选择图1的表中指示的变换集标识符TrSetIdx＝0的变换集作为初级竖直变换集TrSetV。
如果预测类型是帧间预测，则用于指定帧间预测的变换集TrSet(＝InterTrSetIdx)的变换集标识符TrSetIdx被设置用于方向的每一个中的变换集(TrSetH和TrSetV)，如下面的表达式(3)和(4)。例如，在图1的表的情况下，InterTrSet的值是3。
TrSetH＝InterTrSetIdx…(3)
TrSetV＝InterTrSetIdx…(4)
此外，使用初级水平变换指定标志pt_hor_flag来选择要将所选择的变换集TrSet中的哪个正交变换应用于初级水平变换。另外，使用初级竖直变换指定标志pt_ver_flag来选择要将所选择的变换集TrSet中的哪个正交变换应用于初级竖直变换。例如，这些是使用初级{水平，竖直}变换集TrSet{H，V}和初级{水平，竖直}变换指定标志flag pt_{hor，ver}作为参数根据图1所示的变换集(LUT_TrSetToTrTypeIdx)的定义表得到的，如下面的表达式(5)和(6)所示。
TrTypeIdxH＝LUT_TrSetToTrTypeIdx[TrSetH][pt_hor_flag]…(5)
TrTypeIdxV＝LUT_TrSetToTrTypeIdx[TrSetV][pt_ver_flag]…(6)
在帧内预测模式编号18(IntraPredMode＝＝18)的情况下，由于基于图3的表初级水平变换集TrSetH的变换集标识符TrSetIdx的值是2，所以从在图1的变换集定义表LUT_TrSetToTrTypeIdx上具有变换集标识符TrSetIdx＝＝2的变换集中选择(指定)要应用于初级水平变换的正交变换。也就是说，在初级水平变换指定标志pt_hor_flag为0的情况下，针对指定如图1所示的初级水平变换PThor的正交变换的类型的水平变换类型标识符TrTypeIdxH设置指示DST-VII的变换类型标识符TrTypeIdx的值“4”，并且在初级水平变换指定标志pt_hor_flag为1的情况下，针对水平变换类型标识符TrTypeIdxH设置指示DCT-V的变换类型标识符TrTypeIdx的值“1”。
注意，使用下面的表达式(7)根据初级水平变换指定标志pt_hor_flag和初级竖直变换指定标志pt_ver_flag得到初级变换标识符pt_idx。
pt_idx＝(pt_ver_flag<<1)+pt_hor_flag…(7)
也就是说，初级变换标识符pt_idx的高1位对应于初级竖直变换指定标志，低1位对应于初级水平变换指定标志的值。通过将算术编码应用于得到的初级变换标识符pt_idx的二进制串并且生成比特串来执行编码。注意，可以将pt_idx的高1位设置为初级水平变换指定标志，并且可以将低1位设置为初级竖直变换指定标志。
另一方面，自适应初级变换不应用于色度(Cb和Cr)的变换块，并且DCT-II始终被选择作为一种类型的正交变换，例如初级水平变换和初级竖直变换。
图4的A是变换单元TU的语法表的示例，并且图4的B示出与其对应的语义的示例。在图4的A中所示的语法中，在由附图标记SYN11表示的行中示出的残差数据存在标志cbf[x0][y0][compID](coded_block_flag)是如图4的B所示指示在用颜色信号标识符compID指定的颜色信号的变换块中是否存在一个或更多个非零系数的标志。在标志为1(真)的情况下，指示在对应的变换块中存在一个或更多个非零系数，并且在标志为0(假)的情况下，指示变换块中不存在非零系数。注意，为了方便起见，还存在将亮度的残差数据存在标志cbf[x0][y0][COMPONENT_Y]称为cbf_luma(cbf_luma＝cbf[x0][y0][COMPONENT_Y])的情况。
另外，图4的A中所示的自适应初级变换使能标志apt_enabled_flag是关于如图4的B所示的自适应初级变换的许可的信息。在标志的值为1(真)的情况下，指示在编码数据中存在关于自适应初级变换的信息。另外，在标志的值为0(假)的情况下，指示在编码数据中不存在关于自适应初级变换的信息。
另外，在图4的A中所示的语法中由附图标记SYN12表示的行中示出的亮度变换块的自适应初级变换标志apt_flag是如图4的B所示指示是否将自适应初级变换应用于亮度的变换块的标志。在标志的值为1(真)的情况下，应用自适应初级变换，并且在标志的值为0(假)的情况下，不应用自适应初级变换。如图4的A的语法表中所示，在亮度的残差数据存在标志cbf_lum为“1”(即，真)并且自适应初级变换使能标志apt_enabled_flag为“1”(即，真)的情况下，对亮度的自适应初级变换标志apt_flag进行编码(解码)。在编码数据中不存在apt_flag的情况下，apt_flag的值被解释为0。
此外，在图4的A中所示的语法中，在相应颜色信号的残差数据存在标志为1(真)的情况下，对由附图标记SYN13表示的行中示出的颜色信号标识符compID指定的颜色信号的变换块的残差数据residual_coding()进行编码(解码)。
图5是示出residual_coding的语法的示例。在图5所示的语法表中，在亮度的自适应初级变换标志apt_flag为1(真)、变换量化旁路标志transquant_bypass_flag为0(假)、变换跳过标志ts_flag为0(假)以及颜色信号标识符compID指示亮度(compID＝＝COMPONENT_Y)的情况下,并且在变换块中存在的非零系数的总数numSig大于或等于预定阈值ptNumSigTH并且变换块的长边(max(log2TBWSize，log2TBHSize))等于或小于预定阈值maxPTSize的情况下，如语法表中所示，对由附图标记SYN22表示的亮度的初级变换标识符pt_idx进行编码(解码)。在编码数据中不存在亮度的初级变换标识符pt_idx的情况下，pt_idx的值被解释为0。
在非专利文献1中，尽管自适应初级变换仅可以应用于亮度(Y)，但其不应用于色度(Cb和Cr)。因此，存在与亮度相比色度的初级变换的编码效率劣化得更多的问题。
另一方面，可以想到与亮度(Y)类似地，例如，针对色度(Cb或Cr)的每个变换块对自适应初级变换标志apt_flag和初级变换标识符pt_idx进行明确地编码。然而，在该方法的情况下，由于对色度的自适应初级变换标志apt_flag和初级变换标识符pt_idx进行编码，因此存在代码量增加和编码效率劣化的问题。
注意，同样在这种情况下，在编码侧，有必要确定用于选择/不选择自适应初级变换以及确定颜色信号(Y，Cb和Cr)中的每一个的初级变换标识符的模式，因此存在处理量增加的问题。另外，同样在解码侧，应当针对颜色信号(Y，Cb和Cr)中的每一个对自适应初级变换标志apt_flag和初级变换标识符pt_idx进行解码，因此存在处理量增加的问题。
<亮度的参数的使用>
因此，基于关于亮度的(逆)正交变换的信息得到关于色度的(逆)正交变换的信息。即，使用关于基于亮度的(逆)正交变换得到的色度的(逆)正交变换的信息，执行色度的(逆)正交变换。例如，使用关于基于亮度的(逆)正交变换得到的色度的(逆)正交变换的信息，在图像处理装置中设置执行色度的(逆)正交变换的(逆)正交变换单元。
以这种方式，可以省略关于色度的(逆)正交变换的信息的编码和解码，因此可以抑制码量的增加，并且可以防止编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。注意，在本说明书中，正交变换和逆正交变换是相对于彼此的逆处理，并且假设可以通过例如对正交变换的数据执行逆正交变换来恢复尚未正交变换的数据。另外，尽管关于正交变换的信息是要在正交变换中使用的信息，但是还存在可以在逆正交变换中使用该信息的情况。另外，尽管关于逆正交变换的信息是要在逆正交变换中使用的信息，但是还存在可以在正交变换中使用信息的情况。也就是说，在本说明书中，存在关于正交变换的信息和关于逆正交变换的信息是指相同信息的情况(关于两个变换的信息可以包括相同的信息)。这同样应用于初级变换与逆初级变换以及次级变换与逆次级变换之间的关系。
关于(逆)正交变换的信息的内容是任意的。例如，如图6的表中所示，该信息可以包括自适应初级变换标志apt_flag，自适应初级变换标志指示通过自适应地选择多个不同逆正交变换中的任何一个而被用作(逆)初级变换的自适应(逆)初级变换是否被应用于要处理的变换块。另外，该信息还可以包括初级变换标识符pt_idx，初级变换标识符指示哪个(逆)初级变换将被应用于竖直方向上和水平方向上的(逆)初级变换。
例如，通过基于亮度的自适应初级变换标志apt_flag[Y]得到色度(Cb)的自适应初级变换标志apt_flag[Cb]和色度(Cr)的自适应初级变换标志apt_flag[Cr]中的每一个，可以抑制色度(Cb/Cr)的编码效率的劣化。此外，还可以抑制代码量的开销增加。另外，例如，通过基于亮度的初级变换标识符pt_idx[Y]得到色度(Cb)的初级变换标识符pt_idx[Cb]和色度(Cr)的初级变换标识符pt_idx[Cr]中的每一个，可以抑制色度(Cb/Cr)的编码效率的劣化。此外，还可以抑制代码量的开销增加。注意，色度的初级变换标识符可以在Cb和Cr之间共同的(共享)。
将参照图7的表格提供进一步的描述。在现有技术中，自适应(逆)初级变换不用于色度，并且如第#0行中所示，始终省略色度的自适应初级变换标志apt_flag和初级变换标识符pt_idx。由于在这样的情况下不使用自适应(逆)初级变换，所以存在如上所述编码效率劣化的问题。
另一方面，可以将自适应(逆)初级变换设置为适用于色度，并且始终如第#1行中所指示的，还可以根据亮度的自适应初级变换标志apt_flag和初级变换标识符pt_idx推断色度的自适应初级变换标志apt_flag和初级变换标识符pt_idx。例如，色度的自适应初级变换标志apt_flag[Cb/Cr]的值可以被设置为亮度的自适应初级变换标志apt_flag[Y]的值。另外，例如，在色度的自适应初级变换标志apt_flag[Cb/Cr]为真的情况下，色度的初级变换标识符pt_idx[Cb/Cr]的值可以被设置为亮度的初级变换标识符pt_idx[Y]的值，并且在色度的自适应初级变换标志apt_flag[Cb/Cr]为假的情况下，色度的初级变换标识符pt_idx[Cb/Cr]的值可以被设置为预定值。以这种方式，不仅可以将自适应(逆)初级变换应用于色度，而且还可以省略色度的自适应初级变换标志apt_flag和初级变换标识符pt_idx的传输(编码和解码)，并且因此可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
另外，在自适应(逆)初级变换被设置为也适用于色度的情况下，并且进一步地，例如，要处理的变换块所属的编码块的预测类型是帧间预测(CuPredMode＝＝MODE_INTER)的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]的值可以被设置为亮度的自适应初级变换标志apt_flag[Y]的值，并且如第#2行中所指示的，在编码块的预测类型是帧内预测的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]可以被设置为0(假)。以这种方式，不仅可以将自适应(逆)初级变换应用于色度，而且还可以仅在残差信号的趋势是类似的帧间预测模式的情况下使用亮度的自适应初级变换标志，因此可以抑制编码效率的劣化。
此外，在自适应(逆)初级变换被设置为也适用于色度的情况下，并且进一步地，例如，如在第#3行中所指示的，在要处理的变换块所属的编码块的预测类型是帧间预测或者亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]的值可以被设置为亮度的自适应初级变换标志apt_flag[Y]的值，并且在编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]可以被设置为0(假)。以这种方式，不仅可以将自适应(逆)初级变换应用于色度，而且还可以仅在残差信号的趋势类似的预测模式的情况下使用亮度的自适应初级变换标志，并且因此，可以抑制编码效率的劣化。
另外，在自适应(逆)初级变换被设置为也适用于色度的情况下，并且进一步地，例如，如第#4行所指示的，在要处理的变换块所属的编码块的预测类型是帧间预测或预测模式是帧内块复制的帧内预测的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]的值可以被设置为亮度的自适应初级变换标志apt_flag[Y]的值，并且在编码块的预测类型是预测模式不是帧内块复制(IntraBC；也称为“屏幕内运动补偿”)的帧内预测的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]的值可以被设置为0(假)。以这种方式，不仅可以将自适应(逆)初级变换应用于色度，而且还可以仅在残差信号的趋势类似的预测模式的情况下使用亮度的自适应初级变换标志，并且因此，可以抑制编码效率的劣化。
另外，在自适应(逆)初级变换被设置为也适用于色度的情况下，并且进一步，例如，如在第#5行中所指示的，指示是否基于亮度的自适应初级变换标志apt_flag[Y]推断色度的自适应初级变换标志apt_flag[Cb/Cr]的色度自适应初级变换信息推断标志chroma_apt_info_infer_flag为1(真)的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]可以被设置为亮度的自适应初级变换标志apt_flag[Y]的值，并且在色度自适应初级变换信息推断标志chroma_apt_info_infer_flag为0(假)的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]的值可以被设置为0(假)。以这种方式，可以使用色度自适应初级变换信息推断标志chroma_apt_info_infer_flag明确地控制是否要使用亮度的自适应初级变换标志的值。因此，可以使仅在可以容易地获得足够大的效果的情况下使用亮度的自适应初级变换标志的值，因此可以进一步抑制编码效率的劣化。
另外，在自适应(逆)初级变换被设置为也适用于色度的情况下，并且进一步地，例如，如在第#6行中所指示的，要处理的变换块的短边的大小大于或等于预定阈值的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]的值可以被设置为亮度的自适应初级变换标志apt_flag[Y]的值，并且在变换块的短边的大小小于阈值的情况下，色度的自适应初级变换标志apt_flag[Cb/Cr]的值可以被设置为0(假)。以这种方式，由于可以不将自适应(逆)初级变换应用于不能由其获得足够大的效果的变换块，因此可以进一步抑制编码效率的劣化，并且可以避免由于将自适应(逆)初级变换应用于小变换块而导致的电路规模不必要的增加到不能获得足够大的效果的程度。
另外，自适应(逆)初级变换被设置为也适用于色度，并且更进一步地，例如，如在第#7行中指示的，具有要处理的色度的变换块的图片宽度的大小等于或小于预定阈值，(逆)初级水平变换的变换类型可以被设置为预定的变换类型，并且在变换块的图片宽度的大小大于阈值的情况下，可以基于水平变换集和初级水平变换指定标志来设置(逆)初级水平变换的变换类型。同样地，在具有要处理的色度的变换块的图片高度的大小等于或小于预定阈值的情况下，(逆)初级竖直变换的变换类型可以被设置为预定的变换类型，并且在变换块的图片高度的大小大于阈值的情况下，可以基于竖直变换集和初级竖直变换指定标志来设置(逆)初级竖直变换的变换类型。以这种方式，可以不将自适应(逆)初级变换应用于窄到不能获得足够大的效果的程度变换块(宽度方向上的(逆)初级变换)，并且因此可以进一步抑制编码效率的劣化，并且可以避免由于将自适应(逆)初级变换应用于窄的变换块而导致的电路规模的不必要的增加到不能获得足够大的效果的程度。
注意，还可以任意组合以上描述的情况中的每一种。例如，第#2行中的情况可以与第#7行进行组合，类似于第#8行中的情况。以这种方式，可以展示在情况的每一种中获得的效果。另外，上述情况中的每一种也可以与上面未描述的另外的情况进行组合。例如，在第#2行的情况下要处理的编码块的预测类型是帧内预测的情况下，可以传输(用信号传送)色度的自适应初级变换标志apt_flag[Cb/Cr]。即，在这种情况下，执行色度的自适应初级变换标志apt_flag[Cb/Cr]的编码和解码。另外，在色度的自适应初级变换标志apt_flag[Cb/Cr]的值为1(真)的情况下，进一步传输(用信号传送)色度的自适应初级变换标识符pt_idx[Cb/Cr]。即，在这种情况下，执行色度的自适应初级变换标识符pt_idx[Cb/Cr]的编码和解码。
<CU、PU和TU的形状>
这里将描述作为比特流(编码数据)中的运动图像的部分区域(处理单元)的编码单元(CU)、预测单元(PU)和TU的形状。图8中示出的CU、PU和变换单元(TU)是JVET-C0024，“EE2.1:Quadtree plus binary tree structure integration with JEM tools”中描述的四叉树加二叉树(QTBT)的CU、PU和TU。具体地，在用于CU的块划分中，一个块不仅可以被划分为四个(＝2×2)个子块而且还可以被划分为两个(＝1×2或2×1)个子块。换句话说，通过递归地重复将一个块划分为用于CU的块划分中的四个子块或两个子块，因此形成在水平方向或竖直方向上的四叉树(四叉树)形状或二叉树(二叉树)形状的树结构。
因此，存在CU具有正方形形状和矩形形状的可能性。例如，在最大编码单元(LCU)的大小是128×128的情况下，如果8所示，存在CU的大小(在水平方向上的大小w×在竖直方向上的大小h)是以下尺寸的可能性，诸如128×128、64×64、32×32、16×16、8×8或4×4的正方形的大小以及诸如128×64、128×32、128×16、128×8、128×4、64×128、32×128、16×128、8×128、4×128、64×32、64×16、64×8、64×4、32×64、16×64、8×64、4×64、32×16、32×8、32×4、16×32、8×32、4×32、16×8、16×4、8×16、4×16、8×4或4×8的矩形的大小。注意，PU和TU具有与CU相同的可能性。
此外，TU包括亮度(Y)的变换块和色度(Cb/Cr)的变换块。在颜色格式为4：2：0(例如，YUV420)的情况下，色度的图片大小与亮度的图片大小的比例相对于图片高度和图片宽度为1/2。因此，如果亮度的变换块的大小是8×4，则相应的色度的变换块的大小是4×2。另外，在颜色格式为4：2：2(例如，YUV422)的情况下，色度的图片大小与亮度的图片大小的比例相对于图片高度为1/2并且相对于图片宽度为1。因此，如果亮度的变换块的大小是8×4，则相应的色度的变换块的大小是8×2。另外，在颜色格式为4：4：4(例如，YUV444)的情况下，色度的图片大小与亮度的图片大小的比例相对于图片高度为1并且相对于图片宽度为1。因此，如果亮度的变换块的大小是8×4，则相应的色度的变换块的大小是8×4。
注意，关于I片，亮度(Y)和色度(Cb/Cr)可以被编码为不同的CU。由于在这种情况下亮度和色度可以具有不同的CU划分结构，因此表现出提高I片的编码效率的效果。尽管为了方便起见，下面将提供假设亮度和色度的信息包括在相同的CU中的描述，但是本发明不限于此。
<2.第一实施方式>
<图像解码装置>
图9是示出作为应用了本技术的图像处理装置的一个方面的图像解码装置的配置的示例的框图。图9所示的图像解码装置100是对通过对如AVC或HEVC中的图像与预测图像的预测残差进行编码而获得的编码数据进行解码的装置。图像解码装置100实现例如由HEVC或联合视频探索团队(JVET)提出的技术。
在图9中，图像解码装置100具有解码单元111、逆量化单元112、逆变换单元113、算术运算单元114、帧存储器115和预测单元116。注意，预测单元116具有未示出的帧内预测单元和帧间预测单元。图像解码装置100是用于通过对编码数据#1(比特流)进行解码来生成运动图像#2的装置。
解码单元111接收编码数据#1的输入，并根据语法表的决定对来自编码数据#1的比特串的语法元素中的每一个的语法值执行可变长度解码。此外，每个语法元素包括诸如报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo和残差信息Rinfo的信息。
报头信息Hinfo诸如VPS/SPS/PPS/片头SH包括限定以下的信息：图像大小(图片宽度PicWidth和图片高度PicHeight)、比特深度(亮度bitDepthY和色度bitDepthC)、CU大小的最大值MaxCUSize/CU大小的最小值MinCUSize、四叉树分割(也称为四叉树分割)的最大深度MaxQTDepth/四叉树分割的最小深度MinQTDepth、二叉树分割(二叉树分割)的最大深度MaxBTDepth/二叉树分割的最小深度MinBTDepth、变换跳过块的最大值MaxTSSize(也称为最大变换跳过块大小)、每个编码工具的开/关标志(也称为使能标志)等。
作为包括在报头信息Hinfo中的编码工具的开/关标志，例如，下面将介绍用于变换和量化处理的开/关标志。注意，编码工具的开/关标志也可以被解释为指示编码工具的语法是否存在于编码数据中的标志。另外，在开/关标志的值为1(真)的情况下，指示编码工具可用，并且在开/关标志的值为0(假)的情况下，指示编码工具不可用。注意，对标志值的解释可以颠倒。
自适应初级变换使能标志apt_enabled_flag(也称为amt_enabled_flag的adap_primary_transform_enabled_flag，adaptive_pt_enabled_flag)是指示可以选择自适应初级变换(也称为自适应初级变换)作为变换处理和对其的逆处理之一的编码工具是否可用的标志。
次级变换使能标志st_enabled_flag是指示执行次级变换/逆次级变换作为变换处理和对其的逆处理之一的编码工具是否可用的标志。
变换量化旁路使能标志transquant_bypass_enabled_flag是指示跳过变换和量化/逆量化和逆变换作为变换/量化和对其的逆处理之一的编码工具是否可用的标志。
变换跳过标志使能标志ts_enabled_flag是指示二维变换跳过或一维变换跳过作为对其的变换处理和逆处理之一是否可用的标志。二维变换跳过是跳过包括初级变换和次级变换的对其的正交变换和逆处理(逆正交变换)的编码工具。另外，一维变换跳过是跳过初级变换中的水平方向或竖直方向上的初级变换和与其对应的逆变换(逆初级变换)以及次级变换和逆次级变换的编码工具。
预测模式信息Pinfo还包括要处理的PU的PU大小(预测块大小)PUSize、帧内预测模式信息IPinfo(例如，在JCTVC-W1005的7.3.8.5编码单元语法中的prev_intra_luma_pred_flag、mpm_idx、rem_intra_pred_mode，从语法得到的亮度帧内预测模式IntraPredModeY和色度帧内预测模式IntraPredModeC等)、运动预测信息MVinfo(例如，merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X＝{0,1}以及参考JCTVC-W1005的7.3.8.6预测单元语法的mvd)等。
另外，变换信息Tinfo可以包括例如要处理的变换块的图片宽度大小TBWidth和图片高度大小TBHeight的语法、指示是否跳过(逆)变换和(逆)量化处理的变换量化旁路标志transquant_bypass_flag、指示是否应用二维变换跳过的变换跳过标志ts_flag、指示是否将自适应初级变换应用于目标变换块的自适应初级变换标志apt_flag、指示在竖直方向上和水平方向上的(逆)初级变换之间应用哪个(逆)初级变换的初级变换标识符pt_idx、指示要应用哪个(逆)次级变换的次级变换标识符st_idx(也称为dnsst_idx、nsst_idx或rot_idx)、扫描标识符scanIdx、量化参数qp、量化矩阵scaling_matrix等。注意，不同于要处理的变换块的图片宽度大小TBWidth和图片高度大小TBHeight，可以包括TBWidth和TBHeight中的每一个的以2为底的对数值log2TBWidth(也称为log2TBWSize或log2TBW)或者log2TBHeight(也称为log2TBHSize或log2TBH)。
残差信息Rinfo可以包括，例如，残差数据存在/不存在标志(cbf(coded_block_flag))、最后非零系数X坐标(last_sig_coeff_x_pos)、最后非零系数Y坐标(last_sig_coeff_y_pos)、子块非零系数存在/不存在标志(coded_sub_block_flag)、非零系数存在/不存在标志(sig_coeff_flag)、指示非零系数的水平是否大于1的标志(gr1_flag)(也称为GR1标志)、指示非零系数的水平是否大于2的标志(gr2_flag)(也称为GR2标志)、指示非零系数的正性/负性的符号(sign_flag)(也称为正负符号)、非零系数的剩余水平(coeff_abs_level_remaining)(也称为非零系数剩余水平)等。
解码单元111参考残差信息Rinfo得到每个变换块中的每个系数位置的量化的变换系数水平level。解码单元111将根据解码获得的预测模式信息Pinfo、量化的变换系数水平level和变换信息Tinfo提供给每个块。例如，解码单元111将预测模式信息Pinfo提供给逆变换单元113和预测单元116，将量化的变换系数水平level提供给逆量化单元112，并且将变换信息Tinfo提供给逆变换单元113和逆量化单元112。
逆量化单元112接收变换信息Tinfo和量化的变换系数水平level的输入，基于变换信息Tinfo对量化的变换系数水平level的值执行缩放(逆量化)，并且将经过逆量化的变换系数Coeff_IQ输出至逆变换单元113。
逆变换单元113接收变换系数Coeff_IQ、变换信息Tinfo和预测模式信息Pinfo的输入，基于变换信息Tinfo、预测模式信息Pinfo等对变换系数Coeff_IQ应用逆变换，得到预测残差D'，并且将预测残差输出至算术运算单元114。注意，逆变换是在编码侧等执行的变换处理的逆处理。例如，在逆变换中包括逆正交变换，诸如对在编码侧等执行的正交变换的逆处理。另外，在作为编码侧的正交变换执行初级变换或次级变换的情况下，例如，逆变换中包括作为对初级变换的逆处理的逆初级变换、作为对次级变换的逆处理的逆次级变换等。下面将描述逆变换单元113的细节。
算术运算单元114接收从预测单元116提供的预测残差D'和预测图像P的输入，如下面的表达式(8)所示，将预测残差D'与和预测残差D'相对应的预测图像P(预测信号)相加，得到局部解码图像Rec，并将局部解码图像提供给帧存储器115或图像解码装置100的外部。
Rec＝D'+P…(8)
帧存储器115接收从算术运算单元114提供的局部解码图像Rec的输入，在每个图片单元中重建解码图像，然后将解码图像存储在帧存储器115中。帧存储器115从缓冲器读取由预测单元116的预测模式信息Pinfo指定的解码图像作为参考图像，并且将解码图像提供给预测单元116。另外，帧存储器115可以将与解码图像的生成有关的报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo等存储在帧存储器内的缓冲器中。
预测单元116接收预测模式信息Pinfo的输入，使用由预测模式信息Pinfo指定的预测方法、使用由预测模式信息PInfo指定的帧存储器115中存储的解码图像作为参考图像来生成预测图像P，并且将预测图像输出至算术运算单元114。
<逆变换单元>
图10是示出图9的图像解码装置100的逆变换单元113的主要配置的示例的框图。如图9所示，逆变换单元113包括开关121、逆次级变换单元122和逆初级变换单元123。
开关121接收变换系数Coeff_IQ和变换跳过标志ts_flag[compID]。在变换跳过标志ts_flag[compID]的值是NO_TS(＝0)的情况下，即，在未应用变换跳过的情况下，开关121将变换系数Coeff_IQ输出至逆次级变换单元122。另外，在变换跳过标志ts_flag[compID]的值是2D_TS(＝1)的情况下，即，在标志指示应用二维变换跳过的情况下，开关121跳过逆次级变换单元122和逆初级变换单元123，并且输出变换系数Coeff_IQ作为预测残差D'。
逆次级变换单元122执行与逆次级变换有关的处理，逆次级变换是作为预定变换处理例如正交变换等的次级变换的逆处理。例如，逆次级变换单元122接收次级变换标识符st_idx、指示变换系数的扫描方法的扫描标识符scanIdx和变换系数Coeff_IQ的输入，得到经过逆次级变换的变换系数Coeff_IS(也称为初级变换系数Coeff_P)，并且将变换系数提供给逆初级变换单元123。更具体地，在次级变换标识符st_idx指示应用逆次级变换(st_idx>0)的情况下，逆次级变换单元122对变换系数Coeff_IQ执行与次级变换标识符st_idx对应的逆次级变换的处理，并且输出经过逆次级变换的变换系数Coeff_IS。在次级变换标识符st_idx指示不应用逆次级变换(st_idx＝＝0)的情况下，逆次级变换单元122跳过逆次级变换并且输出变换系数Coeff_IQ作为经过逆次级变换的变换系数Coeff_IS。
逆初级变换单元123执行与逆初级变换有关的处理，逆初级变换是作为预定变换处理例如正交变换的初级变换的逆处理。例如，逆初级变换单元123接收以下输入：颜色信号标识符compID、亮度的自适应初级变换标志apt_flag[COMPONENT_Y]、亮度的初级变换标识符pt_idx[COMPONENT_Y]、预测模式信息PInfo、变换块的大小(图片宽度的对数值log2TBWSize和图片高度的对数值log2TBHSize)以及经过逆次级变换的变换系数Coeff_IS。逆初级变换单元123参考预测模式信息PInfo、颜色信号标识符compID、亮度的自适应初级变换标志apt_flag[COMPONENT_Y]、亮度的初级变换标识符pt_idx[COMPONENT_Y]和亮度的初级变换标识符pt_idx[COMPONENT_Y]来选择由颜色信号标识符compID指定的颜色信号的逆初级水平变换TrTypeIdxH的类型和逆初级竖直变换TrTypeIdxV的类型，对已经经过逆次级变换的变换系数Coeff_IS执行由变换块的图片高度log2TBHSize和逆初级竖直变换类型TrTypeIdxV限定的逆初级竖直变换以及由变换块的图片宽度log2TBWSize和逆初级水平变换类型TrTypeIdxH限定的逆初级水平变换，然后得到并输出经过逆初级变换的预测残差D'。
<逆初级变换单元>
如图11所示，逆初级变换单元123具有色度自适应初级变换信息得到单元131、逆初级变换选择单元132、逆初级竖直变换单元133和逆初级水平变换单元134。
在颜色信号标识符compID指示色度(compID＝＝COMPONENT_Cb或COMPONENT_Cr)的情况下，色度自适应初级变换信息得到单元131使用与色度变换块相对应的亮度变换块的自适应初级变换信息(apt_flag[COMPONENT_Y]、pt_idx[COMPONENT_Y])得到色度的自适应初级变换信息(apt_flag[compID]和pt_idx[compID](compID＝COMPONENT_Cb或COMPONENT_Cr))，并将结果提供给逆初级变换选择单元132。
<色度自适应初级变换信息得到单元>
图11是示出色度自适应初级变换信息得到单元131的功能的主要配置的示例的功能框图。如图11所示，色度自适应初级变换信息得到单元131具有apt_flag得到单元151和pt_idx得到单元152。apt_flag得到单元151执行与色度的自适应初级变换标志apt_flag的得到有关的处理。
例如，apt_flag得到单元151基于与对应于色度的变换块的亮度变换块相关的自适应初级变换标志apt_flag[COMPONENT_Y]得到如下面的表达式(9)所示的关于要处理的色度变换块的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)。
apt_flag[compID]＝apt_flag[COMPONENT_Y]
(这里，compID＝COMPONENT_Cb或COMPONENT_Cr)…(9)
也就是说，apt_flag得到单元151设置与色度的自适应初级变换标志apt_flag[compID]对应的亮度的自适应初级变换标志apt_flag[COMPONENT_Y]的值(compID＝COMPONENT_Cb或COMPONENT_Cr)。
注意，作为表达式(9)的修改示例，apt_flag得到单元151可以参考亮度的残差数据存在标志cbf_luma来得到如下面的表达式(10)所示的色度的自适应初级变换标志apt_flag[compID]。
apt_flag[compID]＝cbf_luma？apt_flag[COMPONENT_Y]:0…(10)
也就是说，apt_flag得到单元151在亮度的残差数据存在标志cbf_luma为1(真)的情况下设置与色度的自适应初级变换标志apt_flag[compID]对应的亮度的自适应初级变换标志apt_flag[COMPONENT_Y]的值(compID＝COMPONENT_Cb或COMPONENT_Cr)，并且在其他情况下设置0(在亮度的残差数据存在标志cbf_luma为0(假)的情况下)。
注意，在编码数据中不存在apt_flag[COMPONENT_Y]并且标志的值被设置为0的情况下，不必参考亮度的残差数据存在标志。然而，在不存在将apt_flag[COMPONENT_Y]初始化为0的操作的情况下，apt_flag[COMPONENT_Y]的值变得不确定，因此期望参考亮度的残差数据存在标志cbf_luma来控制是否参考亮度的自适应初级变换标志的值apt_flag[COMPONENT_Y]。
另外，pt_idx得到单元152执行与色度的初级变换标识符pt_idx的得到有关的处理。例如，pt_idx得到单元152基于色度变换块的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)和与色度变换块对应的亮度变换块的初级变换标识符pt_idx[COMPONENT_Y]得到如下面的表达式(11)所示的色度的变换块的初级变换标识符pt_idx[compID]。
pt_idx[compID]＝apt_flag[compID]？pt_idx[COMPONENT_Y]:predeterminedvalue…(11)
也就是说，在色度变换块的自适应初级变换标志apt_flag[compID]为1(真)的情况下，pt_idx得到单元152还将色度变换块的初级变换标识符pt_idx[compID]设置为与色度变换块相对应的亮度变换块的初级变换标识符pt_idx[COMPONENT_Y]的值。在其他情况下，设置预定值。
如上所述，色度自适应初级变换信息得到单元131可以基于与色度变换块对应的亮度的自适应初级变换信息得到色度变换块的自适应初级变换信息。因此，可以在不根据编码数据对色度变换块的自适应初级变换信息进行解码的情况下减少解码处理量。
<逆初级变换单元>
返回到图10，逆初级变换选择单元132接收以下输入：预测模式信息PInfo、颜色信号标识符compID、与颜色信号标识符compID对应的颜色信号的自适应初级变换标志apt_flag[compID]以及与颜色信号标识符compID对应的颜色信号的初级变换标识符pt_idx[compID]。逆初级变换选择单元132参考预测模式信息PInfo、颜色信号标识符compID、与颜色信号标识符compID对应的颜色信号的自适应初级变换标志apt_flag[compID]以及与颜色信号标识符compID对应的颜色信号的初级变换标识符pt_idx[compID]得到由颜色信号标识符compID指定的颜色信号的逆初级水平变换的变换类型TrTypeIdxH和逆初级竖直变换的变换类型TrTypeIdxV，并且将结果提供给逆初级水平变换单元134和逆初级竖直变换单元133。
逆初级竖直变换单元133针对每个颜色信号的每个变换块接收以下输入：经过逆次级变换的变换系数Coeff_IS、逆初级竖直变换的变换类型TrTypeIdxV以及指示变换块的图片高度的log2TBHSize(图片高度的对数值)。逆初级竖直变换单元133对经过逆次级变换的变换系数Coeff_IS执行由变换类型TrTypeIdxV和变换块的图片高度限定的逆初级竖直变换IPver，并将结果提供给逆初级水平变换单元134作为经过逆初级竖直变换的变换系数Coeff_IPver。注意，逆初级竖直变换IPver是初级竖直变换Pver的逆变换。
逆初级水平变换单元134针对每个颜色信号的每个变换块接收以下输入：经过逆初级竖直变换的变换系数Coeff_IPver、逆初级水平变换的变换类型TrTypeIdxH以及指示变换块的图片宽度的log2TBWSize(图片宽度的对数值)。逆初级水平变换单元134对经过逆初级竖直变换的变换系数Coeff_IPver执行由变换类型TrTypeIdxH和变换块的图片宽度限定的逆初级水平变换IPhor，并将结果输出至逆变换单元113的外部作为预测残差D'(将结果提供给算术运算单元114)。注意，逆初级水平变换IPhor是初级水平变换Phor的逆变换。
<逆初级变换选择单元的处理>
接下来，将详细描述通过逆初级变换选择单元132得到由颜色信号标识符compID指定的颜色信号的逆初级水平变换TrTypeIdxH的类型和逆初级竖直变换TrTypeIdxV的类型。
具体地，在由颜色信号标识符compID指定的颜色信号的自适应初级变换标志apt_flag[compID]为1(真)的情况下，逆初级变换选择单元132参考预测模式信息PInfo在水平方向和竖直方向中的每一个上从图1的表中所示的具有变换集标识符TrSetSetIdx＝0...3的四个变换集TrSet中选择包括用作初级变换的候选的正交变换的变换集TrSet。注意，正交变换的类型与标识符TrTypeIdx的对应值之间的对应关系不限于图2的表，并且可以在可执行范围中改变。
注意，在自适应初级变换标志apt_flag[compID]为0(假)的情况下，指示将不执行自适应初级变换，因此逆初级变换选择单元132设置指示针对逆初级水平变换的变换类型TrTypeIdxH和逆初级竖直变换的变换类型TrTypeIdxV的预定(例如，DCT-II)正交变换的类型的变换类型的标识符的值(TrIdxTypeH＝TrIdxTypeV＝预定值)。
<变换集的选择>
在要处理的变换块所属的CU的预测类型CuPredMode是帧内预测(CuPredMode＝＝MODE_INTRA)的情况下，如图3中所示的表(LUT_IntraModeToTrSet)中那样基于帧内预测模式(IntraPredMode)进行设置。例如，使用以下表达式(12)和(13)对在每个方向(TrSetH和TrSetV)上设置的变换进行指定对应变换集TrSet的变换集标识符TrSetIdx的设置。另外，在要处理的变换块所属的CU的预测类型是帧间预测的情况下，如以下表达式(14)那样设置指定用于帧间预测的变换集TrSet(＝InterTrSetIdx)的变换集标识符TrSetIdx。注意，如果帧内预测模式IntraPredMode用于亮度，则假设要设置亮度帧内预测模式IntraPredModeY的值，并且如果帧内预测模式用于色度，则假设要设置色度帧内预测模式IntraPredModeC的值。
if(CuPredMode＝＝MODE_INTRA){
TrSetH＝LUT_IntraModeToTrSet[IntraPredMode][H(＝0)]…(12)
TrSetV＝LUT_IntraModeToTrSet[IntraPredMode][V(＝1)]…(13)
}else{//CuPredMode＝＝MODE_INTER
TrSetH＝InterTrSetIdx
TrSetV＝InterTrSetIdx…(14)
}
这里，TrSetH表示初级水平变换PThor的变换集(称为初级水平变换集)，TrSetV表示初级竖直变换PTver的变换集(也称为初级竖直变换集)。另外，查找表LUT_IntraModeToTrSet是图3的对应表。查找表LUT_IntraModeToTrSet[][]的第一数组具有帧内预测模式IntraPredMode作为参数，并且第二数组具有{H＝0，V＝1}作为参数。
在帧内预测模式号18(IntraPredMode＝＝18)的情况下，选择图1的表(LUT_TrSetToTrTypeIdx)中指示的变换集标识符TrSetIdx＝2的变换集作为初级水平变换集TrSetH，并且选择图1的表中指示的变换集标识符TrSetIdx＝0的变换集作为初级竖直变换集TrSetV。
注意，在图3中的帧内预测模式IntraPredMode指示帧内块复制(IBC或IntraBC；也称为“屏幕内运动补偿”)的情况下(在图3的表中，IntraPredMode＝＝67对应于IntraBC)，可以分配专用于帧间预测的变换集标识符。由于帧间预测和帧内块复制趋于通常具有类似的残差，因此分配相同的变换集是合理的。另外，可以分配专用于帧内块复制的变换集标识符。
<初级(水平/竖直)变换指定标志的得到>
此外，逆初级变换选择单元132根据例如下面的表达式(15)根据由颜色信号标识符compID指定的颜色信号的初级变换标识符pt_idx[compID](compID＝COMPONENT_Y，COMPONENT_Cb，COMPONENT_Cr)得到初级水平变换指定标志pt_hor_flag和初级竖直变换指定标志pt_ver_flag。
pt_hor_flag＝pt_dx[compID]&0x01
pt_ver_flag＝pt_idx[compID]>>1(＝(pt_idx[compID]&0x10)>>1)…(15)
也就是说，初级变换标识符pt_idx[compID]具有2比特值，其高1位对应于初级竖直变换指定标志pt_ver_flag，并且其低1位对应于初级水平变换指定标志pt_hor_flag。
<逆初级(水平/竖直)变换的变换类型的选择>
此外，逆初级变换选择单元132使用初级水平变换指定标志pt_hor_flag和初级竖直变换指定标志pt_ver_flag中的每一个从在水平/竖直方向的每一个上选择的变换集TrSetH和TrSetV中选择要在逆初级变换中使用的正交变换的变换类型。
具体地，如下面的表达式(16)所示，逆初级变换选择单元132基于图1所示的变换集和变换类型的对应表(LUT_TrSetToTrTypeIdx)、初级水平变换集TrSetH和初级水平变换指定标志pt_hor_flag确定要应用于逆初级水平变换的正交变换的变换类型TrTypeIdxH。
TrTypeIdxH＝LUT_TrSetToTrTypeIdx[TrSetH][pt_hor_flag]…(16)
同样地，如下面的表达式(17)所示，逆初级变换选择单元132基于图1所示的变换集和变换类型的对应表(LUT_TrSetToTrTypeIdx)、初级竖直变换集TrSetVx和初级竖直变换指定标志pt_ver_flag确定要应用于逆初级竖直变换的正交变换的变换类型TrTypeIdxV。
TrTypeIdxV＝LUT_TrSetToTrTypeIdx[TrSetV][pt_ver_flag]…(17)
如果由初级水平变换集TrSetH指示的变换集标识符TrSetIdx的值为2，则从图1的变换集定义表LUT_TrSetToTrTypeIdx上具有变换集标识符TrSetIdx＝＝2的变换集中选择要应用于初级水平变换的正交变换。也就是说，在初级水平变换指定标志pt_hor_flag为0的情况下，如图1所示针对指定初级水平变换PThor的正交变换的类型的水平变换类型标识符TrTypeIdxH设置指示DST-VII的变换类型标识符TrTypeIdx的值“4”，在初级水平变换指定标志pt_hor_flag为1的情况下，针对水平变换类型标识符TrTypeIdxH设置指示DCT-V的变换类型标识符TrTypeIdx的值“1”。
注意，利用图1所示的表的变换集标识符TrSetIdx的值确定的变换类型、初级水平变换指定标志和初级竖直变换指定标志可以被设置为在可执行范围内可变。
此后，逆初级变换选择单元132将由颜色信号标识符compID指定的颜色信号的逆初级水平变换IPThor的变换类型TrTypeIdxH和逆初级竖直变换IPTver的变换类型TrTypeIdxV提供给逆初级竖直变换单元133和逆初级水平变换单元134中的每一个。
如上所述，在颜色信号的残差信号示出与亮度的残差信号类似的趋势的情况下，逆初级变换单元123可以将针对亮度选择的逆自适应初级变换应用于色度的变换块。因此，可以以比现有技术更高的编码效率对色度的残差信号执行逆初级变换处理。
另外，与针对亮度和色度中的每一个对自适应初级变换标志apt_flag和初级变换标识符pt_idx进行明确地解码的情况相比，可以减少编码器的处理量，同时防止色度的编码效率的降低。
<图像解码处理的流程>
接下来，将描述如上所述由图像解码装置100执行的每个处理的流程。首先，将参照图12的流程图描述图像解码处理的流程的示例。
当开始图像解码处理时，在步骤S101中，解码部111对被提供给图像解码装置100的比特流(编码数据)进行解码，从而获得诸如报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo、量化变换系数水平level的信息。
在步骤S102中，逆量化单元112对根据步骤S101的处理获得的量化的变换系数水平level执行逆量化，从而得到变换系数Coeff_IQ。逆量化是在图像编码处理中执行的量化的逆处理，其将在下面描述，并且是与在图像编码处理中执行的逆量化类似的处理。
在步骤S103中，逆变换单元113对从步骤S102的处理获得的变换系数Coeff_IQ执行逆变换，从而得到预测残差D'。逆变换是在图像编码处理中执行的变换处理的逆处理，其将在下面描述，并且是与在图像编码处理中执行的逆变换类似的处理。
在步骤S104中，预测单元116基于预测模式信息PInfo以与在编码时执行的预测相同的预测模式执行预测，并生成预测图像。
在步骤S105中，算术运算单元114将从步骤S104的处理获得的预测图像与从步骤S103的处理获得的预测残差D'相加，从而获得解码图像。
在步骤S106中，算术运算单元114将从步骤S105的处理获得的解码图像输出至图像解码装置100的外部。
在步骤S107中，帧存储器115存储从步骤S105的处理获得的解码图像。
当步骤S107的处理结束时，图像解码处理结束。
<初级变换信息解码处理>
如上所述，在图12的步骤S101中对包括在编码数据#1中的各种类型的信息进行解码。此时，解码单元111还对诸如自适应初级变换标志apt_flag、初级变换标识符pt_idx等的信息进行适当地解码。解码单元111对例如亮度的自适应初级变换标志apt_flag[COMPONENT_Y]和亮度的初级变换标识符pt_idx[COMPONENT_Y]进行解码。然而，如上所述，编码数据#1不包括色度的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)和色度的初级变换标识符pt_idx[compID](compID＝COMPONET_Cb或COMPONENT_Cr)。因此，解码单元111省略对元素的信息的解码。
为了执行如上所述的解码，解码单元111在步骤S101中执行初级变换信息解码处理。将参照图13的流程图描述初级变换信息解码处理的流程的示例。
当开始初级变换信息解码处理时，解码单元111在步骤S111中确定要处理的分量是否是亮度(compID＝＝COMPONENT_Y)。在确定分量为亮度的情况下，处理进行到步骤S112。
在步骤S112中，解码单元111可以对编码数据#1中包括的亮度的自适应初级变换标志apt_flag[COMPONENT_Y]进行解码。在步骤S113中，解码单元111可以对编码数据#1中包括的亮度的初级变换标识符pt_idx[COMPONENT_Y]进行解码。当步骤S113的处理结束时，初级变换信息解码处理结束。
另外，在步骤S111中确定要处理的分量为色度(compID！＝COMPONENT_Y)的情况下，省略步骤S112和步骤S113的处理，并且初级变换信息解码处理结束。也就是说，在色度的情况下，省略自适应初级变换标志apt_flag和初级变换标识符pt_idx的解码。因此，可以抑制解码负荷的增加。
<逆变换处理的流程>
接下来，将参照图14的流程图来描述在图12的步骤S103中执行的逆变换处理的流程的示例。当开始逆变换处理时，在步骤S121中，开关121确定变换跳过标志ts_flag是否是2D_TS(二维变换跳过的模式)或者变换量化旁路标志transquant_bypass_flag是否为1(真)。在确定变换跳过标识符ts_idx是2D_TS或者变换量化旁路标志为1(真)的情况下，开关121将变换系数Coeff_IQ输出至外部作为预测残差D'(提供给算术运算单元114)，逆变换处理结束，并且处理返回到图12。
另外，在步骤S121中确定变换跳跃标识符ts_idx不是2D_TS(除了二维变换跳过之外的模式)并且变换量化旁路标志为0(假)的情况下，开关121向逆次级变换单元122提供变换系数Coeff_IQ，并且处理进行到步骤S122。
在步骤S122中，逆次级变换单元122基于次级变换标识符st_idx对输入变换系数Coeff_IQ执行逆次级变换，并且得到并输出经过逆次级变换的变换系数Coeff_IS。
在步骤S123中，逆初级变换选择单元132确定颜色信号标识符compID指示亮度还是色度。在颜色信号标识符compID指示色度(compID！＝COMPONENT_Y)的情况下，处理进行到步骤S124。在步骤S124中，色度自适应初级变换信息得到单元131基于色度变换块的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)和与色度变换块对应的亮度变换块的初级变换标识符pt_idx[COMPONENT_Y]得到色度的变换块的初级变换标识符pt_idx[compID]。当步骤S124的处理结束时，处理进行到步骤S125。
另外，在步骤S123中，在颜色信号标识符compID指示亮度(compID＝＝COMPONENT_Y)的情况下，处理进行到步骤S125。
在步骤S125中，逆初级变换选择单元132参考预测模式信息PInfo、颜色信号标识符compID、与颜色信号标识符compID对应的颜色信号的自适应初级变换标志apt_flag[compID]以及与颜色信号标识符compID对应的颜色信号的初级变换标识符pt_idx[compID]得到由颜色信号标识符compID指定的颜色信号的逆初级水平变换的变换类型TrTypeIdxH和逆初级竖直变换的变换类型TrTypeIdxV。
在步骤S126中，逆初级竖直变换单元133针对由颜色信号标识符compID指定的每个变换块对经过变换块的逆次级变换的变换系数Coeff_IS执行由逆初级竖直变换的变换类型TrTypeIdxV和变换块的图片高度限定的逆初级竖直变换IPver，并且将结果输出为经过逆初级竖直变换的变换系数Coeff_IPver。
在步骤S127中，逆初级水平变换单元134针对由颜色信号标识符compID指定的每个变换块对经过变换块的逆初级竖直变换的变换系数Coeff_IPver执行由逆初级水平变换的变换类型TrTypeIdxH和变换块的图片高度限定的逆初级水平变换IPhor，并且将结果输出作为预测残差D'。当步骤S127的处理结束时，逆变换处理结束，并且处理返回到图12。
<色度自适应初级变换信息得到处理的流程>
接下来，将参照图15的流程图描述在图14的步骤S124中执行的色度自适应初级变换信息得到处理的流程的示例。当开始色度自适应初级变换信息得到处理时，色度自适应初级变换信息得到单元131的apt_flag得到单元151在步骤S131中针对色度的自适应初级变换标志apt_flag[compID]设置亮度的自适应初级变换标志apt_flag[COMPONENT_Y]的值。
在步骤S132中，色度自适应初级变换信息得到单元131的pt_idx得到单元152确定色度的自适应初级变换标志apt_flag[compID]是否为真。当确定为真时，处理进行到步骤S133。在步骤S133中，pt_idx得到单元152针对色度的初级变换标识符pt_idx[compID]设置亮度的初级变换标识符pt_idx[COMPONENT_Y]的值。当步骤S133的处理结束时，色度自适应初级变换信息得到处理结束，并且处理返回到图14。
另外，在图15的步骤S132中确定色度的自适应初级变换标志apt_flag[compID]为假的情况下，处理进行到步骤S134。在步骤S134中，pt_idx得到单元152针对色度的初级变换标识符pt_idx[compID]设置预定值。当步骤S134的处理结束时，色度自适应初级变换信息得到处理结束，并且处理返回到图14。
<逆初级变换选择处理的流程>
接下来，将参照图16的流程图来描述在图14的步骤S125中执行的逆初级变换选择处理的流程的示例。
当开始逆初级变换选择处理时，逆初级变换选择单元132在步骤S141中确定与颜色信号标识符compID对应的颜色信号的自适应初级变换标志apt_flag[compID]是否为1(真)。在确定自适应初级变换标志apt_flag[compID]为1(真)的情况下，处理进行到步骤S142。
在步骤S142中，逆初级变换选择单元132基于预测模式信息PInfo选择逆初级竖直变换的变换集TrSetV(初级水平变换集)和逆初级水平变换的变换集TrSetH(初级竖直变换集)。
在步骤S143中，逆初级变换选择单元132根据与颜色信号标识符compID对应的颜色信号的初级变换标识符pt_idx[compID]得到初级水平变换指定标志pt_hor_flag和初级竖直变换指定标志pt_ver_flag。
在步骤S144中，逆初级变换选择单元132参考初级水平变换集TrSetH和初级水平变换指定标志pt_hor_flag选择被应用为逆初级水平变换IPThor的正交变换的变换类型TrTypeIdxH。
在步骤S145中，逆初级变换选择单元132参考初级竖直变换集TrSetV和初级竖直变换指定标志pt_ver_flag选择被应用为逆初级竖直变换IPTver的正交变换的变换类型TrTypeIdxV。当步骤S145的处理结束时，逆初级变换选择处理结束，并且处理返回到图14。
另外，在步骤S141中，在确定自适应初级变换标志apt_flag[compID]为0(假)的情况下，处理进行到步骤S146。在步骤S146中，逆初级变换选择单元132选择预定的正交变换作为逆初级水平变换IPThor的变换类型TrTypeIdxH(TrTypeIdxH＝预定值)。
在步骤S147中，逆初级变换选择单元132选择预定的正交变换作为逆初级竖直变换IPTver的变换类型TrTypeIdxV(TrTypeIdxV＝预定值)。当步骤S147的处理结束时，逆初级变换选择处理结束，并且处理返回到图14。
也就是说，逆初级变换选择单元132使用根据色度的自适应初级变换标志apt_flag[compID]的值的方法得到逆初级水平变换IPThor的变换类型TrTypeIdxH和逆初级竖直变换IPTver的变换类型TrTypeIdxV。
如上所述，在色度的残差信号示出与亮度的残差信号类似的趋势的情况下，包括在图像解码装置100中的逆变换单元113可以对色度的变换块应用针对亮度选择的逆自适应初级变换。因此，可以对色度的残差信号执行逆初级变换处理，与现有技术相比，具有进一步提高的编码效率。另外，与针对亮度和亮度中的每一个对自适应初级变换标志apt_flag和初级变换标识符pt_idx进行明确地解码的情况相比，可以减少编码和解码的处理量，同时减轻色度的编码效率的劣化。
<修改示例#1>
注意，色度的自适应初级变换标志的得到可以限于预测类型是帧间CU的情况。例如，如下面的表达式(18)所示，可以基于关于与色度的变换块对应的亮度变换块的自适应初级变换标志apt_flag[COMPONENT_Y]和色度的变换块所属的CU(编码单元)的预测类型CuPredMode来得到关于要处理的色度变换块的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)。
if(CuPredMode＝＝MODE_INTER){
apt_flag[compID]＝apt_flag[COMPONENT_Y]
}else{
apt_flag[compID]＝0
}
…(18)
在色度的变换块所属的CU的预测类型CuPredMode是帧间预测(CuPredMode＝＝MODE_INTER)的情况下，例如，基于与色度的变换块对应的亮度的变换块的自适应初级变换标志apt_flag[COMPONENT_Y]来设置关于色度的变换块的自适应初级变换标志apt_flag[compID]。另一方面，在色度的变换块所属的CU的预测类型CuPredMode不是帧间预测(但是是帧内预测)的情况下，关于色度的变换块的自适应初级变换标志apt_flag[compID]的值被设置为0(假)。
将参照图17的流程图描述这样的情况的色度自适应初级变换信息得到处理的流程的示例。该流程图对应于图15的流程图。在该情况下，当开始色度自适应初级变换信息得到处理时，apt_flag得到单元151在步骤S151中确定要处理的变换块所属的CU的预测类型CUPredMode是否是帧间预测(MODE_INTER)。在确定预测类型是帧间预测的情况下，处理进行到步骤S152。
在步骤S152中，如图15的步骤S131的情况，apt_flag得到单元151针对色度的自适应初级变换标志apt_flag[compID]的值设置亮度的自适应初级变换标志apt_flag[COMPONENT_Y]的值。当步骤S152的处理结束时，处理进行到步骤S154。
另外，在步骤S151中，在确定要处理的变换块所属的CU的预测类型CUPredMode为帧内预测的情况下，处理进行到步骤S153。在步骤S153中，apt_flag得到单元151将色度的自适应初级变换标志apt_flag[compID]设置为0(假)。当步骤S153的处理结束时，处理进行到步骤S154。
与图15的步骤S132至步骤S134的处理中的每一个类似地执行步骤S154至步骤S156的处理的每一个。因此，当步骤S155或步骤S156的处理结束时，色度自适应初级变换信息得到处理结束，并且处理返回到图14。
在预测类型是帧内预测的情况下，可能存在帧内预测模式在亮度与色度之间不同的情况。此时，由于亮度的残差信号和色度的残差信号示出不同的趋势，如果将亮度的自适应初级变换信息应用于色度，则存在编码效率劣化的可能性。因此，通过仅在如图17所示执行色度自适应初级变换信息得到处理并且预测类型是帧间预测的情况下将亮度的自适应初级变换信息应用于色度，与图15的情况相比，可以进一步抑制编码效率的降低。
<修改示例#2>
另外，色度的自适应初级变换标志的得到可以限于帧间CU或者帧内CU并且当亮度帧内预测模式是帧内块复制(屏幕内运动补偿)时。例如，如下面的表达式(19)所示，可以基于与色度的变换块相对应的亮度的变换块的自适应初级变换标志apt_flag[COMPONENT_Y]和色度的变换块所属的CU(编码单元)的预测类型CUPredMode以及预测模式信息PInfo来设置要处理的色度的变换块的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)。
if(CuPredMode＝＝MODE_INTER){
apt_flag[compID]＝apt_flag[COMPONENT_Y]
}else if(IntraPredModeC＝＝"IntraBC"){//CuPredMODE＝＝MODE_INTRA
apt_flag[compID]＝apt_flag[COMPONENT_Y]
}else{
apt_flag[compID]＝0
}
…(19)
也就是说，在色度的变换块所属的CU的预测类型CUPredMode是帧间预测的情况下，或者在CU的预测类型是帧内预测并且色度的帧内预测模式IntraPredModeC是帧内块复制(IntraBC)的情况下，基于关于与色度的变换块相对应的亮度的变换块的自适应初级变换标志apt_flag[COMPONENT_Y]来设置关于色度的变换块的自适应初级变换标志apt_flag[compID]。另一方面，在其他情况(在CU的预测类型CUPredMode是帧内预测并且帧内预测模式IntraPredModeC不是帧内块复制的情况)下，关于色度的变换块的自适应初级变换标志apt_flag[compID]的值被设置为0(假)。注意，在亮度和色度的信息包括在相同CU中的情况下，代替色度的帧内预测模式IntraPredModeC，可以使用以上描述的表达式(19)中亮度的帧内预测模式IntraPredModeY来执行条件确定。
将参照图18的流程图描述这样的情况的色度自适应初级变换信息得到处理的流程的示例。该流程图对应于图15的流程图。在该情况下，当开始色度自适应初级变换信息得到处理时，apt_flag得到单元151在步骤S171中确定要处理的变换块所属的CU的预测类型CUPredMode是否是帧间预测(MODE_INTER)。在确定预测类型是帧内预测的情况下，处理进行到步骤S172。
在步骤S172中，apt_flag得到单元151确定色度的帧内预测模式IntraPredModeC是否是帧内块复制(IntraBC)。在确定模式是帧内块复制(IntraBC)的情况下，处理进行到步骤S173。另外，在步骤S171中确定要处理的变换块所属的CU的预测类型CUPredMode是帧间预测(MODE_INTER)，处理进行到步骤S173。
在步骤S173中，如图15的步骤S131的情况，apt_flag得到单元151针对色度的自适应初级变换标志apt_flag[compID]的值设置亮度的自适应初级变换标志apt_flag[COMPONENT_Y]的值。当步骤S173的处理结束时，处理进行到步骤S175。
另外，在步骤S172中确定色度的帧内预测模式IntraPredModeC不是帧内块复制(IntraBC)的情况下，处理进行到步骤S174。在步骤S174中，apt_flag得到单元151将色度的自适应初级变换标志apt_flag[compID]的值设置为0(假)。当步骤S174的处理结束时，处理进行到步骤S175。
与图15的步骤S132至步骤S134的处理中的每一个类似地执行步骤S175至步骤S177的处理中的每一个。因此，当步骤S176或步骤S177的处理结束时，色度自适应初级变换信息得到处理结束，并且处理返回到图14。
在预测类型是帧内预测并且帧内预测模式IntraPredMode是帧内块复制的情况下，亮度的残差和色度的残差的趋势与帧间预测的情况类似。因此，由于在预测类型是帧内预测并且帧内预测模式IntraPredMode是IntraBC的情况下，可以将亮度的自适应初级变换应用于色度，因此与<修改示例#1>相比，可以进一步提高编码效率。
<修改示例#3>
另外，色度的自适应初级变换标志的得到可以限于帧间CU或者帧内CU并且当亮度帧内预测模式等同于色度帧内预测模式时。例如，如下面的表达式(20)所示，可以基于关于与色度的变换块相对应的亮度的变换块的自适应初级变换标志apt_flag[COMPONENT_Y]、色度的变换块所属的CU(编码单元)的预测类型CUPredMode、CU的亮度帧内预测模式IntraPredModeY以及CU的色度帧内模式IntraPredModeC来设置要处理的色度的变换块的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)。
if(CuPredMode＝＝MODE_INTER){
apt_flag[compID]＝apt_flag[COMPONENT_Y]
}else if(IntraPredModeY＝＝IntraPredModeC){//CuPredMode＝＝MODE_INTRA
apt_flag[compID]＝apt_flag[COMPONENT_Y]
}else{
apt_flag[compID]＝0
}
…(20)
也就是说，在色度的变换块所属的CU的预测类型CUPredMode是帧间预测，或者CU的预测类型是帧内预测并且色度的帧内预测模式IntraPredModeC等于亮度的帧内预测模式IntraPredModeY的情况下，基于关于与色度的变换块相对应的亮度的变换块的自适应初级变换标志apt_flag[COMPONENT_Y]来设置色度的变换块的自适应初级变换标志apt_flag[compID]。另一方面，在其他情况下(CU的预测类型CUPredMode是帧内预测并且色度的帧内预测模式不同于亮度的帧内预测模式的情况)，关于色度的变换块的自适应初级变换标志apt_flag[compID]的值被设置为0(假)。
将参照图19的流程图描述这样的情况的色度自适应初级变换信息得到处理的流程的示例。该流程图对应于图15的流程图。在该情况下，当开始色度自适应初级变换信息得到处理时，apt_flag得到单元151在步骤S181中确定要处理的变换块所属的CU的预测类型CUPredMode是否是帧间预测(MODE_INTER)。在确定预测类型是帧内预测的情况下，处理进行到步骤S182。
在步骤S182中，apt_flag得到单元151确定色度的帧内预测模式IntraPredModeC是否等于亮度的帧内预测模式IntraPredModeY。在模式相等的情况下，处理进行到步骤S183。另外，在步骤S182中确定色度的帧内预测模式IntraPredModeC不等于亮度的帧内预测模式IntraPredModeY，处理进行到步骤S184。
与图18的步骤S173至步骤S177的处理中的每一个类似地执行步骤S183至步骤S187的处理中的每一个。因此，当步骤S186或步骤S187的处理结束时，色度自适应初级变换信息得到处理结束，并且处理返回到图14。
在CU的预测类型是帧内预测的情况下，即，亮度和色度具有相等的帧内预测模式，亮度的残差信号和色度的残差信号具有类似的趋势。因此，通过仅在亮度的帧内预测模式具有与色度的帧内预测模式相同的值的情况下将亮度的自适应初级变换信息应用于色度，在预测类型是帧内预测并且亮度的帧内预测模式具有与色度的帧内预测模式相同的值的情况下，可以将亮度的自适应初级变换应用于色度，因此与<修改示例#1>的情况相比可以进一步提高编码效率。
<修改示例#4>
另外，可以将指示是否基于亮度的自适应初级变换设置关于色度的自适应初级变换的信息的标志相加，并且可以使用标志来控制关于色度的自适应初级变换的信息的设置。例如，如下面的表达式(21)所示，可以基于色度自适应初级变换信息推断标志chroma_apt_infer_flag和关于与色度的变换块相对应的亮度的变换块的自适应初级变换标志apt_flag[COMPONENT_Y]来设置关于要处理的色度的变换块的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)，该自适应初级变换信息推断标志指示是否使用与色度的变换块相对应的亮度的变换块的自适应初级变换信息来执行设置(推断)。
if(chroma_apt_info_infer_flag[compID]){
apt_flag[compID]＝apt_flag[COMPONENT_Y]:0
}else{
apt_flag[compID]＝0
}
…(21)
也就是说，在色度自适应初级变换信息推断标志chroma_apt_info_infer_flag[compID]为1(真)的情况下，基于关于色度的变换块的亮度的变换块的自适应初级变换标志apt_flag[COMPONENT_Y]来设置关于色度的变换块的自适应初级变换标志apt_flag[compID]。另一方面，在其他情况下(在色度自适应初级变换信息推断标志chroma_apt_info_infer_flag[compID]为0(假)的情况下)，关于色度的变换块的自适应初级变换标志apt_flag[compID]的值被设置为0(假)。
在图20的A中示出在该情况下TU的语法的示例。每个参数的语义如图20的B所示。另外，图21中示出了包括在图20的A的语法中的残差编码的语法的示例。由解码单元111根据图21所示的语法表对色度自适应初级变换信息推断标志chroma_apt_info_infer_flag进行解码。
也就是说，在颜色信号标识符compID指示色度的情况下，亮度的自适应初级变换标志apt_flag[COMPONENT_Y]为1(真)，与颜色信号标识符compID相对应的颜色信号的变换跳过标志ts_flag[compID]为0(假)，并且变换量化旁路标志flag为0(假)，色度自适应初级变换信息推断标志chroma_apt_info_infer_flag被解码。在其他条件的情况下，色度自适应初级变换信息推断标志chroma_apt_info_infer_flag的值被推断为0。
解码单元111通过执行色度自适应初级变换信息推断标志解码处理来执行图12的步骤S101中的这样的解码。将参照图22的流程图描述色度自适应初级变换信息推断标志解码处理的流程的示例。
当开始色度自适应初级变换信息推断标志解码处理时，解码单元111在步骤S191中确定颜色信号标识符compID是否是亮度。在颜色信号标识符compID被确定为是色度(compID！＝COMPONENT_Y)的情况下，处理进行到步骤S192。在步骤S192中，解码单元111确定亮度的自适应初级变换标志apt_flag[COMPONENT_Y]是否为1(真)。在亮度的自适应初级变换标志apt_flag[COMPONENT_Y]被确定为1(真)的情况下，处理进行到步骤S193。
在步骤S193中，解码单元111确定变换量化旁路标志transquant_bypass_flag是否为1(真)。在变换量化旁路标志被确定为0(假)(！transquant_bypass_flag)的情况下，处理进行到步骤S194。在步骤S194中，解码单元111确定与颜色信号标识符compID相对应的颜色信号的变换跳过标志ts_flag[compID]是否为1(真)。在变换跳过标志ts_flag[compID]被确定为0(假)(！ts_flag[compID])的情况下，处理进行到步骤S195。
在步骤S195中，解码单元111根据编码数据#1的比特串对与颜色信号标识符compID相对应的色度自适应初级变换信息推断标志chroma_apt_info_infer_flag[compID]进行解码，并且输出该结果作为变换信息Tinfo的一部分。当步骤S195的处理结束时，色度自适应初级变换信息推断标志解码处理结束，并且处理返回到图12。
另外，在步骤S191中颜色信号标识符compID是亮度(compID＝＝COMPONENT_Y)的情况下，处理进行到步骤S196。另外，在步骤S192中确定亮度的自适应初级变换标志apt_flag[COMPONENT_Y]为0(假)的情况下(！apt_flag[COMPONENT_Y])，处理进行到步骤S196。另外，在步骤S193中确定变换量化旁路标志为1(真)(transquant_bypass_flag)的情况下，处理进行到步骤S196。另外，在步骤S194中变换跳过标志ts_flag[compID]为1(真)(ts_flag[compID])的情况下，处理进行到步骤S196。
在步骤S196中，解码单元111省略与颜色信号标识符compID相对应的色度自适应初级变换信息推断标志chroma_apt_info_infer_flag[compID]的解码，并且将标志的值设置为0(假)(chroma_apt_info_infer_flag[compID]＝0)。当步骤S196的处理结束时，色度自适应初级变换信息推断标志解码处理结束，并且处理返回到图12。
色度自适应初级变换信息得到单元131使用如上所述解码或设置的色度自适应初级变换信息推断标志chroma_apt_info_infer_flag[compID]来执行色度自适应初级变换信息得到处理。将参照图23的流程图描述该情况的色度自适应初级变换信息得到处理的流程的示例。该流程图对应于图15的流程图。在该情况下，当开始色度自适应初级变换信息得到处理时，apt_flag得到单元151在步骤S201中确定色度自适应初级变换信息推断标志chroma_apt_info_infer_flag[compID]的值是否为真。在确定为真的情况下，处理进行到步骤S202。另外，在步骤S201中确定色度自适应初级变换信息推断标志chroma_apt_info_infer_flag[compID]的值为假的情况下，处理进行到步骤S203。
与图19的步骤S183至步骤S187的处理中的每一个类似地执行步骤S202至步骤S206的处理中的每一个。因此，当步骤S205或步骤S206的处理结束时，色度自适应初级变换信息得到处理结束，并且处理返回到图14。
可以基于关于示出亮度的残差与色度的残差的差异趋势的信号的色度自适应初级变换信息推断标志来明确地控制是否将亮度的自适应初级变换信息应用于色度。因此，可以以比图15的情况更高的效率将自适应初级变换应用于色度，因此可以提高编码效率。
<修改示例#5>
另外，色度的自适应初级变换标志的得到可以限于色度的变换块的短边的大小大于或等于预定阈值的情况。例如，如下面的表达式(22)所示，可以基于关于与色度的变换块相对应的亮度的变换块的自适应初级变换标志apt_flag[COMPONENT_Y]和色度的变换块的短边的大小来设置关于要处理的色度的变换块的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)。
if(min(log2TBWSize,log2TBHSize)>＝TH){
apt_flag[compID]＝apt_flag[COMPONENT_Y]
}else{
apt_flag[compID]＝0
}
…(22)
也就是说，在色度的变换块的短边的大小大于或等于阈值(min(log2TBWSize，log2TBHSize)>＝TH)的情况下，基于关于与色度的变换块相对应的亮度的变换块的自适应初级变换标志apt_flag[COMPONENT_Y]来设置关于色度的变换块的自适应初级变换标志apt_flag[compID]。另一方面，在其他情况(色度变换块的短边的大小小于阈值的情况)下，关于色度的变换块的自适应初级变换标志apt_flag[compID]的值被设置为0(假)。
将参照图24的流程图描述该情况的色度自适应初级变换信息得到处理的流程的示例。该流程图对应于图15的流程图。在该情况下，当开始色度自适应初级变换信息得到处理时，apt_flag得到单元151在步骤S211中确定要处理的变换块的短边的大小(min(log2TBWSize，log2TBHSize))是否大于或等于预定阈值TH。在确定要处理的变换块的短边的大小大于或等于预定阈值(min(log2TBWSize，log2TBHSize)>＝TH)的情况下，处理进行到步骤S212。另外，在步骤S211中确定要处理的变换块的短边的大小小于预定阈值(min(log2TBWSize，log2TBHSize)<TH)的情况下，处理进行到步骤S213。
与图23的步骤S202至步骤S206的处理中的每一个类似地执行步骤S212至步骤S216的处理中的每一个。因此，当步骤S215或步骤S216的处理结束时，色度自适应初级变换信息得到处理结束，并且处理返回到图14。
在色度的变换块的短边的大小小于预定值(例如，4)的情况下，即使对于与短边的大小相等的大小，DST-7/DST-1/DCT-5/DCT-8等的自适应初级变换应用于短边，编码效率的改善范围小。因此，通过在色度的变换块的短边的大小小于预定值的情况下不应用自适应初级变换，可以减小针对比预定值小的大小的关于在自适应初级变换中使用的变换的电路规模，同时减轻编码效率的降低。
<修改示例#6>
另外，可以使用色度的变换块的图片高度和图片宽度的大小来选择逆初级水平变换IPhor和逆初级竖直变换IPver的变换类型。例如，尽管上面已经描述了逆初级变换选择单元132基于图1所示的变换集和变换类型的对应表、初级{水平，竖直}变换集TrSet{H，V}和初级{水平，竖直}变换指定标志pt_{hor，ver}_flag来确定要应用于每个方向的逆变换的正交变换的类型(LUT_TrSetToTrTypeIdx)，但是该技术不限于此。例如，在色度的变换块的情况下，可以参考色度的变换块的大小来进一步确定每个方向的变换类型。
如下面的表达式(23)所示，在图16的步骤S144中，在色度的变换块的图片宽度(这里，图片宽度的对数值log2TBWSize)等于或小于阈值TH的情况下，例如，(逆)初级水平变换的变换类型TrTypeIdxH可以被设置为预定变换类型(DCT-2)，并且在其他情况下，可以基于水平变换集TrSetH和初级水平变换指定标志pt_hor_flag来设置(逆)初级水平变换的变换类型TrTypeIdxH。注意，在表达式(23)中，阈值TH的特定示例可以被设置为例如1或2。注意，在表达式(23)中，变换块的图片宽度的对数值log2TBWSize可以用图片宽度TBW代替。在这种情况下，阈值TH'被设置为1<<TH。
if(compID＝＝COMPONENT_Y){
TrTypeIdxH＝LUT_TrSetToTrTypeIdx[TrSetH][pt_hor_flag]
}else if(log2TBWSize<＝TH){
TrTypeIdxH＝预定值(设置成指示DCT-II的变换类型的值)
}else{
TrTypeIdxH＝LUT_TrSetToTrTypeIdx[TrSetH][pt_hor_flag]
}
…(23)
将参照图25的流程图描述如上所述的在图16的步骤S144中执行的初级水平变换类型得到处理的流程的示例。当开始初级水平变换类型得到处理时，逆初级变换选择单元132在步骤S221中确定处理对象是否是亮度的变换块。在处理对象被确定是色度的变换块的情况下，处理进行到步骤S222。在步骤S222中，逆初级变换选择单元132确定色度的变换块的图片宽度(图片宽度的对数值log2TBWSize)是否等于或小于阈值TH。在确定色度的变换块的图片宽度大于阈值(log2TBWSize>TH)的情况下，处理进行到步骤S223。另外，在步骤S221中确定处理对象是亮度的变换块的情况下，处理进行到步骤S223。
在步骤S223中，逆初级变换选择单元132基于图1所示的变换集和变换类型(LUT_TrSetToTrTypeIdx)的对应表、初级水平变换集TrSetH和初级水平变换指定标志pt_hor_flag设置(逆)初级水平变换的变换类型TrTypeIdxH。当步骤S223的处理结束时，初级水平变换类型得到处理结束，并且处理返回到图16。
另外，在步骤S222中确定色度的变换块的图片宽度等于或小于阈值(log2TBWSize<＝TH)的情况下，处理进行到步骤S224。在步骤S224中，逆初级变换选择单元132将(逆)初级水平变换的变换类型TrTypeIdxH设置为预定值。当步骤S224的处理结束时，初级水平变换类型得到处理结束，并且处理返回到图16。
这也适用于竖直方向。如下面的表达式(24)所示，在图16的步骤S145中，在色度的变换块的图片高度(这里，图片高度的对数值log2TBHSize)等于或小于阈值TH的情况下，例如，预定变换类型(DCT-2)可以被设置为(逆)初级竖直变换的变换类型TrTypeIdxV，并且在其他情况下，可以基于竖直变换集标识符TrSetV和初级竖直变换指定标志pt_ver_flag来设置(逆)初级竖直变换的变换类型TrTypeIdxV。注意，在表达式(24)中，阈值TH的特定示例可以被设置为例如1或2。另外，在表达式(24)中，变换块的图片高度的对数值log2TBHSize可以用图片高度TBH代替。在这种情况下，阈值TH'被设置为1<<TH。
if(compID＝＝COMPONENT_Y){
TrTypeIdxV＝LUT_TrSetToTrTypeIdx[TrSetV][pt_ver_flag]
}else if(log2TBHSize<＝TH){
TrTypeIdxV＝预定值(设置成指示DCT-II的变换类型的值)
}else{
TrTypeIdxV＝LUT_TrSetToTrTypeIdx[TrSetV][pt_ver_flag]
}
…(24)
将参照图26的流程图描述如上所述的在图16的步骤S145中执行的初级竖直变换类型得到处理的流程的示例。当开始初级竖直变换类型得到处理时，逆初级变换选择单元132在步骤S231中确定处理对象是否是亮度的变换块。在处理对象被确定是色度的变换块的情况下，处理进行到步骤S232。在步骤S232中，逆初级变换选择单元132确定色度的变换块的图片高度(图片高度的对数值log2TBHSize)是否等于或小于阈值TH。在确定色度的变换块的图片高度大于阈值(log2TBHSize>TH)的情况下，处理进行到步骤S233。另外，在步骤S231中确定处理对象是亮度的变换块的情况下，处理进行到步骤S233。
在步骤S233中，逆初级变换选择单元132基于图1所示的变换集和变换类型的对应表(LUT_TrSetToTrTypeIdx)、初级竖直变换集TrSetV和初级竖直变换指定标志pt_ver_flag来设置(逆)初级竖直变换的变换类型TrTypeIdxV。当步骤S233的处理结束时，初级竖直变换类型得到处理结束，并且处理返回到图16。
另外，在步骤S232中确定色度的变换块的图片宽度等于或小于阈值(log2TBHSize<＝TH)的情况下，处理进行到步骤S234。在步骤S234中，逆初级变换选择单元132将(逆)初级竖直变换的变换类型TrTypeIdxV设置为预定值。当步骤S234的处理结束时，初级竖直变换类型得到处理结束，并且处理返回到图16。
在色度的变换块的图片宽度(图片高度)小于预定值(例如，4)的情况下，存在作为(逆)初级水平(竖直)变换的DST-7/DST-1/DCT-5/DCT-8和DCT-2之间的编码效率的小的差异。因此，在色度的变换块的图片宽度(图片高度)小于预定值(例如，4)的情况下，通过选择预定的正交变换(DCT-2)作为(逆)初级水平(竖直)变换，可以减小针对比预定值小的尺寸关于在自适应初级变换中使用的正交变换的电路规模。
<3.第二实施方式>
<ts_flag>
注意，尽管在第一实施方式中已经描述了自适应初级变换标志apt_flag和初级变换标识符pt_idx的示例作为关于(逆)正交变换的信息，但是关于(逆)正交变换的信息的细节是任意的并且不限于参数。例如，如图6的表中所示，可以包括指示是否要跳过(逆)正交变换处理的变换跳过标志ts_flag。通过基于亮度的变换跳过标志ts_flag[Y]得到色度(Cb)的变换跳过标志ts_flag[Cb]和色度(Cr)的变换跳过标志ts_flag[Cr]中的每一个，例如，也可以抑制由色度(Cb/Cr)用信号传送的语法的代码量的开销的增加。
将参照图27的表格进一步提供标志的描述。在现有技术中，如第#0行所示，色度的变换跳过标志ts_flag从编码侧传输(用信号传送)至解码侧。如果如上所述不仅对亮度的变换跳过标志ts_flag而且对色度的变换跳过标志ts_flag进行明确编码，则存在代码量增加和编码效率劣化的问题。在该情况下，编码侧还应该执行针对信号(Y，Cb和Cr)中的每一个的变换跳过标志ts_flag的设置和编码，因此还存在处理量增加的问题。另外，解码侧应该对信号(Y，Cb和Cr)中的每一个的变换跳过标志ts_flag进行解码，因此存在处理量增加的问题。
因此，例如，如第#1行所示，始终根据亮度的变换跳过标志ts_flag推断色度的变换跳过标志ts_flag。例如，色度的变换跳过标志ts_flag[compID]的值可以被设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值。以这种方式，可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，因此可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
另外，例如，如第#2行中所示，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的变换跳过标志ts_flag[compID]的值可以被设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在编码块的预测类型是帧内预测的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。以该方式，可以仅在其残差信号示出类似趋势的帧间预测模式的情况下使用亮度的变换跳过标志ts_flag的值，因此可以进一步抑制编码效率的劣化。
此外，例如，如第#3行中所示，在要处理的变换块所属的编码块的预测类型是帧间预测或者是亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的变换跳过标志ts_flag[compID]的值可以被设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。以该方式，可以仅在其残差信号示出类似趋势的预测模式的情况下使用亮度的变换跳过标志ts_flag的值，因此可以进一步抑制编码效率的劣化。
另外，例如，如第#4行中所示，在要处理的变换块所属的编码块的预测类型是帧间预测或者是预测模式是帧内块复制的帧内预测的情况下，色度的变换跳过标志ts_flag[compID]的值可以被设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。以该方式，可以仅在其残差信号示出类似趋势的预测模式的情况下使用亮度的变换跳过标志ts_flag的值，因此可以进一步抑制编码效率的劣化。
另外，例如，如第#5行中所示，在指示是否基于亮度的变换跳过标志ts_flag[COMPONENT_Y]推断色度的变换跳过标志ts_flag[compID]的色度变换跳过信息推断标志chroma_ts_info_infer_flag为1(真)的情况下，色度的变换跳过标志ts_flag[copmID]的值可以被设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在色度变换跳过信息推断标志chroma_ts_info_infer_flag为0(假)的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。以该方式，可以使用色度变换跳过信息推断标志chroma_ts_info_infer_flag明确地控制是否要使用亮度的变换跳过标志的值。因此，可以仅在可以获得足够大的效果的情况下容易地使得使用亮度的变换跳过标志的值，并且因此可以进一步抑制编码效率的劣化。
注意，与图7的情况类似，可以任意组合以上描述的情况中的每一种。以这种方式，可以展示在每种情况下获得的效果。另外，以上描述的情况中的每一种也可以与上面未描述的其他情况组合。
<基本示例1>
如参照图27的第#1行所描述的，可以始终根据亮度的变换跳过标志ts_flag推断色度的变换跳过标志ts_flag。在图28中示出该情况的residual_coding的语法的示例。在该情况下，如图28所示，“compID＝＝COMPONENT_Y”包括在用于用信号传送变换跳过标志ts_flag的条件中。换句话说，在色度(compID！＝COMPONENT_Y)的情况下，使用亮度的变换跳过标志来执行设置，而不用信号传送变换跳过标志ts_flag。
在这样的情况下，解码单元111通过执行变换跳过标志得到处理来设置色度的变换跳过标志ts_flag[compID]。将参照图29的流程图描述变换跳过标志得到处理的流程的示例。
当开始变换跳过标志得到处理时，解码单元111在步骤S241中确定变换跳过标志使能标志ts_enabled_flag是否为真。在确定变换跳过标志使能标志ts_enabled_flag为真的情况下，处理进行到步骤S242。在步骤S242中，解码单元111确定变换量化旁路使能标志transquant_bypass_enabled_flag是否为假。在变换量化旁路使能标志transquant_bypass_enabled_flag为假的情况下，处理进行到步骤S243。在步骤S243中，解码单元111确定要处理的变换块的大小是否等于或小于最大变换跳过块大小。在确定大小等于或小于最大变换跳过块大小的情况下，处理进行到步骤S244。
在步骤S244中，解码单元111确定处理对象是否是色度(compID！＝COMPONENT_Y)。在确定处理对象是色度(compID！＝COMPONENT_Y)的情况下，处理进行到步骤S245。在步骤S245中，解码单元111针对色度的变换跳过标志ts_flag[compID]的值设置亮度的变换跳过标志ts_flag[COMPONENT_Y]的值。当步骤S245的处理结束时，变换跳过标志得到处理结束。
另外，在步骤S244中确定处理对象是亮度(compID＝＝COMPONENT_Y)的情况下，处理进行到步骤S246。由于用信号传送亮度的变换跳过标志ts_flag[compID]，因此在步骤S246中解码单元111对编码数据进行解码，从而获得亮度的变换跳过标志ts_flag[compID]。当步骤S246的处理结束时，变换跳过标志得到处理结束。
注意，在步骤S241中确定变换跳过标志使能标志ts_enabled_flag为假的情况下，在步骤S242中确定变换量化旁路使能标志transquant_bypass_enabled_flag为真的情况下，或者在步骤S243中确定处理对象的变换块的大小大于最大变换跳过块大小的情况下，变换跳过标志得到处理结束。
以这种方式，可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，因此可以抑制编码效率的劣化。此外，可以抑制编码和解码的负荷的增加。
<修改示例1>
如参照图27的第#2行所描述的，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的变换跳过标志ts_flag[compID]的值可以被设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在编码块的预测类型是帧内预测的情况下，可以用信号通知色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。
在图30中示出该情况的residual_coding的语法的示例。在该情况下，如图30所示，“&&(CuPreMode＝＝MODE_INTRA||CuPreMode＝＝MODE_INTER&&compID＝＝COMPONENT_Y)”包括在用于用信号传送变换跳过标志ts_flag的条件中。也就是说，即使预测模式是帧内预测或预测模式是帧间预测，也在亮度的情况下用信号传送变换跳过标志ts_flag。换句话说，仅在色度的预测模式是帧间预测的情况下不用信号传送变换跳过标志ts_flag。即，在该情况下，使用亮度的变换跳过标志ts_flag来设置变换跳过标志ts_flag。
将参照图31的流程图描述该情况的变换跳过标志得到处理的流程的示例。与图29的步骤S241至步骤S244的处理中的每一个类似地执行步骤S251至步骤S254的处理中的每一个。
在步骤S255中，解码单元111还确定预测模式是否是帧间预测。在确定预测模式是帧间预测(CuPredMode＝＝MODE_INTER)的情况下，处理进行到步骤S256。另外，在确定预测模式是帧内预测(CuPredMode＝＝MODE_INTRA)的情况下，处理进行到步骤S257。
与图29的步骤S245的处理类似地执行步骤S256的处理。也就是说，解码单元111将色度的变换跳过标志ts_flag[compID]的值设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值。当步骤S256的处理结束时，变换跳过标志得到处理结束。
另外，与图29的步骤S246的处理类似地执行步骤S257的处理。也就是说，解码单元111对编码数据进行解码，从而获得用信号传送的变换跳过标志ts_flag[compID]。当步骤S257的处理结束时，变换跳过标志得到处理结束。
以这种方式，仅在残差信号的趋势类似的帧间预测模式的情况下使用亮度的变换跳过标志ts_flag的值可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，因此可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
<修改示例2>
如参照图27的第#3行描述的，在要处理的变换块所属的编码块的预测类型是帧间预测或者是亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的变换跳过标志ts_flag[compID]的值可以被设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。
在图32中示出在该情况下residual_coding的语法的示例。如图32所示，“&&(CuPreMode＝＝MODE_INTRA&&compID＝＝COMPONENT_Y||CuPreMode＝＝MODE_INTRA&&compID！＝COMPONENT_Y&&IntraPredModeY！＝IntraPredModeC CuPredMode＝＝MODE_INTER&&compID＝＝COMPONENT_Y)”包括在该情况下用于用信号传送变换跳过标志ts_flag的条件中。也就是说，无论标志是亮度还是色度，在预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，用信号传送变换跳过标志ts_flag。换句话说，仅在预测类型是色度的帧间预测或色度的亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，不用信号传送变换跳过标志ts_flag。也就是说，在该情况下使用亮度的变换跳过标志ts_flag来设置变换跳过标志ts_flag。
将参照图33的流程图描述该情况的变换跳过标志得到处理的流程的示例。与图31的步骤S251至步骤S255的处理中的每一个类似地执行步骤S261至步骤S265的处理中的每一个。
在步骤S265中确定预测类型是帧内预测的情况下，处理进行到步骤S266。在步骤S266中，解码单元111确定亮度的预测模式和色度的预测模式是否彼此匹配。在确定预测模式彼此匹配的情况下(IntraPredModeY＝＝IntraPredModeC)，处理进行到步骤S267。另外，在确定预测模式彼此不匹配的情况下，处理进行到步骤S268。
与图31的步骤S256的处理类似地执行步骤S267的处理。也就是说，解码单元111将色度的变换跳过标志ts_flag[compID]的值设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值。当步骤S267的处理结束时，变换跳过标志得到处理结束。
另外，与图31的步骤S257的处理类似地执行步骤S268的处理。也就是说，解码单元111对编码数据进行解码，从而获得用信号传送的变换跳过标志ts_flag[compID]。当步骤S268的处理结束时，变换跳过标志得到处理结束。
以这种方式，仅在残差信号的趋势类似的预测模式的情况下使用亮度的变换跳过标志ts_flag的值可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，因此可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
<修改示例3>
如参照图27的第#4行描述的，在要处理的变换块所属的编码块的预测类型是帧间预测或者是预测模式是帧内块复制的帧内模式的情况下，色度的变换跳过标志ts_flag[compID]的值可以被设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。
在图34中示出在该情况下residual_coding的语法的示例。如图34所示，“&&(CuPreMode＝＝MODE_INTRA&&compID＝＝COMPONENT_Y||CuPreMode＝＝MODE_INTRA&&compID！＝COMPONENT_Y&&IntraPredModeY！＝IntraBC CuPredMode＝＝MODE_INTER&&compID＝＝COMPONENT_Y)”包括在该情况下用于用信号传送变换跳过标志ts_flag的条件中。也就是说，无论标志是亮度还是色度，在预测类型是预测模式不是帧内块复制的帧内预测的情况下，用信号传送变换跳过标志ts_flag。换句话说，仅在预测类型是色度的帧间预测或者色度的预测模式是帧内块复制的帧内预测的情况下，不用信号传送变换跳过标志ts_flag。也就是说，在该情况下使用亮度的变换跳过标志ts_flag来设置变换跳过标志ts_flag。
将参照图35的流程图描述该情况的变换跳过标志得到处理的流程的示例。与图33的步骤S261至步骤S265的处理中的每一个类似地执行步骤S271至步骤S275的处理中的每一个。
在步骤S275中确定预测类型是帧内预测的情况下，处理进行到步骤S276。在步骤S276中，解码单元111确定预测模式是否是帧内块复制。在确定预测模式是帧内块复制(IntraPredModeY＝＝IntraBC)的情况下，处理进行到步骤S277。另外，在确定预测模式是帧内块复制的情况下，处理进行到步骤S278。
与图33的步骤S267的处理类似地执行步骤S277的处理。也就是说，解码单元111将色度的变换跳过标志ts_flag[compID]的值设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值。当步骤S277的处理结束时，变换跳过标志得到处理结束。
另外，与图33的步骤S268的处理类似地执行步骤S278的处理。也就是说，解码单元111对编码数据进行解码，从而获得用信号传送的变换跳过标志ts_flag[compID]。当步骤S278的处理结束时，变换跳过标志得到处理结束。
以这种方式，仅在残差信号的趋势类似的预测模式的情况下使用亮度的变换跳过标志ts_flag的值可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，因此可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
<修改示例4>
如参照图27的第#5行所描述的，在色度变换跳过信息推断标志chroma_ts_info_infer_flag为1(真)的情况下，色度的变换跳过标志ts_flag[copmID]的值可以被设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在色度变换跳过信息推断标志chroma_ts_info_infer_flag为0(假)的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。
在图36中示出在该情况下的变换单元的语法的示例。如图36所示，设置色度变换跳过信息推断标志chroma_ts_info_infer_flag。另外，图37中示出了residual_coding的语法的示例。如图37所示，“&&compID！＝COMPONENT_Y&&！chroma_ts_info_infer_flag”包括在该情况下用于用信号传送变换跳过标志ts_flag的条件中。也就是说，无论标志是亮度还是色度，在色度变换跳过信息推断标志chroma_ts_info_infer_flag为假的情况下用信号传送变换跳过标志ts_flag。换句话说，仅在标志是色度并且色度变换跳过信息推断标志chroma_ts_info_infer_flag为真的情况下，不用信号传送变换跳过标志ts_flag。也就是说，在该情况下使用亮度的变换跳过标志ts_flag来设置变换跳过标志ts_flag。
将参照图38的流程图描述该情况的变换跳过标志得到处理的流程的示例。与图29的步骤S241至步骤S245的处理中的每一个类似地执行步骤S281至步骤S283的处理中的每一个。
在步骤S284中，解码单元111确定处理对象是否是色度，并且色度变换跳过信息推断标志chroma_ts_info_infer_flag是否为真。在确定标志是色度并且为真的情况下，处理进行到步骤S285。另外，在步骤S284中确定处理对象是亮度或确定色度变换跳过信息推断标志chroma_ts_info_infer_flag为假的情况下，处理进行到步骤S286。
与图29的步骤S245的处理类似地执行步骤S285的处理。也就是说，解码单元111将色度的变换跳过标志ts_flag[compID]的值设置为亮度的变换跳过标志ts_flag[COMPONENT_Y]的值。当步骤S285的处理结束时，变换跳过标志得到处理结束。
另外，与图29的步骤S246的处理类似地执行步骤S286的处理。也就是说，解码单元111对编码数据进行解码，从而获得用信号传送的变换跳过标志ts_flag[compID]。当步骤S286的处理结束时，变换跳过标志得到处理结束。
以该方式，可以使用色度变换跳过信息推断标志chroma_ts_info_infer_flag明确地控制是否要使用亮度的变换跳过标志的值。因此，可以仅在可以获得足够大的效果的情况下容易地使得使用亮度的变换跳过标志的值，并且因此可以进一步抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
<4.第三实施方式>
<st_idx>
另外，作为关于(逆)正交变换的信息，例如，如图6的表中所示，可以包括指示要应用哪个(逆)次级变换的次级变换标识符st_idx。通过基于亮度的次级变换标识符st_idx[Y]得到色度的次级变换标识符chroma_st_idx(Cb和Cr共用)，例如，也可以抑制通过其用信号传送色度(Cb或Cr)的语法的代码量的开销的增加。
将参照图39的表提供进一步的描述。在现有技术中，如第#0行中所指示，色度的次级变换标识符st_idx也从编码侧传输(用信号传送)至解码侧。图40是现有技术中的TU的语法的示例。如图40的语法中所示，也用信号传送色度的次级变换标识符chroma_st_idx。如果不仅针对亮度而且针对色度对次级变换标识符st_idx进行明确地编码，则存在代码量增加编码效率的劣化的问题。另外，在该情况下，编码侧应该针对信号(Y，Cb和Cr)中的每一个执行次级变换标识符st_idx的设置和编码，因此存在处理量增加的问题。另外，解码侧应该针对信号(Y，Cb和Cr)中的每一个对次级变换标识符st_idx进行解码，因此存在处理量增加的问题。
因此，例如，如第#1行中所指示，始终根据亮度的次级变换标识符st_idx推断色度的次级变换标识符chroma_st_idx。例如，色度的次级变换标识符chroma_st_idx的值可以被设置为亮度的次级变换标识符st_idx的值。以这种方式，可以省略色度的次级变换标识符chroma_st_idx的传输(编码和解码)，因此可以减少代码量的开销并且可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
另外，例如，如第#2行中所指示的，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的次级变换标识符chroma_st_idx的值可以被设置为亮度的次级变换标识符st_idx的值，并且在编码块的预测类型是帧内预测的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。以该方式，可以仅在残差信号的趋势类似的帧间预测模式的情况下使用亮度的次级变换标识符st_idx的值，因此可以进一步抑制编码效率的劣化。
此外，例如，如第#3行中所指示的，在要处理的变换块所属的编码块的预测类型是帧间预测或者亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的次级变换标识符chroma_st_idx的值可以被设置为亮度的次级变换标识符st_idx的值，并且在编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。以该方式，可以仅在残差信号的趋势类似的预测模式的情况下使用亮度的次级变换标识符st_idx的值，因此可以进一步抑制编码效率的劣化。
另外，例如，如第#4行中所指示的，在要处理的变换块所属的编码块的预测类型是帧间预测或者预测模式是帧内块复制的帧内预测的情况下，色度的次级变换标识符chroma_st_idx的值可以被设置为亮度的次级变换标识符st_idx的值，并且在编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。以该方式，可以仅在残差信号的趋势类似的预测模式的情况下使用亮度的次级变换标识符st_idx的值，因此可以进一步抑制编码效率的劣化。
另外，例如，如第#5行中所指示的，在指示是否基于亮度的次级变换标识符st_idx来推断色度的次级变换标识符chroma_st_idx的色度次级变换标识符推断标志chroma_st_idx_infer_flag为1(真)的情况下，色度的次级变换标识符st_idx的值可以被设置为亮度的次级变换标识符st_idx的值，并且在色度次级变换标识符推断标志chroma_st_idx_infer_flag为0(假)的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。以该方式，可以使用色度次级变换标识符推断标志chroma_st_idx_infer_flag来明确地控制是否要使用亮度的次级变换标识符st_idx的值。因此，可以仅在可以获得足够大的效果的情况下容易地使得使用亮度的色度次级变换标识符推断标志chroma_st_idx_infer_flag的值，并且因此可以进一步抑制编码效率的劣化。
注意，与图7的情况类似，可以任意组合以上描述的情况中的每一种。以这种方式，可以展示在每种情况下获得的效果。另外，以上描述的情况中的每一种也可以与上面未描述的其他情况组合。
<基本示例1>
如参照图39的第#1行所描述的，可以始终根据亮度的次级变换标识符st_idx推断色度的次级变换标识符chroma_st_idx。在图41中示出在该情况下TU的语法的示例。在该情况下，使用亮度的次级变换标识符st_idx来执行设置，而不用信号传送色度的次级变换标识符chroma_st_idx，如图41所示。
在这样的情况下，解码单元111执行色度的次级变换标识符得到处理，从而设置色度的次级变换标识符chroma_st_idx。将参照图42的流程图描述色度的次级变换标识符得到处理的流程的示例。
当开始色度的次级变换标识符得到处理时，解码单元111在步骤S291中确定次级变换使能标志st_enabled_flag是否为真。在确定次级变换使能标志st_enabled_flag为真的情况下，处理进行到步骤S292。在步骤S292中，解码单元111确定变换量化旁路使能标志transquant_bypass_enabled_flag是否为假。在确定变换量化旁路使能标志transquant_bypass_enabled_flag为假的情况下，处理进行到步骤S293。在步骤S293中，解码单元111确定色度的非零系数的数量(numNonZeroCoeffTH)是否大于或等于预定阈值(stNumZeroCoeffTH)。在确定色度的非零系数的数量大于或等于预定阈值的情况下，处理进行到步骤S294。
在步骤S294中，解码单元111将色度的次级变换标识符chroma_st_idx的值设置为亮度的次级变换标识符st_idx的值。当步骤S294的处理结束时，色度的次级变换标识符得到处理结束。
注意，在步骤S291中确定次级变换使能标志st_enabled_flag为假的情况下，色度的次级变换标识符得到处理结束。另外，在步骤S292中确定变换量化旁路使能标志transquant_bypass_enabled_flag为真的情况下，色度的次级变换标识符得到处理结束。此外，在步骤S293中确定色度的非零系数的数量小于预定阈值的情况下，色度的次级变换标识符得到处理结束。
以该方式，可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，因此可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
<修改示例1>
如参照图39的第#2行所描述的，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的次级变换标识符chroma_st_idx的值可以被设置为亮度的次级变换标识符st_idx的值，并且在编码块的预测类型是帧内预测的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。
在图43中示出在该情况下TU的语法的示例。如图43所示，在该情况下预测模式是帧内预测(CuPreMode＝＝MODE_INTRA)的情况下，用信号传送色度的次级变换标识符chroma_st_idx。另外，在预测模式是帧内预测(CuPreMode＝＝MODE_INTER)的情况下，使用亮度的次级变换标识符st_idx来设置色度的次级变换标识符chroma_st_idx。
将参照图44的流程图描述在该情况下色度的次级变换标识符得到处理的流程的示例。与图42的步骤S291至步骤S293的处理中的每一个类似地执行步骤S301至步骤S303的处理中的没一个。
在步骤S304中，解码单元111还确定预测模式是否是帧内预测。在预测模式是帧间预测(CuPredMode＝＝MODE_INTER)的情况下，处理进行到步骤S305。
与图42的步骤S294的处理类似地执行步骤S305的处理。也就是说，解码单元111将色度的次级变换标识符chroma_st_idx的值设置为亮度的次级变换标识符st_idx的值。当步骤S305的处理结束时，色度的次级变换标识符得到处理结束。
另外，在确定预测模式为帧内预测(CuPredMode＝＝MODE_INTRA)的情况下，处理进行到步骤S306。在步骤S306中，解码单元111对编码数据进行解码，从而获得用信号传送的次级变换标识符st_idx。当步骤S306的处理结束时，色度的次级变换标识符得到处理结束。
以这种方式，仅在残差信号的趋势类似的帧间预测模式的情况下使用亮度的次级变换标识符st_idx的值可以省略色度的次级变换标识符chroma_st_idx的传输(编码和解码)，因此可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
<修改示例2>
如参照图39的第#3行所描述的，在要处理的变换块所属的编码块的预测类型是帧间预测或亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，解码单元111将色度的次级变换标识符chroma_st_idx的值设置为亮度的次级变换标识符st_idx的值。另外，在编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。
在图45中示出在该情况下TU的语法的示例。如图45中所示，在预测模式是帧内预测模式(CuPredMode＝＝MODE_INTRA)并且亮度的预测模式和色度的预测模式彼此不匹配的情况下，用信号传送次级变换标识符chroma_st_idx。在其他情况下，色度的次级变换标识符chroma_st_idx被设置为亮度的次级变换标识符st_idx。
将参照图46的流程图描述在该情况下色度的次级变换标识符得到处理的流程的示例。与图44的步骤S301至步骤S304的处理中的每一个类似地执行步骤S311至步骤S314的处理中的每一个。
在步骤S314中确定预测模式是帧内预测的情况下，处理进行到步骤S315。另外，在确定预测模式为帧间预测的情况下，处理进行到步骤S316。在步骤S315中，解码单元111确定亮度的预测模式和色度的预测模式是否彼此匹配。在预测模式彼此匹配的情况下(IntraPredModeY＝＝IntraPredModeC)，处理进行到步骤S316。另外，在预测模式彼此不匹配的情况下(IntraPredModeY！＝IntraPredModeC)，处理进行到步骤S317。
与图44的步骤S305的处理类似地执行步骤S316的处理。另外，与图44的步骤S306的处理类似地执行步骤S317的处理。
以这种方式，仅在残差信号的趋势类似的预测模式的情况下使用亮度的次级变换标识符st_idx的值可以省略色度的次级变换标识符chroma_st_idx的传输(编码和解码)，因此可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
<修改示例3>
如参照图39的第#4行所描述的，在要处理的变换块所属的编码块的预测类型是帧间预测或预测模式是帧内块复制的帧内预测的情况下，色度的次级变换标识符chroma_st_idx的值被设置为亮度的次级变换标识符st_idx的值。另外，在编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。
在图47中示出在该情况下TU的语法的示例。如图47所示，无论标识符是亮度还是色度，在预测类型是预测模式不是帧内块复制的帧内预测的情况下(CuPredMode＝＝MODE_INTRA&&IntraPredModeY！＝IntraBC)，用信号传送次级变换标识符st_idx。换句话说，仅在标识符是色度并且预测类型是帧间预测的情况下或者在标识符是色度并且预测类型是预测模式是帧内块复制的帧内预测的情况下才用信号传送次级变换标识符st_idx。也就是说，在该情况下，使用亮度的次级变换标识符st_idx来设置次级变换标识符chroma_st_idx。
将参照图48的流程图描述在该情况下色度的次级变换标识符得到处理的流程的示例。与图46的步骤S311至步骤S314的处理中的每一个类似地执行步骤S321至步骤S324的处理中的每一个。
在步骤S324中确定预测类型是帧内预测的情况下，处理进行到步骤S325。另外，在确定预测类型是帧间预测的情况下，处理进行到步骤S326。
在步骤S325中，解码单元111确定预测模式是否是帧内块复制。在确定预测模式是帧内块复制(IntraPredModeY＝＝IntraBC)的情况下，处理进行到步骤S326。另外，在确定预测模式是帧内块复制的情况下，处理进行到步骤S327。
与图46的步骤S316的处理类似地执行步骤S326的处理。也就是说，解码单元111将色度的次级变换标识符chroma_st_idx的值设置为亮度的次级变换标识符st_idx。当步骤S326的处理结束时，色度的次级变换标识符得到处理结束。
另外，与图46的步骤S317的处理类似地执行步骤S327的处理。也就是说，解码单元111可以对编码数据进行解码，从而获得用信号传送的次级变换标识符st_idx。当步骤S327的处理结束时，色度的次级变换标识符得到处理结束。
以这种方式，仅在残差信号的趋势类似的预测模式的情况下使用亮度的次级变换标识符st_idx的值可以省略色度的次级变换标识符st_Idx的传输(编码和解码)，因此可以抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
<修改示例4>
如参照图39的第#5行所描述的，在色度次级变换标识符推断标志chroma_st_idx_infer_flag为1(真)的情况下，色度的次级变换标识符chroma_st_idx的值可以被设置为亮度的次级变换标识符st_idx的值，并且在色度次级变换标识符推断标志chroma_st_idx_infer_flag为0(假)的情况下，可以用信号传送色度的次级变换标识符st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。
在图49中示出在该情况下TU的语法的示例。如图49所示，对是否设置色度次级变换标识符推断标志chroma_st_idx_infer_flag然后根据该值用信号传送色度的次级变换标识符chroma_st_idx或者是否根据亮度的次级变换标识符st_idx获得标识符进行控制。
将参照图50的流程图描述在该情况下色度的次级变换标识符得到处理的流程的示例。与图48的步骤S321至步骤S323的处理中的每一个类似地执行步骤S331至步骤S333的处理中的每一个。
在步骤S334中，解码单元111对色度次级变换标识符推断标志chroma_st_idx_infer_flag进行解码并获取色度次级变换标识符推断标志chroma_st_idx_infer_flag。在步骤S335中，解码单元111确定所获取的色度次级变换标识符推断标志chroma_st_idx_infer_flag是否为真。在确定色度次级变换标识符推断标志chroma_st_idx_infer_flag为真的情况下，处理进行到步骤S336。另外，确定色度次级变换标识符推断标志chroma_st_idx_infer_flag为假，处理进行到步骤S337。
与图48的步骤S326的处理类似地执行步骤S336的处理。也就是说，解码单元111将色度的次级变换标识符chroma_st_idx的值设置为亮度的次级变换标识符st_idx的值。当步骤S336的处理结束时，色度的次级变换标识符得到处理结束。
另外，与图48的步骤S327的处理类似地执行步骤S337的处理。也就是说，解码单元111可以对编码数据进行解码，从而获得用信号传送的色度的次级变换标识符chroma_st_idx。当步骤S337的处理结束时，色度的次级变换标识符得到处理结束。
以这种方式，可以使用色度次级变换标识符推断标志chroma_st_idx_infer_flag明确地控制是否要使用亮度的次级变换标识符st_idx的值。因此，可以仅在获得足够大的效果的情况下容易地使得使用亮度的次级变换标识符的值，并且因此可以进一步抑制编码效率的劣化。此外，还可以抑制编码和解码的负荷的增加。
<5.第四实施方式>
<图像编码装置>
接下来，将描述用于生成如上所述要解码的编码数据的编码。图51是示出作为应用本技术的图像处理装置的一个方面的图像编码装置的主要配置的示例的框图。图51所示的图像编码装置400是与图9的图像解码装置100相对应的图像编码装置，并且通过使用与由图像解码装置100使用的解码方法相对应的编码方法对成像进行编码来生成已经由图像解码装置100解码的编码数据(比特流)。图像编码装置400实现例如由HEVC或JVET提出的技术。
注意，图51示出了诸如处理单元和数据的流程等的主要配置，并且图51未示出整个配置。也就是说，可以存在图像编码装置400中在图51中未示出为块的处理单元或者未由图51中的箭头等指示的处理和数据流。
如图51所示，图像编码装置400具有控制单元411、算术运算单元412、变换单元413、量化单元414、编码单元415、逆量化单元416、逆变换单元417、算术运算单元418、帧存储器419和预测单元420。
控制单元411基于从外部或预先指定的处理单元的块大小将运动图像#2划分为作为处理单元的块(CU、PU、变换块等)，并将与划分块相对应的图像I输入至算术运算单元412。另外，控制单元411例如基于率失真优化(RDO)来确定要提供给每个块的编码参数(报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo等)。确定的编码参数被提供给每个块。参数的细节如下。
报头信息Hinfo被提供给每个块。预测模式信息Pinfo被提供给变换单元413、编码单元415和预测单元420。变换信息Tinfo被提供给编码单元415、变换单元413、量化单元414、逆量化单元416和逆变换单元417。
算术运算单元412接收与作为处理单元的块相对应的图像I的输入和从预测单元420提供的预测图像P，如表达式(25)中所指示的，从图像I中减去预测图像P，因此，得到预测残差D，并将预测残差提供给变换单元413。
D＝I–P…(25)
变换单元413是执行逆变换的处理单元，该逆变换是由逆变换单元417执行的变换处理的逆处理，接收预测残差D、预测模式信息Pinfo和变换信息Tinfo的输入，基于预测模式信息Pinfo和变换信息Tinfo对预测残差D应用变换，从而得到变换系数Coeff，并将变换系数提供给量化单元414。
量化单元414是对逆量化单元416的逆处理，接收变换信息Tinfo和变换系数Coeff的输入，基于变换信息Tinfo对变换系数Coeff进行缩放(量化)，并且向编码单元415提供量化的变换系数即量化的变换系数水平level。
编码单元415是对解码单元111(图9)的逆处理，变换从控制单元411提供的编码参数(报头信息、预测模式信息Pinfo和变换信息Tinfo)，以及根据语法表的定义将从量化单元414提供的量化变换系数水平level变换为语法元素中的每一个的语法值，使语法值中的每一个成为可变长度代码(例如，算术代码)，从而生成比特串。
注意，编码单元415根据量化的变换系数水平level得到残差信息RInfo，使残差信息RInfo成为可变长度代码，并且生成比特串。另外，编码单元415将已经变成可变长度代码的语法元素中的每一个的比特串多路复用，然后生成并输出编码数据#1。
逆量化单元416是与逆量化单元112(图9)类似的处理单元，并且执行与图像编码装置400中的逆量化单元112的处理类似的处理。逆变换单元417是与逆变换单元113(图9)类似的处理单元，并且执行与图像编码装置400中的逆变换单元113d的处理类似的处理。帧存储器419是与帧存储器115(图9)类似的处理单元，并且执行与图像编码装置400中的帧存储器115的处理类似的处理。预测单元420是与预测单元116(图9)类似的处理单元，并且执行与图像编码装置400中的预测单元116的处理类似的处理。
<变换单元>
图52是示出变换单元413的主要配置的示例的框图。如图52所示，变换单元413具有开关431、初级变换单元432和次级变换单元433。
开关431接收预测残差D和与颜色信号标识符compID对应的颜色信号的变换跳过标志ts_flag[compID]的输入，并且在变换跳过标志ts_flag[compID]的值是NO_TS(＝0)的情况(不应用变换跳过的情况)下将预测残差D输出至初级变换单元432。另外，在变换跳过标志ts_flag[compID]的值是2D_TS(＝1)的情况(标志指示应用二维变换跳过的情况)下，跳过初级变换单元432和次级变换单元433，并且输出预测残差D作为变换系数Coeff。
初级变换单元432执行与作为预定变换处理例如正交变换的初级变换有关的处理。初级变换是由图像解码装置100的逆初级变换单元123等执行的逆初级变换的逆处理。初级变换单元432接收以下输入：例如颜色信号标识符compID、亮度的自适应初级变换标志apt_flag[COMPONENT_Y]、亮度的初级变换标识符pt_idx[COMPONENT_Y]、预测模式信息PInfo、变换块的大小(图片宽度的对数值log2TBWSize和图片高度的对数值log2TBHSize)和预测残差D。初级变换单元432参考预测模式信息PInfo、颜色信号标识符compID、亮度的自适应初级变换标志apt_flag[COMPONENT_Y]、亮度的初级变换标识符pt_idx[COMPONENT_Y]和亮度的初级变换标识符pt_idx[COMPONENT_Y]选择由颜色信号标识符compID指定的颜色信号的初级水平变换的变换类型TrTypeIdxH和初级竖直变换的变换类型TrTypeIdxV，对预测残差D执行由初级水平变换类型TrTypeIdxH和变换块的图片宽度log2TBWSize限定的初级水平变换和由初级竖直变换类型TrTypeIdxV和变换块的图片高度log2TBHSize限定的初级竖直变换，从而得到并输出经过初级变换的变换系数Coeff_P(也称为初级变换系数)。
下面将更详细地描述初级变换单元432。如图52所示，初级变换单元432具有色度自适应初级变换信息得到单元441、初级变换选择单元442、初级水平变换单元443和初级竖直变换单元444。
在颜色信号标识符compID指示色度(compID＝＝COMPONENT_Cb或COMPONENT_Cr)的情况下，色度自适应初级变换信息得到单元441使用与色度变换块相对应的亮度变换块的自适应初级变换信息(apt_flag[COMPONENT_Y]，pt_idx[COMPONENT_Y])得到色度的自适应初级变换信息(apt_flag[compID]和pt_idx[compID](compID＝COMPONENT_Cb或COMPONENT_Cr))，并将结果提供给初级变换选择单元442。
<色度自适应初级变换信息得到单元>
图53是示出色度自适应初级变换信息得到单元441的主要配置的示例的功能框图。如图53所示，色度自适应初级变换信息得到单元441具有apt_flag得到单元451和pt_idx得到单元452。apt_flag得到单元451执行与色度的自适应初级变换标志apt_flag的得到有关的处理。另外，pt_idx得到单元452执行与色度的初级变换标识符pt_idx的得到有关的处理。也就是说，apt_flag得到单元451和pt_idx得到单元452中的每一个具有类似的配置，并且对apt_flag得到单元151和pt_idx得到单元152(图11)的处理执行类似的处理。也就是说，色度自适应初级变换信息得到单元441具有类似的配置，并且执行与色度自适应初级变换信息得到单元131的处理类似的处理。因此，色度自适应初级变换信息得到单元441(apt_flag得到单元151和pt_idx得到单元152)的操作的详细描述类似于第一实施方式中的色度自适应初级变换信息得到单元131的操作，因此被省略了。
色度自适应初级变换信息得到单元441可以基于与色度变换块对应的亮度的自适应初级变换信息得到色度变换块的自适应初级变换信息。因此，可以在不对色度变换块的自适应初级变换信息进行编码的情况下减少编码处理量。
初级变换选择单元442接收以下输入：预测模式信息PInfo、颜色信号标识符compID、与颜色信号标识符compID对应的颜色信号的自适应初级变换标志apt_flag[compID]以及与颜色信号标识符compID对应的颜色信号的初级变换标识符pt_idx[compID]。初级变换选择单元442参考预测模式信息PInfo、颜色信号标识符compID、与颜色信号标识符compID对应的颜色信号的自适应初级变换标志apt_flag[compID]以及与颜色信号标识符compID对应的颜色信号的初级变换标识符pt_idx[compID]得到由颜色信号标识符compID指定的颜色信号的初级水平变换的变换类型TrTypeIdxH和初级竖直变换的变换类型TrTypeIdxV。初级变换选择单元442将得到的初级水平变换的变换类型TrTypeIdxH提供给初级水平变换单元443。另外，初级变换选择单元442将得到的初级竖直变换的变换类型TrTypeIdxV提供给初级竖直变换单元444。
注意，初级变换选择单元442的操作基本上类似于图像解码装置100的逆初级变换选择单元132的操作。也就是说，关于第一实施方式中的逆初级变换选择单元132的描述可以是关于通过用初级水平变换PThor代替逆初级水平变换IPThor、用初级竖直变换PTver代替逆初级竖直变换IPTver、以及用初级变换代替逆初级变换的初级变换选择单元442的描述。
初级水平变换单元443针对每个颜色信号的每个变换块接收以下输入：预测残差D、初级水平变换的变换类型TrTypeIdxH以及指示变换块的图片宽度的log2TBWSize(图片宽度的对数值)。初级水平变换单元443对预测残差D执行由变换类型TrTypeIdxH和变换块的图片宽度限定的初级水平变换Phor，并且输出结果作为经过初级水平变换的变换系数Coeff_Phor。
初级竖直变换单元444针对每个颜色信号的每个变换块接收以下输入：经过初级水平变换的变换系数Coeff_Phor、初级竖直变换的变换类型TrTypeIdxV以及指示变换块的图片高度的log2TBHSize(图片高度的对数值)。对经过初级水平变换的变换系数Coeff_Phor执行由变换类型TrTypeIdxV和变换块的图片高度限定的初级竖直变换Pver，并且输出结果作为经过初级变换的变换系数Coeff_P。
如上所述，在颜色信号的残差信号示出与亮度的残差信号类似的趋势的情况下，初级变换单元432可以将针对亮度选择的自适应初级变换应用于色度的变换块。因此，可以以比现有技术更高的编码效率对色度的残差信号执行初级变换处理。
另外，与针对亮度和色度中的每一个对自适应初级变换标志apt_flag和初级变换标识符pt_idx进行明确地解码的情况相比，可以减少编码器的处理量，同时防止针对色度的编码效率的降低。
次级变换单元433执行与作为预定变换处理例如正交变换的次级变换有关的处理。次级变换是由图像解码装置100的逆次级变换单元122等执行的逆次级变换的逆处理。次级变换单元433接收以下输入：例如，次级变换标识符st_idx、指示变换系数的扫描方法的扫描标识符scanIdx和初级变换系数Coeff_P，并且得到并输出经过次级变换的变换系数Coeff(也称为次级变换系数)。更具体地，在次级变换标识符st_idx指示应用次级变换(st_idx>0)的情况下，次级变换单元433对初级变换系数Coeff_P执行与次级变换标识符st_idx对应的次级变换的处理，并且输出经过次级变换的变换系数Coeff_S。
在次级变换标识符st_idx指示不应用次级变换(st_idx＝＝0)的情况下，次级变换单元433跳过次级变换，并且输出经过初级变换的变换系数Coeff_P作为经过次级变换的变换系数Coeff_S。
<图像编码处理的流程>
接下来，将描述如上所述由图像编码装置400执行的处理中的每一个的流程。首先，将参照图54的流程图描述图像编码处理的流程的示例。
当开始图像编码处理时，在步骤S401中，控制单元411执行编码控制处理，并且执行块划分、编码参数的设置等。
在步骤S402中，预测单元420执行预测处理并以最佳预测模式生成预测图像等。例如，在预测处理中，预测单元420执行帧内预测并以最佳帧内预测模式生成预测图像等，并执行帧间预测并以最佳帧间预测模式生成预测图像等，并且基于成本函数值等在模式中选择最佳预测模式。
在步骤S403中，算术运算单元412计算输入图像与在步骤S402的预测处理中选择的最佳模式下的预测图像之间的差。也就是说，算术运算单元412生成输入图像与预测图像之间的预测残差D。如上所述获得的预测残差D的数据量比原始图像数据的数据量减少得多。因此，与没有改变地对图像进行编码的情况相比，可以更加压缩数据量。
在步骤S404中，变换单元413对在步骤S403的处理中生成的预测残差D执行变换处理，并且得到变换系数Coeff。注意，变换处理是对步骤S407的逆变换处理的逆处理和在以上描述的图像解码处理中执行的逆变换处理的逆处理。下面将描述步骤S404的处理的细节。
在步骤S405中，量化单元414通过使用由控制单元411等计算的量化参数来对从步骤S404的处理获得的变换系数Coeff进行量化，并得到量化的变换系数水平level。
在步骤S406中，逆量化单元416使用与步骤S405的量化的特性相对应的特性对从步骤S405的处理生成的量化的变换系数水平level执行逆量化，并得到变换系数Coeff_IQ。
在步骤S407中，逆变换单元417使用与步骤S404的变换处理对应的方法对从步骤S406的处理获得的变换系数Coeff_IQ执行逆变换，并得到预测残差D'。注意，与在以上描述的图像解码处理中执行的逆变换处理类似地执行逆变换处理。
在步骤S408中，算术运算单元418通过将从步骤S402的预测处理获得的预测图像与从步骤S407的处理得到的预测残差D'相加来生成已经局部解码的解码图像。
在步骤S409中，帧存储器419存储从步骤S408的处理获得的已经局部解码的解码图像。
在步骤S410中，编码单元415对从步骤S405的处理获得的量化的变换系数水平level进行编码。例如，编码单元415使用算术编码等对作为关于图像的信息的量化的变换系数水平level进行编码，并生成编码数据。另外，此时，编码单元415对各种编码参数(报头信息Hinfo、预测模式信息Pinfo和变换信息Tinfo)进行编码。此外，编码单元415根据量化的变换系数水平level得到残差信息RInfo，并对残差信息RInfo进行编码。
在步骤S411中，编码单元415放入如上所述生成的各种类型的信息的编码数据，并将该数据作为比特流输出至图像编码装置400的外部。比特流经由例如传输路径或记录介质传输至解码侧。当步骤S411的处理结束时，图像编码处理结束。
<变换处理的流程>
接下来，将参照图55的流程图来描述在图54的步骤S404中执行的变换处理的流程的示例。当开始变换处理时，开关431在步骤S421中确定变换跳过标志ts_flag是否是2D_TS(标志指示二维变换跳过的情况)或变换量化旁路标志transquant_bypass_flag是否为(真)。在确定变换跳过标志ts_flag为2D_TS或者确定变换量化旁路标志为1(真)的情况下，变换处理结束，并且处理返回到图54。在这种情况下，开关431省略正交变换处理(初级变换或次级变换)，并将输入的预测残差D输出至变换单元413的外部(将其提供给量化单元414)作为变换系数Coeff。
另外，在图55的步骤S421中确定变换跳过标志ts_flag不是2D_TS(不指示二维变换跳过)并且确定变换量化旁路标志为0(假)的情况下，处理进行到步骤S422。在这种情况下，开关431将输入的预测残差D提供给初级变换单元432。
初级变换单元432基于由颜色信号标识符compID指定的颜色信号的自适应初级变换信息对预测残差D执行初级变换，并且输出经过初级变换的变换系数Coeff_P。更具体地，在步骤S422中，初级变换单元432识别颜色信号标识符compID是亮度还是色度。在确定颜色信号标识符compID指示色度(compID！＝COMPONENT_Y)的情况下，处理进行到步骤S423。
在步骤S423中，色度自适应初级变换信息得到单元441执行色度自适应初级变换信息得到处理，并且基于色度的变换块的自适应初级变换标志apt_flag[compID](compID＝COMPONET_Cb或COMPONENT_Cr)和与色度的变换块相对应的亮度的变换块的初级变换标识符pt_idx[COMPONENT_Y]得到色度的变换块的初级变换标识符pt_idx[compID]。注意，由于该处理类似于由第一实施方式中描述的图像解码装置100(色度自适应初级变换信息得到单元131)执行的色度自适应初级变换信息得到处理(图15)，因此将省略其描述。换句话说，参照图15的流程图提供的描述也可以应用于由色度自适应初级变换信息得到单元441执行的色度自适应初级变换信息得到处理的描述。
当步骤S423的处理结束时，处理进行到步骤S424。另外，在步骤S422中确定颜色信号标识符compID指示亮度(compID＝＝COMPONENT_Y)的情况下，处理进行到步骤S424。
在步骤S424中，初级变换选择单元442执行初级变换选择处理，参考预测模式信息PInfo、颜色信号标识符compID、与颜色信号标识符compID对应的颜色信号的自适应初级变换标志apt_flag[compID]以及与颜色信号标识符compID对应的颜色信号的初级变换标识符pt_idx[compID]得到由颜色信号标识符compID指定的颜色信号的初级水平变换的变换类型TrTypeIdxH和初级竖直变换的变换类型TrTypeIdxV，并且将变换类型中的每一个输出至初级水平变换单元443和初级竖直变换单元444。
在步骤S425中，初级水平变换单元443针对由颜色信号标识符compID指定的每个变换块对变换块的预测残差D执行由初级水平变换的变换类型TrTypeIdxH和变换块的图片高度限定的初级水平变换Phor，并且输出结果作为经过初级水平变换的变换系数Coeff_Phor。
在步骤S426中，初级竖直变换单元444针对由颜色信号标识符compID指定的每个变换块对经过初级水平变换的变换块的变换系数Coeff_Phor执行由初级竖直变换的变换类型TrTypeIdxV和变换块的图片高度限定的初级竖直变换Pver，并且输出结果作为经过初级变换的变换系数Coeff_P。
在步骤S427中，次级变换单元433基于次级变换标识符st_idx对输入的初级变换系数Coeff_P执行次级变换，并且得到并输出变换系数Coeff。此外，当步骤S427的处理结束时，变换处理结束并且处理返回到图54。
<初级变换选择处理的流程>
接下来，将参考图56的流程图来描述在图55的步骤S424中执行的初级变换选择处理的流程的示例。
在开始初级变换选择处理时，在步骤S431中初级变换选择单元442确定与颜色信号标识符compID对应的颜色信号的自适应初级变换标志apt_flag[compID]是否为1(真)。在确定自适应初级变换标志apt_flag[compID]为1(真)的情况下，处理进行到步骤S432。
在步骤S432中，初级变换选择单元442基于预测模式信息PInfo选择初级竖直变换的变换集TrSetV(初级水平变换集)和初级水平变换的变换集TrSetH(初级竖直变换集)。
在步骤S433中，初级变换选择单元442根据与颜色信号标识符compID对应的颜色信号的初级变换标识符pt_idx[compID]得到初级水平变换指定标志pt_hor_flag和初级竖直变换指定标志pt_ver_flag。
在步骤S434中，初级变换选择单元442参考初级水平变换集TrSetH和初级水平变换指定标志pt_hor_flag，来选择被应用为初级水平变换IPThor的正交变换的变换类型TrTypeIdxH。
在步骤S435中，初级变换选择单元442参考初级竖直变换集TrSetV和初级竖直变换指定标志pt_ver_flag，来选择被应用为逆初级竖直变换IPTver的正交变换的变换类型TrTypeIdxV。当步骤S435的处理结束时，初级变换选择处理结束，并且处理返回到图55。
另外，在步骤S431中，在确定自适应初级变换标志apt_flag[compID]为0(假)的情况下，处理进行到步骤S436。在步骤S436中，初级变换选择单元442选择预定的正交变换作为初级水平变换IPThor的变换类型TrTypeIdxH(TrTypeIdxH＝预定值)。
另外，在步骤S437中，初级变换选择单元442选择预定的正交变换作为初级竖直变换IPTver的变换类型TrTypeIdxV(TrTypeIdxV＝预定值)。当步骤S437的处理结束时，初级变换选择处理结束，并且处理返回到图56。
也就是说，初级变换单元432使用根据色度的自适应初级变换标志apt_flag[compID]的值的方法，得到逆初级水平变换IPThor的变换类型TrTypeIdxH和逆初级竖直变换IPTver的变换类型TrTypeIdxV。
<初级变换信息编码处理的流程>
编码单元415对由变换单元413生成的自适应初级变换标志apt_flag和初级变换标识符pt_idx进行编码。然而，编码单元415可以对亮度的自适应初级变换标志apt_flag和初级变换标识符pt_idx进行编码并且使标志和标识符被用信号传送，并且可以不对色度的自适应初级变换标志apt_flag和初级变换标识符pt_idx进行编码。
将参考图57的流程图描述由编码单元415执行以执行上述编码的初级变换信息编码处理的流程的示例。当开始初级变换信息编码处理时，在步骤S441中编码单元415确定处理对象是否是亮度。在确定处理对象是亮度(compID＝COMPONENT_Y)的情况下，处理进行到步骤S442。在步骤S442中，编码单元415对亮度的自适应初级变换标志apt_flag[COMPONENT_Y]进行编码(使得用信号传送标志)。另外，在步骤S443中编码单元415对亮度的初级变换标识符pt_idx[COMPONENT_Y]进行编码(使得用信号传送标志)。当步骤S443处理结束时，初级变换信息编码处理结束。
注意，在步骤S441中编码单元415确定处理对象是否是色度。在确定处理对象是色度(compID！＝COMPONENT_Y)的情况下，省略步骤S442和步骤S443的处理，即不用信号传送自适应初级变换标志apt_flag和初级变换标识符pt_idx，并且初级变换信息编码处理结束。
通过执行如上所描述的每个处理，在色度的残差信号具有与亮度的残差信号相似的趋势的情况下，可以将针对亮度选择的自适应初级变换应用于色度的变换块。因此，与现有技术相比，可以对色度的残差信号执行具有进一步提高的编码效率的初级变换处理。另外，由于不需要对色度的自适应初级变换信息进行编码，因此与针对亮度和色度中的每一个明确地对自适应初级变换标志apt_flag和初级变换标识符pt_idx进行编码的情况相比，可以更多地减少编码处理的量。
<色度自适应初级变换信息得到处理>
注意，色度自适应初级变换信息得到单元441具有类似的配置，并且执行与色度自适应初级变换信息得到单元131的处理类似的处理。也就是说，类似于色度自适应初级变换信息得到单元131，色度自适应初级变换信息得到单元441可以执行色度自适应初级变换信息得到处理。因此，如图7的表中的第#1行中所指示的，图像编码装置400可以使得能够将自适应初级变换也应用于色度，并且进一步始终根据亮度的自适应初级变换标志apt_flag和初级变换标识符pt_idx来推断色度的自适应初级变换标志apt_flag和初级变换标识符pt_idx，并且因此可以获得与在图像解码装置100的情况下的效果类似的效果。
同样地，如图7的表中的第#2行中所指示的，图像编码装置400可以使得能够将自适应初级变换也应用于色度，还可以例如在要被处理的变换块所属的编码块的预测类型是帧间预测(CuPredMode＝＝MODE_INTER)的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]的值设置成亮度的自适应初级变换标志apt_flag[Y]的值，并且可以在编码块的预测类型是帧内预测的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]设置成0(假)。也就是说，在这种情况下也可以获得与在图像解码装置100的情况下的效果类似的效果。
同样地，如图7的表中的第#3行中所指示的，图像编码装置400可以使得能够将自适应初级变换也应用于色度，并且还可以例如在要被处理的变换块所属的编码块的预测类型是帧间预测或其中针对亮度和色度的预测模式彼此匹配的帧内预测的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]的值设置成亮度的自适应初级变换标志apt_flag[Y]的值，并且可以在编码块的预测类型是其中针对亮度和色度的预测模式彼此不匹配的帧内预测的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]设置成0(假)。也就是说，在这种情况下也可以获得与在图像解码装置100的情况下的效果类似的效果。
同样地，如图7的表中的第#4行中所指示的，图像编码装置400可以使得能够将自适应初级变换也应用于色度，并且还可以例如在要被处理的变换块所属的编码块的预测类型是帧间预测或其预测模式是帧内块复制的帧内预测的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]的值设置成亮度的自适应初级变换标志apt_flag[Y]的值，并且可以在编码块的预测类型是其预测模式不是帧内块复制(IntraBC；也被称为屏幕内运动补偿)的帧内预测的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]的值设置成0(假)。也就是说，在这种情况下也可以获得与在图像解码装置100的情况下的效果类似的效果。
同样地，如图7的表中的第#5行中所指示的，图像编码装置400可以使得能够将自适应初级变换也应用于色度，并且还可以例如在指示是否基于亮度的自适应初级变换标志apt_flag[Y]来推断色度的自适应初级变换标志apt_flag[Cb/Cr]的色度自适应初级变换信息推断标志chroma_apt_info_infer_flag为1(真)的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]设置成亮度的自适应初级变换标志apt_flag[Y]的值，并且可以在色度自适应初级变换信息推断标志chroma_apt_info_infer_flag为0(假)的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]的值设置成0(假)。以这种方式，可以使用色度自适应初级变换信息推断标志chroma_apt_info_infer_flag明确地控制是否要使用亮度的自适应初级变换标志的值。也就是说，在这种情况下也可以获得与在图像解码装置100的情况下的效果类似的效果。
将参考图58的流程图描述用于对色度自适应初级变换信息推断标志chroma_apt_info_infer_flag进行编码的色度自适应初级变换信息推断标志编码处理的流程的示例。
当开始色度自适应初级变换信息推断标志编码处理时，在步骤S451中编码单元415确定处理对象是否是色度。在确定处理对象是色度的情况下，处理进行到步骤S452。在步骤S452中，编码单元415确定亮度的自适应初级变换标志apt_flag[COMPONENT_Y]是否为真。在确定标志为真的情况下，处理进行到步骤S453。在步骤S453中，编码单元415确定变换量化旁路使能标志transquant_bypass_enabled_flag是否为假。在确定标志为假的情况下，处理进行到步骤S454。在步骤S454中，编码单元415确定色度的变换跳过标志ts_flag是否为假。在确定色度的变换跳过标志ts_flag为假的情况下，处理进行到步骤S455。在步骤S455中，编码单元415对色度自适应初级变换信息推断标志chroma_apt_info_infer_flag进行编码。当步骤S455的处理结束时，色度自适应初级变换信息推断标志编码处理结束，并且处理返回到图54。
注意，在图58的步骤S451中确定处理对象是亮度的情况下，色度自适应初级变换信息推断标志编码处理结束，并且处理返回到图54。另外，在步骤S452中确定亮度的自适应初级变换标志apt_flag[COMPONENT_Y]为假的情况下，色度自适应初级变换信息推断标志编码处理结束，并且处理返回到图54。另外，在步骤S453中确定变换量化旁路使能标志transquant_bypass_enabled_flag为真的情况下，色度自适应初级变换信息推断标志编码处理结束，并且处理返回到图54。另外，在步骤S454中确定色度的变换跳过标志ts_flag为真的情况下，色度自适应初级变换信息推断标志编码处理结束，并且处理返回到图54。
另外，如图7的表中的第#6行中所指示的，图像编码装置400可以使得能够将自适应初级变换也应用于色度，并且还可以例如在色度的要被处理的变换块的短侧的大小大于或等于预定阈值的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]的值设置成亮度的自适应初级变换标志apt_flag[Y]的值，并且可以在变换块的短侧的大小小于阈值的情况下，将色度的自适应初级变换标志apt_flag[Cb/Cr]的值设置成0(假)。也就是说，在这种情况下也可以获得与在图像解码装置100的情况下的效果类似的效果。
同样地，如图7的表中的第#7行中所指示的，图像编码装置400可以使得能够将自适应(逆)初级变换也应用于色度，并且还可以例如在色度要被处理的变换块的图片宽度的大小等于或小于预定阈值的情况下，将(逆)初级水平变换的变换类型设置成预定变换类型，并且可以在变换块的图片宽度的大小大于阈值的情况下，基于水平变换集和初级水平变换指定标志来设置(逆)初级水平变换的变换类型。此外，同样地，在色度要被处理的变换块的图片高度的大小等于或小于预定阈值的情况下，可以将(逆)初级竖直变换的变换类型设置成预定变换类型，并且在变换块的图片高度的大小大于阈值的情况下，可以基于竖直变换集和初级竖直变换指定标志来设置(逆)初级竖直变换的变换类型。也就是说，在这种情况下也可以获得与在图像解码装置100的情况下的效果类似的效果。
当然，在图像编码装置400的情况下，也可以任意组合多个上述情况。另外，上述情况中的每一种也可以与上面未描述的其他情况组合。也就是说，在这种情况下也可以获得与在图像解码装置100的情况下的效果类似的效果。
<6.第五实施方式>
<ts_flag>
如在解码的情况下，关于(逆)正交变换的信息可以包括变换跳过标志ts_flag，变换跳过标志ts_flag指示是否要跳过(逆)正交变换处理。通过基于亮度的变换跳过标志ts_flag[Y]得到色度(Cb)的变换跳过标志ts_flag[Cb]和色度(Cr)的变换跳过标志ts_flag[Cr]中的每一个，例如，也可以抑制色度(Cb/Cr)进行信号传送的语法的代码量的开销的增加。
<基本示例1>
例如，如图27中的第#1行所指示的，始终根据亮度的变换跳过标志ts_flag推断色度的变换跳过标志ts_flag。例如，可以将色度的变换跳过标志ts_flag[compID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值。
在这种情况下，控制单元411执行变换跳过标志编码处理，并控制变换跳过标志ts_flag的编码。将参考图59的流程图描述变换跳过标志编码处理的流程的示例。
当开始变换跳过标志编码处理时，与图29的变换跳过标志得到处理的步骤S241至步骤S244的每个处理类似地执行图59的步骤S461至步骤S464的每个处理。
当在步骤S464中确定处理对象是色度(compID！＝COMPONENT_Y)时，处理进行到步骤S465。在步骤S465中，控制单元411将色度的变换跳过标志ts_flag[compID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值(ts_flag[compID]＝＝ts_flag[COMPONENT_Y])。当步骤S465的处理结束时，变换跳过标志编码处理结束。也就是说，在这种情况下，同样在解码侧可以根据亮度的变换跳过标志ts_flag[COMPONENT_Y]得到色度的变换跳过标志ts_flag[compID]，并且因此不用信号传送该标志。
另外，在步骤S464中确定处理对象是亮度(compID＝＝COMPONENT_Y)的情况下，处理进行到步骤S466。在步骤S466中，控制单元411为亮度的变换跳过标志ts_flag[compID]设置任意值。然后，控制单元411将亮度的变换跳过标志ts_flag[compID]提供给编码单元415，以使标志在步骤S467中被编码。当步骤S467的处理结束时，变换跳过标志编码处理结束。也就是说，在这种情况下，用信号传送(发送)亮度的变换跳过标志ts_flag[compID]。解码侧通过使用比特流进行提取和解码来获得亮度的变换跳过标志ts_flag[compID]。
也就是说，在<基本示例1>的情况下，用信号传送亮度的所有变换跳过标志ts_flag，并且不用信号传送色度的所有变换跳过标志ts_flag。以这种方式，可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，并且因此可以抑制编码效率的劣化。另外，还可以抑制编码和解码的负荷的增加。
<修改示例1>
另外，如图27的第#2行，例如，在要被处理的变换块所属的编码块的预测类型是帧间预测的情况下，可以将色度的变换跳过标志ts_flag[compID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在编码块的预测类型是帧内预测的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。
将参考图60的流程图描述该情况下的变换跳过标志编码处理的流程的示例。类似于图31的步骤S251至步骤S255的每个处理，执行步骤S471至步骤S475的每个处理。
也就是说，在步骤S474中确定处理对象是色度并且在步骤S475中预测类型是帧间预测的情况下，处理进行到步骤S476。在步骤S476中，控制单元411将色度的变换跳过标志ts_flag[compID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值(ts_flag[compID]＝＝ts_flag[COMPONENT_Y])。当步骤S476的处理结束时，变换跳过标志编码处理结束。也就是说，在这种情况下，解码侧可以类似地根据亮度的变换跳过标志ts_flag[COMPONENT_Y]得到在色度和帧间预测的情况下的变换块的变换跳过标志ts_flag[compID]，并且因此不用信号传送标志。
另一方面，在步骤S474中确定处理对象是亮度(compID＝＝COMPONENT_Y)的情况下或者在步骤S475中确定预测类型是帧内预测的情况下，处理进行到步骤S477。在步骤S477中，控制单元411为变换跳过标志ts_flag[compID]设置任意值。然后，在步骤S478中，控制单元411将变换跳过标志ts_flag[compID]提供给编码单元415，以使标志被编码。当步骤S478的处理结束时，变换跳过标志编码处理结束。也就是说，在这种情况下，用信号传送(发送)亮度或帧内预测的情况下的变换块的变换跳过标志ts_flag[compID]。解码侧可以通过使用比特流进行提取和解码来获得变换跳过标志ts_flag[compID]。
也就是说，在<修改示例1>的情况下，用信号传送亮度的变换跳过标志ts_flag和其预测模式是帧内预测的变换块的变换跳过标志ts_flag，并且不用用信号传送其预测模式是帧间预测的色度的变换跳过标志ts_flag。以这种方式，仅在其中残差信号的趋势类似的帧间预测模式的情况下，可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，并且因此可以抑制编码效率的劣化。另外，还可以抑制编码和解码的负荷的增加。
<修改示例2>
另外，例如，如图27的第#3行中在要被处理的变换块所属的编码块的预测类型是帧间预测或者是其中针对亮度和色度的预测模式彼此匹配的帧内预测的情况下，可以将色度的变换跳过标志ts_flag[compID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，在编码块的预测类型是其中针对亮度和色度的预测模式彼此不匹配的帧内预测的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。
将参考图61的流程图描述该情况下的变换跳过标志编码处理的流程的示例。类似于图33的步骤S261至步骤S266的每个处理，执行步骤S481至步骤S486的每个处理。
也就是说，在步骤S484中确定处理对象是色度并且在步骤S485中确定预测类型是帧间预测的情况下或者在步骤S485中确定预测类型是帧内预测并且在步骤S486中针对亮度和色度的预测模式彼此匹配的情况下，处理进行到步骤S487。在步骤S487中，控制单元411将色度的变换跳过标志ts_flag[compID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值(ts_flag[compID]＝＝ts_flag[COMPONENT_Y])。当步骤S487的处理结束时，变换跳过标志编码处理结束。也就是说，在这种情况下，同样在其中针对亮度和色度的预测模式彼此匹配的帧内预测的情况下以及在<修改示例1>的条件下，残差信号的趋势是类似的，并且因此，不用信号传送变换跳过标志ts_flag[compID]。
另一方面，在步骤S484中确定处理对象是亮度(compID＝＝COMPONENT_Y)的情况下或者在步骤S486中确定预测类型是其中针对亮度和色度的预测模式彼此不匹配的帧内预测的情况下，处理进行到步骤S488。在步骤S488中，控制单元411为变换跳过标志ts_flag[compID]设置任意值。然后，在步骤S489中，控制单元411将变换跳过标志ts_flag[compID]提供给编码单元415，以使标志被编码。当步骤S489的处理结束时，变换跳过标志编码处理结束。也就是说，在这种情况下，用信号传送(发送)亮度的变换跳过标志ts_flag[compID]和其中针对亮度和色度的预测模式彼此不匹配的帧内预测的变换块的变换跳过标志ts_flag[compID]。解码侧可以通过使用比特流进行提取和解码来获得变换跳过标志ts_flag[compID]。
也就是说，在<修改示例2>的情况下，用信号传送亮度的变换跳过标志ts_flag和其中针对亮度和色度的预测模式彼此不匹配的帧内预测的变换块的变换跳过标志ts_flag，并且不用信号传送其他变换跳过标志ts_flag。以这种方式，仅在其中残差信号的趋势类似的帧间预测模式的情况下，可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，并且因此可以抑制编码效率的劣化。另外，还可以抑制编码和解码的负荷的增加。
<修改示例3>
另外，例如，如图27的第#4行中在要被处理的变换块所属的编码块的预测类型是帧间预测或者是其预测模式是帧内块复制的帧内预测的情况下，可以将色度的变换跳过标志ts_flag[compID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，在编码块的预测类型是其中针对亮度和色度的预测模式彼此不匹配的帧内预测的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。
将参考图62的流程图描述该情况下的变换跳过标志编码处理的流程的示例。类似于图35的步骤S271至步骤S276的每个处理，执行步骤S491至步骤S496的每个处理。
也就是说，在步骤S494中确定处理对象是色度并且在步骤S495中确定预测类型是帧间预测的情况下，或者在步骤S495和步骤S496中确定预测类型是其预测模式是帧内块复制的帧内预测的情况下，处理进行到步骤S497。在步骤S497中，控制单元411将色度的变换跳过标志ts_flag[compID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值(ts_flag[compID]＝＝ts_flag[COMPONENT_Y])。当步骤S497的处理结束时，变换跳过标志编码处理结束。也就是说，在这种情况下，同样在其预测模式是帧内块复制的帧内预测的情况下以及在<修改示例1>的条件下，残差信号的趋势是类似的，并且因此，不用信号传送变换跳过标志ts_flag[compID]。
另一方面，在步骤S494中确定处理对象是亮度(compID＝＝COMPONENT_Y)的情况下或者在步骤S495和步骤S496中确定预测类型是其预测模式不是帧内块复制的帧内预测的情况下，处理进行到步骤S498。在步骤S498中，控制单元411为变换跳过标志ts_flag[compID]设置任意值。然后，在步骤S499中，控制单元411将变换跳过标志ts_flag[compID]提供给编码单元415，以使标志被编码。当步骤S489的处理结束时，变换跳过标志编码处理结束。也就是说，在这种情况下，用信号传送(发送)亮度的变换跳过标志ts_flag[compID]和其预测模式不是帧内块复制的帧内预测的变换块的变换跳过标志ts_flag[compID]。解码侧可以通过使用比特流进行提取和解码来获得变换跳过标志ts_flag[compID]。
也就是说，在<修改示例3>的情况下，用信号传送亮度的变换跳过标志ts_flag和其预测模式不是帧内块复制的帧内预测的变换块的变换跳过标志ts_flag，并且不用信号传送其他变换跳过标志ts_flag。以这种方式，仅在其中残差信号的趋势类似的帧间预测模式的情况下，可以省略色度的变换跳过标志ts_flag的传输(编码和解码)，并且因此可以抑制编码效率的劣化。另外，还可以抑制编码和解码的负荷的增加。
<修改示例4>
另外，例如，如在图27的第#5行中，在色度变换跳过信息推断标志chroma_ts_info_infer_flag为1(真)的情况下，可以将色度的变换跳过标志ts_flag[copmID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值，并且在色度变换跳过信息推断标志chroma_ts_info_infer_flag为0(假)的情况下，可以用信号传送色度的变换跳过标志ts_flag[compID](即，可以根据编码数据对色度的变换跳过标志ts_flag[compID]进行解码)。
将参考图63的流程图描述该情况下的变换跳过标志编码处理的流程的示例。类似于图38的步骤S281至步骤S284的每个处理，执行步骤S501至步骤S504的每个处理。
也就是说，在步骤S504中确定色度变换跳过信息推断标志chroma_ts_info_infer_flag为真的情况下，处理进行到步骤S505。在步骤S505中，控制单元411将色度的变换跳过标志ts_flag[compID]的值设置成亮度的变换跳过标志ts_flag[COMPONENT_Y]的值(ts_flag[compID]＝＝ts_flag[COMPONENT_Y])。当步骤S405的处理结束时，变换跳过标志编码处理结束。
另一方面，在步骤S504中确定色度变换跳过信息推断标志chroma_ts_info_infer_flag为假，处理进行到步骤S506。在步骤S506中，控制单元411为变换跳过标志ts_flag[compID]设置任意值。然后，控制单元411将变换跳过标志ts_flag[compID]提供给编码单元415，并且使标志在步骤S507中被编码。当步骤S507的处理结束时，变换跳过标志编码处理结束。
也就是说，在<修改示例4>的情况下，通过使用色度变换跳过信息推断标志chroma_ts_info_infer_flag来明确地控制是否用信号传送变换跳过标志ts_flag[compID]。因此，可以容易地使得仅在可以获得足够大的效果的情况下使用亮度的变换跳过标志的值，并且因此可以进一步抑制编码效率的劣化。另外，还可以抑制编码和解码的负荷的增加。
<7.第六实施方式>
<st_idx>
如在解码的情况下，指示要应用哪个(逆)次级变换的次级变换标识符st_idx可以被包括在关于(逆)正交变换的信息中。通过基于亮度的次级变换标识符st_idx[Y]得到色度的次级变换标识符chroma_st_idx(Cb和Cr共用)，例如，也可以抑制通过其用信号传送色度(Cb或Cr)的语法的代码量的开销的增加。
<基本示例1>
例如，如图39的第#1行中所指示的，始终可以根据亮度的次级变换标识符st_idx推断色度的次级变换标识符st_idx。例如，可以将色度的次级变换标识符chroma_st_idx设置成亮度的次级变换标识符st_idx的值。
在这种情况下，控制单元411执行色度的次级变换标识符编码处理，并且控制色度的次级变换标识符chroma_st_idx的编码。将参考图64的流程图描述色度的次级变换标识符编码处理的流程的示例。
当开始色度的次级变换标识符编码处理时，类似于图42的色度次级变换标识符编码处理的步骤S291至步骤S294的每个处理，执行图64的步骤S511至步骤S514的每个处理。
以这种方式，可以省略色度的次级变换标识符chroma_ts_flag的传输(编码和解码)，并且因此可以抑制编码效率的劣化。另外，还可以抑制编码和解码的负荷的增加。
<修改示例1>
如参照图39的第#2行所描述的，在要被处理的变换块所属的编码块的预测类型是帧间预测的情况下，可以将色度的次级变换标识符chroma_st_idx的值设置成亮度的次级变换标识符st_idx的值，并且在编码块的预测类型是帧内预测的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。
在这种情况下，控制单元411执行色度的次级变换标识符编码处理，并且控制色度的次级变换标识符chroma_st_idx的编码。将参考图65的流程图描述色度的次级变换标识符编码处理的流程的示例。
当开始色度的次级变换标识符编码处理时，类似于图44的色度次级变换标识符编码处理的步骤S301至步骤S304的每个处理，执行图65的步骤S521至步骤S524的每个处理。
也就是说，在步骤S524中确定预测类型是帧间预测的情况下，处理进行到步骤S525。在步骤S525中，控制单元411将色度的次级变换标识符chroma_st_idx的值设置成亮度的次级变换标识符st_idx的值(chroma_st_idx＝＝st_idx>。当步骤S525的处理结束时，色度的次级变换标识符编码处理结束。也就是说，在这种情况下，解码侧可以类似地根据亮度的次级变换标识符st_idx得到在色度和帧间预测的情况下的变换块的次级变换标识符chroma_st_idx，并且因此不用信号发送标识符。
另一方面，在步骤S524中确定预测类型是帧内预测的情况下，处理进行到步骤S526。在步骤S526中，控制单元411为色度的次级变换标识符chroma_st_idx设置任意值。然后，在步骤S527中，控制单元411将色度的次级变换标识符chroma_st_idx提供给编码单元415，以使得标识符被编码。当步骤S527的处理结束时，色度的次级变换标识符编码处理结束。也就是说，在这种情况下，用信号传送(发送)帧内预测的变换块的色度的次级变换标识符chroma_st_idx。解码侧可以通过使用比特流进行提取和解码来获得色度的次级变换标识符chroma_st_idx。
以这种方式，仅在其中残差信号的趋势类似的帧间预测模式的情况下，可以省略色度的次级变换标识符chroma_st_idx的传输(编码和解码)，并且因此可以抑制编码效率的劣化。另外，还可以抑制编码和解码的负荷的增加。
<修改示例2>
另外，例如，如在图39的第#3行中，在要被处理的变换块所属的编码块的预测类型是帧间预测或其中针对亮度和色度的预测模式彼此匹配的帧内预测的情况下，将色度的次级变换标识符chroma_st_idx的值设置成亮度的次级变换标识符st_idx的值。另外，在编码块的预测类型是其中针对亮度和色度的预测模式彼此不匹配的帧内预测的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。
将参考图66的流程图描述色度的次级变换标识符编码处理的流程的示例。类似于图46的步骤S311至步骤S315的每个处理，执行步骤S531至步骤S535的每个处理。
也就是说，在步骤S534中确定预测类型是帧间预测的情况下，或者在步骤S534和S535中确定预测类型是其中针对亮度和色度的预测模式彼此匹配的帧内预测的情况下，处理进行到步骤S536。在步骤S536中，控制单元411将色度的次级变换标识符chroma_st_idx的值设置成亮度的次级变换标识符st_idx的值(chroma_st_idx＝＝st_idx)。当步骤S536的处理结束时，色度的次级变换标识符编码处理结束。也就是说，同样在其中针对亮度和色度的预测模式彼此匹配的帧内预测的情况下以及在<修改示例1>的条件下，残差信号的趋势是类似的，并且因此，可以不用信号传送色度的次级变换标识符chroma_st_idx。
另一方面，在步骤S535中确定预测类型是其中针对亮度和色度的预测模式彼此不匹配的帧内预测的情况下(compID！＝COMPONENT_Y)，处理进行到步骤S537。在步骤S537中，控制单元411为色度的次级变换标识符chroma_st_idx设置任意值。然后，在步骤S538中，控制单元411将色度的次级变换标识符chroma_st_idx提供给编码单元415，以使得标识符被编码。当步骤S538的处理结束时，色度的次级变换标识符编码处理结束。
以这种方式，仅在其中残差信号的趋势类似的预测模式的情况下，可以省略色度的次级变换标识符chroma_st_idx的传输(编码和解码)，并且因此可以抑制编码效率的劣化。另外，还可以抑制编码和解码的负荷的增加。
<修改示例3>
另外，例如，如在图39的第#4行中，在要被处理的变换块所属的编码块的预测类型是帧间预测或其预测模式是帧内块复制的帧内预测的情况下，将色度的次级变换标识符chroma_st_idx的值设置成亮度的次级变换标识符st_idx的值。另外，在预测类型是其预测模式不是帧内块复制的帧内预测的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。
将参考图67的流程图描述色度的次级变换标识符编码处理的流程的示例。类似于图48的步骤S321至步骤S325的每个处理，执行步骤S541至步骤S545的每个处理。
也就是说，在步骤S544中确定预测类型是帧间预测的情况下，或者在步骤S544和S545中确定预测类型是其预测模式是帧内块复制的帧内预测的情况下，处理进行到步骤S546。在步骤S546中，控制单元411将色度的次级变换标识符chroma_st_idx的值设置成亮度的次级变换标识符st_idx的值(chroma_st_idx＝＝st_idx)。当步骤S546的处理结束时，色度的次级变换标识符编码处理结束。也就是说，同样在其预测模式是帧内块复制的帧内预测的情况下以及在<修改示例1>的条件下，残差信号的趋势是类似的，并且因此，可以不用信号传送色度的次级变换标识符chroma_st_idx。
另一方面，在步骤S545中确定预测类型是其预测模式不是帧内块复制的帧内预测的情况下，处理进行到步骤S547。在步骤S547中，控制单元411为色度的次级变换标识符chroma_st_idx设置任意值。然后，在步骤S548中，控制单元411将色度的次级变换标识符chroma_st_idx提供给编码单元415，以使得标识符被编码。当步骤S548的处理结束时，色度的次级变换标识符编码处理结束。
以这种方式，仅在其中残差信号的趋势类似的预测模式的情况下，可以省略色度的次级变换标识符chroma_st_idx的传输(编码和解码)，并且因此可以抑制编码效率的劣化。另外，还可以抑制编码和解码的负荷的增加。
<修改示例5>
另外，如图39的第#5行中，例如，在色度次级变换标识符推断标志chroma_st_idx_infer_flag为1(真)的情况下，可以将色度的次级变换标识符chroma_st_idx的值设置成亮度的次级变换标识符st_idx的值，并且在色度次级变换标识符推断标志chroma_st_idx_infer_flag为0(假)的情况下，可以用信号传送色度的次级变换标识符chroma_st_idx(即，可以根据编码数据对色度的次级变换标识符chroma_st_idx进行解码)。
将参考图68的流程图描述该情况下的色度次级变换标识符推断标志编码处理的流程的示例。类似于图50的步骤S331至步骤S333的每个处理，执行步骤S551至步骤S553的每个处理。
也就是说，控制单元411在步骤S554中设置色度次级变换标识符推断标志chroma_st_idx_infer_flag，并将色度次级变换标识符推断标志chroma_st_idx_infer_flag提供给编码单元415，以在步骤S555中进行编码。
在步骤S556中，控制单元411确定色度次级变换标识符推断标志chroma_st_idx_infer_flag的值是否为真。在确定色度次级变换标识符推断标志chroma_st_idx_infer_flag的值为真的情况下，处理进行到步骤S557。在步骤S557中，控制单元411将亮度的次级变换标识符st_idx应用于色度的次级变换标识符chroma_st_idx。
另外，在步骤S556中确定色度次级变换标识符推断标志chroma_st_idx_infer_flag的值为假的情况下，处理进行到步骤S558。在步骤S558中，控制单元411设置色度的次级变换标识符chroma_st_idx。另外，在步骤S559中，控制单元411将标识符提供给编码单元415以使标识符被编码。当步骤S559的处理结束时，变换跳过标志编码处理结束。
也就是说，在<修改示例5>的情况下，使用色度次级变换标识符推断标志来明确地控制是否用信号传送色度的次级变换标识符chroma_st_idx。因此，可以容易且可靠地选择更有效的方法。因此，可以进一步抑制编码效率的劣化。另外，还可以控制编码和解码的负荷的增加。
<8.其他>
<信息的数据单元>
通过其设置上述关于图像的信息以及关于图像的编码和解码的信息的数据单元(或目标数据的数据单元)在每种情况下是任意的，并且不限于上述示例。例如，可以在变换单元(TU)、变换块(TB)、预测单元(PU)、预测块(PB)、编码单元(CU)、最大编码单元(LCU)、子块、块、瓦片、片、图片、序列或部件中的每一个中设置信息，或者可以定向数据单元的数据。当然，针对每条信息设置数据单元。也就是说，可以不在相同的数据单元中设置(或定向)所有条信息。注意，信息的存储位置是任意的，并且信息可以存储在上述数据单元的报头、参数集等中。另外，信息可以被存储在多个位置中。
<控制信息>
可以从编码侧向解码侧发送与在上述实施方式中的每一个中描述的本技术有关的控制信息。例如，可以发送控制是否允许(或拒绝)应用上述本技术的控制信息。此外，例如，可以发送指定允许(或拒绝)应用上述本技术的块大小的上限、下限或两者的控制信息。
<编码和解码>
本技术可以应用于执行初级变换和次级变换(逆次级变换和逆初级变换)的任意图像编码和解码。也就是说，变换(逆变换)、量化(逆量化)、编码(解码)、预测等的规范是任意的，并且不限于上述示例。例如，关于变换(逆变换)，可以执行除(逆)初级变换和(逆)次级变换之外的(逆)变换(即，三次或更多次(逆)变换)。另外，编码(解码)可以是可逆方法或不可逆方法。此外，可以省略量化(逆量化)、预测等。另外，可以执行上面未描述的处理例如滤波处理。
<本技术的应用领域>
应用本技术的系统、装置、处理器等可以用在任何领域中，例如交通、医疗、犯罪预防、农业、畜牧业、采矿业、美容、工厂、家用电器、气象、自然监视等。
在一个示例中，本技术适用于传输被提供用于观看的图像的系统和设备。另外，在一个示例中，本技术适用于为交通提供的系统和设备。此外，在一个示例中，本技术适用于为安全性提供的系统和设备。另外，在一个示例中，本技术适用于为体育提供的系统和设备。此外，在一个示例中，本技术适用于为农业提供的系统和设备。另外，在一个示例中，本技术适用于为畜牧业提供的系统和设备。此外，在一个示例中，本技术还适用于用于监测诸如火山、森林、海洋等的自然状况的系统和设备。另外，在一个示例中，本技术适用于用于观测天气、温度、湿度、风速、日照持续时间等的气象观测系统和气象观测设备。此外，在一个示例中，本技术还适用于用于观测诸如鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫、植物等的野生动物生态的系统、设备等。
<应用于多视图图像编码和解码系统>
上述一系列处理可以应用于执行对多视图图像的编码和解码的多视图图像编码和解码系统，多视图图像包括具有多个视图(一个视图)的图像。在这种情况下，本技术可以应用于对每个视图(一个视图)的编码和解码。
<应用于分层图像编码和解码系统>
另外，上述一系列处理可以应用于对分层图像执行编码和解码的分层图像编码(可伸缩编码)和解码系统，分层图像已经被制成多个层(层级)以针对预定参数具有可伸缩性功能。在这种情况下，本技术可以应用于对每个层级(层)的编码和解码。
<计算机>
上述一系列处理可以通过硬件来执行，并且还可以以软件来执行。在通过软件执行一系列处理的情况下，形成软件的程序被安装在计算机中。在本文中，术语计算机包括例如内置在专用硬件中的计算机、能够通过在其上安装各种程序来执行各种功能的计算机例如通用个人计算机等。
图69是示出根据程序执行上述一系列处理的计算机的示例性硬件配置的框图。
在图69中所示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802以及随机存取存储器(RAM)803通过总线804互相连接。
另外，输入/输出接口810也连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。
输入单元811包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元812包括例如显示器、扬声器、输出端子等。存储单元813包括例如硬盘、RAM盘、非易失性存储器等。通信单元814包括例如网络接口。驱动器815驱动可移除介质821例如磁盘、光盘、磁光盘或半导体存储器。
在如上配置的计算机中，例如，通过使CPU 801经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到RAM 803中并执行该程序来执上述一系列处理。另外，在RAM 803中适当地存储CPU 801执行各种处理需要的数据等。
例如，可以通过将由计算机(CPU 801)执行的程序记录在作为封装介质的实例的可移除介质821等上来应用由计算机(CPU 801)执行的程序。在这种情况下，可以通过将可移除介质821插入到驱动器815中来经由输入/输出接口810将程序安装在存储单元813中。
另外，还可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供程序。在这种情况下，程序可以由通信单元814接收并被安装在存储单元813中。
否则，程序还可以预先安装在ROM 802或存储单元813中。
<本技术的应用>
根据上述实施方式的图像编码装置400和图像解码装置100可以应用于例如各种电子装置，例如：用于卫星广播、诸如有线电视的有线广播、分布在因特网上并且通过蜂窝通信分发给终端的发送器或接收器；将图像记录在诸如光盘、磁盘和闪存的介质上的记录设备；或者从上述存储介质再现图像的再现设备。
<第一应用示例：电视接收器>
图70示出了应用上述实施方式的电视装置的示意性配置的示例。电视装置900具有：天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911以及总线912。
调谐器902从经由天线901接收的广播信号中提取期望信道的信号并且对所提取的信号进行解调。然后，调谐器902将从解调获得的编码比特流输出至解复用器903。也就是说，调谐器902扮演电视装置900的传输部的角色，该传输部接收其中图像被编码的编码流。
解复用器903从编码流中解复用要观看的节目的视频流和音频流，并且将解复用后的流输出至解码器904。另外，解复用器903从编码比特流中提取辅助数据例如电子节目指南(EPG)，并且将所提取的数据提供给控制单元910。注意，在编码比特流被加扰的情况下，解复用器903可以执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将从解码处理生成的视频数据输出至视频信号处理单元905。另外，解码器904将从解码处理生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，以使显示单元906显示视频。另外，视频信号处理单元905可以使显示单元906显示经由网络提供的应用画面。此外，视频信号处理单元905可以根据设置对视频数据执行附加处理例如降噪。此外，视频信号处理单元905可以生成诸如菜单、按钮或光标的图形用户界面(GUI)图像，并将生成的图像叠加在输出图像上。
利用从视频信号处理单元905提供的驱动信号来驱动显示单元906，并且显示单元906在显示设备(例如，液晶显示器、等离子显示器或有机电致发光显示器(OELD)等)的视频面上显示视频或图像。
音频信号处理单元907对从解码器904输入的音频数据执行包括D/A转换和放大的再现处理，并使扬声器908输出声音。另外，音频信号处理单元907可以对音频数据执行附加处理例如噪声移除。
外部接口单元909是用于将电视装置900连接至外部装置或网络的接口。例如，经由外部接口单元909接收的视频流或音频流可以由解码器904来解码。换句话说，外部接口单元909还扮演电视装置900的传输部的角色，该传输部接收其中图像被编码的编码流。
控制单元910具有处理器例如CPU以及存储器例如RAM和ROM。存储器存储由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据。存储在存储器中的程序在例如电视装置900启动时由CPU读取并执行。CPU通过响应于例如从用户接口部911输入的操作信号执行程序来控制电视装置900的操作。
用户接口单元911连接至控制单元910。用户接口单元911包括例如通过其用户操作电视装置900的按钮和开关、用于远程控制信号的接收单元等。用户接口单元911通过检测用户经由任何上述组成元件的操作来生成操作信号，并将生成的操作信号输出到控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909和控制单元910彼此连接。
在以这种方式配置的电视装置900中，解码器904还可以包括上述图像解码装置100的功能。换句话说，解码器904可以被配置成根据在上述实施方式中的每一个中描述的方法对编码数据进行解码。以这种方式，电视装置900可以获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
此外，在以这种方式配置的电视装置900中，视频信号处理单元905可以能够对从解码器904提供的图像数据进行编码，并且使获得的编码数据通过外部接口单元909从外部输出到电视装置900。另外，视频信号处理单元905还可以包括上述图像编码装置400的功能。换句话说，视频信号处理单元905可以被配置成根据在上述实施方式中的每一个中描述的方法对从解码器904提供的图像数据进行编码。利用这种布置，电视装置900变得能够进一步减少与参数的传输(传输)有关的传输量。以这种方式，电视装置900可以获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
<第二应用示例：移动电话>
图71示出了应用了上述实施方式的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930和控制单元931相互连接。
移动电话920在各种操作模式下执行诸如发送/接收音频信号、发送/接收电子邮件或图像数据、捕获图像以及以记录记录数据的动作，各种操作模式包括音频呼叫模式、数据通信模式、摄影模式和视频电话模式。
在音频呼叫模式下，将通过麦克风925生成的模拟音频信号提供给音频编解码器923。音频编解码器923然后将模拟信号转换成音频数据，对经转换的音频数据执行A/D转换，以及压缩数据。之后，音频编解码器923将压缩后的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成发送信号。然后，通信单元922通过天线921向基站(未示出)发送所生成的发送信号。此外，通信单元922对通过天线921接收的无线电信号进行放大、执行频率转换，并获取接收信号。之后，通信单元922对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923扩展音频数据、对数据执行D/A转换，并生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供给扬声器924以使扬声器924输出音频。
在数据通信模式下，例如，控制单元931根据通过操作单元932检测到的用户操作来生成构造电子邮件的字符数据。控制单元931还在显示单元930上显示字符。此外，控制单元931根据通过操作单元932从用户获得的用于发送电子邮件数据的指令来生成电子邮件数据，并将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发送信号。然后，通信单元922通过天线921向基站(未示出)发送所生成的发送信号。通信单元922还对通过天线921接收的无线电信号进行放大、执行频率转换，并获取接收信号。之后，通信单元922对接收信号进行解调和解码、恢复电子邮件数据，并且将恢复的电子邮件数据输出至控制单元931。控制单元931在显示单元930上显示电子邮件的内容以及将电子邮件数据提供给记录/再现单元929的存储介质，以使数据被记录在介质中。
记录/再现单元929包括可读且可写的任意存储介质。例如，存储介质可以是内置的存储介质例如RAM或闪存，或者可以是外部安装的存储介质例如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。
在摄影模式下，例如，摄像装置单元926对对象进行成像以生成图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码并将编码流提供给记录/再现单元929的存储介质，以使编码流被记录在介质中。
此外，在图像显示模式下，记录/再现单元929读出记录在存储介质上的编码流，并输出到图像处理单元927。图像处理单元927对从记录/再现单元929输入的编码流进行解码，将图像数据提供给显示单元930，并且使图像被显示。
在视频电话模式下，例如，复用/解复用单元928对通过图像处理单元927编码的视频流与从音频编解码器923输入的音频流进行复用，并且将复用后的流输出至通信单元922。通信单元922对流进行编码和调制以生成发送信号。然后，通信单元922通过天线921向基站(未示出)发送所生成的发送信号。此外，通信单元922对通过天线921接收的无线电信号进行放大、执行频率转换，并获取接收信号。发送信号和接收信号可以包括编码比特流。因此，通信单元922对接收信号进行解调和解码以恢复流，并且将所恢复的流输出至复用/解复用单元928。复用/解复用单元928从输入流中解复用视频流和音频流，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后将视频数据提供给显示单元930，显示单元930显示一系列图像。音频编解码器923扩展音频流并且对音频流执行D/A转换以生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供给扬声器924以使扬声器924输出音频。
在以这种方式配置的移动电话920中，图像处理单元927可以包括例如上述图像编码装置400的功能。换句话说，图像处理单元927可以被配置成根据在上述实施方式中的每一个中描述的方法对图像数据进行编码。以这种方式，移动电话920可以获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
另外，在以这种方式配置的移动电话920中，图像处理单元927可以包括例如上述图像解码装置100的功能。换句话说，图像处理单元927可以被配置成根据在上述实施方式中的每一个中描述的方法对编码数据进行解码。以这种方式，移动电话920可以获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
<第三应用示例：记录/再现装置>
图72示出了应用上述实施方式的记录/再现装置的示意性配置的示例。例如，记录/再现装置940对接收的广播节目的音频数据和视频数据进行编码，并且将数据记录到记录介质中。例如，记录/再现装置940还可以对从其他装置获取的音频数据和视频数据进行编码，并且将数据记录到记录介质中。记录/再现装置940例如响应于用户指令，在监视器和扬声器上再现记录在记录介质中的数据。在这种情况下，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括：调谐器941、外部接口单元942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)单元948、控制单元949以及用户接口单元950。
调谐器941从通过天线(未示出)接收的广播信号中提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调获得的编码比特流输出至选择器946。也就说，调谐器941在记录/再现装置940中扮演传输单元的角色。
外部接口单元942是将记录/再现装置940与外部设备或网络连接的接口。外部接口单元942可以是例如电气和电子工程师协会(IEEE)1394接口、网络接口、USB接口或者闪存接口。例如，通过外部接口单元942接收的视频数据和音频数据被输入至编码器943。也就是说，外部接口单元942在记录/再现装置940中扮演传输单元的角色。
在未对从外部接口单元942输入的视频数据和音频数据编码的情况下，编码器943对视频数据和音频数据进行编码。之后，编码器943将编码比特流输出到选择器946。
HDD单元944将编码比特流、各种程序和其他数据记录到内部硬盘中，在该编码比特流中诸如视频和音频的内容数据被压缩。在对视频和音频进行再现时，HDD单元944从硬盘读取这些数据。
盘驱动器945将数据记录到附接至盘驱动器的记录介质，并从附接至盘驱动器的记录介质读取数据。附接至盘驱动器945的记录介质可以是例如数字通用盘(DVD)(例如DVD-视频、DVD-随机存取存储器(DVD-RAM)、DVD可记录(DVD-R)、DVD-可重写(DVD-RW)、DVD+可记录(DVD+R)或DVD+可重写(DVD+RW))或蓝光(注册商标)盘。
选择器946在记录视频和音频时选择从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出到HDD单元944或盘驱动器945。当再现视频和音频时，另一方面，选择器946将从HDD单元944或盘驱动器945输入的编码比特流输出到解码器947。
解码器947对编码比特流进行解码，以生成视频数据和音频数据。然后，解码器947将生成的视频数据输出到OSD单元948，并将生成的音频数据输出到外部扬声器。
OSD单元948再现从解码器947输入的视频数据并且显示视频。OSD单元948还可以将诸如菜单、按钮或光标的GUI图像叠加到所显示的视频上。
控制单元949包括处理器例如CPU以及存储器例如RAM和ROM。存储器存储由CPU执行的程序以及程序数据。例如，存储在存储器中的程序在记录/再现装置940启动时由CPU读取并执行。通过执行程序，CPU根据从例如用户接口单元950输入的操作信号来控制记录/再现装置940的操作。
用户接口单元950连接至控制单元949。用户接口单元950包括例如用于用户操作记录/再现装置940的按钮和开关以及接收远程控制信号的接收部。用户接口单元950检测通过这些部件的用户操作以生成操作信号，并且将生成的操作信号输出至控制单元949。
在以这种方式配置的记录/再现装置940中，编码器943可以包括例如上述图像编码装置400的功能。换句话说，编码器943可以被配置成根据在上述实施方式中的每一个中描述的方法对图像数据进行编码。以这种方式，记录/再现装置940可以获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
另外，在以这种方式配置的记录/再现装置940中，解码器947可以包括例如上述图像解码装置100的功能。换句话说，解码器947可以被配置成根据在上述实施方式中的每一个中描述的方法对编码数据进行解码。以这种方式，记录/再现装置940可以获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
<第四应用示例：成像装置>
图73示出了应用上述实施方式的成像装置的示意性配置的示例。成像装置960对对象进行成像以生成图像，对图像数据进行编码，并且将数据记录到记录介质中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970、用户接口单元971和总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口单元971连接至控制单元970。总线972将图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970相互连接。
光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像面上形成对象的光学图像。成像单元962包括图像传感器例如电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)，并且执行光电转换以将形成在成像面上的光学图像转换成作为电信号的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种摄像装置信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元963将已经对其执行摄像装置信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码并且生成编码数据。然后，图像处理单元964将生成的编码数据输出至外部接口单元966或介质驱动器968。图像处理单元964还对从外部接口单元966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964所生成的图像数据输出到显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出到显示单元965以使显示单元965显示图像。此外，图像处理单元964可以将从OSD单元969获取的显示数据叠加到输出在显示单元965上的图像上。
OSD单元969生成诸如菜单、按钮或光标的GUI图像，并且将所生成的图像输出至图像处理单元964。
外部接口单元966例如被配置为USB输入/输出端子。例如，外部接口单元966在打印图像时将成像装置960与打印机连接。此外，根据需要将驱动器连接至外部接口单元966。将可移除介质例如磁盘或光盘附接至驱动器，例如使得可以将从可移除介质读取的程序安装至成像装置960。外部接口单元966还可以被配置为连接至网络例如LAN或因特网的网络接口。也就是说，外部接口单元966在成像装置960中扮演传输单元的角色。
附接至介质驱动器968的记录介质可以是可读且可写的任意可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以以固定方式附接至介质驱动器968，例如使得非暂态存储单元例如内置硬盘驱动器或固态驱动器(SSD)被配置。
控制单元970包括处理器例如CPU以及存储器例如RAM和ROM。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序在成像装置960启动时由CPU读取并且然后执行。通过执行程序，CPU根据从例如用户接口单元971输入的操作信号来控制成像装置960的操作。
用户接口单元971连接至控制单元970。用户接口单元971包括例如用于用户操作成像装置960的按钮和开关。用户接口单元971检测通过这些部件的用户操作以生成操作信号，并且将生成的操作信号输出至控制单元970。
在以这种方式配置的成像装置960中，图像处理单元964可以包括例如上述图像编码装置400的功能。换句话说，图像处理单元964可以被配置成根据在上述实施方式中的每一个中描述的方法对图像数据进行编码。以这种方式，成像装置960可以获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
另外，在以这种方式配置的成像装置960中，图像处理单元964可以包括例如上述图像解码装置100的功能。换句话说，图像处理单元964可以被配置成根据在上述实施方式中的每一个中描述的方法对编码数据进行解码。以这种方式，成像装置960可以获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
<第五应用示例：视频装置>
另外，本技术还可以被实现为安装在任何装置中或包括在系统中的装置中的任何类型的配置，任何装置或包括在系统中的装置例如作为大规模集成(LSI)芯片等被提供的处理器、使用多个处理器等的模块、使用多个模块等的单元，进一步向单元添加其他功能的装置(即，装置的一部分的配置)等。图74示出了应用本技术的视频装置的示意性配置的一个示例。
近来，电子设备变得更加多功能化，并且在这样的电子设备的开发和制造中，在实现其部分配置以用于销售、供应等的情况下，不仅将实现方式实施为包括单个功能的配置变得普遍，而且组合包括相关功能的多个配置并将实现方式实施为包括多个功能的单个装置也变得普遍。
图74中示出的视频装置1300是这样的多功能配置，并且是包括与图像编码和解码(一者或两者)有关的功能的设备与包括与这样的功能有关的其他功能的设备的组合。
如图74中所示，视频装置1300包括模块组例如视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314以及包括相关功能的设备例如连接器1321、摄像装置1322和传感器1323。
模块是将几个相互关联的部分功能收集到统一功能中的部分。具体的物理配置可以是任何配置，但是例如，可以想到将具有相应功能的多个处理器、诸如电阻器和电容器的电子电路元件、其他设备等设置并集成到电路板等上。还可以想到将模块与另一模块、处理等组合以创建新模块。
在图74中的示例的情况下，视频模块1311是包括与图像处理有关的功能的配置的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。
处理器是具有预定功能的配置集成到作为片上系统(SoC)的半导体芯片中，并且还可以被指定为例如大规模集成(LSI)芯片等。具有预定功能的配置可以是逻辑电路(硬件配置)，但也可以是CPU、ROM、RAM等以及使用这些执行的程序(软件配置)，并且也可以是两者的组合。例如，处理器可以包括逻辑电路和CPU、ROM、RAM等，并且可以被配置成利用逻辑电路(硬件配置)实现功能的子集，同时利用在CPU上执行的程序(软件配置)实现其他功能。
图74中的应用处理器1331是执行与图像处理有关的应用的处理器。为了实现预定功能，在应用处理器1331中执行的应用不仅能够执行计算处理，而且还能够根据需要控制视频模块1311内部和外部例如视频处理器1332的配置。
视频处理器1332是包括与图像编码/解码(一者或两者)有关的功能的处理器。
宽带调制解调器1333执行数字调制等，以将由通过诸如因特网或公共电话网络的宽带连接执行的有线或无线(或两者)宽带通信发送的数据(数字信号)转换成模拟信号，并且还执行解调以将通过这样的宽带通信接收的模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333处理任何类型的信息，例如由视频处理器1332处理的图像数据、其中图像数据被编码的流、应用程序和设置数据。
RF模块1334是对通过天线发送或接收的射频(RF)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。此外，例如，RF模块1334通过对经由前端模块1314接收的RF信号执行频率转换等来生成基带信号。
注意，如由图74中的虚线1341所示，应用处理器1331和视频处理器1332也可以被统一并被配置为单个处理器。
外部存储器1312是被设置在视频模块1311的外部的包括由视频模块1311使用的存储设备的模块。外部存储器1312的存储设备可以通过任何种类的物理配置来实现，但是由于存储设备通常用于存储大量数据例如以帧为单位的图像数据，因此例如期望实现具有相对便宜且高容量的半导体存储器例如动态随机存取存储器(DRAM)的存储设备。
电力管理模块1313管理和控制向视频模块1311(视频模块1311内的每个配置)的电力供应。
前端模块1314是向RF模块1334提供前端功能(天线侧发送/接收端口上的电路)的模块。如图74中所示，前端模块1314包括例如天线单元1351、滤波器1352和放大单元1353。
天线单元1351包括发送和接收无线信号的天线及其外围配置。天线单元1351将从放大单元1353提供的信号作为无线信号进行发送，并将接收的无线信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对通过天线单元1351接收的RF信号执行滤波处理等，并且将处理后的RF信号提供给RF模块1334。放大单元1353对从RF模块1334提供的RF信号进行放大，并且将该RF信号提供给天线单元1351。
连接器1321是包括与外部连接有关的功能的模块。连接器1321的物理配置可以是任何配置。例如，连接器1321包括：具有除了宽带调制解调器1333支持的通信标准之外的通信功能的配置；外部输入/输出端子等。
例如，连接器1321可以包括：具有符合无线通信标准例如蓝牙(注册商标)、IEEE802.11(例如，无线保真(Wi-Fi(注册商标)))、近场通信(NFC)或红外数据关联(IrDA)的通信功能的模块；以及发送和接收符合标准的信号的天线等。此外，例如，连接器1321可以包括：具有符合有线通信标准例如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标)的通信功能的模块；以及符合标准的端口。此外，例如，连接器1321可以包括发送另一种数据(信号)的功能，例如模拟输入/输出端子。
注意，连接器1321可以包括数据(信号)的传输目的地设备。例如，连接器1321可以包括驱动器(不仅是用于可移除介质的驱动器，而且还包括硬盘、固态驱动器(SSD)、网络附接存储设备(NAS)等)，该驱动器针对记录介质例如磁盘、光盘、磁光盘或半导体存储器读取并写入数据。此外，连接器1321可以包括输出图像和声音的设备(例如监视器和扬声器)。
摄像装置1322是具有对被摄体进行成像并获得被摄体的图像数据的功能的模块。例如，通过摄像装置1322进行成像而获得的图像数据被提供给视频处理器1332并被编码。
例如，传感器1323是具有任何类型的传感器功能的模块，例如声音传感器、超声传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜度传感器、磁场传感器、震动传感器或温度传感器。由传感器1323检测到的数据例如被提供至应用处理器1331并由应用等使用。
上面被描述为模块的配置也可以被实现为处理器，相反，被描述为处理器的配置也可以被实现为模块。
在具有如上配置的视频装置1300中，如稍后描述的本技术可以应用于视频处理器1332。因此，视频装置1300可以被实现为应用本技术的装置。
<视频处理器的示例性配置>
图75示出了应用本技术的视频处理器1332(图74)的示意性配置的一个示例。
在图75中的示例的情况下，视频处理器1332包括：接收视频信号和音频信号的输入并且根据预定方法对这些信号进行编码的功能；以及对编码的视频数据和音频数据进行解码并且再现和输出视频信号和音频信号的功能。
如图75所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。此外，视频处理器1332包括编码/解码引擎1407、视频基本流(ES)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。另外，视频处理器1332包括音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413以及流缓冲器1414。
例如，视频输入处理单元1401获取从连接器1321(图74)等输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403对图像数据执行根据通过视频输出处理单元1404向其进行输出的目的地处的格式放大或缩小图像的处理、与第一图像放大/缩小单元1402类似的格式转换和图像放大/缩小处理等。视频输出处理单元1404对图像数据执行格式转换以转换成模拟信号等，并将结果输出到连接器1321例如作为再现视频信号。
帧存储器1405是用于以下图像数据的存储器：该图像数据由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共享。帧存储器1405例如被实现为半导体存储器例如DRAM。
存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据写在访问管理表1406A中的访问帧存储器1405的访问调度来控制对帧存储器1405的访问并对帧存储器1405进行读写。存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理来更新访问管理表1406A。
编码/解码引擎1407执行对图像数据进行编码的处理以及对视频流进行解码的处理，视频流是其中图像数据被编码的数据。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将编码数据作为视频流相继写入到视频ES缓冲器1408A中。此外，例如，编码/解码引擎1407相继从视频ES缓冲器1408B读取视频流并对视频流进行解码，并将解码数据作为图像数据写入到帧存储器1405。在该编码和解码期间，编码/解码引擎1407使用帧存储器1405作为工作区。此外，编码/解码引擎1407例如在开始对每个宏块的处理的定时处向存储器控制单元1406输出同步信号。
视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲，并且将该视频流提供给复用器(MUX)1412。视频ES缓冲器1408B对从解复用器(DMUX)1413提供的视频流进行缓冲，并且将该视频流提供给编码/解码引擎1407。
音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲，并且将该音频流提供给复用器(MUX)1412。音频ES缓冲器1409B对从解复用器(DMUX)1413提供的音频流进行缓冲，并且将该音频流提供给音频解码器1411。
音频编码器1410例如对例如从连接器1321等输入的音频信号进行数字转换，并例如根据预定方法例如MPEG音频方法或音频码3号(AC3)方法对音频信号进行编码。音频编码器1410将音频流相继写入到音频ES缓冲器1409A，该音频流是其中音频信号被编码的数据。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，例如执行到模拟信号的转换等，并将结果提供给连接器1321等例如作为再现音频信号。
复用器(MUX)1412对视频流与音频流进行复用。复用方法(即，通过复用生成的比特流的格式)可以是任何方法。另外，在该复用期间，复用器(MUX)1412还能够将预定报头信息等添加至比特流。换句话说，复用器(MUX)1412能够通过复用来转换流的格式。例如，通过对视频流和音频流进行复用，复用器(MUX)1412将流转换成传输流，该传输流是用于传输的格式的比特流。此外，例如，通过对视频流和音频流进行复用，复用器(MUX)1412将流转换成用于记录的文件格式的数据(文件数据)。
解复用器(DMUX)1413根据与复用器(MUX)1412进行的复用对应的方法，对其中视频流和音频流被复用的比特流进行解复用。换句话说，解复用器(DMUX)1413从自流缓冲器1414读取的比特流提取视频流和音频流(将视频流和音频流进行分离)。换句话说，解复用器(DMUX)1413能够通过解复用来转换流的格式(复用器(MUX)1412的转换的逆转换)。例如，解复用器(DMUX)1413能够例如经由流缓冲器1414获取从连接器1321、宽带调制解调器1333等提供的传输流，并且通过解复用能够将该传输流转换成视频流和音频流。此外，例如，解复用器(DMUX)1413能够例如经由流缓冲器1414获取通过连接器1321从任何各种类型的记录介质中读出的文件数据，并且通过解复用能够将文件数据转换成视频流和音频流。
流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用器(MUX)1412提供的传输流进行缓冲，并且在预定定时处或者基于外部请求等，将传输流提供给例如连接器1321、宽带调制解调器1333等。
此外，例如，流缓冲器1414对从复用器(MUX)1412提供的文件数据进行缓冲，并且在预定定时处或者基于外部请求等，将文件数据提供给例如连接器1321等，并且使文件数据被记录在任何各种类型的记录介质上。
此外，流缓冲器1414对例如经由连接器1321、宽带调制解调器1333等获取的传输流进行缓冲，并且在预定定时处或者基于外部请求等，将传输流提供给解复用器(DMUX)1413。
另外，流缓冲器1414对从例如连接器1321等中的任何各种类型的记录介质读出的文件数据进行缓冲，并且在预定定时处或者基于外部请求等，将文件数据提供给解复用器(DMUX)1413。
接下来，将描述具有这样的配置的视频处理器1332的操作的示例。例如，在视频输入处理单元1401中将从连接器1321等输入到视频处理器1332中的视频信号转换成预定格式例如4:2:2Y/Cb/Cr格式的数字图像数据，并且将该视频信号相继写入到帧存储器1405。数字图像数据被读出到第一图像放大/缩小单元1402或第二图像放大/缩小单元1403，经受格式转换成为预定格式例如4:2:0Y/Cb/Cr等并经受放大/缩小处理，并且再次被写入到帧存储器1405。图像数据由编码/解码引擎1407编码，并且被作为视频流写入到视频ES缓冲器1408A。
此外，从连接器1321等输入到视频处理器1332的音频信号由音频编码器1410编码，并被作为音频流写入到音频ES缓冲器1409A。
视频ES缓冲器1048A中的视频流和音频ES缓冲器1409A中的音频流由复用器(MUX)1412读出并复用，并且被转换成传输流、文件数据等。由复用器(MUX)1412生成的传输流在流缓冲器1414中进行缓冲，并且然后例如经由连接器1321、宽带调制解调器1333等被输出至外部网络。此外，由复用器(MUX)1412生成的文件数据在流缓冲器1414中进行缓冲，并且然后被输出到例如连接器1321等，并被记录到任何各种类型的记录介质。
此外，例如经由连接器1321、宽带调制解调器1333等从外部网络输入到视频处理器1332中的传输流在流缓冲器1414中进行缓冲，并且然后被解复用器(DMUX)1413解复用。此外，例如从连接器1321等中的任何各种类型的记录介质中读出并被输入到视频处理器1332中的文件数据在流缓冲器1414中进行缓冲，并且然后由解复用器(DMUX)1413解复用。换言之，输入到视频处理器1332中的传输流或文件数据被解复用器(DMUX)1413分离成视频流和音频流。
经由音频ES缓冲器1409B将音频流提供给音频解码器1411并对音频流进行解码，并且再现音频信号。此外，视频流在被写入到视频ES缓冲器1408B之后被编码/解码引擎1407相继读出并解码，并被写入到帧存储器1405。解码的图像数据经受由第二图像放大/缩小单元1403进行的放大/缩小处理，并且被写入到帧存储器1405。随后，解码的图像数据被读出到视频输出处理单元1404，被格式转换成预定格式例如4:2:2Y/Cb/Cr格式，另外被转换成模拟信号，并且再现和输出视频信号。
在将本技术应用于以这种方式配置的视频处理器1332的情况下，将根据上述实施方式的本技术应用于编码/解码引擎1407就足够了。换句话说，例如，编码/解码引擎1407可以包括上述图像编码装置400的功能或者图像解码装置100的功能或者两者。通过这样的布置，视频处理器1332能够获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
注意，在编码/解码引擎1407中，本技术(即，图像编码装置400的功能、图像解码装置100的功能或两者)可以通过硬件例如逻辑电路等来实现，可以通过软件例如嵌入式程序来实现，或者可以通过硬件和软件两者来实现。
<视频处理器的另一示例性配置>
图76示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图76中的示例的情况下，视频处理器1332包括根据预定方法对视频数据进行编码/解码的功能。
更具体地，如图76中所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332包括编解码器引擎1516、存储器接口1517、复用器/解复用器(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511控制视频处理器1332中的每个处理单元例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码引擎1516的操作。
如图76中所示，控制单元1511包括例如主CPU 1531、子CPU 1532和系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的每个处理单元的操作的程序等。主CPU1531根据程序等生成控制信号，以及将控制信号提供给每个处理单元(换句话说，控制每个处理单元的操作)。子CPU 1532承担对主CPU 1531的辅助作用。例如，子CPU 1532执行由主CPU 1531执行的程序等的子处理、子例程等。系统控制器1533控制主CPU 1531和子CPU1532的操作，例如指定要由主CPU 1531和子CPU 1532执行的程序。
显示接口1512在控制单元1511的控制下将图像数据输出到例如连接器1321等。例如，显示接口1512将数字图像数据转换成模拟信号并输出模拟信号，或者将数字图像数据作为再现视频信号直接输出到连接器1321的监视器装置等。
显示引擎1513在控制单元1511的控制下对图像数据执行各种转换处理例如格式转换、大小转换和色域转换，以匹配要显示图像的监视器装置等的硬件规格。
例如，图像处理引擎1514在控制单元1511的控制下对图像数据执行预定图像处理例如滤波处理以改善图像质量。
内部存储器1515是设置在视频处理器1332内部并且由显示引擎1513、图像处理引擎1514以及编解码引擎1516共享的存储器。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514和编解码引擎1516之间交换数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516提供的数据，并且根据需要(例如，响应于请求)，将数据提供给显示引擎1513、图像处理引擎1514或编解码引擎1516。内部存储器1515可以由任何类型的存储设备实现，但由于存储设备通常用于存储少量数据例如以块为单位的图像数据、参数等，因此例如期望实现具有容量相对小(例如，与外部存储器1312相比)但响应速度快的半导体存储器例如静态随机存取存储器(SRAM)的存储设备。
编解码引擎1516执行与图像数据的编码和解码有关的处理。编解码引擎1516支持的编码/解码方法可以是任何方法，并且可以存在一种或多种这样的方法。例如，编解码引擎1516可以被设置有用于多种编码/解码方法的编解码功能，并且可以被配置成通过从多种方法中进行选择来对图像数据进行编码或解码。
在图76所示的示例中，编解码引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551作为与编解码有关的处理的功能块。
MPEG-2视频1541是根据MPEG-2方法对图像数据进行编码和解码的功能块。AVC/H.264 1542是根据AVC方法对图像数据进行编码和解码的功能块。HEVC/H.265 1543是根据HEVC方法对图像数据进行编码和解码的功能块。HEVC/H.265(可伸缩)1544是根据HEVC方法对图像数据进行可伸缩编码和可伸缩解码的功能块。HEVC/H.265(多视图)1545是根据HEVC方法对图像数据进行多视图编码和多视图解码的功能块。
MPEG-DASH 1551是根据通过HTTP的MPEG动态自适应流传输(MPEG-DASH)方法来发送和接收图像数据的功能块。MPEG-DASH是使用超文本传输协议(HTTP)来流传输视频的技术，其一个特征是以段为单位从预先准备的具有不同分辨率等的多组编码数据中选择和传输适当的编码数据。MPEG-DASH 1551执行符合标准的流的生成、传输控制等，而对于图像数据的编码/解码，使用MPEG-2视频1541至HEVC/H.265(多视图)1545。
存储器接口1517是用于外部存储器1312的接口。通过存储器接口1517将从图像处理引擎1514和编解码引擎1516提供的数据提供给外部存储器1312。此外，通过存储器接口1517将从外部存储器1312读出的数据提供给视频处理器1332(图像处理引擎1514或编解码引擎1516)。
复用器/解复用器(MUX DMUX)1518对各种图像相关数据例如编码数据的比特流、图像数据、视频信号等进行复用和解复用。复用/解复用方法可以是任何方法。例如，在进行复用时，复用器/解复用器(MUX DMUX)1518不仅能够将多条数据收集到单条数据中，而且还能够将预定报头信息等添加到数据。此外，在进行解复用时，复用器/解复用器(MUX DMUX)1518不仅能够将单条数据划分成多条数据，而且还能够将预定报头信息等添加到划分的每条数据。换句话说，复用器/解复用器(MUX DMUX)1518能够通过复用/解复用来转换数据的格式。例如，通过对比特流进行复用，复用器/解复用器(MUX DMUX)1518能够将比特流转换成传输流或者转换成用于记录的文件格式的数据(文件数据)，该传输流是用于传输的格式的比特流。显然，通过解复用，逆转换也是可能的。
网络接口1519是用于例如宽带调制解调器1333、连接器1321等的接口。视频接口1520是用于例如连接器1321、摄像装置1322等的接口。
接下来，将描述这样的视频处理器1332的操作的示例。例如，当通过连接器1321、宽带调制解调器1333等从外部网络接收到传输流时，传输流被通过网络接口1519被提供给至复用器/解复用器(MUX DMUX)1518并被解复用，并且由编解码引擎1516进行解码。通过编解码引擎1516的解码而获得的图像数据例如经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，例如通过显示接口1512被提供给连接器1321等，并且在监视器上显示图像。此外，例如，通过编解码引擎1516的解码而获得的图像数据由编解码引擎1516重新编码、由复用器/解复用器(MUX DMUX)1518进行复用并转换成文件数据、例如通过视频接口1520输出到连接器1321等，并被记录在任何各种类型的记录介质上。
此外，例如，通过连接器1321等从未示出的记录介质读出的其中图像数据被编码的编码数据的文件数据通过视频接口1520被提供给复用器/解复用器(MUX DMUX)1518并被解复用，并且由编解码引擎1516进行解码。通过编解码引擎1516的解码而获得的图像数据经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，例如通过显示接口1512被提供给连接器1321等，并且在监视器上显示图像。此外，例如，通过编解码引擎1516的解码而获得的图像数据由编解码引擎1516重新编码、由复用器/解复用器(MUX DMUX)1518进行复用并转换成传输流、例如通过网络接口1519被提供给连接器1321、宽带调制解调器1333等，并且被传输至未示出的其他装置。
注意，例如，通过利用内部存储器1515和外部存储器1312来执行视频处理器1332内的每个处理单元之间的图像数据和其他数据的交换。另外，例如，电力管理模块1313控制向控制单元1511的电力供应。
在将本技术应用于以这种方式配置的视频处理器1332的情况下，将根据上述实施方式的本技术应用于编解码引擎1516就足够了。换句话说，例如，编解码引擎1516包括上述图像编码装置400的功能或者图像解码装置100的功能或者两者就足够了。通过这样的布置，视频处理器1332能够获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
注意，在编解码引擎1516中，本技术(即，图像编码装置400的功能)可以通过硬件例如逻辑电路等来实现，可以通过软件例如嵌入式程序来实现，或者可以通过硬件和软件二者来实现。
以上示出了视频处理器1332的两种配置作为示例，但是视频处理器1332的配置可以是任何配置，并且可以是除了上述两个示例之外的配置。此外，视频处理器1332可以被配置为单个半导体芯片，但是也可以被配置为多个半导体芯片。例如，多个半导体堆叠的三维堆叠的LSI芯片是可能的。此外，由多个LSI芯片实现的配置是可能的。
<应用于装置的示例>
视频装置1300可以嵌入到处理图像数据的各种类型的装置中的任何一种中。例如，可以将视频装置1300嵌入到电视装置900(图70)、移动电话920(图71)、记录/再现装置940(图72)、成像装置960(图73)等中。通过嵌入视频装置1300，装置能够获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
注意，只要包括视频处理器1332，则甚至上述视频装置1300的每个配置的一部分也可以被实现为应用本技术的配置。例如，可以仅将视频处理器1332实现为应用本技术的视频处理器。此外，例如，如上所描述的由虚线1341示出的处理器、视频模块1311等可以被实现为应用本技术的处理器、模块等。此外，例如，还可以将视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314进行组合并将其实现为应用本技术的视频单元1361。利用这些配置中的任何配置，可以获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
换句话说，类似于视频装置1300的情况，只要包括视频处理器1332，则任何类型的配置都可以嵌入到处理图像数据的任何各种类型的装置中。例如，可以将视频处理器1332、由虚线1341表示的处理器、视频模块1311或者视频单元1361嵌入到电视装置900(图70)、移动电话920(图71)、记录/再现装置940(图72)、成像装置960(图73)等中。另外，类似于视频装置1300，通过嵌入应用本技术的任何配置，装置能够获得与上面参照图1至图68描述的每个实施方式的效果类似的效果。
<第六应用示例：网络系统>
另外，本技术还适用于包括多个装置的网络系统。图77示出了应用本技术的网络系统的示意性配置的一个示例。
图77中示出的网络系统1600是其中设备通过网络彼此交换关于图像(移动图像)的信息的系统。网络系统1600的云服务1601是向可通信地连接至云服务1601的终端例如计算机1611、视听(AV)设备1612、移动信息处理终端1613以及物联网(IoT)设备1614提供与图像(移动图像)有关的服务的系统。例如，云服务1601提供如所谓的视频流传输(按需或实况流传输)一样向终端提供图像(移动图像)内容的服务。作为另一示例，云服务1601提供从终端接收和存储图像(移动图像)内容的备份服务。作为另一示例，云服务1601提供调解终端之间的图像(移动图像)内容的交换的服务。
云服务1601的物理配置可以是任何配置。例如，云服务1601可以包括各种服务器，例如保存和管理移动图像的服务器、向终端传送移动图像的服务器、从终端获取移动图像的服务器以及管理用户(终端)和收费的服务器以及任何类型的网络例如因特网或LAN。
例如，计算机1611包括信息处理装置例如个人计算机、服务器或工作站。AV设备1612包括例如图像处理装置例如电视接收器、硬盘记录器、游戏机或摄像装置。移动信息处理终端1613包括例如移动信息处理装置，例如笔记本个人计算机、平板终端、移动电话或智能电话。IoT设备1614包括例如执行图像相关处理的任何对象，例如机器、电器、家具件、一些其他东西、IC标签或卡形设备。这些终端全部都包括通信功能，并且能够与云服务1601连接(建立会话)并与云服务1601交换信息(即，通信)。此外，每个终端还能够与另一终端通信。终端之间的通信可以通过云服务1601来执行，或者可以在不经过云服务1601的情况下执行。
在将本技术应用于如上的网络系统1600并且在终端之间或者在终端与云服务1601之间交换图像(移动图像)数据时，可以如上面在每个实施方式中描述的对图像数据进行编码/解码。换句话说，终端(从计算机1611至IoT设备1614)和云服务1601中的每一个均可以包括上述图像编码装置400和图像解码装置100的功能。以这种方式，交换图像数据的终端(从计算机1611至IoT设备1614)和云服务1601可以获得与上面参考图1至图68描述的每个实施方式的效果类似的效果。
<补充>
注意，在本说明书中，“标志”是用于标识多个状态中的每一个的信息，其不仅包括用于标识两个状态真(1)或假(0)的信息，而且还包括可以标识三个或更多个状态的信息。因此，“标志”可以具有的值可以是例如二进制值1或0或者三元值或更高值。也就是说，构成“标志”的比特数是任意的，并且可以是一个或更多个比特。另外，假设标识信息(还包括标志)具有其中标识信息被包括在比特流中的形式以及其中特定参考信息与标识信息之间的差分信息被包括在比特流中的形式，因此，在本说明书中，“标志”和“标识信息”不仅包括信息，还包括用作参考的差分信息。
另外，可以以任何形式发送或记录关于编码数据(比特流)的各种信息(元数据等)，只要它们与编码数据相关联即可。在本文中使用的术语“与...相关联”在一个示例中意味着当处理一个数据时，可以使用(可链接)其他数据。换言之，彼此相关联的数据可以被收集为一个数据或者可以是单独的数据。在一个示例中，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。另外，在一个示例中，可以将与编码数据(图像)相关联的信息记录在与编码数据(图像)的记录介质不同的记录介质(或相同记录介质的其他记录区域)上。此外，该术语“与...相关联”可以是数据的一部分，而不是整个数据。在一个示例中，可以以诸如多个帧、一个帧、帧内的一部分等的任何单位将图像和与该图像对应的信息彼此相关联。
此外，在本文中，术语“组合”、“复用”、“附加”、“整合”、“包括”、“存储”、“推入”、“放入”、“插入”等意味着将多个对象组合成一个对象，例如将编码数据和元数据组合成单个数据项，这意味着上述“与...相关联”的一种用法。
另外，本技术的实施方式不限于上述实施方式，并且在不偏离本技术的范围的情况下可以做出各种改变和修改。
另外，例如，本技术还可以通过构成装置或系统的任何配置来实现，装置或系统例如作为大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、其中还将其他功能添加到装置的装置等(即，装置的部分配置)。
注意，在本说明书中，系统意味着一组多个组成元件(例如，设备或模块(部件))，而不管所有组成元件是否在同一壳体中。因此，包含在不同壳体中并经由网络连接的多个设备和其中多个模块被包含在一个壳体中的一个设备二者都是系统。
此外，例如，被描述为单个设备(或处理单元)的元件可以被划分并被配置为多个设备(或处理单元)。相反，上面被描述为多个设备(或处理单元)的元件可以被共同配置为单个设备(或处理单元)。此外，可以将除上述元件之外的元件添加到每个设备(或处理单元)的配置。此外，给定设备(或处理单元)的配置的一部分可以包括在另一设备(或另一处理单元)的配置中，只要系统的配置或操作作为整体基本相同即可。
另外，例如，本技术可以采用云计算的配置，云计算通过经由网络由多个设备分配和共享一个功能来执行处理。
另外，例如，以上描述的程序可以在任何设备中执行。在这种情况下，如果设备具有必要的功能(功能块等)并且可以获得必要的信息就足够了。
另外，例如，由上述流程图描述的每个步骤可以由一个设备执行或者通过被分配给多个设备来执行。此外，在一个步骤中包括多个处理的情况下，该一个步骤中包括的多个处理可以由一个设备执行或者通过被分配给多个设备来执行。换句话说，还可以执行一个步骤中包括的多个处理作为多个步骤的处理。相反，可以在一个步骤中共同执行被描述为多个步骤的处理。
注意，在由计算机执行的程序中，描述程序的步骤中的处理可以按照本说明书中描述的顺序按时间顺序来执行，或者可以同时执行，或者在必要时刻例如在进行呼叫时单独执行。换句话说，除非出现矛盾，否则可以以与上述顺序不同的顺序执行步骤中的处理。此外，描述程序的步骤中的处理可以与另一程序的处理同时来执行，或者可以与另一程序的处理组合来执行。
注意，除非出现矛盾，否则可以彼此独立地单独执行本说明书中描述的多种本技术。当然，可以组合执行任何多种本技术。在一个示例中，任何实施当时中描述的本技术的一部分或全部可以与另一实施方式中描述的本技术的一部分或全部组合来执行。另外，上述本技术的任何一部分或全部可以与上面未描述的另一种技术组合来执行。
另外，本技术还可以按如下进行配置。
(1)
一种图像处理装置，包括：
逆正交变换单元，被配置成使用基于关于亮度的逆正交变换的信息得到的关于色度的逆正交变换的信息来执行色度的逆正交变换。
(2)
根据(1)所述的图像处理装置，其中，关于逆正交变换的信息包括自适应初级变换标志，所述自适应初级变换标志指示是否将从多个不同的逆正交变换中自适应地选择一个变换并且使用所选择的变换作为逆初级变换的自适应逆初级变换应用于要处理的变换块。
(3)
根据(2)所述的图像处理装置，其中，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值。
(4)
根据(3)所述的图像处理装置，其中，关于逆正交变换的信息包括初级变换标识符，所述初级变换标识符指示哪个逆初级变换将被应用于竖直方向上和水平方向上的逆初级变换。
(5)
根据(4)所述的图像处理装置，其中，在色度的自适应初级变换标志为真的情况下，色度的初级变换标识符的值被设置为亮度的初级变换标识符的值，并且在色度的所述自适应初级变换标志为假的情况下，色度的初级变换标识符的值被设置为预定值。
(6)
根据(5)所述的图像处理装置，其中，所述逆正交变换单元执行所述逆初级变换作为所述逆正交变换。
(7)
根据(6)所述的图像处理装置，其中，所述逆正交变换单元执行作为水平方向上的逆初级变换的逆初级水平变换和作为竖直方向上的逆初级变换的逆初级竖直变换作为所述逆正交变换。
(8)
根据(7)所述的图像处理装置，其中，色度的所述逆初级水平变换的变换类型和色度的逆初级竖直变换的变换类型各自使用根据色度的自适应初级变换标志的值的方法得到。
(9)
根据(8)所述的图像处理装置，其中，在色度的所述自适应初级变换标志为真的情况下，
基于预测模式信息选择所述逆初级水平变换的变换集和所述逆初级竖直变换的变换集，
根据色度的所述初级变换标识符得到初级水平变换指定标志和初级竖直变换标志，
基于所述初级水平变换集和所述初级水平变换指定标志选择色度的所述逆初级水平变换的变换类型，以及
基于所述初级竖直变换集和所述初级竖直变换指定标志选择色度的所述逆初级竖直变换的变换类型。
(10)
根据(8)或(9)所述的图像处理装置，其中，在色度的所述自适应初级变换标志为假的情况下，选择预定的变换类型作为色度的所述逆初级水平变换的变换类型，并且选择预定的变换类型作为色度的所述逆初级竖直变换的变换类型。
(11)
根据(2)至(10)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述编码块的预测类型是帧内预测的情况下，所述标志被设置为假。
(12)
根据(2)至(11)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者所述预测模式是帧内块复制的帧内预测的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，所述标志被设置为假。
(13)
根据(2)至(12)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况或者所述预测类型是亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，色度的自适应初级变换标志的值被设置为假。
(14)
根据(2)至(13)中任一项所述的图像处理装置，其中，在指示是否基于亮度的自适应初级变换标志来推断色度的自适应初级变换标志的色度自适应初级变换信息推断标志为真的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述色度自适应初级变换信息推断标志为假的情况下，色度的自适应初级变换标志的值被设置为假。
(15)
根据(14)所述的图像处理装置，其中，在处理对象分量是色度、亮度的自适应初级变换标志为真、变换量化旁路标志为假以及变换跳过标志为假的情况下，根据比特流对所述色度自适应初级变换信息推断标志进行解码，在其他情况下，所述色度自适应初级变换信息推断标志的值被设置为假。
(16)
根据(2)至(15)中任一项所述的图像处理装置，其中，在要处理的色度的变换块的短边的大小大于或等于预定阈值的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述变换块的短边的大小小于所述阈值的情况下，色度的自适应初级变换标志的值被设置为假。
(17)
根据(1)至(16)中任一项所述的图像处理装置，其中，
所述逆正交变换单元被配置成执行作为水平方向上的逆初级变换的所述逆初级水平变换和作为竖直方向上的逆初级变换的所述逆初级竖直变换作为所述逆正交变换，
在要处理的色度的变换块的图片宽度的大小等于或小于预定阈值的情况下，所述逆初级水平变换的变换类型被设置为预定的变换类型，并且在所述变换块的图片宽度的大小大于所述阈值的情况下，基于水平变换集和初级水平变换指定标志来设置所述变换类型，以及
在要处理的色度的变换块的图片高度的大小等于或小于阈值的情况下，所述逆初级竖直变换的变换类型被设置为预定的变换类型，并且在所述变换块的图片高度的大小大于所述阈值的情况下，基于竖直变换集和初级竖直变换指定标志来设置所述变换类型。
(18)
根据(1)至(17)中任一项所述的图像处理装置，其中，关于逆正交变换的信息包括指示是否要跳过逆正交变换处理的变换跳过标志。
(19)
根据(18)所述的图像处理装置，其中，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值。
(20)
根据(18)或(19)所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值，并且在所述编码块的预测类型是帧内预测的情况下，所述值被设置为通过对比特流进行解码而获得的色度的变换跳过标志的值。
(21)
根据(18)至(20)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值，并且在所述编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，所述值被设置为通过对比特流进行解码而获得的色度的变换跳过标志的值。
(22)
根据(18)至(21)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者所述预测模式是帧内块复制的帧内预测的情况下，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值，并且在所述编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，所述值被设置为色度的变换跳过标志的值。
(23)
根据(18)至(22)中任一项所述的图像处理装置，其中，在指示是否要基于亮度的变换跳过标志推断色度的变换跳过标志的色度变换跳过信息推断标志为真的情况下，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值，并且在所述色度变换跳过信息推断标志为假的情况下，所述值被设置为通过对比特流进行解码而获得的色度的变换跳过标志的值。
(24)
根据(1)至(23)中任一项所述的图像处理装置，其中，关于逆正交变换的信息包括指示要应用哪个逆次级变换的次级变换标识符。
(25)
根据(24)所述的图像处理装置，其中，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值。
(26)
根据(24)或(25)所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值，并且在所述编码块的预测类型是帧内预测的情况下，所述值被设置为通过对比特流进行解码而获得的色度的次级变换标识符的值。
(27)
根据(24)至(26)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值，并且在所述编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，所述值被设置为通过对比特流进行解码而获得的色度的次级变换标识符的值。
(28)
根据(24)至(27)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者所述预测模式是帧内块复制的帧内预测的情况下，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值，并且在所述编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，所述值被设置为通过对比特流进行解码而获得的色度的次级变换标识符的值。
(29)
根据(24)至(28)中任一项所述的图像处理装置，其中，在指示是否基于亮度的次级变换标识符推断色度的次级变换标识符的色度次级变换标识信息推断标志为真的情况下，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值，并且在所述色度次级变换标识信息推断标志为假的情况下，所述值被设置为通过对比特流进行解码而获得的色度的次级变换标识符的值。
(30)
一种图像处理方法，包括：
使用基于关于亮度的逆正交变换的信息得到的关于色度的逆正交变换的信息来执行色度的逆正交变换。
(31)
一种图像处理装置，包括：
正交变换单元，被配置成使用基于关于亮度的正交变换的信息得到的关于色度的正交变换的信息来执行色度的正交变换。
(32)
根据(31)所述的图像处理装置，其中，关于正交变换的信息包括自适应初级变换标志，所述自适应初级变换标志指示是否将从多个不同的正交变换中自适应地选择一个变换并且使用所选择的变换作为初级变换的自适应初级变换应用于要处理的变换块。
(33)
根据(32)所述的图像处理装置，其中，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值。
(34)
根据(33)所述的图像处理装置，其中，关于正交变换的信息包括初级变换标识符，所述初级变换标识符指示哪个初级变换将被应用于竖直方向上和水平方向上的初级变换。
(35)
根据(34)所述的图像处理装置，其中，在色度的自适应初级变换标志为真的情况下，色度的初级变换标识符的值被设置为亮度的初级变换标识符的值，并且在色度的自适应初级变换标志为假的情况下，色度的初级变换标识符的值被设置为预定值。
(36)
根据(35)所述的图像处理装置，其中，所述正交变换单元执行初级变换作为所述正交变换。
(37)
根据(36)所述的图像处理装置，其中，所述正交变换单元执行作为水平方向上的初级变换的初级水平变换和作为竖直方向上的初级变换的初级竖直变换作为所述正交变换。
(38)
根据(37)所述的图像处理装置，其中，色度的初级水平变换的变换类型和色度的初级竖直变换的变换类型各自使用根据色度的自适应初级变换标志的值的方法得到。
(39)
根据(38)所述的图像处理装置，其中，
在色度的自适应初级变换标志为真的情况下，
基于预测模式信息选择初级水平变换的变换集和初级竖直变换的变换集，
根据色度的初级变换标识符得到初级水平变换指定标志和初级竖直变换标志，
基于所述初级水平变换集和所述初级水平变换指定标志选择色度的初级水平变换的变换类型，以及
基于所述初级竖直变换集和所述初级竖直变换指定标志选择色度的初级竖直变换的变换类型。
(40)
根据(38)或(39)所述的图像处理装置，其中，
在色度的自适应初级变换标志为假的情况下，
选择预定的变换类型作为色度的初级水平变换的变换类型，并且
选择预定的变换类型作为色度的初级竖直变换的变换类型。
(41)
根据(32)至(40)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述编码块的预测类型是帧内预测的情况下，所述值被设置为假。
(42)
根据(32)至(41)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者所述预测模式是帧内块复制的帧内预测的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，所述值被设置为假。
(43)
根据(32)至(42)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，所述值被设置为假。
(44)
根据(32)至(43)中任一项所述的图像处理装置，其中，在指示是否基于亮度的自适应初级变换标志来推断色度的自适应初级变换标志的色度自适应初级变换信息推断标志为真的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述色度自适应初级变换信息推断标志为假的情况下，所述值被设置为假。
(45)
根据(44)所述的图像处理装置，其中，在处理对象分量是色度、亮度的自适应初级变换标志为真、变换量化旁路标志为假以及变换跳过标志为假的情况下，对所述色度自适应初级变换信息推断标志进行编码。
(46)
根据(32)至(45)中任一项所述的图像处理装置，其中，在要处理的色度的变换块的短边的大小大于或等于预定阈值的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值，并且在所述变换块的短边的大小小于所述阈值的情况下，所述值被设置为假。
(47)
根据(31)至(46)中任一项所述的图像处理装置，其中，
所述正交变换单元被配置成执行作为水平方向上的初级变换的初级水平变换和作为竖直方向上的初级变换的初级竖直变换作为所述正交变换，
在要处理的色度的变换块的图片宽度的大小等于或小于预定阈值的情况下，所述初级水平变换的变换类型被设置为预定的变换类型，并且在所述变换块的图片宽度的大小大于所述阈值的情况下，基于水平变换集和初级水平变换指定标志来设置所述变换类型，以及
在要处理的色度的变换块的图片高度的大小等于或小于预定阈值的情况下，所述初级竖直变换的变换类型被设置为预定的变换类型，并且在所述变换块的图片高度的大小大于所述阈值的情况下，基于竖直变换集和初级竖直变换指定标志来设置所述变换类型。
(48)
根据(31)至(47)中任一项所述的图像处理装置，其中，关于正交变换的信息包括指示是否要跳过正交变换处理的变换跳过标志。
(49)
根据(48)所述的图像处理装置，其中，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值。
(50)
根据(48)或(49)所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值，并且在所述编码块的预测类型是帧内预测的情况下，所述值被设置为任意值并且被编码。
(51)
根据(48)至(50)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值，并且在所述编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，所述值被设置为任意值并且被编码。
(52)
根据(48)至(51)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者所述预测模式是帧内块复制的帧内预测的情况下，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值，并且在所述编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，所述值被设置为任意值并且被编码。
(53)
根据(48)至(52)中任一项所述的图像处理装置，其中，在指示是否要基于亮度的变换跳过标志推断色度的变换跳过标志的色度变换跳过信息推断标志为真的情况下，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值，并且在所述色度变换跳过信息推断标志为假的情况下，所述值被设置为任意值并且被编码。
(54)
根据(31)至(53)中任一项所述的图像处理装置，其中，关于正交变换的信息包括指示要应用哪个次级变换的次级变换标识符。
(55)
根据(54)所述的图像处理装置，其中，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值。
(56)
根据(54)或(55)所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值，并且在所述编码块的预测类型是帧内预测的情况下，所述值被设置为任意值并且被编码。
(57)
根据(54)至(56)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值，并且在所述编码块的预测类型是亮度的预测模式和色度的预测模式彼此不匹配的帧内预测的情况下，所述值被设置为任意值并且被编码。
(58)
根据(54)至(57)中任一项所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测或者所述预测模式是帧内块复制的帧内预测的情况下，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值，并且在所述编码块的预测类型是预测模式不是帧内块复制的帧内预测的情况下，所述值被设置为任意值并且被编码。
(59)
根据(54)至(58)中任一项所述的图像处理装置，其中，在指示是否基于亮度的次级变换标识符推断色度的次级变换标识符的色度次级变换标识信息推断标志为真的情况下，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值，并且在所述色度次级变换标识信息推断标志为假的情况下，所述值被设置为任意值并且被编码。
(60)
一种图像处理方法，包括：
使用基于关于亮度的正交变换的信息得到的关于色度的正交变换的信息来执行色度的正交变换。
附图标记列表
100 图像解码装置
111 解码单元
112 逆量化单元
113 逆变换单元
114 算术运算单元
115 帧存储器
116 预测单元
121 开关
122 逆次级变换单元
123 逆初级变换单元
131 色度自适应初级变换信息得到单元
132 逆初级变换选择单元
133 逆初级竖直变换单元
134 逆初级水平变换单元
151 apt_flag得到单元
152 pt_idx得到单元
400 图像编码装置
411 控制单元
412 算术运算单元
413 变换单元
414 量化单元
415 编码单元
416 逆量化单元
417 逆变换单元
418 算术运算单元
419 帧存储器
420 预测单元
431 开关
432 初级变换单元
433 次级变换单元
441 色度自适应初级变换信息得到单元
442 初级变换选择单元
443 初级水平变换单元
444 初级竖直变换单元
451 apt_flag得到单元
452 pt_idx得到单元

Claims (20)

1.一种图像处理装置，包括：
逆正交变换单元，被配置成使用基于关于亮度的逆正交变换的信息得到的关于色度的逆正交变换的信息来执行色度的逆正交变换。
2.根据权利要求1所述的图像处理装置，其中，关于逆正交变换的信息包括自适应初级变换标志，所述自适应初级变换标志指示是否要应用从多个不同的逆正交变换中自适应地选择一个变换并且使用所选择的变换作为逆初级变换的自适应逆初级变换。
3.根据权利要求2所述的图像处理装置，其中，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值。
4.根据权利要求3所述的图像处理装置，其中，关于逆正交变换的信息包括初级变换标识符，所述初级变换标识符指示哪个逆初级变换将被应用于竖直方向上和水平方向上的逆初级变换。
5.根据权利要求4所述的图像处理装置，其中，在色度的自适应初级变换标志为真的情况下，色度的初级变换标识符的值被设置为亮度的初级变换标识符的值，并且在色度的自适应初级变换标志为假的情况下，色度的初级变换标识符的值被设置为预定值。
6.根据权利要求5所述的图像处理装置，其中，所述逆正交变换单元执行所述逆初级变换作为所述逆正交变换。
7.根据权利要求6所述的图像处理装置，其中，所述逆正交变换单元执行作为水平方向上的逆初级变换的逆初级水平变换和作为竖直方向上的逆初级变换的逆初级竖直变换作为所述逆正交变换。
8.根据权利要求2所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值。
9.根据权利要求2所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下或者在所述预测类型是预测模式是帧内块复制的帧内预测的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值。
10.根据权利要求2所述的图像处理装置，其中，在要处理的变换块所属的编码块的预测类型是帧间预测的情况下或者在所述预测类型是亮度的预测模式和色度的预测模式彼此匹配的帧内预测的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值。
11.根据权利要求2所述的图像处理装置，其中，在指示是否基于亮度的自适应初级变换标志来推断色度的自适应初级变换标志的色度自适应初级变换信息推断标志为真的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值。
12.根据权利要求2所述的图像处理装置，其中，在要处理的色度的变换块的短边的大小大于或等于预定阈值的情况下，色度的自适应初级变换标志的值被设置为亮度的自适应初级变换标志的值。
13.根据权利要求1所述的图像处理装置，
其中，所述逆正交变换单元被配置成执行作为水平方向上的逆初级变换的逆初级水平变换和作为竖直方向上的逆初级变换的逆初级竖直变换作为所述逆正交变换，
在要处理的色度的变换块的图片宽度的大小大于预定阈值的情况下，基于水平变换集和初级水平变换指定标志来设置所述逆初级水平变换的变换类型，以及
在要处理的色度的所述变换块的图片高度的大小大于预定阈值的情况下，基于竖直变换集和初级竖直变换指定标志来设置所述逆初级竖直变换的变换类型。
14.根据权利要求1所述的图像处理装置，其中，关于逆正交变换的信息包括指示是否要跳过逆正交变换处理的变换跳过标志。
15.根据权利要求14所述的图像处理装置，其中，色度的变换跳过标志的值被设置为亮度的变换跳过标志的值。
16.根据权利要求1所述的图像处理装置，其中，关于逆正交变换的信息包括指示要应用哪个逆次级变换的次级变换标识符。
17.根据权利要求16所述的图像处理装置，其中，色度的次级变换标识符的值被设置为亮度的次级变换标识符的值。
18.一种图像处理方法，包括：
使用基于关于亮度的逆正交变换的信息得到的关于色度的逆正交变换的信息来执行色度的逆正交变换。
19.一种图像处理装置，包括：
正交变换单元，被配置成使用基于关于亮度的正交变换的信息得到的关于色度的正交变换的信息来执行色度的正交变换。
20.一种图像处理方法，包括：
使用基于关于亮度的正交变换的信息得到的关于色度的正交变换的信息来执行色度的正交变换。
CN201780079777.3A 2016-12-28 2017-12-15 图像处理装置和方法 Active CN110100438B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-256732 2016-12-28
JP2016256732 2016-12-28
PCT/JP2017/045042 WO2018123644A1 (ja) 2016-12-28 2017-12-15 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN110100438A true CN110100438A (zh) 2019-08-06
CN110100438B CN110100438B (zh) 2022-04-15

Family

ID=62708047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780079777.3A Active CN110100438B (zh) 2016-12-28 2017-12-15 图像处理装置和方法

Country Status (10)

Country Link
US (2) US20210243475A1 (zh)
EP (1) EP3565249A4 (zh)
JP (1) JP7067487B2 (zh)
KR (1) KR102476148B1 (zh)
CN (1) CN110100438B (zh)
AU (1) AU2017387752B2 (zh)
BR (1) BR112019012707A2 (zh)
CA (1) CA3041856A1 (zh)
RU (1) RU2759052C2 (zh)
WO (1) WO2018123644A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
CN111095924B (zh) * 2017-12-28 2022-09-13 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2020035827A1 (en) * 2018-08-16 2020-02-20 Beijing Bytedance Network Technology Co., Ltd. Implicit coding for transform matrix selection
EP3836543A1 (en) * 2018-09-02 2021-06-16 Lg Electronics Inc. Image coding method based on multiple transform selection and device therefor
CN116886914A (zh) * 2018-10-05 2023-10-13 Lg电子株式会社 图像编码/解码方法、存储介质及数据传输方法
US11496737B2 (en) 2018-10-05 2022-11-08 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream
CN116684591A (zh) 2018-12-04 2023-09-01 华为技术有限公司 视频编码器、视频解码器、及对应方法
KR102331303B1 (ko) 2018-12-20 2021-11-26 주식회사 엘지화학 디엔계 고무 라텍스, 이의 제조방법 및 이를 포함하는 코어-쉘 구조의 그라프트 공중합체
CN113711591B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 用于色度残差的联合编解码的语法元素的信令
WO2020216288A1 (en) 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Conditional use of multiple transform matrices in video coding
CN113785574B (zh) 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波
AU2019232801A1 (en) * 2019-09-17 2021-04-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
JPWO2021132404A1 (zh) * 2019-12-26 2021-07-01
WO2021130374A1 (en) * 2019-12-27 2021-07-01 Interdigital Vc Holdings France Transform coding for inter-predicted video data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1257614C (zh) * 2001-04-09 2006-05-24 株式会社Ntt都科摩 信号编码方法与装置以及信号解码方法与装置
JP2013021557A (ja) * 2011-07-12 2013-01-31 Kddi Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CN103238328A (zh) * 2010-12-09 2013-08-07 索尼公司 图像处理装置和图像处理方法
CN104067622A (zh) * 2011-10-18 2014-09-24 株式会社Kt 图像编码方法、图像解码方法、图像编码器及图像解码器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1237376B1 (en) * 1997-06-09 2015-08-05 Hitachi, Ltd. Image information recording medium
KR101841783B1 (ko) * 2009-12-04 2018-03-23 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 인터 프레임을 위한 개선된 색차 변환을 위한 방법 및 장치
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
GB2492333B (en) 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
KR102003180B1 (ko) * 2011-10-17 2019-07-23 가부시끼가이샤 도시바 암호화 방법 및 복호 방법
HUE049830T2 (hu) * 2011-12-15 2020-10-28 Tagivan Ii Llc Luminancia-krominancia kódolt blokk jelölõ (CBF) jelzése videókódolásban
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
EP3222044A1 (en) * 2014-11-21 2017-09-27 VID SCALE, Inc. One-dimensional transform modes and coefficient scan order
KR102551609B1 (ko) * 2014-11-27 2023-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
JP6632638B2 (ja) * 2015-06-23 2020-01-22 テレフオンアクチーボラゲット エルエム エリクソン（パブル） トランスコーディングのための方法および構成
CN108293136B (zh) * 2015-09-23 2022-12-30 诺基亚技术有限公司 编码360度全景视频的方法、装置和计算机可读存储介质
US10567759B2 (en) * 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1257614C (zh) * 2001-04-09 2006-05-24 株式会社Ntt都科摩 信号编码方法与装置以及信号解码方法与装置
CN103238328A (zh) * 2010-12-09 2013-08-07 索尼公司 图像处理装置和图像处理方法
JP2013021557A (ja) * 2011-07-12 2013-01-31 Kddi Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CN104067622A (zh) * 2011-10-18 2014-09-24 株式会社Kt 图像编码方法、图像解码方法、图像编码器及图像解码器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN ET AL: "《Algorithm Description of Joint Exploration Test Model 1》", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 1ND MEETING: GENEVA》 *
KIHO CHOI ET AL: "《Adaptive Multiple Transform for Chroma》", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 2ND MEETING: SAN DIEGO》 *

Also Published As

Publication number Publication date
EP3565249A1 (en) 2019-11-06
JP7067487B2 (ja) 2022-05-16
KR20190099410A (ko) 2019-08-27
US20210243475A1 (en) 2021-08-05
CN110100438B (zh) 2022-04-15
RU2019119077A (ru) 2020-12-21
RU2019119077A3 (zh) 2021-04-05
RU2759052C2 (ru) 2021-11-09
WO2018123644A1 (ja) 2018-07-05
US11997316B2 (en) 2024-05-28
AU2017387752A1 (en) 2019-07-11
US20220394299A1 (en) 2022-12-08
EP3565249A4 (en) 2019-12-18
AU2017387752B2 (en) 2022-08-25
BR112019012707A2 (pt) 2019-11-19
KR102476148B1 (ko) 2022-12-12
CA3041856A1 (en) 2018-07-05
JPWO2018123644A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
CN110100438A (zh) 图像处理装置和方法
CN110431843A (zh) 图像处理装置及方法
AU2022203068B2 (en) Apparatus and method for image processing
CN109076222A (zh) 图像处理装置和方法
CN104396256B (zh) 解码设备和解码方法
CN104813664B (zh) 图像处理设备和图像处理方法
CN109691107A (zh) 图像处理装置和图像处理方法
CN109417621A (zh) 图像处理装置及方法
CN104838659B (zh) 图像处理装置及方法
CN105230017B (zh) 图像编码装置和方法以及图像解码装置和方法
CN106576176A (zh) 图像编码设备和方法以及图像解码设备和方法
CN109804632A (zh) 图像处理装置和图像处理方法
CN104620586B (zh) 图像处理装置和方法
CN109644269A (zh) 图像处理设备、图像处理方法和程序
CN110115039A (zh) 图像处理装置和图像处理方法
CN109076217A (zh) 图像处理装置和图像处理方法
CN110169072A (zh) 图像处理装置和图像处理方法
CN109691100A (zh) 图像处理设备和图像处理方法
CN109219959A (zh) 图像处理装置及方法
CN106105226B (zh) 图像编码装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant