CN111314694B - 图像处理装置及方法 - Google Patents

图像处理装置及方法 Download PDF

Info

Publication number
CN111314694B
CN111314694B CN202010026450.3A CN202010026450A CN111314694B CN 111314694 B CN111314694 B CN 111314694B CN 202010026450 A CN202010026450 A CN 202010026450A CN 111314694 B CN111314694 B CN 111314694B
Authority
CN
China
Prior art keywords
unit
residual
prediction
image
bit depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010026450.3A
Other languages
English (en)
Other versions
CN111314694A (zh
Inventor
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111314694A publication Critical patent/CN111314694A/zh
Application granted granted Critical
Publication of CN111314694B publication Critical patent/CN111314694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开内容涉及一种图像处理装置及方法，该图像处理装置包括：解码单元，对使用图像的亮度分量的残差数据来预测图像的色差分量的残差数据而得到的预测残差数据的编码数据进行解码；设置单元，仅在色差分量的残差数据的位深度与亮度分量的残差数据的位深度不同、且图像的色度格式为4：4：4格式的情况下，将色差分量的残差数据的位深度和亮度分量的残差数据的位深度设置成一致；以及残差恢复单元，按照由设置单元设置的位深度，并使用亮度分量的残差数据、以及由解码单元对编码的数据进行解码而得到的预测残差数据，对色差分量的残差数据进行恢复。

Description

图像处理装置及方法
本发明申请为申请日为2014年12月12日并于2016年6月20日进入中国国家阶段的发明名称为“图像处理装置及方法”的第201480069944.2号发明专利申请的分案申请。
技术领域
本公开内容涉及图像处理装置及方法，更具体地，涉及能够抑制编码效率降低的图像处理装置及方法。
背景技术
近年来，针对由图像传感器等产生的原始数据的压缩和执行去马赛克处理之前的图像数据的原始数据的压缩的请求量已经增加。
作为图像数据的编码系统，存在MPEG-4Part 10(高级视频编码，在下文中，被称为AVC)。近年来，为了提高编码效率，已经由联合协作团队视频编码(JCTVC)提出了被称为高效视频编码(HEVC)的编码系统的标准化(例如，参见专利文献1)，JCTVC是国际电信联盟电信标准化部(ITU-T)和国际标准化组织/国际电工技术委员会(ISO/IEC)的联合标准组织。
在这样的编码系统中，已经考虑了用于对分量之间的残差信号进行预测的方法(例如，参见非专利文献2)。
引用列表
非专利文献
非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,GaryJ.Sullivan,Ye-Kui Wang,Thomas Wiegand,“High Efficiency Video Coding(HEVC)textspecification draft 10(for FDIS&Last Call)”，JCTVC-L1003_version 34，2013年3月19日，
非专利文献2：Wei Pu,Woo-Shik Kim,Jianle Chen,Joel Sole,MartaKarczewicz,“RCE1:Descriptions and Results for Experiments 1,2,3,and 4”，JCTVC-O0202，2013年11月11日。
发明内容
本发明本发明要解决的技术问题
然而，一般地，分量的数据的位深度彼此独立，因此，存在位深度被设置成彼此不同的值的可能。然而，在非专利文献2中公开的方法中，没有考虑对彼此不同的分量之间的位深度的预测，存在没有正确地进行预测的问题，以及降低了编码效率。
鉴于这样的情况作出了本公开内容，并且本公开内容用于抑制编码效率的降低。
问题的解决方案
根据本技术的一个实施方式，提供了一种图像处理装置，包括：残差预测单元，该残差预测单元针对由多个分量构成的输入图像与预测图像之间的残差数据在分量之间执行预测时，在残差数据的位深度被布置成在分量之间为一致的情况下执行预测；以及编码单元，该编码单元对通过由残差预测单元执行预测生成的预测残差数据进行编码。
该残差预测单元可以通过位移位将残差数据的位深度布置成一致的。
该残差预测单元可以在针对其执行预测的两个分量的位深度之间的差不为零的情况下、在通过位移位将残差数据的位深度布置成在分量之间为一致的情况下执行预测。
该残差预测单元可以在位深度之间的差是正的情况下、在通过位移位将残差数据的位深度布置成在分量之间为一致的情况下执行预测，以及在位深度之间的差是负的情况下省略预测。
该残差预测单元可以在输入图像的颜色空间不是RGB空间的情况下、在通过位移位将残差数据的位深度布置成在分量之间为一致的情况下执行预测，以及在输入图像的颜色空间是RGB空间的情况下省略预测。
输入图像的颜色空间可以是YUV空间，以及该残差预测单元可以在通过位移位将残差数据的位深度布置成在亮度分量与色差分量之间为一致的情况下执行预测。
输入图像的颜色空间可以是RGB空间，以及该残差预测单元可以在通过位移位将残差数据的位深度布置成在G分量与R分量之间或G分量与B分量之间为一致的情况下执行预测。
该残差预测单元可以通过下述方式执行预测：获取针对其执行预测的两个分量的位深度之间的差；对两个分量中的一个分量的残差数据执行与位深度之间的差对应的位移位；将经位移位的残差数据与预定加权系数相乘；对乘法运算的结果执行与预定数量的位对应的位移位；以及获取另一分量的残差数据与乘法运算的经位移位的结果之间的差。
该残差预测单元设置供多个分量共用的加权系数。
根据本技术的一个实施方式，提供了一种图像处理方法，包括：当针对由多个分量构成的输入图像与预测图像之间的残差数据在分量之间执行预测时，在残差数据的位深度被布置成在分量之间为一致的情况下执行预测；以及对通过预测生成的预测残差数据进行编码。
根据本技术的另一实施方式，提供了一种图像处理装置，包括：解码单元，该解码单元对下述经编码的数据进行解码，在经编码的数据中，作为由多个分量构成的图像与该图像的预测图像之间的残差数据在分量之间的预测结果的预测残差数据被编码；以及残差恢复单元，该残差恢复单元在使用由解码单元通过对经编码的数据进行解码而获取的预测残差数据来执行残差数据的恢复时，在残差数据的位深度被布置成在分量之间为一致的情况下执行恢复。
该残差恢复单元可以通过位移位将残差数据的位深度布置成一致的。
还可以包括接收单元，该接收单元接收与所述位深度有关的信息，以及，该残差恢复单元通过基于与由接收单元接收的位深度有关的信息获取针对其执行预测的两个分量的位深度之间的差，以及基于所获取的位深度之间的差执行位移位来将残差数据的位深度布置成一致的。
该残差恢复单元可以在所获取的所述位深度之间的差不为零的情况下通过所述位移位将所述残差数据的所述位深度布置成一致的。
该残差恢复单元可以在所获取的位深度之间的差为正的情况下、在通过位移位将残差数据的位深度布置成一致的情况下执行恢复，以及在位深度之间的差为负的情况下省略恢复。
接收单元还可以接收与图像的颜色空间有关的信息，以及该残差恢复单元可以基于由接收单元接收的图像的颜色空间有关的信息在图像的颜色空间不是RGB空间的情况下、在通过位移位将残差数据的位深度布置成在分量之间为一致的情况下执行恢复，以及在图像的颜色空间是RGB空间的情况下省略恢复。
图像的颜色空间可以是YUV空间，以及该残差恢复单元可以在通过位移位将残差数据的位深度布置成在亮度分量与色差分量之间为一致的情况下执行恢复。
图像的颜色空间可以是RGB空间，以及该残差恢复单元可以在通过位移位将残差数据的位深度布置成在G分量与R分量之间或G分量与B分量之间为一致的情况下执行恢复。
通过获取针对其执行恢复的两个分量的位深度之间的差；对两个分量中的一个分量的所恢复的残差数据执行与位深度之间的差对应的位移位；将经位移位的残差数据与预定加权系数相乘；对乘法运算的结果执行与预定数量的位对应的位移位；以及将乘法运算的经位移位的结果与预测残差数据相加，该残差恢复单元可以对另一分量的残差数据执行恢复。
根据本技术的另一实施方式，提供了一种图像处理方法，包括：对下述经编码的数据进行解码，在所述经编码的数据中，作为由多个分量构成的图像与该图像的预测图像之间的残差数据在分量之间的预测结果的预测残差数据被编码；以及在使用通过对经编码的数据进行解码而获取的预测残差数据来执行残差数据的恢复时，在残差数据的位深度被布置成在分量之间为一致的情况下执行恢复。
根据本技术的一个实施方式，当针对在由多个分量构成的输入图像与预测图像之间的残差数据在分量之间执行预测时，在残差数据的位深度被布置成在分量之间为一致的情况下执行预测，以及对通过预测生成的预测残差数据进行编码。
根据本技术的另一实施方式，对下述经编码的数据进行解码，在所述经编码的数据中，作为由多个分量构成的图像与该图像的预测图像之间的残差数据在分量之间的预测结果的预测残差数据被编码；以及在使用通过对经编码的数据进行解码而获取的预测残差数据来执行残差数据的恢复时，在残差数据的位深度被布置成在分量之间为一致的情况下执行恢复。
发明的有益效果
根据本公开内容，可以对图像进行编码和解码。特别地，可以抑制编码效率的降低。
附图说明
图1是示出了编码单元的配置示例的图；
图2是示出了语义的示例的图；
图3是示出了图像编码装置的主要配置的示例的框图；
图4是示出了头部处理单元和残差预测单元的主要配置的示例的框图；
图5是示出了编码处理的流程的示例的流程图；
图6是示出了残差预测处理的流程的示例的流程图；
图7是示出了预测残差数据生成处理的流程的示例的流程图；
图8是示出了预测残差数据生成处理的流程的示例的流程图；
图9是示出了预测残差数据生成处理的流程的示例的流程图；
图10是示出了图像解码装置的主要配置的示例的框图；
图11是示出了头部获取单元和残差恢复单元的主要配置的示例的框图；
图12是示出了解码处理的流程的示例的流程图；
图13是示出了残差恢复处理的流程的示例的流程图；
图14是示出了残差数据恢复处理的流程的示例的流程图；
图15是示出了残差数据恢复处理的流程的示例的流程图；
图16是示出了残差数据恢复处理的流程的示例的流程图；
图17是示出了语义的示例的图；
图18是示出了头部处理单元和残差预测单元的主要配置的示例的框图；
图19是示出了残差预测处理的流程的示例的流程图；
图20是示出了头部获取单元和残差恢复单元的主要配置的示例的框图；
图21是示出了残差恢复处理的流程的示例的流程图；
图22是示出了语义的示例的图；
图23是示出了头部处理单元和残差预测单元的主要配置的示例的框图；
图24是示出了残差预测处理的流程的示例的流程图；
图25是示出了头部获取单元和残差恢复单元的主要配置的示例的框图；
图26是示出了残差恢复处理的流程的示例的流程图；
图27是示出了语义的示例的图；
图28是示出了头部处理单元和残差预测单元的主要配置的示例的框图；
图29是示出了残差预测处理的流程的示例的流程图；
图30是示出了头部获取单元和残差恢复单元的主要配置的示例的框图；
图31是示出了残差恢复处理的流程的示例的流程图；
图32是示出了语法的示例的图；
图33是示出了语义的示例的图；
图34是示出了语义的示例的图；
图35是示出了语义的示例的图；
图36是示出了语法的示例的图；
图37是示出了语义的示例的图；
图38是示出了语义的示例的图；
图39是示出了语义的示例的图；
图40是示出了多视点图像编码系统的示例的图；
图41是示出了根据本技术的多视点图像编码装置的主要配置的示例的图；
图42是示出了根据本技术的多视点图像解码装置的主要配置的示例的图；
图43是示出了分层图像编码系统的示例的图；
图44是示出了空间可缩放编码的示例的图；
图45是示出了时间可缩放编码的示例的图；
图46是示出了信噪比的可缩放编码的示例的图；
图47是示出了根据本技术的分层图像编码装置的主要配置的示例的图；
图48是示出了根据本技术的分层图像解码装置的主要配置的示例的图；
图49是示出了计算机的主要配置的示例的框图；
图50是示出了电视装置的示意性配置的示例的框图；
图51是示出了移动电话的示意性配置的示例的框图；
图52是示出了记录/再现装置的示意性配置的示例的框图；
图53是示出了成像装置的示意性配置的示例的框图；
图54是示出了视频设备的示意性配置的示例的框图；
图55是示出了视频处理器的示意性配置的示例的框图；
图56是示出了视频处理器的示意性配置的另一示例的框图。
具体实施方式
在下文中，将描述用于执行本公开内容的实施方式(下文中称为实施方式)。将按下面的顺序来进行描述。
1.第一实施方式(图像编码装置/图像解码装置)
2.第二实施方式(图像编码装置/图像解码装置)
3.第三实施方式(图像编码装置/图像解码装置)
4.第四实施方式(图像编码装置/图像解码装置)
5.第五实施方式(加权系数的共用)
6.第六实施方式(多视点图像编码装置/多视点图像解码装置)
7.第七实施方式(分层图像编码装置/分层图像解码装置)
8.第八实施方式(计算机)
9.第九实施方式(应用示例)
10.第十实施方式(设备/单元/模块/处理器)
<1.第一实施方式>
<图像编码的标准化的流程>
近年来，图像信息被处理为数字数据，此时，为了高效地传输和积累信息，广泛地使用了通过采用下述编码系统来对图像进行压缩和编码的装置，所述编码系统通过正交变换比如离散余弦变换和通过使用特定于图像信息的冗余的运动补偿来压缩数据。这样的编码系统的示例包括动态图像专家组(MPEG)等。
特别地，MPEG2(ISO/IEC 13818-2)被限定为通用图像编码系统，并且是覆盖隔行扫描图像和顺序扫描图像以及标准分辨率图像和高清图像的标准。例如，当前，MPEG2广泛地用于针对专业用途和消费者用途的宽范围的应用。例如，通过使用MPEG2压缩系统，在具有720×480像素的标准分辨率的隔行扫描图像的情况下，分配4Mbps至8Mbps的编码量(比特率)。此外，例如，通过使用MPEG2压缩系统，在具有1920×1088像素的高分辨率的隔行扫描图像的情况下，分配18Mbps至22Mbps的编码量(比特率)。因此，可以实现高压缩率和满意的图片质量。
MPEG2主要针对下述高图像质量编码：其主要适合于广播但是不符合具有比MPEG1的编码量(比特率)低的编码量的编码系统，换言之，具有比MPEG1的压缩率高的压缩率的编码系统。然而，根据便携式终端的广泛使用，认为这样的要求的数量在未来将会增加，从而据此进行了MPEG4编码系统的标准化。与图像编码系统有关的MPEG4标准在1988年12月被批准为ISO/IEC 14496-2。
此外，近年来，为了用于电视会议的图像编码的初始目的，已经标准化了H.26L国际电信联盟电信标准化部(ITU-T)Q6/16视频编码专家组(VCEG)。已知的是，H.26L由于其中的编码处理和解码处理与常规的编码系统例如MPEG2或MPEG4相比需要更多的计算量，以及实现了更高的编码效率。此外，当前，作为MPEG4的活动的一部分，通过基于H.26L引入根据H.26L不支持的功能来实现更高的编码效率的标准已经被作为增强压缩视频编码的联合模型。
作为其标准化的计划表，在2003年3月，基于H.264和MPEG-4Part 10(高级视频编码，在下文中，被称为AVC)名义作出了国际标准。
此外，作为H.264/AVC的扩展，已经在2005年2月完成了保真度范围扩展(FRExt)的标准化，保真度范围扩展的标准化包括商业用途需要的编码工具以及在MPEG-2中限定的8×8DCT和量化矩阵，其被称为RGB、4:2:2以及4:4:4。用这种方式，通过使用H.264/AVC来形成能够表示包括在电影中的影片噪声的编码系统，以及H.264/AVC处于被在蓝光盘(商标)等的宽范围应用中使用的阶段。
然而，近来，针对具有更高压缩率的编码的请求的量已经增加，这些请求例如针对是高清图像的像素数量的四倍的大约4000×2000像素的图像进行压缩的请求，以及在具有有限传输容量的环境下例如因特网上传送高清图像的请求。为此，已经由附属于上述ITU-T的VCEG持续地进行了用于提高编码效率的考察。
因此，当前，为了进一步将编码效率提高至高于AVC的编码效率，已经由联合协作团队视频编码(JCTVC)推进了对被称为高效视频编码(HEVC)的编码系统的标准化，JCTVC是ITU-T和国际标准化组织/国际电工技术委员会(ISO/IEC)的联合标准化组织。关于HEVC标准，在2013年1月发布了作为草案版本规范的委员会草案(例如，参见非专利文献1)。
<编码系统>
在下文中，将在本技术被应用到高效视频编码(HEVC)的图像编码/解码的情况下作为示例来描述本技术。
<编码单元>
在高级视频编码(AVC)系统中，限定了由宏块和子宏块构成的分层结构。然而，针对成为下一代编码系统的目标的被称为超高清(UHD；4000像素×2000像素)的大图像帧，16像素×16像素的宏块不是最优的。
与之相比，在HEVC系统中，如图1中所示，限定了编码单元(CU)。
CU也被称为编码树块(CTB)，并且CU是实现与AVC系统中的宏块的作用相同的作用的图片单元的部分区域。尽管宏块被固定为16像素×16像素的尺寸，但是CU的尺寸不是固定的，而是在每个序列的图像压缩信息中指定。
例如，在包括在作为输出的经编码的数据中的序列参数集(SPS)中，限定了CU的最大尺寸(最大编码单元(LCU))和最小尺寸(最小编码单元(SCU))。
在每个LCU内，通过在不小于SCU的尺寸的范围中设置split-flag(划分标记)＝1，可以将LCU划分成具有较小尺寸的CU。在图1所示的示例中，LCU的尺寸是128，以及最大分层深度是5。当split_flag的值是“1”时，具有2N×2N尺寸的CU在低一级的层级上被划分成均具有N×N尺寸的CU。
此外，CU被划分成预测单元(PU)，预测单元是作为帧内预测或帧间预测的处理单元的区域(图片单元中的图像的部分区域)，以及CU被划分成变换单元(TU)，变换单元是作为正交变换的处理单元的区域(图片单元中的图像的部分区域)。目前，在HEVC系统中，除了可以使用4×4和8×8正交变换之外，还可以使用16×16和32×32正交变换。
如在上述HEVC系统中，在限定了CU的编码系统的情况下，以CU为单位执行各种处理，可以认为AVC系统的宏块与LCU对应块(子块)与与CU对应。此外，可以认为AVC系统的运动补偿块与PU对应。然而，由于CU具有分层结构，通常，最高层级的LCU的尺寸被设置成大于AVC系统的宏块的尺寸例如128像素×128像素。
因此，在下文中，假定LCU还包括AVC系统的宏块，以及假定CU还包括AVC系统的块(子块)。换言之，以下呈现的描述中使用的“块”表示图片内的任意部分区域，以及不特别地限定所述“块”的大小、形状、特征等。换言之，例如，“块”包括任意区域例如TU、PU、SCU、CU、LCU、子块、宏块以及切片(slice)。明显的是，除了这些区域之外的部分区域(处理单元)也包括在“块”中。此外，将适当地描述需要限制尺寸、处理单元等的情况。
在本说明书中，编码树单元(CTU)被假定为下述单元：包括最大数量CU(LCU)的编码树块(CTB)和在其中以LCU为基础(等级)进行处理时的参数。此外，构成CTU的编码单元(CU)被假定为下述单元：包括编码块和在其中以CU为基础(等级)进行处理时的参数。
<模式选择>
在AVC和HEVC编码系统中，为了获得更高的编码效率，适当的预测模式的选择是重要的。
作为这样的选择系统的示例，存在在被称为JM(联合模型)的H.264/MPEG-4AVC的参考软件(在http://iphome.hhi.de/suehring/tml/index.htm中公开)中嵌入选择系统的方法。
在JM中，可以选择用于确定包括以下待描述的高复杂度模式和低复杂度模式的两个模式的模式确定方法。在两个模式的任一模式中，计算与每个预测模式的模式有关的代价函数值，以及选择具有最小代价函数值的预测模式作为针对块或宏块的最优模式。
高复杂度模式下的代价函数表示为以下的公式(1)。
[数学式1]
Cost(Mode∈Ω)＝D+λ*R···(1)
在此，Ω是用于对块或宏块进行编码的候选模式的全集，D是在预测模式下执行编码的情况下在经解码的图像与输入图像之间的差分能量。此外，λ是给定为量化参数的函数的拉格朗日不定乘子。R是在包括正交变换系数的模式下执行编码的情况下的总编码量。
换言之，当在高复杂度模式下执行编码时，为了计算上述参数D和R，需要一次针对所有候选模式执行临时编码处理，因此需要较大的计算量。
低复杂度模式下的代价函数表示为以下的公式(2)。
[数学式2]
Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit···(2)
在此，D与高复杂度模式下的D不同，该D是预测图像与输入图像之间的差分能量。此外，QP2Quant(QP)被给出为量化参数QP的函数，以及HeaderBit是与属于头部的信息比如运动矢量和不包括正交变换系数的模式有关的编码量。
换言之，在低复杂度模式下，尽管需要针对每个候选模式执行预测处理，但是不需要经解码的图像，以及不需要执行编码处理。因此，低复杂度模式可以实现比高复杂度模式的计算量低的计算量。
<残差预测>
同时，在HEVC中，已经考虑了在444编码时在分量之间对残差信号进行预测(也称为残差预测)的方法(例如，参见非专利文献2)。
在该非专利文献2中公开的方法中，根据下面的公式(3)使用亮度分量(Y)(或G分量)来预测色差分量(Cb/Cr)(或R分量或B分量)。
[数学公式3]
Δrc(x，y)＝rc(x，y)-(α×rL(x，y))＞＞3…(3)
在此，rc(x，y)表示色差分量(Cb或Cr)的残差数据(输入图像与预测图像之间的差)。此外，rL(x，y)表示亮度分量(Y)的残差数据(输入图像与预测图像之间的差)。此外，Δrc(x，y)表示残差预测的预测结果(也被称为预测残差数据)(使用亮度分量(Y)的残差数据来预测色差分量(Cb或Cr)的残差数据)。在此，“x，y”表示图像内的位置(坐标)。
此外，α表示加权系数以及取±(0，1，2，4，8)中的一个的值。以TU为单位来设置该值(换言之，该值以TU为单位发送至解码侧)。在此，“＞＞”表示向右侧的位移位(右移位)。例如，“＞＞n”表示对应于n位的右移位。
以图片参数集(PPS)为单元来控制是否进行这样的残差预测。换言之，在PPS中，控制是否进行这样的残差预测的开/关标记被发送至解码侧。
同时，通常，分量的数据的位深度彼此独立，因此，存在位深度被设置成彼此不同的值的可能。然而，如在上述公式(3)中所示，在非专利文献2中公开的预测方法中，存在分量(亮度分量或色差分量)的残差数据的位深度是相同的假定，并且没有考虑残差数据的位深度在不同分量之间不同的情况。换言之，在如公式(3)表示的预测中，在残差数据的位深度在分量之间彼此不同的情况下，没有进行正确的预测，以及存在编码效率降低的问题。
<缩放位深度>
因此，针对在由多个分量构成的输入图像与预测图像之间的残差数据进行分量之间的预测(残差预测)时，残差数据的位深度被布置成在分量之间是一致的(执行缩放)。通过这样地布置，在残差数据的位深度在分量之间不同的情况下，也可以在分量的残差数据的位深度为一致的情况下进行预测，因此，可以正确地进行残差预测。因此，可以抑制编码效率的降低。
尽管用于将残差数据的位深度布置成在分量之间为一致的方法是任意的，但是，例如，可以通过对残差数据执行位移位来将残差数据的位深度布置成在分量之间是一致的。通过这样地配置，可以容易地将残差数据的位深度在分量之间布置成一致的。换言之，可以减少处理负荷和处理时间。
在此，残差数据的位深度被布置为一致的输入图像的颜色空间是任意的。例如，颜色空间可以是YUV空间(YUV444等)或RGB空间(RGB444等)。例如，在输入图像的颜色空间是YUV空间的情况下，可以在通过位移位将残差数据的位深度布置成在亮度分量与色差分量之间为一致的情况下来进行预测。更具体地，例如，可以在通过位移位将亮度分量的位深度布置成相对于色差分量的位深度是一致的之后来进行预测。此外，例如，在输入图像的颜色空间是RGB空间的情况下，可以在通过位移位将残差数据的位深度布置成在G分量与R分量或G分量与B分量之间是一致的情况下来执行预测。更具体地，例如，可以在通过位移位将G分量的位深度布置成相对于R分量或B分量的位深度是一致的之后来进行预测。
<移位操作>
将描述用于如上所述地将位深度布置成一致的位移位(移位操作)的具体示例。用于移位操作的方法是任意的。例如，在待预测的两个分量之间的位深度差不是零的情况下，可以在通过位移位将残差数据的位深度布置成在分量之间是一致的情况下进行预测。例如，如在下面的公式(4)中所示，可以配置成使得获取分量之间残差数据的位深度的差(位深度差)，以及如在公式(5)至公式(8)中所示，进行与位深度差对应的位移位。这时，如在公式(6)或公式(8)中所示，可以进行与位深度差的绝对值对应的位移位。在这样的情况下，例如，可以如公式(6)和公式(8)所示，基于是否满足公式(5)和公式(7)的条件来确定移位方向。
[数学式4]
Δbitdepth＝BitDepthY-BitDepthC...(4)
如果(Δbitdepth≥0)...(5)
Δrc(x，y)＝rc(x，y)-(α×(rL(x，y)＞＞Δbitdepth))＞＞3...(6)
否则...(7)
Δrc(x，y)＝rc(x，y)-(α×(rL(x，y)＜＜-Δbitdepth))＞＞3...(8)
在公式(4)至公式(8)中，BitDepthY表示亮度分量(Y)的残差数据的位深度，以及BitDepthC表示色差分量(Cb或Cr)的残差数据的位深度。此外，Δbitdepth表示分量之间的位深度差(亮度分量(Y)的残差数据的位深度(BitDepthY)与色差分量(Cb或Cr)的残差数据的位深度(BitDepthC)之间的差)。
此外，rc(x，y)表示色差分量(Cb或Cr)的残差数据。此外，rL(x，y)表示亮度分量(Y)的残差数据。此外，Δrc(x，y)表示分量之间的预测残差数据(使用亮度分量(Y)的残差数据来预测色差分量(Cb或Cr)的残差数据)。在此，“x，y”表示图像内的位置(坐标)。
此外，α表示加权系数。α的值是任意的，例如，α的值被设置成±(0，1，2，4，8)中的一个的值。以TU为单位来设置该值(换言之，该值以TU为单位发送至解码侧)。在此，“>>”表示向右侧的位移位(右移位)，以及“<<”表示向左侧的位移位(左移位)。例如，“>>n”表示对应于n位的右移位，以及“<<m”表示对应于m位的左移位。
在该示例的情况下，如在公式(4)至公式(8)中所示，使用公式(4)来计算分量之间的位深度差(Δbitdepth)。然后，在该值满足公式(5)的条件的情况下，换言之，在Δbitdepth是零或更大的情况下，如公式(6)来计算预测残差数据(Δrc(x，y))。如在公式(6)中所示，虽然这种情况下的计算方法基本上与公式(3)相同，但是通过与位深度差(Δbitdepth)对应地将亮度分量(Y)的残差数据(rL(x，y))向右侧移位来计算预测残差数据(Δrc(x，y))。
另一方面，在分量之间的位深度差(Δbitdepth)具有负值(小于零的值)并且不满足公式(5)的条件(满足公式(7)的条件)的情况下，如公式(8)来计算预测残差数据(Δrc(x，y))。如在公式(8)中所示，虽然这种情况下的计算方法基本上与公式(3)相同，但是通过与位深度差(-Δbitdepth)对应地将亮度分量(Y)的残差数据(rL(x，y))向左侧移位来计算预测残差数据(Δrc(x，y))。
换言之，在这样的情况下，可以将亮度分量(Y)的残差数据(rL(x，y))的位深度(BitDepthY)布置成针对色差分量(Cb或Cr)的残差数据(rc(x，y))的位深度(BitDepthC)是一致的，以及计算预测残差数据(Δrc(x，y))。更具体地，获取用于残差预测的两个分量的位深度之间的差，针对两个分量中的一个分量的残差数据进行与位深度之间的差对应的位移位(缩放)，被位移位的残差数据乘以预定加权系数，针对该乘法运算的结果进行与预定数量的位对应的位移位，以及获取另一分量的残差数据与已经被位移位的乘法运算的结果之间的差。可以如上地进行预测。
在Δbitdepth是零的情况下，亮度分量(Y)的残差数据(rL(x，y))的位移位量是零，因此，所预测的残差数据(Δrc(x，y))可以被认为按照公式(3)来计算。
通过如上所述地计算，在残差数据的位深度在分量之间不同的情况下，也可以正确地计算预测残差数据(Δrc(x，y))。因此，可以抑制编码效率的降低。
<语义>
为了如上所述地执行位深度的缩放，可以如图2中所示的示例来描述语义。在图2中所示的语义的采用下划线的一部分是与如上所述的缩放(例如，公式(5)至公式(8))对应的描述。
<图像编码装置>
图3是示出了作为根据本技术的图像处理装置的一方面的图像编码装置的配置的示例的框图。例如，在图3中所示的图像编码装置100通过使用HEVC的预测处理或与HEVC兼容的系统的预测处理来对动态图像的图像数据进行编码。在下文中，将描述输入图像的颜色空间是YUV 444的情况作为示例。
如图3中所示，图像编码装置100包括：画面重排缓冲器102、计算单元103、正交变换单元104、量化单元105、可逆编码单元106、累积缓冲器107、逆量化单元108以及逆正交变换单元109。此外，图像编码装置100包括：计算单元110、环路滤波器111、帧存储器112、帧内预测单元113、帧间预测预测单元114、预测图像选择单元115以及速率控制单元116。此外，图像编码装置100包括：头部处理单元121、残差预测单元122以及残差恢复单元123。
画面重排缓冲器102按照显示的顺序存储输入图像数据的帧的图像，按照根据图片组(GOP)编码的顺序来重排所存储的帧的图像，以及向计算单元103提供通过重排帧的顺序获取的图像。此外，画面重排缓冲器102还向帧内预测单元113和帧间预测单元114提供通过重排帧的顺序获取的图像。
计算单元103将通过预测图像选择单元从帧内预测单元113或帧间预测单元114提供的预测图像从自画面重排缓冲器102读取的图像中减去，并且将其差信息(残差数据)提供至残差预测单元122。例如，针对图像执行帧内编码的情况下，计算单元103将从帧内预测单元113提供的预测图像从自画面重排缓冲器102读取的图像中减去。另一方面，例如，针对图像执行帧间编码的情况下，计算单元103将从帧间预测单元114提供的预测图像从自画面重排缓冲器102读取的图像中减去。
正交变换单元104针对从残差预测单元122提供的亮度分量的残差数据或色差分量的预测残差数据执行正交变换比如离散余弦变换或Karhuren-Loeve变换。正交变换单元104将通过正交变换获取的变换系数提供至量化单元105。
量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105基于与从速率控制单元116提供的编码量的目标值有关的信息来设置量化参数，以及执行变换系数的量化。量化单元105将经量化的变换系数提供至可逆编码单元106。
可逆编码单元106使用任意编码系统对通过量化单元105量化的经量化的变换系数进行编码。由于在速率控制单元116的控制下来量化系数数据，所以编码量变成由速率控制单元116设置的目标值(或接近目标值的值)。
此外，可逆编码单元106从帧内预测单元113获取表示帧内预测的模式等的信息，以及从帧间预测单元114获取表示帧间预测的模式、差分运动矢量信息等的信息。
可逆编码单元106使用任意编码系统对这样的各种信息项进行编码，以及将经编码的信息配置为经编码的数据(也称为经编码的流)的头部信息的一部分(复用)。可逆编码单元106将通过编码处理获取的经编码的数据提供至累积缓冲器107，从而在累积缓冲器107中累积经编码的数据。
可逆编码单元106的编码系统的示例包括可变长度编码、算术编码等。作为可变长度编码的示例，存在在H.264/AVC系统中限定的自适应上下文可变长度编码(CAVLC)等。作为算术编码的示例，存在自适应上下文二进制算术编码(CABAC)等。
累积缓冲器107暂时地保持从可逆编码单元106提供的经编码的数据。此外，累积缓冲器107以预定的定时将所保持的经编码的数据输出至图像编码装置100的外部。换言之，累积缓冲器107还是发送经编码的数据的发送单元。
此外，通过量化单元105量化的变换系数还被提供至逆量化单元108。逆量化单元108通过使用与由量化单元105执行的量化处理对应的方法来对经量化的变换系数执行逆量化。逆量化单元108将通过逆量化获取的变换系数提供至逆正交变换单元109。
逆正交变换单元109通过使用与由正交变换单元104执行的正交变换处理对应的方法来对从逆量化单元108提供的变换系数执行逆正交变换。逆正交变换单元109将针对其执行逆正交变换的输出(恢复的亮度分量的残差数据和色差分量的预测残差数据)提供至残差恢复单元123。此外，逆正交变换单元109还将恢复的亮度分量的残差数据提供至残差预测单元122。
计算单元110将通过预测图像选择单元115从帧内预测单元113或帧间预测单元114提供的预测图像与从残差恢复单元123提供的每个分量的所恢复的残差数据相加，从而获取局部重建的图像(在下文中，称为重建图像)。所恢复的图像被提供至环路滤波器111或帧内预测单元113。
环路滤波器111包括去块滤波器、自适应环路滤波器等，以及环路滤波器111针对从计算单元110提供的重建图像适当地执行滤波处理。例如，环路滤波器111通过针对重建图像执行去块滤波处理来移除重建图像的块失真。此外，例如，环路滤波器111针对去块滤波处理的结果(已经移除块失真的重建图像)使用维纳(Wiener)滤波器执行环路滤波处理，从而提高了图像质量。
此外，环路滤波器111可以被配置成针对重建图像执行任何其他的另外的任意滤波处理。此外，环路滤波器111根据需要可以被配置成将信息例如用于滤波处理的滤波系数等提供至可逆编码单元106以对信息进行编码。
环路滤波器111将滤波处理结果(在下文中，称为解码图像)提供至帧存储器112。
帧存储器112存储所提供的解码图像，以及以预定的定时将所存储的解码图像提供至帧间预测单元114作为参考图像。
帧内预测单元113执行帧内预测(画面内预测)，在帧内预测中，通过使用处理目标图片内的像素值来生成预测图像作为参考图像，所述处理目标图片是从计算单元110提供的重建图像。帧内预测单元113使用预先准备的多个帧内预测模式来执行帧内预测。
帧内预测单元113在作为候选的所有帧内预测模式下生成预测图像，通过使用从画面重排缓冲器102提供的输入图像来评估每个预测图像的代价函数，以及选择最优模式。当选择了最优的帧内预测模式时，帧内预测单元113将在最优模式下生成的预测图像提供至预测图像选择单元115。
此外，如上所述，帧内预测单元113适当地将表示所采用的帧内预测模式的帧内预测模式信息等提供至可逆编码单元106以对其进行编码。
帧间预测单元114通过使用从画面重排缓冲器102提供的输入图像和从帧存储器112提供的参考图像来执行帧间预测处理(运动预测处理和补偿处理)。更具体地，帧间预测单元114根据通过执行运动预测检测到的运动矢量来执行运动补偿处理作为帧间预测处理，从而生成预测图像(帧间预测图像信息)。帧间预测单元114使用预先准备的多个帧间预测模式来执行这样的帧间预测。
帧间预测单元114在作为候选的所有帧间预测模式下生成预测图像。帧间预测单元114通过使用从画面重排缓冲器102提供的输入图像和所生成的差运动矢量的信息等来评估每个预测图像的代价函数值，以及选择最优的模式。当选择了最优的帧间预测模式时，帧间预测单元114将在最优模式下生成的预测图像提供至预测图像选择单元115。
帧间预测单元114将表示所采用的帧间预测模式的信息、在对经编码的数据进行解码时在帧间预测模式下执行处理所需要的信息等提供至可逆编码单元106以对所述信息进行编码。例如，作为所需要的信息，存在所生成的差运动矢量的信息、作为预测的运动矢量信息的表示预测的运动矢量的索引的标志等。
预测图像选择单元115选择要被提供至计算单元103和计算单元110的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择单元115选择帧内预测单元113作为预测图像的提供源，以及将从帧内预测单元113提供的预测图像提供至计算单元103和计算单元110。另一方面，例如，在帧间编码的情况下，预测图像选择单元115选择帧间预测单元114作为预测图像的提供源，以及将从帧间预测单元114提供的预测图像提供至计算单元103和计算单元110。
速率控制单元116基于在累积缓冲器107中累积的经编码的数据的编码量来对由量化单元105执行的量化操作的速率进行控制，以使得不发生上溢或下溢。
例如，头部处理单元121除了图像信息之外还生成另外的信息(也称为头部信息)比如视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、辅助增强信息(SEI)以及切片头部。头部处理单元121将所生成的头部信息提供至可逆编码单元106，以及在头部信息包括在比特流中的情况下将头部信息发送至解码侧。此外，头部处理单元121将在所生成的头部信息中的必要的信息提供至残差预测单元122。稍后将描述残差预测单元122的细节。
残差预测单元122通过使用从计算单元103提供的色差分量的残差数据和从逆正交变换单元109提供的经恢复的亮度分量的残差数据来执行残差预测。更具体地，残差预测单元122通过使用经恢复的亮度分量的残差数据来对色差分量的残差数据执行预测，从而生成预测残差数据。此时，残差预测单元122在残差数据的位深度被布置成在分量之间是一致的情况下来执行预测。稍后将描述残差预测单元122的细节。残差预测单元122将通过这样的残差预测获取的色差分量的预测残差数据和从计算机单元103提供的亮度分量的残差数据提供至正交变换单元104。另一方面，在不执行残差预测的情况下，残差预测单元122将从计算单元103提供的每个分量的残差数据提供至正交变换单元104。
残差恢复单元123通过使用从逆正交变换单元109提供的亮度分量的残差数据和色差分量的预测残差数据来对色差分量的残差数据进行恢复(也称为残差恢复)。此时，残差恢复单元123通过将残差数据的位深度布置成在分量之间是一致的来执行恢复。残差恢复的处理基本上与在解码侧执行的残差恢复的处理类似，因此，当描述解码侧时，残差恢复的处理的描述将通过使用针对解码侧的描述来呈现。残差恢复单元123将已经恢复的每个分量的残差数据提供至计算单元110。
<头部处理单元和残差预测单元>
图4是示出了在图3中示出的头部处理单元121和残差预测单元122的主要配置的示例的框图。如在图4中所示，头部处理单元121包括：SPS处理单元131以及PPS处理单元132。
例如，SPS处理单元131执行与序列参数集(SPS)的生成有关的处理。此外，例如，SPS处理单元131将下述信息提供至残差预测单元122(稍后要描述的位深度差计算单元151)：包括包含在序列参数集(SPS)中的表示亮度分量的位深度的信息的信息(例如，bit_depth_luma_minus8)，或包括表示亮度分量的位深度的信息和表示色差分量(Cb/Cr)的位深度的信息(例如，bit_depth_chroma_minus8)的信息，或包括表示色差分量的位深度的信息的信息。
例如，PPS处理单元132执行与图片参数集(PPS)的生成有关的处理。此外，例如，PPS处理单元132将包括在图片参数集(PPS)中的用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)提供至残差预测单元122(稍后要描述的位移位控制单元152)。
残差预测单元122将从计算单元103提供的亮度分量的残差数据(rY(x，y))提供至正交变换单元104。残差预测单元122包括控制单元141和预测单元142。控制单元141执行与残差预测的计算的控制有关的处理。预测单元142由控制单元141控制，并且执行与其预测有关的计算。例如，预测单元142在控制单元141的控制下，通过使用从逆正交变换单元109获取的亮度分量的经恢复的残差分量(r'Y(x，y))，进行从计算单元103获取的色差分量的残差数据(rCr(x，y)和rCb(x，y)的预测(残差预测)来生成预测残差数据(ΔrCr(x，y)和ΔrCb(x，y))，以及将所生成的预测残差数据提供至正交变换单元104。此外，预测单元142在控制单元141的控制下在不进行残差预测的情况下将从计算单元103获取的色差分量的残差数据(rCr(x，y)和rCb(x，y))提供至正交变换单元104。
控制单元141包括：位深度差计算单元151、位移位控制单元152以及加权系数设置单元153。
位深度差计算单元151计算用于残差预测的分量的残差数据之间的位深度差。例如，位深度差计算单元151获取：表示亮度分量的位深度的信息(例如，bit_depth_luma_minus8)，或者包括表示亮度分量的位深度的信息和表示色差分量(Cb/Cr)的位深度的信息(例如，bit_depth_chroma_minus8)的信息，或者包括表示来自SPS处理单元131的色差分量的位深度的信息的信息，以及通过使用这样的信息执行在公式(4)中表示的计算来计算分量之间的位深度差(delta_bitdepth)。位深度差计算单元151将所计算的位深度差(delta_bitdepth)提供至位移位控制单元152。
此外，位深度差计算单元151在位移位控制单元152的控制下将所计算的位深度差(delta_bitdepth)提供至预测单元142。例如，在缩放位深度时执行残差数据的右移位的情况下，位深度差计算单元151将所计算的位深度差(delta_bitdepth)提供至右移位单元162。另一方面，在缩放位深度时执行残差数据的左移位的情况下，位深度差计算单元151将所计算的位深度差(-delta_bitdepth)提供至左移位单元163。
位移位控制单元152基于从位深度差计算单元151提供的分量之间的位深度差(delta_bitdepth)的值来对由预测单元142执行的计算进行控制。例如，在位深度差(delta_bitdepth)是零的情况下，位移位控制单元152对预测单元142(预测单元142中的选择单元161)执行控制，以使得不执行残差数据的位移位(位深度的缩放)。此外，此时，位移位控制单元152还对位深度差计算单元151执行控制，以使得位深度差(delta_bitdepth)不提供至预测单元142。
此外，例如，在位深度差(delta_bitdepth)是正值(>0)的情况下，位移位控制单元152对预测单元142(预测单元142中的选择单元161)执行控制，以使得残差数据向右侧移位(执行位深度的缩放)。此外，此时，位移位控制单元152还对位深度差计算单元151执行控制，以使得位深度差(delta_bitdepth)被提供至预测单元142(右移位单元162)。
另一方面，例如，在位深度差(delta_bitdepth)是负值(<0)的情况下，位移位控制单元152对预测单元142(预测单元142中的选择单元161)执行控制，以使得残差数据向左侧移位(执行位深度的缩放)。此外，此时，位移位控制单元152还对位深度差计算单元151执行控制，以使得位深度差(-delta_bitdepth)被提供至预测单元142(左移位单元163)。
此外，例如，位移位控制单元152从PPS处理单元132获取用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)，以及基于所获取的信息的值来控制是否执行残差预测。例如，在基于用于控制是否执行残差预测的信息表示不执行残差预测的情况下，位移位控制单元152执行预测单元142的控制，以使得不执行与预测有关的计算。此外，在这样的情况下，位移位控制单元152对位深度差计算单元151执行控制，以使得停止位深度差(delta_bitdepth或-delta_bitdepth)的提供。此外，在这样的情况下，位移位控制单元152对加权系数设置单元153执行控制，以使得不设置加权系数α。
另一方面，例如，在基于用于控制是否执行残差预测的信息表示执行残差预测的情况下，位移位控制单元152执行预测单元142的控制，以使得执行与预测有关的计算。此外，在这样的情况下，位移位控制单元152对位深度差计算单元151执行控制，以使得位深度差(delta_bitdepth或-delta_bitdepth)被提供至预测单元142。此外，在这样的情况下，位移位控制单元152对加权系数设置单元153执行控制以设置加权系数α，以及将加权系数提供至预测单元142(加权系数乘法单元164)。
加权系数设置单元153在位移位控制单元152的控制下设置加权系数α。设置加权系数α的方法和加权系数α的值是任意的。例如，加权系数设置单元153可以被配置成独立地针对每个分量来设置加权系数α。此外，在设置了加权系数α的情况下，加权系数设置单元153将加权系数α提供至预测单元142(加权系数乘法单元164)。该加权系数α还用于残差恢复，因此，加权系数α包括在比特流中被提供用于解码侧。
预测单元142包括：选择单元161、右移位单元162、左移位单元163、加权系数乘法单元164、右移位单元165、计算单元166以及计算单元167。
选择单元161在位移位控制单元152的控制下选择从逆正交变换单元109提供的已经被恢复的亮度分量的残差数据(r'Y(x，y))的提供目的地。例如，在对位深度执行缩放(右移位)的情况下，选择单元161将已经被恢复的亮度分量的残差数据(r'Y(x，y))提供至右移位单元162。在这种情况下，执行在公式(6)中表示的计算。此外，在对位深度执行缩放(左移位)的情况下，选择单元161将已经被恢复的亮度分量的残差数据(r'Y(x，y))提供至左移位单元163。在这种情况下，执行在公式(8)中表示的计算。另一方面，例如，在不对位深度执行缩放的情况下，选择单元161将已经被恢复的亮度分量的残差数据(r'Y(x，y))提供至加权系数乘法单元164。在这种情况下，执行在公式(3)中表示的计算。
右移位单元162通过将从选择单元161获取的已经被恢复的亮度分量的残差数据(r'Y(x，y))与从位深度差计算单元151获取的位深度差(delta_bitdepth)对应地向右侧移位来执行位深度的缩放。右移位单元162将亮度分量的残差数据的右移位的结果(r'Y(x，y)>>delta_bitdepth)提供至加权系数乘法单元164。
左移位单元163通过将从选择单元161获取的已经被恢复的亮度分量的残差数据(r'Y(x，y))与从位深度差计算单元151获取的位深度差(-delta_bitdepth)对应地向左侧移位来对执行位深度的缩放。左移位单元163将亮度分量的残差数据的左移位的结果(r'Y(x，y)<<-delta_bitdepth)提供至加权系数乘法单元164。
加权系数乘法单元164从选择单元161至左移位单元163中的一个获取已经被恢复的亮度分量的残差数据。例如，加权系数乘法单元164从选择单元161获取还没有被位移位的亮度分量的经恢复的残差数据(r'Y(x，y))。此外，例如，加权系数乘法单元164从右移位单元162获取已经被向右侧移位的亮度分量的经恢复的残差数据(r'Y(x，y)>>delta_bitdepth)。此外，例如，加权系数乘法单元164从左移位单元163获取已经被向左侧移位的亮度分量的经恢复的残差数据(r'Y(x，y)<<-delta_bitdepth)。
此外，加权系数乘法单元164从加权系数设置单元153获取加权系数α。加权系数乘法单元164将已经获取的亮度分量的经恢复的残差数据与加权系数α相乘，并且将该乘法运算的结果(α×(r'Y(x，y))，α×(r'Y(x，y)>>delta_bitdepth)或α×(r'Y(x，y)<<-delta_bitdepth)提供至右移位单元165。
右移位单元165将已经从加权系数乘法单元164提供的亮度分量的经恢复的残差数据(α×(r'Y(x，y))，α×(r'Y(x，y)>>delta_bitdepth)或α×(r'Y(x，y)<<-delta_bitdepth)向右侧移位预定的位。例如，尽管位移位量是任意的，但是在公式(3)、公式(6)以及公式(8)的情况下，右移位单元165将残差数据向右侧移位三个位。右移位单元165将右移位的结果(α×(r'Y(x，y)>>3，α×(r'Y(x，y)>>delta_bitdepth)>>3，或α×(r'Y(x，y)<<-delta_bitdepth)>>3)提供至计算单元166或计算单元167。
计算单元166通过将自右移位单元165提供的亮度分量的经恢复的残差数据(α×(r'Y(x，y)>>3，α×(r'Y(x，y)>>delta_bitdepth)>>3，或α×(r'Y(x，y)<<-delta_bitdepth)>>3)从自计算单元103提供的色差分量(Cr)的残差数据(rCr(x，y))中减去来生成色差分量(Cr)的预测残差数据(ΔrCr(x，y))，以及将所生成的预测残差数据提供至正交变换单元104。另一方面，在不执行这样的计算的情况下，计算单元166将从计算单元103提供的色差分量(Cr)的残差数据(rCr(x，y))提供至正交变换单元104。
计算单元167通过将自右移位单元165提供的亮度分量的经恢复的残差数据(α×(r'Y(x，y)>>3，α×(r'Y(x，y)>>delta_bitdepth)>>3，或α×(r'Y(x，y)<<-delta_bitdepth)>>3)从自计算单元103提供的色差分量(Cb)的残差数据(rCb(x，y))中减去来生成色差分量(Cb)的预测残差数据(ΔrCb(x，y))，以及将所生成的预测残差数据提供至正交变换单元104。另一方面，在不执行这样的计算的情况下，计算单元167将从计算单元103提供的色差分量(Cb)的残差数据(rCb(x，y))提供至正交变换单元104。
如上所述，在残差预测中，残差预测单元122通过对亮度分量的经恢复的残差数据的位深度执行缩放来执行预测。因此，在残差数据的位深度在分量之间不同的情况下，残差预测单元122可以正确地计算预测残差数据。因此，根据图像编码装置100，可以抑制编码效率的降低。
<编码处理的流程>
接下来，将描述由图像编码装置100执行的每个处理的流程的示例。首先，将参照在图5中所示的流程图来描述编码处理的流程的示例。
例如，当开始编码处理时，在步骤S101中，头部处理单元121生成头部信息例如序列参数集(SPS)或图片参数集(PPS)。
在步骤S102中，画面重排缓冲器102按照显示顺序存储输入动态图像的帧(图片)的图像，以及将图像从图片的显示顺序重排至编码顺序。
在步骤S103中，帧内预测单元113执行帧内预测模式的帧内预测处理。
在步骤S104中，帧间预测单元114执行下述帧间预测处理，在所述帧间预测处理中，在帧间预测模式下执行运动预测、运动补偿等。
在步骤S105中，预测图像选择单元115基于代价函数值等来选择根据步骤S103的帧内预测生成的预测图像和根据步骤S104的帧间预测生成的预测图像中的一个。
在步骤S106中，计算单元103计算由步骤S102的处理重排帧顺序的输入图像与由步骤S105的处理选择的预测图像之间的差。换言之，计算单元103生成输入图像与预定图像之间的残差数据。用这种方式获取的残差数据的数据量小于原始图像数据的数据量。因此，与直接对图像进行编码的情况相比可以更多的压缩数据量。针对分量(Y、Cr以及Cb)中的每个来执行这样的处理。
在步骤S107中，残差预测单元122针对由步骤S106的处理获取的色差分量的残差数据通过使用亮度分量的残差数据来执行残差预测。此时，残差预测单元122在残差数据的位深度在分量之间是一致的情况下来执行预测。稍后将详细地描述该处理。
在步骤S108中，正交变换单元104针对由步骤S106的处理生成的亮度分量的残差数据和由步骤S107的处理生成的色差分量的预测残差数据执行正交变换。
在步骤S109中，量化单元105通过使用由速率控制单元116计算的量化参数来对由步骤S108的处理获取的正交变换系数进行量化。
在步骤S110中，逆量化单元108通过使用与量化的特性对应的特性来对由步骤S109的处理生成的经量化的系数(也称为量化系数)执行逆量化。
在步骤S111中，逆正交变换单元109对由步骤S108的处理获取的正交变换系数执行逆正交变换。
在步骤S112中，残差恢复单元123通过使用由步骤S111的处理恢复的亮度分量的残差数据和色差分量的预测残差数据来恢复色差分量的残差数据。此时，残差恢复单元123在残差数据的位深度在分量之间是一致的情况下执行恢复。稍后将详细地描述该处理。
在步骤S113中，计算单元110通过将由步骤S105的处理选择的预测图像与由步骤S111和步骤S112的处理恢复的每个分量的残差数据相加来生成重建图像的图像数据。
在步骤S114中，环路滤波器111针对由步骤S113的处理生成的重建图像的图像数据执行环路滤波处理。因此，消除了重建图像的块失真等。
在步骤S115中，帧存储器112存储由步骤S114的处理获取的被局部解码的解码图像。
在步骤S116中，可逆编码单元106对由步骤S109的处理获取的经量化的系数进行编码。换言之，针对与残差数据对应的数据，执行可逆编码例如可变长度编码或算术编码。
此外，此时，可逆编码单元106对与由步骤S105的处理选择的预测图像的预测模式有关的信息进行编码，以及将经编码的信息与通过对差分图像进行编码获取的经编码的数据相加。换言之，可逆编码单元106对从帧内预测单元113提供的最优帧内预测模式信息或从帧间预测单元114提供的与最优帧间预测模式对应的信息等进行编码，以及将经编码的信息与经编码的数据相加。
在步骤S117中，累积缓冲器107存储由步骤S116的处理获取的经编码的数据等。在累积缓冲器107中存储的经编码的数据等被适当地读取为比特流，以及被通过传输线或记录介质传送至解码侧。
在步骤S118中，速率控制单元116基于通过步骤S117的处理在累积缓冲器107中存储的经编码的数据等的编码量(生成的编码量)来对步骤S109的量化处理的速率进行控制，以使得不发生上溢或下溢。
当步骤S118的处理结束时，编码处理结束。
<残差预测处理的流程>
接下来，将参照在图6中所示的流程图来描述在步骤S107中执行的这样的编码处理的残差预测处理的流程的示例。
当开始残差预测处理时，在步骤S121中，位深度差计算单元151计算针对其执行残差预测的分量之间的位深度差。换言之，位深度差计算单元151执行在公式(4)中表示的计算，以及计算在亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差(delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间是不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S122中，位移位控制单元152确定在步骤S121中计算的位深度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进行至步骤S123。在这样的情况下，不执行位移位，但是如在公式(3)中所示地执行残差预测。
在步骤S123中，位移位控制单元152基于包括在图片参数集(PPS)中用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)等来确定是否执行残差预测。例如，在luma_chroma_prediction_enabled_flag的值是“1”的情况下，确定执行残差预测，处理进行至步骤S124。
在步骤S124中，加权系数设置单元153针对每个TU设置加权系数α。
在步骤S125中，预测单元142在不对位深度执行缩放的情况下在分量之间对残差数据执行预测(残差预测)。稍后将描述该处理的细节。
在步骤S125中，当残差预测结束时，残差预测处理结束，以及处理返回至图5中所示的处理。
另一方面，例如，在步骤S123中，在luma_chroma_prediction_enabled_flag的值是“0”的情况下，确定不执行残差预测，省略步骤S124和步骤S125的处理，残差预测处理结束，以及处理返回至图5中所示的处理。
此外，在步骤S122中，在确定位深度差(delta_bitdepth)不为零的情况下，处理进行至步骤S126。
在步骤S126中，位移位控制单元152确定在步骤S121中计算的位深度差(delta_bitdepth)是否是正的。在确定在步骤S121中计算的位深度差是正的情况下，处理进行至步骤S127。在这样的情况下，如公式(6)中所示来执行残差预测(执行通过右移位的缩放)。
在步骤S127中，位移位控制单元152基于包括在图片参数集(PPS)中的用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)等来确定是否执行残差预测。例如，在luma_chroma_prediction_enabled_flag的值是“1”的情况下，确定执行残差预测，处理进行至步骤S128。
在步骤S128中，加权系数设置单元153针对每个TU设置加权系数α。
在步骤S129中，预测单元142通过使用右移位对位深度执行缩放来在分量之间对残差数据执行预测(残差预测)。稍后将描述该处理的细节。
当在步骤S129中执行的残差预测结束时，残差预测处理结束，以及处理返回至图5中所示的处理。
另一方面，例如，在步骤S127中，在luma_chroma_prediction_enabled_flag的值是“0”的情况下，确定不执行残差预测，省略步骤S128和步骤S129的处理，残差预测处理结束，以及处理返回至图5中所示的处理。
此外，在步骤S126中，在确定位深度差(delta_bitdepth)不为正(确定为负)的情况下，处理进行至步骤S130。在这样的情况下，如公式(8)中所示来执行残差预测(执行使用左移位的缩放)。
在步骤S130中，位移位控制单元152基于包括在图片参数集(PPS)中的用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)等来确定是否执行残差预测。例如，在luma_chroma_prediction_enabled_flag的值是“1”的情况下，确定执行残差预测，处理进行至步骤S131。
在步骤S131中，加权系数设置单元153针对每个TU设置加权系数α。
在步骤S132中，预测单元142通过根据左移位对位深度执行缩放来在分量之间对残差数据执行预测(残差预测)。稍后将描述该处理的细节。
当在步骤S132中执行的残差预测结束时，残差预测处理结束，以及处理返回至图5中所示的处理。
另一方面，例如，在步骤S130中，在luma_chroma_prediction_enabled_flag的值是“0”的情况下，确定不执行残差预测，省略步骤S131和步骤S132的处理，残差预测处理结束，以及处理返回至图5中所示的处理。
<预测残差数据生成处理的流程>
接下来，将参照图7中示出的流程图来描述在残差预测处理的步骤S125中执行的预测残差数据生成处理的流程的示例。
当开始预测残差数据的生成处理时，在步骤S141中，预测单元142的加权系数乘法单元164将亮度分量的经恢复的残差数据(r'Y(x，y))与由在图6中示出的步骤S124的处理设置的加权系数α相乘(α×r'Y(x，y))。
在步骤S142中，右移位单元165将在步骤S141中计算的乘法运算结果(α×r'Y(x，y))向右侧移位三位((α×r'Y(x，y))>>3)。
在步骤S143中，计算单元166通过将在步骤S142中计算的右移位结果((α×r'Y(x，y))>>3)从亮度分量Cr的残差数据(rCr(x，y))中减去(rCr(x，y)-(α×r'Y(x，y))>>3)来生成预测残差数据(ΔrCr(x，y))。此外，计算单元167通过将在步骤S142中计算的右移位结果((α×r'Y(x，y))>>3)从亮度分量Cb的残差数据(rCb(x，y))中减去(rCb(x，y)-(α×r'Y(x，y))>>3)来生成预测残差数据(ΔrCb(x，y))。
当如上所述地生成预测残差数据(ΔrCr(x，y)和ΔrCb(x，y))时，预测残差数据的生成处理结束，以及处理返回至图6中所示的处理。
<预测残差数据生成处理的流程>
接下来，将参照图8中示出的流程图来描述在残差预测处理的步骤S129中执行的预测残差数据生成处理的流程的示例。
当开始预测残差数据的生成处理时，在步骤S151中，预测单元142的右移位单元162将亮度分量的经恢复的残差数据(r'Y(x，y))与由在图6中示出的步骤S121的处理计算的残差数据的位深度差(delta_bitdepth)对应地向右侧移位((r'Y(x，y)>>delta_bitdepth))。
在步骤S152中，加权系数乘法单元164将在步骤S151中计算的右移位的结果(r'Y(x，y)>>delta_bitdepth)与由在图6中示出的步骤S128的处理设置的加权系数α相乘(α×(r'Y(x，y)>>delta_bitdepth))。
在步骤S153中，右移位单元165将在步骤S152中计算的乘法运算结果(α×(r'Y(x，y)>>delta_bitdepth))向右侧移位三位(α×(r'Y(x，y)>>delta_bitdepth)>>3)。
在步骤S154中，计算单元166通过将在步骤S153中计算的右移位结果(α×(r'Y(x，y)>>delta_bitdepth)>>3)从亮度分量Cr的残差数据(rCr(x，y))中减去(rCr(x，y)-α×(r'Y(x，y)>>delta_bitdepth)>>3)来生成预测残差数据(ΔrCr(x，y))。此外，计算单元167通过将在步骤S153中计算的右移位结果(α×(r'Y(x，y)>>delta_bitdepth)>>3)从亮度分量Cb的残差数据(rCb(x，y))中减去(rCb(x，y)-α×(r'Y(x，y)>>delta_bitdepth)>>3)来生成预测残差数据(ΔrCb(x，y))。
当如上所述地生成预测残差数据(ΔrCr(x，y)和ΔrCb(x，y))时，预测残差数据的生成处理结束，以及处理返回至图6中所示的处理。
<预测残差数据生成处理的流程>
接下来，将参照图9中示出的流程图来描述在残差预测处理的步骤S132中执行的预测残差数据生成处理的流程的示例。
当开始预测残差数据的生成处理时，在步骤S161中，预测单元142的左移位单元163将亮度分量的经恢复的残差数据(r'Y(x，y))与由在图6中示出的步骤S121的处理计算的残差数据的位深度差(-delta_bitdepth)对应地向左侧移位(r'Y(x，y)<<-delta_bitdepth)。
在步骤S162中，加权系数乘法单元164将在步骤S161中计算的左移位的结果(r'Y(x，y)<<-delta_bitdepth)与由在图6中示出的步骤S131的处理设置的加权系数α相乘(α×(r'Y(x，y)<<-delta_bitdepth))。
在步骤S163中，右移位单元165将在步骤S162中计算的乘法运算结果(α×(r'Y(x，y)<<-delta_bitdepth))向右侧移位三位(α×(r'Y(x，y)<<-delta_bitdepth)>>3)。
在步骤S164中，计算单元166通过将在步骤S153中计算的右移位结果(α×(r'Y(x，y)<<-delta_bitdepth)>>3)从亮度分量Cr的残差数据(rCr(x，y))中减去(rCr(x，y)-α×(r'Y(x，y)<<-delta_bitdepth)>>3)来生成预测残差数据(ΔrCr(x，y))。此外，计算单元167通过将在步骤S163中计算的右移位结果(α×(r'Y(x，y)<<-delta_bitdepth)>>3)从亮度分量Cb的残差数据(rCb(x，y))中减去(rCb(x，y)-α×(r'Y(x，y)<<-delta_bitdepth)>>3)来生成预测残差数据(ΔrCb(x，y))。
当如上所述地生成预测残差数据(ΔrCr(x，y)和ΔrCb(x，y))时，预测残差数据的生成处理结束，以及处理返回至图6中所示的处理。
通过如上地执行每个处理，在残差数据的位深度在分量之间彼此不同的情况下，残差预测单元122也可以正确地计算预测残差数据。因此，图像编码装置100可以抑制编码效率的降低。
<残差恢复>
接下来，将描述如上地编码的经编码的数据(比特流)的解码。为了实现与残差预测对应的残差恢复(换言之，恢复色差分量的残差数据)，根据公式(3)至公式(8)明显的是，在残差恢复中，可以将亮度分量的用于残差预测的经恢复的残差数据与由残差预测生成的色差分量的预测残差数据相加。
换言之，如在公式(6)和公式(8)所示的示例中，在执行残差预测时位深度被布置成在分量之间是一致的情况下，在与残差预测对应的残差恢复中，也可以在位深度被布置成在分量之间是一致的情况下来恢复色差分量的残差数据。通过这样配置，在残差数据的位深度在分量之间彼此不同的情况下，也可以在分量的残差数据的位深度被布置成一致的情况下来执行恢复，因此，可以正确地执行残差恢复。因此，可以抑制编码效率的降低。
尽管用于将残差数据的位深度布置成在分量之间为一致的方法是任意的，但是可以以与在执行残差预测时的方式类似的方式来执行该布置。例如，可以通过对残差数据执行位移位来将残差数据的位深度布置成在分量之间是一致的。通过这样配置，可以容易地将残差数据的位深度布置成在分量之间是一致的。换言之，可以减少处理负荷和处理时间。
自然地，在残差恢复的情况下，与残差解码的情况类似，残差数据的位深度被布置成一致的图像的颜色空间也是任意的。例如，颜色空间可以是YUV空间(YUV 444等)或RGB空间(RGB 444等)。例如，在图像的颜色空间是YUV空间的情况下，可以在通过位移位将残差数据的位深度布置成在亮度分量与色差分量之间是一致的情况下来执行恢复。更具体地，例如，可以在通过位移位将亮度分量的位深度布置成相对于色差分量的位深度是一致的之后来执行恢复。此外，例如，在图像的颜色空间是RGB空间的情况下，可以在通过位移位将残差数据的位深度布置成在G分量与R分量或G分量与B分量之间是一致的情况下来执行恢复。更具体地，例如，可以在通过位移位将G分量的位深度布置成相对于R分量的位深度或B分量的位深度是一致的之后来执行恢复。
<残差恢复的计算>
将描述如上的残差恢复的计算的具体示例。例如，如在公式(3)中，在残差预测中不执行对位深度的缩放的情况下，在残差恢复中，也可以如在下面的公式(9)中，不执行对位深度的缩放。类似地，在残差预测中，例如，在按照公式(4)至公式(8)中执行对位深度的缩放的情况下，在残差恢复中，也可以如在下面的公式(10)至公式(14)中，执行对位深度的缩放。
[数学式5]
r′c(x，y)＝Δr′c(x，y)+(α×rL(x，y))＞＞3...(9)
Δbitdepth＝BitDepthY-BitDepthC...(10)
如果(Δbitdepth≥0)...(11)
r′c(x，y)＝Δr′c(x，y)+(α×(rL(x，y)＞＞Δbitdepth))＞＞3…(12)
否则...(13)
r′c(x，y)＝Δr′c(x，y)+(α×(rL(x，y)＜＜-Δbitdepth))＞＞3…(14)
用于如上地将位深度布置成一致的移位计算方法是任意的。可以通过下述方式来将残差数据的位深度布置成一致的：从编码侧发送与每个分量的残差数据的位深度有关的信息，基于从编码侧发送的与每个分量的残差数据的位深度有关的信息获取针对其执行预测的两个分量的位深度之间的差，以及基于所获取的位深度之间的差来执行位移位。然后，在两个分量之间的位深度差不是零的情况下，可以在通过位移位将残差数据的位深度布置成在分量之间是一致的情况下执行恢复。例如，如在上述公式(10)中，可以配置成使得获取分量之间的残差数据的位深度的差(位深度差)，以及如在公式(11)至公式(14)中，与位深度差对应地执行位移位。此时，如在公式(12)和公式(14)中，可以与位深度差的绝对值对应地执行位移位。在这样的情况下，例如，可以基于是否满足公式(11)和公式(13)的条件，来如公式(12)和公式(14)所示确定移位方向。
换言之，在这样的情况下，在亮度分量(Y)的残差数据(rL(x，y))的位深度(BitDepthY)被布置成相对于色差分量(Cb或Cr)的残差数据(rC(x，y))的位深度(BitDepthC)是一致的情况下来执行恢复。更具体地，获取针对其执行恢复的两个分量之间的位深度差，针对两个分量中的一个分量的经恢复的残差数据执行与位深度差对应的位移位，经位移位的残差数据乘以预定加权系数，针对乘法运算结果执行与预定位数对应的位移位，以及将经位移位的乘法运算结果和预测的残差数据加在一起，从而恢复了另一分量的残差数据。可以如上所述地执行恢复。
在Δbitdepth是零的情况下，亮度分量(Y)的残差数据(rL(x，y))的位移位量是零，因此，可以认为残差数据(r'c(x，y))如在公式(9)中所示地计算。
通过如上所述地计算，在残差数据的位深度在分量之间是不同的情况下，也可以正确地恢复残差数据(r'c(x，y))。因此，可以抑制编码效率的降低。
<图像解码装置>
图10是示出了根据本技术的图像处理装置的一个方面的与图3中所示的图像编码装置100对应的图像编码装置的主要配置的示例的框图。
图10中所示的图像解码装置200使用与编码方法对应的解码方法来对由图像编码装置100生成的经编码的数据进行解码。
如在图10中所示，图像解码装置200包括：累积缓冲器201、可逆解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、环路滤波器206以及画面重排缓冲器207。此外，图像解码装置200包括：帧存储器209、帧内预测单元210、帧间预测单元211以及预测图像选择单元212。此外，图像解码装置200包括：头部获取单元221和残差恢复单元222。
累积缓冲器201还用作对从编码侧(例如，图像编码装置100)发送的经编码的数据进行接收的接收单元。累积缓冲器201接收并且积累所发送的经编码的数据，以及以预定的定时将经编码的数据提供至可逆解码单元202。在此，解码处理所需要的信息例如预测模式信息等被添加至经编码的数据。可逆解码单元202使用与编码系统对应的解码系统来对从累积缓冲器201提供的由可逆编码单元106编码的信息进行解码。可逆解码单元202将通过解码处理获取的经量化的系数数据提供至逆量化单元203。
此外，可逆解码单元202确定帧内预测模式还是帧间预测模式被选择为最优预测模式，以及将与最优预测模式有关的信息提供至确定要被选择的帧内预测单元210和帧间预测单元211中的一个。换言之，例如，在图像编码装置100中帧内预测模式被选为最优预测模式的情况下，与最优预测模式有关的信息被提供至帧内预测单元210。另一方面，例如，在图像编码装置100中帧间预测模式被选为最优预测模式的情况下，与最优预测模式有关的信息被提供至帧间预测单元211。
此外，可逆解码单元202将逆量化所需要的信息例如量化矩阵和量化参数提供至逆量化单元203。
此外，可逆解码单元202将头部信息例如序列参数集(SPS)、图片参数集(PPS)或切片头部提供至头部获取单元221。
逆量化单元203使用与量化单元105的量化系统对应的系统，来对通过由可逆解码单元202执行的解码处理所获取的量化系数数据执行逆量化。在此，该逆量化单元203是与逆量化单元108类似的处理单元。换言之，逆量化单元203的描述还可以应用于逆量化单元108。然而，需要根据装置适当地改述数据的输入/输出目的地等。
逆量化单元203将所获取的系数数据提供至逆正交变换单元204。
逆正交变换单元204根据需要通过使用与由正交变换单元104执行的正交变换处理对应的方法来对从逆量化单元203提供的正交变换系数执行逆正交变换。在此，该逆正交变换单元204是与逆正交变换单元109类似的处理单元。换言之，逆正交变换单元204的描述还可以应用至逆正交变换单元109。然而，需要根据装置适当地改述数据的输入/输出目的地等。
逆正交变换单元204通过逆正交变换处理获取与在由图像编码装置100执行的正交变换之前的状态对应的残差数据和预测残差数据。通过逆正交变换获取的残差数据和预测残差数据被提供至残差恢复单元222。
计算单元205从残差恢复单元222获取每个分量的被恢复的残差数据。此外，计算单元205通过预测图像选择单元212从帧内预测单元210或帧间预测单元211获取预测图像。计算单元205通过将差分图像与预测图像加在一起来获取与在由计算单元103执行的预测图像的减法运算之前的图像对应的重建图像。计算单元205将重建图像提供至环路滤波器206和帧内预测单元210。
环路滤波器206通过针对所提供的重建图像适当地执行包括去块滤波处理、自适应环路滤波等的环路滤波处理来生成解码图像。例如，环路滤波器206针对重建图像执行去块滤波处理，从而移除块失真。此外，例如，环路滤波器206通过使用Wiener滤波器针对去块滤波处理的结果(移除块失真的重建图像)来执行环路滤波处理，从而提高图像质量。
在此，由环路滤波器206执行的滤波处理的类型是任意的，以及可以执行不同于上述处理的滤波处理。此外，环路滤波器206可以被配置成使用从图像编码装置100提供的滤波系数来执行滤波处理。
环路滤波器206将作为滤波处理的结果的解码图像提供至画面重排缓冲器207和帧存储器209。
画面重排缓冲器207执行图像的重排。换言之，由画面重排缓冲器102排列的用于编码顺序的帧的顺序被改变成原始显示的顺序。画面重排缓冲器207将帧的顺序被重新排列的解码图像数据输出至图像解码装置200的外部。
帧存储器209存储所提供的解码图像，以及以预定的定时或基于来自外部例如帧间预测单元211的请求来将所存储的解码图像提供至帧间预测单元211作为参考图像。
通过对头部信息进行解码获取的表示帧内预测模式等的信息被适当地从可逆解码单元202提供至帧内预测单元210。帧内预测单元210通过使用在由帧内预测单元113使用的帧内预测模式下从帧存储器209获取的参考图像来执行帧内预测，从而生成预测图像。帧内预测单元210将所生成的预测图像提供至预测图像选择单元212。
帧间预测单元211从可逆解码单元202获取通过对头部信息进行解码获取的信息(最优预测模式信息、参考图像信息等)。
帧间预测单元211通过使用由从可逆解码单元202获取的最优预测模式信息表示的帧间预测模式下从帧存储器209获取的参考图像来执行帧间预测，从而生成预测图像。
预测图像选择单元212将从帧内预测单元210提供的预测图像或从帧间预测单元211提供的预测图像提供至计算单元205。然后，计算单元205将使用运动矢量生成的预测图像与从残差恢复单元222提供的经解码的残差数据(差分图像信息)相加，从而对原始图像解码。
例如，头部获取单元221通过可逆解码单元202获取从编码侧发送的头部信息，例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)、SEI以及切片头部。头部获取单元221将包括在所获取的头部信息中的必要的信息提供至残差恢复单元222。稍后将描述残差恢复单元222的细节。
残差恢复单元222通过使用从逆正交变换单元204提供的亮度分量的残差数据和色差分量的预测残差数据来恢复色差分量的残差数据(也称为残差恢复)。此时，残差恢复单元222在残差数据的位深度被布置成在分量之间是一致的情况下执行恢复。在此，该残差恢复单元222是与残差恢复单元123类似的处理单元。换言之，残差恢复单元222的描述还可以应用至残差恢复单元123。然而，需要根据装置适当地改述数据的输入/输出目的地等。
<头部获取单元和残差恢复单元>
图11是示出了在图10中示出的头部获取单元221和残差恢复单元222的主要配置的示例的框图。如在图11中所示，头部获取单元221包括：SPS获取单元231、PPS获取单元232以及加权系数获取单元233。
SPS获取单元231获取下述信息：表示亮度分量的位深度的信息(例如，bit_depth_luma_minus8)或包括包含在从编码侧提供的序列参数集(SPS)中的表示亮度分量的位深度的信息的信息和表示色差分量(Cb/Cr)的位深度的信息(例如，bit_depth_chroma_minus8)的信息或包括表示色差分量的位深度的信息的信息，以及将所获取的信息提供至残差恢复单元222(稍后要描述的位深度差计算单元251)。
PPS获取单元232将包括在从编码侧提供的图片参数集(PPS)中的用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)提供至残差恢复单元222(稍后要描述的位移位控制单元252)。
加权系数获取单元233将从编码侧提供的加权系数α或包括加权系数α的信息提供至残差恢复单元222(稍后要描述的加权系数乘法单元264)。
残差恢复单元222将从逆正交变换单元204提供的亮度分量的经恢复的残差数据(r'Y(x，y))提供至计算单元205。残差恢复单元222包括控制单元241和恢复单元242。控制单元241执行与残差恢复有关的计算的控制有关的处理。恢复单元242在控制单元241的控制下执行与残差恢复有关的计算。例如，恢复单元242在控制单元241的控制下，通过使用从逆正交变换单元204获取的亮度分量的经恢复的残差数据(r'Y(x，y))，根据从逆正交变换单元204获取的色差分量的经恢复的预测残差数据(Δr'Cr(x，y)和Δr'Cb(x，y))来恢复色差分量的残差数据(r'Cr(x，y)和r'Cb(x，y))。恢复单元242将色差分量的经恢复的残差数据(r'Cr(x，y)和r'Cb(x，y))提供至计算单元205。此外，残差恢复单元222在控制单元241的控制下，在不执行残差恢复的情况下将从逆正交变换单元204获取的色差分量的经恢复的残差数据(r'Cr(x，y)和r'Cb(x，y))提供至计算单元205。
控制单元241包括：位深度差计算单元251以及位移位控制单元252。
位深度差计算单元251计算用于残差预测的分量的残差数据之间的位深度差。例如，位深度差计算单元251从SPS获取单元231获取下述信息：表示亮度分量的位深度的信息(例如，bit_depth_luma_minus8)，或者包括表示亮度分量的位深度的信息和表示色差分量(Cb/Cr)的位深度的信息(例如，bit_depth_chroma_minus8)的信息，或者包括表示色差分量的位深度的信息的信息，以及通过使用这样的信息执行在公式(4)中表示的计算，从而计算分量之间的位深度差(delta_bitdepth)。位深度差计算单元251将所计算的位深度差(delta_bitdepth)提供至位移位控制单元252。
此外，位深度差计算单元251在位移位控制单元252的控制下，将所计算的位深度差(delta_bitdepth)提供至恢复单元242。例如，在缩放位深度时执行残差数据的右移位的情况下，位深度差计算单元251将计算的位深度差(delta_bitdepth)提供至右移位单元262。另一方面，在缩放位深度时执行残差数据的左移位的情况下，位深度差计算单元251将所计算的位深度差(-delta_bitdepth)提供至左移位单元263。
位移位控制单元252基于从位深度差计算单元251提供的分量之间的位深度差(delta_bitdepth)的值来对由恢复单元242执行的计算进行控制。例如，在位深度差(delta_bitdepth)是零的情况下，位移位控制单元252对恢复单元242(恢复单元242中的选择单元261)执行控制，以使得不执行残差数据的位移位(缩放位深度)。此外，此时，位移位控制单元252还对位深度差计算单元251执行控制，以使得位深度差(delta_bitdepth)不提供至恢复单元242。
此外，例如，在位深度差(delta_bitdepth)是正值(>0)的情况下，位移位控制单元252对恢复单元242(恢复单元242中的选择单元261)执行控制，以使得残差数据向右侧移位(执行位深度的缩放)。此外，此时，位移位控制单元252还对位深度差计算单元251执行控制，以使得位深度差(delta_bitdepth)被提供至恢复单元242(右移位单元262)。
另一方面，例如，在位深度差(delta_bitdepth)是负值(<0)的情况下，位移位控制单元252对恢复单元242(恢复单元242中的选择单元261)执行控制，以使得残差数据向左侧移位(执行位深度的缩放)。此外，此时，位移位控制单元252还对位深度差计算单元251执行控制，以使得位深度差(-delta_bitdepth)被提供至恢复单元242(左移位单元263)。
此外，例如，位移位控制单元252从PPS获取单元232获取从编码侧提供的用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)，以及基于获取的信息的值来控制是否执行残差恢复。例如，在基于用于控制是否执行残差预测的信息表示不执行残差预测(换言之，还表示不执行残差恢复)的情况下，位移位控制单元252执行恢复单元242的控制以使得不执行与恢复有关的计算。此外，在这样的情况下，位移位控制单元252对位深度差计算单元251执行控制以使得停止位深度差(delta_bitdepth或-delta_bitdepth)的提供。此外，在这样的情况下，位移位控制单元252对加权系数获取单元233执行控制以使得不获取加权系数α。
另一方面，例如，在基于用于控制是否执行残差预测的信息表示执行残差预测(换言之，还表示执行残差恢复)的情况下，位移位控制单元252执行恢复单元242的控制以使得执行与恢复有关的计算。此外，在这样的情况下，位移位控制单元252对位深度差计算单元251执行控制以使得位深度差(delta_bitdepth或-delta_bitdepth)被提供至恢复单元242。此外，在这样的情况下，位移位控制单元252对加权系数获取单元233执行控制以获取加权系数α，以及将加权系数提供至预测单元242(加权系数乘法单元264)。
恢复单元242执行基本上与由预测单元142执行的计算相同的计算，因此，恢复单元242具有基本上与预测单元142的配置相同的配置。换言之，恢复单元242包括：选择单元261、右移位单元262、左移位单元263、加权系数乘法单元264、右移位单元265、计算单元266以及计算单元267。
选择单元261与选择单元161类似地在位移位控制单元252的控制下选择从逆正交变换单元204提供的已经被恢复的亮度分量的残差数据(r'Y(x，y))的提供目的地。例如，在对位深度执行缩放(右移位)的情况下，选择单元261将已经被恢复的亮度分量的残差数据(r'Y(x，y))提供至右移位单元262。在这种情况下，执行与公式(6)对应的计算。此外，在对位深度执行缩放(左移位)的情况下，选择单元261将已经被恢复的亮度分量的残差数据(r'Y(x，y))提供至左移位单元263。在这种情况下，执行与公式(8)对应的计算。另一方面，例如，在不对位深度执行缩放的情况下，选择单元261将已经被恢复的亮度分量的残差数据(r'Y(x，y))提供至加权系数乘法单元264。在这种情况下，执行与公式(3)对应的计算。
右移位单元262通过将从选择单元261获取的已经被恢复的亮度分量的残差数据(r'Y(x，y))与从位深度差计算单元251获取的位深度差(delta_bitdepth)对应地向右侧移位来对位深度执行缩放。右移位单元262将亮度分量的残差数据的右移位的结果(r'Y(x，y)>>delta_bitdepth)提供至加权系数乘法单元264。
左移位单元263通过将从选择单元261获取的已经被恢复的亮度分量的残差数据(r'Y(x，y))与从位深度差计算单元251获取的位深度差(-delta_bitdepth)对应地向左侧移位来对位深度执行缩放。左移位单元263将亮度分量的残差数据的左移位的结果(r'Y(x，y)<<-delta_bitdepth)提供至加权系数乘法单元264。
加权系数乘法单元264从选择单元261至左移位单元263中的一个获取已经被恢复的亮度分量的残差数据。例如，加权系数乘法单元264从选择单元261获取还没有被位移位的亮度分量的经恢复的残差数据(r'Y(x，y))。此外，例如，加权系数乘法单元264从右移位单元262获取已经被向右侧移位的亮度分量的经恢复的残差数据(r'Y(x，y)>>delta_bitdepth)。此外，例如，加权系数乘法单元264从左移位单元263获取已经被向左侧移位的亮度分量的经恢复的残差数据(r'Y(x，y)<<-delta_bitdepth)。
此外，加权系数乘法单元264通过加权系数获取单元233获取加权系数α。加权系数乘法单元264将已经获取的亮度分量的经恢复的残差数据与加权系数α相乘，以及将该乘法运算的结果(α×(r'Y(x，y))，α×(r'Y(x，y)>>delta_bitdepth)或α×(r'Y(x，y)<<-delta_bitdepth)提供至右移位单元265。
右移位单元265将已经从加权系数乘法单元264提供的亮度分量的经恢复的残差数据(α×(r'Y(x，y))，α×(r'Y(x，y)>>delta_bitdepth)或α×(r'Y(x，y)<<-delta_bitdepth)向右侧移位预定的位。例如，尽管位移位量只要与编码侧的位移位量是相同的就是任意的，但是在公式(3)、公式(6)以及公式(8)的情况下，右移位单元265将残差数据向右侧移位三个位。右移位单元265将右移位的结果(α×(r'Y(x，y))>>3,α×(r'Y(x，y)>>delta_bitdepth>>3，或α×(r'Y(x，y)<<-delta_bitdepth)>>3)提供至计算单元266或计算单元267。
计算单元266通过将从移位单元265提供的亮度分量的经恢复的残差数据(α×(r'Y(x，y))>>3,α×(r'Y(x，y)>>delta_bitdepth>>3，或α×(r'Y(x，y)<<-delta_bitdepth)>>3)与从逆正交变换单元204提供的色差分量(Cr)的经恢复的预测残差数据(Δr'Cr(x，y))相加来恢复色差分量(Cr)的残差数据(r'Cr(x，y))，以及将经恢复的残差数据提供至计算单元205。另一方面，在不执行这样的残差恢复的情况下，计算单元266将从逆正交变换单元204提供的色差分量(Cr)的经恢复的残差数据(r'Cr(x，y))提供至计算单元205。
计算单元267通过将从由移位单元265提供的亮度分量的经恢复的残差数据(α×(r'Y(x，y))>>3,α×(r'Y(x，y)>>delta_bitdepth>>3，或α×(r'Y(x，y)<<-delta_bitdepth)>>3)与从逆正交变换单元204提供的色差分量(Cb)的经恢复的预测的残差数据(Δr'Cb(x，y))相加来恢复色差分量(Cb)的残差数据(r'Cb(x，y))，以及将经恢复的残差数据提供至计算单元205。另一方面，在不执行这样的残差恢复的情况下，计算单元267将从逆正交变换单元204提供的色差分量(Cb)的经恢复的残差数据(r'Cb(x，y))提供至计算单元205。
如上所述，在残差恢复中，残差恢复单元222通过对亮度分量的经恢复的残差数据的位深度执行缩放来执行恢复。因此，在残差数据的位深度在分量之间不同的情况下，残差恢复单元222也可以正确地恢复残差数据。因此，根据图像解码装置200，可以抑制编码效率的降低。
<解码处理的流程>
接下来，将描述由图像解码装置200执行的每个处理的流程的示例。首先，将参照在图12中所示的流程图来描述解码处理的流程的示例。
当解码处理开始时，在步骤S201中，累积缓冲器201存储已经被接收的发送的比特流。在步骤S202中，可逆解码单元202对从累积缓冲器201提供的比特流进行解码。换言之，对由可逆编码单元106编码的I图片、P图片以及B图片进行解码。此时，还对包括在比特流中的除了图像之外的各种信息例如头部信息进行解码。
在步骤S203中，逆量化单元203对由步骤S202的处理获取的量化系数执行逆量化。
在步骤S204中，逆正交变换单元204对由步骤S203的处理获取的正交变换系数执行逆正交变换。根据该处理，恢复了亮度分量的残差数据和色差分量的预测残差数据。
在步骤S205中，残差恢复单元222通过使用亮度分量的经恢复的残差数据和色差分量的经恢复的预测残差数据来执行用于恢复色差分量的残差数据的残差恢复处理。稍后将描述该处理的细节。
在步骤S206中，帧内预测单元210或帧间预测单元211执行预测处理，从而生成预测图像。换言之，在采用编码处理时由可逆解码单元202确定的预测模式下执行预测处理。更具体地，例如，在编码处理时采用帧内预测的情况下，帧内预测单元210在编码处理时被认为是最优的帧内预测模式下生成预测图像。另一方面，例如，在编码处理时采用帧间预测的情况下，帧间预测单元211在编码处理时被认为是最优的帧间预测模式下生成预测图像。
在步骤S207中，计算单元205将在步骤S206中生成的预测图像与由步骤S204和步骤S205的处理恢复的残差数据相加。因此，获取了重建图像。
在步骤S208中，环路滤波器206针对由步骤S207的处理获取的重建图像适当地执行包括去块滤波处理、自适应环路滤波处理等的环路滤波处理。
在步骤209中，画面重排缓冲器207对由步骤S208的处理获取的解码图像的帧进行重排。换言之，在编码处理时重排的帧的顺序被改变成原始显示的顺序。帧被重排的解码图像被输出至图像解码装置200的外部。
在步骤210中，帧存储器209存储由步骤S208的处理获取的解码图像。
当步骤S210的处理结束时，解码处理结束。
<残差恢复处理的流程>
接下来，将参照图13来描述在这样的解码处理的步骤S205中执行的残差恢复处理的流程的示例。
当开始残差恢复处理时，在步骤S221中，位深度差计算单元251通过SPS获取单元231获取包括在从编码侧发送的序列参数集中的下述信息：表示亮度分量的位深度的信息(例如，bit_depth_luma_minus8)和表示色差分量(Cb/Cr)的位深度的信息(例如，bit_depth_chroma_minus8)，以及通过使用这样的信息来计算在针对其执行残差预测的分量之间的位深度差。换言之，位深度差计算单元151执行公式(10)的计算，以及计算亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差(delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间为不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S222中，位移位控制单元252确定在步骤S221中计算的位深度差(delta_bitdepth)是否是零。在确定位深度差(delta_bitdepth)为零的情况下，处理进行至步骤S223。在这样的情况下，不执行位移位，以及如公式(9)中所示来执行残差恢复。
在步骤S223中，位移位控制单元252基于包括在图片参数集(PPS)中用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)，来确定是否已经在编码侧执行了残差预测。例如，在确定luma_chroma_prediction_enabled_flag的值是“1”的情况下，已经执行了残差预测，处理进行至步骤S224。
在步骤S224中，加权系数获取单元233针对每个TU获取加权系数α。
在步骤S225中，恢复单元242在不对位深度执行缩放的情况下对色差分量的残差数据执行恢复(残差恢复)。稍后将描述该处理的细节。
在步骤S225中，当残差恢复结束时，残差恢复处理结束，以及处理返回至图12中所示的处理。
另一方面，例如，在步骤S223中，在确定luma_chroma_prediction_enabled_flag的值是“0”的情况下，没有执行残差预测，省略步骤S224和步骤S225的处理，残差恢复处理结束，以及处理返回至图12中所示的处理。
此外，在步骤S222中，在确定位深度差(delta_bitdepth)不为零的情况下，处理进行至步骤S226。
在步骤S226中，位移位控制单元252确定在步骤S221中计算的位深度差(delta_bitdepth)是否是正的。在确定在步骤S221中计算的位深度差是正的情况下，处理进行至步骤S227。在这样的情况下，如公式(12)中所示来执行残差恢复(执行通过右移位的缩放)。
在步骤S227中，位移位控制单元252基于包括在图片参数集(PPS)中的用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)等来确定是否执行了残差预测。例如，在luma_chroma_prediction_enabled_flag的值是“1”的情况下，确定已经执行了残差预测，处理进行至步骤S228。
在步骤S228中，加权系数获取单元233针对每个TU设置加权系数α。
在步骤S229中，恢复单元242通过使用右移位对位深度执行缩放来对色差分量的残差数据执行恢复(残差恢复)。稍后将描述该处理的细节。
当在步骤S229中执行的残差恢复结束时，残差恢复处理结束，以及处理返回至图12中所示的处理。
另一方面，例如，在步骤S227中，在确定luma_chroma_prediction_enabled_flag的值是“0”的情况下，在编码侧没有执行残差预测，省略步骤S228和步骤S229的处理，残差恢复处理结束，以及处理返回至图12中所示的处理。
此外，在步骤S226中，在确定位深度差(delta_bitdepth)不为正(确定为负)的情况下，处理进行至步骤S230。在这样的情况下，如公式(14)中所示来执行残差预测(执行使用左移位的缩放)。
在步骤S230中，位移位控制单元252基于包括在图片参数集(PPS)中的用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)等来确定在编码侧是否已经执行了残差预测。例如，在确定luma_chroma_prediction_enabled_flag的值是“1”的情况下，已经执行了残差预测，处理进行至步骤S231。
在步骤S231中，加权系数获取单元233针对每个TU获取加权系数α。
在步骤S232中，恢复单元242通过使用左移位对位深度执行缩放来对色差信号的残差数据执行恢复(残差恢复)。稍后将描述该处理的细节。
当在步骤S232中执行的残差恢复结束时，残差恢复处理结束，以及处理返回至图12中所示的处理。
另一方面，例如，在步骤S230中，在确定luma_chroma_prediction_enabled_flag的值是“0”的情况下，在编码侧没有执行残差预测，省略步骤S231和步骤S232的处理，残差恢复处理结束，以及处理返回至图12中所示的处理。
<残差数据恢复处理的流程>
接下来，将参照图14中示出的流程图来描述在残差恢复处理的步骤S225中执行的残差数据恢复处理的流程的示例。
当开始残差数据恢复处理时，在步骤S241中，恢复单元242的加权系数乘法单元264将亮度分量的经恢复的残差数据(r'Y(x，y))与由在图13中示出的步骤S224的处理获取的加权系数α相乘(α×r'Y(x，y))。
在步骤S242中，右移位单元265将在步骤S241中计算的乘法运算结果(α×r'Y(x，y))向右侧移位三位((α×r'Y(x，y))>>3)。
在步骤S243中，计算单元266通过将在步骤S242中计算的右移位结果((α×r'Y(x，y))>>3)与色差分量Cr的经恢复的预测残差数据(Δr'Cr(x，y))相加(Δr'Cr(x，y)+(α×r'Y(x，y))>>3)来恢复色差分量Cr的残差数据(r'Cr(x，y))。此外，计算单元267通过将在步骤S242中计算的右移位结果((α×r'Y(x，y))>>3)与色差分量Cb的预测残差数据(Δr'Cb(x，y))相加(Δr'Cb(x，y)+(α×r'Y(x，y))>>3)来恢复色差分量Cb的残差数据(r'Cb(x，y))。
当如上所述地恢复色差分量的残差数据(r'Cr(x，y)和r'Cb(x，y))时，残差数据恢复处理结束，以及处理返回至图13中所示的处理。
<残差数据恢复处理的流程>
接下来，将参照图15中示出的流程图来描述在残差恢复处理的步骤S229中执行的残差数据恢复处理的流程的示例。
当开始残差数据恢复处理时，在步骤S251中，恢复单元242的右移位单元262将亮度分量的经恢复的残差数据(r'Y(x，y))与由在图13中示出的步骤S221的处理计算的残差数据的位深度差(delta_bitdepth)对应地向右侧移位((r'Y(x，y)>>delta_bitdepth))。
在步骤S252中，加权系数乘法单元264将在步骤S251中计算的右移位的结果(r'Y(x，y)>>delta_bitdepth)与由在图13中示出的步骤S228的处理获取的加权系数α相乘(α×(r'Y(x，y)>>delta_bitdepth))。
在步骤S253中，右移位单元265将在步骤S252中计算的乘法运算结果(α×(r'Y(x，y)>>delta_bitdepth))向右侧移位三位(α×(r'Y(x，y)>>delta_bitdepth)>>3)。
在步骤S254中，计算单元266通过将在步骤S253中计算的右移位结果(α×(r'Y(x，y)>>delta_bitdepth)>>3)与色差分量Cr的经恢复的预测残差数据(Δr'Cr(x，y))相加(Δr'Cr(x，y)+α×(r'Y(x，y)>>delta_bitdepth)>>3)来恢复色差分量Cr的残差数据(r'Cr(x，y))。此外，计算单元267通过将在步骤S253中计算的右移位结果(α×(r'Y(x，y)>>delta_bitdepth)>>3)与色差分量Cb的经恢复的预测残差数据(Δr'Cb(x，y))相加(Δr'Cb(x，y)+α×(r'Y(x，y)>>delta_bitdepth)>>3)来恢复色差分量Cb的残差数据(r'Cb(x，y))。
当如上所述地恢复色差分量的残差数据(r'Cr(x，y)和r'Cb(x，y))时，残差数据恢复处理结束，以及处理返回至图13中所示的处理。
<残差数据恢复处理的流程>
接下来，将参照图16中示出的流程图来描述在残差恢复处理的步骤S232中执行的残差数据恢复处理的流程的示例。
当开始残差数据恢复处理时，在步骤S261中，恢复单元242的左移位单元263将亮度分量的经恢复的残差数据(r'Y(x，y))与由在图13中示出的步骤S221的处理计算的残差数据的位深度差(-delta_bitdepth)对应地向左侧移位(r'Y(x，y)<<-delta_bitdepth)。
在步骤S262中，加权系数乘法单元264将在步骤S261中计算的左移位的结果(r'Y(x，y)<<-delta_bitdepth)与由在图13中示出的步骤S231的处理获取的加权系数α相乘(α×(r'Y(x，y)<<-delta_bitdepth))。
在步骤S263中，右移位单元265将在步骤S262中计算的乘法运算结果(α×(r'Y(x，y)<<-delta_bitdepth))向右侧移位三位(α×(r'Y(x，y)<<-delta_bitdepth)>>3)。
在步骤S264中，计算单元266通过将在步骤S263中计算的右移位结果(α×(r'Y(x，y)<<-delta_bitdepth)>>3)与色差分量Cr的经恢复的预测残差数据(Δr'Cr(x，y))相加(Δr'Cr(x，y)+α×(r'Y(x，y)<<-delta_bitdepth)>>3)来恢复色差分量Cr的残差数据(r'Cr(x，y))。此外，计算单元267通过将在步骤S263中计算的右移位结果(α×(r'Y(x，y)<<-delta_bitdepth)>>3)与色差分量Cb的经恢复的预测残差数据(Δr'Cb(x，y))相加(Δr'Cb(x，y)+α×(r'Y(x，y)<<-delta_bitdepth)>>3)来恢复色差分量Cb的残差数据(r'Cb(x，y))。
当如上所述地恢复色差分量的残差数据(r'Cr(x，y)和r'Cb(x，y))时，残差数据恢复处理结束，以及处理返回至图13中所示的处理。
通过如上所述地执行每个处理，在残差数据的位深度在分量之间不同的情况下，残差恢复单元222也可以正确地恢复残差数据。因此，图像解码装置200可以抑制编码效率的降低。
如上，尽管已经描述了当残差数据的位深度被布置成一致时，在对这样的位深度进行的缩放中，亮度分量的位深度通过位移位被布置成相对于色差分量是一致的，但是用作参考的分量是任意的。例如，色差分量的位深度可以被配置成被缩放。然而，一般地，为了提高预测精度，优选地对具有更多信息量的分量(具有较深的位深度)进行缩放以提高编码效率。如上所述在YUV的颜色空间的情况下，通常，亮度分量是重要的并且具有大的信息量。因此，优选地对亮度分量的位深度进行缩放。
如上，尽管已经描述了对YUV颜色空间的图像进行编码和解码的情况，但是图像的颜色空间是任意的，以及可以在任意分量之间执行预测。例如，在图像的颜色空间是RGB的情况下，与上述YUV的情况类似，也可以使用对位深度的缩放来执行残差预测/残差解码。
<2.第二实施方式>
<残差预测的禁止>
控制残差预测/残差解码的方法不限于上述示例的方法。例如，在残差数据的位深度在分量之间为不同的情况下，残差预测可以被配置成被禁止(不计算预测残差数据)。更具体地，在残差数据的位深度在分量之间为不同的情况下，可以通过包括在图片参数集(PPS)中的用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)来控制不执行残差预测。例如，在这样的情况下，luma_chroma_prediction_enabled_flag的值可以被配置成是零。通过这样地配置，针对与该信息对应的图片，禁止残差预测(自然地，不执行残差恢复)。因此，可以被配置成不执行不准确的残差预测/残差恢复。换言之，可以抑制由于不准确的残差预测/残差恢复引起的编码效率的降低。此外，可以省略位深度的缩放等处理，因此，可以抑制处理负荷的增加。
<语义>
为了如上所述地执行控制处理，可以如图17中所示的示例来描述语义。在图17中所示的语义的附有下划线的一部分是与上述残差预测/残差解码的执行控制对应的描述。
<头部处理单元和残差预测单元>
在该情况下，图像编码装置100仍可以具有与根据第一实施方式的图像编码装置基本相同的配置。
图18是示出了这样的情况的头部处理单元121和残差预测单元122的主要配置的示例的框图。如在图18中所示，在该情况下，当与第一实施方式的情况比较时，残差预测单元122包括控制单元311而不是控制单元141，以及包括预测单元312而不是预测单元142。
控制单元311执行与控制单元141的处理基本上相同的处理。当与控制单元141的配置相比时，控制单元311包括位深度差计算单元321而不是位深度差计算单元151，包括位移位控制单元322而不是位移位控制单元152，以及与控制单元141的情况类似，控制单元311包括加权系数设置单元153。
与位深度差计算单元151的情况类似，位深度差计算单元321计算分量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元151的情况不同的是，位深度差计算单元321不将计算的分量之间的位深度差(delta_bitdepth)提供至预测单元312。
与位移位控制单元152的情况类似，位移位控制单元322控制由预测单元312执行的计算。然而，在残差数据的位深度在分量之间为不同的情况下，位移位控制单元322禁止残差预测(不计算预测残差数据)。
换言之，在该实施方式的示例中，不执行位深度的缩放，换言之，不执行用于将位深度布置成在分量之间为一致的位移位，因此，与预测单元142的配置相比，预测单元312不包括右移位单元162和左移位单元163。
<残差预测处理的流程>
在该实施方式的情况下，与第一实施方式的情况的编码处理类似地执行编码处理。将参照在图19中所示的流程图来描述在该实施方式中执行的残差预测处理的流程的示例。
在图19中所示的示例的情况下，当开始残差预测处理时，在步骤S301中，位深度差计算单元321也计算针对其执行残差预测的分量之间的位深度差。换言之，位深度差计算单元321执行在公式(4)中表示的计算，以及计算在亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差(delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间为不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S302中，位移位控制单元322确定在步骤S301中计算的位深度差(delta_bitdepth)是否为零。在确定位深度差为零的情况下，处理进行至步骤S303。在这样的情况下，不执行位移位，而是如在公式(3)中所示地执行残差预测。
换言之，与根据第一实施方式的残差预测处理的步骤S123至步骤S125的处理类似地执行步骤S303至步骤S305的处理。然后，在步骤S305的处理结束或在步骤S303中确定不执行残差预测的情况下，残差预测处理结束，以及处理返回至图5中所示的处理。
此外，在步骤S302中，在确定位深度差(delta_bitdepth)不为零的情况下，处理进行至步骤S306。
在步骤S306中，位移位控制单元322将用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)的值设置成表示不执行(禁止)残差预测(残差恢复)的值。例如，位移位控制单元322可以将luma_chroma_prediction_enabled_flag的值设置成零。
当步骤S306的处理结束时，残差预测处理结束，以及处理返回至图5中所示的处理。
通过这样地配置，在残差数据的位深度在分量之间为不同并且不能正确地执行残差预测的情况下，可以配置成不执行残差预测。因此，可以始终正确地计算预测残差数据，从而图像编码装置100可以抑制由于不准确的残差预测引起的编码效率的降低。此外，不需要对位深度缩放，因此，可以抑制处理负荷的增加。
<头部获取单元和残差恢复单元>
在该情况下，图像解码装置200仍可以具有与第一实施方式的情况的图像解码装置基本上相同的配置。
图20是示出了该情况的头部获取单元221和残差恢复单元222的主要配置的示例的框图。如在图20中所示，在该情况下，当与第一实施方式的情况比较时，残差恢复单元222包括控制单元351而不是控制单元241，以及包括恢复单元352而不是恢复单元242。
控制单元351执行与控制单元241的处理基本上相同的处理。当与控制单元241的配置相比时，控制单元351包括位深度差计算单元361而不是位深度差计算单元251以及包括位移位控制单元362而不是位移位控制单元252。
与位深度差计算单元251的情况类似，位深度差计算单元361计算分量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元251的情况不同的是，位深度差计算单元361不将计算的分量之间的位深度差(delta_bitdepth)提供至恢复单元352。
与位移位控制单元252的情况类似，位移位控制单元362控制由恢复单元352执行的计算。然而，在残差数据的位深度在分量之间为不同的情况下，位移位控制单元362禁止残差恢复(不恢复色差分量的残差数据)。
换言之，在该实施方式的示例的情况下，不执行位深度的缩放，换言之不执行用于将位深度布置成在分量之间为一致的位移位。因此，当与恢复单元242的配置相比时，恢复单元352不包括右移位单元262和左移位单元263。
<残差恢复处理的流程>
在该实施方式的情况下，与第一实施方式的情况类似地执行解码处理。将参照图21中所示的流程图来描述在该实施方式的情况下残差恢复处理的流程的示例。
在图21中所示的示例的情况下，当开始残差恢复处理时，在步骤S321中，位深度差计算单元361也计算已经针对其执行残差预测的分量之间的位深度差。换言之，位深度差计算单元361执行在公式(10)中表示的计算，以及计算亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差(delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间为不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S322中，位移位控制单元362确定在步骤S321中计算的位深度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进行至步骤S323。在这样的情况下，不执行位移位，以及如公式(9)中所示来执行残差恢复。
换言之，与根据第一实施方式的残差预测处理的步骤S223至步骤S225的处理类似地执行步骤S323至步骤S325的处理。然后，在步骤S325的处理结束或在步骤S323中确定没有执行残差预测的情况下，残差恢复处理结束，以及处理返回至图12中所示的处理。
另一方面，在步骤S322中，在步骤S321中计算的位深度差(delta_bitdepth)被确定不为零的情况下，仍不执行对位深度的缩放，但是省略了残差恢复。因此，在该情况下，残差恢复处理仍结束时，以及处理返回至图12中所示的处理。
通过这样地配置，在残差数据的位深度在分量之间为不同，并且不能正确地执行残差预测的情况下，不执行残差预测，以及配置成不根据残差预测执行残差恢复。因此，可以始终正确地恢复残差数据，以及图像解码装置200可以抑制编码效率由于不准确的残差恢复而降低。此外，由于不需要对位深度的缩放，所以可以抑制处理负荷的增加。
<3.第三实施方式>
<使用对位深度的缩放和残差预测的禁止两者>
控制残差预测/残差解码的方法不限于上述示例的方法。例如，可以配置成使得仅在残差数据的位深度在分量之间为不同并且所计算的分量之间的位深度差是正的情况下对位深度执行缩放；以及在所计算的分量之间的位深度差是负的情况下禁止残差预测(不计算预测残差数据)。
更具体地，例如，可以配置成使得在亮度分量的残差数据的位深度大于色差分量的残差数据的位深度的情况下，在通过右移位对位深度进行缩放将残差数据的位深度布置成在分量之间为一致的情况下执行残差预测，以及在亮度分量的残差数据的位深度小于色差分量的残差数据的位深度的情况下，禁止残差预测(不计算预测残差数据)。
如上所述，基于图像的特性，亮度分量比色差分量更重要，以及通常，亮度分量的残差数据的位深度是色差分量的残差数据的位深度，或亮度分量的残差数据的位深度比色差分量的残差数据的位深度大。相反，存在色差分量的位深度大于亮度分量的位深度的极少数情况。换言之，在色差分量的位深度被设置成大到甚至与图像的特性相反的情况下，存在图像中包括在图像的特性之上的生产商的某种意图的高可能性。因此，还可以考虑容易降低作为向一般图像的处理的残差预测的预测精度的可能性。换言之，存在易于降低编码效率的可能性。
因此，在期望具有高预测精度的亮度分量的位深度大于色差分量的位深度的情况下，可以配置成使得能够执行残差预测(残差恢复)，并且通过右移位对残差数据的位深度进行缩放而将残差数据的位深度布置成在分量之间为一致的情况下执行残差预测，以正确地执行预测(恢复)。另一方面，在期望具有低预测精度的色差分量的位深度大于亮度分量的位深度时，可以配置成通过使用包括在图片参数集(PPS)中用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)来使得不执行残差预测。
通过这样地配置，残差预测/残差解码可以被配置成仅在根据残差预测的执行可以获得足够的效果(能够充分提高编码效率)的情况下执行。因此，由于可以省略不必要的残差预测/残差解码，所以可以抑制编码效率的降低，以及可以抑制处理负荷的增加。
<语义>
为了如上所述地执行控制，可以如在图22中所示的示例来描述语义。在图22中所示的语义附有下划线的一部分是与上述残差预测/残差解码的执行控制对应的描述。
<头部处理单元和残差预测单元>
在该情况下，图像编码装置100仍可以具有与根据第一实施方式的图像编码装置基本相同的配置。
图23是示出了这样的情况的头部处理单元121和残差预测单元122的主要配置的示例的框图。如在图23中所示，在该情况下，当与第一实施方式的情况比较时，残差预测单元122包括控制单元411而不是控制单元141，以及包括预测单元412而不是预测单元142。
控制单元411执行与控制单元141的处理基本上相同的处理。当与控制单元141的配置相比时，控制单元411包括位深度差计算单元421而不是位深度差计算单元151，包括位移位控制单元422而不是位移位控制单元152，以及与控制单元141的情况类似，控制单元411包括加权系数设置单元153。
与位深度差计算单元151的情况类似，位深度差计算单元421计算分量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元151的情况不同的是，位深度差计算单元421不将所计算的分量之间的位深度差(delta_bitdepth)提供至左移位单元163(预测单元412没有左移位单元163)。
与位移位控制单元152的情况类似，位移位控制单元422控制由预测单元412执行的计算。然而，在由位深度差计算单元421计算的分量之间的残差数据的位深度差(delta_bitdepth)是零的情况下，位移位控制单元422使预测单元412不对位深度执行缩放，而是计算预测残差数据。另一方面，在由位深度差计算单元421计算的分量之间的残差数据的位深度差(delta_bitdepth)是正的情况下，位移位控制单元422使预测单元412对位深度执行缩放以计算预测残差数据。与之相反，在由位深度差计算单元421计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的情况下，位移位控制单元422通过控制预测单元412来禁止残差预测(使得不计算预测残差数据)。
换言之，在该实施方式的示例的情况下，当由位深度差计算单元421计算的在分量之间残差数据的位深度差(delta_bitdepth)是负的时，不执行位深度的缩放，换言之，不执行用于将位深度布置成在分量之间为一致的位移位，因此，与预测单元142的配置相比，预测单元412不包括左移位单元163。
<残差预测处理的流程>
在该实施方式的情况下，与第一实施方式的情况的编码处理类似地执行编码处理。将参照在图24中所示的流程图来描述在该实施方式中执行的残差预测处理的流程的示例。
在图24中所示的示例的情况下，当开始残差预测处理时，在步骤S401中，位深度差计算单元421也计算针对其执行残差预测的分量之间的位深度差。换言之，位深度差计算单元421执行在公式(4)中表示的计算，以及计算在亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差(delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间为不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S402中，位移位控制单元422确定在步骤401中计算的位深度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进行至步骤S403。在这样的情况下，不执行位移位，而是如在公式(3)中所示地执行残差预测。
换言之，与根据第一实施方式的残差预测处理的步骤S123至步骤S125的处理类似地执行步骤S403至步骤S405的处理。然后，在步骤S405的处理结束或在步骤S403中确定不执行残差预测的情况下，残差预测处理结束，以及处理返回至图5中所示的处理。
此外，在步骤S402中，在确定位深度差(delta_bitdepth)不为零的情况下，处理进行至步骤S406。
在步骤S406中，位移位控制单元422确定在步骤S401中计算的位深度差(delta_bitdepth)是否是正的。在确定在步骤S401中计算的位深度差是正的情况下，处理进行至步骤S407。在这样的情况下，如公式(6)中所示来执行残差预测(执行通过右移位的缩放)。
换言之，与根据第一实施方式的残差预测处理的步骤S127至步骤S129的处理类似地执行步骤S407至步骤S409的处理。然后，在步骤S409的处理结束或在步骤S407中确定不执行残差预测的情况下，残差预测处理结束，以及处理返回至图5中所示的处理。
另一方面，在步骤S406中，在确定位深度差(delta_bitdepth)不为正(确定为负)的情况下，处理进行至步骤S410。
在步骤S410中，位移位控制单元422将用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)的值设置成表示不执行(禁止)残差预测(残差恢复)的值。例如，位移位控制单元422可以将luma_chroma_prediction_enabled_flag的值设置成零。
当步骤S410的处理结束时，残差预测处理结束，以及处理返回至图5中所示的处理。
通过这样地配置，在分量之间残差数据的位深度差是负的，换言之，色差分量的位深度大于亮度分量的位深度，并且存在即使在执行残差预测的情况下也不能获取足够的效果(不能充分地提高编码效率)的可能性的情况下，可以配置成不执行残差预测。因此，根据图像编码装置100，由于可以省略不必要的残差预测，所以可以抑制编码效率的降低，以及可以抑制处理负荷的增加。
<头部获取单元和残差恢复单元>
在该情况下，图像解码装置200也可以具有与第一实施方式的情况的图像解码装置基本上相同的配置。
图25是示出了该情况的头部获取单元221和残差恢复单元222的主要配置的示例的框图。如在图25中所示，在该情况下，当与第一实施方式的情况比较时，残差恢复单元222包括控制单元451而不是控制单元241，以及包括恢复单元452而不是恢复单元242。
控制单元451执行与控制单元241的处理基本上相同的处理。当与控制单元241的配置相比时，控制单元451包括位深度差计算单元461而不是位深度差计算单元251以及包括位移位控制单元462而不是位移位控制单元252。
与位深度差计算单元251的情况类似，位深度差计算单元461计算分量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元251的情况不同的是，位深度差计算单元461不将所计算的分量之间的位深度差(delta_bitdepth)提供至左移位单元263(恢复单元452不包括左移位单元263)。
与位移位控制单元252的情况类似，位移位控制单元462控制由恢复单元452执行的计算。然而，在由位深度差计算单元461计算的分量之间的残差数据的位深度差(delta_bitdepth)是零的情况下，位移位控制单元462使恢复单元452不对位深度执行缩放，而是恢复残差数据。另一方面，在由位深度差计算单元461计算的分量之间的残差数据的位深度差(delta_bitdepth)是正的情况下，位移位控制单元462使恢复单元452对位深度执行缩放以恢复残差数据。与之相反，在由位深度差计算单元461计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的情况下，位移位控制单元462通过控制恢复单元452来省略残差恢复(省略残差数据的恢复)。
换言之，在该实施方式的示例的情况下，当由位深度差计算单元461计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的时，不执行位深度的缩放，换言之，不执行用于将位深度布置成在分量之间为一致的位移位，因此，与恢复单元242的配置相比，恢复单元452不包括左移位单元263。
<残差恢复处理的流程>
在该实施方式的情况下，与第一实施方式的情况类似地执行解码处理。将参照在图26中所示的流程图来描述在该实施方式的情况中的残差恢复处理的流程的示例。
在图26中所示的示例的情况下，当开始残差恢复处理时，在步骤S421中，位深度差计算单元461也计算已经针对其执行残差预测的分量之间的位深度差。换言之，位深度差计算单元461执行在公式(10)中表示的计算，以及计算亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差(delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间是不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S422中，位移位控制单元462确定在步骤S421中计算的位深度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进行至步骤S423。在这样的情况下，不执行位移位，以及按照在公式(9)中所示来执行残差恢复。
换言之，与根据第一实施方式的残差预测处理的步骤S223至步骤S225的处理类似地执行步骤S423至步骤S425的处理。然后，在步骤S425的处理结束或在步骤S423中确定没有执行残差预测的情况下，残差恢复处理结束，以及处理返回至图12中所示的处理。
另一方面，在步骤S422中，在确定位深度差(delta_bitdepth)不为零的情况下，处理进行至步骤S426。
在步骤S426中，位移位控制单元462确定在步骤S421中计算的位深度差(delta_bitdepth)是否是正的。在确定在步骤S421中计算的位深度差是正的情况下，处理进行至步骤S427。在这样的情况下，按照公式(12)中所示来执行残差预测(执行通过右移位的缩放)。
换言之，与根据第一实施方式的残差预测处理的步骤S227至步骤S229的处理类似地执行步骤S427至步骤S429的处理。然后，在步骤S429的处理结束或在步骤S427中确定没有执行残差预测的情况下，残差恢复处理结束，以及处理返回至图12中所示的处理。
此外，在步骤S426中，在确定位深度差(delta_bitdepth)不为正(确定为负)的情况下，也不执行对位深度的缩放，以及省略了残差恢复。因此，在该情况下，残差恢复处理也结束，以及处理返回至图12中所示的处理。
通过这样地配置，在分量之间残差数据的位深度差是负的，换言之，色差分量的位深度大于亮度分量的位深度，并且存在即使在执行残差预测的情况下也不能获得足够的效果(不能充分地提高编码效率)的可能性的情况下，不执行残差预测，以及可以配置成不根据残差预测执行残差恢复。因此，根据图像解码装置200，由于可以省略不必要的恢复预测，所以可以抑制编码效率的降低，以及可以抑制处理负荷的增加。
<4.第四实施方式>
<根据图像的颜色空间的残差预测控制>
控制残差预测/残差解码的方法不限于上述示例中示出的方法。例如，可以根据图像的颜色空间来控制是否执行残差预测/残差解码。例如，可以配置成使得基本上如第三实施方式中所述来控制残差预测/残差解码的执行，此外，在作为编码/解码目标的图像的颜色空间是RGB的情况下，被配置成禁止残差预测/残差解码。
一般地，在YUV的情况下，存在作为信息的亮度分量比色差分量更重要的许多情况，以及可以考虑亮度分量具有比色差分量更多的信息量(更大的位深度)的情况。另一方面，在RGB的情况下，存在作为信息的分量的重要程度是相同的许多情况，以及各分量的信息量(位深度)是相同的。尽管可以考虑作为信息的G分量比R分量和B分量更重要的情况，但是存在其中的信息量(位深度)具有不同的极少的情况。
换言之，在图像的颜色空间是RGB，以及分量的信息量(位深度)不一致的情况下，存在图像中包括在图像的特性之上的生产商的某种意图的高可能性。因此，还可以考虑容易降低作为向一般图像的处理的残差预测的预测精度的可能性。换言之，存在易于降低编码效率的可能性。
因此，可以配置成使得：仅在图像具有期望有较高预测精度的颜色空间比如YUV的情况下，残差预测(残差恢复)被配置成可执行的，以及在图像具有可能易于降低预测精度的颜色空间比如RGB的情况下，通过使用包括在图片参数集(PPS)中用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)将残差预测(残差恢复)控制成不被执行。
通过这样地配置，残差预测/残差解码可以被配置成仅针对根据残差预测的执行获得足够的效果(能够充分提高编码效率)的颜色空间的情况来执行。因此，由于可以省略不必要的残差预测/残差解码，所以可以抑制编码效率的降低，以及可以抑制处理负荷的增加。
<语义>
为了如上所述地执行控制处理，可以如在图27中所示的示例来描述语义。在图27中所示的语义的附有下划线的一部分是与上述残差预测/残差解码的执行控制对应的描述。
<头部处理单元和残差预测单元>
在该情况下，图像编码装置100仍可以具有与根据第一实施方式的图像编码装置基本相同的配置。
图28是示出了这样的情况的头部处理单元121和残差预测单元122的主要配置的示例的框图。如在图28中所示，在该情况下，当与第一实施方式的情况相比时，头部处理单元121还包括VUI(视频可用性信息)处理单元501。此外，当与第一实施方式的情况相比时，残差预测单元122包括控制单元511而不是控制单元141，以及包括预测单元412而不是预测单元142。
VUI处理单元501执行与VUI(视频可用性信息)的生成有关的处理。VUI是与视频的显示有关的数据，以及VUI被存储在视频参数集(VPS)或序列参数集(SPS)中。此外，例如，VUI处理单元501将包括在VUI中表示图像的颜色空间的信息(matrix_coffs)提供至残差预测单元122(稍后待描述的颜色空间确定单元523)。matrix_coffs是表示针对从RGB至亮度/色差的变换的变换矩阵的信息。换言之，在matrix_coffs＝0的情况下，表示图像的颜色空间是RGB。
控制单元511执行与控制单元141的处理基本上相同的处理。当与控制单元141的配置相比时，控制单元511包括位深度差计算单元521而不是位深度差计算单元151，包括位移位控制单元522而不是位移位控制单元152，以及与控制单元141的情况类似，控制单元511包括加权系数设置单元153。此外，控制单元511包括颜色空间确定单元523。
与位深度差计算单元151的情况类似，位深度差计算单元521计算分量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元151的情况不同的是，位深度差计算单元521不将所计算的分量之间的位深度差(delta_bitdepth)提供至左移位单元163(预测单元412不包括左移位单元163)。
与位移位控制单元152的情况类似，位移位控制单元522控制由预测单元412执行的计算。然而，在由位深度差计算单元521计算的分量之间的残差数据的位深度差(delta_bitdepth)是零的情况下，位移位控制单元522使预测单元412不对位深度执行缩放，而是计算预测残差数据。另一方面，在由位深度差计算单元521计算的分量之间的残差数据的位深度差(delta_bitdepth)是正的情况下，位移位控制单元522使预测单元412对位深度执行缩放以计算预测残差数据。与之相反，在由位深度差计算单元521计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的情况下，位移位控制单元522通过控制预测单元412来禁止残差预测(使得不计算预测残差数据)。
此外，位移位控制单元522基于通过颜色空间确定单元523获取的图像的颜色空间的确定结果来控制由预测单元412执行的计算。例如，在由颜色空间确定单元523将图像的颜色空间确定为RGB的情况下，位移位控制单元522通过控制预测单元412来禁止残差预测(不计算预测残差数据)。
颜色空间确定单元523通过参考表示从VUI处理单元501提供的图像的颜色空间的信息(matrix_coffs)来确定图像的颜色空间。例如，在matrix_coffs＝0的情况下，颜色空间确定单元523确定图像的颜色空间是RGB。
换言之，在该实施方式的示例的情况下，与第三实施方式的情况类似，当由位深度差计算单元421计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的时，不执行位深度的缩放，换言之，不执行用于将位深度布置成在分量之间为一致的位移位。因此，如在第三实施方式中所述，与预测单元142的配置相比，预测单元412不包括左移位单元163。
<残差预测处理的流程>
在该实施方式的情况下，与第一实施方式的情况的编码处理类似地执行编码处理。将参照在图29中所示的流程图来描述在该实施方式中执行残差预测处理的流程的示例。
在图29中所示的示例的情况下，当开始残差预测处理时，在步骤S501中，位深度差计算单元521也计算针对其执行残差预测的分量之间的位深度差。换言之，位深度差计算单元521执行在公式(4)中表示的计算，以及计算亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差(delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间为不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S502中，位移位控制单元522确定在步骤501中计算的位深度差(delta_bitdepth)是否为零。在确定位深度差为零的情况下，处理进行至步骤S503。在这样的情况下，不执行位移位，但是如在公式(3)中所示地执行残差预测。
换言之，与根据第一实施方式的残差预测处理的步骤S123至步骤S125的处理类似地执行步骤S503至步骤S505的处理。然后，在步骤S505的处理结束或在步骤S503中确定不执行残差预测的情况下，残差预测处理结束，以及处理返回至图5中所示的处理。
此外，在步骤S502中，在确定位深度差(delta_bitdepth)不为零的情况下，处理进行至步骤S506。
在步骤S506中，颜色空间确定单元523基于表示从VUI处理单元501获取的图像的颜色空间的信息(matrix_coffs)来确定图像的颜色空间是否是RGB。在确定颜色空间不是RGB的情况下，处理进行至步骤S507。
在步骤S507中，位移位控制单元522确定在步骤501中计算的位深度差(delta_bitdepth)是否是正的。在确定在步骤S501中计算的位深度差是正的情况下，处理进行至步骤S508。在这样的情况下，如公式(6)中所示来执行残差预测(执行通过右移位的缩放)。
换言之，与根据第一实施方式的残差预测处理的步骤S127至步骤S129的处理类似地执行步骤S508至步骤S510的处理。然后，在步骤S510的处理结束或在步骤S508中确定不执行残差预测的情况下，残差预测处理结束，以及处理返回至图5中所示的处理。
另一方面，在步骤S506中，在颜色空间被确定为RGB或在步骤S507中位深度差(delta_bitdepth)被确定不为正(确定为负)的情况下，处理进行至步骤S511。
在步骤S511中，位移位控制单元522将用于控制是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)的值设置成表示不执行(禁止)残差预测(残差恢复)的值。例如，位移位控制单元522可以将luma_chroma_prediction_enabled_flag的值设置成零。
当步骤S511的处理结束时，残差预测处理结束，以及处理返回至图5中所示的处理。
通过这样地配置，在分量之间的残差数据的位深度差是负的，换言之，色差分量的位深度大于亮度分量的位深度时，并且存在即使在执行残差预测的情况下也不能获得足够的效果(不能充分地提高编码效率)的可能性的情况下，可以配置成不执行残差预测。此外，可以仅针对根据残差预测获得足够的效果(能够充分地提高编码效率)的颜色空间，执行残差预测。因此，根据图像编码装置100，由于可以省略不必要的残差预测，所以可以抑制编码效率的降低，以及可以抑制处理负荷的增加。
<头部获取单元和残差恢复单元>
在该情况下，图像解码装置200仍可以具有与第一实施方式的情况的图像解码装置基本上相同的配置。
图30是示出了该情况的头部获取单元221和残差恢复单元222的主要配置的示例的框图。如在图30中所示，在该情况下，当与第一实施方式的情况相比时，头部获取单元221还包括VUI获取单元541。此外，当与第一实施方式的情况相比时，残差恢复单元222包括控制单元551而不是控制单元241，以及包括恢复单元452而不是恢复单元242。
VUI获取单元541获取作为来自从编码侧提供的视频参数集(VPS)或序列参数集(SPS)的与视频的显示有关的数据的VUI，获取包括在VUI中的表示图像的颜色空间的信息(matrix_coffs)，以及将所获取的信息提供至残差恢复单元222(稍后待描述的颜色空间确定单元563)。
控制单元551执行与控制单元241的处理基本上相同的处理。当与控制单元241的配置相比时，控制单元551包括位深度差计算单元561而不是位深度差计算单元251以及包括位移位控制单元562而不是位移位控制单元252。此外，控制单元551包括颜色空间确定单元563。
与位深度差计算单元251的情况类似，位深度差计算单元561计算分量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元251的情况不同的是，位深度差计算单元561不将所计算的分量之间的位深度差(delta_bitdepth)提供至左移位单元263(恢复单元452不包括左移位单元263)。
与位移位控制单元252的情况类似，位移位控制单元562控制由恢复单元452执行的计算。然而，在由位深度差计算单元561计算的分量之间的残差数据的位深度差(delta_bitdepth)是零的情况下，位移位控制单元562使恢复单元452不对位深度执行缩放，而是恢复残差数据。另一方面，在由位深度差计算单元561计算的分量之间的残差数据的位深度差(delta_bitdepth)是正的情况下，位移位控制单元562使恢复单元452对位深度执行缩放以恢复残差数据。与之相反，在由位深度差计算单元561计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的情况下，位移位控制单元562通过控制恢复单元452来省略残差恢复(省略残差数据的恢复)。
此外，位移位控制单元562基于通过颜色空间确定单元563执行的图像的颜色空间的确定结果来控制由恢复单元452执行的计算。例如，在由颜色空间确定单元563将图像的颜色空间确定为RGB的情况下，位移位控制单元562通过控制恢复单元452来省略残差恢复(省略残差数据的恢复)。
颜色空间确定单元563通过参考从VUI获取单元541提供的表示图像的颜色空间的信息(matrix_coffs)来确定图像的颜色空间。例如，在matrix_coffs＝0的情况下，颜色空间确定单元563确定图像的颜色空间是RGB。
换言之，在该实施方式的示例的情况下，与第三实施方式的情况类似，当由位深度差计算单元561计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的时，不执行位深度的缩放，换言之，不执行用于将位深度布置成在分量之间为一致的位移位。因此，与恢复单元242的配置相比，恢复单元452不包括左移位单元263。
<残差恢复处理的流程>
在该实施例的情况下，与第一实施方式的情况类似地执行解码处理。将参照在图31中所示的流程图来描述在该实施方式的情况中的残差恢复处理的流程的示例。
在图31中所示的示例的情况下，当开始残差恢复处理时，在步骤S521中，位深度差计算单元561也计算针对其执行了残差预测的分量之间的位深度差。换言之，位深度差计算单元561执行在公式(10)中表示的计算，以及计算在亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差(delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间是不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S522中，位移位控制单元562确定在步骤S521中计算的位深度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进行至步骤S523。在这样的情况下，不执行位移位，以及按照在公式(9)中所示来执行残差恢复。
换言之，与根据第一实施方式的残差预测处理的步骤S223至步骤S225的处理类似地执行步骤S523至步骤S525的处理。然后，在步骤S525的处理结束或在步骤S523中确定没有执行残差预测的情况下，残差恢复处理结束，以及处理返回至图12中所示的处理。
另一方面，在步骤S522中，在确定位深度差(delta_bitdepth)不为零的情况下，处理进行至步骤S526。
在步骤S526中，颜色空间确定单元563基于从VUI获取单元541获取的表示图像的颜色空间的信息(matrix_coffs)来确定图像的颜色空间是否是RGB。在确定颜色空间是RGB的情况下，处理进行至步骤S527。
在步骤S527中，位移位控制单元562确定在步骤S521中计算的位深度差(delta_bitdepth)是否是正的。在确定在步骤S521中计算的位深度差是正的情况下，处理进行至步骤S528。在这样的情况下，如公式(12)中所示来执行残差预测(执行通过右移位的缩放)。
换言之，与根据第一实施方式的残差预测处理的步骤S227至步骤S229的处理类似地执行步骤S528至步骤S530的处理。然后，在步骤S530的处理结束或在步骤S528中确定没有执行残差预测的情况下，残差恢复处理结束，以及处理返回至图12中所示的处理。
此外，在步骤S526中颜色空间被确定为RGB或在步骤S527中确定位深度差(delta_bitdepth)不为正(确定为负)的情况下，不执行对位深度的缩放，以及省略了残差恢复。因此，在该情况下，残差恢复处理也结束，以及处理返回至图12中所示的处理。
通过这样地配置，在分量之间的残差数据的位深度差是负的，换言之，色差分量的位深度大于亮度分量的位深度，并且存在即使在执行残差预测的情况下也不能获得足够的效果(不能充分地提高编码效率)的可能性的情况下，不执行残差预测，以及可以配置成不根据残差预测执行残差恢复。此外，仅针对获取了执行残差预测的足够的效果(可以充分地提高编码效率)的颜色空间，执行残差预测，以及残差恢复可以被配置成不根据残差预测来执行。因此，根据图像解码装置200，由于可以省略不必要的残差恢复，所以可以抑制编码效率的降低，以及可以抑制处理负荷的增加。
<5.第五实施方式>
<加权系数的共用>
如上，尽管加权系数设置单元153已经被描述为针对每个分量独立地设置加权系数α，但是不限于针对每个分量独立地设置加权系数α的加权系数的设置。因此，加权系数设置单元153可以被配置成设置对于多个分量共用的加权系数α。例如，加权系数设置单元153可以被配置成设置对于色差分量Cr和色差分量Cb共用的加权系数α。
<语法和语义>
图32示出了在针对每个分量独立地设置加权系数α的情况下发送加权系数α的TU的语法的示例。在这样的情况下，如在图32中所示的施加斜线的图案的部分，针对色差分量Cr和色差分量Cb中的每个执行用于加权系数α的发送r的条件的确定，以及针对色差分量Cr和色差分量Cb中的每个来发送(调用luma_chroma_pred())加权系数α。在加权系数α的发送中，需要指定色差分量(Chroma)的分量数量(c)(例如，luma_chroma_pred(x0，y0，c)的“c”；在图32中所示的示例中，c＝“0”或“1”)。
在图33中示出了残差预测(Luma-chroma预测)的语法的示例。如图33中所示，在该语法中，也需要指定色差分量(Chroma)的分量数量(c)。
此外，在图34和图35中示出了语义的示例。如在这样的图中所示，在该语义中，也需要指定色差分量(Chroma)的分量数量(c)。
与之相反，图36示出了在使加权系数α通用的情况下发送加权系数α的TU的语法的示例。在这样的情况下，如在图36中示出的施加斜线的图案的部分，可以执行一次针对加权系数α的发送r和加权系数α的发送(调用luma_chroma_pred())的条件的确定。因此，通过这样地配置，可以降低图像编码装置100和图像解码装置200的负荷，以及可以减小要发送的信息的量，从而可以提高编码效率。此外，由于不需要指定色差分量(Chroma)的分量数量(c)，还可以提高编码效率。
在图37中示出了这样的情况的残差预测(Luma-chroma预测)的语法的示例。如在图37中所示，在该语法中，由于也不需要指定色差分量(Chroma)的分量数量(c)，所以可以进一步提高编码效率。
在图38和图39中示出了这样的情况的语义的示例。如在附图中所示，在该语义中，也不需要指定色差分量(Chroma)的分量数量(c)。因此，可以降低图像编码装置100和图像解码装置200的负荷。
本技术可以应用至作为本技术的可适用范围的能够对图像数据进行编码/解码的所有图像编码装置和图像解码装置。
此外，例如，本技术可以应用于下述图像编码装置和图像解码装置，所述图像编码装置和图像解码装置在通过网络介质比如卫星广播、有线电视、因特网或移动电话对使用正交变换比如离散余弦变换和运动补偿如MPEG、H.26x等压缩的图像信息(比特流)进行接收时使用。此外，本技术还可以应用于作为在存储介质比如光盘、磁盘或闪速存储器中处理信息时使用的图像编码装置和图像解码装置。
<6.第六实施方式>
<向多视点图像编码和多视点图像解码的应用>
上述一系列的处理可以应用于多视点图像编码/多视点图像解码。图40是示出了多视点图像编码系统的示例的图。
如在图40中所示，多视点图像包括多个视点(视图)的图像。多视点图像的多视图由基本视图和非基本视图构成，所述基本视图是在不使用其他视图的信息的情况下通过仅使用基本视图的图像来编码和解码的视图，所述非基本视图是使用其他视图的信息来编码和解码的视图。为了对非基本视图进行编码/解码，可以使用基本视图的信息或任何其他非基本视图的信息。
在对如在图40中示出的示例中的多视点图像进行编码和解码的情况下，尽管对每个视点的图像进行编码和解码，但是在第一实施方式至第五实施方式中的上述方法可以应用于每个视点的编码和解码。在这样的情况下，可以抑制每个视点的编码效率的降低。换言之，类似地，在多视点图像的情况下，也可以抑制编码效率的降低。
<多视点图像编码装置>
图41是示出了执行上述多视点图像编码的多视点图像编码装置的图。如在图41中所示，多视点图像编码装置600包括：编码单元601、编码单元602以及复用单元603。
编码单元601对基本视图图像进行编码，从而生成基本视图图像编码流。此外，编码单元602对非基本视图图像进行编码，从而生成非基本视图图像编码流。复用单元603对由编码单元601生成的基本视图图像编码流和由编码单元602生成的非基本视图图像编码流进行复用，从而生成多视点图像编码流。
例如，上述图像编码装置100可以应用作为多视点图像编码装置600的编码单元601和编码单元602。在这样的情况下，在多视点图像的编码中，也可以采用在第一实施方式至第五实施方式中描述的各种方法。换言之，多视点图像编码装置600可以抑制多视点图像的编码数据的编码效率的降低。
<多视点图像解码装置>
图42是示出了执行上述多视点图像解码的多视点图像解码装置的图。如在图42中所示，多视点图像解码装置610包括：解复用单元611、解码单元612以及解码单元613。
解复用单元611对通过复用基本视图图像编码流和非基本视图图像编码流获取的多视点图像编码流进行解复用，从而提取出基本视图图像编码流和非基本视图图像编码流。解码单元612对由解复用单元611提取的基本视图图像编码流进行解码，从而获取基本视图图像。解码单元613对由解复用单元611提取的非基本视图图像编码流进行解码，从而获取非基本视图图像。
例如，上述图像解码装置200可以应用作为多视点图像解码装置610的解码单元612和解码单元613。在这样的情况下，在多视点图像的经编码的数据的解码中，可以采用在第一实施方式至第五实施方式中描述的各种方法。换言之，多视点图像解码装置610可以正确地对使用第一实施方式至第五实施方式中描述的各种方法编码的多视点图像的经编码的数据进行解码。因此，多视点图像解码装置610可以抑制多视点图像的编码数据的编码效率的降低。
<7.第七实施方式>
<向分层图像编码/分层图像解码的应用>
上述一系列处理可以应用至分层图像编码/分层图像解码(可缩放编码/可缩放解码)。图43示出了分层图像编码系统的示例。
在分层编码(可缩放编码)中，图像被构造成多层(层次化)以针对预定的参数具有可缩放功能，以及针对每层对图像数据进行编码。分层图像解码(可缩放解码)是与分层图像编码对应的解码处理。
如在图43中所示，在层次化图像时，通过参考具有可缩放功能的预测参数，一个图像被划分成多个分层(层)。换言之，层次化图像(分层图像)包括具有彼此不同的预定参数的值的多个图像(层)。分层图像的多个层由基本层和非基本层构成，基本层是在不使用其他层的图像的情况下使用基本层的图像进行编码和解码的层，非基本层(也称为增强层)是使用其他层的图像进行编码和解码的层。非基本层可以被配置成使用基本层的图像或使用其他非基本层的图像。
通常，为了减小冗余，由非基本层的图像与其他层的图像之间的差分图像的数据(差分数据)来构成非基本层。例如，在一个图像被分层成包括基本层和非基本层(也称为增强层)的两层的情况下，通过仅使用基本层的数据来获取质量低于原始图像的质量的图像，以及通过将基本图像的数据与非基本层的数据进行合成来获取原始图像(换言之，高质量图像)。
通过用这种方式对图像进行分层，可以根据情况容易地获得各种质量的图像。例如，如在对于具有低处理性能的终端例如移动电话的情况下，仅发送基本层的图像压缩信息，以及再现具有低空间分辨率/时间分辨率或低图像质量的动态图像，以及对于具有高处理性能的终端例如电视机或个人计算机，除了发送基本层的图像压缩信息之外还发送增强层的图像压缩信息，以及再现具有高空间分辨率/时间分辨率的动态图像，可以在不执行转码(trans-code)处理的情况下从服务器发送根据终端或网络的性能的图像压缩信息。
在对如在图43中示出的示例中的分层图像进行编码和解码的情况下，尽管对每个层的图像进行编码和解码，但是在第一实施方式至第五实施方式中的上述方法可以应用于每层的编码和解码。在这样的情况下，可以抑制每层的编码效率的降低。换言之，类似地，在分层图像的情况下，也可以抑制编码效率的降低。
<可缩放参数>
在这样的分层图像编码/分层图像解码(可缩放编码/可缩放解码)中，具有可缩放功能的参数是任意的。例如，在图44中示出的空间分辨率可以被设置为该参数(空间可缩放性)。在该空间可缩放性的情况下，图像的分辨率针对每层而不同。换言之，如在图44中所示，每个图片被分层成基本层和增强层的两个层，基本层具有低于原始图像的空间分辨率，增强层通过与基本层的图像合成能够获取原始图像(原始空间分辨率)。明显的是，分层的数量是示例，可以使用任意数量的层来将图片进行分层。
例如，作为具有这样的可缩放性的参数，可以采用如在图45中示出的时间分辨率(时间可缩放性)。在该时间可缩放性的情况下，帧速率针对每层而不同。换言之，在该情况下，如在图45中所示，由于图像被分层成具有彼此不同帧速率的层，所以通过将较高帧速率的层添加到较低帧速率的层，可以获得具有较高帧速率的动态图像，以及通过将所有层相加，可以获得原始的动态图像(原始帧速率)。在此，分层的数量是示例，可以将图片分层为任意数量的层。
此外，例如，信噪比(SNR)可以用作具有这样的可缩放性的参数(SNR可缩放性)。在该SNR可缩放性的情况下，信噪比针对每层而不同。换言之，如在图46中所示，每个图片被分层成包括基本层和增强层的两个层，基本层具有比原始图像的SNR低的SNR，增强层通过与基本层的图像合成能够获得原始图像(原始SNR)。换言之，在基本层图像压缩信息中，发送与具有低PSNR的图像有关的信息，以及通过将增强层图像压缩信息与基本层图像压缩信息相加，可以重建具有高PSNR的图像。明显的是，分层的数量是示例，可以将图像分层成任意数量的层。
明显的是，具有可缩放性的参数可以是上述示例的参数之外的参数。例如，存在位深度可缩放性，其中，基本层由8位图像构成，以及通过将增强层与基本层相加，获取10位的图像。
此外，存在色度可缩放性，其中，基本层由4:2:0格式的分量图像构成，以及通过将增强层与基本层相加来获取4:2:2格式的分量图像。
<分层图像编码装置>
图47是示出了执行上述分层图像编码的分层图像编码装置的图。如在图47中所示，分层图像编码装置620包括：编码单元621、编码单元622以及复用单元623。
编码单元621对基本层图像进行编码，从而生成基本层图像编码流。此外，编码单元622对非基本视图进行编码，从而生成非基本层图像编码流。复用单元623对由编码单元621生成的基本层图像编码流和由编码单元622生成的非基本层图像编码流进行复用，从而生成分层图像编码流。
例如，上述图像编码装置100可以应用为分层图像编码装置620的编码单元621和编码单元622。在这样的情况下，在分层图像的编码中，也可以采用在第一实施方式至第五实施方式中描述的各种方法。换言之，分层图像编码装置620可以抑制分层图像的编码数据的编码效率的降低。
<分层图像解码装置>
图48是示出了执行上述分层图像解码的分层图像解码装置的图。如在图48中所示，分层图像解码装置630包括：解复用单元631、解码单元632以及解码单元633。
解复用单元631对复用基本层图像编码流和非基本层图像编码流的分层图像编码流进行解复用，从而提取出基本层图像编码流和非基本层图像编码流。解码单元632对由解复用单元631提取的基本层图像编码流进行解码，从而获取基本层图像。解码单元633对由解复用单元631提取的非基本层图像编码流进行解码，从而获取非基本层图像。
例如，上述图像解码装置200可以应用为分层图像解码装置630的解码单元632和解码单元633。在这样的情况下，在分层图像的经编码的数据的解码中，可以采用在第一实施方式至第五实施方式中描述的各种方法。换言之，分层图像解码装置630可以正确地对使用第一实施方式至第五实施方式中描述的各种方法编码的分层图像的图像数据进行解码。因此，分层图像解码装置630可以抑制分层图像的编码数据的编码效率的降低。
<8.第八实施方式>
<计算机>
上述一系列处理可以由硬件或由软件执行。在由软件执行该系列处理的情况下，构成软件的程序被安装至计算机。在此，计算机包括内置于专用硬件的计算机、可以通过在其中安装各种程序来执行各种功能的计算机例如通用个人计算机等。
图49是示出了根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在图49中所示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802以及随机存取存储器(RAM)803通过总线804互相连接。
此外，输入/输出接口810连接到总线804。输入单元811、输出单元812、存储单元813、通信单元814以及驱动器815连接至输入/输出接口810。
例如，输入单元811由键盘、鼠标、麦克风、触摸板、输入端子等来配置。例如，输出单元812由显示器、扬声器、输出端子等来配置。例如，存储单元813由硬盘、RAM盘、非易失性存储器等来配置。例如，通信单元814由网络接口来配置。驱动器815驱动磁盘、光盘、磁光盘或可移除介质821例如半导体存储器。
例如，在如上配置的计算机中，CPU 801将存储在存储单元813中的程序通过输入/输出接口810和总线804加载到RAM 803中，并且执行所加载的程序，从而执行上述一系列处理。此外，在RAM 803中适当地存储CPU 801执行各种处理需要的数据等。
例如，由计算机(CPU 801)执行的程序可以在记录在作为封装介质的可移除存储介质821等上的情况下使用。在这样的情况下，通过将可移除存储介质821加载到驱动器815中，可以通过输入/输出接口810将程序安装至存储单元813。
此外，可以通过有线或无线传输介质例如局域网、因特网、数字卫星广播来提供程序。在这样的情况下，程序可以由通信单元814接收，并安装至存储单元813。
此外，程序可以预先安装至ROM 802或存储单元813。
此外，由计算机执行的程序可以是根据在说明书中描述的顺序以时间序列的形式执行处理的程序，或以并行方式或在必要的定时例如在被调用时执行处理的程序。
此外，在该说明书中，描述记录在记录介质上的程序的步骤不仅包括根据描述的顺序以时间序列执行的处理，而且包括在不一定以时间序列处理的情况下以并行的方式或单独的方式执行的处理。
此外，在该说明书中，系统表示一组多个组成元件(设备、模块(部件)等)，以及所有组成元件不需要设置在相同的壳体中。因此，容纳在独立壳体中并且通过网络连接的多个装置和在一个壳体中容纳多个模块的一个装置都是系统。
此外，作为一个设备(或一个处理单元)的上述配置可以被划分以被配置成多个设备(或处理单元)。反之，作为多个设备(或处理单元)的上述配置可以被布置成配置为一个设备(或一个处理单元)。此外，可以将上面还没有被描述的配置添加到每个设备(或每个处理单元)的配置。只要系统的总体配置和总体操作基本上相同，特定设备(或特定处理单元)的配置的一部分可以被配置成包括在其他设备(或其他处理单元)的配置中。
尽管已经参照附图详细地描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这样的示例。明显的是，具有本公开内容的技术领域的普通知识的技术人员可以在所附权利要求书中描述的技术思想的范围内构思各种改变或修改，自然地，要理解的是，这样的改变和修改属于本公开内容的技术范围。
例如，本技术可以采用由多个设备通过网络划分一个功能并且协作地处理的云计算的配置。
此外，上述每个流程图中描述的每一步骤可以通过一个装置来执行或者可以以共享的方式通过多个装置来执行。
此外，在一个步骤中包括多个处理的情况下，包括在一个步骤中的多个处理可以通过一个装置来执行或可以以共享的方式通过多个装置来执行。
根据上述实施方式的图像编码装置和图像解码装置可以应用到各种电子装置：例如，用于有线广播比如卫星广播或有线TV、在因特网上的传输、通过蜂窝通信至终端的传输等的发射器或接收器；在介质例如光盘、磁盘或闪速存储器上记录图像的记录装置；或从存储介质中再现图像的再现装置。在下文中，将描述四个应用示例。
<9.第九实施方式>
<第一应用示例:电视接收器>
图50示出了应用上述实施方式的电视装置的示意性配置的示例。电视装置900包括：天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911以及总线912。
调谐器902从通过天线901接收的广播信号中提取期望的信道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调获取的经编码的比特流输出至解复用器903。换言之，调谐器902用作接收编码流的电视装置900的发送单元，在编码流中图像被编码。
解复用器903从经编码的比特流中分离要观看的节目的视频流与音频流，以及将每个分离的流输出至解码器904。此外，解复用器903从经编码的比特流中提取辅助数据例如电子节目指南(EPG)，以及将所提取的数据提供至控制单元910。此外，在经编码的比特流被加扰的情况下，解复用器903可以执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的音频数据，以及使显示单元906显示视频。视频信号处理单元905还可以使显示单元906显示通过网络提供的应用画面。此外，视频信号处理单元905可以根据设置执行另外的处理例如针对视频数据的噪声移除。此外，视频信号处理单元905可以生成图形用户界面(GUI)图像例如菜单、按钮以及光标，以及将所生成的图像叠加在输出图像上。
根据从视频信号处理单元905提供的驱动信号来驱动显示单元906以在显示设备(例如，液晶显示器、等离子体显示器、OELD(有机电致发光显示器(有机EL显示器)等)的视频画面上显示视频或图像。
音频信号处理单元907执行再现处理例如D/A转换和从解码器904输入的音频信号的放大，以及使扬声器908输出音频。此外，音频信号处理单元907可以执行另外的处理例如针对音频数据的噪声移除。
外部接口单元909是用于将电视装置900连接至外部设备或网络的接口。例如，可以通过解码器904对通过外部接口单元909接收的视频流或音频流进行解码。换言之，外部接口单元909还用作接收编码流的电视装置900的发送单元，在编码流中图像被编码。
控制单元910包括处理器例如CPU和存储器例如RAM或ROM。存储器存储由CPU执行的程序、节目数据、EPG数据、通过网络获取的数据等。例如，在电视装置900启动时由CPU读取存储在存储器中的程序并且执行该程序。例如，CPU通过执行该程序根据从用户接口单元911输入的操作信号来控制电视装置900的操作。
用户接口单元911被连接至控制单元910。例如，用户接口单元911包括用于用户操作电视装置900的按钮和开关、用于远程控制信号的接收单元等。用户接口单元911通过这样的部件检测用户的操作，生成操作信号，以及将所生成的操作信号输出至控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909以及控制单元910彼此连接。
在用这种方式配置的电视装置900中，解码器904具有根据上述实施方式的图像解码装置200的功能。换言之，解码器904可以通过使用对应的实施方式中描述的方法来正确地对使用第一实施方式至第五实施方式中描述的方法中的任一种方法对图像数据进行编码的经编码的数据进行解码。因此，电视装置900可以抑制编码效率的降低。
<第二应用示例:移动电话>
图51示出了应用上述实施方式的移动电话的示意性配置的示例。移动电话920包括：天线92、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。
天线921被连接至通信单元922。扬声器924和麦克风925被连接至音频编解码器923。操作单元932被连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930以及控制单元931彼此连接。
移动电话920在下述各种操作模式下执行操作例如音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像捕获以及数据的记录，所述各种操作模式包括：语言通话模式、数据通信模式、成像模式以及电视电话模式。
在语言通话模式下，由麦克风925生成的模拟音频信号被提供至音频编解码器923。音频编解码器923将模拟信号转换成音频数据，对经转换的音频数据执行A/D转换，以及压缩音频数据。然后，音频编解码器923将经压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成发送信号。然后，通信单元922将所生成的发送信号通过天线921发送至基站(未示出)。此外，通信单元922将通过天线921接收的无线信号进行放大，以及执行无线信号的频率转换，从而获取接收信号。然后，通信单元922通过对接收信号进行解调和解码来生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据执行解压缩和D/A转换，从而生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供至扬声器924以使音频被输出。
例如，在数据通信模式下，控制单元931根据通过操作单元932执行的用户的操作来生成构成电子邮件的字符数据。此外，控制单元931使显示单元930显示字符。控制单元931根据通过操作单元932来自用户的发送指令来生成电子邮件数据，以及将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制，从而生成发送信号。然后，通信单元922将所生成的发送信号通过天线921发送至基站(未示出)。此外，通信单元922对通过天线921接收的无线信号执行放大和频率转换，从而获取接收信号。然后，通信单元922对接收信号进行解调和解码以恢复电子邮件数据，以及将所恢复的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件数据的内容，以及将电子邮件数据提供至记录/再现单元929以使电子邮件数据被写到记录/再现单元929的记录介质上。
记录/再现单元929包括任意可读和可写的存储介质。例如，存储介质可以是内置的存储介质例如RAM和闪速存储器，或者可以是外部安装型的存储介质例如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器或存储卡。
例如，在成像模式下，摄像装置单元926对对象进行成像以生成图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，以及将编码流提供至记录/再现单元929以使编码流被写在记录/再现单元929的记录介质上。
在图像显示模式下，记录/再现单元929读取在记录介质上记录的编码流，以及将所读取的编码流提供至图像处理单元927。图像处理单元927对从记录/再现单元929输入的编码流进行解码，以及将图像数据提供至显示单元930以使图像数据中的图像被显示。
此外，例如，在电视-电话模式下，复用/分离单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，以及将产生的复用流输出至通信单元922。通信单元922对该流进行编码和调制，从而生成发送信号。然后，通信单元922将所生成的发送信号通过天线921发送至基站(未示出)。此外，通信单元922对通过天线921接收的无线信号执行放大和频率转换，从而获取接收信号。在经编码的比特流包括在其中的情况下获取发送信号和接收信号。然后，通信单元922通过对接收信号进行解调和解码来恢复该流，并且将所恢复的流输出至复用/分离单元928。复用/分离单元928将视频流和音频流从输入流中分离，以及将视频流和音频流相应地输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供至显示单元930，以及由显示单元930显示一系列图像。音频编解码器923对音频流执行解压缩和D/A转换，从而生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供至扬声器924以使音频被输出。
在用这种方式配置的移动电话920中，图像处理单元927具有根据上述实施方式的图像编码装置100和图像解码装置200的功能。换言之，图像处理单元927可以使用在第一实施方式至第五实施方式中描述的方法中的任一种方法来对图像数据进行编码，以及可以通过使用在对应的实施方式中描述的方法来正确地对由编码处理获取的经编码的数据进行解码。因此，移动电话920可以抑制编码效率的降低。
<第三应用示例:记录和再现装置>
图52是示出了应用上述实施方式的记录/再现装置的示意性配置的示例的框图。例如，记录/再现装置940对接收的广播节目的音频数据和视频数据进行编码，以及在记录介质上记录经编码的数据。此外，例如，记录/再现装置940可以对从另一装置获取的音频数据和视频数据进行编码，以及在记录介质上记录经编码的数据。此外，例如，记录/再现装置940根据用户的指示使用显示器和扬声器来再现记录在记录介质上的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括：调谐器941、外部接口(I/F)单元942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏上显示装置(OSD)948、控制单元949以及用户接口(I/F)单元950。
调谐器941从通过天线(未示出)接收的广播信号中提取期望的信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调处理获取的经编码的比特流输出至选择器946。换言之，调谐器941用作记录/再现装置940的发送单元。
外部接口单元942是用于将记录/再现装置940与外部设备或网络连接的接口。例如，外部接口单元942可以是电气与电子工程师协会(IEEE)1394接口、网络接口、USB接口、闪速存储器接口等。例如，通过外部接口单元942接收的视频数据和音频数据被输入至编码器943。换言之，外部接口单元942用作记录/再现装置940的发送单元。
在没有对从外部接口单元942输入的视频数据和音频数据进行编码的情况下，编码器943在从外部接口单元942输入视频数据和音频数据时对视频数据和音频数据进行编码。然后，编码器943将经编码的比特流输出至选择器946。
HDD 944将经编码的比特流、各种程序以及其他数据记录在内部硬盘中，在经编码的比特流中，内容数据例如视频和音频被压缩。当再现视频和音频时，HDD 944从硬盘读取数据。
盘驱动器945在被加载的记录介质上记录数据，并且从被加载的记录介质中读取数据。例如，被加载至盘驱动器945的记录介质可以是数字多功能盘(DVD)盘(DVD-视频、DVD-RAM(DVD-随机存取存储器)、DVD-可记录(DVD-R)、DVD-可重写(DVD-RW)、DVD+可记录(DVD+R)、DVD+可重写(DVD+RW)等)、蓝光(注册商标)盘等。
当视频和音频被记录时，选择器946选择从调谐器941或编码器943输入的经编码的比特流，以及将所选择的经编码的比特流输出至HDD 944或盘驱动器945。此外，当视频和音频被再现时，选择器946将从HDD 944或盘驱动器945输入的经编码的比特流输出至解码器947。
解码器947对经编码的比特流进行解码以生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD 948。此外，解码器947将所生成的音频数据输出至外部扬声器。
OSD 948再现从解码器947输入的视频数据，从而显示视频。OSD 948可以将GUI例如菜单、按钮、光标的图像叠加在显示的视频上。
控制单元949包括处理器例如CPU和存储器例如RAM或ROM。存储器存储由CPU执行的程序、节目数据等。例如，在记录/再现装置940启动时由CPU读取存储器中存储的程序并且执行该程序。例如，CPU通过执行该程序根据从用户接口单元950输入的操作信号来控制记录/再现装置940的操作。
用户接口单元950被连接至控制单元949。例如，用户接口单元950包括用于用户操作记录/再现装置940的按钮和开关、用于远程控制信号的接收单元。用户接口单元950通过组成元件来检测用户的操作以生成操作信号，以及将所生成的操作信号输出至控制单元949。
在用这种方式配置的记录/再现装置940中，编码器943具有根据上述实施方式的图像编码装置100的功能。换言之，编码器943可以使用在第一实施方式至第五实施方式中描述的方法中的任一种方法来对图像数据进行编码。此外，解码器947具有根据上述实施方式的图像解码装置200的功能。换言之，解码器947可以通过使用对应的实施方式中描述的方法来正确地对使用第一实施方式至第五实施方式中描述的方法中的任一种方法进行编码的经编码的数据进行解码。因此，记录/再现装置940可以抑制编码效率的降低。
<第四应用示例:成像装置>
图53示出了应用上述实施方式的成像装置的示意性配置的示例。成像装置960对对象进行成像以生成图像，对图像数据进行编码，以及在记录介质上记录经编码的图像数据。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口(I/F)单元966、存储单元967、介质驱动器968、OSD 969、控制单元970、用户接口(I/F)单元971以及总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口单元971被连接至控制单元970。总线972将图像处理单元964、外部接口单元966、存储单元967、介质驱动器968、OSD 969以及控制单元970彼此连接。
光学块961包括聚焦透镜、光圈机构等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括图像传感器例如电荷耦合器件(CCD)以及互补金属氧化物半导体(CMOS)，以及将形成在成像表面上的光学图像通过光电转换来转换成为电信号的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。
信号处理单元963针对从成像单元962输入的图像信号执行各种摄像装置信号处理例如拐点校正、伽玛校正、颜色校正等。信号处理单元963将在摄像装置信号处理之后的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码以生成经编码的数据。然后，图像处理单元964将所生成的经编码的数据输出至外部接口单元966或介质驱动器968。此外，图像处理单元964对从外部接口单元966或介质驱动器968输入的经编码的数据进行解码以生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以显示图像。此外，图像处理单元964可以将从OSD 969获取的供显示的数据叠加在输出至显示单元965的图像上。
例如，OSD 969生成GUI例如菜单、按钮、光标等的图像，以及将所生成的图像输出至图像处理单元964。
例如，外部接口单元966被配置为USB输入/输出端子。例如，外部接口单元966在打印图像时将成像装置960与打印机连接。此外，根据需要将驱动器连接至外部接口单元966。可移除介质例如磁盘或光盘被加载至驱动器中，以及从可移除介质读取的程序可以被安装至成像装置960。此外，外部接口单元966可以被配置为连接至网络例如LAN、因特网等的网络接口。换言之，外部接口单元966用作成像装置960的发送单元。
例如，加载至介质驱动器968中的记录介质可以是任意可读/可写的可移除介质例如磁盘、磁光盘、光盘或半导体存储器。此外，可以被配置为使得记录介质固定地安装至介质驱动器968以配置非便携式存储单元例如内置硬盘驱动器或固态驱动器(SSD)。
控制单元970包括处理器例如CPU和存储器例如RAM或ROM。存储器存储由CPU执行的程序、节目数据等。例如，在成像装置960启动时由CPU读取存储器中存储的程序并且执行该程序。例如，CPU通过执行该程序根据从用户接口单元971输入的操作信号来控制成像装置960的操作。
用户接口单元971被连接至控制单元970。例如，用户接口单元971包括供用户操作成像装置960的按钮、开关等。用户接口单元971通过组成元件来检测用户的操作以生成操作信号，以及将所生成的操作信号输出至控制单元970。
在用这种方式配置的成像装置960中，图像处理单元964具有根据上述实施方式的图像编码装置100和图像解码装置200的功能。换言之，图像处理单元964可以使用在第一实施方式至第五实施方式中描述的方法中的任一种方法来对图像数据进行编码，以及可以通过使用在对应的实施方式中描述的方法来正确地对由编码处理获取的经编码的数据进行解码。因此，成像装置960可以提高编码效率。
此外，本技术还可以应用到HTTP流送例如MPEG或DASH，HTTP流送从预先准备的具有彼此不同的分辨率等的多片经编码的数据中以分段为单位选择和使用适当的经编码的数据。换言之，在所述多片经编码的数据中，可以共享与编码和解码有关的信息。
<10.第十实施方式>
<其他示例>
尽管已经如上地描述了应用本技术的装置、系统等的示例，但是本技术不限于此。因此，本技术还可以被实现为：安装在装置中的所有部件或者构成系统的装置例如处理器如系统大规模集成(LSI)等；使用多个处理器等的模块；使用多个模块等的单元；以及通过将其他功能添加至单元(换言之，装置的配置的一部分)获取的设备。
<视频设备>
将参照图54来描述本技术被实现为设备的情况的示例。图54示出了应用本技术的视频设备的示意性配置的示例。
近来，已经推进了电子装置中的多个功能的实现，在每个电子装置的开发或制造中，在销售或供应等中执行配置的一部分的情况下，经常地，不仅存在该部分被执行为具有一个功能的配置的情况，而且存在通过结合具有相关功能的多个配置使得该部分被执行为具有多个功能的一个设备的情况。
在图54中示出的视频设备1300具有下述配置：具有多个功能并且通过将具有与图像的编码/解码(编码和解码中的一个或编码和解码两者)有关的功能的装置与具有与该功能有关的其他功能的装置进行组合而获取的配置。
如在图54中所示，视频设备1300包括：模块组例如视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314和具有相关功能的装置例如连接部1321、摄像装置1322以及传感器1323。
模块是具有包含通过将彼此有关的几个部件功能进行聚集来获取的一致性的功能的不加。具体的物理配置是任意的，例如，可以考虑如下配置：其中，具有相应的功能的多个处理器、电子电路部件例如电阻器和电容器以及其他装置被布置成在布线板等中集成。此外，可以考虑通过将一个模块与其他模块、处理器等组合来形成新模块。
在图54中所示的示例的情况下，通过将具有与图像处理有关的功能的配置进行组合来构成视频模块1311，视频模块1311包括：应用处理器、视频处理器、宽带调制解调器1333以及射频(RF)模块1334。
经由片上系统(SoC)通过将具有预定功能的配置集成在半导体芯片上来形成处理器，例如，存在被称为大规模集成(LSI)等的处理器。具有预定功能的配置可以是：逻辑电路(硬件配置)；包括CPU、ROM、RAM等的配置；以及使用部件执行的程序(软件配置)；或通过将硬件配置与软件配置结合获取的配置。例如，可以配置成使得处理器包括逻辑电路、CPU、ROM、RAM等，由逻辑电路(硬件配置)来实现处理器的一些功能，以及通过由CPU执行的程序(软件配置)来实现其他功能。
在图54中示出的应用处理器1331是执行与图像处理有关的处理器。为了实现预定的功能，由该应用处理器1331执行的应用不仅执行计算处理而且可以根据需要控制视频模块1311的内部/外部的配置例如视频处理器1332。
视频处理器1332是具有与图像的编码/解码(编码和编码中的一者或编码和解码两者)有关的功能的处理器。
宽带调制解调器1333将经由通过宽带通信线例如因特网或公共电话交换网络执行的有线或无线(或有线和无线)宽带通信传输的数据(数字信号)通过数字调制处理等转换成模拟信号，或者将经由宽带通信接收的模拟信号通过解调处理转换成数据(数字信号)。宽带调制解调器1333处理任意的信息例如由视频处理器1332处理的图像数据、其中图像数据被编码的流、应用程序以及设置数据。
RF模块1334是针对通过天线发射或接收的射频(RF)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334针对由宽带调制解调器1333生成的专用线连接系统信号执行频率转换等，从而生成RF信号。此外，例如，RF模块1334针对通过前端模块1314接收的RF信号执行频率转换等，从而生成专用线连接系统信号。
如在图54中由虚线1341所示，应用处理器1331和视频处理器1332可以被集成以被配置为一个处理器。
外部处理器1312是布置在视频模块1311的外部的模块，以及外部处理器1312具有由视频模块1311使用的存储器设备。尽管外部存储器1312的存储器设备可以由某一物理配置来实现，但是通常，存储器设备经常用于存储大量的数据例如以帧为单位配置的图像数据。因此，优选的是，以相对较低的成本由大容量的半导体存储器例如动态随机存取存储器(DRAM)来实现存储器设备。
电力管理模块1313管理和控制至视频模块1311(布置在视频模块1311内的每个配置)的电力的提供。
前端模块1314是提供针对RF模块1334的前端功能(在天线侧的发射/接收端的电路)的模块。如在图54中所示，例如，前端模块1314包括：天线单元1351、滤波器1352以及放大单元1353。
天线单元1351包括发射和接收无线信号的天线和外围配置。天线单元1351将从放大单元1353提供的信号作为无线信号进行发射，以及将所接收的无线信号作为电信号(RF信号)提供至滤波器1352。滤波器1352针对通过天线单元1351接收的RF信号执行滤波处理等，以及将经处理之后的RF信号提供至RF模块1334。放大单元1353将从RF模块1334提供的RF信号进行放大，以及将经放大的RF信号提供至天线单元1351。
连接部1321是具有与外部连接有关的功能的模块。连接部1321的物理配置是任意的。例如，连接部1321包括具有根据不同于符合宽带调制解调器1333的通信标准的通信标准的通信功能的配置、外部输入/输出端子等。
例如，连接部1321可以被配置成包括：具有符合无线电通信标准例如蓝牙(注册商标)、IEEE 802.11(例如，无线保真；注册商标(Wi-Fi)、近场通信(NFC)、或红外数据协会(IrDA)的通信功能的模块；发射和接收符合该标准的信号的天线等。此外，例如，连接部1321可以被配置成包括：具有符合有线通信标准例如通用串行总线(USB)或高清多媒体接口(HDMI(注册商标))的通信功能的模块以及符合该标准的端子。此外，例如，连接部1321可以被配置成具有模拟输入/输出端子等的其他数据(信号)传输功能。
此外，连接部1321可以被配置成包括数据(信号)的传输目的地的设备。例如，连接部1321可以被配置成包括从记录介质例如磁盘、光盘、磁光盘或半导体存储器读取数据/向所述记录介质写入数据的驱动器(不仅包括可移除介质的驱动器而且包括硬盘、固态驱动器(SSD)、网络附接存储器(NAS)等的驱动器)。此外，连接部1321可以被配置成包括图像或声音的输出设备(监视器、扬声器等)。
摄像装置1322是具有通过对对象进行成像来获取对象的图像数据的功能的模块。例如，通过由摄像装置1322执行的成像处理获取的图像数据被提供至视频处理器1332并且被编码。
传感器1323是具有下述任意传感器的功能的模块：例如声音传感器、超声传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、冲击传感器或温度传感器。例如，由传感器1323检测到的数据被提供至应用处理器1331，以及由应用程序等使用。
上述作为模块的配置可以被实现为处理器。反之，上述作为处理器的配置可以被实现为模块。
如稍后将描述的，在具有上述配置的视频设备1300中，本技术可以应用到视频处理器1332。因此，视频设备1300可以被执行为应用本技术的设备。
<视频处理器的配置示例>
图55示出了应用本技术的视频处理器1332(图54)的示意性配置的示例。
在图55中所示的示例的情况下，视频处理器1332具有用于根据预定系统接收视频信号和音频信号的输入并且对视频信号和音频信号进行编码的功能，以及用于对经编码的视频数据和经编码的音频数据进行解码并且再现和输出视频信号和音频信号的功能。
如在图55中所示，视频处理器1332包括：视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405以及存储器控制单元1406。此外，视频处理器1332包括：编码/解码引擎1407、视频基本流(ES)缓冲器1408A和视频基本流缓冲器1408B以及音频ES缓冲器1409A和音频ES缓冲器1409B。此外，视频处理器1332包括：音频编码器1410、音频解码器1411、复用单元(复用器(MUX)1412、解复用单元(解复用器(DMUX))1413以及流缓冲器1414。
例如，视频输入处理单元1401获取从连接部1321(图54)等输入的视频信号，以及将视频信号转化数字图像数据。第一图像放大/缩小单元1402针对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403针对图像数据根据经由视频输出处理单元1404的输出目的地的格式执行图像放大/缩小处理、与第一图像放大/缩小单元1402的格式转换类似的格式转换、图像放大/缩小处理等。视频输出处理单元1404针对图像数据执行格式转换、至模拟信号的转换等，以及例如，将产生的信号输出至连接部1321等作为再现的视频信号。
帧存储器1405是用于由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404以及编码/解码引擎1407共享的图像数据的存储器。例如，帧存储器1405由半导体存储器例如DRAM来实现。
存储器控制单元1406从编码/解码引擎1407接收同步信号，以及根据写入访问管理表1406A的用于访问帧存储器1405的访问计划表来控制至帧存储器1405的针对读/写的访问。由存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理来由存储器控制单元1406更新访问管理表1406A。
编码/解码引擎1407对图像数据执行编码处理以及对通过对图像数据进行编码获取的数据的视频流执行解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，以及将图像数据顺序地写入视频ES缓冲器1408A作为视频流。此外，例如，编码/解码引擎1407顺序地读取从视频ES缓冲器1408B提供的视频流，以及对从视频ES缓冲器1408B提供的视频流进行解码，以及顺序地将经解码的视频流写入帧存储器1405作为图像数据。编码/解码引擎1407在这样的编码/解码处理中使用帧存储器1405作为工作区。此外，例如，编码/解码引擎1407在开始针对每个宏块的处理时的定时将同步信号输出至存储器控制单元1406。
视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲，以及将所缓冲的视频流提供至复用单元(MUX)1412。视频ES缓冲器1408B对从解复用单元(DMUX)1413提供的视频流进行缓冲，以及将所缓冲的视频流提供至编码/解码引擎1407。
音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲，以及将所缓冲的音频流提供至复用单元(MUX)1412。音频ES缓冲器1409B对从解复用器(DMUX)1413提供的音频流进行缓冲，以及将所缓冲的音频流提供至音频解码器1411。
例如，音频解码器1410将从连接部1321等输入的音频信号转换成数字信号，以及根据预定系统例如MPEG音频系统或音频码编号3(AC 3)系统来对经转换的数字信号进行编码。音频编码器1410将均为通过对音频信号进行编码获取的数据的音频流顺序地写入音频ES缓冲器1409A。例如，音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，以及例如，针对经解码的音频流执行至模拟信号的转换等，以及例如将产生的信号提供至连接部1321等作为再现的音频信号。
复用单元(MUX)1412对视频流和音频流进行复用。该复用处理的方法(换言之，由复用处理生成的比特流的格式)是任意的。此外，在复用处理中，复用单元(MUX)1412可以将预定头部信息等添加至比特流。换言之，复用单元(MUX)1412可以通过复用处理来转换流的格式。例如，通过对视频流和音频流进行复用，复用单元(MUX)1412将所述流转换成作为传输格式的比特流的传输流。此外，例如，通过对视频流和音频流进行复用，复用单元(MUX)1412将所述流转换成记录文件格式的数据(文件数据)。
解复用单元(DMUX)1413对下述比特流进行解复用，在所述比特流中，使用与由复用单元(MUX)1412执行的复用处理对应的方法对视频流和音频流进行复用。换言之，解复用单元(DMUX)1413从自流缓冲器1414中读取的比特流中提取视频流和音频流(将视频流与音频流彼此分离)。换言之，解复用单元(DMUX)1413可以通过解复用处理(由复用单元(MUX)1412执行的转换的逆转换)来转换流的格式。例如，解复用单元(DMUX)1413通过流缓冲器1414获取例如从连接部1321、宽带调制解调器1333等提供的传输流，对所提供的传输流进行解复用，从而将传输流转换成视频流和音频流。此外，例如，解复用单元(DMUX)1413通过流缓冲器1414获取经由连接部1321从各种记录介质中读取的文件数据，以及对所获取的文件数据进行解复用，从而将文件数据转换成视频流和音频流。
流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用单元(MUX)1412提供的传输流进行缓冲，以及以预定定时或基于来自外部的请求等将所缓冲的传输流例如提供至连接部1321、宽带调制解调器1333等。
此外，例如，流缓冲器1414对从复用单元(MUX)1412提供的文件数据进行缓冲，以及例如，将所缓冲的文件数据以预定的定时、根据来在外部的请求等提供至连接部1321等以将其记录在各种记录介质上。
此外，例如，流缓冲器1414对通过连接部1321、宽带调制解调器1333等获取的传输流进行缓冲，以及将所缓冲的传输流以预定定时或基于来自外部的请求等提供至解复用单元(DMUX)1413。
此外，流缓冲器1414对通过连接部1321等从各种记录介质中读取的文件数据进行缓冲，以及以预定的定时或根据来自外部的请求等将所缓冲的文件数据提供至解复用单元(DMUX)1413。
接下来，将描述具有这样的配置的视频处理器1332的操作的示例。例如，从连接部1321等输入至视频处理器1332的视频信号在视频输入处理单元1401中被转换成预定系统例如4:2:2Y/Cb/Cr系统的数字图像数据，以及被顺序地写入帧存储器1405中。该数字图像数据被第一图像放大/缩小单元1402或第二图像放大/缩小单元1403读取，针对所读取的数字图像数据执行至预定系统例如4:2:0Y/Cb/Cr系统的格式转换和放大/缩小处理，以及产生的数字图像数据被重新写入帧存储器1405中。该图像数据由编码/解码引擎1407进行编码并且被写入视频ES缓冲器1408A中作为视频流。
此外，从连接部1321等输入至视频处理器1332的音频信号由音频编码器1410进行编码并且被写入音频ES缓冲器1409A作为音频流。
在视频ES缓冲器1408A中的视频流和在音频ES缓冲器1409A中的音频流由复用单元(MUX)1412读取并且进行复用，以及被转换成传输流、文件数据等。由复用单元(MUX)1412生成的传输流被缓冲在流缓冲器1414中，然后，所述传输流被例如通过连接部1321、宽带调制解调器1333等输出至外部网络。此外，由复用单元(MUX)1412生成的文件数据被缓冲在流缓冲器1414中，然后，所述文件数据被例如输出至连接部1321等以及被记录在各种记录介质上。
此外，例如，经由连接部1321、宽带调制解调器1333等从外部网络输入至视频处理器1332的传输流被缓冲在流缓冲器1414中，然后，由解复用单元(DMUX)1413对所述传输流进行解复用。此外，例如，通过连接部1321等从各种记录介质读取并且输入至视频处理器1332的文件数据被缓冲在流缓冲器1414中，然后，由解复用单元(DMUX)1413对所述文件数据进行解复用。换言之，输入至视频处理器1332的传输流或文件数据被解复用单元(DMUX)1413分成视频流和音频流。
音频流被通过音频ES缓冲器1409B提供至音频解码器1411并且被解码，以及再现音频信号。此外，视频流被写入视频ES缓冲器1408B中，然后被由编码/解码引擎1407顺序地读取和解码，以及被写入帧存储器1405中。经解码的图像数据被处理以由第二图像放大/缩小单元1403进行放大或缩小，以及被写入帧存储器1405中。然后，由视频输出处理单元1404读取的经解码的图像数据被根据预定系统例如4:2:2Y/Cb/Cr系统等转换成另一格式，以及还被转换成模拟信号，以及再现并且输出视频信号。
在本技术应用至这样配置的视频处理器1332的情况下，与上述每个实施方式有关的本技术可以应用至编码/解码引擎1407。换言之，例如，编码/解码引擎1407可以被配置成具有与上述实施方式有关的图像编码装置100和图像解码装置200的功能。通过这样地配置，视频处理器1332可以具有与上面参照图1至图39描述的优点相同的优点。
此外，在编码/解码引擎1407中，可以由硬件例如逻辑电路或软件例如嵌入式程序来实现或者可以由硬件和软件两者来实现本技术(换言之，根据上述每个实施方式的图像编码装置和图像解码装置的功能)。
<视频处理器的另一配置示例>
图56示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图56示出的示例的情况下，视频处理器1332具有根据预定系统对视频数据进行编码和解码的功能。
此外，具体地，如在图56中所示，视频处理器1332包括：控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332包括：编解码引擎1516、存储器接口1517、复用/解复用单元(MUX DMUX)1518、网络接口1519以及视频接口1520。
控制单元1511控制在视频处理器1332内部布置的每个处理单元例如显示接口1512、显示引擎1513、图像处理引擎1514以及编解码引擎1516的操作。
如在图56中所示，例如，控制单元1511包括：主CPU 1531、子CPU 1532以及系统控制器1533。主CPU 1531执行用于控制在视频处理器1332内部布置的每个处理单元等的操作的程序。主CPU 1531根据该程序等生成控制信号，以及将控制信号提供至每个处理单元(换言之，控制每个处理单元的操作)。子CPU 1532实现主CPU 1531的辅助作用。例如，子CPU1532执行由主CPU 1531执行的程序的子进程、子例程等。系统控制器1533通过执行要由主CPU 1531和子CPU 1532执行的程序等的指定来控制主CPU 1531和子CPU 1532的操作。
例如，显示接口1512在控制单元1511的控制下将图像数据输出至连接部1321等。例如，显示接口1512将作为数字数据的图像数据转换成模拟信号，以及输出模拟信号作为至连接部1321等的监视设备的数字数据的再现的视频信号或图像数据。
显示引擎1513在控制单元1511的控制下针对图像数据执行各种转换处理例如格式转换、大小转换以及色域转换以匹配显示图像的监视设备等的硬件规范。
图像处理引擎1514在控制单元1511的控制下针对图像数据执行预定的图像处理例如用于提高图像质量的滤波处理等。
内部存储器1515是由显示引擎1513、图像处理引擎1514以及编解码引擎1516共享的存储器，以及被设置在视频处理器1332的内部。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514以及编解码引擎1516之间的数据传输。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516提供的数据，以及根据需要(例如，根据请求)将所述数据提供至显示引擎1513、图像处理引擎1514或编解码引擎1516。该内部存储器1515可以通过使用各种存储设备来实现。然而，通常，内部存储器常常用于存储具有较小量的数据例如以块为单位的数据和参数，因此，优选地使用具有相对较小容量(与外部存储器1312相比)并且具有高响应速度的半导体存储器例如静态随机存取存储器(SRAM)来实现内部存储器。
编解码引擎1516执行与图像数据的编码和解码有关的处理。编解码引擎1516兼容的编码/解码系统是任意的，编码/解码系统的数量可以是一个或多个。例如，可以配置成使得编解码引擎1516可以具有用于多个编码/解码系统的编解码功能，以及编解码引擎1516可以被配置成通过使用选择的编码/解码系统中的一个来执行图像数据的编码或经编码的数据的解码。
在图56中所示的示例中，例如，编码解码引擎1516包括：MPEG-2视频1514、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551作为用于与编解码有关的处理的功能块。
MPEG-2视频1541是根据MPEG-2系统对图像数据进行编码或解码的功能块。AVC/H.264 1542是根据AVC系统对图像数据进行编码或解码的功能块。HEVC/H.265 1543是根据HEVC系统对图像数据进行编码或解码的功能块。HEVC/H.265(可缩放)1544是根据HEVC系统对图像数据进行可缩放编码或可缩放解码的功能块。HEVC/H.265(多视图)1545是根据HEVC系统对图像数据进行多视图编码或多视图解码的功能块。
MPEG-DASH 1551是根据在HTTP(MPEG-DASH)系统之上的MPEG动态自适应流送来发送和接收图像数据的功能块。MPEG-DASH是用于使用超文本传输协议(HTTP)执行视频流送的技术，MPEG-DASH的特征中的一个是在预先准备的具有彼此不同的分辨率等的多片经编码的数据中的适当的经编码的数据以分段(segment)为单位被选择和传输。MPEG-DASH1551执行符合标准的流的生成、流的传输控制等，以及使用用于对图像数据进行编码和解码的上述的MPEG-2视频1541至HEVC/H.265(多视图)1545。
存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码引擎1516提供的数据被通过存储器接口1517提供至外部存储器1312。此外，从外部存储器1312读取的数据被通过存储器接口1517提供至视频处理器1332(图像处理引擎1514或编解码引擎1516)。
复用/解复用单元(MUX DMUX)1518对与图像有关的各种数据例如经编码的数据的比特流、图像数据以及视频信号执行复用和解复用。用于复用/解复用的方法是任意的。例如，在执行复用时，复用/解复用单元(MUX DMUX)1518不仅可以将多片数据布置成一个而且可以将预定的头部信息等添加至数据。此外，在执行解复用时，复用/解复用单元(MUXDMUX)1518不仅可以将一片数据划分成多个部分而且可以将预定的头部信息等添加至每个划分的数据部分。换言之，复用/解复用单元(MUX DMUX)1518可以通过复用/解复用处理来转换数据的格式。例如，复用/解复用单元(MUX DMUX)1518可以通过对比特流进行复用来将比特流转换成传输流，传输流是传输格式的比特流或记录文件格式的数据(文件数据)。明显的是，可以由解复用处理执行其逆转换。
例如，网络接口1519是专用于宽带调制解调器1333、连接部1321等的接口。例如，视频接口1520是专用于连接部1321、摄像装置1322等的接口。
接下来，将描述这样的视频处理器1332的操作的示例。例如，当通过连接部1321、宽带调制解调器1333等从外部网络接收传输流时，传输流被通过网络接口1519提供至复用/解复用单元(MUX DMUX)1518，传输流被解复用并由编解码引擎1516进行解码。针对通过由编解码引擎1516执行的解码处理获取的图像数据，例如，由图像处理引擎1514执行预定的图像处理，以及由显示引擎1513执行预定的转换。然后，例如，产生的图像数据被通过显示接口1512提供至连接部1321，以及产生的图像数据中的图像在监视器上显示。此外，例如，通过由编解码引擎1516执行的解码处理获取的图像数据被由编解码引擎1516重新编码，以及由复用/解复用单元(MUX DMUX)1518进行复用，被转换成文件数据，以及例如，被通过视频接口1520输出至连接部1321等，以及被记录在各种记录介质上。
此外，例如，经由连接部1321等从记录介质(未示出)读取的通过对图像数据进行编码获取的经编码的数据的文件数据被通过视频接口1520提供至复用/解复用单元(MUXDMUX)1518，被解复用，以及被编解码引擎1516进行解码。针对通过由编解码引擎1516执行的解码处理获取的图像数据，由图像处理引擎1514执行预定的图像处理，以及由显示引擎1513执行预定的转换。然后，例如，产生的图像数据被通过显示接口1512提供至连接部1321等，以及产生的图像数据中的图像在监视器上显示。此外，例如，通过由编解码引擎1516执行的解码处理获取的图像数据被由编解码引擎1516重新编码，以及由复用/解复用单元(MUX DMUX)1518进行复用，被转换成传输流，以及例如，被通过网络接口1519提供至连接部1321、宽度调制解调器1333等，以及被传输至其他装置(未示出)。
在此，例如，使用内部存储器1515或外部存储器1312执行在视频处理器1332内部布置的每个处理单元之间的图像数据和其他数据的发送/接收。此外，例如，电力管理模块1313控制至控制单元1511的电力提供。
在本技术应用至这样配置的视频处理器1332的情况下，根据上述每个实施方式的本技术可以应用至编解码引擎1516。换言之，例如，编解码引擎1516可以被配置成包括实现根据上述实施方式的图像编码装置100和图像解码装置200的功能块。通过这样地配置，视频处理器1332可以获取与上面参照图1至图39描述的优点相同的优点。
此外，在编解码引擎1516中，可以由硬件例如逻辑电路或软件例如嵌入式程序来实现或者可以由硬件和软件两者来实现本技术(换言之，根据上述每个实施方式的图像编码装置和图像解码装置的功能)。
尽管上面已经描述了视频处理器1332的配置的示例，但是视频处理器1332的配置是任意的，以及可以是不同于上述两个示例的配置。在此，视频处理器1332可以被配置为一个半导体芯片或多个半导体芯片。例如，视频处理器可以被配置为三维堆叠的LSI。此外，可以由多个LSI实现视频处理器。
<应用于装置的示例>
视频设备1300可以内置于处理图像数据的各种装置中。例如，视频设备1300可以内置于电视装置900(图50)、移动电话920(图51)、记录/再现装置940(图52)、成像装置960(图53)等中。通过在装置中内置视频设备1300，该装置可以获取与上面参照图1至图39描述的优点类似的优点。
此外，尽管配置是上述视频设备1300的每个配置的一部分，但是在该配置包括视频处理器1332的情况下，该配置可以被执行为应用本技术的配置。例如，仅视频处理器1332可以被执行为应用本技术的视频处理器。此外，例如，如上所述，由虚线表示的处理器1341、视频模块1311等可以被执行为应用本技术的处理器、模块等。此外，例如，可以对视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314进行组合以执行为应用本技术的视频单元1361。根据所述配置中的任一种，可以获得与上面参照图1至图39描述的优点类似的优点。
换言之，如在视频设备1300的情况下，包括视频处理器1332的任何配置可以被内置于处理图像数据的各种装置中。例如，视频处理器1332、由虚线表示的处理器1341、视频模块1311或视频单元1361可以内置于电视装置900(图50)、移动电话920(图51)、记录/再现装置940(图52)、成像装置960(图53)等中。然后，通过将应用本技术的任何配置内置于装置中，与视频装置1300的情况类似，该装置可以具有与上面参照图1至图39描述的效果类似的效果。
在本说明书中，已经描述了在经编码的流中对各种信息进行复用以及各种信息被从编码侧发送至解码侧的示例。然而，用于发送这样的信息的技术不限于这样的技术。例如，这样的信息可以在不被复用到经编码的流中的情况下被发送或记录为与经编码的比特流关联的单个数据。在此，术语“关联的”表示在对图像和信息进行解码时，在彼此联系的情况下获取包括在比特流中的图像(该图像可以是图像的一部分例如片、块等)和与图像对应的信息。换言之，可以在与图像(或比特流)的传输线不同的传输线上传输信息。此外，信息可以记录在与针对该图像(或比特流)的记录介质不同的记录介质上(或相同记录介质的不同记录区域)。此外，例如，信息和图像(或比特流)可以以任意部分例如多个帧、一个帧或帧的一部分为单位而彼此关联。
本技术可以采用如下描述的配置。
(1)一种图像处理装置，包括：
残差预测单元，所述残差预测单元针对由多个分量构成的输入图像与预测图像之间的残差数据在所述分量之间执行预测时，在所述残差数据的位深度被布置成在所述分量之间为一致的情况下执行所述预测；以及
编码单元，所述编码单元对通过由所述残差预测单元执行所述预测生成的预测残差数据进行编码。
(2)根据(1)和(3)至(9)中的任意一项所述的图像处理装置，其中，所述残差预测单元通过位移位将所述残差数据的所述位深度布置成一致的。
(3)根据(1)、(2)和(4)至(9)中的任意一项所述的图像处理装置，其中，所述残差预测单元在针对其执行所述预测的两个分量的所述位深度之间的差不为零的情况下、在通过所述位移位将所述残差数据的所述位深度布置成在所述分量之间为一致的情况下执行所述预测。
(4)根据(1)至(3)和(5)至(9)中的任意一项所述的图像处理装置，其中，所述残差预测单元在所述位深度之间的差是正的情况下、在通过所述位移位将所述残差数据的所述位深度布置成在分量之间为一致的情况下执行所述预测，以及在所述位深度之间的差是负的情况下省略所述预测。
(5)根据(1)至(4)和(6)至(9)中的任意一项所述的图像处理装置，其中，所述残差预测单元在所述输入图像的颜色空间不是RGB空间的情况下、在通过所述位移位将所述残差数据的所述位深度布置成在分量之间为一致的情况下执行所述预测，以及在所述输入图像的颜色空间是RGB空间的情况下省略所述预测。
(6)根据(1)至(5)和(7)至(9)中的任意一项所述的图像处理装置，其中，所述输入图像的颜色空间是YUV空间，以及
所述残差预测单元在通过所述位移位将所述残差数据的所述位深度布置成在亮度分量与色差分量之间为一致的情况下执行所述预测。
(7)根据(1)至(6)、(8)和(9)中的任意一项所述的图像处理装置，其中，所述输入图像的颜色空间是RGB空间，以及
所述残差预测单元在通过所述位移位将所述残差数据的所述位深度布置成在G分量与R分量之间或G分量与B分量之间为一致的情况下执行所述预测。
(8)根据(1)至(7)和(9)中的任意一项所述的图像处理装置，其中，所述残差预测单元通过下述方式执行所述预测：获取针对其执行所述预测的两个分量的所述位深度之间的差；对所述两个分量中的一个分量的所述残差数据执行与所述位深度之间的差对应的所述位移位；将经所述位移位的所述残差数据与预定加权系数相乘；对所述乘法运算的结果执行与预定数量的位对应的位移位；以及获取另一分量的所述残差数据与所述乘法运算的经所述位移位的结果之间的差。
(9)根据(1)至(8)中的任意一项所述的图像处理装置，其中，所述残差预测单元设置供多个分量共用的所述加权系数。
(10)一种图像处理方法，包括：
当针对由多个分量构成的输入图像与预测图像之间的残差数据在所述分量之间执行预测时，在所述残差数据的位深度被布置成在所述分量之间为一致的情况下执行所述预测；以及
对通过所述预测生成的预测残差数据进行编码。
(11)一种图像处理装置，包括：
解码单元，所述解码单元对下述经编码的数据进行解码，在所述经编码的数据中，作为由多个分量构成的图像与所述图像的预测图像之间的残差数据在所述分量之间的预测结果的预测残差数据被编码；以及
残差恢复单元，所述残差恢复单元在使用由所述解码单元通过对所述经编码的数据进行解码而获取的所述预测残差数据来执行所述残差数据的恢复时，在所述残差数据的位深度被布置成在所述分量之间为一致的情况下执行所述恢复。
(12)根据(11)和(13)至(19)中的任意一项所述的图像处理装置，其中，所述残差恢复单元通过位移位将所述残差数据的所述位深度布置成一致的。
(13)根据(11)、(12)和(14)至(19)中的任意一项所述的图像处理装置，还包括：
接收单元，所述接收单元接收与所述位深度有关的信息，
其中，所述残差恢复单元通过基于与由所述接收单元接收的所述位深度有关的信息获取针对其执行所述预测的两个分量的所述位深度之间的差，以及基于所获取的所述位深度之间的差执行所述位移位来将所述残差数据的所述位深度布置成一致的。
(14)根据(11)至(13)和(14)至(19)中的任意一项所述的图像处理装置，其中，在所获取的所述位深度之间的差不为零的情况下，所述残差恢复单元通过所述位移位将所述残差数据的所述位深度布置成一致的。
(15)根据(11)至(14)和(15)至(19)中的任意一项所述的图像处理装置，其中，所述残差恢复单元在所获取的所述位深度之间的差为正的情况下、在通过所述位移位将所述残差数据的所述位深度布置成一致的情况下执行所述恢复，以及在所述位深度之间的差为负的情况下省略所述恢复。
(16)根据(11)至(15)和(17)至(19)中的任意一项所述的图像处理装置，其中，
所述接收单元还接收与所述图像的颜色空间有关的信息，以及
所述残差恢复单元基于由所述接收单元接收的所述图像的颜色空间有关的信息在所述图像的颜色空间不是RGB空间的情况下、在通过所述位移位将所述残差数据的所述位深度布置成在分量之间为一致的情况下执行所述恢复，以及在所述图像的颜色空间是所述RGB空间的情况下省略所述恢复。
(17)根据(11)至(16)、(18)和(19)中的任意一项所述的图像处理装置，其中，
所述图像的颜色空间是YUV空间，以及
所述残差恢复单元在通过所述位移位将所述残差数据的所述位深度布置成在亮度分量与色差分量之间为一致的情况下执行所述恢复。
(18)根据(11)至(17)和(19)中的任意一项所述的图像处理装置，其中，
所述图像的颜色空间是RGB空间，以及
所述残差恢复单元在通过所述位移位将所述残差数据的所述位深度布置成在G分量与R分量之间或G分量与B分量之间为一致的情况下执行所述恢复。
(19)根据(11)至(18)中的任意一项所述的图像处理装置，其中，
通过获取针对其执行所述恢复的两个分量的所述位深度之间的差；对所述两个分量中的一个分量的所恢复的残差数据执行与所述位深度之间的差对应的所述位移位；将经所述位移位的所述残差数据与预定加权系数相乘；对所述乘法运算的结果执行与预定数量的位对应的位移位；以及将所述乘法运算的经所述位移位的结果与所述预测残差数据相加，所述残差恢复单元对另一分量的所述残差数据执行所述恢复。
(20)一种图像处理方法，包括：
对下述经编码的数据进行解码，在所述经编码的数据中，作为由多个分量构成的图像与所述图像的预测图像之间的残差数据在所述分量之间的预测结果的预测残差数据被编码；以及
在使用通过对所述经编码的数据进行解码而获取的所述预测残差数据来执行所述残差数据的恢复时，在所述残差数据的位深度被布置成在所述分量之间为一致的情况下执行恢复。
附图标记列表
100 图像编码装置
121 头部处理单元
122 残差预测单元
123 残差恢复单元
131 SPS处理单元
132 PPS处理单元
141 控制单元
142 预测单元
151 位深度差计算单元
152 位移位控制单元
153 加权系数设置单元
161 选择单元
162 右移位单元
163 左移位单元
164 加权系数乘法单元
165 右移位单元
166和167 计算单元
200 图像解码单元
221 头部获取单元
222 残差恢复单元
231 SPS获取单元
232 PPS获取单元
233 加权系数获取单元
241 控制单元
242 恢复单元
251 位深度差计算单元
252 位移位控制单元
261 选择单元
262 右移位单元
263 左移位单元
264 加权系数乘法单元
265 右移位单元
266和267 计算单元
311 控制单元
312 预测单元
321 位深度差计算单元
322 位移位控制单元
351 控制单元
352 恢复单元
361 位深度差计算单元
362 位移位控制单元
411 控制单元
412 预测单元
421 位深度差计算单元
422 位移位控制单元
451 控制单元
452 恢复单元
461 位深度差计算单元
462 位移位控制单元
501 VUI处理单元
511 控制单元
512 预测单元
521 位深度差计算单元
522 位移位控制单元
523 颜色空间确定单元
541 VUI获取单元
551 控制单元
561 位深度差计算单元
562 位移位控制单元
563 颜色空间确定单元

Claims (6)

1.一种图像处理装置，包括：
解码单元，所述解码单元对使用图像的亮度分量的残差数据来预测所述图像的色差分量的残差数据而得到的预测残差数据的编码数据进行解码；
设置单元，所述设置单元仅在所述色差分量的残差数据的位深度与所述亮度分量的残差数据的位深度不同、且所述图像的色度格式为4：4：4格式的情况下，将所述色差分量的残差数据的位深度和所述亮度分量的残差数据的位深度设置成一致；以及
残差恢复单元，所述残差恢复单元按照由所述设置单元设置的位深度，并使用所述亮度分量的残差数据、以及由所述解码单元对所述编码的数据进行解码而得到的预测残差数据，对所述色差分量的残差数据进行恢复。
2.根据权利要求1所述的图像处理装置，其中，
所述设置单元针对所述亮度分量的残差数据的位深度进行位移位，以使得所述色差分量的残差数据的位深度与所述亮度分量的残差数据的位深度相同。
3.根据权利要求2所述的图像处理装置，其中，
所述设置单元针对所述亮度分量的残差数据的位深度进行位移位，以使得所述亮度分量的残差数据的位深度匹配所述色差分量的残差数据的位深度。
4.根据权利要求3所述的图像处理装置，其中，
所述设置单元在所述亮度分量的残差数据的位深度与所述色差分量的残差数据的位深度之间的差是正的值的情况下，针对所述亮度分量的残差数据的位深度进行位移位，以使得所述亮度分量的残差数据的位深度匹配所述色差分量的残差数据的位深度。
5.一种图像处理方法，包括：
对使用图像的亮度分量的残差数据来预测所述图像的色差分量的残差数据而得到的预测残差数据的编码的数据进行解码；
仅在所述色差分量的残差数据的位深度与所述亮度分量的残差数据的位深度不同、且所述图像的色度格式为4：4：4格式的情况下，将所述色差分量的残差数据的位深度与所述亮度分量的残差数据的位深度布置成一致；以及
按照设置的位深度，并使用所述亮度分量的残差数据、以及对所述编码的数据进行解码而得到的预测残差数据，对所述色差分量的残差数据进行恢复。
6.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行根据权利要求5所述的图像处理方法。
CN202010026450.3A 2013-12-27 2014-12-12 图像处理装置及方法 Active CN111314694B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013272941 2013-12-27
JP2013-272941 2013-12-27
PCT/JP2014/082923 WO2015098562A1 (ja) 2013-12-27 2014-12-12 画像処理装置および方法
CN201480069944.2A CN105850134B (zh) 2013-12-27 2014-12-12 图像处理装置及方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480069944.2A Division CN105850134B (zh) 2013-12-27 2014-12-12 图像处理装置及方法

Publications (2)

Publication Number Publication Date
CN111314694A CN111314694A (zh) 2020-06-19
CN111314694B true CN111314694B (zh) 2023-05-05

Family

ID=53478426

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010026450.3A Active CN111314694B (zh) 2013-12-27 2014-12-12 图像处理装置及方法
CN201480069944.2A Active CN105850134B (zh) 2013-12-27 2014-12-12 图像处理装置及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480069944.2A Active CN105850134B (zh) 2013-12-27 2014-12-12 图像处理装置及方法

Country Status (11)

Country Link
US (2) US10623752B2 (zh)
EP (1) EP3041235A4 (zh)
JP (1) JP6451999B2 (zh)
KR (1) KR102336932B1 (zh)
CN (2) CN111314694B (zh)
AU (1) AU2014371486B2 (zh)
CA (1) CA2933563C (zh)
MX (1) MX364028B (zh)
MY (1) MY178498A (zh)
RU (1) RU2663359C1 (zh)
WO (1) WO2015098562A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6543578B2 (ja) 2016-01-27 2019-07-10 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
KR102555096B1 (ko) * 2016-06-09 2023-07-13 엘지디스플레이 주식회사 데이터 압축 방법 및 이를 이용한 유기 발광 다이오드 표시 장치
JP6822123B2 (ja) 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP7005250B2 (ja) 2017-09-21 2022-01-21 キヤノン株式会社 現像剤補給容器
WO2019159696A1 (ja) * 2018-02-14 2019-08-22 ソニー株式会社 画像処理装置および方法
JP7165018B2 (ja) * 2018-10-03 2022-11-02 キヤノン株式会社 情報処理装置、情報処理方法
CN109361933B (zh) * 2018-11-13 2019-11-05 仲恺农业工程学院 一种音视频信息处理方法
US20230239504A1 (en) * 2020-06-02 2023-07-27 Sharp Kabushiki Kaisha Video decoding apparatus and video coding apparatus
CN113408709B (zh) * 2021-07-12 2023-04-07 浙江大学 基于单元重要度的条件计算方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
JP2006086793A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 符号化装置、符号化方法及びそのプログラム
KR100772873B1 (ko) * 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP5155157B2 (ja) * 2006-05-12 2013-02-27 パナソニック株式会社 動画像復号化装置
EP1933565A1 (en) * 2006-12-14 2008-06-18 THOMSON Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
JP4356028B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
US8737474B2 (en) * 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
KR101492302B1 (ko) * 2007-10-15 2015-02-23 톰슨 라이센싱 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들
JP5281624B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
SG188199A1 (en) * 2011-02-22 2013-04-30 Panasonic Corp Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
JP2013223035A (ja) 2012-04-13 2013-10-28 Canon Inc 画像復号装置、画像復号方法及びプログラム
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
JP5873395B2 (ja) * 2012-06-14 2016-03-01 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding

Also Published As

Publication number Publication date
MX2016008171A (es) 2016-10-21
WO2015098562A1 (ja) 2015-07-02
RU2016124469A (ru) 2017-12-25
JPWO2015098562A1 (ja) 2017-03-23
CN105850134A (zh) 2016-08-10
CA2933563C (en) 2022-02-22
US20200177894A1 (en) 2020-06-04
MX364028B (es) 2019-04-11
US20160261876A1 (en) 2016-09-08
CA2933563A1 (en) 2015-07-02
JP6451999B2 (ja) 2019-01-16
KR102336932B1 (ko) 2021-12-08
US10623752B2 (en) 2020-04-14
EP3041235A1 (en) 2016-07-06
AU2014371486B2 (en) 2019-05-02
BR112016014478A2 (pt) 2020-09-08
EP3041235A4 (en) 2017-03-22
RU2663359C1 (ru) 2018-08-03
CN105850134B (zh) 2020-02-14
AU2014371486A1 (en) 2016-05-05
MY178498A (en) 2020-10-14
CN111314694A (zh) 2020-06-19
KR20160102987A (ko) 2016-08-31

Similar Documents

Publication Publication Date Title
CN111314694B (zh) 图像处理装置及方法
EP2869558B1 (en) Image processing device and method
RU2641261C2 (ru) Устройство и способ обработки изображений
JP6358475B2 (ja) 画像復号装置および方法、並びに、画像符号化装置および方法
JP6579393B2 (ja) 画像処理装置および方法
JP6287035B2 (ja) 復号装置および復号方法
WO2015053115A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2015137145A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法
JP6497562B2 (ja) 画像符号化装置および方法
CN104662901A (zh) 图像处理装置及方法
WO2015053116A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
US20190281291A1 (en) Image processing device and method
JP6654434B2 (ja) 画像処理装置および方法
WO2015064403A1 (ja) 画像処理装置および方法
JP6341067B2 (ja) 画像処理装置および方法
BR112016014478B1 (pt) Aparelho e método de processamento de imagem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant