CN111314694A - 图像处理装置及方法 - Google Patents
图像处理装置及方法 Download PDFInfo
- Publication number
- CN111314694A CN111314694A CN202010026450.3A CN202010026450A CN111314694A CN 111314694 A CN111314694 A CN 111314694A CN 202010026450 A CN202010026450 A CN 202010026450A CN 111314694 A CN111314694 A CN 111314694A
- Authority
- CN
- China
- Prior art keywords
- unit
- prediction
- residual
- image
- bit depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 353
- 238000000034 method Methods 0.000 title abstract description 313
- 238000003672 processing method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 260
- 238000004364 calculation method Methods 0.000 description 200
- 238000011084 recovery Methods 0.000 description 154
- 239000000872 buffer Substances 0.000 description 70
- 238000010586 diagram Methods 0.000 description 58
- 230000006870 function Effects 0.000 description 58
- 238000013139 quantization Methods 0.000 description 47
- 241000023320 Luma <angiosperm> Species 0.000 description 40
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 40
- 238000005516 engineering process Methods 0.000 description 39
- 230000002441 reversible effect Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 31
- 230000005540 biological transmission Effects 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 26
- 230000009466 transformation Effects 0.000 description 23
- 230000005236 sound signal Effects 0.000 description 20
- 238000001914 filtration Methods 0.000 description 17
- 230000008707 rearrangement Effects 0.000 description 17
- 238000009825 accumulation Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 15
- 238000007906 compression Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 230000009467 reduction Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 239000004065 semiconductor Substances 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 6
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 241000695274 Processa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本公开内容涉及一种图像处理装置及方法，该图像处理装置包括：解码单元，对使用图像的亮度分量的残差数据来预测图像的色差分量的残差数据而得到的预测残差数据的编码数据进行解码；设置单元，仅在色差分量的残差数据的位深度与亮度分量的残差数据的位深度不同、且图像的色度格式为4：4：4格式的情况下，将色差分量的残差数据的位深度和亮度分量的残差数据的位深度设置成一致；以及残差恢复单元，按照由设置单元设置的位深度，并使用亮度分量的残差数据、以及由解码单元对编码的数据进行解码而得到的预测残差数据，对色差分量的残差数据进行恢复。
Description
本发明申请为申请日为2014年12月12日并于2016年6月20日进 入中国国家阶段的发明名称为“图像处理装置及方法”的第 201480069944.2号发明专利申请的分案申请。
技术领域
本公开内容涉及图像处理装置及方法，更具体地，涉及能够抑制编码 效率降低的图像处理装置及方法。
背景技术
近年来，针对由图像传感器等产生的原始数据的压缩和执行去马赛克 处理之前的图像数据的原始数据的压缩的请求量已经增加。
作为图像数据的编码系统，存在MPEG-4Part 10(高级视频编码，在 下文中，被称为AVC)。近年来，为了提高编码效率，已经由联合协作团 队视频编码(JCTVC)提出了被称为高效视频编码(HEVC)的编码系统 的标准化(例如，参见专利文献1)，JCTVC是国际电信联盟电信标准化 部(ITU-T)和国际标准化组织/国际电工技术委员会(ISO/IEC)的联合 标准组织。
在这样的编码系统中，已经考虑了用于对分量之间的残差信号进行预 测的方法(例如，参见非专利文献2)。
引用列表
非专利文献
非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Ye-Kui Wang,Thomas Wiegand,“High Efficiency Video Coding (HEVC)textspecification draft 10(for FDIS&Last Call)”， JCTVC-L1003_version 34，2013年3月19日，
非专利文献2：Wei Pu,Woo-Shik Kim,Jianle Chen,Joel Sole,MartaKarczewicz,“RCE1:Descriptions and Results for Experiments 1,2,3,and 4”，JCTVC-O0202，2013年11月11日。
发明内容
本发明本发明要解决的技术问题
然而，一般地，分量的数据的位深度彼此独立，因此，存在位深度被 设置成彼此不同的值的可能。然而，在非专利文献2中公开的方法中，没 有考虑对彼此不同的分量之间的位深度的预测，存在没有正确地进行预测 的问题，以及降低了编码效率。
鉴于这样的情况作出了本公开内容，并且本公开内容用于抑制编码效 率的降低。
问题的解决方案
根据本技术的一个实施方式，提供了一种图像处理装置，包括：残差 预测单元，该残差预测单元针对由多个分量构成的输入图像与预测图像之 间的残差数据在分量之间执行预测时，在残差数据的位深度被布置成在分 量之间为一致的情况下执行预测；以及编码单元，该编码单元对通过由残 差预测单元执行预测生成的预测残差数据进行编码。
该残差预测单元可以通过位移位将残差数据的位深度布置成一致的。
该残差预测单元可以在针对其执行预测的两个分量的位深度之间的 差不为零的情况下、在通过位移位将残差数据的位深度布置成在分量之间 为一致的情况下执行预测。
该残差预测单元可以在位深度之间的差是正的情况下、在通过位移位 将残差数据的位深度布置成在分量之间为一致的情况下执行预测，以及在 位深度之间的差是负的情况下省略预测。
该残差预测单元可以在输入图像的颜色空间不是RGB空间的情况 下、在通过位移位将残差数据的位深度布置成在分量之间为一致的情况下 执行预测，以及在输入图像的颜色空间是RGB空间的情况下省略预测。
输入图像的颜色空间可以是YUV空间，以及该残差预测单元可以在 通过位移位将残差数据的位深度布置成在亮度分量与色差分量之间为一 致的情况下执行预测。
输入图像的颜色空间可以是RGB空间，以及该残差预测单元可以在 通过位移位将残差数据的位深度布置成在G分量与R分量之间或G分量 与B分量之间为一致的情况下执行预测。
该残差预测单元可以通过下述方式执行预测：获取针对其执行预测的 两个分量的位深度之间的差；对两个分量中的一个分量的残差数据执行与 位深度之间的差对应的位移位；将经位移位的残差数据与预定加权系数相 乘；对乘法运算的结果执行与预定数量的位对应的位移位；以及获取另一 分量的残差数据与乘法运算的经位移位的结果之间的差。
该残差预测单元设置供多个分量共用的加权系数。
根据本技术的一个实施方式，提供了一种图像处理方法，包括：当针 对由多个分量构成的输入图像与预测图像之间的残差数据在分量之间执 行预测时，在残差数据的位深度被布置成在分量之间为一致的情况下执行 预测；以及对通过预测生成的预测残差数据进行编码。
根据本技术的另一实施方式，提供了一种图像处理装置，包括：解码 单元，该解码单元对下述经编码的数据进行解码，在经编码的数据中，作 为由多个分量构成的图像与该图像的预测图像之间的残差数据在分量之 间的预测结果的预测残差数据被编码；以及残差恢复单元，该残差恢复单 元在使用由解码单元通过对经编码的数据进行解码而获取的预测残差数 据来执行残差数据的恢复时，在残差数据的位深度被布置成在分量之间为 一致的情况下执行恢复。
该残差恢复单元可以通过位移位将残差数据的位深度布置成一致的。
还可以包括接收单元，该接收单元接收与所述位深度有关的信息，以 及，该残差恢复单元通过基于与由接收单元接收的位深度有关的信息获取 针对其执行预测的两个分量的位深度之间的差，以及基于所获取的位深度 之间的差执行位移位来将残差数据的位深度布置成一致的。
该残差恢复单元可以在所获取的所述位深度之间的差不为零的情况 下通过所述位移位将所述残差数据的所述位深度布置成一致的。
该残差恢复单元可以在所获取的位深度之间的差为正的情况下、在通 过位移位将残差数据的位深度布置成一致的情况下执行恢复，以及在位深 度之间的差为负的情况下省略恢复。
接收单元还可以接收与图像的颜色空间有关的信息，以及该残差恢复 单元可以基于由接收单元接收的图像的颜色空间有关的信息在图像的颜 色空间不是RGB空间的情况下、在通过位移位将残差数据的位深度布置 成在分量之间为一致的情况下执行恢复，以及在图像的颜色空间是RGB 空间的情况下省略恢复。
图像的颜色空间可以是YUV空间，以及该残差恢复单元可以在通过 位移位将残差数据的位深度布置成在亮度分量与色差分量之间为一致的 情况下执行恢复。
图像的颜色空间可以是RGB空间，以及该残差恢复单元可以在通过 位移位将残差数据的位深度布置成在G分量与R分量之间或G分量与B 分量之间为一致的情况下执行恢复。
通过获取针对其执行恢复的两个分量的位深度之间的差；对两个分量 中的一个分量的所恢复的残差数据执行与位深度之间的差对应的位移位； 将经位移位的残差数据与预定加权系数相乘；对乘法运算的结果执行与预 定数量的位对应的位移位；以及将乘法运算的经位移位的结果与预测残差 数据相加，该残差恢复单元可以对另一分量的残差数据执行恢复。
根据本技术的另一实施方式，提供了一种图像处理方法，包括：对下 述经编码的数据进行解码，在所述经编码的数据中，作为由多个分量构成 的图像与该图像的预测图像之间的残差数据在分量之间的预测结果的预 测残差数据被编码；以及在使用通过对经编码的数据进行解码而获取的预 测残差数据来执行残差数据的恢复时，在残差数据的位深度被布置成在分 量之间为一致的情况下执行恢复。
根据本技术的一个实施方式，当针对在由多个分量构成的输入图像与 预测图像之间的残差数据在分量之间执行预测时，在残差数据的位深度被 布置成在分量之间为一致的情况下执行预测，以及对通过预测生成的预测 残差数据进行编码。
根据本技术的另一实施方式，对下述经编码的数据进行解码，在所述 经编码的数据中，作为由多个分量构成的图像与该图像的预测图像之间的 残差数据在分量之间的预测结果的预测残差数据被编码；以及在使用通过 对经编码的数据进行解码而获取的预测残差数据来执行残差数据的恢复 时，在残差数据的位深度被布置成在分量之间为一致的情况下执行恢复。
发明的有益效果
根据本公开内容，可以对图像进行编码和解码。特别地，可以抑制编 码效率的降低。
附图说明
图1是示出了编码单元的配置示例的图；
图2是示出了语义的示例的图；
图3是示出了图像编码装置的主要配置的示例的框图；
图4是示出了头部处理单元和残差预测单元的主要配置的示例的框 图；
图5是示出了编码处理的流程的示例的流程图；
图6是示出了残差预测处理的流程的示例的流程图；
图7是示出了预测残差数据生成处理的流程的示例的流程图；
图8是示出了预测残差数据生成处理的流程的示例的流程图；
图9是示出了预测残差数据生成处理的流程的示例的流程图；
图10是示出了图像解码装置的主要配置的示例的框图；
图11是示出了头部获取单元和残差恢复单元的主要配置的示例的框 图；
图12是示出了解码处理的流程的示例的流程图；
图13是示出了残差恢复处理的流程的示例的流程图；
图14是示出了残差数据恢复处理的流程的示例的流程图；
图15是示出了残差数据恢复处理的流程的示例的流程图；
图16是示出了残差数据恢复处理的流程的示例的流程图；
图17是示出了语义的示例的图；
图18是示出了头部处理单元和残差预测单元的主要配置的示例的框 图；
图19是示出了残差预测处理的流程的示例的流程图；
图20是示出了头部获取单元和残差恢复单元的主要配置的示例的框 图；
图21是示出了残差恢复处理的流程的示例的流程图；
图22是示出了语义的示例的图；
图23是示出了头部处理单元和残差预测单元的主要配置的示例的框 图；
图24是示出了残差预测处理的流程的示例的流程图；
图25是示出了头部获取单元和残差恢复单元的主要配置的示例的框 图；
图26是示出了残差恢复处理的流程的示例的流程图；
图27是示出了语义的示例的图；
图28是示出了头部处理单元和残差预测单元的主要配置的示例的框 图；
图29是示出了残差预测处理的流程的示例的流程图；
图30是示出了头部获取单元和残差恢复单元的主要配置的示例的框 图；
图31是示出了残差恢复处理的流程的示例的流程图；
图32是示出了语法的示例的图；
图33是示出了语义的示例的图；
图34是示出了语义的示例的图；
图35是示出了语义的示例的图；
图36是示出了语法的示例的图；
图37是示出了语义的示例的图；
图38是示出了语义的示例的图；
图39是示出了语义的示例的图；
图40是示出了多视点图像编码系统的示例的图；
图41是示出了根据本技术的多视点图像编码装置的主要配置的示例 的图；
图42是示出了根据本技术的多视点图像解码装置的主要配置的示例 的图；
图43是示出了分层图像编码系统的示例的图；
图44是示出了空间可缩放编码的示例的图；
图45是示出了时间可缩放编码的示例的图；
图46是示出了信噪比的可缩放编码的示例的图；
图47是示出了根据本技术的分层图像编码装置的主要配置的示例的 图；
图48是示出了根据本技术的分层图像解码装置的主要配置的示例的 图；
图49是示出了计算机的主要配置的示例的框图；
图50是示出了电视装置的示意性配置的示例的框图；
图51是示出了移动电话的示意性配置的示例的框图；
图52是示出了记录/再现装置的示意性配置的示例的框图；
图53是示出了成像装置的示意性配置的示例的框图；
图54是示出了视频设备的示意性配置的示例的框图；
图55是示出了视频处理器的示意性配置的示例的框图；
图56是示出了视频处理器的示意性配置的另一示例的框图。
具体实施方式
在下文中，将描述用于执行本公开内容的实施方式(下文中称为实施 方式)。将按下面的顺序来进行描述。
1.第一实施方式(图像编码装置/图像解码装置)
2.第二实施方式(图像编码装置/图像解码装置)
3.第三实施方式(图像编码装置/图像解码装置)
4.第四实施方式(图像编码装置/图像解码装置)
5.第五实施方式(加权系数的共用)
6.第六实施方式(多视点图像编码装置/多视点图像解码装置)
7.第七实施方式(分层图像编码装置/分层图像解码装置)
8.第八实施方式(计算机)
9.第九实施方式(应用示例)
10.第十实施方式(设备/单元/模块/处理器)
<1.第一实施方式>
<图像编码的标准化的流程>
近年来，图像信息被处理为数字数据，此时，为了高效地传输和积累 信息，广泛地使用了通过采用下述编码系统来对图像进行压缩和编码的装 置，所述编码系统通过正交变换比如离散余弦变换和通过使用特定于图像 信息的冗余的运动补偿来压缩数据。这样的编码系统的示例包括动态图像 专家组(MPEG)等。
特别地，MPEG2(ISO/IEC 13818-2)被限定为通用图像编码系统， 并且是覆盖隔行扫描图像和顺序扫描图像以及标准分辨率图像和高清图 像的标准。例如，当前，MPEG2广泛地用于针对专业用途和消费者用途 的宽范围的应用。例如，通过使用MPEG2压缩系统，在具有720×480像 素的标准分辨率的隔行扫描图像的情况下，分配4Mbps至8Mbps的编码 量(比特率)。此外，例如，通过使用MPEG2压缩系统，在具有1920×1088 像素的高分辨率的隔行扫描图像的情况下，分配18Mbps至22Mbps的编 码量(比特率)。因此，可以实现高压缩率和满意的图片质量。
MPEG2主要针对下述高图像质量编码：其主要适合于广播但是不符 合具有比MPEG1的编码量(比特率)低的编码量的编码系统，换言之， 具有比MPEG1的压缩率高的压缩率的编码系统。然而，根据便携式终端 的广泛使用，认为这样的要求的数量在未来将会增加，从而据此进行了 MPEG4编码系统的标准化。与图像编码系统有关的MPEG4标准在1988年12月被批准为ISO/IEC 14496-2。
此外，近年来，为了用于电视会议的图像编码的初始目的，已经标准 化了H.26L国际电信联盟电信标准化部(ITU-T)Q6/16视频编码专家组 (VCEG)。已知的是，H.26L由于其中的编码处理和解码处理与常规的编 码系统例如MPEG2或MPEG4相比需要更多的计算量，以及实现了更高 的编码效率。此外，当前，作为MPEG4的活动的一部分，通过基于H.26L 引入根据H.26L不支持的功能来实现更高的编码效率的标准已经被作为 增强压缩视频编码的联合模型。
作为其标准化的计划表，在2003年3月，基于H.264和MPEG-4Part 10(高级视频编码，在下文中，被称为AVC)名义作出了国际标准。
此外，作为H.264/AVC的扩展，已经在2005年2月完成了保真度范 围扩展(FRExt)的标准化，保真度范围扩展的标准化包括商业用途需要 的编码工具以及在MPEG-2中限定的8×8DCT和量化矩阵，其被被称为 RGB、4:2:2以及4:4:4。用这种方式，通过使用H.264/AVC来形成能够表 示包括在电影中的影片噪声的编码系统，以及H.264/AVC处于被在蓝光盘 (商标)等的宽范围应用中使用的阶段。
然而，近来，针对具有更高压缩率的编码的请求的量已经增加，这些 请求例如针对是高清图像的像素数量的四倍的大约4000×2000像素的图 像进行压缩的请求，以及在具有有限传输容量的环境下例如因特网上传送 高清图像的请求。为此，已经由附属于上述ITU-T的VCEG持续地进行 了用于提高编码效率的考察。
因此，当前，为了进一步将编码效率提高至高于AVC的编码效率， 已经由联合协作团队视频编码(JCTVC)推进了对被称为高效视频编码 (HEVC)的编码系统的标准化，JCTVC是ITU-T和国际标准化组织/国 际电工技术委员会(ISO/IEC)的联合标准化组织。关于HEVC标准，在 2013年1月发布了作为草案版本规范的委员会草案(例如，参见非专利 文献1)。
<编码系统>
在下文中，将在本技术被应用到高效视频编码(HEVC)的图像编码/ 解码的情况下作为示例来描述本技术。
<编码单元>
在高级视频编码(AVC)系统中，限定了由宏块和子宏块构成的分层 结构。然而，针对成为下一代编码系统的目标的被称为超高清(UHD；4000 像素×2000像素)的大图像帧，16像素×16像素的宏块不是最优的。
与之相比，在HEVC系统中，如图1中所示，限定了编码单元(CU)。
CU也被称为编码树块(CTB)，并且CU是实现与AVC系统中的宏 块的作用相同的作用的图片单元的部分区域。尽管宏块被固定为16像素 ×16像素的尺寸，但是CU的尺寸不是固定的，而是在每个序列的图像压 缩信息中指定。
例如，在包括在作为输出的经编码的数据中的序列参数集(SPS)中， 限定了CU的最大尺寸(最大编码单元(LCU))和最小尺寸(最小编码 单元(SCU))。
在每个LCU内，通过在不小于SCU的尺寸的范围中设置split-flag(划 分标记)＝1，可以将LCU划分成具有较小尺寸的CU。在图1所示的示 例中，LCU的尺寸是128，以及最大分层深度是5。当split_flag的值是“1” 时，具有2N×2N尺寸的CU在低一级的层级上被划分成均具有N×N尺寸 的CU。
此外，CU被划分成预测单元(PU)，预测单元是作为帧内预测或帧 间预测的处理单元的区域(图片单元中的图像的部分区域)，以及CU被 划分成变换单元(TU)，变换单元是作为正交变换的处理单元的区域(图 片单元中的图像的部分区域)。目前，在HEVC系统中，除了可以使用4×4 和8×8正交变换之外，还可以使用16×16和32×32正交变换。
如在上述HEVC系统中，在限定了CU的编码系统的情况下，以CU 为单位执行各种处理，可以认为AVC系统的宏块与LCU对应块(子块) 与与CU对应。此外，可以认为AVC系统的运动补偿块与PU对应。然而， 由于CU具有分层结构，通常，最高层级的LCU的尺寸被设置成大于AVC 系统的宏块的尺寸例如128像素×128像素。
因此，在下文中，假定LCU还包括AVC系统的宏块，以及假定CU 还包括AVC系统的块(子块)。换言之，以下呈现的描述中使用的“块”表 示图片内的任意部分区域，以及不特别地限定所述“块”的大小、形状、特 征等。换言之，例如，“块”包括任意区域例如TU、PU、SCU、CU、LCU、 子块、宏块以及切片(slice)。明显的是，除了这些区域之外的部分区域 (处理单元)也包括在“块”中。此外，将适当地描述需要限制尺寸、处理 单元等的情况。
在本说明书中，编码树单元(CTU)被假定为下述单元：包括最大数 量CU(LCU)的编码树块(CTB)和在其中以LCU为基础(等级)进行 处理时的参数。此外，构成CTU的编码单元(CU)被假定为下述单元： 包括编码块和在其中以CU为基础(等级)进行处理时的参数。
<模式选择>
在AVC和HEVC编码系统中，为了获得更高的编码效率，适当的预 测模式的选择是重要的。
作为这样的选择系统的示例，存在在被称为JM(联合模型)的 H.264/MPEG-4AVC的参考软件(在 http://iphome.hhi.de/suehring/tml/index.htm中公开)中嵌入选择系统的方 法。
在JM中，可以选择用于确定包括以下待描述的高复杂度模式和低复 杂度模式的两个模式的模式确定方法。在两个模式的任一模式中，计算与 每个预测模式的模式有关的代价函数值，以及选择具有最小代价函数值的 预测模式作为针对块或宏块的最优模式。
高复杂度模式下的代价函数表示为以下的公式(1)。
[数学式1]
Cost(Mode∈Ω)＝D+λ*R…(1)
在此，Ω是用于对块或宏块进行编码的候选模式的全集，D是在预测 模式下执行编码的情况下在经解码的图像与输入图像之间的差分能量。此 外，λ是给定为量化参数的函数的拉格朗日不定乘子。R是在包括正交变 换系数的模式下执行编码的情况下的总编码量。
换言之，当在高复杂度模式下执行编码时，为了计算上述参数D和R， 需要一次针对所有候选模式执行临时编码处理，因此需要较大的计算量。
低复杂度模式下的代价函数表示为以下的公式(2)。
[数学式2]
Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit…(2)
在此，D与高复杂度模式下的D不同，该D是预测图像与输入图像 之间的差分能量。此外，QP2Quant(QP)被给出为量化参数QP的函数， 以及HeaderBit是与属于头部的信息比如运动矢量和不包括正交变换系数 的模式有关的编码量。
换言之，在低复杂度模式下，尽管需要针对每个候选模式执行预测处 理，但是不需要经解码的图像，以及不需要执行编码处理。因此，低复杂 度模式可以实现比高复杂度模式的计算量低的计算量。
<残差预测>
同时，在HEVC中，已经考虑了在444编码时在分量之间对残差信号 进行预测(也称为残差预测)的方法(例如，参见非专利文献2)。
在该非专利文献2中公开的方法中，根据下面的公式(3)使用亮度 分量(Y)(或G分量)来预测色差分量(Cb/Cr)(或R分量或B分量)。
[数学公式3]
Δrc(x，y)＝rc(x，y)-(α×rL(x，y))＞＞3…(3)
在此，rc(x，y)表示色差分量(Cb或Cr)的残差数据(输入图像 与预测图像之间的差)。此外，rL(x，y)表示亮度分量(Y)的残差数据 (输入图像与预测图像之间的差)。此外，Δrc(x，y)表示残差预测的预 测结果(也被称为预测残差数据)(使用亮度分量(Y)的残差数据来预测 色差分量(Cb或Cr)的残差数据)。在此，“x，y”表示图像内的位置(坐 标)。
此外，α表示加权系数以及取±(0，1，2，4，8)中的一个的值。以 TU为单位来设置该值(换言之，该值以TU为单位发送至解码侧)。在此， “>>”表示向右侧的位移位(右移位)。例如，“>>n”表示对应于n位的右 移位。
以图片参数集(PPS)为单元来控制是否进行这样的残差预测。换言 之，在PPS中，控制是否进行这样的残差预测的开/关标记被发送至解码 侧。
同时，通常，分量的数据的位深度彼此独立，因此，存在位深度被设 置成彼此不同的值的可能。然而，如在上述公式(3)中所示，在非专利 文献2中公开的预测方法中，存在分量(亮度分量或色差分量)的残差数 据的位深度是相同的假定，并且没有考虑残差数据的位深度在不同分量之 间不同的情况。换言之，在如公式(3)表示的预测中，在残差数据的位深度在分量之间彼此不同的情况下，没有进行正确的预测，以及存在编码 效率降低的问题。
<缩放位深度>
因此，针对在由多个分量构成的输入图像与预测图像之间的残差数据 进行分量之间的预测(残差预测)时，残差数据的位深度被布置成在分量 之间是一致的(执行缩放)。通过这样地布置，在残差数据的位深度在分 量之间不同的情况下，也可以在分量的残差数据的位深度为一致的情况下 进行预测，因此，可以正确地进行残差预测。因此，可以抑制编码效率的 降低。
尽管用于将残差数据的位深度布置成在分量之间为一致的方法是任 意的，但是，例如，可以通过对残差数据执行位移位来将残差数据的位深 度布置成在分量之间是一致的。通过这样地配置，可以容易地将残差数据 的位深度在分量之间布置成一致的。换言之，可以减少处理负荷和处理时 间。
在此，残差数据的位深度被布置为一致的输入图像的颜色空间是任意 的。例如，颜色空间可以是YUV空间(YUV 444等)或RGB空间(RGB 444等)。例如，在输入图像的颜色空间是YUV空间的情况下，可以在通 过位移位将残差数据的位深度布置成在亮度分量与色差分量之间为一致 的情况下来进行预测。更具体地，例如，可以在通过位移位将亮度分量的位深度布置成相对于色差分量的位深度是一致的之后来进行预测。此外， 例如，在输入图像的颜色空间是RGB空间的情况下，可以在通过位移位 将残差数据的位深度布置成在G分量与R分量或G分量与B分量之间是 一致的情况下来执行预测。更具体地，例如，可以在通过位移位将G分量 的位深度布置成相对于R分量或B分量的位深度是一致的之后来进行预测。
<移位操作>
将描述用于如上所述地将位深度布置成一致的位移位(移位操作)的 具体示例。用于移位操作的方法是任意的。例如，在待预测的两个分量之 间的位深度差不是零的情况下，可以在通过位移位将残差数据的位深度布 置成在分量之间是一致的情况下进行预测。例如，如在下面的公式(4) 中所示，可以配置成使得获取分量之间残差数据的位深度的差(位深度 差)，以及如在公式(5)至公式(8)中所示，进行与位深度差对应的位 移位。这时，如在公式(6)或公式(8)中所示，可以进行与位深度差的 绝对值对应的位移位。在这样的情况下，例如，可以如公式(6)和公式 (8)所示，基于是否满足公式(5)和公式(7)的条件来确定移位方向。
[数学式4]
Δbitdepth＝BitDepthY-BitDepthC…(4)
如果(Δbitdepth≥0)…(5)
Δrc(x，y)＝rc(x，y)-(α×(rL(x，y)＞＞Δbitdepth))＞＞3 …(6)
否则…(7)
Δrc(x，y)＝rc(x，y)-(α×(rL(x，y)＜＜-Δbitdepth))＞＞3 …(8)
在公式(4)至公式(8)中，BitDepthY表示亮度分量(Y)的残差数 据的位深度，以及BitDepthC表示色差分量(Cb或Cr)的残差数据的位 深度。此外，Δbitdepth表示分量之间的位深度差(亮度分量(Y)的残差 数据的位深度(BitDepthY)与色差分量(Cb或Cr)的残差数据的位深度 (BitDepthC)之间的差)。
此外，rc(x，y)表示色差分量(Cb或Cr)的残差数据。此外，rL (x，y)表示亮度分量(Y)的残差数据。此外，Δrc(x，y)表示分量之 间的预测残差数据(使用亮度分量(Y)的残差数据来预测色差分量(Cb 或Cr)的残差数据)。在此，“x，y”表示图像内的位置(坐标)。
此外，α表示加权系数。α的值是任意的，例如，α的值被设置成±(0， 1，2，4，8)中的一个的值。以TU为单位来设置该值(换言之，该值以 TU为单位发送至解码侧)。在此，“>>”表示向右侧的位移位(右移位)， 以及“<<”表示向左侧的位移位(左移位)。例如，“>>n”表示对应于n位 的右移位，以及“<<m”表示对应于m位的左移位。
在该示例的情况下，如在公式(4)至公式(8)中所示，使用公式(4) 来计算分量之间的位深度差(Δbitdepth)。然后，在该值满足公式(5)的 条件的情况下，换言之，在Δbitdepth是零或更大的情况下，如公式(6) 来计算预测残差数据(Δrc(x，y))。如在公式(6)中所示，虽然这种情 况下的计算方法基本上与公式(3)相同，但是通过与位深度差(Δbitdepth) 对应地将亮度分量(Y)的残差数据(rL(x，y))向右侧移位来计算预测 残差数据(Δrc(x，y))。
另一方面，在分量之间的位深度差(Δbitdepth)具有负值(小于零的 值)并且不满足公式(5)的条件(满足公式(7)的条件)的情况下，如 公式(8)来计算预测残差数据(Δrc(x，y))。如在公式(8)中所示，虽 然这种情况下的计算方法基本上与公式(3)相同，但是通过与位深度差 (-Δbitdepth)对应地将亮度分量(Y)的残差数据(rL(x，y))向左侧移 位来计算预测残差数据(Δrc(x，y))。
换言之，在这样的情况下，可以将亮度分量(Y)的残差数据(rL(x， y))的位深度(BitDepthY)布置成针对色差分量(Cb或Cr)的残差数据 (rc(x，y))的位深度(BitDepthC)是一致的，以及计算预测残差数据(Δrc (x，y))。更具体地，获取用于残差预测的两个分量的位深度之间的差， 针对两个分量中的一个分量的残差数据进行与位深度之间的差对应的位 移位(缩放)，被位移位的残差数据乘以预定加权系数，针对该乘法运算 的结果进行与预定数量的位对应的位移位，以及获取另一分量的残差数据 与已经被位移位的乘法运算的结果之间的差。可以如上地进行预测。
在Δbitdepth是零的情况下，亮度分量(Y)的残差数据(rL(x，y)) 的位移位量是零，因此，所预测的残差数据(Δrc(x，y))可以被认为按 照公式(3)来计算。
通过如上所述地计算，在残差数据的位深度在分量之间不同的情况 下，也可以正确地计算预测残差数据(Δrc(x，y))。因此，可以抑制编码 效率的降低。
<语义>
为了如上所述地执行位深度的缩放，可以如图2中所示的示例来描述 语义。在图2中所示的语义的采用下划线的一部分是与如上所述的缩放 (例如，公式(5)至公式(8))对应的描述。
<图像编码装置>
图3是示出了作为根据本技术的图像处理装置的一方面的图像编码 装置的配置的示例的框图。例如，在图3中所示的图像编码装置100通过 使用HEVC的预测处理或与HEVC兼容的系统的预测处理来对动态图像 的图像数据进行编码。在下文中，将描述输入图像的颜色空间是YUV 444 的情况作为示例。
如图3中所示，图像编码装置100包括：画面重排缓冲器102、计算 单元103、正交变换单元104、量化单元105、可逆编码单元106、累积缓 冲器107、逆量化单元108以及逆正交变换单元109。此外，图像编码装 置100包括：计算单元110、环路滤波器111、帧存储器112、帧内预测单 元113、帧间预测预测单元114、预测图像选择单元115以及速率控制单 元116。此外，图像编码装置100包括：头部处理单元121、残差预测单 元122以及残差恢复单元123。
画面重排缓冲器102按照显示的顺序存储输入图像数据的帧的图像， 按照根据图片组(GOP)编码的顺序来重排所存储的帧的图像，以及向计 算单元103提供通过重排帧的顺序获取的图像。此外，画面重排缓冲器 102还向帧内预测单元113和帧间预测单元114提供通过重排帧的顺序获 取的图像。
计算单元103将通过预测图像选择单元从帧内预测单元113或帧间预 测单元114提供的预测图像从自画面重排缓冲器102读取的图像中减去， 并且将其差信息(残差数据)提供至残差预测单元122。例如，针对图像 执行帧内编码的情况下，计算单元103将从帧内预测单元113提供的预测 图像从自画面重排缓冲器102读取的图像中减去。另一方面，例如，针对 图像执行帧间编码的情况下，计算单元103将从帧间预测单元114提供的 预测图像从自画面重排缓冲器102读取的图像中减去。
正交变换单元104针对从残差预测单元122提供的亮度分量的残差数 据或色差分量的预测残差数据执行正交变换比如离散余弦变换或 Karhuren-Loeve变换。正交变换单元104将通过正交变换获取的变换系数 提供至量化单元105。
量化单元105对从正交变换单元104提供的变换系数进行量化。量化 单元105基于与从速率控制单元116提供的编码量的目标值有关的信息来 设置量化参数，以及执行变换系数的量化。量化单元105将经量化的变换 系数提供至可逆编码单元106。
可逆编码单元106使用任意编码系统对通过量化单元105量化的经量 化的变换系数进行编码。由于在速率控制单元116的控制下来量化系数数 据，所以编码量变成由速率控制单元116设置的目标值(或接近目标值的 值)。
此外，可逆编码单元106从帧内预测单元113获取表示帧内预测的模 式等的信息，以及从帧间预测单元114获取表示帧间预测的模式、差分运 动矢量信息等的信息。
可逆编码单元106使用任意编码系统对这样的各种信息项进行编码， 以及将经编码的信息配置为经编码的数据(也称为经编码的流)的头部信 息的一部分(复用)。可逆编码单元106将通过编码处理获取的经编码的 数据提供至累积缓冲器107，从而在累积缓冲器107中累积经编码的数据。
可逆编码单元106的编码系统的示例包括可变长度编码、算术编码 等。作为可变长度编码的示例，存在在H.264/AVC系统中限定的自适应上 下文可变长度编码(CAVLC)等。作为算术编码的示例，存在自适应上 下文二进制算术编码(CABAC)等。
累积缓冲器107暂时地保持从可逆编码单元106提供的经编码的数 据。此外，累积缓冲器107以预定的定时将所保持的经编码的数据输出至 图像编码装置100的外部。换言之，累积缓冲器107还是发送经编码的数 据的发送单元。
此外，通过量化单元105量化的变换系数还被提供至逆量化单元108。 逆量化单元108通过使用与由量化单元105执行的量化处理对应的方法来 对经量化的变换系数执行逆量化。逆量化单元108将通过逆量化获取的变 换系数提供至逆正交变换单元109。
逆正交变换单元109通过使用与由正交变换单元104执行的正交变换 处理对应的方法来对从逆量化单元108提供的变换系数执行逆正交变换。 逆正交变换单元109将针对其执行逆正交变换的输出(恢复的亮度分量的 残差数据和色差分量的预测残差数据)提供至残差恢复单元123。此外， 逆正交变换单元109还将恢复的亮度分量的残差数据提供至残差预测单 元122。
计算单元110将通过预测图像选择单元115从帧内预测单元113或帧 间预测单元114提供的预测图像与从残差恢复单元123提供的每个分量的 所恢复的残差数据相加，从而获取局部重建的图像(在下文中，称为重建 图像)。所恢复的图像被提供至环路滤波器111或帧内预测单元113。
环路滤波器111包括去块滤波器、自适应环路滤波器等，以及环路滤 波器111针对从计算单元110提供的重建图像适当地执行滤波处理。例如， 环路滤波器111通过针对重建图像执行去块滤波处理来移除重建图像的块 失真。此外，例如，环路滤波器111针对去块滤波处理的结果(已经移除 块失真的重建图像)使用维纳(Wiener)滤波器执行环路滤波处理，从而 提高了图像质量。
此外，环路滤波器111可以被配置成针对重建图像执行任何其他的另 外的任意滤波处理。此外，环路滤波器111根据需要可以被配置成将信息 例如用于滤波处理的滤波系数等提供至可逆编码单元106以对信息进行 编码。
环路滤波器111将滤波处理结果(在下文中，称为解码图像)提供至 帧存储器112。
帧存储器112存储所提供的解码图像，以及以预定的定时将所存储的 解码图像提供至帧间预测单元114作为参考图像。
帧内预测单元113执行帧内预测(画面内预测)，在帧内预测中，通 过使用处理目标图片内的像素值来生成预测图像作为参考图像，所述处理 目标图片是从计算单元110提供的重建图像。帧内预测单元113使用预先 准备的多个帧内预测模式来执行帧内预测。
帧内预测单元113在作为候选的所有帧内预测模式下生成预测图像， 通过使用从画面重排缓冲器102提供的输入图像来评估每个预测图像的 代价函数，以及选择最优模式。当选择了最优的帧内预测模式时，帧内预 测单元113将在最优模式下生成的预测图像提供至预测图像选择单元 115。
此外，如上所述，帧内预测单元113适当地将表示所采用的帧内预测 模式的帧内预测模式信息等提供至可逆编码单元106以对其进行编码。
帧间预测单元114通过使用从画面重排缓冲器102提供的输入图像和 从帧存储器112提供的参考图像来执行帧间预测处理(运动预测处理和补 偿处理)。更具体地，帧间预测单元114根据通过执行运动预测检测到的 运动矢量来执行运动补偿处理作为帧间预测处理，从而生成预测图像(帧 间预测图像信息)。帧间预测单元114使用预先准备的多个帧间预测模式 来执行这样的帧间预测。
帧间预测单元114在作为候选的所有帧间预测模式下生成预测图像。 帧间预测单元114通过使用从画面重排缓冲器102提供的输入图像和所生 成的差运动矢量的信息等来评估每个预测图像的代价函数值，以及选择最 优的模式。当选择了最优的帧间预测模式时，帧间预测单元114将在最优 模式下生成的预测图像提供至预测图像选择单元115。
帧间预测单元114将表示所采用的帧间预测模式的信息、在对经编码 的数据进行解码时在帧间预测模式下执行处理所需要的信息等提供至可 逆编码单元106以对所述信息进行编码。例如，作为所需要的信息，存在 所生成的差运动矢量的信息、作为预测的运动矢量信息的表示预测的运动 矢量的索引的标志等。
预测图像选择单元115选择要被提供至计算单元103和计算单元110 的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择单元115 选择帧内预测单元113作为预测图像的提供源，以及将从帧内预测单元 113提供的预测图像提供至计算单元103和计算单元110。另一方面，例 如，在帧间编码的情况下，预测图像选择单元115选择帧间预测单元114 作为预测图像的提供源，以及将从帧间预测单元114提供的预测图像提供 至计算单元103和计算单元110。
速率控制单元116基于在累积缓冲器107中累积的经编码的数据的编 码量来对由量化单元105执行的量化操作的速率进行控制，以使得不发生 上溢或下溢。
例如，头部处理单元121除了图像信息之外还生成另外的信息(也称 为头部信息)比如视频参数集(VPS)、序列参数集(SPS)、图片参数集 (PPS)、辅助增强信息(SEI)以及切片头部。头部处理单元121将所生 成的头部信息提供至可逆编码单元106，以及在头部信息包括在比特流中 的情况下将头部信息发送至解码侧。此外，头部处理单元121将在所生成的头部信息中的必要的信息提供至残差预测单元122。稍后将描述残差预 测单元122的细节。
残差预测单元122通过使用从计算单元103提供的色差分量的残差数 据和从逆正交变换单元109提供的经恢复的亮度分量的残差数据来执行 残差预测。更具体地，残差预测单元122通过使用经恢复的亮度分量的残 差数据来对色差分量的残差数据执行预测，从而生成预测残差数据。此时， 残差预测单元122在残差数据的位深度被布置成在分量之间是一致的情 况下来执行预测。稍后将描述残差预测单元122的细节。残差预测单元 122将通过这样的残差预测获取的色差分量的预测残差数据和从计算机单 元103提供的亮度分量的残差数据提供至正交变换单元104。另一方面， 在不执行残差预测的情况下，残差预测单元122将从计算单元103提供的 每个分量的残差数据提供至正交变换单元104。
残差恢复单元123通过使用从逆正交变换单元109提供的亮度分量的 残差数据和色差分量的预测残差数据来对色差分量的残差数据进行恢复 (也称为残差恢复)。此时，残差恢复单元123通过将残差数据的位深度 布置成在分量之间是一致的来执行恢复。残差恢复的处理基本上与在解码 侧执行的残差恢复的处理类似，因此，当描述解码侧时，残差恢复的处理 的描述将通过使用针对解码侧的描述来呈现。残差恢复单元123将已经恢 复的每个分量的残差数据提供至计算单元110。
<头部处理单元和残差预测单元>
图4是示出了在图3中示出的头部处理单元121和残差预测单元122 的主要配置的示例的框图。如在图4中所示，头部处理单元121包括：SPS 处理单元131以及PPS处理单元132。
例如，SPS处理单元131执行与序列参数集(SPS)的生成有关的处 理。此外，例如，SPS处理单元131将下述信息提供至残差预测单元122 (稍后要描述的位深度差计算单元151)：包括包含在序列参数集(SPS) 中的表示亮度分量的位深度的信息的信息(例如，bit_depth_luma_minus8)， 或包括表示亮度分量的位深度的信息和表示色差分量(Cb/Cr)的位深度 的信息(例如，bit_depth_chroma_minus8)的信息，或包括表示色差分量 的位深度的信息的信息。
例如，PPS处理单元132执行与图片参数集(PPS)的生成有关的处 理。此外，例如，PPS处理单元132将包括在图片参数集(PPS)中的用 于控制是否执行残差预测的信息(例如， luma_chroma_prediction_enabled_flag)提供至残差预测单元122(稍后要 描述的位移位控制单元152)。
残差预测单元122将从计算单元103提供的亮度分量的残差数据(rY (x，y))提供至正交变换单元104。残差预测单元122包括控制单元141 和预测单元142。控制单元141执行与残差预测的计算的控制有关的处理。 预测单元142由控制单元141控制，并且执行与其预测有关的计算。例如， 预测单元142在控制单元141的控制下，通过使用从逆正交变换单元109 获取的亮度分量的经恢复的残差分量(r'Y(x，y))，进行从计算单元103 获取的色差分量的残差数据(rCr(x，y)和rCb(x，y)的预测(残差预 测)来生成预测残差数据(ΔrCr(x，y)和ΔrCb(x，y))，以及将所生成 的预测残差数据提供至正交变换单元104。此外，预测单元142在控制单 元141的控制下在不进行残差预测的情况下将从计算单元103获取的色差 分量的残差数据(rCr(x，y)和rCb(x，y))提供至正交变换单元104。
控制单元141包括：位深度差计算单元151、位移位控制单元152以 及加权系数设置单元153。
位深度差计算单元151计算用于残差预测的分量的残差数据之间的 位深度差。例如，位深度差计算单元151获取：表示亮度分量的位深度的 信息(例如，bit_depth_luma_minus8)，或者包括表示亮度分量的位深度的 信息和表示色差分量(Cb/Cr)的位深度的信息(例如， bit_depth_chroma_minus8)的信息，或者包括表示来自SPS处理单元131 的色差分量的位深度的信息的信息，以及通过使用这样的信息执行在公式 (4)中表示的计算来计算分量之间的位深度差(delta_bitdepth)。位深度 差计算单元151将所计算的位深度差(delta_bitdepth)提供至位移位控制 单元152。
此外，位深度差计算单元151在位移位控制单元152的控制下将所计 算的位深度差(delta_bitdepth)提供至预测单元142。例如，在缩放位深 度时执行残差数据的右移位的情况下，位深度差计算单元151将所计算的 位深度差(delta_bitdepth)提供至右移位单元162。另一方面，在缩放位 深度时执行残差数据的左移位的情况下，位深度差计算单元151将所计算 的位深度差(-delta_bitdepth)提供至左移位单元163。
位移位控制单元152基于从位深度差计算单元151提供的分量之间的 位深度差(delta_bitdepth)的值来对由预测单元142执行的计算进行控制。 例如，在位深度差(delta_bitdepth)是零的情况下，位移位控制单元152 对预测单元142(预测单元142中的选择单元161)执行控制，以使得不 执行残差数据的位移位(位深度的缩放)。此外，此时，位移位控制单元 152还对位深度差计算单元151执行控制，以使得位深度差(delta_bitdepth) 不提供至预测单元142。
此外，例如，在位深度差(delta_bitdepth)是正值(>0)的情况下， 位移位控制单元152对预测单元142(预测单元142中的选择单元161) 执行控制，以使得残差数据向右侧移位(执行位深度的缩放)。此外，此 时，位移位控制单元152还对位深度差计算单元151执行控制，以使得位 深度差(delta_bitdepth)被提供至预测单元142(右移位单元162)。
另一方面，例如，在位深度差(delta_bitdepth)是负值(<0)的情况 下，位移位控制单元152对预测单元142(预测单元142中的选择单元161) 执行控制，以使得残差数据向左侧移位(执行位深度的缩放)。此外，此 时，位移位控制单元152还对位深度差计算单元151执行控制，以使得位 深度差(-delta_bitdepth)被提供至预测单元142(左移位单元163)。
此外，例如，位移位控制单元152从PPS处理单元132获取用于控制 是否执行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)， 以及基于所获取的信息的值来控制是否执行残差预测。例如，在基于用于 控制是否执行残差预测的信息表示不执行残差预测的情况下，位移位控制 单元152执行预测单元142的控制，以使得不执行与预测有关的计算。此 外，在这样的情况下，位移位控制单元152对位深度差计算单元151执行 控制，以使得停止位深度差(delta_bitdepth或-delta_bitdepth)的提供。 此外，在这样的情况下，位移位控制单元152对加权系数设置单元153执 行控制，以使得不设置加权系数α。
另一方面，例如，在基于用于控制是否执行残差预测的信息表示执行 残差预测的情况下，位移位控制单元152执行预测单元142的控制，以使 得执行与预测有关的计算。此外，在这样的情况下，位移位控制单元152 对位深度差计算单元151执行控制，以使得位深度差(delta_bitdepth或 -delta_bitdepth)被提供至预测单元142。此外，在这样的情况下，位移位 控制单元152对加权系数设置单元153执行控制以设置加权系数α，以及 将加权系数提供至预测单元142(加权系数乘法单元164)。
加权系数设置单元153在位移位控制单元152的控制下设置加权系数 α。设置加权系数α的方法和加权系数α的值是任意的。例如，加权系数 设置单元153可以被配置成独立地针对每个分量来设置加权系数α。此外， 在设置了加权系数α的情况下，加权系数设置单元153将加权系数α提供 至预测单元142(加权系数乘法单元164)。该加权系数α还用于残差恢复， 因此，加权系数α包括在比特流中被提供用于解码侧。
预测单元142包括：选择单元161、右移位单元162、左移位单元163、 加权系数乘法单元164、右移位单元165、计算单元166以及计算单元167。
选择单元161在位移位控制单元152的控制下选择从逆正交变换单元 109提供的已经被恢复的亮度分量的残差数据(r'Y(x，y))的提供目的地。 例如，在对位深度执行缩放(右移位)的情况下，选择单元161将已经被 恢复的亮度分量的残差数据(r'Y(x，y))提供至右移位单元162。在这种 情况下，执行在公式(6)中表示的计算。此外，在对位深度执行缩放(左 移位)的情况下，选择单元161将已经被恢复的亮度分量的残差数据(r'Y (x，y))提供至左移位单元163。在这种情况下，执行在公式(8)中表 示的计算。另一方面，例如，在不对位深度执行缩放的情况下，选择单元 161将已经被恢复的亮度分量的残差数据(r'Y(x，y))提供至加权系数乘 法单元164。在这种情况下，执行在公式(3)中表示的计算。
右移位单元162通过将从选择单元161获取的已经被恢复的亮度分量 的残差数据(r'Y(x，y))与从位深度差计算单元151获取的位深度差 (delta_bitdepth)对应地向右侧移位来执行位深度的缩放。右移位单元162 将亮度分量的残差数据的右移位的结果(r'Y(x，y)>>delta_bitdepth) 提供至加权系数乘法单元164。
左移位单元163通过将从选择单元161获取的已经被恢复的亮度分量 的残差数据(r'Y(x，y))与从位深度差计算单元151获取的位深度差 (-delta_bitdepth)对应地向左侧移位来对执行位深度的缩放。左移位单元 163将亮度分量的残差数据的左移位的结果(r'Y(x，y)<<-delta_bitdepth) 提供至加权系数乘法单元164。
加权系数乘法单元164从选择单元161至左移位单元163中的一个获 取已经被恢复的亮度分量的残差数据。例如，加权系数乘法单元164从选 择单元161获取还没有被位移位的亮度分量的经恢复的残差数据(r'Y(x， y))。此外，例如，加权系数乘法单元164从右移位单元162获取已经被 向右侧移位的亮度分量的经恢复的残差数据(r'Y(x，y)>>delta_bitdepth)。 此外，例如，加权系数乘法单元164从左移位单元163获取已经被向左侧 移位的亮度分量的经恢复的残差数据(r'Y(x，y)<<-delta_bitdepth)。
此外，加权系数乘法单元164从加权系数设置单元153获取加权系数 α。加权系数乘法单元164将已经获取的亮度分量的经恢复的残差数据与 加权系数α相乘，并且将该乘法运算的结果(α×(r'Y(x，y))，α×(r'Y (x，y)>>delta_bitdepth)或α×(r'Y(x，y)<<-delta_bitdepth)提供 至右移位单元165。
右移位单元165将已经从加权系数乘法单元164提供的亮度分量的经 恢复的残差数据(α×(r'Y(x，y))，α×(r'Y(x，y)>>delta_bitdepth)或 α×(r'Y(x，y)<<-delta_bitdepth)向右侧移位预定的位。例如，尽管位 移位量是任意的，但是在公式(3)、公式(6)以及公式(8)的情况下， 右移位单元165将残差数据向右侧移位三个位。右移位单元165将右移位 的结果(α×(r'Y(x，y)>>3，α×(r'Y(x，y)>>delta_bitdepth)>>3， 或α×(r'Y(x，y)<<-delta_bitdepth)>>3)提供至计算单元166或计算 单元167。
计算单元166通过将自右移位单元165提供的亮度分量的经恢复的残 差数据(α×(r'Y(x，y)>>3，α×(r'Y(x，y)>>delta_bitdepth)>>3， 或α×(r'Y(x，y)<<-delta_bitdepth)>>3)从自计算单元103提供的色 差分量(Cr)的残差数据(rCr(x，y))中减去来生成色差分量(Cr)的 预测残差数据(ΔrCr(x，y))，以及将所生成的预测残差数据提供至正交变换单元104。另一方面，在不执行这样的计算的情况下，计算单元166 将从计算单元103提供的色差分量(Cr)的残差数据(rCr(x，y))提供 至正交变换单元104。
计算单元167通过将自右移位单元165提供的亮度分量的经恢复的残 差数据(α×(r'Y(x，y)>>3，α×(r'Y(x，y)>>delta_bitdepth)>>3， 或α×(r'Y(x，y)<<-delta_bitdepth)>>3)从自计算单元103提供的色 差分量(Cb)的残差数据(rCb(x，y))中减去来生成色差分量(Cb)的 预测残差数据(ΔrCb(x，y))，以及将所生成的预测残差数据提供至正交变换单元104。另一方面，在不执行这样的计算的情况下，计算单元167 将从计算单元103提供的色差分量(Cb)的残差数据(rCb(x，y))提供 至正交变换单元104。
如上所述，在残差预测中，残差预测单元122通过对亮度分量的经恢 复的残差数据的位深度执行缩放来执行预测。因此，在残差数据的位深度 在分量之间不同的情况下，残差预测单元122可以正确地计算预测残差数 据。因此，根据图像编码装置100，可以抑制编码效率的降低。
<编码处理的流程>
接下来，将描述由图像编码装置100执行的每个处理的流程的示例。 首先，将参照在图5中所示的流程图来描述编码处理的流程的示例。
例如，当开始编码处理时，在步骤S101中，头部处理单元121生成 头部信息例如序列参数集(SPS)或图片参数集(PPS)。
在步骤S102中，画面重排缓冲器102按照显示顺序存储输入动态图 像的帧(图片)的图像，以及将图像从图片的显示顺序重排至编码顺序。
在步骤S103中，帧内预测单元113执行帧内预测模式的帧内预测处 理。
在步骤S104中，帧间预测单元114执行下述帧间预测处理，在所述 帧间预测处理中，在帧间预测模式下执行运动预测、运动补偿等。
在步骤S105中，预测图像选择单元115基于代价函数值等来选择根 据步骤S103的帧内预测生成的预测图像和根据步骤S104的帧间预测生成 的预测图像中的一个。
在步骤S106中，计算单元103计算由步骤S102的处理重排帧顺序的 输入图像与由步骤S105的处理选择的预测图像之间的差。换言之，计算 单元103生成输入图像与预定图像之间的残差数据。用这种方式获取的残 差数据的数据量小于原始图像数据的数据量。因此，与直接对图像进行编 码的情况相比可以更多的压缩数据量。针对分量(Y、Cr以及Cb)中的 每个来执行这样的处理。
在步骤S107中，残差预测单元122针对由步骤S106的处理获取的色 差分量的残差数据通过使用亮度分量的残差数据来执行残差预测。此时， 残差预测单元122在残差数据的位深度在分量之间是一致的情况下来执 行预测。稍后将详细地描述该处理。
在步骤S108中，正交变换单元104针对由步骤S106的处理生成的亮 度分量的残差数据和由步骤S107的处理生成的色差分量的预测残差数据 执行正交变换。
在步骤S109中，量化单元105通过使用由速率控制单元116计算的 量化参数来对由步骤S108的处理获取的正交变换系数进行量化。
在步骤S110中，逆量化单元108通过使用与量化的特性对应的特性 来对由步骤S109的处理生成的经量化的系数(也称为量化系数)执行逆 量化。
在步骤S111中，逆正交变换单元109对由步骤S108的处理获取的正 交变换系数执行逆正交变换。
在步骤S112中，残差恢复单元123通过使用由步骤S111的处理恢复 的亮度分量的残差数据和色差分量的预测残差数据来恢复色差分量的残 差数据。此时，残差恢复单元123在残差数据的位深度在分量之间是一致 的情况下执行恢复。稍后将详细地描述该处理。
在步骤S113中，计算单元110通过将由步骤S105的处理选择的预测 图像与由步骤S111和步骤S112的处理恢复的每个分量的残差数据相加来 生成重建图像的图像数据。
在步骤S114中，环路滤波器111针对由步骤S113的处理生成的重建 图像的图像数据执行环路滤波处理。因此，消除了重建图像的块失真等。
在步骤S115中，帧存储器112存储由步骤S114的处理获取的被局部 解码的解码图像。
在步骤S116中，可逆编码单元106对由步骤S109的处理获取的经量 化的系数进行编码。换言之，针对与残差数据对应的数据，执行可逆编码 例如可变长度编码或算术编码。
此外，此时，可逆编码单元106对与由步骤S105的处理选择的预测 图像的预测模式有关的信息进行编码，以及将经编码的信息与通过对差分 图像进行编码获取的经编码的数据相加。换言之，可逆编码单元106对从 帧内预测单元113提供的最优帧内预测模式信息或从帧间预测单元114提 供的与最优帧间预测模式对应的信息等进行编码，以及将经编码的信息与 经编码的数据相加。
在步骤S117中，累积缓冲器107存储由步骤S116的处理获取的经编 码的数据等。在累积缓冲器107中存储的经编码的数据等被适当地读取为 比特流，以及被通过传输线或记录介质传送至解码侧。
在步骤S118中，速率控制单元116基于通过步骤S117的处理在累积 缓冲器107中存储的经编码的数据等的编码量(生成的编码量)来对步骤 S109的量化处理的速率进行控制，以使得不发生上溢或下溢。
当步骤S118的处理结束时，编码处理结束。
<残差预测处理的流程>
接下来，将参照在图6中所示的流程图来描述在步骤S107中执行的 这样的编码处理的残差预测处理的流程的示例。
当开始残差预测处理时，在步骤S121中，位深度差计算单元151计 算针对其执行残差预测的分量之间的位深度差。换言之，位深度差计算单 元151执行在公式(4)中表示的计算，以及计算在亮度分量(Y)与色差 分量(Cr或Cb)之间的位深度差(delta_bitdepth)。在位深度差在色差分 量(Cr)与色差分量(Cb)之间是不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S122中，位移位控制单元152确定在步骤S121中计算的位深 度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进 行至步骤S123。在这样的情况下，不执行位移位，但是如在公式(3)中 所示地执行残差预测。
在步骤S123中，位移位控制单元152基于包括在图片参数集(PPS) 中用于控制是否执行残差预测的信息(例如， luma_chroma_prediction_enabled_flag)等来确定是否执行残差预测。例如， 在luma_chroma_prediction_enabled_flag的值是“1”的情况下，确定执行残 差预测，处理进行至步骤S124。
在步骤S124中，加权系数设置单元153针对每个TU设置加权系数α。
在步骤S125中，预测单元142在不对位深度执行缩放的情况下在分 量之间对残差数据执行预测(残差预测)。稍后将描述该处理的细节。
在步骤S125中，当残差预测结束时，残差预测处理结束，以及处理 返回至图5中所示的处理。
另一方面，例如，在步骤S123中，在 luma_chroma_prediction_enabled_flag的值是“0”的情况下，确定不执行残 差预测，省略步骤S124和步骤S125的处理，残差预测处理结束，以及处 理返回至图5中所示的处理。
此外，在步骤S122中，在确定位深度差(delta_bitdepth)不为零的 情况下，处理进行至步骤S126。
在步骤S126中，位移位控制单元152确定在步骤S121中计算的位深 度差(delta_bitdepth)是否是正的。在确定在步骤S121中计算的位深度 差是正的情况下，处理进行至步骤S127。在这样的情况下，如公式(6) 中所示来执行残差预测(执行通过右移位的缩放)。
在步骤S127中，位移位控制单元152基于包括在图片参数集(PPS) 中的用于控制是否执行残差预测的信息(例如， luma_chroma_prediction_enabled_flag)等来确定是否执行残差预测。例如， 在luma_chroma_prediction_enabled_flag的值是“1”的情况下，确定执行残 差预测，处理进行至步骤S128。
在步骤S128中，加权系数设置单元153针对每个TU设置加权系数α。
在步骤S129中，预测单元142通过使用右移位对位深度执行缩放来 在分量之间对残差数据执行预测(残差预测)。稍后将描述该处理的细节。
当在步骤S129中执行的残差预测结束时，残差预测处理结束，以及 处理返回至图5中所示的处理。
另一方面，例如，在步骤S127中，在 luma_chroma_prediction_enabled_flag的值是“0”的情况下，确定不执行残 差预测，省略步骤S128和步骤S129的处理，残差预测处理结束，以及处 理返回至图5中所示的处理。
此外，在步骤S126中，在确定位深度差(delta_bitdepth)不为正(确 定为负)的情况下，处理进行至步骤S130。在这样的情况下，如公式(8) 中所示来执行残差预测(执行使用左移位的缩放)。
在步骤S130中，位移位控制单元152基于包括在图片参数集(PPS) 中的用于控制是否执行残差预测的信息(例如， luma_chroma_prediction_enabled_flag)等来确定是否执行残差预测。例如， 在luma_chroma_prediction_enabled_flag的值是“1”的情况下，确定执行残 差预测，处理进行至步骤S131。
在步骤S131中，加权系数设置单元153针对每个TU设置加权系数α。
在步骤S132中，预测单元142通过根据左移位对位深度执行缩放来 在分量之间对残差数据执行预测(残差预测)。稍后将描述该处理的细节。
当在步骤S132中执行的残差预测结束时，残差预测处理结束，以及 处理返回至图5中所示的处理。
另一方面，例如，在步骤S130中，在 luma_chroma_prediction_enabled_flag的值是“0”的情况下，确定不执行残 差预测，省略步骤S131和步骤S132的处理，残差预测处理结束，以及处 理返回至图5中所示的处理。
<预测残差数据生成处理的流程>
接下来，将参照图7中示出的流程图来描述在残差预测处理的步骤 S125中执行的预测残差数据生成处理的流程的示例。
当开始预测残差数据的生成处理时，在步骤S141中，预测单元142 的加权系数乘法单元164将亮度分量的经恢复的残差数据(r'Y(x，y)) 与由在图6中示出的步骤S124的处理设置的加权系数α相乘(α×r'Y(x， y))。
在步骤S142中，右移位单元165将在步骤S141中计算的乘法运算结 果(α×r'Y(x，y))向右侧移位三位((α×r'Y(x，y))>>3)。
在步骤S143中，计算单元166通过将在步骤S142中计算的右移位结 果((α×r'Y(x，y))>>3)从亮度分量Cr的残差数据(rCr(x，y))中减 去(rCr(x，y)-(α×r'Y(x，y))>>3)来生成预测残差数据(ΔrCr(x， y))。此外，计算单元167通过将在步骤S142中计算的右移位结果((α×r'Y (x，y))>>3)从亮度分量Cb的残差数据(rCb(x，y))中减去(rCb (x，y)-(α×r'Y(x，y))>>3)来生成预测残差数据(ΔrCb(x，y))。
当如上所述地生成预测残差数据(ΔrCr(x，y)和ΔrCb(x，y))时， 预测残差数据的生成处理结束，以及处理返回至图6中所示的处理。
<预测残差数据生成处理的流程>
接下来，将参照图8中示出的流程图来描述在残差预测处理的步骤 S129中执行的预测残差数据生成处理的流程的示例。
当开始预测残差数据的生成处理时，在步骤S151中，预测单元142 的右移位单元162将亮度分量的经恢复的残差数据(r'Y(x，y))与由在 图6中示出的步骤S121的处理计算的残差数据的位深度差(delta_bitdepth)对应地向右侧移位((r'Y(x，y)>>delta_bitdepth))。
在步骤S152中，加权系数乘法单元164将在步骤S151中计算的右移 位的结果(r'Y(x，y)>>delta_bitdepth)与由在图6中示出的步骤S128 的处理设置的加权系数α相乘(α×(r'Y(x，y)>>delta_bitdepth))。
在步骤S153中，右移位单元165将在步骤S152中计算的乘法运算结 果(α×(r'Y(x，y)>>delta_bitdepth))向右侧移位三位(α×(r'Y(x，y)>> delta_bitdepth)>>3)。
在步骤S154中，计算单元166通过将在步骤S153中计算的右移位结 果(α×(r'Y(x，y)>>delta_bitdepth)>>3)从亮度分量Cr的残差数 据(rCr(x，y))中减去(rCr(x，y)-α×(r'Y(x，y)>>delta_bitdepth)>> 3)来生成预测残差数据(ΔrCr(x，y))。此外，计算单元167通过将在步 骤S153中计算的右移位结果(α×(r'Y(x，y)>>delta_bitdepth)>>3) 从亮度分量Cb的残差数据(rCb(x，y))中减去(rCb(x，y)-α×(r'Y (x，y)>>delta_bitdepth)>>3)来生成预测残差数据(ΔrCb(x，y))。
当如上所述地生成预测残差数据(ΔrCr(x，y)和ΔrCb(x，y))时， 预测残差数据的生成处理结束，以及处理返回至图6中所示的处理。
<预测残差数据生成处理的流程>
接下来，将参照图9中示出的流程图来描述在残差预测处理的步骤 S132中执行的预测残差数据生成处理的流程的示例。
当开始预测残差数据的生成处理时，在步骤S161中，预测单元142 的左移位单元163将亮度分量的经恢复的残差数据(r'Y(x，y))与由在 图6中示出的步骤S121的处理计算的残差数据的位深度差 (-delta_bitdepth)对应地向左侧移位(r'Y(x，y)<<-delta_bitdepth)。
在步骤S162中，加权系数乘法单元164将在步骤S161中计算的左移 位的结果(r'Y(x，y)<<-delta_bitdepth)与由在图6中示出的步骤S131 的处理设置的加权系数α相乘(α×(r'Y(x，y)<<-delta_bitdepth))。
在步骤S163中，右移位单元165将在步骤S162中计算的乘法运算结 果(α×(r'Y(x，y)<<-delta_bitdepth))向右侧移位三位(α×(r'Y(x，y) <<-delta_bitdepth)>>3)。
在步骤S164中，计算单元166通过将在步骤S153中计算的右移位结 果(α×(r'Y(x，y)<<-delta_bitdepth)>>3)从亮度分量Cr的残差数据(rCr(x，y))中减去(rCr(x，y)-α×(r'Y(x，y)<<-delta_bitdepth)>> 3)来生成预测残差数据(ΔrCr(x，y))。此外，计算单元167通过将在步 骤S163中计算的右移位结果(α×(r'Y(x，y)<<-delta_bitdepth)>>3) 从亮度分量Cb的残差数据(rCb(x，y))中减去(rCb(x，y)-α×(r'Y (x，y)<<-delta_bitdepth)>>3)来生成预测残差数据(ΔrCb(x，y))。
当如上所述地生成预测残差数据(ΔrCr(x，y)和ΔrCb(x，y))时， 预测残差数据的生成处理结束，以及处理返回至图6中所示的处理。
通过如上地执行每个处理，在残差数据的位深度在分量之间彼此不同 的情况下，残差预测单元122也可以正确地计算预测残差数据。因此，图 像编码装置100可以抑制编码效率的降低。
<残差恢复>
接下来，将描述如上地编码的经编码的数据(比特流)的解码。为了 实现与残差预测对应的残差恢复(换言之，恢复色差分量的残差数据)， 根据公式(3)至公式(8)明显的是，在残差恢复中，可以将亮度分量的 用于残差预测的经恢复的残差数据与由残差预测生成的色差分量的预测 残差数据相加。
换言之，如在公式(6)和公式(8)所示的示例中，在执行残差预测 时位深度被布置成在分量之间是一致的情况下，在与残差预测对应的残差 恢复中，也可以在位深度被布置成在分量之间是一致的情况下来恢复色差 分量的残差数据。通过这样配置，在残差数据的位深度在分量之间彼此不 同的情况下，也可以在分量的残差数据的位深度被布置成一致的情况下来 执行恢复，因此，可以正确地执行残差恢复。因此，可以抑制编码效率的 降低。
尽管用于将残差数据的位深度布置成在分量之间为一致的方法是任 意的，但是可以以与在执行残差预测时的方式类似的方式来执行该布置。 例如，可以通过对残差数据执行位移位来将残差数据的位深度布置成在分 量之间是一致的。通过这样配置，可以容易地将残差数据的位深度布置成 在分量之间是一致的。换言之，可以减少处理负荷和处理时间。
自然地，在残差恢复的情况下，与残差解码的情况类似，残差数据的 位深度被布置成一致的图像的颜色空间也是任意的。例如，颜色空间可以 是YUV空间(YUV 444等)或RGB空间(RGB 444等)。例如，在图像 的颜色空间是YUV空间的情况下，可以在通过位移位将残差数据的位深 度布置成在亮度分量与色差分量之间是一致的情况下来执行恢复。更具体 地，例如，可以在通过位移位将亮度分量的位深度布置成相对于色差分量 的位深度是一致的之后来执行恢复。此外，例如，在图像的颜色空间是 RGB空间的情况下，可以在通过位移位将残差数据的位深度布置成在G 分量与R分量或G分量与B分量之间是一致的情况下来执行恢复。更具 体地，例如，可以在通过位移位将G分量的位深度布置成相对于R分量 的位深度或B分量的位深度是一致的之后来执行恢复。
<残差恢复的计算>
将描述如上的残差恢复的计算的具体示例。例如，如在公式(3)中， 在残差预测中不执行对位深度的缩放的情况下，在残差恢复中，也可以如 在下面的公式(9)中，不执行对位深度的缩放。类似地，在残差预测中， 例如，在按照公式(4)至公式(8)中执行对位深度的缩放的情况下，在 残差恢复中，也可以如在下面的公式(10)至公式(14)中，执行对位深 度的缩放。
[数学式5]
r′c(x，y)＝Δr′c(x，y)+(α×rL(x，y))＞＞3…(9)
Δbitdepth＝BitDepthY-BitDepthC…(10)
如果(Δbitdepth≥0)…(11)
r′c(x，y)＝Δr′c(x，y)+(α×(rL(x，y)＞＞Δbitdepth))＞＞3 …(12)
否则…(13)
r′c(x，y)＝Δr′c(x，y)+(α×(rL(x，y)＜＜-Δbitdepth))＞＞3 …(14)
用于如上地将位深度布置成一致的移位计算方法是任意的。可以通过 下述方式来将残差数据的位深度布置成一致的：从编码侧发送与每个分量 的残差数据的位深度有关的信息，基于从编码侧发送的与每个分量的残差 数据的位深度有关的信息获取针对其执行预测的两个分量的位深度之间 的差，以及基于所获取的位深度之间的差来执行位移位。然后，在两个分 量之间的位深度差不是零的情况下，可以在通过位移位将残差数据的位深 度布置成在分量之间是一致的情况下执行恢复。例如，如在上述公式(10) 中，可以配置成使得获取分量之间的残差数据的位深度的差(位深度差)， 以及如在公式(11)至公式(14)中，与位深度差对应地执行位移位。此 时，如在公式(12)和公式(14)中，可以与位深度差的绝对值对应地执 行位移位。在这样的情况下，例如，可以基于是否满足公式(11)和公式 (13)的条件，来如公式(12)和公式(14)所示确定移位方向。
换言之，在这样的情况下，在亮度分量(Y)的残差数据(rL(x，y)) 的位深度(BitDepthY)被布置成相对于色差分量(Cb或Cr)的残差数据 (rC(x，y))的位深度(BitDepthC)是一致的情况下来执行恢复。更具 体地，获取针对其执行恢复的两个分量之间的位深度差，针对两个分量中 的一个分量的经恢复的残差数据执行与位深度差对应的位移位，经位移位 的残差数据乘以预定加权系数，针对乘法运算结果执行与预定位数对应的 位移位，以及将经位移位的乘法运算结果和预测的残差数据加在一起，从 而恢复了另一分量的残差数据。可以如上所述地执行恢复。
在Δbitdepth是零的情况下，亮度分量(Y)的残差数据(rL(x，y)) 的位移位量是零，因此，可以认为残差数据(r'c(x，y))如在公式(9) 中所示地计算。
通过如上所述地计算，在残差数据的位深度在分量之间是不同的情况 下，也可以正确地恢复残差数据(r'c(x，y))。因此，可以抑制编码效率 的降低。
<图像解码装置>
图10是示出了根据本技术的图像处理装置的一个方面的与图3中所 示的图像编码装置100对应的图像编码装置的主要配置的示例的框图。
图10中所示的图像解码装置200使用与编码方法对应的解码方法来 对由图像编码装置100生成的经编码的数据进行解码。
如在图10中所示，图像解码装置200包括：累积缓冲器201、可逆 解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、环 路滤波器206以及画面重排缓冲器207。此外，图像解码装置200包括： 帧存储器209、帧内预测单元210、帧间预测单元211以及预测图像选择 单元212。此外，图像解码装置200包括：头部获取单元221和残差恢复 单元222。
累积缓冲器201还用作对从编码侧(例如，图像编码装置100)发送 的经编码的数据进行接收的接收单元。累积缓冲器201接收并且积累所发 送的经编码的数据，以及以预定的定时将经编码的数据提供至可逆解码单 元202。在此，解码处理所需要的信息例如预测模式信息等被添加至经编 码的数据。可逆解码单元202使用与编码系统对应的解码系统来对从累积 缓冲器201提供的由可逆编码单元106编码的信息进行解码。可逆解码单 元202将通过解码处理获取的经量化的系数数据提供至逆量化单元203。
此外，可逆解码单元202确定帧内预测模式还是帧间预测模式被选择 为最优预测模式，以及将与最优预测模式有关的信息提供至确定要被选择 的帧内预测单元210和帧间预测单元211中的一个。换言之，例如，在图 像编码装置100中帧内预测模式被选为最优预测模式的情况下，与最优预 测模式有关的信息被提供至帧内预测单元210。另一方面，例如，在图像 编码装置100中帧间预测模式被选为最优预测模式的情况下，与最优预测 模式有关的信息被提供至帧间预测单元211。
此外，可逆解码单元202将逆量化所需要的信息例如量化矩阵和量化 参数提供至逆量化单元203。
此外，可逆解码单元202将头部信息例如序列参数集(SPS)、图片参 数集(PPS)或切片头部提供至头部获取单元221。
逆量化单元203使用与量化单元105的量化系统对应的系统，来对通 过由可逆解码单元202执行的解码处理所获取的量化系数数据执行逆量 化。在此，该逆量化单元203是与逆量化单元108类似的处理单元。换言 之，逆量化单元203的描述还可以应用于逆量化单元108。然而，需要根 据装置适当地改述数据的输入/输出目的地等。
逆量化单元203将所获取的系数数据提供至逆正交变换单元204。
逆正交变换单元204根据需要通过使用与由正交变换单元104执行的 正交变换处理对应的方法来对从逆量化单元203提供的正交变换系数执 行逆正交变换。在此，该逆正交变换单元204是与逆正交变换单元109类 似的处理单元。换言之，逆正交变换单元204的描述还可以应用至逆正交 变换单元109。然而，需要根据装置适当地改述数据的输入/输出目的地等。
逆正交变换单元204通过逆正交变换处理获取与在由图像编码装置 100执行的正交变换之前的状态对应的残差数据和预测残差数据。通过逆 正交变换获取的残差数据和预测残差数据被提供至残差恢复单元222。
计算单元205从残差恢复单元222获取每个分量的被恢复的残差数 据。此外，计算单元205通过预测图像选择单元212从帧内预测单元210 或帧间预测单元211获取预测图像。计算单元205通过将差分图像与预测 图像加在一起来获取与在由计算单元103执行的预测图像的减法运算之 前的图像对应的重建图像。计算单元205将重建图像提供至环路滤波器 206和帧内预测单元210。
环路滤波器206通过针对所提供的重建图像适当地执行包括去块滤 波处理、自适应环路滤波等的环路滤波处理来生成解码图像。例如，环路 滤波器206针对重建图像执行去块滤波处理，从而移除块失真。此外，例 如，环路滤波器206通过使用Wiener滤波器针对去块滤波处理的结果(移 除块失真的重建图像)来执行环路滤波处理，从而提高图像质量。
在此，由环路滤波器206执行的滤波处理的类型是任意的，以及可以 执行不同于上述处理的滤波处理。此外，环路滤波器206可以被配置成使 用从图像编码装置100提供的滤波系数来执行滤波处理。
环路滤波器206将作为滤波处理的结果的解码图像提供至画面重排 缓冲器207和帧存储器209。
画面重排缓冲器207执行图像的重排。换言之，由画面重排缓冲器 102排列的用于编码顺序的帧的顺序被改变成原始显示的顺序。画面重排 缓冲器207将帧的顺序被重新排列的解码图像数据输出至图像解码装置 200的外部。
帧存储器209存储所提供的解码图像，以及以预定的定时或基于来自 外部例如帧间预测单元211的请求来将所存储的解码图像提供至帧间预测 单元211作为参考图像。
通过对头部信息进行解码获取的表示帧内预测模式等的信息被适当 地从可逆解码单元202提供至帧内预测单元210。帧内预测单元210通过 使用在由帧内预测单元113使用的帧内预测模式下从帧存储器209获取的 参考图像来执行帧内预测，从而生成预测图像。帧内预测单元210将所生 成的预测图像提供至预测图像选择单元212。
帧间预测单元211从可逆解码单元202获取通过对头部信息进行解码 获取的信息(最优预测模式信息、参考图像信息等)。
帧间预测单元211通过使用由从可逆解码单元202获取的最优预测模 式信息表示的帧间预测模式下从帧存储器209获取的参考图像来执行帧 间预测，从而生成预测图像。
预测图像选择单元212将从帧内预测单元210提供的预测图像或从帧 间预测单元211提供的预测图像提供至计算单元205。然后，计算单元205 将使用运动矢量生成的预测图像与从残差恢复单元222提供的经解码的 残差数据(差分图像信息)相加，从而对原始图像解码。
例如，头部获取单元221通过可逆解码单元202获取从编码侧发送的 头部信息，例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)、 SEI以及切片头部。头部获取单元221将包括在所获取的头部信息中的必 要的信息提供至残差恢复单元222。稍后将描述残差恢复单元222的细节。
残差恢复单元222通过使用从逆正交变换单元204提供的亮度分量的 残差数据和色差分量的预测残差数据来恢复色差分量的残差数据(也称为 残差恢复)。此时，残差恢复单元222在残差数据的位深度被布置成在分 量之间是一致的情况下执行恢复。在此，该残差恢复单元222是与残差恢 复单元123类似的处理单元。换言之，残差恢复单元222的描述还可以应 用至残差恢复单元123。然而，需要根据装置适当地改述数据的输入/输出 目的地等。
<头部获取单元和残差恢复单元>
图11是示出了在图10中示出的头部获取单元221和残差恢复单元 222的主要配置的示例的框图。如在图11中所示，头部获取单元221包括： SPS获取单元231、PPS获取单元232以及加权系数获取单元233。
SPS获取单元231获取下述信息：表示亮度分量的位深度的信息(例 如，bit_depth_luma_minus8)或包括包含在从编码侧提供的序列参数集 (SPS)中的表示亮度分量的位深度的信息的信息和表示色差分量(Cb/Cr) 的位深度的信息(例如，bit_depth_chroma_minus8)的信息或包括表示色 差分量的位深度的信息的信息，以及将所获取的信息提供至残差恢复单元 222(稍后要描述的位深度差计算单元251)。
PPS获取单元232将包括在从编码侧提供的图片参数集(PPS)中的 用于控制是否执行残差预测的信息(例如， luma_chroma_prediction_enabled_flag)提供至残差恢复单元222(稍后要 描述的位移位控制单元252)。
加权系数获取单元233将从编码侧提供的加权系数α或包括加权系数 α的信息提供至残差恢复单元222(稍后要描述的加权系数乘法单元264)。
残差恢复单元222将从逆正交变换单元204提供的亮度分量的经恢复 的残差数据(r'Y(x，y))提供至计算单元205。残差恢复单元222包括控 制单元241和恢复单元242。控制单元241执行与残差恢复有关的计算的 控制有关的处理。恢复单元242在控制单元241的控制下执行与残差恢复 有关的计算。例如，恢复单元242在控制单元241的控制下，通过使用从 逆正交变换单元204获取的亮度分量的经恢复的残差数据(r'Y(x，y))， 根据从逆正交变换单元204获取的色差分量的经恢复的预测残差数据 (Δr'Cr(x，y)和Δr'Cb(x，y))来恢复色差分量的残差数据(r'Cr(x， y)和r'Cb(x，y))。恢复单元242将色差分量的经恢复的残差数据(r'Cr (x，y)和r'Cb(x，y))提供至计算单元205。此外，残差恢复单元222 在控制单元241的控制下，在不执行残差恢复的情况下将从逆正交变换单 元204获取的色差分量的经恢复的残差数据(r'Cr(x，y)和r'Cb(x，y)) 提供至计算单元205。
控制单元241包括：位深度差计算单元251以及位移位控制单元252。
位深度差计算单元251计算用于残差预测的分量的残差数据之间的 位深度差。例如，位深度差计算单元251从SPS获取单元231获取下述信 息：表示亮度分量的位深度的信息(例如，bit_depth_luma_minus8)，或者 包括表示亮度分量的位深度的信息和表示色差分量(Cb/Cr)的位深度的 信息(例如，bit_depth_chroma_minus8)的信息，或者包括表示色差分量 的位深度的信息的信息，以及通过使用这样的信息执行在公式(4)中表 示的计算，从而计算分量之间的位深度差(delta_bitdepth)。位深度差计算 单元251将所计算的位深度差(delta_bitdepth)提供至位移位控制单元252。
此外，位深度差计算单元251在位移位控制单元252的控制下，将所 计算的位深度差(delta_bitdepth)提供至恢复单元242。例如，在缩放位 深度时执行残差数据的右移位的情况下，位深度差计算单元251将计算的 位深度差(delta_bitdepth)提供至右移位单元262。另一方面，在缩放位 深度时执行残差数据的左移位的情况下，位深度差计算单元251将所计算 的位深度差(-delta_bitdepth)提供至左移位单元263。
位移位控制单元252基于从位深度差计算单元251提供的分量之间的 位深度差(delta_bitdepth)的值来对由恢复单元242执行的计算进行控制。 例如，在位深度差(delta_bitdepth)是零的情况下，位移位控制单元252 对恢复单元242(恢复单元242中的选择单元261)执行控制，以使得不 执行残差数据的位移位(缩放位深度)。此外，此时，位移位控制单元252 还对位深度差计算单元251执行控制，以使得位深度差(delta_bitdepth)不提供至恢复单元242。
此外，例如，在位深度差(delta_bitdepth)是正值(>0)的情况下， 位移位控制单元252对恢复单元242(恢复单元242中的选择单元261) 执行控制，以使得残差数据向右侧移位(执行位深度的缩放)。此外，此 时，位移位控制单元252还对位深度差计算单元251执行控制，以使得位 深度差(delta_bitdepth)被提供至恢复单元242(右移位单元262)。
另一方面，例如，在位深度差(delta_bitdepth)是负值(<0)的情况 下，位移位控制单元252对恢复单元242(恢复单元242中的选择单元261) 执行控制，以使得残差数据向左侧移位(执行位深度的缩放)。此外，此 时，位移位控制单元252还对位深度差计算单元251执行控制，以使得位 深度差(-delta_bitdepth)被提供至恢复单元242(左移位单元263)。
此外，例如，位移位控制单元252从PPS获取单元232获取从编码侧 提供的用于控制是否执行残差预测的信息(例如， luma_chroma_prediction_enabled_flag)，以及基于获取的信息的值来控制是 否执行残差恢复。例如，在基于用于控制是否执行残差预测的信息表示不 执行残差预测(换言之，还表示不执行残差恢复)的情况下，位移位控制 单元252执行恢复单元242的控制以使得不执行与恢复有关的计算。此外， 在这样的情况下，位移位控制单元252对位深度差计算单元251执行控制 以使得停止位深度差(delta_bitdepth或-delta_bitdepth)的提供。此外，在 这样的情况下，位移位控制单元252对加权系数获取单元233执行控制以 使得不获取加权系数α。
另一方面，例如，在基于用于控制是否执行残差预测的信息表示执行 残差预测(换言之，还表示执行残差恢复)的情况下，位移位控制单元 252执行恢复单元242的控制以使得执行与恢复有关的计算。此外，在这 样的情况下，位移位控制单元252对位深度差计算单元251执行控制以使 得位深度差(delta_bitdepth或-delta_bitdepth)被提供至恢复单元242。此 外，在这样的情况下，位移位控制单元252对加权系数获取单元233执行 控制以获取加权系数α，以及将加权系数提供至预测单元242(加权系数 乘法单元264)。
恢复单元242执行基本上与由预测单元142执行的计算相同的计算， 因此，恢复单元242具有基本上与预测单元142的配置相同的配置。换言 之，恢复单元242包括：选择单元261、右移位单元262、左移位单元263、 加权系数乘法单元264、右移位单元265、计算单元266以及计算单元267。
选择单元261与选择单元161类似地在位移位控制单元252的控制下 选择从逆正交变换单元204提供的已经被恢复的亮度分量的残差数据(r'Y (x，y))的提供目的地。例如，在对位深度执行缩放(右移位)的情况 下，选择单元261将已经被恢复的亮度分量的残差数据(r'Y(x，y))提 供至右移位单元262。在这种情况下，执行与公式(6)对应的计算。此外，在对位深度执行缩放(左移位)的情况下，选择单元261将已经被恢 复的亮度分量的残差数据(r'Y(x，y))提供至左移位单元263。在这种情 况下，执行与公式(8)对应的计算。另一方面，例如，在不对位深度执 行缩放的情况下，选择单元261将已经被恢复的亮度分量的残差数据(r'Y (x，y))提供至加权系数乘法单元264。在这种情况下，执行与公式(3) 对应的计算。
右移位单元262通过将从选择单元261获取的已经被恢复的亮度分量 的残差数据(r'Y(x，y))与从位深度差计算单元251获取的位深度差 (delta_bitdepth)对应地向右侧移位来对位深度执行缩放。右移位单元262 将亮度分量的残差数据的右移位的结果(r'Y(x，y)>>delta_bitdepth) 提供至加权系数乘法单元264。
左移位单元263通过将从选择单元261获取的已经被恢复的亮度分量 的残差数据(r'Y(x，y))与从位深度差计算单元251获取的位深度差 (-delta_bitdepth)对应地向左侧移位来对位深度执行缩放。左移位单元 263将亮度分量的残差数据的左移位的结果(r'Y(x，y)<<-delta_bitdepth) 提供至加权系数乘法单元264。
加权系数乘法单元264从选择单元261至左移位单元263中的一个获 取已经被恢复的亮度分量的残差数据。例如，加权系数乘法单元264从选 择单元261获取还没有被位移位的亮度分量的经恢复的残差数据(r'Y(x， y))。此外，例如，加权系数乘法单元264从右移位单元262获取已经被 向右侧移位的亮度分量的经恢复的残差数据(r'Y(x，y)>>delta_bitdepth)。 此外，例如，加权系数乘法单元264从左移位单元263获取已经被向左侧 移位的亮度分量的经恢复的残差数据(r'Y(x，y)<<-delta_bitdepth)。
此外，加权系数乘法单元264通过加权系数获取单元233获取加权系 数α。加权系数乘法单元264将已经获取的亮度分量的经恢复的残差数据 与加权系数α相乘，以及将该乘法运算的结果(α×(r'Y(x，y))，α×(r'Y (x，y)>>delta_bitdepth)或α×(r'Y(x，y)<<-delta_bitdepth)提供 至右移位单元265。
右移位单元265将已经从加权系数乘法单元264提供的亮度分量的经 恢复的残差数据(α×(r'Y(x，y))，α×(r'Y(x，y)>>delta_bitdepth) 或α×(r'Y(x，y)<<-delta_bitdepth)向右侧移位预定的位。例如，尽 管位移位量只要与编码侧的位移位量是相同的就是任意的，但是在公式 (3)、公式(6)以及公式(8)的情况下，右移位单元265将残差数据向 右侧移位三个位。右移位单元265将右移位的结果(α×(r'Y(x，y))>> 3,α×(r'Y(x，y)>>delta_bitdepth>>3，或α×(r'Y(x，y)<< -delta_bitdepth)>>3)提供至计算单元266或计算单元267。
计算单元266通过将从移位单元265提供的亮度分量的经恢复的残差 数据(α×(r'Y(x，y))>>3,α×(r'Y(x，y)>>delta_bitdepth>>3，或 α×(r'Y(x，y)<<-delta_bitdepth)>>3)与从逆正交变换单元204提 供的色差分量(Cr)的经恢复的预测残差数据(Δr'Cr(x，y))相加来恢 复色差分量(Cr)的残差数据(r'Cr(x，y))，以及将经恢复的残差数据提 供至计算单元205。另一方面，在不执行这样的残差恢复的情况下，计算 单元266将从逆正交变换单元204提供的色差分量(Cr)的经恢复的残差 数据(r'Cr(x，y))提供至计算单元205。
计算单元267通过将从由移位单元265提供的亮度分量的经恢复的残 差数据(α×(r'Y(x，y))>>3,α×(r'Y(x，y)>>delta_bitdepth>>3， 或α×(r'Y(x，y)<<-delta_bitdepth)>>3)与从逆正交变换单元204 提供的色差分量(Cb)的经恢复的预测的残差数据(Δr'Cb(x，y))相加 来恢复色差分量(Cb)的残差数据(r'Cb(x，y))，以及将经恢复的残差数据提供至计算单元205。另一方面，在不执行这样的残差恢复的情况下， 计算单元267将从逆正交变换单元204提供的色差分量(Cb)的经恢复的 残差数据(r'Cb(x，y))提供至计算单元205。
如上所述，在残差恢复中，残差恢复单元222通过对亮度分量的经恢 复的残差数据的位深度执行缩放来执行恢复。因此，在残差数据的位深度 在分量之间不同的情况下，残差恢复单元222也可以正确地恢复残差数 据。因此，根据图像解码装置200，可以抑制编码效率的降低。
<解码处理的流程>
接下来，将描述由图像解码装置200执行的每个处理的流程的示例。 首先，将参照在图12中所示的流程图来描述解码处理的流程的示例。
当解码处理开始时，在步骤S201中，累积缓冲器201存储已经被接 收的发送的比特流。在步骤S202中，可逆解码单元202对从累积缓冲器201提供的比特流进行解码。换言之，对由可逆编码单元106编码的I图 片、P图片以及B图片进行解码。此时，还对包括在比特流中的除了图像 之外的各种信息例如头部信息进行解码。
在步骤S203中，逆量化单元203对由步骤S202的处理获取的量化系 数执行逆量化。
在步骤S204中，逆正交变换单元204对由步骤S203的处理获取的正 交变换系数执行逆正交变换。根据该处理，恢复了亮度分量的残差数据和 色差分量的预测残差数据。
在步骤S205中，残差恢复单元222通过使用亮度分量的经恢复的残 差数据和色差分量的经恢复的预测残差数据来执行用于恢复色差分量的 残差数据的残差恢复处理。稍后将描述该处理的细节。
在步骤S206中，帧内预测单元210或帧间预测单元211执行预测处 理，从而生成预测图像。换言之，在采用编码处理时由可逆解码单元202 确定的预测模式下执行预测处理。更具体地，例如，在编码处理时采用帧 内预测的情况下，帧内预测单元210在编码处理时被认为是最优的帧内预 测模式下生成预测图像。另一方面，例如，在编码处理时采用帧间预测的 情况下，帧间预测单元211在编码处理时被认为是最优的帧间预测模式下 生成预测图像。
在步骤S207中，计算单元205将在步骤S206中生成的预测图像与由 步骤S204和步骤S205的处理恢复的残差数据相加。因此，获取了重建图 像。
在步骤S208中，环路滤波器206针对由步骤S207的处理获取的重建 图像适当地执行包括去块滤波处理、自适应环路滤波处理等的环路滤波处 理。
在步骤209中，画面重排缓冲器207对由步骤S208的处理获取的解 码图像的帧进行重排。换言之，在编码处理时重排的帧的顺序被改变成原 始显示的顺序。帧被重排的的解码图像被输出至图像解码装置200的外 部。
在步骤210中，帧存储器209存储由步骤S208的处理获取的解码图 像。
当步骤S210的处理结束时，解码处理结束。
<残差恢复处理的流程>
接下来，将参照图13来描述在这样的解码处理的步骤S205中执行的 残差恢复处理的流程的示例。
当开始残差恢复处理时，在步骤S221中，位深度差计算单元251通 过SPS获取单元231获取包括在从编码侧发送的序列参数集中的下述信 息：表示亮度分量的位深度的信息(例如，bit_depth_luma_minus8)和表 示色差分量(Cb/Cr)的位深度的信息(例如，bit_depth_chroma_minus8)， 以及通过使用这样的信息来计算在针对其执行残差预测的分量之间的位 深度差。换言之，位深度差计算单元151执行公式(10)的计算，以及计 算亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差(delta_bitdepth)。 在位深度差在色差分量(Cr)与色差分量(Cb)之间为不同的情况下，计 算位深度差(delta_bitdepth)。
在步骤S222中，位移位控制单元252确定在步骤S221中计算的位深 度差(delta_bitdepth)是否是零。在确定位深度差(delta_bitdepth)为零 的情况下，处理进行至步骤S223。在这样的情况下，不执行位移位，以 及如公式(9)中所示来执行残差恢复。
在步骤S223中，位移位控制单元252基于包括在图片参数集(PPS) 中用于控制是否执行残差预测的信息(例如， luma_chroma_prediction_enabled_flag)，来确定是否已经在编码侧执行了残 差预测。例如，在确定luma_chroma_prediction_enabled_flag的值是“1”的 情况下，已经执行了残差预测，处理进行至步骤S224。
在步骤S224中，加权系数获取单元233针对每个TU获取加权系数α。
在步骤S225中，恢复单元242在不对位深度执行缩放的情况下对色 差分量的残差数据执行恢复(残差恢复)。稍后将描述该处理的细节。
在步骤S225中，当残差恢复结束时，残差恢复处理结束，以及处理 返回至图12中所示的处理。
另一方面，例如，在步骤S223中，在确定 luma_chroma_prediction_enabled_flag的值是“0”的情况下，没有执行残差 预测，省略步骤S224和步骤S225的处理，残差恢复处理结束，以及处理 返回至图12中所示的处理。
此外，在步骤S222中，在确定位深度差(delta_bitdepth)不为零的 情况下，处理进行至步骤S226。
在步骤S226中，位移位控制单元252确定在步骤S221中计算的位深 度差(delta_bitdepth)是否是正的。在确定在步骤S221中计算的位深度 差是正的情况下，处理进行至步骤S227。在这样的情况下，如公式(12) 中所示来执行残差恢复(执行通过右移位的缩放)。
在步骤S227中，位移位控制单元252基于包括在图片参数集(PPS) 中的用于控制是否执行残差预测的信息(例如， luma_chroma_prediction_enabled_flag)等来确定是否执行了残差预测。例 如，在luma_chroma_prediction_enabled_flag的值是“1”的情况下，确定已 经执行了残差预测，处理进行至步骤S228。
在步骤S228中，加权系数获取单元233针对每个TU设置加权系数α。
在步骤S229中，恢复单元242通过使用右移位对位深度执行缩放来 对色差分量的残差数据执行恢复(残差恢复)。稍后将描述该处理的细节。
当在步骤S229中执行的残差恢复结束时，残差恢复处理结束，以及 处理返回至图12中所示的处理。
另一方面，例如，在步骤S227中，在确定 luma_chroma_prediction_enabled_flag的值是“0”的情况下，在编码侧没有 执行残差预测，省略步骤S228和步骤S229的处理，残差恢复处理结束， 以及处理返回至图12中所示的处理。
此外，在步骤S226中，在确定位深度差(delta_bitdepth)不为正(确 定为负)的情况下，处理进行至步骤S230。在这样的情况下，如公式(14) 中所示来执行残差预测(执行使用左移位的缩放)。
在步骤S230中，位移位控制单元252基于包括在图片参数集(PPS) 中的用于控制是否执行残差预测的信息(例如， luma_chroma_prediction_enabled_flag)等来确定在编码侧是否已经执行了 残差预测。例如，在确定luma_chroma_prediction_enabled_flag的值是“1” 的情况下，已经执行了残差预测，处理进行至步骤S231。
在步骤S231中，加权系数获取单元233针对每个TU获取加权系数α。
在步骤S232中，恢复单元242通过使用左移位对位深度执行缩放来 对色差信号的残差数据执行恢复(残差恢复)。稍后将描述该处理的细节。
当在步骤S232中执行的残差恢复结束时，残差恢复处理结束，以及 处理返回至图12中所示的处理。
另一方面，例如，在步骤S230中，在确定 luma_chroma_prediction_enabled_flag的值是“0”的情况下，在编码侧没有 执行残差预测，省略步骤S231和步骤S232的处理，残差恢复处理结束， 以及处理返回至图12中所示的处理。
<残差数据恢复处理的流程>
接下来，将参照图14中示出的流程图来描述在残差恢复处理的步骤 S225中执行的残差数据恢复处理的流程的示例。
当开始残差数据恢复处理时，在步骤S241中，恢复单元242的加权 系数乘法单元264将亮度分量的经恢复的残差数据(r'Y(x，y))与由在 图13中示出的步骤S224的处理获取的加权系数α相乘(α×r'Y(x，y))。
在步骤S242中，右移位单元265将在步骤S241中计算的乘法运算结 果(α×r'Y(x，y))向右侧移位三位((α×r'Y(x，y))>>3)。
在步骤S243中，计算单元266通过将在步骤S242中计算的右移位结 果((α×r'Y(x，y))>>3)与色差分量Cr的经恢复的预测残差数据(Δr'Cr (x，y))相加(Δr'Cr(x，y)+(α×r'Y(x，y))>>3)来恢复色差分 量Cr的残差数据(r'Cr(x，y))。此外，计算单元267通过将在步骤S242 中计算的右移位结果((α×r'Y(x，y))>>3)与色差分量Cb的预测残差 数据(Δr'Cb(x，y))相加(Δr'Cb(x，y)+(α×r'Y(x，y))>>3)来恢 复色差分量Cb的残差数据(r'Cb(x，y))。
当如上所述地恢复色差分量的残差数据(r'Cr(x，y)和r'Cb(x，y)) 时，残差数据恢复处理结束，以及处理返回至图13中所示的处理。
<残差数据恢复处理的流程>
接下来，将参照图15中示出的流程图来描述在残差恢复处理的步骤 S229中执行的残差数据恢复处理的流程的示例。
当开始残差数据恢复处理时，在步骤S251中，恢复单元242的右移 位单元262将亮度分量的经恢复的残差数据(r'Y(x，y))与由在图13中 示出的步骤S221的处理计算的残差数据的位深度差(delta_bitdepth)对 应地向右侧移位((r'Y(x，y)>>delta_bitdepth))。
在步骤S252中，加权系数乘法单元264将在步骤S251中计算的右移 位的结果(r'Y(x，y)>>delta_bitdepth)与由在图13中示出的步骤S228 的处理获取的加权系数α相乘(α×(r'Y(x，y)>>delta_bitdepth))。
在步骤S253中，右移位单元265将在步骤S252中计算的乘法运算结 果(α×(r'Y(x，y)>>delta_bitdepth))向右侧移位三位(α×(r'Y(x，y)>> delta_bitdepth)>>3)。
在步骤S254中，计算单元266通过将在步骤S253中计算的右移位结 果(α×(r'Y(x，y)>>delta_bitdepth)>>3)与色差分量Cr的经恢复的 预测残差数据(Δr'Cr(x，y))相加(Δr'Cr(x，y)+α×(r'Y(x，y)>> delta_bitdepth)>>3)来恢复色差分量Cr的残差数据(r'Cr(x，y))。此 外，计算单元267通过将在步骤S253中计算的右移位结果(α×(r'Y(x， y)>>delta_bitdepth)>>3)与色差分量Cb的经恢复的预测残差数据(Δr'Cb (x，y))相加(Δr'Cb(x，y)+α×(r'Y(x，y)>>delta_bitdepth)>>3) 来恢复色差分量Cb的残差数据(r'Cb(x，y))。
当如上所述地恢复色差分量的残差数据(r'Cr(x，y)和r'Cb(x，y)) 时，残差数据恢复处理结束，以及处理返回至图13中所示的处理。
<残差数据恢复处理的流程>
接下来，将参照图16中示出的流程图来描述在残差恢复处理的步骤 S232中执行的残差数据恢复处理的流程的示例。
当开始残差数据恢复处理时，在步骤S261中，恢复单元242的左移 位单元263将亮度分量的经恢复的残差数据(r'Y(x，y))与由在图13中 示出的步骤S221的处理计算的残差数据的位深度差(-delta_bitdepth)对 应地向左侧移位(r'Y(x，y)<<-delta_bitdepth)。
在步骤S262中，加权系数乘法单元264将在步骤S261中计算的左移 位的结果(r'Y(x，y)<<-delta_bitdepth)与由在图13中示出的步骤S231 的处理获取的加权系数α相乘(α×(r'Y(x，y)<<-delta_bitdepth))。
在步骤S263中，右移位单元265将在步骤S262中计算的乘法运算结 果(α×(r'Y(x，y)<<-delta_bitdepth))向右侧移位三位(α×(r'Y(x，y) <<-delta_bitdepth)>>3)。
在步骤S264中，计算单元266通过将在步骤S263中计算的右移位结 果(α×(r'Y(x，y)<<-delta_bitdepth)>>3)与色差分量Cr的经恢复的 预测残差数据(Δr'Cr(x，y))相加(Δr'Cr(x，y)+α×(r'Y(x，y)<< -delta_bitdepth)>>3)来恢复色差分量Cr的残差数据(r'Cr(x，y))。此 外，计算单元267通过将在步骤S263中计算的右移位结果(α×(r'Y(x， y)<<-delta_bitdepth)>>3)与色差分量Cb的经恢复的预测残差数据(Δr'Cb (x，y))相加(Δr'Cb(x，y)+α×(r'Y(x，y)<<-delta_bitdepth)>>3) 来恢复色差分量Cb的残差数据(r'Cb(x，y))。
当如上所述地恢复色差分量的残差数据(r'Cr(x，y)和r'Cb(x，y)) 时，残差数据恢复处理结束，以及处理返回至图13中所示的处理。
通过如上所述地执行每个处理，在残差数据的位深度在分量之间不同 的情况下，残差恢复单元222也可以正确地恢复残差数据。因此，图像解 码装置200可以抑制编码效率的降低。
如上，尽管已经描述了当残差数据的位深度被布置成一致时，在对这 样的位深度进行的缩放中，亮度分量的位深度通过位移位被布置成相对于 色差分量是一致的，但是用作参考的分量是任意的。例如，色差分量的位 深度可以被配置成被缩放。然而，一般地，为了提高预测精度，优选地对 具有更多信息量的分量(具有较深的位深度)进行缩放以提高编码效率。 如上所述在YUV的颜色空间的情况下，通常，亮度分量是重要的并且具 有大的信息量。因此，优选地对亮度分量的位深度进行缩放。
如上，尽管已经描述了对YUV颜色空间的图像进行编码和解码的情 况，但是图像的颜色空间是任意的，以及可以在任意分量之间执行预测。 例如，在图像的颜色空间是RGB的情况下，与上述YUV的情况类似，也 可以使用对位深度的缩放来执行残差预测/残差解码。
<2.第二实施方式>
<残差预测的禁止>
控制残差预测/残差解码的方法不限于上述示例的方法。例如，在残 差数据的位深度在分量之间为不同的情况下，残差预测可以被配置成被禁 止(不计算预测残差数据)。更具体地，在残差数据的位深度在分量之间 为不同的情况下，可以通过包括在图片参数集(PPS)中的用于控制是否 执行残差预测的的信息(例如，luma_chroma_prediction_enabled_flag)来 控制不执行残差预测。例如，在这样的情况下， luma_chroma_prediction_enabled_flag的值可以被配置成是零。通过这样地 配置，针对与该信息对应的图片，禁止残差预测(自然地，不执行残差恢 复)。因此，可以被配置成不执行不准确的残差预测/残差恢复。换言之， 可以抑制由于不准确的残差预测/残差恢复引起的编码效率的降低。此外， 可以省略位深度的缩放等处理，因此，可以抑制处理负荷的增加。
<语义>
为了如上所述地执行控制处理，可以如图17中所示的示例来描述语 义。在图17中所示的语义的附有下划线的一部分是与上述残差预测/残差 解码的执行控制对应的描述。
<头部处理单元和残差预测单元>
在该情况下，图像编码装置100仍可以具有与根据第一实施方式的图 像编码装置基本相同的配置。
图18是示出了这样的情况的头部处理单元121和残差预测单元122 的主要配置的示例的框图。如在图18中所示，在该情况下，当与第一实 施方式的情况比较时，残差预测单元122包括控制单元311而不是控制单 元141，以及包括预测单元312而不是预测单元142。
控制单元311执行与控制单元141的处理基本上相同的处理。当与控 制单元141的配置相比时，控制单元311包括位深度差计算单元321而不 是位深度差计算单元151，包括位移位控制单元322而不是位移位控制单 元152，以及与控制单元141的情况类似，控制单元311包括加权系数设 置单元153。
与位深度差计算单元151的情况类似，位深度差计算单元321计算分 量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元151的情 况不同的是，位深度差计算单元321不将计算的分量之间的位深度差 (delta_bitdepth)提供至预测单元312。
与位移位控制单元152的情况类似，位移位控制单元322控制由预测 单元312执行的计算。然而，在残差数据的位深度在分量之间为不同的情 况下，位移位控制单元322禁止残差预测(不计算预测残差数据)。
换言之，在该实施方式的示例中，不执行位深度的缩放，换言之，不 执行用于将位深度布置成在分量之间为一致的位移位，因此，与预测单元 142的配置相比，预测单元312不包括右移位单元162和左移位单元163。
<残差预测处理的流程>
在该实施方式的情况下，与第一实施方式的情况的编码处理类似地执 行编码处理。将参照在图19中所示的流程图来描述在该实施方式中执行 的残差预测处理的流程的示例。
在图19中所示的示例的情况下，当开始残差预测处理时，在步骤S301 中，位深度差计算单元321也计算针对其执行残差预测的分量之间的位深 度差。换言之，位深度差计算单元321执行在公式(4)中表示的计算， 以及计算在亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差 (delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间 为不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S302中，位移位控制单元322确定在步骤S301中计算的位深 度差(delta_bitdepth)是否为零。在确定位深度差为零的情况下，处理进 行至步骤S303。在这样的情况下，不执行位移位，而是如在公式(3)中 所示地执行残差预测。
换言之，与根据第一实施方式的残差预测处理的步骤S123至步骤 S125的处理类似地执行步骤S303至步骤S305的处理。然后，在步骤S305 的处理结束或在步骤S303中确定不执行残差预测的情况下，残差预测处 理结束，以及处理返回至图5中所示的处理。
此外，在步骤S302中，在确定位深度差(delta_bitdepth)不为零的 情况下，处理进行至步骤S306。
在步骤S306中，位移位控制单元322将用于控制是否执行残差预测 的信息(例如，luma_chroma_prediction_enabled_flag)的值设置成表示不 执行(禁止)残差预测(残差恢复)的值。例如，位移位控制单元322可 以将luma_chroma_prediction_enabled_flag的值设置成零。
当步骤S306的处理结束时，残差预测处理结束，以及处理返回至图 5中所示的处理。
通过这样地配置，在残差数据的位深度在分量之间为不同并且不能正 确地执行残差预测的情况下，可以配置成不执行残差预测。因此，可以始 终正确地计算预测残差数据，从而图像编码装置100可以抑制由于不准确 的残差预测引起的编码效率的降低。此外，不需要对位深度缩放，因此， 可以抑制处理负荷的增加。
<头部获取单元和残差恢复单元>
在该情况下，图像解码装置200仍可以具有与第一实施方式的情况的 图像解码装置基本上相同的配置。
图20是示出了该情况的头部获取单元221和残差恢复单元222的主 要配置的示例的框图。如在图20中所示，在该情况下，当与第一实施方 式的情况比较时，残差恢复单元222包括控制单元351而不是控制单元 241，以及包括恢复单元352而不是恢复单元242。
控制单元351执行与控制单元241的处理基本上相同的处理。当与控 制单元241的配置相比时，控制单元351包括位深度差计算单元361而不 是位深度差计算单元251以及包括位移位控制单元362而不是位移位控制 单元252。
与位深度差计算单元251的情况类似，位深度差计算单元361计算分 量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元251的情 况不同的是，位深度差计算单元361不将计算的分量之间的位深度差 (delta_bitdepth)提供至恢复单元352。
与位移位控制单元252的情况类似，位移位控制单元362控制由恢复 单元352执行的计算。然而，在残差数据的位深度在分量之间为不同的情 况下，位移位控制单元362禁止残差恢复(不恢复色差分量的残差数据)。
换言之，在该实施方式的示例的情况下，不执行位深度的缩放，换言 之不执行用于将位深度布置成在分量之间为一致的位移位。因此，当与恢 复单元242的配置相比时，恢复单元352不包括右移位单元262和左移位 单元263。
<残差恢复处理的流程>
在该实施方式的情况下，与第一实施方式的情况类似地执行解码处 理。将参照图21中所示的流程图来描述在该实施方式的情况下残差恢复 处理的流程的示例。
在图21中所示的示例的情况下，当开始残差恢复处理时，在步骤S321 中，位深度差计算单元361也计算已经针对其执行残差预测的分量之间的 位深度差。换言之，位深度差计算单元361执行在公式(10)中表示的计 算，以及计算亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差 (delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间为不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S322中，位移位控制单元362确定在步骤S321中计算的位深 度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进 行至步骤S323。在这样的情况下，不执行位移位，以及如公式(9)中所 示来执行残差恢复。
换言之，与根据第一实施方式的残差预测处理的步骤S223至步骤 S225的处理类似地执行步骤S323至步骤S325的处理。然后，在步骤S325 的处理结束或在步骤S323中确定没有执行残差预测的情况下，残差恢复 处理结束，以及处理返回至图12中所示的处理。
另一方面，在步骤S322中，在步骤S321中计算的位深度差 (delta_bitdepth)被确定不为零的情况下，仍不执行对位深度的缩放，但 是省略了残差恢复。因此，在该情况下，残差恢复处理仍结束时，以及处 理返回至图12中所示的处理。
通过这样地配置，在残差数据的位深度在分量之间为不同，并且不能 正确地执行残差预测的情况下，不执行残差预测，以及配置成不根据残差 预测执行残差恢复。因此，可以始终正确地恢复残差数据，以及图像解码 装置200可以抑制编码效率由于不准确的残差恢复而降低。此外，由于不 需要对位深度的缩放，所以可以抑制处理负荷的增加。
<3.第三实施方式>
<使用对位深度的缩放和残差预测的禁止两者>
控制残差预测/残差解码的方法不限于上述示例的方法。例如，可以 配置成使得仅在残差数据的位深度在分量之间为不同并且所计算的分量 之间的位深度差是正的的情况下对位深度执行缩放；以及在所计算的分量 之间的位深度差是负的情况下禁止残差预测(不计算预测残差数据)。
更具体地，例如，可以配置成使得在亮度分量的残差数据的位深度大 于色差分量的残差数据的位深度的情况下，在通过右移位对位深度进行缩 放将残差数据的位深度布置成在分量之间为一致的情况下执行残差预测， 以及在亮度分量的残差数据的位深度小于色差分量的残差数据的位深度 的情况下，禁止残差预测(不计算预测残差数据)。
如上所述，基于图像的特性，亮度分量比色差分量更重要，以及通常， 亮度分量的残差数据的位深度是色差分量的残差数据的位深度，或亮度分 量的残差数据的位深度比色差分量的残差数据的位深度大。相反，存在色 差分量的位深度大于亮度分量的位深度的极少数情况。换言之，在色差分 量的位深度被设置成大到甚至与图像的特性相反的情况下，存在图像中包 括在图像的特性之上的生产商的某种意图的高可能性。因此，还可以考虑 容易降低作为向一般图像的处理的残差预测的预测精度的可能性。换言 之，存在易于降低编码效率的可能性。
因此，在期望具有高预测精度的亮度分量的位深度大于色差分量的位 深度的情况下，可以配置成使得能够执行残差预测(残差恢复)，并且通 过右移位对残差数据的位深度进行缩放而将残差数据的位深度布置成在 分量之间为一致的情况下执行残差预测，以正确地执行预测(恢复)。另 一方面，在期望具有低预测精度的色差分量的位深度大于亮度分量的位深 度时，可以配置成通过使用包括在图片参数集(PPS)中用于控制是否执 行残差预测的信息(例如，luma_chroma_prediction_enabled_flag)来使得 不执行残差预测。
通过这样地配置，残差预测/残差解码可以被配置成仅在根据残差预 测的执行可以获得足够的效果(能够充分提高编码效率)的情况下执行。 因此，由于可以省略不必要的残差预测/残差解码，所以可以抑制编码效 率的降低，以及可以抑制处理负荷的增加。
<语义>
为了如上所述地执行控制，可以如在图22中所示的示例来描述语义。 在图22中所示的语义附有下划线的一部分是与上述残差预测/残差解码的 执行控制对应的描述。
<头部处理单元和残差预测单元>
在该情况下，图像编码装置100仍可以具有与根据第一实施方式的图 像编码装置基本相同的配置。
图23是示出了这样的情况的头部处理单元121和残差预测单元122 的主要配置的示例的框图。如在图23中所示，在该情况下，当与第一实 施方式的情况比较时，残差预测单元122包括控制单元411而不是控制单 元141，以及包括预测单元412而不是预测单元142。
控制单元411执行与控制单元141的处理基本上相同的处理。当与控 制单元141的配置相比时，控制单元411包括位深度差计算单元421而不 是位深度差计算单元151，包括位移位控制单元422而不是位移位控制单 元152，以及与控制单元141的的情况类似，控制单元411包括加权系数 设置单元153。
与位深度差计算单元151的情况类似，位深度差计算单元421计算分 量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元151的情 况不同的是，位深度差计算单元421不将所计算的分量之间的位深度差 (delta_bitdepth)提供至左移位单元163(预测单元412没有左移位单元 163)。
与位移位控制单元152的情况类似，位移位控制单元422控制由预测 单元412执行的计算。然而，在由位深度差计算单元421计算的分量之间 的残差数据的位深度差(delta_bitdepth)是零的情况下，位移位控制单元 422使预测单元412不对位深度执行缩放，而是计算预测残差数据。另一 方面，在由位深度差计算单元421计算的分量之间的残差数据的位深度差 (delta_bitdepth)是正的情况下，位移位控制单元422使预测单元412对 位深度执行缩放以计算预测残差数据。与之相反，在由位深度差计算单元 421计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的情况 下，位移位控制单元422通过控制预测单元412来禁止残差预测(使得不 计算预测残差数据)。
换言之，在该实施方式的示例的情况下，当由位深度差计算单元421 计算的在分量之间残差数据的位深度差(delta_bitdepth)是负的时，不执 行位深度的缩放，换言之，不执行用于将位深度布置成在分量之间为一致 的位移位，因此，与预测单元142的配置相比，预测单元412不包括左移 位单元163。
<残差预测处理的流程>
在该实施方式的情况下，与第一实施方式的情况的编码处理类似地执 行编码处理。将参照在图24中所示的流程图来描述在该实施方式中执行 的残差预测处理的流程的示例。
在图24中所示的示例的情况下，当开始残差预测处理时，在步骤S401 中，位深度差计算单元421也计算针对其执行残差预测的分量之间的位深 度差。换言之，位深度差计算单元421执行在公式(4)中表示的计算， 以及计算在亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差 (delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间 为不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S402中，位移位控制单元422确定在步骤401中计算的位深 度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进 行至步骤S403。在这样的情况下，不执行位移位，而是如在公式(3)中 所示地执行残差预测。
换言之，与根据第一实施方式的残差预测处理的步骤S123至步骤 S125的处理类似地执行步骤S403至步骤S405的处理。然后，在步骤S405 的处理结束或在步骤S403中确定不执行残差预测的情况下，残差预测处 理结束，以及处理返回至图5中所示的处理。
此外，在步骤S402中，在确定位深度差(delta_bitdepth)不为零的 情况下，处理进行至步骤S406。
在步骤S406中，位移位控制单元422确定在步骤S401中计算的位深 度差(delta_bitdepth)是否是正的。在确定在步骤S401中计算的位深度 差是正的情况下，处理进行至步骤S407。在这样的情况下，如公式(6) 中所示来执行残差预测(执行通过右移位的缩放)。
换言之，与根据第一实施方式的残差预测处理的步骤S127至步骤 S129的处理类似地执行步骤S407至步骤S409的处理。然后，在步骤S409 的处理结束或在步骤S407中确定不执行残差预测的情况下，残差预测处 理结束，以及处理返回至图5中所示的处理。
另一方面，在步骤S406中，在确定位深度差(delta_bitdepth)不为 正(确定为负)的情况下，处理进行至步骤S410。
在步骤S410中，位移位控制单元422将用于控制是否执行残差预测 的信息(例如，luma_chroma_prediction_enabled_flag)的值设置成表示不 执行(禁止)残差预测(残差恢复)的值。例如，位移位控制单元422可 以将luma_chroma_prediction_enabled_flag的值设置成零。
当步骤S410的处理结束时，残差预测处理结束，以及处理返回至图 5中所示的处理。
通过这样地配置，在分量之间残差数据的位深度差是负的，换言之， 色差分量的位深度大于亮度分量的位深度，并且存在即使在执行残差预测 的情况下也不能获取足够的效果(不能充分地提高编码效率)的可能性的 情况下，可以配置成不执行残差预测。因此，根据图像编码装置100，由 于可以省略不必要的残差预测，所以可以抑制编码效率的降低，以及可以 抑制处理负荷的增加。
<头部获取单元和残差恢复单元>
在该情况下，图像解码装置200也可以具有与第一实施方式的情况的 图像解码装置基本上相同的配置。
图25是示出了该情况的头部获取单元221和残差恢复单元222的主 要配置的示例的框图。如在图25中所示，在该情况下，当与第一实施方 式的情况比较时，残差恢复单元222包括控制单元451而不是控制单元 241，以及包括恢复单元452而不是恢复单元242。
控制单元451执行与控制单元241的处理基本上相同的处理。当与控 制单元241的配置相比时，控制单元451包括位深度差计算单元461而不 是位深度差计算单元251以及包括位移位控制单元462而不是位移位控制 单元252。
与位深度差计算单元251的情况类似，位深度差计算单元461计算分 量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元251的情 况不同的是，位深度差计算单元461不将所计算的分量之间的位深度差 (delta_bitdepth)提供至左移位单元263(恢复单元452不包括左移位单 元263)。
与位移位控制单元252的情况类似，位移位控制单元462控制由恢复 单元452执行的计算。然而，在由位深度差计算单元461计算的分量之间 的残差数据的位深度差(delta_bitdepth)是零的情况下，位移位控制单元 462使恢复单元452不对位深度执行缩放，而是恢复残差数据。另一方面， 在由位深度差计算单元461计算的分量之间的残差数据的位深度差 (delta_bitdepth)是正的情况下，位移位控制单元462使恢复单元452对 位深度执行缩放以恢复残差数据。与之相反，在由位深度差计算单元461 计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的情况下， 位移位控制单元462通过控制恢复单元452来省略残差恢复(省略残差数 据的恢复)。
换言之，在该实施方式的示例的情况下，当由位深度差计算单元461 计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的时，不执 行位深度的缩放，换言之，不执行用于将位深度布置成在分量之间为一致 的位移位，因此，与恢复单元242的配置相比，恢复单元452不包括左移 位单元263。
<残差恢复处理的流程>
在该实施方式的情况下，与第一实施方式的情况类似地执行解码处 理。将参照在图26中所示的流程图来描述在该实施方式的情况中的残差 恢复处理的流程的示例。
在图26中所示的示例的情况下，当开始残差恢复处理时，在步骤S421 中，位深度差计算单元461也计算已经针对其执行残差预测的分量之间的 位深度差。换言之，位深度差计算单元461执行在公式(10)中表示的计 算，以及计算亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差 (delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间是不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S422中，位移位控制单元462确定在步骤S421中计算的位深 度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进 行至步骤S423。在这样的情况下，不执行位移位，以及按照在公式(9) 中所示来执行残差恢复。
换言之，与根据第一实施方式的残差预测处理的步骤S223至步骤 S225的处理类似地执行步骤S423至步骤S425的处理。然后，在步骤S425 的处理结束或在步骤S423中确定没有执行残差预测的情况下，残差恢复 处理结束，以及处理返回至图12中所示的处理。
另一方面，在步骤S422中，在确定位深度差(delta_bitdepth)不为 零的情况下，处理进行至步骤S426。
在步骤S426中，位移位控制单元462确定在步骤S421中计算的位深 度差(delta_bitdepth)是否是正的。在确定在步骤S421中计算的位深度 差是正的情况下，处理进行至步骤S427。在这样的情况下，按照公式(12) 中所示来执行残差预测(执行通过右移位的缩放)。
换言之，与根据第一实施方式的残差预测处理的步骤S227至步骤 S229的处理类似地执行步骤S427至步骤S429的处理。然后，在步骤S429 的处理结束或在步骤S427中确定没有执行残差预测的情况下，残差恢复 处理结束，以及处理返回至图12中所示的处理。
此外，在步骤S426中，在确定位深度差(delta_bitdepth)不为正(确 定为负)的情况下，也不执行对位深度的缩放，以及省略了残差恢复。因 此，在该情况下，残差恢复处理也结束，以及处理返回至图12中所示的 处理。
通过这样地配置，在分量之间残差数据的位深度差是负的，换言之， 色差分量的位深度大于亮度分量的位深度，并且存在即使在执行残差预测 的情况下也不能获得足够的效果(不能充分地提高编码效率)的可能性的 情况下，不执行残差预测，以及可以配置成不根据残差预测执行残差恢复。 因此，根据图像解码装置200，由于可以省略不必要的恢复预测，所以可 以抑制编码效率的降低，以及可以抑制处理负荷的增加。
<4.第四实施方式>
<根据图像的颜色空间的残差预测控制>
控制残差预测/残差解码的方法不限于上述示例中示出的方法。例如， 可以根据图像的颜色空间来控制是否执行残差预测/残差解码。例如，可 以配置成使得基本上如第三实施方式中所述来控制残差预测/残差解码的 执行，此外，在作为编码/解码目标的图像的颜色空间是RGB的情况下， 被配置成禁止残差预测/残差解码。
一般地，在YUV的情况下，存在作为信息的亮度分量比色差分量更 重要的许多情况，以及可以考虑亮度分量具有比色差分量更多的信息量 (更大的位深度)的情况。另一方面，在RGB的情况下，存在作为信息 的分量的重要程度是相同的许多情况，以及各分量的信息量(位深度)是 相同的。尽管可以考虑作为信息的G分量比R分量和B分量更重要的情 况，但是存在其中的信息量(位深度)具有不同的极少的情况。
换言之，在图像的颜色空间是RGB，以及分量的信息量(位深度) 不一致的情况下，存在图像中包括在图像的特性之上的生产商的某种意图 的高可能性。因此，还可以考虑容易降低作为向一般图像的处理的残差预 测的预测精度的可能性。换言之，存在易于降低编码效率的可能性。
因此，可以配置成使得：仅在图像具有期望有较高预测精度的颜色空 间比如YUV的情况下，残差预测(残差恢复)被配置成可执行的，以及 在图像具有可能易于降低预测精度的颜色空间比如RGB的情况下，通过 使用包括在图片参数集(PPS)中用于控制是否执行残差预测的信息(例 如，luma_chroma_prediction_enabled_flag)将残差预测(残差恢复)控制 成不被执行。
通过这样地配置，残差预测/残差解码可以被配置成仅针对根据残差 预测的执行获得足够的效果(能够充分提高编码效率)的颜色空间的情况 来执行。因此，由于可以省略不必要的残差预测/残差解码，所以可以抑 制编码效率的降低，以及可以抑制处理负荷的增加。
<语义>
为了如上所述地执行控制处理，可以如在图27中所示的示例来描述 语义。在图27中所示的语义的附有下划线的一部分是与上述残差预测/残 差解码的执行控制对应的描述。
<头部处理单元和残差预测单元>
在该情况下，图像编码装置100仍可以具有与根据第一实施方式的图 像编码装置基本相同的配置。
图28是示出了这样的情况的头部处理单元121和残差预测单元122 的主要配置的示例的框图。如在图28中所示，在该情况下，当与第一实 施方式的情况相比时，头部处理单元121还包括VUI(视频可用性信息) 处理单元501。此外，当与第一实施方式的情况相比时，残差预测单元122 包括控制单元511而不是控制单元141，以及包括预测单元412而不是预测单元142。
VUI处理单元501执行与VUI(视频可用性信息)的生成有关的处理。 VUI是与视频的显示有关的数据，以及VUI被存储在视频参数集(VPS) 或序列参数集(SPS)中。此外，例如，VUI处理单元501将包括在VUI 中表示图像的颜色空间的信息(matrix_coffs)提供至残差预测单元122(稍 后待描述的颜色空间确定单元523)。matrix_coffs是表示针对从RGB至亮 度/色差的变换的变换矩阵的信息。换言之，在matrix_coffs＝0的情况下， 表示图像的颜色空间是RGB。
控制单元511执行与控制单元141的处理基本上相同的处理。当与控 制单元141的配置相比时，控制单元511包括位深度差计算单元521而不 是位深度差计算单元151，包括位移位控制单元522而不是位移位控制单 元152，以及与控制单元141的的情况类似，控制单元511包括加权系数 设置单元153。此外，控制单元511包括颜色空间确定单元523。
与位深度差计算单元151的情况类似，位深度差计算单元521计算分 量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元151的情 况不同的是，位深度差计算单元521不将所计算的分量之间的位深度差 (delta_bitdepth)提供至左移位单元163(预测单元412不包括左移位单 元163)。
与位移位控制单元152的情况类似，位移位控制单元522控制由预测 单元412执行的计算。然而，在由位深度差计算单元521计算的分量之间 的残差数据的位深度差(delta_bitdepth)是零的情况下，位移位控制单元 522使预测单元412不对位深度执行缩放，而是计算预测残差数据。另一 方面，在由位深度差计算单元521计算的分量之间的残差数据的位深度差 (delta_bitdepth)是正的情况下，位移位控制单元522使预测单元412对 位深度执行缩放以计算预测残差数据。与之相反，在由位深度差计算单元 521计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的情况 下，位移位控制单元522通过控制预测单元412来禁止残差预测(使得不 计算预测残差数据)。
此外，位移位控制单元522基于通过颜色空间确定单元523获取的图 像的颜色空间的确定结果来控制由预测单元412执行的计算。例如，在由 颜色空间确定单元523将图像的颜色空间确定为RGB的情况下，位移位 控制单元522通过控制预测单元412来禁止残差预测(不计算预测残差数 据)。
颜色空间确定单元523通过参考表示从VUI处理单元501提供的图 像的颜色空间的信息(matrix_coffs)来确定图像的颜色空间。例如，在 matrix_coffs＝0的情况下，颜色空间确定单元523确定图像的颜色空间是 RGB。
换言之，在该实施方式的示例的情况下，与第三实施方式的情况类似， 当由位深度差计算单元421计算的分量之间的残差数据的位深度差 (delta_bitdepth)是负的时，不执行位深度的缩放，换言之，不执行用于 将位深度布置成在分量之间为一致的位移位。因此，如在第三实施方式中 所述，与预测单元142的配置相比，预测单元412不包括左移位单元163。
<残差预测处理的流程>
在该实施方式的情况下，与第一实施方式的情况的编码处理类似地执 行编码处理。将参照在图29中所示的流程图来描述在该实施方式中执行 残差预测处理的流程的示例。
在图29中所示的示例的情况下，当开始残差预测处理时，在步骤S501 中，位深度差计算单元521也计算针对其执行残差预测的分量之间的位深 度差。换言之，位深度差计算单元521执行在公式(4)中表示的计算， 以及计算亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差 (delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间 为不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S502中，位移位控制单元522确定在步骤501中计算的位深 度差(delta_bitdepth)是否为零。在确定位深度差为零的情况下，处理进 行至步骤S503。在这样的情况下，不执行位移位，但是如在公式(3)中 所示地执行残差预测。
换言之，与根据第一实施方式的残差预测处理的步骤S123至步骤 S125的处理类似地执行步骤S503至步骤S505的处理。然后，在步骤S505 的处理结束或在步骤S503中确定不执行残差预测的情况下，残差预测处 理结束，以及处理返回至图5中所示的处理。
此外，在步骤S502中，在确定位深度差(delta_bitdepth)不为零的 情况下，处理进行至步骤S506。
在步骤S506中，颜色空间确定单元523基于表示从VUI处理单元501 获取的图像的颜色空间的信息(matrix_coffs)来确定图像的颜色空间是否 是RGB。在确定颜色空间不是RGB的情况下，处理进行至步骤S507。
在步骤S507中，位移位控制单元522确定在步骤501中计算的位深 度差(delta_bitdepth)是否是正的。在确定在步骤S501中计算的位深度 差是正的情况下，处理进行至步骤S508。在这样的情况下，如公式(6) 中所示来执行残差预测(执行通过右移位的缩放)。
换言之，与根据第一实施方式的残差预测处理的步骤S127至步骤 S129的处理类似地执行步骤S508至步骤S510的处理。然后，在步骤S510 的处理结束或在步骤S508中确定不执行残差预测的情况下，残差预测处 理结束，以及处理返回至图5中所示的处理。
另一方面，在步骤S506中，在颜色空间被确定为RGB或在步骤S507 中位深度差(delta_bitdepth)被确定不为正(确定为负)的情况下，处理 进行至步骤S511。
在步骤S511中，位移位控制单元522将用于控制是否执行残差预测 的信息(例如，luma_chroma_prediction_enabled_flag)的值设置成表示不 执行(禁止)残差预测(残差恢复)的值。例如，位移位控制单元522可 以将luma_chroma_prediction_enabled_flag的值设置成零。
当步骤S511的处理结束时，残差预测处理结束，以及处理返回至图 5中所示的处理。
通过这样地配置，在分量之间的残差数据的位深度差是负的，换言之， 色差分量的位深度大于亮度分量的位深度时，并且存在即使在执行残差预 测的情况下也不能获得足够的效果(不能充分地提高编码效率)的可能性 的情况下，可以配置成不执行残差预测。此外，可以仅针对根据残差预测 获得足够的效果(能够充分地提高编码效率)的颜色空间，执行残差预测。 因此，根据图像编码装置100，由于可以省略不必要的残差预测，所以可 以抑制编码效率的降低，以及可以抑制处理负荷的增加。
<头部获取单元和残差恢复单元>
在该情况下，图像解码装置200仍可以具有与第一实施方式的情况的 图像解码装置基本上相同的配置。
图30是示出了该情况的头部获取单元221和残差恢复单元222的主 要配置的示例的框图。如在图30中所示，在该情况下，当与第一实施方 式的情况相比时，头部获取单元221还包括VUI获取单元541。此外，当 与第一实施方式的情况相比时，残差恢复单元222包括控制单元551而不 是控制单元241，以及包括恢复单元452而不是恢复单元242。
VUI获取单元541获取作为来自从编码侧提供的视频参数集(VPS) 或序列参数集(SPS)的与视频的显示有关的数据的VUI，获取包括在VUI 中的表示图像的颜色空间的信息(matrix_coffs)，以及将所获取的信息提 供至残差恢复单元222(稍后待描述的颜色空间确定单元563)。
控制单元551执行与控制单元241的处理基本上相同的处理。当与控 制单元241的配置相比时，控制单元551包括位深度差计算单元561而不 是位深度差计算单元251以及包括位移位控制单元562而不是位移位控制 单元252。此外，控制单元551包括颜色空间确定单元563。
与位深度差计算单元251的情况类似，位深度差计算单元561计算分 量之间的位深度差(delta_bitdepth)。然而，与位深度差计算单元251的情 况不同的是，位深度差计算单元561不将所计算的分量之间的位深度差 (delta_bitdepth)提供至左移位单元263(恢复单元452不包括左移位单 元263)。
与位移位控制单元252的情况类似，位移位控制单元562控制由恢复 单元452执行的计算。然而，在由位深度差计算单元561计算的分量之间 的残差数据的位深度差(delta_bitdepth)是零的情况下，位移位控制单元 562使恢复单元452不对位深度执行缩放，而是恢复残差数据。另一方面， 在由位深度差计算单元561计算的分量之间的残差数据的位深度差 (delta_bitdepth)是正的情况下，位移位控制单元562使恢复单元452对 位深度执行缩放以恢复残差数据。与之相反，在由位深度差计算单元561 计算的分量之间的残差数据的位深度差(delta_bitdepth)是负的情况下， 位移位控制单元562通过控制恢复单元452来省略残差恢复(省略残差数 据的恢复)。
此外，位移位控制单元562基于通过颜色空间确定单元563执行的图 像的颜色空间的确定结果来控制由恢复单元452执行的计算。例如，在由 颜色空间确定单元563将图像的颜色空间确定为RGB的情况下，位移位 控制单元562通过控制恢复单元452来省略残差恢复(省略残差数据的恢 复)。
颜色空间确定单元563通过参考从VUI获取单元541提供的表示图 像的颜色空间的信息(matrix_coffs)来确定图像的颜色空间。例如，在 matrix_coffs＝0的情况下，颜色空间确定单元563确定图像的颜色空间是 RGB。
换言之，在该实施方式的示例的情况下，与第三实施方式的情况类似， 当由位深度差计算单元561计算的分量之间的残差数据的位深度差 (delta_bitdepth)是负的时，不执行位深度的缩放，换言之，不执行用于 将位深度布置成在分量之间为一致的位移位。因此，与恢复单元242的配 置相比，恢复单元452不包括左移位单元263。
<残差恢复处理的流程>
在该实施例的情况下，与第一实施方式的情况类似地执行解码处理。 将参照在图31中所示的流程图来描述在该实施方式的情况中的残差恢复 处理的流程的示例。
在图31中所示的示例的情况下，当开始残差恢复处理时，在步骤S521 中，位深度差计算单元561也计算针对其执行了残差预测的分量之间的位 深度差。换言之，位深度差计算单元561执行在公式(10)中表示的计算， 以及计算在亮度分量(Y)与色差分量(Cr或Cb)之间的位深度差 (delta_bitdepth)。在位深度差在色差分量(Cr)与色差分量(Cb)之间是不同的情况下，计算位深度差(delta_bitdepth)。
在步骤S522中，位移位控制单元562确定在步骤S521中计算的位深 度差(delta_bitdepth)是否是零。在确定位深度差为零的情况下，处理进 行至步骤S523。在这样的情况下，不执行位移位，以及按照在公式(9) 中所示来执行残差恢复。
换言之，与根据第一实施方式的残差预测处理的步骤S223至步骤 S225的处理类似地执行步骤S523至步骤S525的处理。然后，在步骤S525 的处理结束或在步骤S523中确定没有执行残差预测的情况下，残差恢复 处理结束，以及处理返回至图12中所示的处理。
另一方面，在步骤S522中，在确定位深度差(delta_bitdepth)不为 零的情况下，处理进行至步骤S526。
在步骤S526中，颜色空间确定单元563基于从VUI获取单元541获 取的表示图像的颜色空间的信息(matrix_coffs)来确定图像的颜色空间是 否是RGB。在确定颜色空间是RGB的情况下，处理进行至步骤S527。
在步骤S527中，位移位控制单元562确定在步骤S521中计算的位深 度差(delta_bitdepth)是否是正的。在确定在步骤S521中计算的位深度 差是正的情况下，处理进行至步骤S528。在这样的情况下，如公式(12) 中所示来执行残差预测(执行通过右移位的缩放)。
换言之，与根据第一实施方式的残差预测处理的步骤S227至步骤 S229的处理类似地执行步骤S528至步骤S530的处理。然后，在步骤S530 的处理结束或在步骤S528中确定没有执行残差预测的情况下，残差恢复 处理结束，以及处理返回至图12中所示的处理。
此外，在步骤S526中颜色空间被确定为RGB或在步骤S527中确定 位深度差(delta_bitdepth)不为正(确定为负)的情况下，不执行对位深 度的缩放，以及省略了残差恢复。因此，在该情况下，残差恢复处理也结 束，以及处理返回至图12中所示的处理。
通过这样地配置，在分量之间的残差数据的位深度差是负的，换言之， 色差分量的位深度大于亮度分量的位深度，并且存在即使在执行残差预测 的情况下也不能获得足够的效果(不能充分地提高编码效率)的可能性的 情况下，不执行残差预测，以及可以配置成不根据残差预测执行残差恢复。 此外，仅针对获取了执行残差预测的足够的效果(可以充分地提高编码效 率)的颜色空间，执行残差预测，以及残差恢复可以被配置成不根据残差 预测来执行。因此，根据图像解码装置200，由于可以省略不必要的残差 恢复，所以可以抑制编码效率的降低，以及可以抑制处理负荷的增加。
<5.第五实施方式>
<加权系数的共用>
如上，尽管加权系数设置单元153已经被描述为针对每个分量独立地 设置加权系数α，但是不限于针对每个分量独立地设置加权系数α的加权 系数的设置。因此，加权系数设置单元153可以被配置成设置对于多个分 量共用的加权系数α。例如，加权系数设置单元153可以被配置成设置对 于色差分量Cr和色差分量Cb共用的加权系数α。
<语法和语义>
图32示出了在针对每个分量独立地设置加权系数α的情况下发送加 权系数α的TU的语法的示例。在这样的情况下，如在图32中所示的施 加斜线的图案的部分，针对色差分量Cr和色差分量Cb中的每个执行用于 加权系数α的发送r的条件的确定，以及针对色差分量Cr和色差分量Cb 中的每个来发送(调用luma_chroma_pred())加权系数α。在加权系数α的发送中，需要指定色差分量(Chroma)的分量数量(c)(例如， luma_chroma_pred(x0，y0，c)的“c”；在图32中所示的示例中，c＝“0” 或“1”)。
在图33中示出了残差预测(Luma-chroma预测)的语法的示例。如 图33中所示，在该语法中，也需要指定色差分量(Chroma)的分量数量 (c)。
此外，在图34和图35中示出了语义的示例。如在这样的图中所示， 在该语义中，也需要指定色差分量(Chroma)的分量数量(c)。
与之相反，图36示出了在使加权系数α通用的情况下发送加权系数 α的TU的语法的示例。在这样的情况下，如在图36中示出的施加斜线的 图案的部分，可以执行一次针对加权系数α的发送r和加权系数α的发送 (调用luma_chroma_pred())的条件的确定。因此，通过这样地配置， 可以降低图像编码装置100和图像解码装置200的负荷，以及可以减小要发送的信息的量，从而可以提高编码效率。此外，由于不需要指定色差分 量(Chroma)的分量数量(c)，还可以提高编码效率。
在图37中示出了这样的情况的残差预测(Luma-chroma预测)的语 法的示例。如在图37中所示，在该语法中，由于也不需要指定色差分量 (Chroma)的分量数量(c)，所以可以进一步提高编码效率。
在图38和图39中示出了这样的情况的语义的示例。如在附图中所示， 在该语义中，也不需要指定色差分量(Chroma)的分量数量(c)。因此， 可以降低图像编码装置100和图像解码装置200的负荷。
本技术可以应用至作为本技术的可适用范围的能够对图像数据进行 编码/解码的所有图像编码装置和图像解码装置。
此外，例如，本技术可以应用于下述图像编码装置和图像解码装置， 所述图像编码装置和图像解码装置在通过网络介质比如卫星广播、有线电 视、因特网或移动电话对使用正交变换比如离散余弦变换和运动补偿如 MPEG、H.26x等压缩的图像信息(比特流)进行接收时使用。此外，本 技术还可以应用于作为在存储介质比如光盘、磁盘或闪速存储器中处理信 息时使用的图像编码装置和图像解码装置。
<6.第六实施方式>
<向多视点图像编码和多视点图像解码的应用>
上述一系列的处理可以应用于多视点图像编码/多视点图像解码。图 40是示出了多视点图像编码系统的示例的图。
如在图40中所示，多视点图像包括多个视点(视图)的图像。多视 点图像的多视图由基本视图和非基本视图构成，所述基本视图是在不使用 其他视图的信息的情况下通过仅使用基本视图的图像来编码和解码的视 图，所述非基本视图是使用其他视图的信息来编码和解码的视图。为了对 非基本视图进行编码/解码，可以使用基本视图的信息或任何其他非基本 视图的信息。
在对如在图40中示出的示例中的多视点图像进行编码和解码的情况 下，尽管对每个视点的图像进行编码和解码，但是在第一实施方式至第五 实施方式中的上述方法可以应用于每个视点的编码和解码。在这样的情况 下，可以抑制每个视点的编码效率的降低。换言之，类似地，在多视点图 像的情况下，也可以抑制编码效率的降低。
<多视点图像编码装置>
图41是示出了执行上述多视点图像编码的多视点图像编码装置的 图。如在图41中所示，多视点图像编码装置600包括：编码单元601、 编码单元602以及复用单元603。
编码单元601对基本视图图像进行编码，从而生成基本视图图像编码 流。此外，编码单元602对非基本视图图像进行编码，从而生成非基本视 图图像编码流。复用单元603对由编码单元601生成的基本视图图像编码 流和由编码单元602生成的非基本视图图像编码流进行复用，从而生成多 视点图像编码流。
例如，上述图像编码装置100可以应用作为多视点图像编码装置600 的编码单元601和编码单元602。在这样的情况下，在多视点图像的编码 中，也可以采用在第一实施方式至第五实施方式中描述的各种方法。换言 之，多视点图像编码装置600可以抑制多视点图像的编码数据的编码效率 的降低。
<多视点图像解码装置>
图42是示出了执行上述多视点图像解码的多视点图像解码装置的 图。如在图42中所示，多视点图像解码装置610包括：解复用单元611、 解码单元612以及解码单元613。
解复用单元611对通过复用基本视图图像编码流和非基本视图图像 编码流获取的多视点图像编码流进行解复用，从而提取出基本视图图像编 码流和非基本视图图像编码流。解码单元612对由解复用单元611提取的 基本视图图像编码流进行解码，从而获取基本视图图像。解码单元613对 由解复用单元611提取的非基本视图图像编码流进行解码，从而获取非基 本视图图像。
例如，上述图像解码装置200可以应用作为多视点图像解码装置610 的解码单元612和解码单元613。在这样的情况下，在多视点图像的经编 码的数据的解码中，可以采用在第一实施方式至第五实施方式中描述的各 种方法。换言之，多视点图像解码装置610可以正确地对使用第一实施方 式至第五实施方式中描述的各种方法编码的多视点图像的经编码的数据 进行解码。因此，多视点图像解码装置610可以抑制多视点图像的编码数 据的编码效率的降低。
<7.第七实施方式>
<向分层图像编码/分层图像解码的应用>
上述一系列处理可以应用至分层图像编码/分层图像解码(可缩放编 码/可缩放解码)。图43示出了分层图像编码系统的示例。
在分层编码(可缩放编码)中，图像被构造成多层(层次化)以针对 预定的参数具有可缩放功能，以及针对每层对图像数据进行编码。分层图 像解码(可缩放解码)是与分层图像编码对应的解码处理。
如在图43中所示，在层次化图像时，通过参考具有可缩放功能的预 测参数，一个图像被划分成多个分层(层)。换言之，层次化图像(分层 图像)包括具有彼此不同的预定参数的值的多个图像(层)。分层图像的 多个层由基本层和非基本层构成，基本层是在不使用其他层的图像的情况 下使用基本层的图像进行编码和解码的层，非基本层(也称为增强层)是 使用其他层的图像进行编码和解码的层。非基本层可以被配置成使用基本 层的图像或使用其他非基本层的图像。
通常，为了减小冗余，由非基本层的图像与其他层的图像之间的差分 图像的数据(差分数据)来构成非基本层。例如，在一个图像被分层成包 括基本层和非基本层(也称为增强层)的两层的情况下，通过仅使用基本 层的数据来获取质量低于原始图像的质量的图像，以及通过将基本图像的 数据与非基本层的数据进行合成来获取原始图像(换言之，高质量图像)。
通过用这种方式对图像进行分层，可以根据情况容易地获得各种质量 的图像。例如，如在对于具有低处理性能的终端例如移动电话的情况下， 仅发送基本层的图像压缩信息，以及再现具有低空间分辨率/时间分辨率 或低图像质量的动态图像，以及对于具有高处理性能的终端例如电视机或 个人计算机，除了发送基本层的图像压缩信息之外还发送增强层的图像压 缩信息，以及再现具有高空间分辨率/时间分辨率的动态图像，可以在不执行转码(trans-code)处理的情况下从服务器发送根据终端或网络的性能 的图像压缩信息。
在对如在图43中示出的示例中的分层图像进行编码和解码的情况 下，尽管对每个层的图像进行编码和解码，但是在第一实施方式至第五实 施方式中的上述方法可以应用于每层的编码和解码。在这样的情况下，可 以抑制每层的编码效率的降低。换言之，类似地，在分层图像的情况下， 也可以抑制编码效率的降低。
<可缩放参数>
在这样的分层图像编码/分层图像解码(可缩放编码/可缩放解码)中， 具有可缩放功能的参数是任意的。例如，在图44中示出的空间分辨率可 以被设置为该参数(空间可缩放性)。在该空间可缩放性的情况下，图像 的分辨率针对每层而不同。换言之，如在图44中所示，每个图片被分层 成基本层和增强层的两个层，基本层具有低于原始图像的空间分辨率，增 强层通过与基本层的图像合成能够获取原始图像(原始空间分辨率)。明 显的是，分层的数量是示例，可以使用任意数量的层来将图片进行分层。
例如，作为具有这样的可缩放性的参数，可以采用如在图45中示出 的时间分辨率(时间可缩放性)。在该时间可缩放性的情况下，帧速率针 对每层而不同。换言之，在该情况下，如在图45中所示，由于图像被分 层成具有彼此不同帧速率的层，所以通过将较高帧速率的层添加到较低帧 速率的层，可以获得具有较高帧速率的动态图像，以及通过将所有层相加， 可以获得原始的动态图像(原始帧速率)。在此，分层的数量是示例，可 以将图片分层为任意数量的层。
此外，例如，信噪比(SNR)可以用作具有这样的可缩放性的参数(SNR 可缩放性)。在该SNR可缩放性的情况下，信噪比针对每层而不同。换言 之，如在图46中所示，每个图片被分层成包括基本层和增强层的两个层， 基本层具有比原始图像的SNR低的SNR，增强层通过与基本层的图像合 成能够获得原始图像(原始SNR)。换言之，在基本层图像压缩信息中，发送与具有低PSNR的图像有关的信息，以及通过将增强层图像压缩信息 与基本层图像压缩信息相加，可以重建具有高PSNR的图像。明显的是， 分层的数量是示例，可以将图像分层成任意数量的层。
明显的是，具有可缩放性的参数可以是上述示例的参数之外的参数。 例如，存在位深度可缩放性，其中，基本层由8位图像构成，以及通过将 增强层与基本层相加，获取10位的图像。
此外，存在色度可缩放性，其中，基本层由4:2:0格式的分量图像构 成，以及通过将增强层与基本层相加来获取4:2:2格式的分量图像。
<分层图像编码装置>
图47是示出了执行上述分层图像编码的分层图像编码装置的图。如 在图47中所示，分层图像编码装置620包括：编码单元621、编码单元 622以及复用单元623。
编码单元621对基本层图像进行编码，从而生成基本层图像编码流。 此外，编码单元622对非基本视图进行编码，从而生成非基本层图像编码 流。复用单元623对由编码单元621生成的基本层图像编码流和由编码单 元622生成的非基本层图像编码流进行复用，从而生成分层图像编码流。
例如，上述图像编码装置100可以应用为分层图像编码装置620的编 码单元621和编码单元622。在这样的情况下，在分层图像的编码中，也 可以采用在第一实施方式至第五实施方式中描述的各种方法。换言之，分 层图像编码装置620可以抑制分层图像的编码数据的编码效率的降低。
<分层图像解码装置>
图48是示出了执行上述分层图像解码的分层图像解码装置的图。如 在图48中所示，分层图像解码装置630包括：解复用单元631、解码单 元632以及解码单元633。
解复用单元631对复用基本层图像编码流和非基本层图像编码流的 分层图像编码流进行解复用，从而提取出基本层图像编码流和非基本层图 像编码流。解码单元632对由解复用单元631提取的基本层图像编码流进 行解码，从而获取基本层图像。解码单元633对由解复用单元631提取的 非基本层图像编码流进行解码，从而获取非基本层图像。
例如，上述图像解码装置200可以应用为分层图像解码装置630的解 码单元632和解码单元633。在这样的情况下，在分层图像的经编码的数 据的解码中，可以采用在第一实施方式至第五实施方式中描述的各种方 法。换言之，分层图像解码装置630可以正确地对使用第一实施方式至第 五实施方式中描述的各种方法编码的分层图像的图像数据进行解码。因 此，分层图像解码装置630可以抑制分层图像的编码数据的编码效率的降 低。
<8.第八实施方式>
<计算机>
上述一系列处理可以由硬件或由软件执行。在由软件执行该系列处理 的情况下，构成软件的程序被安装至计算机。在此，计算机包括内置于专 用硬件的计算机、可以通过在其中安装各种程序来执行各种功能的计算机 例如通用个人计算机等。
图49是示出了根据程序执行上述一系列处理的计算机的硬件配置的 示例的框图。
在图49中所示的计算机800中，中央处理单元(CPU)801、只读存 储器(ROM)802以及随机存取存储器(RAM)803通过总线804互相连 接。
此外，输入/输出接口810连接到总线804。输入单元811、输出单元 812、存储单元813、通信单元814以及驱动器815连接至输入/输出接口 810。
例如，输入单元811由键盘、鼠标、麦克风、触摸板、输入端子等来 配置。例如，输出单元812由显示器、扬声器、输出端子等来配置。例如， 存储单元813由硬盘、RAM盘、非易失性存储器等来配置。例如，通信 单元814由网络接口来配置。驱动器815驱动磁盘、光盘、磁光盘或可移 除介质821例如半导体存储器。
例如，在如上配置的计算机中，CPU 801将存储在存储单元813中的 程序通过输入/输出接口810和总线804加载到RAM 803中，并且执行所 加载的程序，从而执行上述一系列处理。此外，在RAM 803中适当地存 储CPU 801执行各种处理需要的数据等。
例如，由计算机(CPU 801)执行的程序可以在记录在作为封装介质 的可移除存储介质821等上的情况下使用。在这样的情况下，通过将可移 除存储介质821加载到驱动器815中，可以通过输入/输出接口810将程 序安装至存储单元813。
此外，可以通过有线或无线传输介质例如局域网、因特网、数字卫星 广播来提供程序。在这样的情况下，程序可以由通信单元814接收，并安 装至存储单元813。
此外，程序可以预先安装至ROM 802或存储单元813。
此外，由计算机执行的程序可以是根据在说明书中描述的顺序以时间 序列的形式执行处理的程序，或以并行方式或在必要的定时例如在被调用 时执行处理的程序。
此外，在该说明书中，描述记录在记录介质上的程序的步骤不仅包括 根据描述的顺序以时间序列执行的处理，而且包括在不一定以时间序列处 理的情况下以并行的方式或单独的方式执行的处理。
此外，在该说明书中，系统表示一组多个组成元件(设备、模块(部 件)等)，以及所有组成元件不需要设置在相同的壳体中。因此，容纳在 独立壳体中并且通过网络连接的多个装置和在一个壳体中容纳多个模块 的一个装置都是系统。
此外，作为一个设备(或一个处理单元)的上述配置可以被划分以被 配置成多个设备(或处理单元)。反之，作为多个设备(或处理单元)的 上述配置可以被布置成配置为一个设备(或一个处理单元)。此外，可以 将上面还没有被描述的配置添加到每个设备(或每个处理单元)的配置。 只要系统的总体配置和总体操作基本上相同，特定设备(或特定处理单元) 的配置的一部分可以被配置成包括在其他设备(或其他处理单元)的配置 中。
尽管已经参照附图详细地描述了本公开内容的优选实施方式，但是本 公开内容的技术范围不限于这样的示例。明显的是，具有本公开内容的技 术领域的普通知识的技术人员可以在所附权利要求书中描述的技术思想 的范围内构思各种改变或修改，自然地，要理解的是，这样的改变和修改 属于本公开内容的技术范围。
例如，本技术可以采用由多个设备通过网络划分一个功能并且协作地 处理的云计算的配置。
此外，上述每个流程图中描述的每一步骤可以通过一个装置来执行或 者可以以共享的方式通过多个装置来执行。
此外，在一个步骤中包括多个处理的情况下，包括在一个步骤中的多 个处理可以通过一个装置来执行或可以以共享的方式通过多个装置来执 行。
根据上述实施方式的图像编码装置和图像解码装置可以应用到各种 电子装置：例如，用于有线广播比如卫星广播或有线TV、在因特网上的 传输、通过蜂窝通信至终端的传输等的发射器或接收器；在介质例如光盘、 磁盘或闪速存储器上记录图像的记录装置；或从存储介质中再现图像的再 现装置。在下文中，将描述四个应用示例。
<9.第九实施方式>
<第一应用示例:电视接收器>
图50示出了应用上述实施方式的电视装置的示意性配置的示例。电 视装置900包括：天线901、调谐器902、解复用器903、解码器904、视 频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、 外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911以及 总线912。
调谐器902从通过天线901接收的广播信号中提取期望的信道的信 号，并且对所提取的信号进行解调。然后，调谐器902将通过解调获取的 经编码的比特流输出至解复用器903。换言之，调谐器902用作接收编码 流的电视装置900的发送单元，在编码流中图像被编码。
解复用器903从经编码的比特流中分离要观看的节目的视频流与音 频流，以及将每个分离的流输出至解码器904。此外，解复用器903从经 编码的比特流中提取辅助数据例如电子节目指南(EPG)，以及将所提取 的数据提供至控制单元910。此外，在经编码的比特流被加扰的情况下， 解复用器903可以执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后， 解码器904将通过解码处理生成的视频数据输出至视频信号处理单元 905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号 处理单元907。
视频信号处理单元905再现从解码器904输入的音频数据，以及使显 示单元906显示视频。视频信号处理单元905还可以使显示单元906显示 通过网络提供的应用画面。此外，视频信号处理单元905可以根据设置执 行另外的处理例如针对视频数据的噪声移除。此外，视频信号处理单元 905可以生成图形用户界面(GUI)图像例如菜单、按钮以及光标，以及 将所生成的图像叠加在输出图像上。
根据从视频信号处理单元905提供的驱动信号来驱动显示单元906以 在显示设备(例如，液晶显示器、等离子体显示器、OELD(有机电致发 光显示器(有机EL显示器)等)的视频画面上显示视频或图像。
音频信号处理单元907执行再现处理例如D/A转换和从解码器904 输入的音频信号的放大，以及使扬声器908输出音频。此外，音频信号处 理单元907可以执行另外的处理例如针对音频数据的噪声移除。
外部接口单元909是用于将电视装置900连接至外部设备或网络的接 口。例如，可以通过解码器904对通过外部接口单元909接收的视频流或 音频流进行解码。换言之，外部接口单元909还用作接收编码流的电视装 置900的发送单元，在编码流中图像被编码。
控制单元910包括处理器例如CPU和存储器例如RAM或ROM。存 储器存储由CPU执行的程序、节目数据、EPG数据、通过网络获取的数 据等。例如，在电视装置900启动时由CPU读取存储在存储器中的程序 并且执行该程序。例如，CPU通过执行该程序根据从用户接口单元911 输入的操作信号来控制电视装置900的操作。
用户接口单元911被连接至控制单元910。例如，用户接口单元911 包括用于用户操作电视装置900的按钮和开关、用于远程控制信号的接收 单元等。用户接口单元911通过这样的部件检测用户的操作，生成操作信 号，以及将所生成的操作信号输出至控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理 单元905、音频信号处理单元907、外部接口单元909以及控制单元910 彼此连接。
在用这种方式配置的电视装置900中，解码器904具有根据上述实施 方式的图像解码装置200的功能。换言之，解码器904可以通过使用对应 的实施方式中描述的方法来正确地对使用第一实施方式至第五实施方式 中描述的方法中的任一种方法对图像数据进行编码的经编码的数据进行 解码。因此，电视装置900可以抑制编码效率的降低。
<第二应用示例:移动电话>
图51示出了应用上述实施方式的移动电话的示意性配置的示例。移 动电话920包括：天线92、通信单元922、音频编解码器923、扬声器924、 麦克风925、摄像装置单元926、图像处理单元927、复用/分离单元928、 记录/再现单元929、显示单元930、控制单元931、操作单元932以及总 线933。
天线921被连接至通信单元922。扬声器924和麦克风925被连接至 音频编解码器923。操作单元932被连接至控制单元931。总线933将通 信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、 复用/分离单元928、记录/再现单元929、显示单元930以及控制单元931 彼此连接。
移动电话920在下述各种操作模式下执行操作例如音频信号的发送/ 接收、电子邮件或图像数据的发送/接收、图像捕获以及数据的记录，所 述各种操作模式包括：语言通话模式、数据通信模式、成像模式以及电视 电话模式。
在语言通话模式下，由麦克风925生成的模拟音频信号被提供至音频 编解码器923。音频编解码器923将模拟信号转换成音频数据，对经转换 的音频数据执行A/D转换，以及压缩音频数据。然后，音频编解码器923 将经压缩的音频数据输出至通信单元922。通信单元922对音频数据进行 编码和调制以生成发送信号。然后，通信单元922将所生成的发送信号通 过天线921发送至基站(未示出)。此外，通信单元922将通过天线921 接收的无线信号进行放大，以及执行无线信号的频率转换，从而获取接收 信号。然后，通信单元922通过对接收信号进行解调和解码来生成音频数 据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923 对音频数据执行解压缩和D/A转换，从而生成模拟音频信号。然后，音频 编解码器923将所生成的音频信号提供至扬声器924以使音频被输出。
例如，在数据通信模式下，控制单元931根据通过操作单元932执行 的用户的操作来生成构成电子邮件的字符数据。此外，控制单元931使显 示单元930显示字符。控制单元931根据通过操作单元932来自用户的发 送指令来生成电子邮件数据，以及将所生成的电子邮件数据输出至通信单 元922。通信单元922对电子邮件数据进行编码和调制，从而生成发送信 号。然后，通信单元922将所生成的发送信号通过天线921发送至基站(未 示出)。此外，通信单元922对通过天线921接收的无线信号执行放大和 频率转换，从而获取接收信号。然后，通信单元922对接收信号进行解调 和解码以恢复电子邮件数据，以及将所恢复的电子邮件数据输出至控制单 元931。控制单元931使显示单元930显示电子邮件数据的内容，以及将 电子邮件数据提供至记录/再现单元929以使电子邮件数据被写到记录/再 现单元929的记录介质上。
记录/再现单元929包括任意可读和可写的存储介质。例如，存储介 质可以是内置的存储介质例如RAM和闪速存储器，或者可以是外部安装 型的存储介质例如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存 储器或存储卡。
例如，在成像模式下，摄像装置单元926对对象进行成像以生成图像 数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元 927对从摄像装置单元926输入的图像数据进行编码，以及将编码流提供 至记录/再现单元929以使编码流被写在记录/再现单元929的记录介质上。
在图像显示模式下，记录/再现单元929读取在记录介质上记录的编 码流，以及将所读取的编码流提供至图像处理单元927。图像处理单元927 对从记录/再现单元929输入的编码流进行解码，以及将图像数据提供至 显示单元930以使图像数据中的图像被显示。
此外，例如，在电视-电话模式下，复用/分离单元928对由图像处理 单元927编码的视频流和从音频编解码器923输入的音频流进行复用，以 及将产生的复用流输出至通信单元922。通信单元922对该流进行编码和 调制，从而生成发送信号。然后，通信单元922将所生成的发送信号通过 天线921发送至基站(未示出)。此外，通信单元922对通过天线921接 收的无线信号执行放大和频率转换，从而获取接收信号。在经编码的比特 流包括在其中的情况下获取发送信号和接收信号。然后，通信单元922通 过对接收信号进行解调和解码来恢复该流，并且将所恢复的流输出至复用 /分离单元928。复用/分离单元928将视频流和音频流从输入流中分离， 以及将视频流和音频流相应地输出至图像处理单元927和音频编解码器 923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被 提供至显示单元930，以及由显示单元930显示一系列图像。音频编解码 器923对音频流执行解压缩和D/A转换，从而生成模拟音频信号。然后， 音频编解码器923将所生成的音频信号提供至扬声器924以使音频被输 出。
在用这种方式配置的移动电话920中，图像处理单元927具有根据上 述实施方式的图像编码装置100和图像解码装置200的功能。换言之，图 像处理单元927可以使用在第一实施方式至第五实施方式中描述的方法 中的任一种方法来对图像数据进行编码，以及可以通过使用在对应的实施 方式中描述的方法来正确地对由编码处理获取的经编码的数据进行解码。 因此，移动电话920可以抑制编码效率的降低。
<第三应用示例:记录和再现装置>
图52是示出了应用上述实施方式的记录/再现装置的示意性配置的示 例的框图。例如，记录/再现装置940对接收的广播节目的音频数据和视 频数据进行编码，以及在记录介质上记录经编码的数据。此外，例如，记 录/再现装置940可以对从另一装置获取的音频数据和视频数据进行编码， 以及在记录介质上记录经编码的数据。此外，例如，记录/再现装置940 根据用户的指示使用显示器和扬声器来再现记录在记录介质上的数据。此 时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括：调谐器941、外部接口(I/F)单元942、编 码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器 947、屏上显示装置(OSD)948、控制单元949以及用户接口(I/F)单元 950。
调谐器941从通过天线(未示出)接收的广播信号中提取期望的信道 的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调处 理获取的经编码的比特流输出至选择器946。换言之，调谐器941用作记 录/再现装置940的发送单元。
外部接口单元942是用于将记录/再现装置940与外部设备或网络连 接的接口。例如，外部接口单元942可以是电气与电子工程师协会(IEEE) 1394接口、网络接口、USB接口、闪速存储器接口等。例如，通过外部 接口单元942接收的视频数据和音频数据被输入至编码器943。换言之， 外部接口单元942用作记录/再现装置940的发送单元。
在没有对从外部接口单元942输入的视频数据和音频数据进行编码 的情况下，编码器943在从外部接口单元942输入视频数据和音频数据时 对视频数据和音频数据进行编码。然后，编码器943将经编码的比特流输 出至选择器946。
HDD 944将经编码的比特流、各种程序以及其他数据记录在内部硬盘 中，在经编码的比特流中，内容数据例如视频和音频被压缩。当再现视频 和音频时，HDD 944从硬盘读取数据。
盘驱动器945在被加载的记录介质上记录数据，并且从被加载的记录 介质中读取数据。例如，被加载至盘驱动器945的记录介质可以是数字多 功能盘(DVD)盘(DVD-视频、DVD-RAM(DVD-随机存取存储器)、 DVD-可记录(DVD-R)、DVD-可重写(DVD-RW)、DVD+可记录(DVD+R)、DVD+可重写(DVD+RW)等)、蓝光(注册商标)盘等。
当视频和音频被记录时，选择器946选择从调谐器941或编码器943 输入的经编码的比特流，以及将所选择的经编码的比特流输出至HDD 944 或盘驱动器945。此外，当视频和音频被再现时，选择器946将从HDD 944 或盘驱动器945输入的经编码的比特流输出至解码器947。
解码器947对经编码的比特流进行解码以生成视频数据和音频数据。 然后，解码器947将所生成的视频数据输出至OSD 948。此外，解码器 947将所生成的音频数据输出至外部扬声器。
OSD 948再现从解码器947输入的视频数据，从而显示视频。OSD 948 可以将GUI例如菜单、按钮、光标的图像叠加在显示的视频上。
控制单元949包括处理器例如CPU和存储器例如RAM或ROM。存 储器存储由CPU执行的程序、节目数据等。例如，在记录/再现装置940 启动时由CPU读取存储器中存储的程序并且执行该程序。例如，CPU通 过执行该程序根据从用户接口单元950输入的操作信号来控制记录/再现 装置940的操作。
用户接口单元950被连接至控制单元949。例如，用户接口单元950 包括用于用户操作记录/再现装置940的按钮和开关、用于远程控制信号 的接收单元。用户接口单元950通过组成元件来检测用户的操作以生成操 作信号，以及将所生成的操作信号输出至控制单元949。
在用这种方式配置的记录/再现装置940中，编码器943具有根据上 述实施方式的图像编码装置100的功能。换言之，编码器943可以使用在 第一实施方式至第五实施方式中描述的方法中的任一种方法来对图像数 据进行编码。此外，解码器947具有根据上述实施方式的图像解码装置 200的功能。换言之，解码器947可以通过使用对应的实施方式中描述的 方法来正确地对使用第一实施方式至第五实施方式中描述的方法中的任 一种方法进行编码的经编码的数据进行解码。因此，记录/再现装置940 可以抑制编码效率的降低。
<第四应用示例:成像装置>
图53示出了应用上述实施方式的成像装置的示意性配置的示例。成 像装置960对对象进行成像以生成图像，对图像数据进行编码，以及在记 录介质上记录经编码的图像数据。
成像装置960包括光学块961、成像单元962、信号处理单元963、 图像处理单元964、显示单元965、外部接口(I/F)单元966、存储单元 967、介质驱动器968、OSD 969、控制单元970、用户接口(I/F)单元971 以及总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元 963。显示单元965连接至图像处理单元964。用户接口单元971被连接 至控制单元970。总线972将图像处理单元964、外部接口单元966、存 储单元967、介质驱动器968、OSD 969以及控制单元970彼此连接。
光学块961包括聚焦透镜、光圈机构等。光学块961在成像单元962 的成像表面上形成对象的光学图像。成像单元962包括图像传感器例如电 荷耦合器件(CCD)以及互补金属氧化物半导体(CMOS)，以及将形成 在成像表面上的光学图像通过光电转换来转换成为电信号的图像信号。然 后，成像单元962将图像信号输出至信号处理单元963。
信号处理单元963针对从成像单元962输入的图像信号执行各种摄像 装置信号处理例如拐点校正、伽玛校正、颜色校正等。信号处理单元963 将在摄像装置信号处理之后的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码以 生成经编码的数据。然后，图像处理单元964将所生成的经编码的数据输 出至外部接口单元966或介质驱动器968。此外，图像处理单元964对从 外部接口单元966或介质驱动器968输入的经编码的数据进行解码以生成 图像数据。然后，图像处理单元964将所生成的图像数据输出至显示单元 965。此外，图像处理单元964可以将从信号处理单元963输入的图像数 据输出至显示单元965以显示图像。此外，图像处理单元964可以将从 OSD 969获取的供显示的数据叠加在输出至显示单元965的图像上。
例如，OSD 969生成GUI例如菜单、按钮、光标等的图像，以及将 所生成的图像输出至图像处理单元964。
例如，外部接口单元966被配置为USB输入/输出端子。例如，外部 接口单元966在打印图像时将成像装置960与打印机连接。此外，根据需 要将驱动器连接至外部接口单元966。可移除介质例如磁盘或光盘被加载 至驱动器中，以及从可移除介质读取的程序可以被安装至成像装置960。 此外，外部接口单元966可以被配置为连接至网络例如LAN、因特网等 的网络接口。换言之，外部接口单元966用作成像装置960的发送单元。
例如，加载至介质驱动器968中的记录介质可以是任意可读/可写的 可移除介质例如磁盘、磁光盘、光盘或半导体存储器。此外，可以被配置 为使得记录介质固定地安装至介质驱动器968以配置非便携式存储单元 例如内置硬盘驱动器或固态驱动器(SSD)。
控制单元970包括处理器例如CPU和存储器例如RAM或ROM。存 储器存储由CPU执行的程序、节目数据等。例如，在成像装置960启动 时由CPU读取存储器中存储的程序并且执行该程序。例如，CPU通过执 行该程序根据从用户接口单元971输入的操作信号来控制成像装置960的 操作。
用户接口单元971被连接至控制单元970。例如，用户接口单元971 包括供用户操作成像装置960的按钮、开关等。用户接口单元971通过组 成元件来检测用户的操作以生成操作信号，以及将所生成的操作信号输出 至控制单元970。
在用这种方式配置的成像装置960中，图像处理单元964具有根据上 述实施方式的图像编码装置100和图像解码装置200的功能。换言之，图 像处理单元964可以使用在第一实施方式至第五实施方式中描述的方法 中的任一种方法来对图像数据进行编码，以及可以通过使用在对应的实施 方式中描述的方法来正确地对由编码处理获取的经编码的数据进行解码。 因此，成像装置960可以提高编码效率。
此外，本技术还可以应用到HTTP流送例如MPEG或DASH，HTTP 流送从预先准备的具有彼此不同的分辨率等的多片经编码的数据中以分 段为单位选择和使用适当的经编码的数据。换言之，在所述多片经编码的 数据中，可以共享与编码和解码有关的信息。
<10.第十实施方式>
<其他示例>
尽管已经如上地描述了应用本技术的装置、系统等的示例，但是本技 术不限于此。因此，本技术还可以被实现为：安装在装置中的所有部件或 者构成系统的装置例如处理器如系统大规模集成(LSI)等；使用多个处 理器等的模块；使用多个模块等的单元；以及通过将其他功能添加至单元 (换言之，装置的配置的一部分)获取的设备。
<视频设备>
将参照图54来描述本技术被实现为设备的情况的示例。图54示出了 应用本技术的视频设备的示意性配置的示例。
近来，已经推进了电子装置中的多个功能的实现，在每个电子装置的 开发或制造中，在销售或供应等中执行配置的一部分的情况下，经常地， 不仅存在该部分被执行为具有一个功能的配置的情况，而且存在通过结合 具有相关功能的多个配置使得该部分被执行为具有多个功能的一个设备 的情况。
在图54中示出的视频设备1300具有下述配置：具有多个功能并且通 过将具有与图像的编码/解码(编码和解码中的一个或编码和解码两者) 有关的功能的装置与具有与该功能有关的其他功能的装置进行组合而获 取的配置。
如在图54中所示，视频设备1300包括：模块组例如视频模块1311、 外部存储器1312、电力管理模块1313以及前端模块1314和具有相关功 能的装置例如连接部1321、摄像装置1322以及传感器1323。
模块是具有包含通过将彼此有关的几个部件功能进行聚集来获取的 一致性的功能的不加。具体的物理配置是任意的，例如，可以考虑如下配 置：其中，具有相应的功能的多个处理器、电子电路部件例如电阻器和电 容器以及其他装置被布置成在布线板等中集成。此外，可以考虑通过将一 个模块与其他模块、处理器等组合来形成新模块。
在图54中所示的示例的情况下，通过将具有与图像处理有关的功能 的配置进行组合来构成视频模块1311，视频模块1311包括：应用处理器、 视频处理器、宽带调制解调器1333以及射频(RF)模块1334。
经由片上系统(SoC)通过将具有预定功能的配置集成在半导体芯片 上来形成处理器，例如，存在被称为大规模集成(LSI)等的处理器。具 有预定功能的配置可以是：逻辑电路(硬件配置)；包括CPU、ROM、RAM 等的配置；以及使用部件执行的程序(软件配置)；或通过将硬件配置与 软件配置结合获取的配置。例如，可以配置成使得处理器包括逻辑电路、CPU、ROM、RAM等，由逻辑电路(硬件配置)来实现处理器的一些功 能，以及通过由CPU执行的程序(软件配置)来实现其他功能。
在图54中示出的应用处理器1331是执行与图像处理有关的处理器。 为了实现预定的功能，由该应用处理器1331执行的应用不仅执行计算处 理而且可以根据需要控制视频模块1311的内部/外部的配置例如视频处理 器1332。
视频处理器1332是具有与图像的编码/解码(编码和编码中的一者或 编码和解码两者)有关的功能的处理器。
宽带调制解调器1333将经由通过宽带通信线例如因特网或公共电话 交换网络执行的有线或无线(或有线和无线)宽带通信传输的数据(数字 信号)通过数字调制处理等转换成模拟信号，或者将经由宽带通信接收的 模拟信号通过解调处理转换成数据(数字信号)。宽带调制解调器1333处 理任意的信息例如由视频处理器1332处理的图像数据、其中图像数据被 编码的流、应用程序以及设置数据。
RF模块1334是针对通过天线发射或接收的射频(RF)信号执行频率 转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334针对 由宽带调制解调器1333生成的专用线连接系统信号执行频率转换等，从 而生成RF信号。此外，例如，RF模块1334针对通过前端模块1314接收 的RF信号执行频率转换等，从而生成专用线连接系统信号。
如在图54中由虚线1341所示，应用处理器1331和视频处理器1332 可以被集成以被配置为一个处理器。
外部处理器1312是布置在视频模块1311的外部的模块，以及外部处 理器1312具有由视频模块1311使用的存储器设备。尽管外部存储器1312 的存储器设备可以由某一物理配置来实现，但是通常，存储器设备经常用 于存储大量的数据例如以帧为单位配置的图像数据。因此，优选的是，以 相对较低的成本由大容量的半导体存储器例如动态随机存取存储器 (DRAM)来实现存储器设备。
电力管理模块1313管理和控制至视频模块1311(布置在视频模块 1311内的每个配置)的电力的提供。
前端模块1314是提供针对RF模块1334的前端功能(在天线侧的发 射/接收端的电路)的模块。如在图54中所示，例如，前端模块1314包 括：天线单元1351、滤波器1352以及放大单元1353。
天线单元1351包括发射和接收无线信号的天线和外围配置。天线单 元1351将从放大单元1353提供的信号作为无线信号进行发射，以及将所 接收的无线信号作为电信号(RF信号)提供至滤波器1352。滤波器1352 针对通过天线单元1351接收的RF信号执行滤波处理等，以及将经处理之 后的RF信号提供至RF模块1334。放大单元1353将从RF模块1334提供的RF信号进行放大，以及将经放大的RF信号提供至天线单元1351。
连接部1321是具有与外部连接有关的功能的模块。连接部1321的物 理配置是任意的。例如，连接部1321包括具有根据不同于符合宽带调制 解调器1333的通信标准的通信标准的通信功能的配置、外部输入/输出端 子等。
例如，连接部1321可以被配置成包括：具有符合无线电通信标准例 如蓝牙(注册商标)、IEEE 802.11(例如，无线保真；注册商标(Wi-Fi)、 近场通信(NFC)、或红外数据协会(IrDA)的通信功能的模块；发射和 接收符合该标准的信号的天线等。此外，例如，连接部1321可以被配置 成包括：具有符合有线通信标准例如通用串行总线(USB)或高清多媒体接口(HDMI(注册商标))的通信功能的模块以及符合该标准的端子。此 外，例如，连接部1321可以被配置成具有模拟输入/输出端子等的其他数 据(信号)传输功能。
此外，连接部1321可以被配置成包括数据(信号)的传输目的地的 设备。例如，连接部1321可以被配置成包括从记录介质例如磁盘、光盘、 磁光盘或半导体存储器读取数据/向所述记录介质写入数据的驱动器(不 仅包括可移除介质的驱动器而且包括硬盘、固态驱动器(SSD)、网络附 接存储器(NAS)等的驱动器)。此外，连接部1321可以被配置成包括图 像或声音的输出设备(监视器、扬声器等)。
摄像装置1322是具有通过对对象进行成像来获取对象的图像数据的 功能的模块。例如，通过由摄像装置1322执行的成像处理获取的图像数 据被提供至视频处理器1332并且被编码。
传感器1323是具有下述任意传感器的功能的模块：例如声音传感器、 超声传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转 传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜 传感器、磁识别传感器、冲击传感器或温度传感器。例如，由传感器1323 检测到的数据被提供至应用处理器1331，以及由应用程序等使用。
上述作为模块的配置可以被实现为处理器。反之，上述作为处理器的 配置可以被实现为模块。
如稍后将描述的，在具有上述配置的视频设备1300中，本技术可以 应用到视频处理器1332。因此，视频设备1300可以被执行为应用本技术 的设备。
<视频处理器的配置示例>
图55示出了应用本技术的视频处理器1332(图54)的示意性配置的 示例。
在图55中所示的示例的情况下，视频处理器1332具有用于根据预定 系统接收视频信号和音频信号的输入并且对视频信号和音频信号进行编 码的功能，以及用于对经编码的视频数据和经编码的音频数据进行解码并 且再现和输出视频信号和音频信号的功能。
如在图55中所示，视频处理器1332包括：视频输入处理单元1401、 第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处 理单元1404、帧存储器1405以及存储器控制单元1406。此外，视频处理 器1332包括：编码/解码引擎1407、视频基本流(ES)缓冲器1408A和 视频基本流缓冲器1408B以及音频ES缓冲器1409A和音频ES缓冲器 1409B。此外，视频处理器1332包括：音频编码器1410、音频解码器1411、 复用单元(复用器(MUX)1412、解复用单元(解复用器(DMUX))1413 以及流缓冲器1414。
例如，视频输入处理单元1401获取从连接部1321(图54)等输入的 视频信号，以及将视频信号转化数字图像数据。第一图像放大/缩小单元 1402针对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/ 缩小单元1403针对图像数据根据经由视频输出处理单元1404的输出目的 地的格式执行图像放大/缩小处理、与第一图像放大/缩小单元1402的格式 转换类似的格式转换、图像放大/缩小处理等。视频输出处理单元1404针 对图像数据执行格式转换、至模拟信号的转换等，以及例如，将产生的信 号输出至连接部1321等作为再现的视频信号。
帧存储器1405是用于由视频输入处理单元1401、第一图像放大/缩小 单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404以及 编码/解码引擎1407共享的图像数据的存储器。例如，帧存储器1405由 半导体存储器例如DRAM来实现。
存储器控制单元1406从编码/解码引擎1407接收同步信号，以及根 据写入访问管理表1406A的用于访问帧存储器1405的访问计划表来控制 至帧存储器1405的针对读/写的访问。由存储器控制单元1406根据由编 码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单 元1403等执行的处理来由存储器控制单元1406更新访问管理表1406A。
编码/解码引擎1407对图像数据执行编码处理以及对通过对图像数据 进行编码获取的数据的视频流执行解码处理。例如，编码/解码引擎1407 对从帧存储器1405读取的图像数据进行编码，以及将图像数据顺序地写 入视频ES缓冲器1408A作为视频流。此外，例如，编码/解码引擎1407 顺序地读取从视频ES缓冲器1408B提供的视频流，以及对从视频ES缓 冲器1408B提供的视频流进行解码，以及顺序地将经解码的视频流写入帧 存储器1405作为图像数据。编码/解码引擎1407在这样的编码/解码处理 中使用帧存储器1405作为工作区。此外，例如，编码/解码引擎1407在 开始针对每个宏块的处理时的定时将同步信号输出至存储器控制单元 1406。
视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓 冲，以及将所缓冲的视频流提供至复用单元(MUX)1412。视频ES缓冲 器1408B对从解复用单元(DMUX)1413提供的视频流进行缓冲，以及 将所缓冲的视频流提供至编码/解码引擎1407。
音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲， 以及将所缓冲的音频流提供至复用单元(MUX)1412。音频ES缓冲器 1409B对从解复用器(DMUX)1413提供的音频流进行缓冲，以及将所缓 冲的音频流提供至音频解码器1411。
例如，音频解码器1410将从连接部1321等输入的音频信号转换成数 字信号，以及根据预定系统例如MPEG音频系统或音频码编号3(AC 3) 系统来对经转换的数字信号进行编码。音频编码器1410将均为通过对音 频信号进行编码获取的数据的音频流顺序地写入音频ES缓冲器1409A。 例如，音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，以及例如，针对经解码的音频流执行至模拟信号的转换等，以及例如 将产生的信号提供至连接部1321等作为再现的音频信号。
复用单元(MUX)1412对视频流和音频流进行复用。该复用处理的 方法(换言之，由复用处理生成的比特流的格式)是任意的。此外，在复 用处理中，复用单元(MUX)1412可以将预定头部信息等添加至比特流。 换言之，复用单元(MUX)1412可以通过复用处理来转换流的格式。例 如，通过对视频流和音频流进行复用，复用单元(MUX)1412将所述流 转换成作为传输格式的比特流的传输流。此外，例如，通过对视频流和音 频流进行复用，复用单元(MUX)1412将所述流转换成记录文件格式的 数据(文件数据)。
解复用单元(DMUX)1413对下述比特流进行解复用，在所述比特 流中，使用与由复用单元(MUX)1412执行的复用处理对应的方法对视 频流和音频流进行复用。换言之，解复用单元(DMUX)1413从自流缓 冲器1414中读取的比特流中提取视频流和音频流(将视频流与音频流彼 此分离)。换言之，解复用单元(DMUX)1413可以通过解复用处理(由 复用单元(MUX)1412执行的转换的逆转换)来转换流的格式。例如， 解复用单元(DMUX)1413通过流缓冲器1414获取例如从连接部1321、 宽带调制解调器1333等提供的传输流，对所提供的传输流进行解复用， 从而将传输流转换成视频流和音频流。此外，例如，解复用单元(DMUX)1413通过流缓冲器1414获取经由连接部1321从各种记录介质中读取的 文件数据，以及对所获取的文件数据进行解复用，从而将文件数据转换成 视频流和音频流。
流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用单 元(MUX)1412提供的传输流进行缓冲，以及以预定定时或基于来自外 部的请求等将所缓冲的传输流例如提供至连接部1321、宽带调制解调器 1333等。
此外，例如，流缓冲器1414对从复用单元(MUX)1412提供的文件 数据进行缓冲，以及例如，将所缓冲的文件数据以预定的定时、根据来在 外部的请求等提供至连接部1321等以将其记录在各种记录介质上。
此外，例如，流缓冲器1414对通过连接部1321、宽带调制解调器1333 等获取的传输流进行缓冲，以及将所缓冲的传输流以预定定时或基于来自 外部的请求等提供至解复用单元(DMUX)1413。
此外，流缓冲器1414对通过连接部1321等从各种记录介质中读取的 文件数据进行缓冲，以及以预定的定时或根据来自外部的请求等将所缓冲 的文件数据提供至解复用单元(DMUX)1413。
接下来，将描述具有这样的配置的视频处理器1332的操作的示例。 例如，从连接部1321等输入至视频处理器1332的视频信号在视频输入处 理单元1401中被转换成预定系统例如4:2:2Y/Cb/Cr系统的数字图像数据， 以及被顺序地写入帧存储器1405中。该数字图像数据被第一图像放大/缩 小单元1402或第二图像放大/缩小单元1403读取，针对所读取的数字图 像数据执行至预定系统例如4:2:0Y/Cb/Cr系统的格式转换和放大/缩小处 理，以及产生的数字图像数据被重新写入帧存储器1405中。该图像数据 由编码/解码引擎1407进行编码并且被写入视频ES缓冲器1408A中作为 视频流。
此外，从连接部1321等输入至视频处理器1332的音频信号由音频编 码器1410进行编码并且被写入音频ES缓冲器1409A作为音频流。
在视频ES缓冲器1408A中的视频流和在音频ES缓冲器1409A中的 音频流由复用单元(MUX)1412读取并且进行复用，以及被转换成传输 流、文件数据等。由复用单元(MUX)1412生成的传输流被缓冲在流缓 冲器1414中，然后，所述传输流被例如通过连接部1321、宽带调制解调 器1333等输出至外部网络。此外，由复用单元(MUX)1412生成的文件 数据被缓冲在流缓冲器1414中，然后，所述文件数据被例如输出至连接 部1321等以及被记录在各种记录介质上。
此外，例如，经由连接部1321、宽带调制解调器1333等从外部网络 输入至视频处理器1332的传输流被缓冲在流缓冲器1414中，然后，由解 复用单元(DMUX)1413对所述传输流进行解复用。此外，例如，通过 连接部1321等从各种记录介质读取并且输入至视频处理器1332的文件数 据被缓冲在流缓冲器1414中，然后，由解复用单元(DMUX)1413对所 述文件数据进行解复用。换言之，输入至视频处理器1332的传输流或文 件数据被解复用单元(DMUX)1413分成视频流和音频流。
音频流被通过音频ES缓冲器1409B提供至音频解码器1411并且被 解码，以及再现音频信号。此外，视频流被写入视频ES缓冲器1408B中， 然后被由编码/解码引擎1407顺序地读取和解码，以及被写入帧存储器 1405中。经解码的图像数据被处理以由第二图像放大/缩小单元1403进行 放大或缩小，以及被写入帧存储器1405中。然后，由视频输出处理单元 1404读取的经解码的图像数据被根据预定系统例如4:2:2Y/Cb/Cr系统等 转换成另一格式，以及还被转换成模拟信号，以及再现并且输出视频信号。
在本技术应用至这样配置的视频处理器1332的情况下，与上述每个 实施方式有关的本技术可以应用至编码/解码引擎1407。换言之，例如， 编码/解码引擎1407可以被配置成具有与上述实施方式有关的图像编码装 置100和图像解码装置200的功能。通过这样地配置，视频处理器1332 可以具有与上面参照图1至图39描述的优点相同的优点。
此外，在编码/解码引擎1407中，可以由硬件例如逻辑电路或软件例 如嵌入式程序来实现或者可以由硬件和软件两者来实现本技术(换言之， 根据上述每个实施方式的图像编码装置和图像解码装置的功能)。
<视频处理器的另一配置示例>
图56示出了应用本技术的视频处理器1332的示意性配置的另一示 例。在图56示出的示例的情况下，视频处理器1332具有根据预定系统对 视频数据进行编码和解码的功能。
此外，具体地，如在图56中所示，视频处理器1332包括：控制单元 1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储 器1515。此外，视频处理器1332包括：编解码引擎1516、存储器接口 1517、复用/解复用单元(MUX DMUX)1518、网络接口1519以及视频 接口1520。
控制单元1511控制在视频处理器1332内部布置的每个处理单元例如 显示接口1512、显示引擎1513、图像处理引擎1514以及编解码引擎1516 的操作。
如在图56中所示，例如，控制单元1511包括：主CPU 1531、子CPU 1532以及系统控制器1533。主CPU 1531执行用于控制在视频处理器1332 内部布置的每个处理单元等的操作的程序。主CPU 1531根据该程序等生 成控制信号，以及将控制信号提供至每个处理单元(换言之，控制每个处 理单元的操作)。子CPU 1532实现主CPU 1531的辅助作用。例如，子CPU 1532执行由主CPU 1531执行的程序的子进程、子例程等。系统控制 器1533通过执行要由主CPU 1531和子CPU 1532执行的程序等的指定来 控制主CPU 1531和子CPU 1532的操作。
例如，显示接口1512在控制单元1511的控制下将图像数据输出至连 接部1321等。例如，显示接口1512将作为数字数据的图像数据转换成模 拟信号，以及输出模拟信号作为至连接部1321等的监视设备的数字数据 的再现的视频信号或图像数据。
显示引擎1513在控制单元1511的控制下针对图像数据执行各种转换 处理例如格式转换、大小转换以及色域转换以匹配显示图像的监视设备等 的硬件规范。
图像处理引擎1514在控制单元1511的控制下针对图像数据执行预定 的图像处理例如用于提高图像质量的滤波处理等。
内部存储器1515是由显示引擎1513、图像处理引擎1514以及编解 码引擎1516共享的存储器，以及被设置在视频处理器1332的内部。例如， 内部存储器1515用于在显示引擎1513、图像处理引擎1514以及编解码 引擎1516之间的数据传输。例如，内部存储器1515存储从显示引擎1513、 图像处理引擎1514或编解码引擎1516提供的数据，以及根据需要(例如， 根据请求)将所述数据提供至显示引擎1513、图像处理引擎1514或编解 码引擎1516。该内部存储器1515可以通过使用各种存储设备来实现。然 而，通常，内部存储器常常用于存储具有较小量的数据例如以块为单位的 数据和参数，因此，优选地使用具有相对较小容量(与外部存储器1312 相比)并且具有高响应速度的半导体存储器例如静态随机存取存储器 (SRAM)来实现内部存储器。
编解码引擎1516执行与图像数据的编码和解码有关的处理。编解码 引擎1516兼容的编码/解码系统是任意的，编码/解码系统的数量可以是一 个或多个。例如，可以配置成使得编解码引擎1516可以具有用于多个编 码/解码系统的编解码功能，以及编解码引擎1516可以被配置成通过使用 选择的编码/解码系统中的一个来执行图像数据的编码或经编码的数据的 解码。
在图56中所示的示例中，例如，编码解码引擎1516包括：MPEG-2视 频1514、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可缩放) 1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551作为用于与 编解码有关的处理的功能块。
MPEG-2视频1541是根据MPEG-2系统对图像数据进行编码或解码 的功能块。AVC/H.264 1542是根据AVC系统对图像数据进行编码或解码 的功能块。HEVC/H.265 1543是根据HEVC系统对图像数据进行编码或解 码的功能块。HEVC/H.265(可缩放)1544是根据HEVC系统对图像数据 进行可缩放编码或可缩放解码的功能块。HEVC/H.265(多视图)1545是 根据HEVC系统对图像数据进行多视图编码或多视图解码的功能块。
MPEG-DASH 1551是根据在HTTP(MPEG-DASH)系统之上的MPEG 动态自适应流送来发送和接收图像数据的功能块。MPEG-DASH是用于使 用超文本传输协议(HTTP)执行视频流送的技术，MPEG-DASH的特征 中的一个是在预先准备的具有彼此不同的分辨率等的多片经编码的数据 中的适当的经编码的数据以分段(segment)为单位被选择和传输。 MPEG-DASH1551执行符合标准的流的生成、流的传输控制等，以及使 用用于对图像数据进行编码和解码的上述的MPEG-2视频1541至 HEVC/H.265(多视图)1545。
存储器接口1517是用于外部存储器1312的接口。从图像处理引擎 1514或编解码引擎1516提供的数据被通过存储器接口1517提供至外部 存储器1312。此外，从外部存储器1312读取的数据被通过存储器接口1517 提供至视频处理器1332(图像处理引擎1514或编解码引擎1516)。
复用/解复用单元(MUX DMUX)1518对与图像有关的各种数据例如 经编码的数据的比特流、图像数据以及视频信号执行复用和解复用。用于 复用/解复用的方法是任意的。例如，在执行复用时，复用/解复用单元 (MUX DMUX)1518不仅可以将多片数据布置成一个而且可以将预定 的头部信息等添加至数据。此外，在执行解复用时，复用/解复用单元(MUXDMUX)1518不仅可以将一片数据划分成多个部分而且可以将预定的头 部信息等添加至每个划分的数据部分。换言之，复用/解复用单元(MUX DMUX)1518可以通过复用/解复用处理来转换数据的格式。例如，复用/ 解复用单元(MUX DMUX)1518可以通过对比特流进行复用来将比特流 转换成传输流，传输流是传输格式的比特流或记录文件格式的数据(文件 数据)。明显的是，可以由解复用处理执行其逆转换。
例如，网络接口1519是专用于宽带调制解调器1333、连接部1321 等的接口。例如，视频接口1520是专用于连接部1321、摄像装置1322 等的接口。
接下来，将描述这样的视频处理器1332的操作的示例。例如，当通 过连接部1321、宽带调制解调器1333等从外部网络接收传输流时，传输 流被通过网络接口1519提供至复用/解复用单元(MUX DMUX)1518， 传输流被解复用并由编解码引擎1516进行解码。针对通过由编解码引擎 1516执行的解码处理获取的图像数据，例如，由图像处理引擎1514执行预定的图像处理，以及由显示引擎1513执行预定的转换。然后，例如， 产生的图像数据被通过显示接口1512提供至连接部1321，以及产生的图 像数据中的图像在监视器上显示。此外，例如，通过由编解码引擎1516 执行的解码处理获取的图像数据被由编解码引擎1516重新编码，以及由 复用/解复用单元(MUX DMUX)1518进行复用，被转换成文件数据，以 及例如，被通过视频接口1520输出至连接部1321等，以及被记录在各种 记录介质上。
此外，例如，经由连接部1321等从记录介质(未示出)读取的通过 对图像数据进行编码获取的经编码的数据的文件数据被通过视频接口 1520提供至复用/解复用单元(MUXDMUX)1518，被解复用，以及被编 解码引擎1516进行解码。针对通过由编解码引擎1516执行的解码处理获 取的图像数据，由图像处理引擎1514执行预定的图像处理，以及由显示 引擎1513执行预定的转换。然后，例如，产生的图像数据被通过显示接 口1512提供至连接部1321等，以及产生的图像数据中的图像在监视器上 显示。此外，例如，通过由编解码引擎1516执行的解码处理获取的图像 数据被由编解码引擎1516重新编码，以及由复用/解复用单元(MUX DMUX)1518进行复用，被转换成传输流，以及例如，被通过网络接口 1519提供至连接部1321、宽度调制解调器1333等，以及被传输至其他装 置(未示出)。
在此，例如，使用内部存储器1515或外部存储器1312执行在视频处 理器1332内部布置的每个处理单元之间的图像数据和其他数据的发送/接 收。此外，例如，电力管理模块1313控制至控制单元1511的电力提供。
在本技术应用至这样配置的视频处理器1332的情况下，根据上述每 个实施方式的本技术可以应用至编解码引擎1516。换言之，例如，编解 码引擎1516可以被配置成包括实现根据上述实施方式的图像编码装置 100和图像解码装置200的功能块。通过这样地配置，视频处理器1332 可以获取与上面参照图1至图39描述的优点相同的优点。
此外，在编解码引擎1516中，可以由硬件例如逻辑电路或软件例如 嵌入式程序来实现或者可以由硬件和软件两者来实现本技术(换言之，根 据上述每个实施方式的图像编码装置和图像解码装置的功能)。
尽管上面已经描述了视频处理器1332的配置的示例，但是视频处理 器1332的配置是任意的，以及可以是不同于上述两个示例的配置。在此， 视频处理器1332可以被配置为一个半导体芯片或多个半导体芯片。例如， 视频处理器可以被配置为三维堆叠的LSI。此外，可以由多个LSI实现视 频处理器。
<应用于装置的示例>
视频设备1300可以内置于处理图像数据的各种装置中。例如，视频 设备1300可以内置于电视装置900(图50)、移动电话920(图51)、记 录/再现装置940(图52)、成像装置960(图53)等中。通过在装置中内 置视频设备1300，该装置可以获取与上面参照图1至图39描述的优点类 似的优点。
此外，尽管配置是上述视频设备1300的每个配置的一部分，但是在 该配置包括视频处理器1332的情况下，该配置可以被执行为应用本技术 的配置。例如，仅视频处理器1332可以被执行为应用本技术的视频处理 器。此外，例如，如上所述，由虚线表示的处理器1341、视频模块1311 等可以被执行为应用本技术的处理器、模块等。此外，例如，可以对视频 模块1311、外部存储器1312、电力管理模块1313以及前端模块1314进 行组合以执行为应用本技术的视频单元1361。根据所述配置中的任一种， 可以获得与上面参照图1至图39描述的优点类似的优点。
换言之，如在视频设备1300的情况下，包括视频处理器1332的任何 配置可以被内置于处理图像数据的各种装置中。例如，视频处理器1332、 由虚线表示的处理器1341、视频模块1311或视频单元1361可以内置于电 视装置900(图50)、移动电话920(图51)、记录/再现装置940(图52)、 成像装置960(图53)等中。然后，通过将应用本技术的任何配置内置于装置中，与视频装置1300的情况类似，该装置可以具有与上面参照图1 至图39描述的效果类似的效果。
在本说明书中，已经描述了在经编码的流中对各种信息进行复用以及 各种信息被从编码侧发送至解码侧的示例。然而，用于发送这样的信息的 技术不限于这样的技术。例如，这样的信息可以在不被复用到经编码的流 中的情况下被发送或记录为与经编码的比特流关联的单个数据。在此，术 语“关联的”表示在对图像和信息进行解码时，在彼此联系的情况下获取包 括在比特流中的图像(该图像可以是图像的一部分例如片、块等)和与图 像对应的信息。换言之，可以在与图像(或比特流)的传输线不同的传输 线上传输信息。此外，信息可以记录在与针对该图像(或比特流)的记录 介质不同的记录介质上(或相同记录介质的不同记录区域)。此外，例如， 信息和图像(或比特流)可以以任意部分例如多个帧、一个帧或帧的一部 分为单位而彼此关联。
本技术可以采用如下描述的配置。
(1)一种图像处理装置，包括：
残差预测单元，所述残差预测单元针对由多个分量构成的输入图像与 预测图像之间的残差数据在所述分量之间执行预测时，在所述残差数据的 位深度被布置成在所述分量之间为一致的情况下执行所述预测；以及
编码单元，所述编码单元对通过由所述残差预测单元执行所述预测生 成的预测残差数据进行编码。
(2)根据(1)和(3)至(9)中的任意一项所述的图像处理装置， 其中，所述残差预测单元通过位移位将所述残差数据的所述位深度布置成 一致的。
(3)根据(1)、(2)和(4)至(9)中的任意一项所述的图像处理 装置，其中，所述残差预测单元在针对其执行所述预测的两个分量的所述 位深度之间的差不为零的情况下、在通过所述位移位将所述残差数据的所 述位深度布置成在所述分量之间为一致的情况下执行所述预测。
(4)根据(1)至(3)和(5)至(9)中的任意一项所述的图像处 理装置，其中，所述残差预测单元在所述位深度之间的差是正的情况下、 在通过所述位移位将所述残差数据的所述位深度布置成在分量之间为一 致的情况下执行所述预测，以及在所述位深度之间的差是负的情况下省略 所述预测。
(5)根据(1)至(4)和(6)至(9)中的任意一项所述的图像处 理装置，其中，所述残差预测单元在所述输入图像的颜色空间不是RGB 空间的情况下、在通过所述位移位将所述残差数据的所述位深度布置成在 分量之间为一致的情况下执行所述预测，以及在所述输入图像的颜色空间 是RGB空间的情况下省略所述预测。
(6)根据(1)至(5)和(7)至(9)中的任意一项所述的图像处 理装置，其中，所述输入图像的颜色空间是YUV空间，以及
所述残差预测单元在通过所述位移位将所述残差数据的所述位深度 布置成在亮度分量与色差分量之间为一致的情况下执行所述预测。
(7)根据(1)至(6)、(8)和(9)中的任意一项所述的图像处理 装置，其中，所述输入图像的颜色空间是RGB空间，以及
所述残差预测单元在通过所述位移位将所述残差数据的所述位深度 布置成在G分量与R分量之间或G分量与B分量之间为一致的情况下执 行所述预测。
(8)根据(1)至(7)和(9)中的任意一项所述的图像处理装置， 其中，所述残差预测单元通过下述方式执行所述预测：获取针对其执行所 述预测的两个分量的所述位深度之间的差；对所述两个分量中的一个分量 的所述残差数据执行与所述位深度之间的差对应的所述位移位；将经所述 位移位的所述残差数据与预定加权系数相乘；对所述乘法运算的结果执行 与预定数量的位对应的位移位；以及获取另一分量的所述残差数据与所述 乘法运算的经所述位移位的结果之间的差。
(9)根据(1)至(8)中的任意一项所述的图像处理装置，其中， 所述残差预测单元设置供多个分量共用的所述加权系数。
(10)一种图像处理方法，包括：
当针对由多个分量构成的输入图像与预测图像之间的残差数据在所 述分量之间执行预测时，在所述残差数据的位深度被布置成在所述分量之 间为一致的情况下执行所述预测；以及
对通过所述预测生成的预测残差数据进行编码。
(11)一种图像处理装置，包括：
解码单元，所述解码单元对下述经编码的数据进行解码，在所述经编 码的数据中，作为由多个分量构成的图像与所述图像的预测图像之间的残 差数据在所述分量之间的预测结果的预测残差数据被编码；以及
残差恢复单元，所述残差恢复单元在使用由所述解码单元通过对所述 经编码的数据进行解码而获取的所述预测残差数据来执行所述残差数据 的恢复时，在所述残差数据的位深度被布置成在所述分量之间为一致的情 况下执行所述恢复。
(12)根据(11)和(13)至(19)中的任意一项所述的图像处理装 置，其中，所述残差恢复单元通过位移位将所述残差数据的所述位深度布 置成一致的。
(13)根据(11)、(12)和(14)至(19)中的任意一项所述的图像 处理装置，还包括：
接收单元，所述接收单元接收与所述位深度有关的信息，
其中，所述残差恢复单元通过基于与由所述接收单元接收的所述位深 度有关的信息获取针对其执行所述预测的两个分量的所述位深度之间的 差，以及基于所获取的所述位深度之间的差执行所述位移位来将所述残差 数据的所述位深度布置成一致的。
(14)根据(11)至(13)和(14)至(19)中的任意一项所述的图 像处理装置，其中，在所获取的所述位深度之间的差不为零的情况下，所 述残差恢复单元通过所述位移位将所述残差数据的所述位深度布置成一 致的。
(15)根据(11)至(14)和(15)至(19)中的任意一项所述的图 像处理装置，其中，所述残差恢复单元在所获取的所述位深度之间的差为 正的情况下、在通过所述位移位将所述残差数据的所述位深度布置成一致 的情况下执行所述恢复，以及在所述位深度之间的差为负的情况下省略所 述恢复。
(16)根据(11)至(15)和(17)至(19)中的任意一项所述的图 像处理装置，其中，
所述接收单元还接收与所述图像的颜色空间有关的信息，以及
所述残差恢复单元基于由所述接收单元接收的所述图像的颜色空间 有关的信息在所述图像的颜色空间不是RGB空间的情况下、在通过所述 位移位将所述残差数据的所述位深度布置成在分量之间为一致的情况下 执行所述恢复，以及在所述图像的颜色空间是所述RGB空间的情况下省 略所述恢复。
(17)根据(11)至(16)、(18)和(19)中的任意一项所述的图 像处理装置，其中，
所述图像的颜色空间是YUV空间，以及
所述残差恢复单元在通过所述位移位将所述残差数据的所述位深度 布置成在亮度分量与色差分量之间为一致的情况下执行所述恢复。
(18)根据(11)至(17)和(19)中的任意一项所述的图像处理装 置，其中，
所述图像的颜色空间是RGB空间，以及
所述残差恢复单元在通过所述位移位将所述残差数据的所述位深度 布置成在G分量与R分量之间或G分量与B分量之间为一致的情况下执 行所述恢复。
(19)根据(11)至(18)中的任意一项所述的图像处理装置，其中，
通过获取针对其执行所述恢复的两个分量的所述位深度之间的差；对 所述两个分量中的一个分量的所恢复的残差数据执行与所述位深度之间 的差对应的所述位移位；将经所述位移位的所述残差数据与预定加权系数 相乘；对所述乘法运算的结果执行与预定数量的位对应的位移位；以及将 所述乘法运算的经所述位移位的结果与所述预测残差数据相加，所述残差 恢复单元对另一分量的所述残差数据执行所述恢复。
(20)一种图像处理方法，包括：
对下述经编码的数据进行解码，在所述经编码的数据中，作为由多个 分量构成的图像与所述图像的预测图像之间的残差数据在所述分量之间 的预测结果的预测残差数据被编码；以及
在使用通过对所述经编码的数据进行解码而获取的所述预测残差数据 来执行所述残差数据的恢复时，在所述残差数据的位深度被布置成在 所述分量之间为一致的情况下执行恢复。
附图标记列表
100 图像编码装置
121 头部处理单元
122 残差预测单元
123 残差恢复单元
131 SPS处理单元
132 PPS处理单元
141 控制单元
142 预测单元
151 位深度差计算单元
152 位移位控制单元
153 加权系数设置单元
161 选择单元
162 右移位单元
163 左移位单元
164 加权系数乘法单元
165 右移位单元
166和167 计算单元
200 图像解码单元
221 头部获取单元
222 残差恢复单元
231 SPS获取单元
232 PPS获取单元
233 加权系数获取单元
241 控制单元
242 恢复单元
251 位深度差计算单元
252 位移位控制单元
261 选择单元
262 右移位单元
263 左移位单元
264 加权系数乘法单元
265 右移位单元
266和267 计算单元
311 控制单元
312 预测单元
321 位深度差计算单元
322 位移位控制单元
351 控制单元
352 恢复单元
361 位深度差计算单元
362 位移位控制单元
411 控制单元
412 预测单元
421 位深度差计算单元
422 位移位控制单元
451 控制单元
452 恢复单元
461 位深度差计算单元
462 位移位控制单元
501 VUI处理单元
511 控制单元
512 预测单元
521 位深度差计算单元
522 位移位控制单元
523 颜色空间确定单元
541 VUI获取单元
551 控制单元
561 位深度差计算单元
562 位移位控制单元
563 颜色空间确定单元
Claims (6)
1.一种图像处理装置，包括：
解码单元，所述解码单元对使用图像的亮度分量的残差数据来预测所述图像的色差分量的残差数据而得到的预测残差数据的编码数据进行解码；
设置单元，所述设置单元仅在所述色差分量的残差数据的位深度与所述亮度分量的残差数据的位深度不同、且所述图像的色度格式为4：4：4格式的情况下，将所述色差分量的残差数据的位深度和所述亮度分量的残差数据的位深度设置成一致；以及
残差恢复单元，所述残差恢复单元按照由所述设置单元设置的位深度，并使用所述亮度分量的残差数据、以及由所述解码单元对所述编码的数据进行解码而得到的预测残差数据，对所述色差分量的残差数据进行恢复。
2.根据权利要求1所述的图像处理装置，其中，
所述设置单元针对所述亮度分量的残差数据的位深度进行位移位，以使得所述色差分量的残差数据的位深度与所述亮度分量的残差数据的位深度相同。
3.根据权利要求2所述的图像处理装置，其中，
所述设置单元针对所述亮度分量的残差数据的位深度进行位移位，以使得所述亮度分量的残差数据的位深度匹配所述色差分量的残差数据的位深度。
4.根据权利要求3所述的图像处理装置，其中，
所述设置单元在所述亮度分量的残差数据的位深度与所述色差分量的残差数据的位深度之间的差是正的值的情况下，针对所述亮度分量的残差数据的位深度进行位移位，以使得所述亮度分量的残差数据的位深度匹配所述色差分量的残差数据的位深度。
5.一种图像处理方法，包括：
对使用图像的亮度分量的残差数据来预测所述图像的色差分量的残差数据而得到的预测残差数据的编码的数据进行解码；
仅在所述色差分量的残差数据的位深度与所述亮度分量的残差数据的位深度不同、且所述图像的色度格式为4：4：4格式的情况下，将所述色差分量的残差数据的位深度与所述亮度分量的残差数据的位深度布置成一致；以及
按照设置的位深度，并使用所述亮度分量的残差数据、以及对所述经编码的数据进行解码而得到的预测残差数据，对所述色差分量的残差数据进行恢复。
6.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行根据权利要求5所述的图像处理方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013-272941 | 2013-12-27 | ||
| JP2013272941 | 2013-12-27 | ||
| CN201480069944.2A CN105850134B (zh) | 2013-12-27 | 2014-12-12 | 图像处理装置及方法 |
| PCT/JP2014/082923 WO2015098562A1 (ja) | 2013-12-27 | 2014-12-12 | 画像処理装置および方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480069944.2A Division CN105850134B (zh) | 2013-12-27 | 2014-12-12 | 图像处理装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111314694A true CN111314694A (zh) | 2020-06-19 |
| CN111314694B CN111314694B (zh) | 2023-05-05 |
Family
ID=53478426
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010026450.3A Active CN111314694B (zh) | 2013-12-27 | 2014-12-12 | 图像处理装置及方法 |
| CN201480069944.2A Active CN105850134B (zh) | 2013-12-27 | 2014-12-12 | 图像处理装置及方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480069944.2A Active CN105850134B (zh) | 2013-12-27 | 2014-12-12 | 图像处理装置及方法 |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US10623752B2 (zh) |
| EP (1) | EP3041235A4 (zh) |
| JP (1) | JP6451999B2 (zh) |
| KR (1) | KR102336932B1 (zh) |
| CN (2) | CN111314694B (zh) |
| AU (1) | AU2014371486B2 (zh) |
| CA (1) | CA2933563C (zh) |
| MX (1) | MX364028B (zh) |
| MY (1) | MY178498A (zh) |
| RU (1) | RU2663359C1 (zh) |
| WO (1) | WO2015098562A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6543578B2 (ja) | 2016-01-27 | 2019-07-10 | 富士通株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR102555096B1 (ko) * | 2016-06-09 | 2023-07-13 | 엘지디스플레이 주식회사 | 데이터 압축 방법 및 이를 이용한 유기 발광 다이오드 표시 장치 |
| JP6822123B2 (ja) * | 2016-12-19 | 2021-01-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP7005250B2 (ja) | 2017-09-21 | 2022-01-21 | キヤノン株式会社 | 現像剤補給容器 |
| US11109046B2 (en) * | 2018-02-14 | 2021-08-31 | Sony Corporation | Image processing apparatus and image processing method |
| JP7165018B2 (ja) * | 2018-10-03 | 2022-11-02 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| CN109361933B (zh) * | 2018-11-13 | 2019-11-05 | 仲恺农业工程学院 | 一种音视频信息处理方法 |
| US20230239504A1 (en) * | 2020-06-02 | 2023-07-27 | Sharp Kabushiki Kaisha | Video decoding apparatus and video coding apparatus |
| CN113408709B (zh) * | 2021-07-12 | 2023-04-07 | 浙江大学 | 基于单元重要度的条件计算方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101796841A (zh) * | 2007-06-27 | 2010-08-04 | 汤姆逊许可公司 | 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备 |
| CN101822055A (zh) * | 2007-10-15 | 2010-09-01 | 汤姆森许可贸易公司 | 可缩放视频的层间残差预测的方法和设备 |
| US20120224774A1 (en) * | 2011-02-22 | 2012-09-06 | Chong Soon Lim | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| WO2013153761A1 (en) * | 2012-04-13 | 2013-10-17 | Canon Kabushiki Kaisha | Image decoding apparatus, image decoding method, and program |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050259730A1 (en) * | 2004-05-18 | 2005-11-24 | Sharp Laboratories Of America, Inc. | Video coding with residual color conversion using reversible YCoCg |
| JP2006086793A (ja) | 2004-09-16 | 2006-03-30 | Fuji Xerox Co Ltd | 符号化装置、符号化方法及びそのプログラム |
| KR100772873B1 (ko) * | 2006-01-12 | 2007-11-02 | 삼성전자주식회사 | 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더 |
| US8270492B2 (en) * | 2006-05-12 | 2012-09-18 | Panasonic Corporation | Moving picture decoding device |
| EP1933565A1 (en) * | 2006-12-14 | 2008-06-18 | THOMSON Licensing | Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction |
| JP4356028B2 (ja) * | 2007-05-17 | 2009-11-04 | ソニー株式会社 | 情報処理装置および方法 |
| JP5281624B2 (ja) * | 2010-09-29 | 2013-09-04 | 日本電信電話株式会社 | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム |
| GB2501535A (en) * | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| JP5873395B2 (ja) * | 2012-06-14 | 2016-03-01 | Kddi株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム |
| US9648330B2 (en) * | 2013-07-15 | 2017-05-09 | Qualcomm Incorporated | Inter-color component residual prediction |
| US9648332B2 (en) * | 2013-10-28 | 2017-05-09 | Qualcomm Incorporated | Adaptive inter-color component residual prediction |
| US10397607B2 (en) * | 2013-11-01 | 2019-08-27 | Qualcomm Incorporated | Color residual prediction for video coding |
-
2014
- 2014-12-12 US US15/034,753 patent/US10623752B2/en active Active
- 2014-12-12 CN CN202010026450.3A patent/CN111314694B/zh active Active
- 2014-12-12 KR KR1020167015632A patent/KR102336932B1/ko active IP Right Grant
- 2014-12-12 CA CA2933563A patent/CA2933563C/en active Active
- 2014-12-12 CN CN201480069944.2A patent/CN105850134B/zh active Active
- 2014-12-12 AU AU2014371486A patent/AU2014371486B2/en active Active
- 2014-12-12 RU RU2016124469A patent/RU2663359C1/ru active
- 2014-12-12 JP JP2015554739A patent/JP6451999B2/ja active Active
- 2014-12-12 MX MX2016008171A patent/MX364028B/es active IP Right Grant
- 2014-12-12 EP EP14874039.2A patent/EP3041235A4/en not_active Ceased
- 2014-12-12 MY MYPI2016702280A patent/MY178498A/en unknown
- 2014-12-12 WO PCT/JP2014/082923 patent/WO2015098562A1/ja active Application Filing
-
2020
- 2020-02-06 US US16/783,716 patent/US20200177894A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101796841A (zh) * | 2007-06-27 | 2010-08-04 | 汤姆逊许可公司 | 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备 |
| CN101822055A (zh) * | 2007-10-15 | 2010-09-01 | 汤姆森许可贸易公司 | 可缩放视频的层间残差预测的方法和设备 |
| US20120224774A1 (en) * | 2011-02-22 | 2012-09-06 | Chong Soon Lim | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| WO2013153761A1 (en) * | 2012-04-13 | 2013-10-17 | Canon Kabushiki Kaisha | Image decoding apparatus, image decoding method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160261876A1 (en) | 2016-09-08 |
| KR20160102987A (ko) | 2016-08-31 |
| JP6451999B2 (ja) | 2019-01-16 |
| EP3041235A4 (en) | 2017-03-22 |
| US20200177894A1 (en) | 2020-06-04 |
| BR112016014478A2 (pt) | 2020-09-08 |
| CN105850134A (zh) | 2016-08-10 |
| CN105850134B (zh) | 2020-02-14 |
| CA2933563C (en) | 2022-02-22 |
| KR102336932B1 (ko) | 2021-12-08 |
| EP3041235A1 (en) | 2016-07-06 |
| CN111314694B (zh) | 2023-05-05 |
| AU2014371486A1 (en) | 2016-05-05 |
| JPWO2015098562A1 (ja) | 2017-03-23 |
| MY178498A (en) | 2020-10-14 |
| MX364028B (es) | 2019-04-11 |
| CA2933563A1 (en) | 2015-07-02 |
| RU2016124469A (ru) | 2017-12-25 |
| US10623752B2 (en) | 2020-04-14 |
| WO2015098562A1 (ja) | 2015-07-02 |
| RU2663359C1 (ru) | 2018-08-03 |
| MX2016008171A (es) | 2016-10-21 |
| AU2014371486B2 (en) | 2019-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105850134B (zh) | 图像处理装置及方法 | |
| AU2013281943B2 (en) | Image processing device and method | |
| JP6358475B2 (ja) | 画像復号装置および方法、並びに、画像符号化装置および方法 | |
| JP6579393B2 (ja) | 画像処理装置および方法 | |
| JP6287035B2 (ja) | 復号装置および復号方法 | |
| JP6497562B2 (ja) | 画像符号化装置および方法 | |
| JP2015173312A (ja) | 画像符号化装置および方法、並びに画像復号装置および方法 | |
| CN104662901A (zh) | 图像处理装置及方法 | |
| US20190281291A1 (en) | Image processing device and method | |
| JP6654434B2 (ja) | 画像処理装置および方法 | |
| WO2015064403A1 (ja) | 画像処理装置および方法 | |
| TWI669950B (zh) | 影像處理裝置及方法 | |
| BR112016014478B1 (pt) | Aparelho e método de processamento de imagem |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |